如今，许多人出于数据安全、快速访问或尝试新开源模型的需求，倾向于在自己的计算机上运行大语言模型（LLM），也就是所谓的“本地”部署。我们使用不同的工具在本地运行并比较了 Llama 3.2、Phi-3.5 和 Gemma 2 模型。
Ollama、Open WebUI 和 Docker
为了在本地运行模型，我们使用了Ollama作为后端，Open WebUI作为界面，并使用Docker来运行 Open WebUI。首先，要在本地运行大型语言模型，需要在计算机上安装 Ollama。然后，您可以选择并下载所需的模型，通过终端开始对话。但如果希望在一个更易于使用的环境中进行对话，可以使用类似 ChatGPT 的开源项目 Open WebUI。为此，在下载 Docker 后，您可以按照 Open WebUI 的文档或GitHub 页面中的指南，下载适合您系统的版本。
我们通过这种方式获取了在终端中运行的命令。完成这些步骤后，您可以在 Docker 应用中查看 Open WebUI 正在使用的端口，并通过点击链接开始使用 Open WebUI。在完成所有步骤后，我们通过 Open WebUI 开始使用开源模型。
值得一提的是，在此过程中也有人使用Pinokio替代 Docker。不过我在尝试 Pinokio 时，在下载安装包的过程中频繁遇到错误。据团队成员反馈，他们曾为其他产品使用过 Pinokio 并获得良好体验。
Open WebUI 的详情及我们使用的模型
回到 Open WebUI；可以说，该工具凭借其简洁且熟悉的界面提供了易用性。您可以自定义提示以调整模型，或者向界面添加多个模型，从而同时测试不同的模型。同样，您也可以为平台添加语音支持。
我们在 Open WebUI 中对比了 Meta 于上周发布的 Llama 3.2 模型的轻量版，以及 Phi-3.5 和 Gemma 2 模型。先简要介绍一下 Llama 3.2。该模型包含两个视觉模型（分别为 110 亿和 900 亿参数）和两个面向文本、专为移动设备设计的更轻量级模型（分别为 10 亿和 30 亿参数）。
Llama 3.2 提供长达 12.8 万 token 的上下文窗口，使其具备处理数百页文本的能力。这一特性使模型能够胜任更复杂的任务。
Meta 表示，Llama 3.2 在图像和文本理解方面与 Claude 3 Haiku 和 GPT4o-mini 相竞争。该公司指出，该模型在指令遵循、摘要生成和工具使用等领域表现出色。根据共享文档，与 Phi-3.5 和 Gemma 2 模型相比，Llama 3.2 在各种指标上均表现出高性能。
我们还使用不同的提示将 Llama 3.2 与 Phi-3.5 和 Gemma 进行了比较。Phi-3.5 的回答因其更长和更全面而脱颖而出，而 Gemma 则凭借其中文翻译能力与其他模型区分开来。当我们要求每个模型写一首关于人与机器人爱情的诗时，Llama 3.2 的十亿参数版本表示，受 Meta 安全政策限制，它无法就此主题写诗，而三十亿参数版本则可以。Gemma 在生成诗歌时也没有忘记在最后提醒用户。