大家好,我是小阳哥。
今天给大家介绍一个能在笔记本电脑跑的多模态大模型:
谷歌新发布的Gemma 端侧模型Gemma4-12B
用我的古董Mac M1部署测试了下,确实能跑起来,效果也还可以
接下来教大家如何在 Mac 安装,以及展示下我自己的一些测试案例
Gemma4-12B 简介
Gemma4 是谷歌(google)的开源端侧大模型,4月份谷歌发布了 Gemma 4 系列(E2B / E4B / 26B / 31B),这次 6月3日新出的 12B, 是系列里的第五个模型。
谷歌Gemma4开源模型汇总:
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
另外,Gemma4-12B 也是个多模态大语言模型,支持文本、图片、音频 输入
Mac安装
安装 Ollama
安装方式
-
方式 1:直接下载安装包,地址:https://ollama.com/download -
方式2:brew 安装,打开「终端」,运行 brew install --cask ollama
安装完后,可以应用里搜到,打开就行
下载模型
参考:https://ollama.com/library/gemma4:12b
打开终端「终端」,然后输入下面指令,运行
ollama run gemma4:12b
会开始下载模型,并载入。如下截图,开始下载了
模型大小 7G+,需要比较长时间......
下载好后,默认会进入终端启动,使用app 会比较直观,终端可以直接退出。
打开桌面的 Ollama,在对话框的模型列表,选择下载好的gemma4:12b,就可以开始使用了
模型测试
先让他自我介绍下
输入你是谁,think + 回答花了 30 秒...
图片测试
先测试图片识别,找了一张包含图片和食物的海报,让它识别
识别有点问题...厦门识别成了广东。再离开厦门,识别成了再来开门,其他倒是还好。食物只能识别个大概,比如左上角是粽子识别成了饺子。面和饮料倒是识别出来了
对中文和复杂画面识别,我评分的话,估计60分吧,勉强及格。
可能中文支持没那么好,再测试一张英文海报。
这个结果有点出乎意料,文字识别准确率基本 100%,我看了一遍,没发现有错误的地方
物体和颜色的识别也都正确。看来还是英文的识别能力更强!
编码测试
(1)让它做个贪吃蛇网页游戏
结果演示如下
界面比较简洁,但是功能没啥问题
(2)让它写了个冒泡排序
也没啥问题,挺适合初学编程的人,去做一些离线学习的
(3)让它写个 apple 官方风格的页面
也还不错
模型还支持音频输入,我这次没有测试,感兴趣的朋友,可以试试音频翻译如何...
其他玩法(Codex 接入)
可以让 Codex、Claude Code、OpenClaw 这些 agent 应用 通过 Ollama 接入 本地部署的模型
比如我们这次部署的Gemma 4 12B ,如果想在 Codex 里使用
可以在命令行执行:
ollama launch codex-app
然后在命令行里的模型选择里,选择Gemma 4 12B
然后就会使用 Ollama 里Gemma模型,启动 Codex
启动后,看Codex 模型那边变成了 Ollama,说明接入成功了,简单测试下可以用
我电脑配置比较低,回答有点慢,这个就没多做测试。感兴趣的朋友,也可以使用配置高一些的电脑,接入测试看看
END
作为一个能跑着笔记本电脑上的端侧大语言模型,Gemma 4 12B 还是可以用的
比较适合一些简单的离线任务处理
语言能力方面,Gemma更擅长英文。如果是英文问答、图片分析、语音转文字,选 Gemma 4 12B 没问题
使用速度上,我用 Mac M1跑,速度还是比较慢(输入 50-100token/s,输出5-10token/s),而且在推理的时候电脑还是比较卡,推荐大家用更高性能的电脑跑。

