03|初体验:Ollama本地大模型与多模态大模型——知识点整理
一、课程简介
实战目标:结合 Ollama 的文本能力和 GPT-SoVITS 的语音能力,开发一个可以在本地运行的实时语音聊天助手,实现类似 ChatGPT 的语音助手功能。
核心收获:
-
了解 Ollama 本地大模型框架的安装和使用 -
体验 GPT-SoVITS 语音克隆大模型 -
理解多模态大模型的本质原理 -
动手完成一个本地语音助手的开发
二、Ollama——本地大模型的"瑞士军刀"
▸ 为什么需要 Ollama?
传统大模型开发的痛点:
-
参数量最小的 Llama 2 7B 也需要 14G 显存 -
每种大模型都有自己独立的开发接口 -
普通人很难在本地环境构建和体验大模型
★Ollama 的解决方案:构建了一个开源大模型的仓库,统一了各个大模型的开发接口,让普通开发者非常方便地下载、安装和使用各种大模型。
▸ 模型量化——让大模型"瘦身"
核心原理:调整每个模型参数的精度——从 FP16 精度压缩到 4 位整数精度。
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
★经过模型量化的 7B 大模型可以借助 Ollama 在普通人的电脑上运行!
三、Ollama 安装与使用
安装(Linux 环境)
只有一个命令:
curl -fsSL https://ollama.com/install.sh | sh
三步上手
|
|
|
|
|---|---|---|
| 1. 下载模型 | ollama pull llama3 |
|
| 2. 命令行对话 | ollama run llama2-chinese |
|
| 3. 自定义模型 |
|
|
Modelfile 配置示例
FROM llama2
# 设定温度参数为1(更高=更有创新性,更低=更连贯)
PARAMETER temperature 1
# 上下文窗口大小设置为4096
PARAMETER num_ctx 4096
# 自定义系统消息
SYSTEM You are Mario from super mario bros, acting as an assistant.
创建并运行自定义模型:
ollama create example -f ./Modelfile
ollama run example
Python 调用 API
Ollama 提供 HTTP API 接口(默认端口 http://localhost:11434/api/chat),可通过 Python 发送 POST 请求调用大模型。
★有了 Ollama,本地大模型开发变得和调用云端 API 一样简单。
四、Ollama 模型微调实战
可以实现一个"极客时间专有小助理"大模型!
核心流程:在 Llama2 基础上做数据微调 → 得到专用模型 → 在 Ollama 架构下运行。
数据集示例
需整理小助理相关的问题 - 回答对,包括:
-
"你是谁?""极客时间是什么?""你能做什么?" -
"如何联系人工客服?""平台上有哪些课程?" -
"课程需要付费吗?""如何购买课程?""课程可以退款吗?"
微调代码框架(基于 Hugging Face 的 transformers 库):
# 加载预训练模型和分词器
model = AutoModelForCausalLM.from_pretrained("facebook/llama-7b")
tokenizer = AutoTokenizer.from_pretrained("facebook/llama-7b")
# 数据准备 → 初始化 Trainer → 开始训练 → 保存模型
微调完成后的模型命名为 fine_tuned_llama,修改 Python 代码中的模型名称即可调用。
五、GPT-SoVITS——语音克隆大模型
▸ 什么是 GPT-SoVITS?
-
TTS:Text-to-Speech,文本转语音技术 -
GPT-SoVITS:只需 5 秒语音样本即可实现语音克隆的 TTS 大模型 -
架构基础:GPT(生成式预训练 Transformer)+ SoVITS(变声器技术) -
本质:依然是基于 Transformer 的序列化模型——通过大量"文字+语音波形"序列化数据训练,完成文字到语音的翻译
▸ 低成本语音克隆三步走
★使用 AutoDL 云计算环境,成本约 2 元/小时,整个训练不到 10 元。
|
|
|
|
|---|---|---|
| ① 语音分割 |
|
|
| ② 模型训练 |
|
|
| ③ 语音合成 |
|
|
作者录制的训练语音文本:
★"极客时间是一个非常有趣的平台,我在这里不仅仅获取了丰富的知识,还能够与志同道合的人分享学习的乐趣……"
合成效果示例输入:
★"您好极客时间,我是金伟"
★生成的语音完全克隆了作者的声音,复刻了音色、音调和语速!🎯
六、实战:打造本地实时语音聊天助手
系统架构
语音输入 → 转文本 → Ollama 大模型 → 文本回复 → TTS 语音输出
(faster_whisper) (GPT-SoVITS)
核心代码框架
1. 语音识别输入模块
from faster_whisper import WhisperModel
import pyaudio
classTranscriber(object):
# 语音转文字功能
classAudioRecorder(object):
# 录音功能
2. TTS 语音输出模块
为保证流畅性,将 Ollama 回复的文本分割后并行生成语音:
defproducer(ollama_str):
sentences = ollama_str.split("。")
for sentence in sentences:
if len(sentence) != 0:
queue.put(sentence, gen_tts) # 生成语音队列
3. 语音助手主循环
# 语音小助手
whileTrue:
with AudioRecorder(sample_rate=16000) as recorder: # 录音
with Transcriber(...) as transcriber: # 语音转文字
for audio in recorder:
for seg in transcriber(audio):
print("YOU:", seg) # 输入文本
ollama_str = request_ollama(seg) # 调用 Ollama 接口
print("AI: ", ollama_str) # 输出文本
producer(ollama_str) # TTS 输出语音
★✅ 到此为止,完全依赖本地环境实现了一个基于大模型的简易版语音助手!
七、多模态大模型的本质原理
▸ 什么是多模态大模型?
除了文本,还支持图片、语音、视频等其他输入输出格式的大模型。 例如:GPT-4 的 DALL-E 3(图片)、GPT-SoVITS(语音)、视频大模型等。
▸ 核心真相:多模态 = 序列化
★多模态模型和语言模型一样,本质就是一个序列化模型。多模态只是语言大模型的扩展。
语音模型原理
以语音频谱图为例:时间(T轴)× 频率(F轴)× 分贝(颜色)
-
音频的"极客时间是一个……" → 时间线上一个颜色条对应一个中文字 -
不管三个维度怎么表示,都可以把语音看作和文本一样的序列 -
经过足够的"文本-语音序列"数据训练,大模型就能实现文本↔语音的翻译
图片多模态模型原理
图片处理流程:
原图(32×32像素)
↓ 分割成小块(patches)
4×4个小块(每个8×8像素)→ 展平 → 向量序列
↓ 加上文字描述
文字-图片的序列串
↓ Transformer 训练
学习文本-图片的语义对应关系
★更形象地说:让大模型学习大量的对应关系——"苹果在桌子上"、"西瓜在地上"等。西瓜、苹果、桌子、地面、以及上下位置关系,就是大模型从文本-图片序列串中学习到的。
八、核心概念速记表
|
|
|
|---|---|
| Ollama |
|
| 模型量化 |
|
| Modelfile |
|
| GPT-SoVITS |
|
| TTS |
|
| 多模态大模型 |
|
| 序列化模型 |
|
九、知识点总结(10 条)
-
Ollama 是一个开源大模型仓库,统一了各模型接口,让普通开发者可以方便地下载、安装和使用各种大模型 -
模型量化技术将参数从 FP16 压缩到 4 位整数,显存需求降低到原来的 1/4 ~ 1/3,使大模型能在普通电脑上运行 -
Ollama 支持命令行运行和 Python API 调用两种方式 -
通过 Modelfile 可以自定义大模型的温度、上下文窗口、系统提示词等参数 -
GPT-SoVITS 只需 5 秒语音样本即可实现语音克隆,结合了 GPT 和 SoVITS 技术 -
语音克隆三步走:语音分割 → 模型训练 → 语音合成,总成本不到 10 元 -
本地语音助手架构:语音输入 → faster_whisper 转文本 → Ollama 推理 → GPT-SoVITS 语音输出 -
多模态大模型的本质和语言模型一样,都是基于 Transformer 的序列化模型 -
图片多模态的原理:将图像分割成小块(patches) 展平成向量序列,加上文本描述后训练 -
未来 AI 应用需要结合本地"小模型"、远端大模型和多模态大模型才能打造出合格的应用
十、思考题
★在多模态的图片模型中,为什么用户输入一个文本之后,会先显示一个低像素的草图再慢慢变清晰呢?这个过程和序列化的大模型训练有什么关系?
欢迎在评论区分享你的理解!💡
★📌 上节回顾:ChatGPT 的核心工程创新——Decoder架构、预训练、微调、RLHF 📌 下节预告:一起探索更多 AI 实战开发技巧!
★💬 如果觉得有收获,欢迎分享给更多朋友一起学习,也欢迎在评论区交流你的本地大模型体验!

