ChatGLM-6B 是清华大学开源的大语言模型，支持中英双语对话。它具有 62 亿参数，他基于通用语言框架（General Language Model (GLM)）， 并在大量中英文文本数据集上进行训练。ChatGLM-6B针对用户设备进行了优化， 可以在本地部署在消费级显卡上。
界面
ChatGLM-6B 提供了一个 Web UI，使用 Gradio 编写。
前端时间还发布 VisualGLM-6B，多模态对话语言模型，支持图像理解。
使用方式
硬件需求
我在笔记本上（Mac M1）和 Google Colab 上运行过，加上低内存的参数，是可以运行 FP16 的。当然 INT4 也 OK。
注意 M1 不支持 GPU。
| 量化等级 | 最低 GPU 显存 （推理） |
最低 GPU 显存 （高效参数微调） |
| FP16（无量化） | 13 GB | 14 GB |
| INT8 | 8 GB | 9 GB |
| INT4 | 6 GB | 7 GB |
安装
项目官网是：
• https://github.com/THUDM/ChatGLM-6B
下载代码并安装依赖：
git clone https://github.com/THUDM/ChatGLM-6B进入 ChatGLM-6B 目录，使用 pip 安装依赖：
cd ChatGLM-6B
pip install -r requirements.txt对话示例
截图是我自己运行截图的，跟官方截图内容有一定出入。
自我认知
提纲协作
文案写作
信息抽取
多模态对话
运行 web_demo_vision.py 来进行多模态对话：
更多信息可以参考 VisualGLM-6B ：
• https://github.com/THUDM/VisualGLM-6B
--- END ---