Databricks 发布的开源大语言模型 Dolly,标志着开源 GPT 聊天技术取得重要进展。该模型以首只克隆哺乳动物命名,旨在推动 AI 技术开放化,打破大型科技公司的垄断。
开源大语言模型的发展意义
Dolly LLM 是开源 AI 运动的最新成果,致力于提升技术可访问性。当前企业普遍担忧将敏感数据交由第三方 AI 服务商处理,开源模式为数据安全与自主可控提供了新路径。
基于 LLaMA 与 Alpaca 的技术架构
Dolly 基于 EleutherAI 和斯坦福大学 Alpaca 模型开发,而 Alpaca 本身源自 Meta 开源的 650 亿参数 LLaMA 模型。LLaMA 使用公开数据训练,尽管规模较小,但在多项基准测试中表现优于 OpenAI GPT-3、DeepMind Gopher 及 Chinchilla 等顶级模型。
高质量数据集与指令微调突破
Dolly 的研发受 SELF-INSTRUCT 论文启发,该方法通过自生成指令构建高质量问答训练集,效果显著优于传统公共数据。研究显示,采用 SELF-INSTRUCT 微调的 GPT-3 在指令遵循任务上仅比 InstructGPT 低 5%,且在 SUPERNATURALINSTRUCTIONS 基准上较原始模型提升 33%。
Databricks 指出,Dolly 通过对 EleutherAI 60 亿参数模型进行指令微调,成功激发其头脑风暴、文本生成等能力。实验证明,仅需单台机器和 30 分钟高质量数据训练,即可使现有开源模型具备类 ChatGPT 的指令遵循能力。值得注意的是,该模型仅 60 亿参数,远低于 GPT-3 的 1750 亿参数,表明指令遵循能力并不完全依赖模型规模。
推动 AI 民主化进程
Dolly 被视为 AI 民主化的重要实践。此前,Mozilla 已成立 Mozilla.ai 加入这一运动,共同促进开源 AI 生态发展。Databricks 官方公告标题为“你好 Dolly:用开源模型实现 ChatGPT 的魔法”,进一步强调了开源技术在复刻先进 AI 能力方面的潜力。

