大数跨境

名为 Dolly 的新开源 ChatGPT 克隆程序

名为 Dolly 的新开源 ChatGPT 克隆程序 搜索引擎报
2023-03-27
0
导读:随着 Dolly——一款 ChatGPT 克隆程序的发布,开源 AI 又向前迈进了一步

Databricks 发布的开源大语言模型 Dolly,标志着开源 GPT 聊天技术取得重要进展。该模型以首只克隆哺乳动物命名,旨在推动 AI 技术开放化,打破大型科技公司的垄断。

开源大语言模型的发展意义

Dolly LLM 是开源 AI 运动的最新成果,致力于提升技术可访问性。当前企业普遍担忧将敏感数据交由第三方 AI 服务商处理,开源模式为数据安全与自主可控提供了新路径。

基于 LLaMA 与 Alpaca 的技术架构

Dolly 基于 EleutherAI 和斯坦福大学 Alpaca 模型开发,而 Alpaca 本身源自 Meta 开源的 650 亿参数 LLaMA 模型。LLaMA 使用公开数据训练,尽管规模较小,但在多项基准测试中表现优于 OpenAI GPT-3、DeepMind Gopher 及 Chinchilla 等顶级模型。

高质量数据集与指令微调突破

Dolly 的研发受 SELF-INSTRUCT 论文启发,该方法通过自生成指令构建高质量问答训练集,效果显著优于传统公共数据。研究显示,采用 SELF-INSTRUCT 微调的 GPT-3 在指令遵循任务上仅比 InstructGPT 低 5%,且在 SUPERNATURALINSTRUCTIONS 基准上较原始模型提升 33%。

Databricks 指出,Dolly 通过对 EleutherAI 60 亿参数模型进行指令微调,成功激发其头脑风暴、文本生成等能力。实验证明,仅需单台机器和 30 分钟高质量数据训练,即可使现有开源模型具备类 ChatGPT 的指令遵循能力。值得注意的是,该模型仅 60 亿参数,远低于 GPT-3 的 1750 亿参数,表明指令遵循能力并不完全依赖模型规模。

推动 AI 民主化进程

Dolly 被视为 AI 民主化的重要实践。此前,Mozilla 已成立 Mozilla.ai 加入这一运动,共同促进开源 AI 生态发展。Databricks 官方公告标题为“你好 Dolly:用开源模型实现 ChatGPT 的魔法”,进一步强调了开源技术在复刻先进 AI 能力方面的潜力。

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 2933
粉丝 0
搜索引擎报 搜索引擎时报
总阅读3.4k
粉丝0
内容2.9k