大数跨境

Ai2 的开源 Tülu 3 让任何人都能参与 AI 后训练游戏

Ai2 的开源 Tülu 3 让任何人都能参与 AI 后训练游戏 海外洞察
2024-11-21
0
导读:询问开源人工智能社区的任何成员,他们都会告诉你,他们与大型私营公司之间的差距不仅仅是算力。

询问开源人工智能社区的任何成员,他们都会告诉你,与大型私营公司之间的差距不仅仅是算力。Ai2 正致力于弥补这一差距:从完全开源的数据库和模型,到如今推出开放且易于适配的后训练流程,将“原始”大型语言模型(LLM)转化为真正可用的形态。

后训练:创造真正价值的关键

与普遍认知相反,“基础”语言模型在预训练结束后并不能直接投入使用。预训练固然必要,但远非充分,甚至有人认为其重要性正在下降。

后训练过程才是创造真正价值的核心阶段。正是在此阶段,模型从一个无所不知却可能输出有害内容的庞大网络,被塑造成更有用的形态。各大公司对后训练流程讳莫如深,因为让模型对治疗师或研究分析师等特定用户有用,是完全不同于通用抓取的挑战。

Ai2 的开放性实践

Ai2(前身为艾伦人工智能研究所)曾批评 Meta Llama 等项目缺乏真正的开放性——尽管可免费使用,但数据来源、构建过程及训练方法仍是秘密。相比之下,Ai2 致力于极致开放:从数据收集、清洗流水线,到生成 OLMo 等大模型的具体训练方法,均对外公开。

然而,很少有开发者具备运行大模型的能力,更少人能像科技巨头那样进行复杂的后训练。为此,Ai2 推出了 Tülu 3,旨在实现该环节的民主化。

图表并不能完全捕捉所有细节,但你可以看到其大致轮廓。图片来源:AI2

Tülu 3:定制化与端到端开源

Tülu 3 是早期版本的重大改进,经数月实验与迭代,在评分上已与最先进的“开放”模型持平。它涵盖了从主题选择(如降低多语言能力权重、加强数学编程能力)、数据策展、强化学习、微调到偏好调优的全流程,最终打造在特定技能上表现更出色的模型。

更重要的是,Tülu 3 让开发者摆脱了对大公司资源的依赖。过去定制 LLM 往往需借助外部 API 或中间商,不仅成本高昂,还面临敏感数据暴露风险。如今,研究机构发布的完整预训练和后训练流程支持本地部署,为医疗等服务行业提供了更安全、自主的替代方案。

Ai2 自身也在利用这一成果作为背书。尽管当前测试基于 Llama,但团队计划很快推出基于 OLMo 并经 Tülu 3 训练的模型,实现基线提升与端到端完全开源。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14179
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读975
粉丝0
内容14.2k