大数跨境

OpenAI o1 的竞争对手:低成本开源推理模型 s1

OpenAI o1 的竞争对手:低成本开源推理模型 s1 土耳其小莫
2025-02-06
4
导读:由 Gemini 2.0 Flash Thinking Experimental 蒸馏而来的 s1,其训练成本低于每千次云推理请求50美元。

斯坦福大学与华盛顿大学AI研究人员联合推出低成本推理模型s1,云算力训练成本不足50美元。

在数学及编程等评估指标上,s1性能媲美OpenAI o1、DeepSeek R1等领先推理模型。研究团队在论文中证实采用了蒸馏技术,这也印证了此前关于“通过蒸馏可低成本构建先进AI模型”的行业观点。

技术路径:基于Qwen基座与Gemini蒸馏

s1以阿里巴巴Qwen实验室开源的小型模型为基座,从Google Gemini 2.0 Flash Thinking Experimental中提取思考过程进行蒸馏。研究表明,仅需较小数据集配合监督微调(SFT),即可高效完成推理模型的蒸馏训练。

训练效率与资源开放

该模型仅使用16块Nvidia H100 GPU,耗时不到30分钟即完成训练,并在多项AI基准测试中表现优异。据测算,相关算力每小时租金仅约20美元。目前,s1模型的训练数据及代码已在GitHub开源。

【声明】内容源于网络
0
0
土耳其小莫
小莫带你了解土耳其电商,探索AI应用
内容 45623
粉丝 0
土耳其小莫 小莫带你了解土耳其电商,探索AI应用
总阅读56.4k
粉丝0
内容45.6k