
斯坦福大学与华盛顿大学AI研究人员联合推出低成本推理模型s1,云算力训练成本不足50美元。
在数学及编程等评估指标上,s1性能媲美OpenAI o1、DeepSeek R1等领先推理模型。研究团队在论文中证实采用了蒸馏技术,这也印证了此前关于“通过蒸馏可低成本构建先进AI模型”的行业观点。
技术路径:基于Qwen基座与Gemini蒸馏
s1以阿里巴巴Qwen实验室开源的小型模型为基座,从Google Gemini 2.0 Flash Thinking Experimental中提取思考过程进行蒸馏。研究表明,仅需较小数据集配合监督微调(SFT),即可高效完成推理模型的蒸馏训练。
训练效率与资源开放
该模型仅使用16块Nvidia H100 GPU,耗时不到30分钟即完成训练,并在多项AI基准测试中表现优异。据测算,相关算力每小时租金仅约20美元。目前,s1模型的训练数据及代码已在GitHub开源。

