斯坦福大学与华盛顿大学AI研究人员在上周五发布的研究论文中披露,仅需不到50美元的云计算积分,即可训练出AI“推理”模型s1。该模型在数学和编程能力测试中表现媲美OpenAI o1及DeepSeek R1等前沿模型,其代码、数据及模型本身均已开源至GitHub。
技术路径:低成本蒸馏实现高性能
s1团队采用“蒸馏”技术对现成基础模型进行微调,即通过训练让模型学习其他AI的答案以提取推理能力。具体而言,s1基于阿里巴巴Qwen小型开源模型,利用Google Gemini 2.0 Flash Thinking Experimental(免费开放但有限速)的输出数据进行监督微调(SFT)。研究构建了一个仅含1,000个精选问题及其“思考过程”的数据集,使用16块Nvidia H100 GPU训练不足30分钟即完成。
相较于DeepSeek R1采用的大规模强化学习,SFT成本显著更低。此外,研究人员还引入“wait”指令技巧,促使模型延长思考时间并复查工作,从而提升答案准确性。斯坦福研究员Niklas Muennighoff表示,当前租用所需算力仅需约20美元。
行业影响:护城河质疑与合规风险
s1的出现引发了关于AI模型商品化的深层讨论:若少量资金即可高度复刻耗资数百万的模型,技术护城河何在?尽管这证明了非巨额资金支持下的创新可能,但也招致大型AI实验室的不满,OpenAI已指责DeepSeek不当抓取API数据用于蒸馏。
需注意的是,Google服务条款明确禁止对其模型进行逆向工程以开发竞争性产品。尽管蒸馏是重现现有能力的廉价手段,但Meta、Google和微软计划在2025年投入数千亿美元建设AI基础设施,这种量级投资仍是推动AI突破当前边界、创造全新模型的必要条件。

