大数跨境

研究人员以不到50美元的成本,打造了一个开源的OpenAI o1“推理”模型的替代品

研究人员以不到50美元的成本,打造了一个开源的OpenAI o1“推理”模型的替代品 海外洞察
2025-02-05
2
导读:斯坦福大学和华盛顿大学的AI研究人员能够以不到50美元的云计算积分成本,训练出一个AI“推理”模型,据称

斯坦福大学与华盛顿大学AI研究人员在上周五发布的研究论文中披露,仅需不到50美元的云计算积分,即可训练出AI“推理”模型s1。该模型在数学和编程能力测试中表现媲美OpenAI o1及DeepSeek R1等前沿模型,其代码、数据及模型本身均已开源至GitHub。

技术路径:低成本蒸馏实现高性能

s1团队采用“蒸馏”技术对现成基础模型进行微调,即通过训练让模型学习其他AI的答案以提取推理能力。具体而言,s1基于阿里巴巴Qwen小型开源模型,利用Google Gemini 2.0 Flash Thinking Experimental(免费开放但有限速)的输出数据进行监督微调(SFT)。研究构建了一个仅含1,000个精选问题及其“思考过程”的数据集,使用16块Nvidia H100 GPU训练不足30分钟即完成。

相较于DeepSeek R1采用的大规模强化学习,SFT成本显著更低。此外,研究人员还引入“wait”指令技巧,促使模型延长思考时间并复查工作,从而提升答案准确性。斯坦福研究员Niklas Muennighoff表示,当前租用所需算力仅需约20美元。

行业影响:护城河质疑与合规风险

s1的出现引发了关于AI模型商品化的深层讨论:若少量资金即可高度复刻耗资数百万的模型,技术护城河何在?尽管这证明了非巨额资金支持下的创新可能,但也招致大型AI实验室的不满,OpenAI已指责DeepSeek不当抓取API数据用于蒸馏。

需注意的是,Google服务条款明确禁止对其模型进行逆向工程以开发竞争性产品。尽管蒸馏是重现现有能力的廉价手段,但Meta、Google和微软计划在2025年投入数千亿美元建设AI基础设施,这种量级投资仍是推动AI突破当前边界、创造全新模型的必要条件。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k