非营利AI研究机构Epoch AI分析指出,AI行业或难以长期从推理模型中获取显著性能提升,相关进展可能在一年内放缓。
近期,OpenAI o3等推理模型在数学、编程基准测试中表现突出。其通过增加计算资源解题以提升性能,但耗时较传统模型更长。此类模型先经海量数据训练,再借助强化学习技术获取难题解决方案的“反馈”。
据Epoch透露,此前前沿AI实验室未在推理模型强化学习阶段投入大量算力。目前情况生变:OpenAI训练o3的算力约为o1的10倍,且多用于强化学习;研究员Dan Roberts亦表示,未来将优先以远超初始训练的算力推进强化学习。
不过,Epoch认为强化学习的算力投入仍存在上限。
报告作者Josh You指出,标准AI模型训练性能每年翻两番,强化学习则每3-5个月增长十倍,推理训练进展或在2026年前与整体前沿水平趋同。
该分析基于多项假设及AI高管公开评论,同时提出除算力外,高昂研究间接成本等因素也可能制约推理模型扩展。You强调:“若研究需持续间接成本,推理模型或难达预期扩展程度;快速扩展算力是关键因素,值得密切跟踪。”
推理模型临近极限的迹象可能引发行业担忧。现有研究表明,高运行成本的推理模型存在明显缺陷,如比部分传统模型更易产生幻觉。

