AI实验室正竞相建造规模堪比曼哈顿的数据中心，每个耗资数十亿美元，能耗相当于一个小城市。这一努力源于对“扩展”的坚定信念——即认为在现有AI训练方法中增加更多计算能力，最终将产生能够执行各种任务的超级智能系统。
但越来越多的AI研究人员表示，大型语言模型（LLM）的扩展可能已接近极限，需要其他突破才能提升AI性能。
Sara Hooker是Cohere前AI研究副总裁、Google Brain校友，她正通过新创业公司Adaption Labs押注这一方向。她与同为Cohere和Google资深员工的Sudip Roy共同创立了这家公司，其理念是：扩展LLM已成为从AI模型中榨取更多性能的低效方式。Hooker于8月离开Cohere，本月悄然宣布成立该初创公司，以开始更广泛地招聘。
我正在启动一个新项目。致力于我认为最重要的问题：构建能够适应并持续学习的思考机器。我们拥有极具才华的创始团队，正在招聘工程、运营和设计岗位。
在接受TechCrunch采访时，Hooker表示Adaption Labs正在构建能够从现实经验中持续适应和学习的AI系统，并且效率极高。她拒绝透露该方法背后的细节，也未说明公司是否依赖LLM或其他架构。
“现在到了一个转折点，很明显，仅仅扩展这些模型的公式——即‘扩展迷’方法，虽然诱人但极其枯燥——并未产生能够导航或与世界互动的智能。”Hooker说。
根据Hooker的说法，适应是“学习的核心”。例如，当你走过餐厅桌子时绊到脚趾，下次你就会学会更小心地绕开它。AI实验室曾试图通过强化学习（RL）来捕捉这一理念，RL允许AI模型在受控环境中从错误中学习。然而，当前的RL方法并不能帮助生产环境中的AI系统——即客户正在使用的系统——实时从错误中学习，它们只是不断重复绊倒。
一些AI实验室提供咨询服务，帮助企业根据其定制需求微调AI模型，但这代价高昂。据报道，OpenAI要求客户花费超过1000万美元与该公司合作，才能获得其关于微调的咨询服务。
“我们有一些前沿实验室，它们确定了一套以相同方式向所有人提供的AI模型，而这些模型非常昂贵且难以适应。”Hooker说，“实际上，我认为这种情况不再必要，AI系统可以非常高效地从环境中学习。证明这一点将彻底改变谁有权控制和塑造AI的动态，以及最终这些模型服务于谁。”
Adaption Labs的最新动向表明，业界对扩展LLM的信心正在动摇。MIT研究人员最近的一篇论文发现，世界上最大的AI模型可能很快会出现收益递减。旧金山的氛围似乎也在转变，AI界最受欢迎的播客主持人Dwarkesh Patel最近主持了一些对著名AI研究人员异常怀疑的对话。
被誉为“强化学习之父”、图灵奖得主Richard Sutton在9月告诉Patel，大语言模型无法真正实现规模化扩展，因为它们没有从现实世界的经验中学习。本月，OpenAI早期员工Andrej Karpathy告诉Patel，他对强化学习（RL）在长期内提升AI模型潜力的看法持保留意见。
这类担忧并非前所未有。2024年底，一些AI研究人员提出担忧，认为通过预训练扩展AI模型——即AI模型从海量数据集中学习模式——正面临收益递减。在此之前，预训练一直是OpenAI和Google提升其模型能力的秘密武器。
这些关于预训练规模化的担忧如今正在数据中显现，但AI行业已经找到了其他改进模型的方法。在2025年，围绕AI推理模型的突破——这些模型在回答问题前需要花费额外的时间和计算资源来解决问题——将AI模型的能力推向了新的高度。
AI实验室似乎确信，扩大强化学习和AI推理模型的规模是新前沿。OpenAI研究人员此前告诉TechCrunch，他们开发了第一个AI推理模型o1，因为他们认为它能很好地实现规模化扩展。Meta和Periodic Labs的研究人员最近发布了一篇论文，探讨强化学习如何进一步扩展性能；据报道，这项研究耗资超过400万美元，凸显了当前方法依然昂贵。
相比之下，Adaption Labs旨在寻找下一个突破点，并证明从经验中学习可以便宜得多。据三位审阅其演示文稿的投资者称，今年早些时候该公司曾洽谈筹集2000万至4000万美元的种子轮融资。他们表示该轮投资现已关闭，但具体金额尚不清楚。Hooker拒绝置评。
当被问及她的投资者时，Hooker表示：“我们已做好非常雄心勃勃的准备。”
Hooker此前曾领导Cohere Labs，在那里她为企业用例训练小型AI模型。紧凑型AI系统现在在编码、数学和推理基准测试中通常能超越更大的模型——这是Hooker希望继续推动的趋势。
她还因在全球范围内扩大AI研究的访问权限而建立了声誉，从非洲等代表性不足的地区招聘研究人才。虽然Adaption Labs即将开设旧金山办公室，但Hooker表示她计划在全球范围内招聘。
如果Hooker和Adaption Labs关于扩展局限性的观点是正确的，那么其影响可能巨大。数十亿美元已经投资于大型语言模型的扩展，假设是更大的模型将带来通用智能。但有可能真正的自适应学习不仅更强大，而且效率更高。
Marina Temkin 参与了报道。