一条只有一个词开头的推文,把整个开源阵营都点燃了。
「BOOM!」2026年7月2日,科技博主Brian Roemmele只打出一句感叹,后面甩上一篇刚挂上arXiv没多久的论文链接。标题看着挺学术:《Learning the ARTS of Search for Automated Discovery》(学习自动发现的搜索之术)。
但他给这篇论文写的导语一点也不学术:
"A groundbreaking new paper titled 'Learning the ARTS of Automated Discovery' from researchers at UC Santa Barbara and Mila shows that sophisticated AI-driven scientific research no longer requires massive closed labs or enormous budgets."
「加州大学圣巴巴拉分校和Mila的研究者发表了一篇突破性论文,证明复杂的AI驱动科研,不再需要超大型闭源实验室,也不再需要天量预算。」
紧接着他抛出一个问题,矛头对准了Anthropic的CEO:does this make Dario Amodei sad?(这会让Dario Amodei难受吗?)
Dario Amodei这些年反复强调一件事:前沿AI太危险,必须由少数精英实验室严格管控,开源等于放虎归山。现在有人拿着一篇论文说,一个只有40亿参数的开源模型,配上合适的框架,跑分能追上甚至打过OpenAI的o3。
这条推文最终收获了109个赞、31次转发、70次收藏、2万浏览。数字不算爆炸级,但足够让技术圈里的人停下来,认真看一眼这篇论文到底写了什么。
AI做科研,到底难在哪
让AI自己搞科研这件事,其实早有先例,称不上什么新鲜概念。
Sakana AI在2024年就推出过The AI Scientist,实现了一套完整的自动化科研闭环,提想法、写代码、跑实验、画图、写论文草稿、模拟同行评审。这个项目在GitHub上收获了1.4万颗星,2千次fork,足以说明社区对"AI自主搞科研"这件事有多上头。
▲ Sakana AI 的 AI Scientist 开源项目页面,14.1k星、2k fork,是这波"AI科学家"热潮的先行者之一
但真实的机器学习研究,比写代码或者证明数学定理麻烦得多。
想象一下这个过程:AI提出一个想法,把想法写成能跑的代码,启动训练,盯着日志看哪里不对,判断这次失败到底是这个方向本身没戏,还是只是代码有bug、训练轮次不够,然后决定下一步该修还是该换。
每一步都很贵。一次训练动辄几个小时GPU时间。一次完整的搜索能产生几百个实验节点,每个节点背后是代码、日志、训练曲线,堆起来轻松超过模型的上下文窗口。历史信息一多,要么被直接剪掉,要么因为"Lost in the middle"(长上下文里中间部分容易被模型忽略)这个老毛病而失效。
更麻烦的是,现在主流的搜索算法,像MCTS(蒙特卡洛树搜索)这类基于分数的启发式方法,有一个根子上的问题:它们分不清"想法差"和"执行差"。
论文里举了个例子:一个没调好的Transformer,在序列建模任务上,分数可能暂时落后于LSTM。但只要给足训练时间和对的超参数,Transformer很可能反超。可基于分数的搜索算法看到当前分数低,转头就放弃了Transformer,继续在已经快摸到天花板的LSTM方向上死磕。
一个真正有潜力的想法,因为前期跑得糙,分数低,就被判了死刑。一个平庸的想法,因为执行到位,反而被继续深挖。
科学家,还是侦探
这篇论文提出的方案叫ARTS,Agentic Reasoning for Tree Search(代理推理树搜索)。核心思路说穿了不复杂:让AI在剪枝之前,先破个案。
▲ 论文《Learning the ARTS of Search for Automated Discovery》的arXiv摘要页,作者来自UC Santa Barbara和Mila-Quebec AI研究所
具体怎么运作,论文里画了一整套流程。
系统里有两个角色分工:一个是"科学家"模型,负责推理和诊断,通常用推理能力强的大模型;另一个是"执行者"模型,负责快速写代码、跑实验,追求的是速度和编码能力。
每一轮搜索,科学家先拿到当前整棵搜索树的快照,每个节点只有ID、分数、还有一行文字描述的假设。但它手里有个工具叫Inspect,可以随时把任意一个节点的完整代码、训练日志、损失曲线全部拉出来细看。
▲ arXiv HTML版论文页面,展示论文引言部分,这里详细阐述了现有搜索算法"把想法优劣和执行质量混为一谈"的核心缺陷
拿到这些原始证据后,科学家开始像侦探审案卷一样逐一诊断:这个低分,到底是因为想法本身站不住脚,还是训练时间不够、代码有bug、验证集分错了?
论文附录里给了个具体案例:在HMS Brain Activity(脑电活动分类)任务上,另一套基线算法AIRA(基于MCTS)看到某个CNN方向早期分数在退步,当场判定这条路走不通,转头去搞手工特征,结果指标反而恶化到9以上。ARTS的科学家模型翻了训练日志,发现验证集上的KL散度其实还在稳定下降,问题出在训练轮次不够,想法本身站得住。于是它选择留在原来的方向继续精炼网络结构,加上数据增强,最终拿到了整个实验里最好的成绩:0.467。
诊断完之后,科学家会挑一个最有潜力的父节点,注意,不一定是当前分数最高的那个。然后它会用一种叫verbalized sampling(显式采样)的技巧,一口气提出3到5个不同方向的假设,并且给每个假设标上概率,不再闷头只给一个"我最有信心"的答案。这一步是为了防止模型自己陷入思维定式,永远只顺着一条路走。
一个独立的采样器会从这几个假设里随机抽一个,交给执行者。执行者接手父节点的代码状态,严格按照假设去实现、调试、跑出结果,不许自作主张改主意。新节点生成,进入搜索树,循环往复。
当树长得太大,就把经验炼成权重
树越长越大,历史记录早晚会超出模型能处理的上下文。这时候ARTS祭出第二招,测试时训练(test-time training,简称TTT)。
做法是每隔一段时间,拿当前搜索树上已经跑出来的结果做一次GRPO强化学习更新,微调一个轻量的LoRA适配器。奖励设计也有讲究:按70%分位数打分,不只盯着当前最高分,避免某一次运气好冲到高分之后,后面所有节点都在无脑追这一个方向。
训练之后,模型的权重里就"记住"了哪些方向值得坚持、哪些坑容易踩,不再需要每次都重新读一遍几万字的历史日志。
这套组合拳在MetaMaze,一个部分可观测的强化学习任务,上打出了最惊艳的结果。
这个任务的人类最佳方案需要用到循环神经网络(比如LSTM)来记住走过的迷宫路径。问题是LSTM这类结构训练早期特别不稳定,分数经常很难看。用o3当科学家的ARTS系统,虽然也几次三番提出"这里需要记忆机制",但在漫长的搜索轨迹里逐渐被别的、暂时分数更高的方向带偏了。
只有经过测试时训练的Qwen3-4B,把"这个方向不稳,但值得死磕"这条经验真正焊进了自己的权重里。它一次又一次地回到这个方向精修,最终拿到53.0的成绩,不仅超过了人类最佳纪录,也超过了用o3当科学家的完整版ARTS系统。
数据摆出来
情怀讲完了,该看数据了。
论文在22个真实ML研究任务上做了测试,来源是MLGym和MLE-bench两个公开基准,都是圈内认可的、用真实Kaggle竞赛和研究任务搭建的评测集,题目扎实,称不上玩具级别。
▲ MLE-bench论文页面。这个基准从75个Kaggle竞赛中精选任务,用来衡量AI智能体的真实机器学习工程能力,此前o1-preview配合AIDE框架在16.9%的比赛里能拿到至少铜牌水平
结果:ARTS在其中16个任务上排名第一,平均相对性能提升15.3%。用更严格的统计口径(去掉最好和最差25%之后取均值)衡量,ARTS依然明显领先。
时间曲线也很有意思:ARTS在前一两个小时经常是落后的,因为它花时间在做基线审计和广撒网式的多样化探索;越往后差距越大,属于典型的"慢热但后劲足"。
最炸的是成本对比。用测试时训练之后的Qwen3-4B,在MLGym子集上的归一化分数从0.72拉到了1.01,匹配上了Gemini-3 Pro、GPT o3-reasoning这些闭源顶级模型的水平,而推理成本只要对方的五分之一。
论文摘要原文是这么写的:
"With test-time training we show that a Qwen3-4B agent can match performance with closed-source frontier models like Gemini-3 Pro and GPT o3-reasoning with upto 5× lower inference cost."
「通过测试时训练,我们展示了一个Qwen3-4B智能体能够匹配Gemini-3 Pro、GPT o3-reasoning这类闭源前沿模型的表现,推理成本最多降低5倍。」
Grok也来站台了
论文挂上arXiv之后,技术圈的反应比大众媒体快得多,毕竟这东西门槛不低,懂的人自然懂。
Brian Roemmele的推文下面,官方Grok账号亲自出来点评了一句。语气比Brian冷静得多,没提Dario Amodei,纯技术判断:
"The ARTS paper shows a Qwen3-4B open-source model with test-time training matching or exceeding o3-powered performance on several automated ML discovery tasks from MLGym and MLEBench, at up to 5x lower inference cost. It excels by better attributing failures and committing to promising directions others prune."
「ARTS论文展示了一个经过测试时训练的Qwen3-4B开源模型,在MLGym和MLEBench的多个自动化ML发现任务上,匹配甚至超越了o3驱动的表现,推理成本最多降低5倍。它的优势在于更好地归因失败原因,并坚持那些被其他方法剪掉的有潜力方向。」
▲ Grok官方账号在评论区的技术点评,肯定了ARTS在失败归因和方向坚持上的优势
LinkedIn上,一位名叫Gurinderjeet Singh的专业用户也写了篇长文解读,标题就是"开源40亿模型在AI研究上打败了OpenAI的o3"。文章几乎把论文的故事逐段复述了一遍,结尾那句收得很重:"Code, paper, and full search trajectories are all public."(代码、论文、完整的搜索轨迹,全部公开。)
三个信源,X主帖、Grok回复、LinkedIn解读,在关键数字上高度一致:15.3%、16/22、Qwen3-4B、5倍成本差、MetaMaze的循环记忆重新发现。没有互相打架的地方。
把这些声音放在一起看,指向同一个结论:这次真正起作用的是框架和自我学习机制,参数量反而成了次要变量。一个小模型只要装备了能区分"想法错"和"执行错"的诊断能力,再加上一套能把探索经验固化成权重记忆的机制,就能在特定的科研搜索任务上打出让人意外的水平。
别急着高潮,这里有几个坑
论文自己在Discussion部分留了几句大实话,写文章之前必须交代清楚。
第一,ARTS再怎么厉害,依然严重依赖底层"科学家"和"执行者"模型本身的能力,谈不上什么凭空点石成金的黑箱。第二,目前测试只覆盖了22个任务、固定8小时预算,样本量谈不上海量。第三,也是最需要泼冷水的一点,论文里反复强调的"代码、论文、完整搜索轨迹全部公开",在实际采集时,项目页面(auto-discovery.github.io/arts)访问结果是404。方向站得住,东西还没真正落地。
另外,一个足够自主、能自己决定要不要坚持某个方向的AI智能体,如果缺乏明确的任务约束、完整日志记录和人类监督,潜在的风险同样存在。开放不等于零风险,只是把风险从"少数机构说了算"变成了"社区共同承担"。





▲ Brian Roemmele的原始长文,5点总结了ARTS的意义,并在末尾抛出一句反问:这会让Dario Amodei不高兴吗?
这场辩论,才刚刚开始
Dario Amodei这些年的核心主张一以贯之:前沿AI能力太危险,必须集中在少数负责任的实验室手里,开源约等于失控。
ARTS这篇论文没有正面反驳这套逻辑,它只是拿出了一组实证数据:一个40亿参数、任何人都能下载的开源模型,配上一套设计精巧的搜索框架和测试时训练机制,就能在真实的机器学习研究任务上,摸到甚至碰到闭源旗舰模型的天花板,成本却只要五分之一。
前沿科研的门槛,原来至少有一部分,靠的不完全是模型参数,更靠好框架。而框架,可以公开、可以复现、可以被全世界一起打磨。
这场关于"AI能力到底该攥在谁手里"的争论,显然不会因为一篇论文就有结论。但ARTS至少证明了一件事:小模型加上聪明的搜索策略,足够让"开源打不过闭源"这句话,变得没那么理所当然。

