大数跨境

超越刷榜:没有标准答案,AI 也能开始自己做科研了

超越刷榜:没有标准答案,AI 也能开始自己做科研了 DualverseAI
2026-10-15
1
导读:研究什么值得做,实验结果说明了什么,下一步往哪走——这些原本需要研究者判断的事,AI 也开始尝试自己做了。

研究什么值得做,实验结果说明了什么,下一步往哪走——这些原本需要研究者判断的事,AI 也开始尝试自己做了。

2026,AI 做科学研究,已经有了不少亮眼的成绩,比如OpenAI最近在数学上的大杀四方。但目前AI研究的任务大多有一个明确目标:
让算法更快,让预测更准,或者找到一个能验证的数学答案——
好像做得好不好,就一定有办法检查。
但事实上,真正做研究时,哪有这么多直接的问题。
比如,研究一个视觉语言模型(VLM)为什么会看着图片说错话。发现一次错误不难,但错误怎么来的,哪个原因值得追,实验结果能说明多少问题,都得自己判断。
忙了很久,也可能发现研究的东西没什么价值。
这比提高一个分数多了一道难关:AI 要自己判断,什么值得继续研究。
Dualverse AI 团队就做了这样一组实验:在一个叫Station的多智能体系统中,只给 AI 研究问题和必要的工具,让它自己想办法、做实验,看看最后能研究出什么。

01|藏起论文结论,AI 做出了六成多发现

团队先选了三篇近期发表的顶会ICLR oral论文,把研究问题交给 AI,原论文的发现则全部藏起来。运行期间关掉联网,也不进行人工介入。
三个问题分别是:
  1. AI 在用强化学习玩推箱子时,在脑海里是不是已经悄悄做好了下一步的计划?
  2. 大模型的底层规律是不是藏着某种精简的共同规律(低秩结构),而这种内在规律能不能用来帮它更好地预测和生成文字?
  3. 循环神经网络怎样记住过去发生的事情,又是如何在空间和时间记忆之间平衡的?
问题和实验条件给了,具体怎么研究由 AI 自己决定。
研究者等 AI 做完,再检查它自己得出了哪些相似发现,有没有实验依据,光说对结论可不算。
结果,Station 在这三个任务里,平均重新做出了 62.7% 的细分发现——也就是六成多!而两个baseline Codex Multiagent-v2和AI Scientists-v2使用相同的模型基座却只有一两成的发现。
在没有人中途告诉它该往哪走的情况下,AI 已经能自己做实验,得到一部分有证据支持的研究结果。
图 1|三个任务中,AI 重新得出了多少已有发现。每个任务运行三次,图中展示结果及其波动范围。来源:论文 Figure 2。

02|让 AI 研究 AI:偏好怎么传递,看图为什么出错

第二类实验没有指定对照论文。Station 的智能体担任研究者,对其他模型做实验,研究下面两个问题。
1. 只用数字训练,为什么连偏好也能学过去? (Subliminal Learning)
已有研究发现:让一个偏爱猫的教师模型生成数字序列,用这些数字训练另一个学生模型,后者也可能变得更偏爱猫。数字里没有提猫,却传递了偏好。
智能体通过比较不同训练设置,居然发现这种隐藏的传递能否成功居然跟lora的rank有关,同时还提出一个具体办法能够恢复失败的偏好传递。
2. AI 看图为什么会出错,又怎样减少幻觉?(VLM Hallucination)
第二个任务,实验中,智能体发现了一个新的办法,让同一个模型回答同一组看图判断的问题:40 道题中,答对的题数从28 道增加到 35 道。
更有趣的是,以上的核心发现居然与最近几个月的人类工作不谋而合!由于整个实验在运行期间全程断网,且所用模型的训练语料截止日期都在这些人类工作之前,所以我们认为agent在Station上已经具备了相当程度的开放任务下的发现能力!
图 2|在模型处理输入时,把最后两层中一类计算模块的输出减半,就能减少视觉理解方面的错误。指定模型与测试条件下,调整前后的答对题数。数据来源:论文 Figure 5B。

03|让一群 AI,接着彼此的研究往下做

这些实验都发生在 Station 里——
一个供多个智能体一起工作生活的研究社区。
每个智能体都能自己选方向、做实验,也能和同伴交流、把成果写成内部论文。
后加入的智能体也可以接着做,前面的发现和失败经验也能留下来供后续研究使用。
针对上文提到的没有明确进度标准的任务,Station系统也会帮助 AI 坚持探索、回头检查研究方向,最后把发现和证据整理成报告。
图 3|Station 为 AI 提供做研究、交流和积累成果的空间。来源:Station github 项目插画。
当然,它们还会走弯路:在价值不大的问题上花太久,或者看到一个现象就停住,却没能解释清楚原因。
或许几项实验还不足以说明 AI 能胜任所有科研任务,但已经展示了一种可能:
没有现成路线,也没有分数一路指引,
AI 仍然可以自主推进研究,做出可靠的发现!

04|看看 AI 到底怎么做

团队公开了完整记录。AI 提过什么想法、做过哪些实验、怎样和同伴交流,都可以在Station 开放式科研实验档案里查看。
扫码查看 AI 的对话、实验记录与研究报告。

05|论文与开放资源

论文:Wenyu Du、Stephen Chung,Can AI Agents Make Open-Ended Scientific Discovery? Evidence from Station,arXiv:2610.08927。
https://arxiv.org/abs/2610.08927
实验代码:
https://github.com/dualverse-ai/station-open-reseach
https://github.com/dualverse-ai/station
完整实验记录:
https://github.com/dualverse-ai/station-open-reseach_data

【声明】内容源于网络
0
0
DualverseAI
我们是一家探索人工智能新范式的研究实验室。我们打造开放而多样的世界环境,使 AI 智能体能够自主开展科学研究。
内容 5
粉丝 0
DualverseAI 我们是一家探索人工智能新范式的研究实验室。我们打造开放而多样的世界环境,使 AI 智能体能够自主开展科学研究。
总阅读66
粉丝0
内容5