可复现性(别人拿到你的数据、代码和完整流程后能否复现结果)在科学中绝对至关重要,但在AI领域却是一个令人头疼的特性。大型AI公司开发的前沿模型可能提供卓越的准确性和推理能力,但它们很大程度上以黑盒方式运作,几乎不考虑可复现性。如果AI要为科学生产力提供强力助推,就必须在不损害可复现性的前提下实现。那么问题就变成了如何做到这一点。
这正是Noah Smith上周在TPC26大会上演讲的主题。Smith是华盛顿大学计算机科学家,也是艾伦人工智能研究院(Ai2)NLP研究高级总监,讨论了为什么科学家拥有满足其可复现性需求的AI工具非常重要,以及模型流如何帮助实现这一目标。
"科学家需要能够检查和控制他们的工具。科学的很大一部分就是你的工具——那些帮助你回答问题的工程和系统。"Smith说。"在Ai2以及我们在华盛顿大学和其他大学的合作者中,我们一直主张:实现这种精细控制和可检查性的途径,是我们所称的'模型流'。"
究竟什么是"模型流"?Smith继续解释道:"我们使用'模型流'这个术语来指代一种全面的开放性,"他说。"你需要从最开始的阶段复现这项工作的一切:所有数据、模型权重……以及中间检查点。我们描述完整的方法。我会给你复现任何阶段所需的全部代码,这样你可以回溯并修改任何内容。我们所有的评估都是严谨且开放的,我们对模型的能力进行了详尽的文档记录和分析。"
显然,许多前沿模型连其中部分标准都无法满足。Anthropic的Claude、Google的Gemini和OpenAI的GPT都是极其强大的模型,在许多通用领域都能提供卓越的结果,但它们是闭源的,不提供对可复现性至关重要的完整模型流。接受政府机构(包括美国能源部和国家科学基金会)资助的科学家可以使用这些专有前沿模型,但必须满足严格的隐私和安全保证。
使用大型AI公司的前沿模型还存在其他挑战。首先,它们针对消费者和企业用途进行了优化,不一定是为科学而设计(尽管一些大型AI提供商如Google正在提供科学专用包)。它们在大规模使用时也往往相当昂贵,这就是为什么关于AI用于科学和工程的讨论——至少在公共领域——往往围绕完全开放的模型展开。
Ai2去年8月从NSF(美国国家科学基金会)和NVIDIA获得了1.52亿美元资助,正在开发Olmo 3系列完全开放模型,主要面向科学家和工程师使用。Olmo 3提供7B和32B两种规格,为科学家提供完整的模型流,但据Smith称,其数据预算仅为Qwen 3的一小部分。
Olmo 3系列中有一款是Molmo,一个视觉语言模型,设计用于从视觉输入生成文本描述,以及MolmoPoint,它增加了对指向命令的支持。Smith表示,视觉语言模型对于弥合AI模型与将在现实世界中行动的智能体和机器人之间的差距非常重要。最近发布的Molmo2增加了对视频的支持。
此外还有DR Tulu,一个强化学习(RL)模型,设计用于驱动深度研究智能体。DR Tulu技术栈赋予科学家创建智能体的能力:搜索和浏览文献、评估相关性、整合证据、撰写带引用的答案,并评估精确率和召回率。它使用强化学习创建评估准则,这些准则会根据智能体的发现不断演化。DR Tulu-8B的性能可与GPT-5 Search、OpenAI DR和Claude Sonnet相媲美,但成本仅为后者的百分之一到千分之一。
与此同时,Olmo Hybrid将transformer的精确召回能力与线性的循环神经网络(RNN)的优越状态跟踪能力相融合,创建了一个在两方面都表现出色的混合模型。据Smith介绍,Olmo Hybrid在数学、编码和其他类别中的表现优于Olmo 3-7B,同时具备更好的扩展性。
虽然Ai2的AI模型在性能上与专有前沿模型相当,但它们通过开放的模型流实现了完全可复现性,也比前沿模型更具适应性,Smith将此列为另一个优势。他表示,如果科学家重视可复现性、适应性和控制自有AI模型的能力,那么完全开放的模型才是他们应该押注的方向。
"我认为,复现商业AI对我们这些在开放领域工作的人来说是一个太小的目标,"Smith说。"为科学构建基础设施需要使科学社区能够做到市场永远不会优先考虑的事情:检查系统的内部运作,将其适配到本地科学需求,研究其开发的每个方面以便做出改进,控制成本,并针对长尾领域进行专门化。"

