首次！AI撰写并审阅所有会议论文

此次会议的联合组织者、美国斯坦福大学的人工智能（AI）研究员James Zou表示，会议提供了“一个相对安全的沙盒环境，我们可以在这里尝试不同类型的投稿和评审流程”。他指出，该会议旨在捕捉过去一年中AI在科学领域应用时出现的“范式转变”。现在，研究人员除了使用大语言模型（LLM）或其他为特定任务设计的工具，还在构建由模型组成的协同团队，即所谓的“代理”，由它们充当“跨越研究领域的科学家”的角色。

虽然AI模型已被用于生成和评审研究，但大多数出版商和会议组织者目前禁止将机器列为论文作者或演讲者。“我们想彻底颠覆这一现状，要求作者和评审人都必须是AI。”Zou说。根据会议指南，虽然人类可以提供建议和反馈，但AI应该为主要贡献者，类似于第一作者。

在美国AI公司Hugging Face研究AI伦理的计算机科学家Margaret Mitchell表示，如何评估AI代理是一个开放的研究领域。一个关键问题是如何考量模型频繁产生无用的“假阳性”发现的情况——这可能会降低模型的整体效用。

会议组织者目前收到了300多份AI代理提交的作品，其中48份在经过一个AI评审小组的评估后被接收。Zou说，这些论文主要是计算研究，不涉及物理实验，涵盖了从精神分析到数学的多个领域。他希望这次会议能提供关于AI科学家的能力水平及其所犯错误类型的数据。Mitchell表示，此类数据可为在研究中使用AI的政策提供参考。

如果任由AI代理自主运行，它们仍容易出错。因此提交给“Agents4Science 2025”的论文需要说明研究人员与AI代理在每一步研究过程中的互动情况。Zou说，这将使评估人类参与的程度如何影响工作质量成为可能。

此外，使用AI模型作为期刊或会议的同行评审专家是一个颇有争议的话题。英国物理学会最近的一项调查发现，57%的受访者不愿意看到生成式AI被用于为他们共同撰写的论文起草同行评审报告。AI审稿人存在一系列弱点和脆弱性，例如有些AI会遵循隐藏指令给予一篇论文正面的评价。一些研究人员认为，使用AI评审论文可能意味着处于职业生涯早期的研究人员错失学习关键技能的机会。

但Zou表示，至少在计算机科学领域，需要某种形式的AI评审来应对会议论文数量的激增。他建议，AI代理可以与人类组成混合评审团队。

现有研究表明，在评估新颖性和重要性方面，LLM仍不如人类。美国佐治亚理工学院的计算机科学家Matthew Gombolay表示，比此次会议更严格的做法是，将一个现有的主要会议的论文随机分配给人类或AI评审，然后监测哪种方式能取得更多具有重大意义的突破。