日本AI初创公司Sakana宣称，其AI生成了一篇首批通过同行评审的科学出版物。尽管该说法属实，但仍需注意相关限定条件。
围绕人工智能在科学进程中角色的争论日益激烈。部分研究人员认为AI尚不具备担任“合作科学家”的能力；另一派则认为其潜力巨大，但目前仍处于早期阶段。Sakana属于后者。
该公司表示，使用名为The AI Scientist-v2的AI系统生成论文并提交至ICLR研讨会。作为历史悠久且声誉良好的AI会议，ICLR组织者及领导层同意与Sakana合作，对AI生成的手稿进行双盲评审实验。
Sakana联合不列颠哥伦比亚大学和牛津大学研究人员，向上述研讨会提交了三篇由AI生成的论文。据称，The AI Scientist-v2“端到端”生成了这些论文，涵盖科学假设、实验及代码、数据分析、可视化、文本和标题等全流程。
Sakana研究科学家兼创始成员Robert Lange表示：“我们通过向AI提供研讨会摘要和描述来生成研究想法，确保论文主题相关且适合投稿。”
三篇论文中有一篇被ICLR研讨会接受，该文对AI模型训练技术持批判性视角。出于透明度和尊重ICLR惯例的考虑，Sakana在论文发表前立即撤回了该稿件。
Lange指出：“被接受的论文既介绍了一种有前景的新神经网络训练方法，也表明仍存在实证挑战，为激发进一步科学研究提供了有趣的数据点。”
然而，这一成就的实际含金量可能不及表面所见。
Sakana在博客中承认，其AI偶尔会犯“尴尬”的引用错误，例如将某种方法错误归因于2016年的论文而非1997年的原始著作。
此外，该论文未像其他同行评审出版物那样经历严格审查。由于Sakana在初步评审后撤回论文，稿件未进入额外的“元评审”环节，研讨会组织者理论上本可拒绝该论文。
同时，会议研讨会的接受率通常高于主“会议轨道”，Sakana也在博客中坦诚提及此事，并明确表示其AI生成的研究均未达到ICLR主会议轨道的发表标准。
阿尔伯塔大学AI研究员兼助理教授Matthew Guzdial认为Sakana的结果“有些误导人”。他指出：“团队从若干生成论文中筛选出入选成果，运用了人类判断。这表明人机协作可以取得成效，而非AI单独推动科学进步。”
伦敦国王学院AI研究员Mike Cook则对同行评审和研讨会的严谨性提出质疑。他表示：“此类新研讨会通常由资历较浅的研究人员评审。此外，本次研讨会聚焦负面结果和困难，让AI描述失败经历相对更容易。”
Cook补充道，鉴于AI擅长撰写符合人类语感的文章，其通过同行评审并不令人意外。部分由AI生成的论文通过期刊评审的情况早已存在，由此引发的伦理困境也并非新鲜事。
AI的技术缺陷（如容易产生幻觉）使许多科学家对其用于严肃工作持谨慎态度。专家还担心AI可能在科学文献中制造噪音，而非推动实质进步。
Cook强调：“我们需要反思，[Sakana]的结果究竟反映的是AI设计和开展实验的能力，还是向人类推销想法的能力——而我们知道AI在这方面已非常出色。通过同行评审与为领域贡献知识之间存在本质区别。”
值得肯定的是，Sakana并未声称其AI能产出突破性甚至特别新颖的科研成果。相反，该公司表示实验目标是“研究AI生成研究的质量”，并强调亟需建立“关于AI生成科学的规范”。
该公司写道：“[AI生成]科学是否应首先基于自身价值评判以避免偏见，这是一个棘手问题。展望未来，我们将继续与研究界交换意见，确保未来不会出现仅以通过同行评审为目的、从而严重削弱科学评审意义的情况。”