AI检测初创公司GPTZero扫描了NeurIPS(神经信息处理系统大会)接收的全部4,841篇论文。该会议于上月在圣地亚哥举行,是AI研究领域的顶尖盛会。GPTZero向TechCrunch透露,其在51篇论文中识别出100个幻觉引用,并确认这些引用系伪造。
鉴于NeurIPS的权威性,被该会议接收论文是研究人员的重要成就。人们或许会推测,即便是顶尖AI人才,也可能使用大语言模型(LLM)来处理撰写引用这类枯燥任务。
然而,这一发现存在显著局限:51篇论文中的100个已确认幻觉引用在统计上并不显著。考虑到每篇论文包含数十个引用,从数以万计的引用总量来看,该比例几乎可以忽略不计。
同样重要的是,不准确的引用并不能否定论文的研究价值。正如NeurIPS对Fortune所言:“即使有1.1%的论文因使用LLM而出现错误参考文献,论文本身的内容也不一定无效。”
尽管如此,伪造引用仍不容忽视。NeurIPS以“机器学习和人工智能领域的严谨学术出版”为荣,且每篇论文均经过多人同行评审,评审人员也被明确要求标记幻觉内容。
引用是研究人员的重要“货币”,常被用作衡量工作影响力的职业指标。当AI捏造引用时,实质上稀释了其价值。
面对海量投稿,无人能苛责评审人员未能发现少量AI伪造引用。GPTZero也迅速指出了这一点。其报告旨在提供具体数据,说明AI垃圾内容如何通过“投稿海啸”潜入,致使会议评审流程濒临崩溃。报告中还引用了2025年5月发表的论文《The AI Conference Peer Review Crisis》,该文专门探讨了包括NeurIPS在内的顶级会议所面临的问题。
但核心疑问依然存在:为何研究人员自身不能核实LLM生成内容的准确性?他们理应清楚自己研究所依据的文献列表。
此事揭示了一个巨大的讽刺性启示:如果世界领先的AI专家都无法确保其LLM使用的细节准确性,这对我们普通人又意味着什么?

