17%同行评审为AI生成！学术界的游戏规则正悄悄改变？

最近，《自然》杂志一项报道显示，可能有越来越多的研究人员在利用像ChatGPT这类AI聊天机器人来帮助他们进行同行评审工作。

这项研究发表在arXiv预印本上（https://arxiv.org/abs/2403.07183），研究者们分析了自ChatGPT发布以来，提交给四个大型计算机科学会议的会议论文的同行评审报告。

他们发现，高达17%的评审报告可能经过了AI聊天机器人的大幅修改。

目前，根据各大期刊和出版社的政策，是不允许审稿人用AI进行同行评审的。原因在于，数据隐私和伦理的考虑，偏见和公允，以及可能会出现错判和误判等等。

但是，架不住人类的好奇心和爱偷懒的天性，还是有不少审稿人偷偷用AI来帮助自己审论文，给出评审意见。

斯坦福研究团队这次调查的AI会议论文包括ICLR 2024、NeurIPS 2023、CoRL 2023和EMNLP 2023这四个，调查的结果发表在arxiv上↓。

他们是如何发现AI参与同行评审的蛛丝马迹呢？

由加州斯坦福大学的计算机科学家领导的团队开发了一种技术，通过识别AI比人类更常用的形容词来识别AI撰写的文本。

通过比较分析ChatGPT发布前后提交给相同会议的超过146,000篇同行评审中形容词的使用情况，发现某些积极形容词的使用频率显著增加，例如“值得称赞的”、“创新的”、“细致的”、“复杂的”、“显著的”和“多功能的”。如果评审给予会议论文较低的评级，或者在截止日期临近时提交等，那么这些评审中最有可能包含这些形容词，因此最有可能是AI由聊天机器人参与撰写。

论文提出了一种新的计算方法来估计大型文本语料库中由AI生成的文本比例。通过应用这种方法，作者发现在ChatGPT发布后，AI会议评审文本中有很明显是被LLM修改或生成的部分，主要证据包括特定形容词词频使用增高、截止日期的影响、评审意见中是否引用参考文献、审稿人回复次数等。

Springer Nature 出版社的一位发言人表示，他们要求同行评审者不要将手稿上传到生成性AI工具中，因为这些工具仍然有“相当大的局限性”。Springer Nature还在探索为同行评审者提供安全的AI工具来指导他们的评估。

从结果上看，研究不主张作价值判断，也不会给出结论说明使用AI工具审稿一定是好或是坏，这里值得我们注意的是，在出现明确的规范前，我们要意识到存在AI参与生成或修改同行评审的这种情况，以及AI工具在学术出版领域的使用趋势可能会进一步上升。

那么，我们首先需要明确同行评审的核心要求。一篇优秀的学术论文，需要在以下几个方面经受住考验：

1. 研究问题的重要性和原创性。

   
   

2.  研究方法的科学性和严谨性。

   
   

3. 结论的可靠性和价值性。

   
   

4. 文章结构的清晰性和逻辑性。

   
   

5. 语言表达的专业性和准确性。

ChatGPT生成的论文能否真正通过同行评审，还取决于很多其他因素，比如研究领域的特点、评审专家的背景和观点等。

但ChatGPT在学术论文写作方面已经展现出了相当的潜力。它不仅可以生成结构完整、内容丰富的论文初稿，还能够对论文质量进行自我评估和优化。这意味着，在不久的将来，ChatGPT有望成为学者们的得力助手，为他们提供写作灵感、优化论文结构、润色语言表达等多方面的智力支持。

当然，ChatGPT生成的内容仍然需要经过人类专家的仔细审核和把关。但它的加入，无疑将极大地提高学术研究的效率和质量。

我们有理由相信，在不远的未来，像ChatGPT这样的AI助手将成为每个研究者案头必备的得力助手，为人类的知识探索提供源源不断的动力。让我们拭目以待，见证这一革命性的变革！