Research Benchmark | AI评审的新颖性幻觉：为什么研究品味还得靠人

一、这篇论文想回答什么

• 研究空白（gap）：前人工作留下的缺口，比如「某方法的训练配方没公开」
• 研究问题（RQ）：把缺口变成一个要回答的问题，比如「开源的强化学习系统，能否不依赖私有配方，在 AIME 上达到最好水平？」
• 想法与贡献（idea）：回答这个问题的具体方案，比如提出一个新算法、发布代码和数据

• 原创性：问题的切入角度，是否超出了背景论文里直接写过、问过的内容
• 回应空白：是否真的瞄准了背景里的某个缺口，而且是核心缺口
• 非显而易见性：是不是一般读者读完背景后不会马上想到的问题。0 分是「任何读者都会提的下一个标准实验」，3 分是「背景完全没有暗示的、出人意料的角度」

• 单独打分：每个问题单独评，评委看不到其他问题
• 比较打分：参照问题和模型的 5 个问题放在一起评

• 非显而易见性：1.98 对 1.41

• 原创性：2.67 对 1.90

• 回应空白：2.98 对 2.01

作者抽了 50 组自然语言处理和机器学习方向的题目，请两位同领域专家做盲评：同一个背景下，参照问题和 GPT-5.5 最好的问题，哪个更「非显而易见」？打分标准和 AI 评委完全一样。

右表是各自的选择：

• 专家 1：39 次选参照问题（78%），7 次选 GPT-5.5（14%），4 次平局
• 专家 2：28 次选参照问题（56%），19 次选 GPT-5.5（38%），3 次平局
• Gemini 3.1 Pro：41 次选 GPT-5.5（82%），只有 4 次选参照问题
• DeepSeek V4 Pro：26 次选 GPT-5.5（52%），9 次选参照问题，15 次平局

左表是一致率，更说明问题：

• 两位专家之间：60%

• 两个 AI 评委之间：52%

• 专家和 AI 之间：22% 到 40%，最低是专家 1 和 Gemini，只有 22%

专家之间本来就有分歧，专家 2 也有将近四成选了 GPT-5.5，新颖性本身就带有主观性。但专家和 AI 之间的分歧，明显大于专家彼此之间。两个 AI 评委的倾向也一致：都偏向模型。

有意思的是，参照问题本身是 Gemini 3.1 Pro 还原出来的，而 Gemini 作为评委，却有 82% 的情况选择了 GPT-5.5 的问题。所以这里的偏好，不能简单归结为「评委偏爱自己写的东西」。

专家们给出的解释是：很多模型生成的问题，模仿了研究空白的结构和说法，但原创性和非显而易见性都更弱；而且太窄，太贴着背景论文。

六、几个具体例子

附录列出了 10 组专家评审的真实样例。看例子比看数字更能理解专家在说什么。

例一：AlphaZero

背景论文是 AlphaZero：从零开始自我对弈，在国际象棋、将棋和围棋上达到超人水平。

• 参照问题：如何把树搜索高效地融进大语言模型的强化学习里，为推理任务提供密集的过程监督？
• GPT-5.5 的问题：要让 AlphaZero 在「入玉规则」下学会下好将棋，状态表示和终局计分需要做哪些修改？

两位专家都选参照问题，两个 AI 评委都选 GPT-5.5。

把这两个问题放在一起，差别很直观。参照问题把 AlphaZero 的核心思想带到了一个更大的新场景，后来也确实成了一个热门方向；GPT-5.5 的问题非常具体，「入玉规则」也确实不是背景摘要里提到的东西，但它问的是 AlphaZero 自己在一个规则细节上的修补。

例二：ReAct

背景论文是 ReAct：让模型交替生成推理过程和行动，推理帮助规划行动，行动从外部获取信息。

• 参照问题：智能体在大量多轮工具调用中，怎样高效管理上下文，又不损害推理过程？
• GPT-5.5 的问题：ReAct 的思考过程是否真的在因果上决定了后续行动？用反事实地修改思考内容、观察行动是否改变来衡量，覆盖问答和决策任务。

又是专家都选参照问题，AI 都选 GPT-5.5。GPT-5.5 的问题方法严谨、术语漂亮，但本质上是对 ReAct 本身做一次诊断实验。参照问题指向的是后来智能体领域实际撞上的大问题：长任务里的上下文管理。

另外两个同样模式的例子

• 背景是「大语言猴子」（重复采样的推理扩展规律）。参照问题：能否用自适应解码，在不需要 Best-of-N 那样大量采样的情况下，平衡计算成本和推理准确率？GPT-5.5：用前 100 或 1000 次采样拟合的幂律，能多准确地预测 1 万次、10 万次采样的通过率？
• 背景是 BOND（把 Best-of-N 蒸馏进模型的对齐算法）。参照问题：如何在后训练流程中改进 BOND，用来对齐轻量的多模态模型？GPT-5.5：去掉 Best-of-N 里的碰撞修正项，会损失多少性能，尤其是在短输出或低熵参考策略下？

这两组同样是专家都选参照问题，AI 都选 GPT-5.5。模型的问题几乎都长一个样子：拿原论文的某个组件、某个设置、某个公式，问「改了会怎样」「能不能预测」「是不是因果」。

也有专家站在模型这边的时候

为了公平，也要看反例。在一组以 DeepSeek-R1 为背景的样例里，参照问题是「GRPO 成功背后的具体算法机制是什么，奖励归一化这类复杂组件真的必要吗」，GPT-5.5 的问题是「在思维链层面做安全监督，能否减少有害的中间推理，同时保持最终回答的有用性和推理能力」。这一次两位专家和两个 AI 评委都选了 GPT-5.5。另一组同样以 DeepSeek-R1 为背景、GPT-5.5 同样转向推理安全的样例里，两位专家和 Gemini 也都选了 GPT-5.5，DeepSeek 判为平局。

在这两个例子里，模型把问题从原论文的技术细节，拉到了一个原论文没有讨论的新方向（推理安全），专家也认可。可见专家并不是天然偏向「真实论文」，他们偏向的是开阔的问题。

需要提醒的是，这 10 个样例是作者挑出来展示的，不能当作统计结果来读。统计结论以上面的 50 题为准。

七、为什么：AI 把「窄」当成了「新」

1. 一个反直觉的发现：语义相似度测不出「窄」

专家说模型的问题「太贴着背景论文」。最直接的验证方法，是算一下问题和背景论文的语义相似度：越窄的问题，应该和背景越像。

作者用两个文本嵌入模型（Qwen3-Embedding-4B 和 all-mpnet-base-v2）算了一遍，结果正好相反：参照问题和背景论文反而更相似。 以 Qwen3-Embedding 为例，单篇背景下参照问题是 0.612，GPT-5.5 是 0.590；多篇背景下参照问题是 0.645，GPT-5.5 是 0.619。所有模型、两种嵌入、两种设置下都是参照问题更高。

原因不难理解：参照问题常常沿用背景论文的核心概念（树搜索、强化学习、推理），只是放到了新场景；模型的问题则会引入很多背景里没有的具体词汇（入玉规则、反事实编辑、碰撞修正项）。用词上离得远，不代表视野上走得远。「窄」不是一个能从字面相似度里读出来的特征。

2. 专门为「窄」设计一个评分

于是作者设计了一个新维度，叫窄度，分成两个子项，都是 0 到 3 分，分数越低越开阔。

• 被原文框住的程度（source-boundedness）：问题是不是围绕背景论文自己的方法、数据集、基准、组件、结果或设置。0 分是问一个更大的问题或新方向；3 分是直接研究、诊断、调参、评测或修改原论文的贡献
• 诊断式提问（diagnostic framing）：问题是不是一个分析、消融、相关性检验、因果检验或者一串可测因素的清单。0 分是在问一个方法、机制或方向；3 分基本就是一份测量清单或消融计划

3. 结果：差距几乎都来自「被原文框住」

双评委合计、单独打分下的「被原文框住」得分：

• 参照问题：0.47

• Gemini 3.1 Pro：0.90

• GPT-5.5：1.17

• Gemma 4：1.46

逐题比较，GPT-5.5 最好的问题只有 4.3% 比参照问题更开阔，71.7% 更窄。换成比较打分，「更窄」的比例升到 85.4%。

「诊断式提问」这一项反而差别不大：单独打分时，GPT-5.5 和参照问题超过 94% 是平局。只在比较打分下，GPT-5.5 的「更偏诊断」比例从 2.9% 跳到 53.4%。

4. 关键证据：这个维度和专家的判断对得上

回到那 50 道专家评过的题。让 AI 评委只判断「谁更少被原文框住」：

左表为两个 AI 评委在「谁更开阔」上的选择；右表为专家的「非显而易见性」判断与 AI 的「开阔度」判断之间的一致率：

• Gemini 认为参照问题更开阔的有 41 题（82%），DeepSeek 是 45 题（90%）
• 专家 1 对「非显而易见」的判断，和两个 AI 对「开阔度」的判断，一致率是 72% 和 76%
• 专家 2 是 46% 和 50%

对比一下：同样是专家 1 和 Gemini，直接比「非显而易见性」时一致率只有 22%；换成让 Gemini 判断「谁更开阔」，一致率升到 72%。

这是整篇论文最重要的结论：专家心里的「新」，很大程度上和「开阔」相关；AI 评委能看出谁更开阔，但在给「新颖性」打分时，没有把这一点考虑进去。 作者也说得很克制：开阔不等于好，两个都很开阔的问题价值也可能差很多，但它提供了一个具体的维度，用来识别「写得漂亮但很浅」的问题。

八、能不能让模型问得更开阔？

作者还从出题端试了一下：改写生成提示词，去掉原来那些约束性的要求，只保留「找出研究空白，提出能填补空白的 5 个问题」，然后用 Gemini 3.1 Pro 重新出题。

结果（Gemini 评委，单独打分）：

• 「被原文框住」从 1.00 降到 0.47，和参照问题持平
• 但原创性从 2.39 降到 1.90，非显而易见性从 1.81 降到 1.46

问题变宽了，AI 评委给的新颖性分数却下降了。再请专家评 50 题，专家仍然有 62% 和 56% 的情况更认可参照问题；AI 评委选模型问题的比例是 50% 和 40%；专家和 AI 之间的一致率在 30% 到 40% 之间。

作者的判断是：改提示词换来的是一种取舍，而不是解决方案。我们的读法是：评委的偏好会反过来塑造出题方。 如果用这样的评委做筛选或者做强化学习的奖励，模型会被推向「窄而具体」的问题，因为那样分数更高。

九、我们的结论

1. 「写得像好问题」和「是好问题」是两回事

AI 已经很会把问题写得像一个好研究问题，但评委还分辨不出它到底有没有洞察。

这和我们在 RL 环境那篇里讲的 reward hacking 是同一个逻辑：评委奖励表面特征，被评的一方就会学会这些特征。研究空白的写法、具体到参数的细节、因果和反事实这类严谨的术语，都是可以被模仿的表面信号。

2. 评分标准本身可能在鼓励「窄」

细读附录里的评分标准，我们发现一个可能的机制（这是我们的推断，论文没有直接这么说）：

非显而易见性的 3 分定义是「背景没有暗示的、出人意料的角度」，原创性的 3 分定义是「背景里完全没有的切入方式」。这两条都是相对背景来判断的。

而评委只看得到背景论文，看不到整个领域。一个问题引入的细节越偏、越具体（比如将棋的入玉规则），就越「不在背景里」，越容易拿高分。专家知道这类问题在领域里的位置：它很具体，但不重要，也不难想到。评委缺的不是推理能力，而是对整个领域的地图。

这也解释了为什么模型的问题分数那么整齐：只要问题够具体、够「不在背景里」，就能稳定拿到 2 分左右。

3. 比较打分会放大偏差

单独打分时大量平局，一放到一起比较，平局就被判给了模型。很多团队做模型评测时喜欢用两两比较，因为它比打绝对分更稳定。这篇论文提醒我们：比较的形式会逼评委做选择，而评委在不确定时的倾向，会被系统性地放大。 用比较打分，就更需要检查评委在拿不准时偏向哪一边。

4. rubric 设计的教训：不同维度必须拆开打分

论文给出的修正方法，本质上是一个 rubric 设计问题：

• 原来：只问「新不新」，窄而具体的问题被当成了新
• 修正后：把「新不新」和「范围宽不宽」拆开，分别打分

这也是我们在 rubric 那篇里讲的原则：每条标准只检查一件事。 几件事混在一个分数里，评委就会用最容易判断的那个特征代替其他特征。这里最容易判断的特征，就是「这个问题背景里有没有」。

作者最后的建议很务实：用多个 AI 评委并检查一致性；把研究范围作为单独的维度；在相信 AI 的新颖性分数之前，保留人类专家的检查。我们认同，并且认为最后一条在相当长的时间里都成立。

十、对 Relia 意味着什么

Relia 做的作品评估，评的正是年轻研究者的论文、代码和项目。这篇论文提醒了我们三件事：

1. AI 评估可能奖励「会包装」的人。 如果只让模型来评，把研究空白写得漂亮、把问题包装得具体严谨的作品可能得到高分；真正提出了开阔问题、但表达不够标准的年轻人，反而可能被低估
2. rubric 里需要一个「视野」维度。 评估研究作品时，我们会把「问题新不新」和「问题的范围与视野」分开评估；对 AI 评分和专家判断分歧大的作品，优先交给专家复核
3. 「今天打分，明天对答案」是可行的。 RQ-Bench 用「后来真实发表的论文」当参照，正是我们在自进化那篇里讲的慢循环：评估结果要拿真实结果来校准。研究者的作品也一样，过一段时间看它是否被跟进、被使用，就能检验当初的评分准不准

这也回到我们一直坚持的那条线：判断一个年轻人有没有研究品味，不能只看他写得像不像，而要看他问的问题有没有分量。 在这件事上，AI 是好帮手，但还不是好裁判。

Relia｜Where frontier AI teams meet researchers and builders.

Relia 是面向 AI 研究型人才的招聘平台，连接前沿 AI 团队和 AI 硕博研究者、builder，我们覆盖的方向：

大模型：预训练 / 后训练 / 评测

智能体：Agent 算法与开发

具身智能：多模态、具身、机器人

AI Infra：推理系统、AI 芯片

量化金融：数据挖掘、交易系统

AI4Science：药物发现、蛋白质、科学智能体

🙋 求职者：在 Relia 浏览前沿岗位，一键直投 

🏢 招聘方：免费发布岗位，触达全球 AI 人才 

🌐 https://www.relia.ai/（阅读原文）

🤝 AI求职 / 招聘合作：dylanmiao7