-
论文：Ideation Arena: Evaluating LLM Generated Research Ideas with Battle-style Human Expert Assessment -
作者：清华大学、复旦大学、中关村学院、中关村人工智能研究院，李勇、徐丰力等 -
时间：2026 年 8 月，arXiv 2608.29696 -
开源：代码、数据和排行榜已公开
一、一个科研想法的擂台
-
出题：从 2191 篇计算机论文里构造题目。每篇论文至少被引 10 次、以方法为主、参考文献不少于 10 篇。模型只拿到这篇论文所引参考文献的标题和摘要，并且关掉联网检索，要在这些材料上提出新的研究想法。 -
参赛选手：14 个前沿大模型，加上 5 个专门的科研 Agent 框架。每个 Agent 分别跑在 GPT-4o 和 DeepSeek V3.2 两个底座上，一共 24 个参赛者。 -
裁判：105 位活跃的计算机研究者，包括博士生、博士后、教师和企业研究员，覆盖 8 个主要方向。他们先提交自己的论文，系统据此把题目分给懂行的人。 -
比赛方式：每次给裁判看两份匿名的研究方案，从整体质量、新颖性、可行性、重要性、具体性五个维度，选「A 胜」「B 胜」「平局」或「都不好」。 -
排名：一共 6000 多次双盲对比，用 Bradley-Terry 模型换算成 Elo 分，和国际象棋排名是同一套思路。
-
随机猜大约是 50% -
最好的 Gemini 3 Pro，在「整体质量」上和专家一致的比例是 72.56% -
大多数模型在 65% 左右，所有维度基本都低于 70% -
最难的是可行性：最好的评委也只有 64.56%，多数在 57% 到 60% 之间
-
随机去掉一半专家重新排，和完整排名的相关性是 0.98 -
每次剔除一个研究领域的专家重新排，相关性还有 0.998
-
专家池要大，也要多样。 单个专家的判断噪声很大，我们的作品评估不会依赖一两位评审，而是让多位同领域专家分别判断，再统一建模。 -
用两两比较代替绝对打分。 评估研究作品和代码作品时，优先让专家比较「哪个更好」，再换算成排名。 -
给专家的判断记战绩。 Ideation Arena 测出了专家偏好，但没有检验偏好准不准。我们会把评审时的判断和作品后来的真实表现对照，看哪些专家的眼光最准，这是这类擂台还缺的一环。