写在 AI 顶会大厦将倾之刻：关于「共识」的坍塌

AI 顶会论文越来越多，真正带来新知识的研究却没有同步增长。

从早期的 CV 研究，到如今热门的 LLM Agent ，知友@密排六方橘子 结合自己的科研经历和近期的科研现象，发现了更深层的问题：「我们究竟因此知道了什么原来不知道的事情？」

那么，什么才算真正的科研创新？看看知友们怎么说。

很久没在知乎写文章了，可能是因为人老了（吗？），表达欲望出现了严重的下滑。

不过最近看了点论文，导致三观受到了严重的冲击，觉得还是得爬起来写点什么，记录一下当下的想法。

旧时代的老登

我是 19 年那会接触的深度学习，正好是 CV 的黄金时代，大家最喜欢干的事情就几个：魔改网络，魔改 loss，加各种各样的 prior（或者说叫 inductive bias），寄希望于炼出来一个不错的丹。

经典科研流程无非就是烧了一锅又一锅，试了不知道多少个不 work 的方子，终于有一锅看起来出货了。于是你对着 sota 喜出望外，然后光速编一个看起来像那么回事的故事，submit to CVPR。

但是黄金时代之所以叫黄金时代，不仅仅是因为「朝气」，更是因为大家共享同一个共识：一个 sota 的背后一定对应着一个更好的 prior，那你一定有东西值得我借鉴。

拿 CV 时代的三大任务（分类/检测/分割）来说，全世界的人都在卷那几个数据集（ImageNet，COCO），只要你能从中杀出来，那么你几乎一定能告诉社区一些「新的知识」，后人也会站在前人的肩膀上继续前进。

无论是前深度学习时代的传统机器学习也好，是深度学习时代的炼丹也好，无论形式如何（推公式还是做实验），它确实是我们传统意义上所理解的「科研」：你站在整个研究社区知识的最前沿，然后努力把这个前沿往外推了一点点，告诉大家这里有一个「以前你们似乎没注意到/你们不知道的」事情。

现在尽管我不做 CV 了，但是我脑子里的科研其实一直是这个味道。

初露端倪

然而我今年我在跟 arxiv 和各路文章的时候，我发现事情开始有一些变化了。

有几个典型现象：

• 一些人在一个十分偏僻的小山头圈了一块地，虽然你不太能理解这个山头到底有什么意义

• 一些人试图进入其他领域，以为没人来过，做了半天完全意识不到只是把别人已经做过的东西重新做了一遍

• 当然最恶劣的情况是，有的人明知道这个山头已经有人了，但是硬装没人来过，也不credit前人的论文

所以虽然说起来大家都是在搞科研，甚至说起来大家是同一个小方向的人，但是小方向再细分下去的时候，已经开始不能互相理解了。有的时候是「不理解对方为什么要做这个」，这是 taste 有区别；有的时候是「不理解一个领域已经进展到了何种程度」，这可能是无心之失；有的人是直接公然无视 prior art，那就很难评价了。

但是无论如何，这里还在我的理解范围内。我做的小领域起码有公开的技术演进路线，有公认的里程碑作品，也有大家默认使用的 benchmark，这个圈子的共识仍然有很强的存在感。尽管大家的 technical proficiency 可能略有不同，但是每个方向至少都站着顶尖团队，他们能够清楚地判断一份工作给整个社区的「共享知识」带来多大的增量贡献。

如果只是这种级别的「领域内部」分歧的话，事情倒还没有那么严重。

直面不可名状之神

没错，就是 LLM agent。

最近机缘巧合看到几篇应用风格的 agent 文章，我感觉像是看见了不可直视的庞然大物。

经典例子：用 llm 在一个特定的场景下搭建了一套非常简单的工作流。

这套工作流看起来并没有什么特别的技巧，就是一个正常的大厂员工拍脑袋就能想到的解决方案。

我并不是要把 agent 一棍子打死（相反我认为 agent harness 极度重要，毕竟天天用 codex），而是说这个领域有很大一部分奇妙的文章充斥其中：

• 方法极度简单和符合直觉，是你已经知道或者行业早已公认的常识

• Baseline 就是 naive prompt 或者稍微变个形意思一下，甚至不必要对比前人的方法。因为这个领域根本没有建立起「技术发展路线」的共识，哪有什么前人的肩膀？

• 至于 benchmark，coding 这种热门领域还有点说法，小众领域我纯自己挑 benchmark 就行了。

当然放在前 AI 时代可能还有人要狡辩一下，说没有功劳还有苦劳，工程实现也是成本，但是现在看，实现的成本已经被 cc 和 codex 压得很低，你很难再说有很多「凝结在其中的人类劳动」了。

然后你会发现，从「公认的方法演进」到「公认的评测数据」几乎全面溃败，共识已经不存在了。

然后审稿人似乎也不觉得这有什么问题，ACL 系会议爽快 accept（当然，三大会本质大哥不笑二哥）。审稿人反而似乎在「这样的文章也可以中顶会」这一点上达成了微妙的共识。

当我们在谈论research时，我们到底在谈论什么

比如某个小山头有这几篇文章：

• A：多个 Agent 比单个 Agent 好。

• B：在 A 的基础上加入 Self-Reflection，我是sota。

• C：在 B 的基础上加入上下文管理，哎，又上去一点。

如此种种。每篇都有 baseline，每篇都有「新东西」，每篇都是新 sota，甚至可以互相引用几年。

但是如果这些改进本质上都是在一个自己定义的小山头上把一个二年级小朋友都已经知道的东西工程化，说破天也就是一个脑瓜子正常的工程师拍脑袋能想出来合理的规则（甚至不 work 才奇了怪了），那么整个研究路线到底揭示了什么「之前大家不知道的知识」？

然后另一个庞然大物就又出现了：整个方向看起来已经具备成熟研究领域的一切形式，前作、baseline、benchmark、citation，然后大摇大摆地成为顶会论文。

唯独没有回答最重要的问题：我们究竟因此知道了什么原来不知道的事情？

如果开始滑坡的话，我们假设有一个研究「白开水怎么喝最爽」的科研团队，最后得出的结论是你渴了的时候喝最爽，还不能喝 100 度的，内部互相引用，内部互相审稿，那么一切看起来似乎都是学术圈应有的样子，但是它和「人类知识的边界」似乎没有什么关系。

现在的顶会似乎正在经历这样的阶段：为了应对大量的投稿，审稿人池子也在疯狂扩张。然而他们是否代表了最先进生产力的方向，是否代表了人类最前沿的认知，我们不得而知。

AI顶会的未来

联想到数学界最近对 GPT 的抵制，反而有一种更加讽刺的观感。

GPT 从某种意义上说在推动人类知识的边界（尽管不那么 responsible），而 AI 顶会却不再以推动人类的知识边界作为接受标准。

从传统科研的角度上说，现在的顶会说是泥沙俱下也不为过：真正推进知识边界的研究，和纯粹的小山头自嗨，最后拿到的可能是同样的顶会标签，甚至可能有同样的引用量——君不见数学四大的影响因子被水刊暴打。AI 顶会现在似乎在同时承担两个功能：「发现新知识」和「展示工程」，而后者可能在传统意义上并不被定义为 research。

所以我其实对于顶会这个标签是极度悲观的，不仅是顶会，过了几年可能连 citation 都不足以说明问题。当然，也有一种可能的情况是 AI 够聪明，平等地送走所有人类科研工作者。

现在那大家其实也没什么别的事情做，顶会接着奏乐接着舞。直到危机真的到来之前，大家都在装鸵鸟。

最后做个总结吧。

旧时代的科研似乎有一种隐性的契约：我们发表东西，是因为我们认为别人知道它以后，会改变他们思考问题的方式，或者思考的起点。

而这件事已经随着新时代的到来随风而去了。

知友讨论

@蔡六：

这样看，AI顶会也正式进入 tiktok 时刻了。就像自媒体，任何内容都值得重复反复说。任何内容都要用费半天劲把大家叫出来就为了说点小事儿的状态来讲

@机器狗：

就算顶会成为大号的百度贴吧，又怎么样呢？图拉丁吧也让很多人用上了电脑不是吗？未来的科研就是全民科研，是一种智力运动，不一定推动人类共同体的智力边界，推动一群（能看得懂的）人的智力边界也是贡献。

@lightOmile：

古典 AI research 的一个典型特征是有很多人为定义的小任务，不同的群体在各自的小任务上探索不同的模型架构来刷 benchmark，时间证明绝大部分小领域的新认知对于 AI research 的真正主线——AGI 来说毫无帮助。通用AI可以击穿所有子领域，就算有实时性要求，只要有数据就能把大模型的能力蒸馏到一个足够快的小模型上，甚至大模型本身就能完成这件事。所以旧领域的研究者需要 move on，不要在 solved problem 上浪费注意力。

@sry：

这种情形其实是在复现成熟学科已经走过的路——只不过 AI 的能力把原来几十年的变化压缩在几年里了。只能说人的能力确实是有限的，真正能抓住中心问题的人就那么一小撮，不能期待所有人都有那样强的信息归纳和总结能力。当一个行业容纳人数够多之后，大多数的人做 research 的本质只是要吃饭，所以只能做一些屎上雕花的工作。

@二泉映月：

以前大家都在发 paper 打磨钻木取火的每一个环节的技艺，就靠怎么钻的好，怎么钻的快那点收益，名利双收。结果对方拿出了打火机。

@牛肉丸夫斯基：

我觉得答主的问题在预设工程学是一块成熟不需要探索的领域，然而只要承认复杂系统没有完备真相这件事情，工程领域的探索就是看上去毫无意义但是累积的路径可以改变范式的。
新范式之下探索路径不稳定是常态，不是礼乐崩坏。

阅读更多