新智元报道
新智元报道
【新智元导读】从救火Llama 4反被裁，再到如今下场自创业，AI大佬田渊栋回顾了2025年一些重要时刻。
最近太忙，年终总结延至1月1日之后动笔——能开始写作已是好事。
关于被裁
2025年1月底，田渊栋受邀参与Llama 4项目“救火”。作为长期深耕强化学习的研究者，他事先构建了2×2回报矩阵，评估四种潜在结果（当时因高层压力，拒绝几乎不可行）：
本意是尽己所能、问心无愧；但最终发生的是未纳入预判的第五种情形，促使他对社会复杂性有了更深认知。
数月攻坚中，团队在强化学习核心问题上取得多项探索进展：训练稳定性、训推协同、模型架构设计、预训练与中期训练互动、长思维链算法、数据生成范式、后训练框架等。这段经历显著重塑其研究思路。
田渊栋坦言，在公司任职已逾十年，早有离开打算，但受限于经济与家庭因素而迟迟未决。近两年更以“公司快把我开了吧”的心态行事，反而愈发释然。
2023年末曾休长假并几近离职，终因未签字而留下；此次Meta主动终止合作，反而助其完成关键转折。这段波折亦为小说创作提供了丰富素材。
他援引古语“仕途不幸诗家幸，赋到沧桑句便工”，指出人生起伏恰是思想深度的来源。回溯2021年初，因在年终总结中反思“论文未中”而意外获评“Meet Most”，半年后升职，同年7月该工作获ICML Best Paper Honorable Mention，成为表征学习领域代表性成果。
10月22日后，各类通信请求爆发式增长，远程会议与见面邀约密集，持续数周方才恢复常态。他感谢各方关心，并对未及时回复致歉。
虽收到多家知名机构offer，他最终选择趁年轻联合创办一家新公司，细节暂不公开，将专注投入早期建设。
一些研究的方向
2025年主要聚焦两大方向：大模型推理效率优化与模型可解释性研究。
2024年末公开的“连续隐空间推理”（Coconut，COLM’25）引发学界热潮，研究者纷纷探索其在强化学习与预训练中的适配路径，以及训练与计算效率提升方案。尽管团队随后被抽调支援Llama项目，未能深入推进，但该方向热度本身已具里程碑意义。
上半年，团队发表理论分析工作《Reasoning by Superposition》（NeurIPS’25），首次系统阐明连续隐空间推理的优势边界，获得广泛关注。
在推理效率方面，《Token Assorted》（ICLR’25）提出VQVAE学习离散token，再与文本token混合后训练，兼顾性能与推理成本；《DeepConf》通过动态检测token置信度提前终止低效推理路径，在majority vote场景下实现更高精度与更少token消耗；《ThreadWeaver》构建并行思维链并通过后训练加速；此外，团队还在dLLM上采用RL训练推理模型（Sandwiched Policy Gradient），并在小模型端开展MobileLLM-R1等轻量级推理探索。
可解释性方面，田渊栋自两年前即关注Grokking（顿悟）现象。此前表征学习研究虽能刻画学习动力学与塌缩成因，却难揭示表征本质、数据结构关联及泛化机制；而Grokking作为从记忆突变为泛化的涌现过程，正为此提供关键突破口。
2024年发表《COGS》（NeurIPS’25），仅适用于特例分析，尚不理想；经一年沉淀与大量与GPT-5交互验证，最新成果《Provable Scaling Laws》实现重要突破：首次揭示传统NTK线性框架无法捕捉的深层规律，初步厘清特征涌现的训练动力学机制。虽案例仍有限，但已打开全新理论窗口。
年末论文《The path not taken》则从权重层面解析RL与SFT行为差异：SFT易致过拟合与灾难性遗忘，主因是训练数据非on-policy，导致权重主分量被外来数据大幅扰动、“根基”动摇；而RL使用on-policy数据，主分量稳定，仅次要分量调整，且分布更稀疏（尤其bf16量化下），从而规避遗忘风险。
关于可解释性的信念
针对“可解释性是否重要”的质疑，田渊栋持坚定立场，并提出两类终极场景：
- 若单纯依赖Scaling达成AGI乃至ASI，人类劳动价值趋零，AI作为黑箱解决一切问题，则必须确保其长期向善、不隐秘作恶——此即可解释性的当务之急；
- 若Scaling失效，人类在指数级资源需求前陷入瓶颈，则亟需理解“模型为何有效、何种因素导致失效”，回归基础研究——可解释性将成为唯一可行的替代路径。
无论哪种路径，可解释性终将是破局关键。即便AI臻于全知全能全善，人类探索本性也必然驱动我们追问其运行原理。
“黑盒”天然催生猜疑链。当前大模型能力已逼近甚至超越人类平均水平，《三体》中“黑暗森林”法则或将以技术形态重现。
目前对训练后模型的“电路”（circuit）逆向解析仍处初级阶段。真正的难点在于：从第一性原理出发（模型架构、梯度下降机制、数据内在结构），解释为何收敛出解耦、稀疏、低秩、模块化、可组合等特征与回路；为何存在多种解释；这些结构与哪些超参数相关、如何相关。
唯有当人们能从梯度下降方程中直接推导出大模型特征涌现的必然性，可解释性才真正完成从“生物式证据收集”向“物理式原理推导”的跃迁，并反哺下一代AI模型的设计。
对比四百年前物理学发展阶段：当下AI领域不乏“第谷”（海量数据收集）、偶有“开普勒”（经验规律建模），但尚缺一位“牛顿”（第一性原理发现者）。
待那一天到来，世界必将天翻地覆。
