大数跨境

田渊栋:AI如何改进AI?

田渊栋:AI如何改进AI? AI TIME 论道
2026-11-16
0
导读:递归自我改进的进展与边界

AI TIME 欢迎每一位 AI 爱好者的加入!


   本文整理|孙诗洋


   本文编辑|马菁宜


本文根据 SMP 2026 主旨报告资料整理,相关研究成果版权归原作者及所属机构所有。我们尊重每一位研究者的原创贡献,如有任何建议或权益相关问题,欢迎联系我们,我们将及时沟通处理。


SMP 2026 主旨报告


  • 报告题目:AI Building AI: Progress Toward Recursive Self-Improvement

  • 报告人:田渊栋|Recursive Superintelligence 联合创始人

  • 会议:第十四届全国社会媒体处理大会(SMP 2026)

  • 时间:2026 年 11 月 15 日

  • 相关研究:https://recursive.com/updates/first-steps-toward-automated-ai-research


一次模型训练结束后,下一轮该改哪里?调整网络结构、换一种量化方案,还是重写 GPU 算子?研究者每天都在做这些选择。现在,AI 正在参与这套研发流程:提出改动,把方案写成代码,运行实验,再根据结果决定下一步。


2026 年 11 月 15 日,在第十四届全国社会媒体处理大会(SMP 2026)上,田渊栋博士作主旨报告《AI Building AI: Progress Toward Recursive Self-Improvement》,由唐杰教授主持。他以自动化研究系统 Eureka Machine 和本地编程模型 Recursive Flint 为例,介绍了 AI 参与 AI 研发的进展,也讨论了递归自我改进(Recursive Self-Improvement,RSI)尚未解决的问题。


报告中值得关注的一点是:有了自动运行实验的能力,接下来还要回答如何找到好想法,以及如何判断一次改进真正成立。


田渊栋介绍


田渊栋是 Recursive Superintelligence 联合创始人,曾任 Meta 人工智能研究院(FAIR)研究总监,研究方向涵盖强化学习、规划、大模型推理效率与理论理解。他曾负责 OpenGo 项目,并参与大模型推理相关研究。


他在上海交通大学获得学士和硕士学位,在卡耐基梅隆大学机器人研究所获得博士学位,早年曾在 Google 无人驾驶团队工作。从强化学习和搜索,到模型推理与自动化研发,这些经历也构成了本次报告的研究背景


图1 现场幻灯片展示的 Recursive Superintelligence 联合创始团队及融资信息,田渊栋位于下排右侧。图中融资数字为报告披露口径。图片由活动资料提供。


让AI进行一轮完整的研究


Eureka Machine 的基本思路,是把研究组织成一个能够持续接收反馈的循环。


第一步是 Ideation,也就是提出想法。系统利用已有实验的发现,选择下一项值得尝试的改动。研究对象可以是训练方法、模型结构,也可以是某个影响运行效率的实现细节。


第二步是 Implementation,也就是实现和实验。把想法转成代码,运行测试,沿着有希望的方向继续探索,并尝试组合不同实验中有效的方案。


第三步是 Validation,也就是验证。分数提高以后,需要检查提升是否来自真实改进,是否存在评测漏洞,或者只是结果的随机波动。验证通过的发现,再成为下一轮选择实验的依据。


图2 Eureka Machine 将研究过程组织为提出想法、实现实验和验证结果三个环节。幻灯片特别强调,确认进步之前要检查奖励漏洞与结果方差。图片由活动资料提供。


这套流程把一次性的代码生成延伸到了连续的研究决策。代码能运行只是其中一环;实验是否回答了原来的问题,结果能否经得起检查,同样决定着下一轮探索能否走对方向。


先从反馈清楚的任务做起


在报告展示的早期实验中,团队先选择了指标明确、反馈较快的任务。


NanoChat Autoresearch 关注固定训练预算下的模型质量。 每次训练限时五分钟,用验证集的每字节比特数(Bits Per Byte,BPB)衡量结果,数值越低越好。报告展示,系统找到的方案达到 0.9109 BPB,比较基线为 0.9372 BPB,差值为 0.0263 BPB。


这里的改进来自多项调整的组合。例如,系统尝试利用哈希表保存局部词序列信息,并把这些信息引入模型计算。在给定的训练预算里,更有效地利用局部信息,可能比单纯增加计算更有帮助。


图3 NanoChat Autoresearch 的搜索过程与报告结果。左侧曲线标注为单随机种子的最佳验证 BPB;右侧为报告给出的 0.9109,幻灯片底部注明改进经过 10 个随机种子评估。图中还标注了硬件切换,因此不能把整条曲线直接理解为同一硬件条件下的训练速度对比。图片由活动资料提供。


NanoGPT Speedrun 则固定质量目标,比较达到目标需要多久。 在目标验证损失为 3.28 的设置下,团队公布的训练时间从 79.7 秒缩短至 77.5 秒,减少约 2.2 秒。这与前一个实验回答的是两种不同的问题:一个在固定预算内提高质量,一个在满足质量要求的前提下缩短时间。


报告还介绍了 GPU 算子优化的探索。对这类任务,系统需要在保持计算结果正确的同时提高运行效率。目标清楚、反馈可测,使这些问题适合检验自动化研究流程。


这些实验展示了受限任务中的优化进展。它们能否迁移到更大的模型、更长的训练过程和新的任务环境,还需要继续验证。相关设置与结果可参见 Recursive 的实验报告。


先从局部优化走向一个完整模型


如果把自动化研究用到完整模型的研发过程中,会发生什么?Recursive Flint 是报告给出的进一步尝试。


据田渊栋介绍,团队在不到四个月的时间里,从头训练并推出了这一本地编程模型。Flint 采用混合专家架构(Mixture of Experts,MoE),总参数约 400 亿,每个 token 激活约 25 亿参数。总参数量和每步激活参数量是两个不同的概念,不能将后者当成模型的全部存储规模。


图4 现场幻灯片展示的 Recursive Flint:总参数约 400 亿,每个 token 激活约 25 亿参数,研发周期不到四个月。图片由活动资料提供。


Eureka Machine 在这个过程中参与了架构搜索、量化和推理优化。田渊栋重点介绍了两项改动。


一项是对输出层 lm_head 进行 4 比特量化。输出层负责把模型内部表示映射到词表,压低这部分权重的表示精度,有机会减少每步推理需要读取的数据;同时也需要配合方法尽量保住模型能力。


另一项是面向苹果芯片优化解码实现。系统在 M4、M5 上生成了融合多个操作的 GPU 内核,让模型架构、权重表示与硬件执行方式共同影响最终速度。

报告中的现场口径是,在搭载 M4 Pro 芯片的 MacBook Pro 上,Flint 的生成速度约为每秒 130 个 token;团队发布说明给出的数字则是,在短上下文条件下,每秒超过 125 个 token。这些速度都应结合上下文长度、硬件与推理实现理解,不能脱离测试条件比较。


在能力评测上,团队公布 Flint 的 Terminal-Bench 2.1 成绩为 54.9%。田渊栋特别提到,团队曾得到更高的分数,但其中一些任务通过网络检索取得了解法,因此正式成绩把这类任务计为未通过。阅读模型分数时,评测允许什么、怎样判定成功,与分数本身同样重要。相关口径可参见 Flint 发布说明与模型卡。


团队也保留着关键的人工判断。田渊栋在报告中说,自动搜索曾提出一些更激进的架构,但首版模型最终选择了相对保守的路线,优先把完整训练路径走通。这一点也提示我们,系统参与研发的程度,需要结合具体环节理解。


递归自我改进还需要突破什么


好想法要经得起实验


田渊栋将“怎样提出新的研究想法”列为第一个难题。


他以数学研究中的跨领域借鉴说明,一项有价值的发现,可能来自用另一套工具重新理解问题。对 AI 研究而言,难点在于识别真正影响结果的结构,而不只是给出一个听起来新颖的方案。


报告提及的一项研究发现,一些模型生成的想法在初评时颇受期待,但真正实施以后,评价下降。这提醒研究者,想法是否有价值,要让实验结果参与判断。田渊栋也说明,相关研究有其时间背景,模型能力仍在快速变化,不能把某一次研究结论当成固定不变的能力边界。


搜索空间怎样组织会改变效率


第二个难题是找到更有效的搜索策略。


在神经网络架构搜索中,可以先决定每层的局部配置,再把各层组装起来;也可以先决定整体深度,再搜索各层细节。田渊栋举例说,后者在他展示的设置中效率更高。


同样一批候选方案,表示和组织方式不同,探索顺序就会变化。进一步的自我改进,需要系统能够改进搜索方法本身,包括先判断什么、如何组合方案,以及怎样利用已有实验提供的线索。


每次验证都不能无限消耗算力


第三个难题是训练和评估成本。


如果每产生一个想法都要重新运行大模型训练,实验费用会迅速累积。可探索的办法包括,先在小模型或较低成本的环境中筛选方案,再验证其迁移效果;或者寻找更便宜、但足以帮助决策的评估信号。


田渊栋还把这一问题与可解释性联系起来。理解模型内部哪些结构真正影响能力,可能帮助系统减少盲目的尝试。就像编译器能够提供具体反馈一样,研究系统得到的有效反馈越充分,越有机会找到下一步值得尝试的方向。


研究方向的选择仍需要人的判断


现场交流把讨论进一步拉回到数据、反馈与研究判断。


对于数据杂乱、模型上线后需求不断变化的问题,田渊栋表示,自动化系统也会参与数据环节。如果能够建立区分结果好坏的奖励函数,线上使用场景就可能成为持续改进的反馈环境。这是一条可探索的路径,不能由此理解为系统已经能自动解决所有数据问题。


面对“AI 如何找到更有洞察力的方向”的提问,他强调,人的作用在目前阶段仍然重要。研究者对问题的理解、对不同路径的判断,以及愿意在哪些方向持续投入,都会影响系统最终探索到哪里。


在与唐杰教授讨论 RSI 的定义时,田渊栋没有给出一个包揽所有情况的定义,而是提出可以按任务层次观察进展:先处理结果较容易验证的问题,再看能否提出有实质内容的新想法,更进一步则是重大创新。这些层次之间仍存在明显的难度差异。


从 Eureka Machine 的研究循环,到 Flint 的模型研发,报告展示了 AI 已经能够参与哪些具体工作,也留下了下一阶段的检验标准:能否更可靠地选择研究问题,用更低成本验证想法,并把这轮发现用于改进下一轮研究。



往期精彩文章推荐


 关于 AI TIME 


AI TIME 源起于 2019 年,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索,加强思想碰撞,链接全球 AI 学者、行业专家和爱好者,希望以辩论的形式,探讨人工智能和人类未来之间的矛盾,探索人工智能领域的未来。


迄今为止,AI TIME 已经邀请了 2000 多位海内外讲者,举办了逾 800 场活动,超 2000 万人次观看。

我知道你

在看


提出观点,表达想法,欢迎

留言


点击 阅读原文 查看原论文

【声明】内容源于网络
0
0
AI TIME 论道
AI TIME是一群关注人工智能发展,并有思想情怀的青年学者创办的圈子,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索,链接全球AI学者,以辩论的形式探讨人工智能领域的未来
内容 2211
粉丝 1
AI TIME 论道 AI TIME是一群关注人工智能发展,并有思想情怀的青年学者创办的圈子,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索,链接全球AI学者,以辩论的形式探讨人工智能领域的未来
总阅读69.9k
粉丝1
内容2.2k