AI TIME 欢迎每一位 AI 爱好者的加入!
本文整理|孙诗洋
本文编辑|马菁宜
SMP 2026 主旨报告
报告题目:AI Building AI: Progress Toward Recursive Self-Improvement
报告人:田渊栋|Recursive Superintelligence 联合创始人
会议:第十四届全国社会媒体处理大会(SMP 2026)
时间:2026 年 11 月 15 日
相关研究:https://recursive.com/updates/first-steps-toward-automated-ai-research
一次模型训练结束后,下一轮该改哪里?调整网络结构、换一种量化方案,还是重写 GPU 算子?研究者每天都在做这些选择。现在,AI 正在参与这套研发流程:提出改动,把方案写成代码,运行实验,再根据结果决定下一步。
2026 年 11 月 15 日,在第十四届全国社会媒体处理大会(SMP 2026)上,田渊栋博士作主旨报告《AI Building AI: Progress Toward Recursive Self-Improvement》,由唐杰教授主持。他以自动化研究系统 Eureka Machine 和本地编程模型 Recursive Flint 为例,介绍了 AI 参与 AI 研发的进展,也讨论了递归自我改进(Recursive Self-Improvement,RSI)尚未解决的问题。
报告中值得关注的一点是:有了自动运行实验的能力,接下来还要回答如何找到好想法,以及如何判断一次改进真正成立。
田渊栋介绍
田渊栋是 Recursive Superintelligence 联合创始人,曾任 Meta 人工智能研究院(FAIR)研究总监,研究方向涵盖强化学习、规划、大模型推理效率与理论理解。他曾负责 OpenGo 项目,并参与大模型推理相关研究。
他在上海交通大学获得学士和硕士学位,在卡耐基梅隆大学机器人研究所获得博士学位,早年曾在 Google 无人驾驶团队工作。从强化学习和搜索,到模型推理与自动化研发,这些经历也构成了本次报告的研究背景
图1 现场幻灯片展示的 Recursive Superintelligence 联合创始团队及融资信息,田渊栋位于下排右侧。图中融资数字为报告披露口径。图片由活动资料提供。
让AI进行一轮完整的研究
Eureka Machine 的基本思路,是把研究组织成一个能够持续接收反馈的循环。
第一步是 Ideation,也就是提出想法。系统利用已有实验的发现,选择下一项值得尝试的改动。研究对象可以是训练方法、模型结构,也可以是某个影响运行效率的实现细节。
第二步是 Implementation,也就是实现和实验。把想法转成代码,运行测试,沿着有希望的方向继续探索,并尝试组合不同实验中有效的方案。
第三步是 Validation,也就是验证。分数提高以后,需要检查提升是否来自真实改进,是否存在评测漏洞,或者只是结果的随机波动。验证通过的发现,再成为下一轮选择实验的依据。
图2 Eureka Machine 将研究过程组织为提出想法、实现实验和验证结果三个环节。幻灯片特别强调,确认进步之前要检查奖励漏洞与结果方差。图片由活动资料提供。
这套流程把一次性的代码生成延伸到了连续的研究决策。代码能运行只是其中一环;实验是否回答了原来的问题,结果能否经得起检查,同样决定着下一轮探索能否走对方向。
先从反馈清楚的任务做起
在报告展示的早期实验中,团队先选择了指标明确、反馈较快的任务。
NanoChat Autoresearch 关注固定训练预算下的模型质量。 每次训练限时五分钟,用验证集的每字节比特数(Bits Per Byte,BPB)衡量结果,数值越低越好。报告展示,系统找到的方案达到 0.9109 BPB,比较基线为 0.9372 BPB,差值为 0.0263 BPB。
这里的改进来自多项调整的组合。例如,系统尝试利用哈希表保存局部词序列信息,并把这些信息引入模型计算。在给定的训练预算里,更有效地利用局部信息,可能比单纯增加计算更有帮助。
图3 NanoChat Autoresearch 的搜索过程与报告结果。左侧曲线标注为单随机种子的最佳验证 BPB;右侧为报告给出的 0.9109,幻灯片底部注明改进经过 10 个随机种子评估。图中还标注了硬件切换,因此不能把整条曲线直接理解为同一硬件条件下的训练速度对比。图片由活动资料提供。
NanoGPT Speedrun 则固定质量目标,比较达到目标需要多久。 在目标验证损失为 3.28 的设置下,团队公布的训练时间从 79.7 秒缩短至 77.5 秒,减少约 2.2 秒。这与前一个实验回答的是两种不同的问题:一个在固定预算内提高质量,一个在满足质量要求的前提下缩短时间。
报告还介绍了 GPU 算子优化的探索。对这类任务,系统需要在保持计算结果正确的同时提高运行效率。目标清楚、反馈可测,使这些问题适合检验自动化研究流程。
这些实验展示了受限任务中的优化进展。它们能否迁移到更大的模型、更长的训练过程和新的任务环境,还需要继续验证。相关设置与结果可参见 Recursive 的实验报告。
先从局部优化走向一个完整模型
如果把自动化研究用到完整模型的研发过程中,会发生什么?Recursive Flint 是报告给出的进一步尝试。
据田渊栋介绍,团队在不到四个月的时间里,从头训练并推出了这一本地编程模型。Flint 采用混合专家架构(Mixture of Experts,MoE),总参数约 400 亿,每个 token 激活约 25 亿参数。总参数量和每步激活参数量是两个不同的概念,不能将后者当成模型的全部存储规模。
图4 现场幻灯片展示的 Recursive Flint:总参数约 400 亿,每个 token 激活约 25 亿参数,研发周期不到四个月。图片由活动资料提供。
Eureka Machine 在这个过程中参与了架构搜索、量化和推理优化。田渊栋重点介绍了两项改动。
一项是对输出层 lm_head 进行 4 比特量化。输出层负责把模型内部表示映射到词表,压低这部分权重的表示精度,有机会减少每步推理需要读取的数据;同时也需要配合方法尽量保住模型能力。
另一项是面向苹果芯片优化解码实现。系统在 M4、M5 上生成了融合多个操作的 GPU 内核,让模型架构、权重表示与硬件执行方式共同影响最终速度。
报告中的现场口径是,在搭载 M4 Pro 芯片的 MacBook Pro 上,Flint 的生成速度约为每秒 130 个 token;团队发布说明给出的数字则是,在短上下文条件下,每秒超过 125 个 token。这些速度都应结合上下文长度、硬件与推理实现理解,不能脱离测试条件比较。
在能力评测上,团队公布 Flint 的 Terminal-Bench 2.1 成绩为 54.9%。田渊栋特别提到,团队曾得到更高的分数,但其中一些任务通过网络检索取得了解法,因此正式成绩把这类任务计为未通过。阅读模型分数时,评测允许什么、怎样判定成功,与分数本身同样重要。相关口径可参见 Flint 发布说明与模型卡。
团队也保留着关键的人工判断。田渊栋在报告中说,自动搜索曾提出一些更激进的架构,但首版模型最终选择了相对保守的路线,优先把完整训练路径走通。这一点也提示我们,系统参与研发的程度,需要结合具体环节理解。
递归自我改进还需要突破什么
好想法要经得起实验
田渊栋将“怎样提出新的研究想法”列为第一个难题。
他以数学研究中的跨领域借鉴说明,一项有价值的发现,可能来自用另一套工具重新理解问题。对 AI 研究而言,难点在于识别真正影响结果的结构,而不只是给出一个听起来新颖的方案。
报告提及的一项研究发现,一些模型生成的想法在初评时颇受期待,但真正实施以后,评价下降。这提醒研究者,想法是否有价值,要让实验结果参与判断。田渊栋也说明,相关研究有其时间背景,模型能力仍在快速变化,不能把某一次研究结论当成固定不变的能力边界。
搜索空间怎样组织会改变效率
第二个难题是找到更有效的搜索策略。
在神经网络架构搜索中,可以先决定每层的局部配置,再把各层组装起来;也可以先决定整体深度,再搜索各层细节。田渊栋举例说,后者在他展示的设置中效率更高。
同样一批候选方案,表示和组织方式不同,探索顺序就会变化。进一步的自我改进,需要系统能够改进搜索方法本身,包括先判断什么、如何组合方案,以及怎样利用已有实验提供的线索。
每次验证都不能无限消耗算力
第三个难题是训练和评估成本。
如果每产生一个想法都要重新运行大模型训练,实验费用会迅速累积。可探索的办法包括,先在小模型或较低成本的环境中筛选方案,再验证其迁移效果;或者寻找更便宜、但足以帮助决策的评估信号。
田渊栋还把这一问题与可解释性联系起来。理解模型内部哪些结构真正影响能力,可能帮助系统减少盲目的尝试。就像编译器能够提供具体反馈一样,研究系统得到的有效反馈越充分,越有机会找到下一步值得尝试的方向。
研究方向的选择仍需要人的判断
现场交流把讨论进一步拉回到数据、反馈与研究判断。
对于数据杂乱、模型上线后需求不断变化的问题,田渊栋表示,自动化系统也会参与数据环节。如果能够建立区分结果好坏的奖励函数,线上使用场景就可能成为持续改进的反馈环境。这是一条可探索的路径,不能由此理解为系统已经能自动解决所有数据问题。
面对“AI 如何找到更有洞察力的方向”的提问,他强调,人的作用在目前阶段仍然重要。研究者对问题的理解、对不同路径的判断,以及愿意在哪些方向持续投入,都会影响系统最终探索到哪里。
在与唐杰教授讨论 RSI 的定义时,田渊栋没有给出一个包揽所有情况的定义,而是提出可以按任务层次观察进展:先处理结果较容易验证的问题,再看能否提出有实质内容的新想法,更进一步则是重大创新。这些层次之间仍存在明显的难度差异。
从 Eureka Machine 的研究循环,到 Flint 的模型研发,报告展示了 AI 已经能够参与哪些具体工作,也留下了下一阶段的检验标准:能否更可靠地选择研究问题,用更低成本验证想法,并把这轮发现用于改进下一轮研究。
往期精彩文章推荐
关于 AI TIME
AI TIME 源起于 2019 年,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索,加强思想碰撞,链接全球 AI 学者、行业专家和爱好者,希望以辩论的形式,探讨人工智能和人类未来之间的矛盾,探索人工智能领域的未来。
迄今为止,AI TIME 已经邀请了 2000 多位海内外讲者,举办了逾 800 场活动,超 2000 万人次观看。
我知道你
提出观点,表达想法,欢迎
点击 阅读原文 查看原论文


