大数跨境

清华曹婷:具身今年才追自进化,我们已在这条路上走很远了 | 世界模型 50 人

清华曹婷:具身今年才追自进化,我们已在这条路上走很远了 | 世界模型 50 人 AI科技评论
2026-11-12
7
导读:这三个问题不解决,数据终究会成为具身最大卡点,一位前微软亚研科学家的“提前量”。
这三个问题不解决,数据终究会成为具身最大卡点,一位前微软亚研科学家的“提前量”。

    作者丨邓哲敏

    编辑丨齐铖湧

                                                                                                       

今年初秋,随着Skild S1、Generalist GEN-1.5、RoboTTT等工作的密集亮相,上下文学习(ICL)正式进入具身智能视野。与此同时,清华大学智能产业研究院(AIR)教授曹婷团队也发布了具备上下文学习能力的世界模型。从异构计算到端侧AI,再到如今的具身自进化,曹婷的学术生涯始终贯穿着一条主线:在约束条件下寻找系统生机。

2009年,曹婷赴澳洲攻读博士,其关于非对称多核处理器与托管语言性能权衡的研究获图灵奖得主大卫·帕特森推荐。2018年加入微软亚洲研究院后,她致力于将大模型塞进资源受限的边缘设备。2025年夏,曹婷加入清华AIR,面对具身智能数据匮乏与环境多变的挑战,她与刘云新教授共同发起“域变换(Z-Trans)”项目,押注具身自进化。

01 当机器人工厂慢慢冷下来

“整体的技术范式没有收敛,而且变化特别快,基本每个月都不一样,但一个离线、一个在线这套学习范式,应该是大家统一认可的。”

▎AI科技评论:今年上半年行业还在疯狂建设机器人数采工厂,下半年却转向具身上下文学习,这背后发生了什么?

曹婷:5月之前,行业普遍相信“离线训练一个大模型,在线即可通用”。但随后大家发现,无论离线数据采集量多大,机器人在线部署时依然无法应对真实世界的长尾情况。数采工厂因此降温,行业开始转向探索如何让机器人在部署后通过新的示范和反馈进行在线上下文学习。

▎AI科技评论:目前大家在技术上达成共识了吗?具身ICL与大语言模型的ICL有何不同?

曹婷:目前主流认可“离线+在线”的双范式。具身ICL比文本IC更复杂,主要存在三条技术路线:

一是能力涌现论,如Generalist,期望模型通过海量视频训练自发涌现出泛化能力,但这面临诸多限制;

二是显式训练,如Skild,直接将视频作为Prompt预测Action,类似VLA架构的演进;

三是上下文因果学习(ICCL),即我们采用的路线。直接输入原始视频噪声太大,我们引入“动作-效果提取模块”,过滤无关视觉干扰,仅将动作及其产生的效果纳入上下文。实验显示,该方法在复杂背景下的泛化性显著优于其他模型。

▎AI科技评论:如果ICL跑通,后训练是否还有意义?

曹婷:需分场景看待。家庭场景依赖ICL实现极度灵活的泛化,用户演示一次即可执行未见任务;工业场景则依赖后训练追求极致精度与低延迟。目前ICL在未见任务中的步骤成功率约60%,难以满足工厂99%以上的精度要求。因此,柔性工业生产中,少量数据后训练仍是保证稳定性的最优解。

02 何谓因果

“模型是 data-driven 的,是从大量数据里学会规律,涌现出能力。”

▎AI科技评论:你们提到的“动作-效果提取”是核心技术吗?

曹婷:是的。无论是基于Cosmos的Zeva,还是基于VLA和Ego数据的Zeva-Ego,核心都是因果提取器。它分为两阶段训练:第一阶段学习环境无关变化的表征;第二阶段利用该表征,从无标注Ego数据中精准提取动作相关的因果信息。我们使用了1万小时无标注Ego数据,将其转化为监督信号,大幅提升了数据利用效率。

▎AI科技评论:如何证明机器人真正习得了物理规律而非单纯记忆?

曹婷:我们定义的“因果”指直接的Action-Effect关系,如推力与位移。验证方式包括公开评测集表现及实际交互效率。在杂乱背景下,相比其他模型需多次尝试,我们的模型通常一两次即可成功抓取物体。这种能力并非基于符号化的物理公式,而是像人类儿童一样,通过大量试错从数据中涌现出的经验性理解。

▎AI科技评论:未来机器人会像科学家一样发现新定律吗?

曹婷:这是长期愿景。当前路径是通过大规模预训练结合在线学习,让机器人自主总结规律。现阶段目标是让机器人在具体任务中表现可靠,未来有望迈向AI for Science。

03 学习与记忆的闭环

“记忆和学习是不分家的:记了足够多的经验,能泛化去做一个没见过的新任务,这就是学习。”

▎AI科技评论:如何看待ICL、长记忆与递归自进化(RSI)的关系?

曹婷:记忆分层级:工作记忆处理当前任务上下文;长期记忆存储跨任务经验,用于检索辅助决策。记忆积累到一定程度并实现泛化,即为学习。

我们提出的物理世界自进化(PSI)是一个宏观闭环:在线学习积累成败数据 -> 回流训练基模 -> 基模能力提升 -> 更高效完成新任务并积累更多数据。近期我们将发布新成果,证实数据回流对模型效果有显著提升,这类似于将短期经验转化为大脑皮层的长期记忆。

▎AI科技评论:GPT-6等大模型是否会取代具身基模?时延问题如何解决?

曹婷:通用大模型受限于参数量、推理时延及网络传输,难以满足机器人实时控制需求。我们采取“大脑+小脑”架构:GPT类大模型作为“大脑”负责高阶规划与指令拆解;Zeva/Zeva Ego等中小参数模型作为“小脑”负责底层物理执行。我们将部分具身能力蒸馏至几十B参数的端侧VLM,既保留理解力又确保低延迟。

04 赋能产业是最终目标

“(最近)虽然投资市场有点冷,但实际的产业需求特别大。”

▎AI科技评论:清华AIR在产业化方面有哪些优势?

曹婷:AIR由张亚勤院士创立,强调“赋能产业”。团队核心成员多来自微软、华为、大疆等头部企业,具备深厚的工程化落地经验。依托张院士的产业影响力,我们在资源获取和产业对接上具有显著优势。

▎AI科技评论:域变换近期的工作重点是什么?

曹婷:重点转向产业化验证。尽管资本市场趋冷,但制造业对自动化需求迫切,特别是在拧螺丝等流水线作业及化工等高危场景。此外,我们在雄安搭建了包含卧室、客厅、卫生间的全屋环境,测试机器人在家庭复杂场景下的泛化能力。

▎AI科技评论:团队构成如何?

曹婷:团队约20人,以博士生为主力,辅以工程师。博士生具备极强的前沿技术敏感度和执行力,例如Zetta项目在发现技术潜力后一个月内即完成开发。团队氛围积极,自我驱动力强。

05 写在最后

曹婷团队的研发节奏与行业热点高度契合:6月发布强调持续自主进化的Z0框架;8月推出承担Harness功能的Zetta;9月Zeva与Skild、Generalist同期亮相,聚焦具身上下文学习;随后Zeva-Ego进入主流视野。这种“提前量”得益于清华AIR产学研一体的定位、曹婷的工程化直觉以及团队对学术前沿的快速消化能力。

热点是喧嚣的阳面,问题是冷清的阴面。曹婷以其温和优雅的外表和硬核的研究内核,在约束中寻找生机,在无人问津处深耕,从而多次精准命中技术演进的下一个路口。

//

推荐阅读

佳安智能潘阳:把机器人送进 500 强「打工」,一年挣一个多亿 | 物理 AI 50人


晨昏线科技余庆:从 CV 模型到世界模型,一个建模者的十年场景迁移|世界模型 50 人

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

【声明】内容源于网络
0
0
AI科技评论
聚焦AI前沿研究,关注AI工程落地。
内容 9041
粉丝 0
AI科技评论 聚焦AI前沿研究,关注AI工程落地。
总阅读313.3k
粉丝0
内容9.0k