AI TIME 欢迎每一位 AI 爱好者的加入!
一段第一人称视频记录了人伸手拿杯子的过程。对机器人而言,从中学习该动作需解决三大核心难题:在镜头与手部均移动的情况下,如何还原手与杯子的真实空间距离?将人类手指替换为机械夹爪后,相同动作会产生何种差异?机器人执行时,应依据画面中的哪些细节精准抓取杯沿?
本期 AI TIME 邀请新加坡南洋理工大学 MMLab@NTU 的姬歆淏、刘天齐、范洧辰,带来三场前沿技术报告。
- EgoXperience:从视频中重建相机、场景、手和物体的三维关系;
- Ropedia W0:研究人类经验如何辅助世界模型预测机器人动作后果;
- NEO-VLA:从像素出发,让模型结合语言指令直接学习动作策略。
报告结束后,圆桌环节将深入探讨「Physical RSI」(物理世界中的递归自我改进):若机械臂抓空,能否根据失败原因自主决定下一轮的学习重点、技能训练及验证方式,从而实现“越用越强”?
活动信息
活动主题:从人类经验到机器人行动:Physical RSI —— MMLab@NTU
活动时间:2026年11月19日(周四)14:00–16:15
活动形式:AI TIME 线上直播
活动主持:韦浩宇(赫尔辛基大学博士研究生、AI TIME 太魔人)
活动安排:
- 14:05-15:05 主题报告
- 15:05-16:05 圆桌讨论 (Debate / Panel)
- 16:05–16:15 观众问答 (Q&A)
嘉宾与报告详情
姬歆淏
报告时间:14:05–14:25
报告主题:EgoXperience:从人类第一人称经验中学习与物理世界对齐的三维表征
讲者简介:北京大学本科生,现为南洋理工大学 MMLab 刘子纬教授课题组访问学生,研究方向为三维视觉与物理智能。
报告简介:
针对头戴相机、手和物体同时移动的第一人称视频,如何还原三者运动并确定真实空间相对位置?本场报告介绍 EgoXperience 研究框架,涵盖数据采集、自动标注、联合三维重建与评测。
团队开发了自动标注引擎 EgoX-Engine,将对齐几何验证的物体跟踪结果与基于 SLAM 的相机轨迹,构建包含 50 小时视频的 EgoX-Data-6M 数据集及 EgoX-Bench 基准。重建模型 EgoX 可通过单目前向计算,在统一米制坐标系中恢复相机运动、场景深度、手部几何及物体六自由度位姿,精准还原移动中的空间关系。
刘天齐
报告时间:14:25–14:45
报告主题:具身世界模型 Ropedia W0:从人类第一人称经验中学习跨本体的移动操作
讲者简介:南洋理工大学 MMLab 一年级博士生,师从刘子纬教授,Ropedia 研究科学家,研究方向为具身智能与世界模型。
报告简介:
人类与机器人身体结构不同,世界模型如何利用人类视频预测机器人动作后果?报告介绍 Ropedia W0,一个面向多本体的第一人称移动操作世界模型。
W0 利用相机位姿描述视角移动,通过投影运动骨架描述操作,统一表示人手、机械臂及人形机器人动作。基于约 1 万小时人类数据和 3000 小时机器人数据构建的 Xp-Data,模型在五个机器人基准上展现了优异的预测能力。增加人类预训练数据显著改善了跨本体零样本和少样本设置下的表现。此外,蒸馏后的模型可实时生成后续画面,支持虚拟现实交互。
范洧辰
报告时间:14:45–15:05
报告主题:NEO-VLA:从像素到动作,迈向原生视觉-语言-动作策略
讲者简介:新加坡南洋理工大学 MMLab@NTU 一年级博士生,导师为刘子纬教授。研究兴趣涵盖视频生成、多模态学习与扩散模型。
报告简介:
传统 VLA 模型通常先提取视觉特征再预测动作,但对于精细操作,关键视觉信息可能位于网络深层之前。NEO-VLA 采用原生视觉-语言骨干网络,通过轻量卷积将图像映射为视觉词元,使视觉信息与语言指令在各层共同参与计算。
研究发现,与动作预测最相关的视觉信号往往在网络最终层前达到峰值,且更强的视觉编码器未必带来更好的操作表现。报告还将探讨后训练阶段的数据选择策略,证明混合视觉语言理解数据与动作数据有助于保留模型理解能力,提升场景变化下的操作成功率。
圆桌议题:Physical RSI——机器人能否越用越强?
| 序号 | 议题内容 |
| 议题一 | 从第一人称人类视频的规模化利用,转向“部署—收集经验—更新”的数据飞轮:机器人未来最缺的是更多示范,还是自己发现值得学习的问题的能力? |
| 议题二 | 世界模型用于生成训练经验、策略评估与规划,也带来同一个问题:如果练习环境和评分器都不够准确,闭环会放大能力,还是放大偏差? |
| 议题三 | 如果一个机器人遇到新任务失败,下一轮最值得改的是 VLA 权重,还是上层规划、技能库和工具调用?如何判断它缺的是动作能力,还是组织已有能力的方法? |
观看方式
哔哩哔哩直播通道
扫码关注 AITIME 哔哩哔哩官方账号预约直播
16:05–16:15 为观众问答环节。欢迎提前在会议聊天区提问,或直接开麦与三位讲者交流。
关于 AI TIME
AI TIME 源起于 2019 年,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索,加强思想碰撞,链接全球 AI 学者、行业专家和爱好者,希望以辩论的形式,探讨人工智能和人类未来之间的矛盾,探索人工智能领域的未来。
迄今为止,AI TIME 已经邀请了 2000 多位海内外讲者,举办了逾 800 场活动,超 2000 万人次观看。

