9月,OpenAI发布GPT-6 Astra后,其在空间理解、三维建模及软件操作方面的能力引发具身智能行业广泛关注。这一进展促使业界重新思考:机器人所需的通用智能,是否可直接源自基础大模型,而非依赖传统独立训练的策略模型。
早期将Astra接入机械臂的测试结果显示,其在RoboDojo研究的42项操作中平均成功率仅为22.48%,尤其在精确对齐和复杂双臂协调等任务上表现欠佳。由于涉及摩擦、受力及持续接触的精细操作高度依赖触觉反馈,此类任务长期被视为专用模型的优势领域。
然而,清华大学最新研究对此提出了挑战。10月17日发布的TacTalent技术报告指出,在无需微调策略模型的情况下,Astra在接触密集型操作中展现出惊人潜力。
Astra在接触密集型操作中超越专用模型
清华团队在UniVTAC和OpenViTac两套视触觉基准上评估了Astra的表现。结果显示,Astra的平均成功率分别达到93.8%和81.8%,较此前报告的最佳专用模型分别高出22.9和13.1个百分点。
(来源:TacTalent)
研究团队并未对模型进行任务示范训练或微调,而是通过RoboICL框架提供少量操作示范,结合摄像头画面、机器人位姿及夹爪触觉信息,让Astra自主决策机械臂的移动、旋转及夹爪开合,并由底层控制系统执行闭环控制。
触觉图像化:打通多模态感知壁垒
该方案的关键创新在于将触觉信息图像化。实验使用的视觉式触觉传感器记录接触造成的表面形变并生成图像,使Astra能够像处理普通视觉画面一样处理触觉数据。
TacTalent作者、清华大学博士研究生杨晨表示,团队此前在开发SimpleTouch模型时发现,利用视觉变分自编码器(VAE)处理触觉图像效果显著,这提示视觉与触觉间的模态差异可能小于预期。因此,团队验证了Astra能否直接利用其强大的视觉理解能力处理触觉信息。
实验数据证实了这一假设。在UniVTAC基准的8项任务中,仅使用视觉信息时Astra成功率为76.3%,加入触觉信息后提升至93.8%。
图|在 UniVTAC 和 OpenViTac 两套基准中,Astra 的平均任务成功率分别达到 93.8% 和 81.8%,高于所比较的最佳已报告专用模型。(来源:TacTalent 研究团队)
在具体任务中,拔钥匙操作的成功率从30%跃升至90%。当钥匙受阻时,Astra能根据夹爪两侧触觉图像的变化判断阻力方向并调整动作。类似地,插孔和HDMI接口插入任务的成功率也分别从60%和50%提升至100%和80%。
图|Astra 在拔钥匙任务中的操作对比:仅使用视觉信息时未能完成任务(上);加入触觉反馈后,模型能够根据接触阻力调整动作,最终成功拔出钥匙(下)。(来源:TacTalent 研究团队)
图|Astra 在仅使用视觉信息(上)和结合视觉、触觉信息(下)两种条件下的操作对比。加入触觉反馈后,模型能够根据接触状态调整插入动作,成功完成任务。(来源:TacTalent 研究团队)
杨晨指出,Astra在触觉理解、主动探测、精细调整及操作恢复上的综合表现超出预期,这主要得益于基础模型能力的突破以及RoboICL框架对示范、观测和反馈的有效组织。
视觉捷径与触觉局限:重新审视基准测试
研究还发现,部分传统认为需触觉介入的任务,Astra仅凭视觉即可高效完成。在OpenViTac基准中,纯视觉模式下的平均成功率达80.6%,加入触觉后仅微增至81.8%。特别是在抓取分类、表面粗糙度分类及依据粗糙度重新抓取三项任务中,纯视觉成功率均为100%。
图|Astra仅凭视觉信息完成三项触觉相关任务:抓取分类(a)、表面粗糙度分类(b)和根据粗糙度重新抓取(c)。右侧放大图显示了模型可能利用的物体纹理、表面轮廓等视觉线索。(来源:TacTalent研究团队)
分析认为,粗糙物体表面的细微纹理、凸起或反光特征提供了可供识别的视觉线索,加之多角度摄像头辅助,使模型能够绕过触觉直接判断。这表明现有触觉基准可能存在“视觉捷径”,难以充分检验模型对接触和受力的真实理解能力。
然而,触觉并非万能。在重量分类和空罐选择任务中,加入触觉反而导致成功率下降。研究人员推测,模型可能误读了触觉图像中的细微形变,无法准确关联物理重量与受力信息。
此外,当前实验均在仿真环境中进行,样本量有限,且未与专用模型在完全同等条件下对比,结果仍具局限性。
未来挑战:从仿真到真机的跨越
下一阶段,团队计划开展真机实验。目前面临的主要障碍是推理延迟——Astra单次API响应中位数约为14秒,无法满足实时接触控制需求。同时,需进一步完善动作约束和安全机制,防止模型输出不合理指令损坏硬件。
触觉技术竞争格局的重塑
TacTalent展示了触觉研发的新路径:将接触信息转化为图像,利用通用多模态模型的视觉推理能力,无需重新训练完整的触觉策略。这对专用触觉模型构成了挑战,但也指明了新的分工方向。
杨晨认为,通用模型降低了触觉理解的门槛,但未消除技术壁垒。对于硬件企业,高精度、高响应速度及长期稳定性的传感器仍是基础;对于算法企业,竞争焦点将转向信号处理、实时控制及操作稳定性。未来架构可能是“通用模型负责高层策略理解+专用算法负责低延迟执行”。
更深层次的竞争将发生在物理AI领域。具备AI4S(科学智能)背景的企业需建立对接触、摩擦、形变等力学过程乃至热力学过程的精准表征与预测能力。这类physics-rich数据资产的生产与实时交互,将成为核心壁垒。
综上,随着基础模型能力提升,具身智能行业竞争将聚焦于物理信息的准确获取、物理规律的有效建模以及真实场景的稳定控制。通用模型与专用技术的融合边界,仍有待更多真机实验验证。
参考链接:
1.Chen Yang (杨晨), Linzhe Shi, Hang Zhang, Mu Xu, Jiansheng Fan (樊健生), Chen Wang (王琛) (2026). GPT-6 Astra Is a Native Visuo-Tactile Policy for Contact-Rich Manipulation. https://tactalent.github.io/
2.https://arxiv.org/abs/2609.24170
3.https://arxiv.org/abs/2609.38537
4.https://openai.com/index/gpt-6-astra/
运营/排版:何晨龙
注:封面/首图由 AI 辅助生成

