近年来，Transformer模型引领的多模态技术迅速发展，推动了人形机器人和自动驾驶系统的智能化进步。谷歌、英伟达、特斯拉等公司通过突破性模型和大规模数据生成系统，使机器人在任务泛化、自主操作等领域取得显著成果，推动AGI应用迈向现实。
Transformer模型的演进与多模态模型的发展
Transformer模型的提出
2017年，Google发布的“Attention is All You Need”论文引入了Transformer架构，通过自注意力机制摒弃传统RNN和CNN的限制，带来了显著的性能提升。该模型在长序列处理和并行计算上有着出色的表现，在英德翻译任务中，将BLEU值提升了2个百分点。这种结构为多模态任务提供了基础，加速了语言、视觉等多模态融合的发展。
多模态大模型的兴起
基于Transformer的大语言模型（LLM）成为多模态大模型（MLLM）的核心，结合视觉模型实现了图像、视频和文本的统一处理。MLLM接近人类的多模态感知，推动了人工通用智能的前进。以中国移动的“九天善智”多模态基座为例，该模型能够处理长文本、全双工语音交互，并实现高质量图像和视频解析，成为国内多模态发展的领先示例。
机器人现实世界的数据化突破
谷歌RT系列
Google的Robot Transformer系列（RT-1和RT-致力于将大语言模型与低级机器人控制结合，突破机器人语义理解瓶颈。RT-1使用预训练EfficientNet-B3网络，将机器人状态和图像输入转化为控制动作。RT-2进一步扩展了模型参数至55B，集成大量视觉-语言任务数据，增强了机器人对新任务的泛化和理解能力。RT-2能够识别新对象、理解复杂命令，并执行推理，具备更强的跨任务适应性。
英伟达MimicGen系统
MimicGen通过少量人类演示生成大规模、多样化的机器人学习数据，支持机器人完成包括装配和高精度操作在内的18项复杂任务。其核心技术为数据分割与重组，将演示分解为对象中心的子任务，然后在新场景中重组生成演示数据。
实验数据显示，MimicGen的生成数据显著提高了机器人在任务中的成功率，“Square”任务的成功率从11.3%增至90.7%，“Threading”任务成功率从19.3%提升至98.0%。
RoboCat
RoboCat基于Gato模型，通过VQ-GAN对视觉输入进行词元化处理，并结合DT回归预测未来动作。在100至1000个样本的训练条件下，RoboCat能快速适应新任务，实现跨平台的多任务执行。Google通过RoboCat展示了自我改进的智能体在机器人任务中的跨平台适应能力，为大模型和具身智能数据生成的应用奠定了基础。
特斯拉FSD端到端算法
端到端自动驾驶模型
特斯拉的FSD V12采用端到端神经网络架构，首次将感知、决策和控制整合为一体，依靠大量视频数据训练，几乎无需人工干预。数据显示，FSD V12在Autopilot模式下的事故率显著降低，平均每688万英里才发生一起事故，而未启用Autopilot时每145万英里发生一起事故。这一系统简化了信息传递，显著提升了系统的反应速度和精确性。
Dojo计算系统的支持
为了应对大数据的处理需求，特斯拉开发了高带宽、低延迟的Dojo计算系统。Dojo能处理来自车辆的数百万条视频数据，加速了模型的端到端训练，并显著增强了系统在复杂场景中的实时决策能力，形成了一条高度数据驱动的训练路径。
机器人端到端算法的迁移应用
Optimus人形机器人
特斯拉将FSD端到端架构迁移至Optimus人形机器人，使其能够在多样化的场景中识别“可行走空间”并避开障碍物。Optimus与车辆同样使用计算机和摄像头系统，通过神经网络实现目标识别与路径规划，逐步展示了机器人在人类办公环境中的应用潜力。
拟人化行为的实现
端到端算法通过输入感知数据直接输出控制信号，使机器人能更自然地完成任务，表现出类似人类的行为。机器人在不同任务场景中的拟人化表现（如方向控制、加速、减速等），使交互更加平滑、直观，提升了其多样化环境下的适应性。
Nvidia的Robocasa模拟框架
多样化任务场景的构建
Nvidia的Robocasa框架专注于家庭环境中的机器人训练，特别是厨房场景。通过生成AI和MimicGen技术，Robocasa创造了2500多个3D对象和10万条轨迹数据，支持抓取、放置等基础操作。实验显示，基于生成数据的训练模型任务成功率从20.8%提升至47.6%，而“真实+生成”数据结合的策略成功率高达24.4%，较单一真实数据提升79%。
任务数据生成与实际应用
Robocasa使用LLM生成厨房任务序列，并通过MimicGen扩展数据量，使机器人在合成数据和真实数据结合下提升了实际任务的执行能力，展现了模拟环境到真实环境的有效迁移。
机器人操作任务的新型约束表示
ReKep关系关键点约束
机器人操作任务中，如何自动生成对环境和操作物体的空间和时间约束，是提高操作精确度和灵活性的关键。李飞飞团队提出的ReKep（Relational Keypoint Constraints）方法，为机器人提供了一种基于关键点的约束表示方式。ReKep将机器人任务分解为一系列关联环境与机器人操作的3D关键点，并以Python函数的形式生成数值成本来优化操作路径。
注：李飞飞（Fei-Fei Li）是全球知名的人工智能（AI）和计算机视觉专家，目前在斯坦福大学担任计算机科学系教授、斯坦福人工智能实验室（Stanford AI Lab）和人类中心AI研究所（HAI）的联合创始人兼联席主任。
ReKep的核心在于实时生成并更新操作约束。例如在“倒茶”任务中，ReKep的三个步骤包括：①机器人抓住壶把，并在搬运过程中保持直立，避免溢出；②接近目标容器并对准壶嘴；③倾斜壶身以合适角度倒出液体。每一步的关键点约束直接影响机器人动作的精度和流畅度。
自动生成关键点约束
ReKep结合大语言模型（如GPT-4o）与视觉模型，自动从自然语言指令和RGB-D视觉输入生成关键点约束。具体来说，GPT-4o等大模型解析语言任务描述，将其转化为可操作的关键点坐标，实现任务指令的自动解析与空间位置生成。这种自动化减少了繁琐的人工编写，保证机器人在多任务场景中的高效执行能力。
ReKep的应用测试与效果
ReKep方法应用于多个真实场景实验，展现了卓越的跨任务适应能力。测试数据显示，在三项典型任务（如拾取、搬运、放置）的操作成功率显著提高，机器人在处理复杂任务时保持高精度。例如，将机器人操作任务以关系关键点约束方式表示后，机器人在“拾取并放置”任务中的成功率较传统表示法提升了20%以上。
ReKep的应用局限与未来优化方向
虽然ReKep在约束表示上取得显著成效，但在实时动态场景中的应用仍有局限。现阶段，ReKep依赖较稳定的对象和环境模型，且多步骤任务中的时间约束处理仍需优化。
此外，针对非标物体的约束生成依赖较高精度的视觉输入，增加了任务复杂性。未来改进方向包括利用更高分辨率视觉传感器以及通过更多多模态大模型，自动生成更丰富的动态场景约束，提高机器人在多变环境下的操作适应性。
总结
Transformer模型的创新发展带动了机器人和自动驾驶领域的技术进步。RT-2模型的55B参数、MimicGen生成数据的90.7%成功率、特斯拉FSD降低的事故率等数据表明，以数据驱动为核心的端到端架构在多模态智能和具身智能中的应用潜力巨大，推动了人形机器人与大模型在实际场景中的应用。
以上内容源自民生证券
《人形机器人与 AI 大模型之 Robot +AI 的 Transformer 之旅》
如需报告原文，请加微信：snow-come
