2024年将是生成式AI/大型基础模型与机器人技术交叉领域的大年。围绕各种应用潜力，从学习设计到产品设计，人们充满了期待。Google的DeepMind Robotics研究人员是众多探索这一领域潜力的团队之一。在 一篇博客文章中 今天，该团队强调了正在进行的研究，旨在让机器人更好地理解人类究竟希望它们做什么。
传统上，机器人专注于在其生命周期内反复执行单一任务。专用机器人往往非常擅长做那件事，但当意外引入变化或错误时，它们也会遇到困难。
新发布的 AutoRT 旨在利用大型基础模型实现多种目的。在DeepMind团队给出的一个标准示例中，该系统首先利用视觉语言模型（VLM）来提高情境感知能力。AutoRT能够管理协同工作的机器人舰队，并配备摄像头以获取其环境及其中物体的布局。
与此同时，大型语言模型建议硬件可以完成的任务，包括其末端执行器。许多人认为LLM是解锁能更自然理解语言指令的机器人的关键，从而减少对硬编码技能的依赖。
该系统在过去大约七个月的时间里已经过大量测试。AutoRT能够同时协调多达20台机器人和总共52种不同的设备。总体而言，DeepMind收集了约77,000次试验，其中包括超过6,000项任务。
该团队还推出了RT-Trajectory，它利用视频输入进行机器人学习。许多团队正在探索使用YouTube视频作为大规模训练机器人的方法，但RT-Trajectory增加了一个有趣的层次，即在视频上叠加动作中机械臂的二维草图。
团队指出：“这些轨迹以RGB图像的形式，为模型在学习其机器人控制策略时提供了低层级的、实用的视觉提示。”
DeepMind表示，其训练的成功率是RT-2的两倍，达到63%，而RT-2为29%，同时在41项任务上进行了测试。
“RT-Trajectory利用了所有机器人数据集中存在的丰富机器人运动信息，但目前这些信息未被充分利用，”团队指出。“RT-Trajectory不仅是朝着构建能够在新颖情况下高效准确移动的机器人迈出的又一步，也是解锁现有数据集知识的关键。”