在过去的一年里，我花了大量时间与机器人专家讨论生成式人工智能和大型语言模型。越来越清楚的是，这类技术已准备好彻底改变机器人的沟通、学习、外观和编程方式。
因此，许多顶尖大学、研究实验室和公司正在探索利用这些人工智能平台的最佳方法。总部位于俄勒冈州、资金充足的初创公司Agility已经使用其双足机器人Digit一段时间了，一直在尝试这项技术。
今天，该公司通过其社交媒体渠道分享的一段短视频展示了部分研究成果。
该公司指出：“我们很好奇，将这项技术集成到Digit中能实现什么效果。”一个由人工智能构成的物理实体创建了一个演示空间，其中包含一系列不同高度的编号塔楼，以及三个具有多种显著特征的盒子。Digit获得了关于该环境的信息，但没有获得任何关于任务的具体信息，只收到了不同复杂程度的自然语言指令，以观察它能否执行这些指令。
在视频示例中，Digit被要求拿起一把“达斯·维达光剑”颜色的盒子，并将其移动到最高的塔楼上。这个过程并非瞬间完成，而是缓慢而谨慎的，正如人们所预期的那样，这是一次早期阶段的演示。不过，机器人确实按照描述执行了任务。
Agility表示：“我们的创新团队开发了这一互动演示，以展示大型语言模型（LLMs）如何使我们的机器人更加多功能并加快部署速度。该演示允许人们用自然语言与Digit对话，并要求它执行任务，从而一窥未来。”
自然语言通信一直是这项技术的关键潜在应用之一，此外还包括通过低代码和无代码技术对系统进行编程的能力。
在我的Disrupt小组讨论中，Gill Pratt描述了丰田研究所如何利用生成式AI加速机器人学习：
我们已经找到了一种方法，即使用现代生成式AI技术，使人类能够同时演示位置和力度，从而仅凭少量示例就能教会机器人。代码本身没有任何改变。这基于一种称为扩散策略（diffusion policy）的技术。这是我们与哥伦比亚大学和麻省理工学院合作开展的工作。到目前为止，我们已经教会了机器人60种不同的技能。
MIT CSAIL的Daniela Rus最近也告诉我：“事实证明，生成式AI在解决甚至运动规划问题时也非常强大。与模型预测解决方案相比，你可以获得更快、更流畅且更像人类的控制解决方案。我认为这一点非常强大，因为未来的机器人将不再那么‘机械化’。它们的动作将更加流畅和人性化。”
这里的应用潜力广泛而令人兴奋——Digit作为一种先进的、已在亚马逊配送中心和其他真实世界地点进行试点的商业可用机器人系统，似乎是一个理想的候选者。如果机器人要与人类协同工作，它们也需要学会倾听人类。