物理人工智能的前沿，就像加州圣莱安德罗一个仓库里的叠叠乐游戏。
这座仓库里入驻了 Encord，一家构建用于训练人工智能模型的数据工具的公司。Andrew Ceja是一名“飞行员”——这是该公司对其机器人训练师的称呼——他正小心翼翼地从一个摇摇欲坠的塔中抽出木块，头上戴着一副带有摄像头的耳机，以追踪他的视线。仅收集机器人训练数据而言，这相当常见，但这副耳机还配备了传感器，可以在他小心拆解积木塔时测量其脑电波。
Encord是众多初创公司之一，它们押注人形机器人和仓储领域的下一个真正瓶颈将是现实世界物理训练数据的稀缺性，并致力于建立不仅管理这些数据、而且制造这些数据的业务。
Ceja佩戴的脑电波耳机由 Zander Labs打造，这是一家德国神经科学初创公司，它押注于通过测量大脑活动（以推断错误、意图和惊讶等心理状态）来创建更有用的数据集，从而训练模型。Encord与Zander的合作目前处于试运行阶段；Encord表示，目标是构建一个初始的带脑电波标签的数据集，将其输入客户机器人的模型中进行测试，并评估其是否确实提升了性能，然后再决定是否扩大规模。
监督这项工作的Zander神经科学家Lukas Gehrke表示，在任何给定任务期间使用的脑活动量，为试图弄清楚何时需要部署最高努力模型的模型构建者提供了线索。
根据Encord机器人学习负责人Vineeth Velmurugan的说法，这是解决机器人数据瓶颈努力的“最前沿”。作为OpenAI机器人实验室和仓库自动化公司Berkshire Grey的老兵，Velmurugan加入Encord是为了组建公司内部的数据创建团队。
Encord成立的初衷是帮助构建机器视觉应用的公司标注数据和评估模型。随着他们的客户——Velmurugan表示他们与许多领先的机器人公司合作，但他无权透露具体名称——开始将端到端学习应用于机器人操作任务，高管们意识到他们必须自己生产训练数据，而不仅仅是管理数据。“数据根本不存在，”Velmurugan说。
人们一直寄希望于生成式AI能为机器人带来它曾为聊天机器人带来的变革，但这一愿景不断撞上同一堵墙。自动驾驶汽车公司自行收集现实世界的数据，但这很难规模化。基于视频的训练可行，但它缺乏现实世界数据的保真度。Velmurugan表示，要取得突破，需要一个规模约为YouTube视频语料库五倍的数据集——这种规模有助于解释为什么数据生成本身已成为一项业务，而不仅仅是一个研究问题。
满足你的第一人称视角数据需求
正在构建机器人大脑的公司现在转向两个主要来源：由佩戴相机的工人收集的“第一人称视角”视频，通常辅以其他相机角度和其他指标，以及来自机器人的数据，这些数据由远程操作产生。Encord两者兼有，从全球各地的几家工厂收集第一人称视角数据，并利用其在圣莱安德罗的设施尝试新的模态（如脑电波），或围绕特定技能收集用于微调的数据集。
当TechCrunch到访时，飞行员们正在使用主从机械臂系统——由一对机械臂组成，其中一只由人类操作员直接控制，另一只则模仿其动作——来创建关于诸如将咖啡从壶中倒入杯子（非常晃荡）和堆叠扑克筹码等任务的数据。Velmurugan说：“每个类人机器人公司都向我们索要这些部件。”
存储架上摆放着装在花瓶里的假花、书籍、塑料蔬菜、猫砂盆和铲子、成袋和成捆的电线——这些都是用于训练家庭任务操作器的常用物资。
在这些工作站之一，另一位飞行员Sofia Infante操控机械臂插拔服务器背面的以太网电缆——这是数据中心运营商希望实现自动化的工作类型，前提是机器人能够以所需的精度进行操作。当我亲自体验了一下控制台后，我立刻明白了为什么这仍然遥不可及：钳形夹远不如人类手指灵活，并且缺乏我们在手臂中习以为常的自由度。
Encord正在开发的另一种新数据模态使用一组绑在前臂上的传感器来检测肌肉中的电信号。拍摄人类手部操作物体的视频通常无法捕捉到完整的手部图像，但Velmurugan希望通过基于手臂传感器的数据构建手在任何时刻的3D描绘，从而为模型提供更稳健的理解。
Encord的数据集标注了每个视频内容的物理描述，例如“右手拧紧螺栓”，以帮助基于大语言模型（LLM）的模型理解正在发生的事情。Velmurugan估计，这种密集标注对于训练特定任务的价值是“垃圾级自我数据”的100倍，而生产成本仅高出20倍，从纸面上看这是一笔划算的交易。
但“高出20倍”仍然是真金白银，这也是关键所在：像LLM制造商通过从Stack Overflow和其他网络资源中提取内容来构建模型那样，从互联网上抓取文本的成本几乎可以忽略不计。生成物理训练数据则不然，这也正是“物理AI等同于LLM”这一比较的局限性所在。这类数据必须被制造出来，而不仅仅是收集，这就改变了构建这些模型的经济性。
Velmurugan表示进展正在取得——凭借Encord对整个行业项目的洞察力，他能够看到初创公司和前沿实验室都在摸索哪些方法有效、哪些无效，以改进物理AI模型。这种处于众多机器人公司之间的独特视角也是Encord卖点的一部分。它可以在任何单一客户之前发现哪些数据技术正在整个行业中获得关注。
这将让Encord设施中的十几名飞行员保持忙碌。Infante和Ceja都是开发神经网络基础构件的新兴劳动力的一部分；他们在加入Encord之前曾在另一家AI数据标注公司Scale工作过。
Ceja曾在一家废物管理公司工作，他对技术的兴趣使他负责维护一台机器人垃圾分拣机的正常运行。如今，随着“叠叠乐”塔倒塌，他表示自己很享受为机器人解决训练任务的挑战——“每天都有新事物！”