构建自主机器：NomadicML获840万美元融资，以视觉语言模型解锁车队数据价值
要构建未来的自主机器，有时你的模型需要一个模型。开发自动驾驶汽车、操控物理环境的机器人或自主施工设备的公司收集了数千甚至数百万小时的视频数据，用于评估和训练。
如今，整理和编目这些视频已成为人类的工作，他们必须观看全部内容，即使快进也无法实现规模化扩展。NomadicML是一家由首席执行官穆斯塔法·巴尔（Mustafa Bal）和首席技术官瓦伦·克里希南（Varun Krishnan）创立的初创公司，旨在为客户解决其车队数据中有95%存储在档案中的问题。
当寻找边缘情况时，挑战变得更加艰巨——最有价值的数据描绘的是极少发生的事件，这些事件可能会让缺乏经验的物理AI模型感到困惑。
Nomadic正在通过一个平台来解决这个问题，该平台通过一系列视觉语言模型将视频片段转化为结构化、可搜索的数据集。这反过来使得车队监控更加高效，并能够创建用于强化学习和更快迭代的独特数据集。
完成840万美元种子轮融资，英伟达GTC竞赛夺魁
该公司周二宣布完成840万美元的种子轮融资，投后估值为5000万美元。该轮领投方为TQ Ventures，Pear VC和杰夫·迪恩（Jeff Dean）参与投资，资金将用于吸引更多客户并持续优化其平台。Nomadic还在上个月英伟达GTC的Pitch竞赛中荣获一等奖。
两位创始人是哈佛计算机科学本科生时相识的，“我们在Lyft和Snowflake等公司工作时，反复遇到相同的技术挑战”，Bal告诉TechCrunch。“我们为用户提供对自己视频数据的洞察，无论是驱动他们的自动驾驶汽车[还是]机器人的数据，”他说。“正是这些数据推动着自主系统建设者前进，而不是随机数据。”
精准识别边缘场景，赋能智能机器开发
例如，想象一下试图微调自动驾驶汽车对以下情况的理解：如果警察指挥它闯红灯，它可以这样做；或者隔离出车辆每次经过特定类型桥梁的情况。Nomadic的平台允许识别这些事件，既出于合规目的，也可以直接输入到训练管道中。
三菱电机、Natix Network和Zendar等客户已经在使用该平台开发智能机器。Zendar的工程副总裁Antonio Puglielli表示，Nomadic的工具使该公司的工作规模比外包方式扩大得更快，并且其领域专业知识使其区别于其他竞争对手。
超越标注工具：打造代理推理系统
这种基于模型、自动标注的工具正成为物理AI的关键工作流程。Scale、Kognic和Encord等老牌数据标注公司正在开发AI工具以完成此项工作，而英伟达则发布了一系列可适配以应对该问题的开源模型Alpamayo。
Varun认为，他的公司的工具不仅仅是一个标注器；它是一个“代理推理系统：你描述它需要做什么，它会找出如何找到它”，使用多个模型来理解正在发生的动作并将其置于上下文中。Nomadic的支持者预计，这家初创公司对这一特定基础设施的关注将会胜出。
“这与Salesforce不自己构建云、Netflix不自己构建[内容分发设施]的原因相同，”TQ Ventures的合伙人Schuster Tanger在领导本轮投资后告诉TechCrunch。“一旦一家自动驾驶汽车公司尝试内部构建Nomadic，他们就会分心于真正让他们获胜的东西，也就是机器人本身。”
Tanger称赞Nomadic的人才，指出Krishnan是一位国际象棋大师，排名世界第1,549位。与此同时，Krishnan吹嘘说，公司十几名工程师中的每个人都发表过科学论文。
未来展望：攻克非视觉数据与多模态整合难题
如今，他们正全力开发专用工具，例如一款能从摄像头画面中理解变道物理规律的工具，或另一款能在视频中更精确地确定机器人夹爪位置的工具。从 Nomadic 及其客户的角度来看，下一个挑战是为激光雷达传感器读数等非视觉数据开发类似工具，或将多模态传感器数据进行整合。
“在海量视频数据（以太字节计）与数百个拥有上千亿参数的模型之间进行复杂交互，并从中提取准确洞察，这确实极其困难。”Bal 表示。