生成式AI赋能机器人安全：Safeworld获超1200万美元融资
机器人的大趋势是将控制权交给生成式 AI 模型，但这带来了一个问题：这种架构不像传统算法那样可预测。你如何确保你的全新人形机器人是安全的？
卡内基梅隆大学 Safe AI 实验室主任丁兆博士（Dr. Ding Zhao）几乎在其整个职业生涯中都在致力于解决这一问题。如今，他与经验丰富的初创公司高管 Kyle Wong 以及机器学习工程师 Simo Rachidi 共同创立了 Safeworld 公司，旨在解决这一难题。
“我们所说的安全挑战包括两个方面：一是真正先进的生成式 AI 概率评估——即如何为概率系统的风险提供保险？”Zhao 表示，“更难的部分在于信任问题，而部署机器人需要同时具备这两点。”
完成超1200万美元种子轮融资
Safeworld今日结束隐身模式，完成由Shine Capital和a16z Speedrun领投、Box Group、卡内基梅隆大学捐赠基金、Innovation Endeavors和SV Angel参投的超过1200万美元种子轮融资。
a16z Speedrun 合伙人 Jonathan Lai 对 TechCrunch 表示：“现在正是建立行业安全标准的时候，因为机器人正在被设计和部署。”“等到机器人在家庭中与孩子碰撞并引发安全事故时，那就太晚了。”
模拟环境评估应对非结构化挑战
Safeworld 的专长是在填充了逼真人类模型的模拟环境中评估机器人控制系统。这类似于特斯拉（Tesla）或 Wayve 等公司面临的挑战，它们必须确保其车辆能够对道路上可能遇到的各种意外情况做出适当反应。但 Zhao 认为，这对机器人来说会更困难，因为它们工作在非结构化环境中，且每个设施都有其不同的安全标准。
Wong 说：“最常见的场景之一是某个特定工厂存在视觉盲区。你需要确定什么样的速度或制动距离，才能确保该机器人不会与特定的人类发生碰撞？例如，如果一个人正抱着箱子，机器人能否检测到这个人？”
为了回答这个问题，Safeworld 将在 Genesis 或 MuJoCo 等模型中构建该拐角的数字版本，插入待评估机器人的模拟实例（由其真实软件驱动），然后运行数千个场景中人类模型与机器人相遇的情景。Zhao 指出，这比看起来要难得多，因为人是不可预测的。
Wong 说：“绊倒和摔倒也是我们在模拟中进行大量测试的一个好例子。”“否则，你就得亲自去绊倒和摔倒给机器人看，而这显然是一件很难持续进行的事情。”
第三方验证与边缘案例处理
Safeworld 正在构建的平台与机器人制造商内部使用的工具确实存在相似之处。然而，创始人认为，除了他们自身的专业 expertise 外，机器人制造商还将希望有第三方对其工作进行验证，至少是为了在竞争对手之间共享关于安全案例的信息。
“很多人低估了解决这些边缘案例的难度，”赵说。“我们担心的不是演示中真空环境下的机器人，而是大规模部署的机器人，以及那些可能从未操作过机器人的用户。”
Vishal Dugar，Gritt Robotics的首席技术官，正在为机器人开发AI大脑。目前，这些机器人帮助工人在大型太阳能农场安装光伏面板，并有望承担更复杂的建筑任务。他的公司正与Safeworld合作，共同开发安全模拟系统。
“我们大多数系统的难点在于，很难通过数学推导、编写方程来正式证明系统的安全性，然后说‘是的，系统已验证是安全的’，”Dugar表示，“这必须通过实证来完成。”
他的机器人与人类工人协同工作，确保机械臂不会撞到他们显然是首要考虑的问题。要在实践中验证这一点，需要考虑各种潜在场景。
“人类有多种外观，”Dugar指出。“他们的身体可以处于不同的姿态。他们可能跪着、站着，也可能摔倒或蹲下，甚至奔跑。你必须应对人类在这些场地上可能表现出的所有行为，以及人类外观的各种变化，比如服装、体型、身高、肤色等一切因素。”
探索商业化路径
对于Safeworld和生成式AI在机器人领域的应用来说，目前仍处于早期阶段，该公司仍在探索最适合其产品的模式——是面向外部用户的平台，还是基于服务的模式？——但团队坚信他们正在解决正确的问题。
“我们可能会成为该领域第一家盈利的公司，”Zaho说。“因为如果任何人想要部署，他们需要付费让我们来处理情况。”