大数跨境

观看机器人使用 Gemini 在谷歌 DeepMind 办公室内导航

观看机器人使用 Gemini 在谷歌 DeepMind 办公室内导航 海外洞察
2024-07-11
0
导读:DeepMind 已部署 Google Gemini 1.5 Pro,用于训练机器人响应指令并在办公室环境中导航。

生成式人工智能在机器人领域潜力巨大,涵盖自然语言交互、机器人学习、无代码编程及设计等场景。本周,谷歌 DeepMind 机器人团队展示了该技术在导航领域的最新应用突破。

在论文《Mobility VLA:基于长上下文视觉语言模型与拓扑图的多模态指令导航》中,团队利用 Google Gemini 1.5 Pro 教导机器人在办公室内响应指令并自主导航。测试平台为“日常机器人”(Every Day Robots),该项目虽于去年因裁员暂停,但相关设备仍被用于此次研究。

演示视频中,DeepMind 员工以智能助手风格发出指令,要求机器人在约 9,000 平方英尺的办公空间内执行多样化任务。

图片来源:Google DeepMind

例如,当员工请求前往绘画区时,佩戴黄色领结的机器人回应“正在用 Gemini 思考”,随后准确引导至白板前;另一场景中,机器人根据白板上的文字指示行动,通过地图识别到达“蓝色区域”。尽管选择了绕远路径,机器人最终成功抵达测试区,并自信反馈“已成功遵循白板上的指示”。

此前,机器人通过“多模态指令导航演示之旅(MINT)”熟悉环境,即在参观过程中通过语音标记地标。团队采用分层视觉-语言-动作(VLA)模型,融合环境理解与常识推理能力,使机器人能够响应书面/手绘指令及手势。

图片来源:Google DeepMind

数据显示,在与员工的 50 多次互动测试中,机器人的任务成功率约为 90%。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14179
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读975
粉丝0
内容14.2k