在人工智能(AI)发展初期,Hubert Dreyfus在其著名的1972年作品What Computers Can’t Do中论述:由于计算机与人类有诸多的不同,它们永远无法具备智能。
3月13日,人形机器人明星公司 Figure AI 震撼发布了一段视频,展示了他们的机器人 Figure 01 在 OpenAI 强大模型的支持下,进行的一系列对话交互。
视频中的机器人展现出了灵活的操作反应,其与人类沟通的流畅度几乎可以与真人相媲美。在人类的一声令下,Figure 01 还能做家务,收拾餐具,这机器人,简直是家庭生活的最佳伙伴。

Figure AI 掌门人Brett Adock也不甘寂寞,在X上跳出来做了一番精彩解读。
视频展示了端到端神经网络的应用(end-to-end neural networks)。在此过程中没有使用遥控器(teleop)。视频是以实际速度(1.0倍速)拍摄的,并且是连续不断的。
无需遥控,自学成才那么 Figure 01 是怎么做到的呢?
Figure AI 将机器人摄像头拍摄的图像和通过板载麦克风记录的语音转录文本输入到一个由 OpenAI 训练的多模态模型中,这个模型能够同时理解图像和文本信息。该模型会处理整个对话的历史记录,包括以往的图像,以生成语言响应,并通过文本到语音的方式向人类回话。同一个模型还负责决定执行哪种已学习的闭环行为来响应给定的命令,它将特定的神经网络权重加载到 GPU 上,并执行相应的策略。
而将 Figure 01 连接到一个大型预训练的多模态模型,为其带来了许多有趣的新功能
。

Figure 01 通过学习掌握的精细双手操作技能,所有行为都由神经网络的视觉-运动转换器策略驱动,这种策略能直接将图像像素映射到动作。这些网络以每秒 10 帧的速率接收机器人内置图像,并生成每秒 200 次的 24 自由度动作(包括腕部姿势和手指关节角度)。这些动作作为高速「设定点」,供更高速率的全身控制器跟踪,确保动作的精确执行。
这种设计实现了关注点的有效分离:互联网预训练模型对图像和文本进行常识推理,以生成一个高级计划。学习到的视觉-运动策略执行这个计划,完成那些难以手动指定的快速、反应性行为,例如在任何位置操纵一个可变形的袋子。同时,全身控制器负责确保动作的安全性和稳定性,例如,保持机器人的平衡。

对于 Figure 01 取得的巨大进步,Corey Lynch 感慨道:就在几年前,我还认为与一个能自主规划和执行学习行为的人形机器人进行完整对话,将是未来数十年后的事情。
显然,许多事情已经发生了巨大变化。就在两周前,Figure 宣布完成了 6.75 亿美元的 B 轮融资,公司估值飙升至 26 亿美元。
投资方几乎涵盖了硅谷的半壁江山——Microsoft、OpenAI 创业基金、英伟达、Jeff Bezos、Parkway Venture Capital、Intel Capital 和 Align Ventures 等。
当时,OpenAI 与 Figure 还宣布将共同开发下一代人形机器人 AI 模型,OpenAI 的多模态模型将扩展到机器人感知、推理和交互环节。
如今,从 Figure 01 身上,我们仿佛能窥见未来生活的草稿。
事实上,在大模型之前,机器人属于专用设备,如今有了大模型的通用能力,通用机器人开始曙光乍现,现在的我们不止需要 ChatGPT,还需要 WorkGPT。这些进化间接印证了一条清晰可见的道路:当 AI 大模型生根发芽之后,总归是要走进现实世界,而具身智能则是最佳的路径。
一直活跃在AI 前线的英伟达创始人黄仁勋曾洞察道:「具身智能将引领下一波人工智能浪潮。」
参考链接:
1. Dreyfus, H. What Computers Can’t Do (Harper and Row, 1972).
2. Lanier, J. There is no A.I. The New Yorker (20 April 2023).
3. Ayers, J. W. et al. JAMA Intern. Med. 183, 589–596 (2023).
4. Birhane, A. et al. The values encoded in machine learning research. In Proc. 2022 ACM Conf. on Fairness, Accountability, and Transparency, 173–184 (ACM, 2022).
5. Dingemanse, M. et al. Cogn. Sci. 47, e13230 (2023).
春招季已然来临,这是学生们迈向职业发展的重要阶段。星辰求职公司作为一家专业的求职咨询公司,致力于帮助学生更迅速地把握理想的工作机会,更希望能够帮助你顺利踏入职场,并实现职业发展的突破。
1.个性化求职指导:专业顾问团队将根据你的专业背景、兴趣和目标,提供个性化的简历修改和面试准备建议,为你量身定制有效求职方案。
2.职业规划辅导:职业规划师将与你合作,帮助你明确职业目标并制定实现目标的计划。我们将评估你的技能和兴趣,为你提供职业发展建议,并指导你在求职过程中取得成功。
3.求职资源和网络:获取海量独家的求职资源和行业内部信息。我们与众多公司建立了紧密的合作关系,为你提供更多实习和全职就业机会。此外,你还可以与其他优秀的求职者建立联系,拓展经验和资源体系。
4.职业技能培训:职业技能培训课程帮助你提升求职所需的各种技能,包括简历撰写、面试技巧、沟通能力等。这些培训将增强你在求职过程中的竞争力,并提升你的职业发展潜力。
5.持续支持和跟进:我们的支持不仅仅限于求职阶段,我们将与你建立长期的合作关系,提供职业发展咨询和指导。我们将持续关注你的职业发展,并为你提供帮助和支持。
在这个竞争激烈的求职市场上,加入星辰求职公司将为你的求职之路注入新的动力和信心。让我们一起努力,开启你成功的职业之旅!
感谢你的关注和支持!我们的订阅号将为你呈现有趣且具有启发性的内容:涵盖各个领域的精彩文章、独家资讯和实用技巧。如果喜欢我们的内容,记得给我们一个赞,是对我们团队的鼓励和肯定。你的点赞和评论将激励我们不断创作更多优质的文章和分享更多有益的知识。
如有任何问题或需求,请随时与我们联系,期待与你的互动!
微信号|StarsCareer10
联系人|Charlie老师
公司邮箱|StarsConsulting@hotmail.com
(邮箱标注来意)