大数跨境

英伟达支持类人机器人的机器人学习人工智能与仿真工具

英伟达支持类人机器人的机器人学习人工智能与仿真工具 土耳其小莫
2024-11-07
4
导读:英伟达(Nvidia)发布了其Isaac Lab机器人学习框架,并宣布为Project GR00T推出六项新的类人机器人学习工作流程。

Nvidia本周超越苹果,跃升为全球最具价值公司,并推出全新AI与模拟工具以加速机器人学习及人形机器人发展。在慕尼黑CoRL(机器人学习会议)上,Nvidia正式发布Nvidia Isaac Lab机器人学习框架,并宣布Project GR00T新增六项人形机器人学习工作流,旨在全面提速人形机器人研发进程。

同期,Nvidia发布23篇论文并举办九场研讨会,同步推出开发者培训及工作流指南。此外,Nvidia宣布与Hugging Face达成新合作,双方将依托LeRobot、Nvidia Isaac Lab及Nvidia Jetson平台,共同推动开源机器人研究加速落地。

Nvidia Isaac Lab

基于Nvidia Omniverse构建的开源框架Nvidia Isaac Lab,支持开发者进行大规模机器人策略训练。目前采用该框架的企业包括1X、Agility Robotics、The AI Institute、Berkeley Humanoid、Boston Dynamics、Field AI、Fourier、Galbot、Mentee Robotics、Skild AI、Swiss-Mile、Unitree Robotics及Xpeng Robotics等。

Isaac Lab可高效处理日益复杂的动作与交互任务,适配从人形到四足机器人的多种配置。Nvidia Isaac Lab 1.2现已在GitHub开源。针对新用户,官方已推出包含从Isaac Gym迁移指南在内的新手教程,助力研究人员与开发者快速上手。

支持人形机器人的Project GR00T

GR00T项目致力于开发加速库、基础模型及数据管道,以构建全球人形机器人开发者生态。先进的人形机器人需具备精准感知、移动及技能学习能力,以实现高效的人机与环境交互。新增的六项GR00T工作流为开发者提供了实现复杂能力的完整方案,其中包括支持OpenUSD驱动的AI三维环境创建的GR00T-Gen。

Nvidia具身智能高级研究主任Jim Fan指出:“类人机器人是具身智能的下一波浪潮。”全新的Nvidia Project GR00T工作流即将面向开发者开放。

Nvidia Cosmos Tokenizer与Nvidia NeMo Curator

针对世界模型开发中视频数据的策展与处理需求,Nvidia推出了Cosmos tokenizer和NeMo Curator两大新工具。世界模型需预测物体及环境对机器人行为的反馈,其构建依赖数千小时精选的真实世界图像或视频数据,属于高计算与数据密集型任务。

Nvidia Cosmos tokenizer可将音视频分割为高压缩率的高质量token,提供卓越的视觉tokenization能力,运行速度比现有方案快多达12倍。Nvidia NeMo Curator则专注于大规模文本、图像及视频数据处理,提升世界模型准确性,视频处理策展效率较未优化工作流提升多达七倍。

目前,1X Technologies、Xpeng Robotics及Hillbot等企业已开始应用Cosmos tokenizer。开发者可通过GitHub和Hugging Face获取该工具;NeMo Curator预计将于本月底正式上线。

【声明】内容源于网络
0
0
土耳其小莫
小莫带你了解土耳其电商,探索AI应用
内容 45623
粉丝 0
土耳其小莫 小莫带你了解土耳其电商,探索AI应用
总阅读56.4k
粉丝0
内容45.6k