NVIDIA Isaac 机器人平台利用最新的生成式 AI 和先进的仿真技术，加速了 AI 机器人技术的发展。该平台持续扩展，新增了基础模型、机器人学习框架、机器人工具、GPU 加速库、AI 工作流编排以及机器人感知工具，如 Isaac Manipulator、Isaac Perceptor、用于机器人学习的 Isaac Lab 和支持混合云工作流编排的 NVIDIA OSMO 等。
此外，Project GR00T（Generalist Robot 00 Technology）代表了一种用于人形机器人学习的通用基础模型。该项目利用 Isaac 机器人平台的各种工具，致力于开发先进的 AI 技术，以推动人形机器人的发展。
NVIDIA 还发布了基于 Thor 系统级芯片（SoC）的新型人形机器人计算机，进一步提升了人形机器人计算能力，为更高效的 AI 应用铺平道路。
NVIDIA Isaac 将生成式 AI 应用于制造业和物流业
------
NVIDIA Isaac 机器人平台通过最新的生成式 AI 和先进的仿真技术，正在加速 AI 机器人技术的发展。在 2024 年的 GTC 上，NVIDIA 发布了以下一系列重要更新：
① 一系列基础模型、机器人工具和 GPU 加速库，包括 Isaac Manipulator 和 Isaac Perceptor，为开发高效的机器人系统提供了强大的支持。
② 用于人形机器人学习的通用基础模型 Project GR00T（Generalist Robot 00 Technology，代表通用机器人 00 技术）。Project GR00T 利用 NVIDIA Isaac 机器人平台的各种工具，致力于创建更为智能和灵活的人形机器人 AI。
③ 基于 NVIDIA Thor 系统级芯片（SoC）的新型人形机器人计算机，以及全新的工具集，包括用于机器人学习的 Isaac Lab 和支持混合云工作流编排的 NVIDIA OSMO。这些工具对 Project GR00T 的实现及其他机器人基础模型的开发至关重要，进一步提升了平台的综合能力和应用场景。
1. NVIDIA Isaac™ 机器人平台
NVIDIA Isaac™ 是一个全面的 AI 机器人开发平台，结合了 NVIDIA 加速系统、库、应用框架和生成式 AI 模型。该平台旨在帮助开发者在 AI 感知、操控和仿真等关键领域取得突破，从而加速自主移动机器人（AMR）、机器人手臂、机械手以及人形机器人等 AI 机器人的开发。通过提供强大的工具和技术支持，NVIDIA Isaac™ 使开发者能够快速构建、测试和部署高效的机器人系统，推动机器人技术向更高智能化和自动化的方向发展。
NVIDIA Isaac™ 可帮助您利用加速计算、基于物理的模拟和生成式 AI 方面的最新进展，以比以往更快的速度构建更准确、性能更高的自主机器
NVIDIA Isaac™ 为开发者提供了一个功能强大的端到端平台，用于开发、仿真和部署支持 AI 的机器人
NVIDIA Isaac™ 平台是一个高度模块化的系统，旨在为机器人制造商提供灵活的解决方案，允许他们根据需求选择并集成单个或多个技术模块到自己的技术堆栈中。该平台包括以下关键模块：
NVIDIA Isaac ROS：为开发者提供与 ROS（Robot Operating System）兼容的工具，便于在标准化环境中进行机器人应用开发和部署。
NVIDIA Isaac Perceptor：一个用于机器人感知的模块，集成了先进的视觉和传感器技术，帮助机器人获取和理解环境信息。
NVIDIA Isaac Manipulator：专为机械臂设计的模块，提供了对机器人操控和精确动作控制的支持，适用于复杂的任务执行。
NVIDIA Isaac Sim：一个高性能的仿真工具，允许开发者在虚拟环境中模拟机器人操作和交互，加速开发与测试过程。
NVIDIA Isaac Lab：一个专为机器人学习设计的实验平台，支持开发和优化机器人的学习算法。
通过这些模块化组件，NVIDIA Isaac™ 平台为机器人制造商提供了极大的灵活性，能够根据具体需求快速集成并优化各项功能，推动机器人技术的发展和创新。
开发者正在使用 NVIDIA 机器人全栈平台，加速的云到边缘系统、加速库和经过优化的 AI 模型来开发、训练、仿真、部署、运行并优化他们的机器人系统和软件。
NVIDIA 作为创始成员兼白金赞助商，加入了开源机器人联盟（OSRA）。OSRA 是开源机器人基金会推出的一项新举措，旨在通过支持多个开源机器人项目，包括机器人操作系统（ROS），来促进机器人社区的合作、创新和技术指导。
Open Robotics 首席执行官 Vanessa Yamzon Orsi 表示：“随着自主机器人能力的日益提升，业界对更强大且节能的板载计算需求不断增加。ROS 社区正在切实感受到这一需求，我们的用户越来越多地使用 NVIDIA 等行业领导者提供的先进加速计算硬件。”
Isaac ROS 建立在开源 ROS 2（机器人操作系统）软件框架之上，这意味着 ROS 社区中的数百万开发者可以轻松利用 NVIDIA 的加速库和 AI 模型集合，快速构建高级 AI 机器人应用程序。通过这一平台，开发者能够以更快、更简单的方式探索 AI 机器人的开发，显著加速他们的开发和部署工作流程。
适用于 ROS 开发者且丰富多样的感知 AI 软件包
1.1.2 NVIDIA Isaac Perceptor
NVIDIA Isaac™ Perceptor 基于 Isaac ROS 构建，是一个集成了 NVIDIA 加速库和 AI 模型的参考工作流程，旨在帮助开发者快速构建强大的自主移动机器人（AMR）。该技术可广泛应用于仓库、工厂等非结构化环境中，提供高效的感知、定位和操作功能。
通过将 Isaac Perceptor 技术集成到自有的 AMR 堆栈和服务中，开发者能够实现先进的感知功能，包括物体识别、环境理解和精确定位，极大地提升了机器人的自主性和工作效率。Isaac Perceptor 为开发者提供了一种灵活且高效的方式，帮助他们快速部署和优化自主机器人解决方案。
Isaac Perceptor
NVIDIA Isaac™ Perceptor
制造业和物流部门正在逐步采用自主移动机器人（AMR）来提升效率、改善工人安全，并降低错误率和成本。通过引入先进的技术，AMR 能够自动执行物料搬运等任务，极大地提高生产力并减少人为干预。
NVIDIA Isaac™ Perceptor 提供的多摄像头 360 度视觉功能，已为早期行业合作伙伴如 ArcBest、比亚迪电子和凯傲集团等带来了先进的视觉 AI，帮助他们部署协助物料搬运作业的 AMR 设备。特别是在物流领域，Isaac Perceptor 平台显著提升了机器人感知、导航和操作精度。
ArcBest 与 NVIDIA 合作，利用 Isaac Perceptor 平台将先进的机器视觉技术引入物流行业。其 Vaux Smart Autonomy AMR 叉车和前移式卡车，搭载 Isaac Perceptor，能够实现更精确的感知、语义感知导航和 3D 映射技术，极大提升了仓库、配送中心和制造设施中的物料搬运过程中的障碍物检测和自动化水平。这使得物料搬运过程更加高效、安全，同时降低了出错率和成本。
比亚迪电子（BYDE）作为全球领先的高科技和创新产品提供商，正在开发全系列自主移动机器人（AMR），以满足工厂物流的自动化需求。通过利用 NVIDIA Isaac Sim 和 Isaac Perceptor，BYDE 为工厂提供了完整的物流解决方案。
NVIDIA Isaac Sim 通过强大的仿真平台，帮助比亚迪电子在虚拟环境中测试和优化 AMR 的操作，确保机器人能够高效、安全地在复杂的工厂环境中运行。而 Isaac Perceptor 提供的先进视觉感知功能，使 AMR 能够实时感知环境，执行精确的物料搬运、障碍物检测和路径规划。
这一创新的物流解决方案，不仅提升了生产效率，还帮助比亚迪电子在智能制造和自动化物流领域实现了重要突破，推动了工厂自动化的进一步发展。
NVIDIA Nova Orin DevKit 是由 NVIDIA 与 Segway Robotics 和 Leopard Imaging 合作开发的创新开发平台，旨在帮助企业快速开发、评估和部署 Isaac Perceptor。该 DevKit 将 Segway 在机器人移动解决方案方面的专业知识与 NVIDIA 的 AI 技术和 GPU 加速计算能力相结合，提供一个强大的平台，支持开发能够以全新方式导航并与现实世界互动的机器人应用程序。
Nova Orin DevKit 提供了高度集成的硬件和软件工具，帮助开发者快速搭建和优化机器人系统。凭借其强大的计算能力和先进的感知功能，Nova Orin DevKit 可以有效提升机器人在复杂环境中的智能决策和操作能力，使其能够更加灵活、高效地应对各种任务和挑战。该平台不仅加速了自主机器人技术的创新，还为行业提供了一个理想的解决方案，推动机器人在多个领域的应用和发展。
NVIDIA Nova Orin DevKit
1.1.3 NVIDIA Isaac Manipulator
NVIDIA Isaac™ Manipulator 基于 Isaac ROS 构建，是一个集成了 NVIDIA 加速库和 AI 模型的参考工作流程，为机械臂提供了一系列先进的运动生成和模块化 AI 功能。该平台包括多种强大的基础模型和 GPU 加速库，旨在帮助开发者构建支持 AI 的机械臂或机械手系统，使其能够感知、理解并与周围环境进行智能交互。
通过 Isaac Manipulator，开发人员可以轻松实现机械臂的精确运动控制、动态调整和任务执行，同时利用 AI 技术提升其自主决策和操作能力。无论是抓取、放置，还是执行复杂的多步任务，Isaac Manipulator 都能为机器人提供灵活且高效的解决方案。这使得该平台成为推动机械臂智能化发展的关键工具，广泛适用于自动化生产、物料搬运和其他多种机器人应用场景。
机器人开发者可以使用专为特定任务定制的软件组件组合，通过感知周围环境并与之交互，加速 AI 模型训练和任务编程，从而为动态操纵任务构建可扩展和可重复的工作流。Isaac Manipulator 提供了这一套功能，帮助开发者加速解决机器人在动态挑战中的问题，如机器操作、高混合箱体拾取、检查和装配任务。
开发人员可以将任何 Isaac Manipulator 库或基础模型集成到他们的软件堆栈中，从而在自己的平台上实现加速性能和更高的准确性。这使得开发者能够高效地构建和优化机器人系统，满足复杂任务的需求。
众多领先的机器人公司正在与 NVIDIA 合作，将 Isaac Manipulator 推向市场，服务于他们的客户，包括安川电机、Intrinsic、Techman Robot、Vention、Solomon、PickNik Robotics、READY Robotics、Franka Robotics 以及泰瑞达旗下子公司优傲等。
Intrinsic，作为 Alphabet 旗下的软件和 AI 机器人子公司，在 2022 年底收购了 Open Source Robotics Corporation，并成功在其机器人无关（robot-agnostic）软件平台上测试了 Isaac Manipulator。Intrinsic 使用 Manipulator 展示了可扩展、通用的机器人抓取技能，充分发挥了夹持器、环境和物体之间的交互潜力，为机器人抓取任务提供了更高的灵活性和智能化水平。
利用 Isaac Manipulator 实现更好的机器人抓握能力
泰瑞达旗下子公司优傲（Universal Robots，简称 UR）正在利用 NVIDIA Isaac 将 AI 技术集成到自动化解决方案中。UR 已将 Isaac Manipulator 集成到其 PolyScope X 软件平台中，以解锁新的协作机器人（cobot）解决方案。
通过这一集成，UR 的协作机器人能够实现更高效的动态操作和任务执行，包括物体识别、抓取、装配等复杂任务。Isaac Manipulator 的引入不仅提升了 UR 机器人在各种环境中的适应能力，还增强了其与周围物体和环境的交互能力，使其在自动化生产线和灵活的工业应用场景中更加智能和高效。
这一合作推动了机器人技术在自动化行业中的应用，尤其是协作机器人领域，进一步提升了机器人的智能化水平，并使其能够执行更复杂、更精确的任务。
UR - PolyScope X
UR
NVIDIA 正在推出一系列增强现有机器人操作系统的基础模型，这些模型将帮助开发能够感知、适应和重新编程的机器人，以应对智能制造领域中的各种环境和应用，包括拾放任务、机器维护和装配等。具体来说，以下是其中一个开创性的基础模型：
FoundationPose：这是一个创新的基础模型，专为 6D 姿势估计和追踪设计，能够对以前未见过的物体进行精确的姿态估计。FoundationPose 提供了一种全新的方法来估计和跟踪未见物体的姿态，并且具有足够的稳健性，能够处理具有挑战性的物体属性，如无纹理、有光泽或微小的物体，以及在快速运动或严重遮挡的场景中进行有效的估计。这使得机器人能够在复杂和动态的环境中进行高效的物体识别和操作，显著提升了自动化任务的灵活性和精度。
这一基础模型的推出，标志着机器人技术在智能制造领域的进一步发展，为开发适应性强、智能化的自动化系统奠定了坚实的基础
FoundationPose
cuMotion 是一个基于 CUDA 的加速库，利用 NVIDIA GPU 的并行处理能力，通过同时运行多个轨迹优化算法，提供工业规模机器人运动规划问题的最佳解决方案。该库显著提升了机器人在复杂环境中执行精确运动的能力，特别是在需要高效处理大规模运动数据时。
Isaac ROS cuMotion 为 ROS 2 中的机器人提供了 CUDA 加速的操控功能，主要提供以下两项关键功能：
集成到 MoveIt 2 进行运动生成：cuMotion 可以与 MoveIt 2 无缝集成，从而生成机器人手臂的优化运动轨迹。借助 GPU 加速，机器人能够在实时操作中高效计算并执行精确运动，极大提高了机器人在动态环境中的响应速度和操作精度。
运动学和几何处理功能：cuMotion 提供强大的运动学和几何处理功能，可以从深度流中分割机器人并准确识别和过滤机器人的各个部分。这使得机器人能够有效重建环境中的障碍物，并避免由于机器人自身虚假贡献引起的误判，确保在复杂环境中进行精确的路径规划和障碍物避让。
通过 cuMotion，NVIDIA 提供了一种高效、灵活且可扩展的解决方案，帮助机器人在大规模工业应用中实现更精确的运动规划和环境感知，推动机器人技术在智能制造、仓储物流和其他复杂任务中的应用。
cuMotion
▪ FoundationGrasp 是一种基于 transformer 的模型，完全基于合成数据进行训练，可对未知 3D 物体进行密集抓取预测，然后可以使用 cuMotion 等运动生成器在机器人上执行这些抓取。该模型目前支持吸力和平行下颌抓取。
FoundationGrasp
▪ SyntheticaDETR 是一种适用于室内环境的对象检测模型，可加快新对象的检测、渲染和训练速度。它还可以用作 FoundationPose 等姿势估计器的前端，因此它可以在姿势估计之前使用 2D 边界框定位物体。
1.2 仿真和机器人学习
1.2.1 NVIDIA Isaac Sim
计、仿真、测试和训练基于 AI 的机器人和自主机器。作为一款高效的仿真工具，Isaac Sim 提供了一个理想的平台，使开发人员能够在不需要物理硬件的情况下，提前验证和优化机器人系统的性能。
Isaac Sim 基于 NVIDIA Omniverse 平台构建，具备高度可扩展性，是一款集成了虚拟仿真、合成数据生成、以及物理准确环境模拟的工具。它提供了逼真的、物理属性准确的虚拟环境，使开发人员能够构建、测试和管理基于 AI 的机器人系统。
具体来说，Isaac Sim 提供了以下核心优势：
逼真、物理属性准确的环境仿真：开发人员可以在虚拟世界中创建具有物理逼真效果的环境，仿真各种现实世界的任务和场景，从而加速机器人的开发和优化。
自定义仿真器构建与集成：开发人员可以根据需求构建自定义的模拟器，或将核心 Isaac Sim 技术集成到现有的测试和验证流程中，方便与其他工具和平台协同工作。
AI 训练和合成数据生成：Isaac Sim 支持基于 AI 的机器人训练，通过生成合成数据（如深度图像、图像标签、运动轨迹等），为机器人提供丰富的训练数据，提升训练效率和泛化能力。
总之，NVIDIA Isaac Sim 为机器人开发提供了一个全面的仿真平台，帮助开发人员在虚拟环境中高效测试、优化和验证机器人系统，从而加速机器人从设计到部署的全过程。
NVIDIA Isaac Sim
1.2.2 NVIDIA Isaac Lab
移到真实世界中的机器人部署时，仿真训练所积累的知识变得尤为宝贵，Project GR00T 就是这一过程成功应用的一个典范。
作为 Isaac Gym 的后续产品，Isaac Lab 受益于 NVIDIA Omniverse 技术，为机器人提供基于物理信息、逼真且感知驱动的强化学习任务。Isaac Lab 是一款性能优化的开源机器人学习应用，基于 Isaac Sim 平台构建，并集成了强化学习 API 和开发者友好的任务框架。
Isaac Lab 的核心特点包括：
强化、模仿和迁移学习优化：Isaac Lab 专为这些关键学习方法设计，能够训练各种类型的机器人实例，包括人形机器人等复杂系统。特别地，Project GR00T 基础模型就可以在 Isaac Lab 中进行训练，进而实现从仿真到现实世界的无缝迁移。
深度强化学习支持：通过基于感知的训练任务，Isaac Lab 支持使用强化学习算法对机器人进行训练，从而使其在虚拟环境中学习到的技能能够有效地迁移到真实场景中。这个过程大大加速了机器人应用场景的开发，特别是那些需要高精度、高适应性操作的任务。
基于物理的任务仿真：利用 NVIDIA Omniverse 的强大能力，Isaac Lab 提供了逼真的物理仿真环境，能够更好地模拟机器人在现实世界中的运动和交互，帮助开发者训练和优化机器人技能，提升其在动态和复杂环境中的表现。
通过这些功能，Isaac Lab 不仅为机器人提供了一个高效的训练平台，还通过优化的仿真和学习框架，推动了机器人从虚拟世界到现实世界的技能迁移，助力各类机器人应用的快速发展。
Isaac Lab 是一个统一的模块化机器人学习框架，它利用最新的模拟功能实现照片般逼真的场景以及快速高效的模拟，旨在简化机器人研究中的常见工作流程（例如 RL、从演示中学习和运动规划）。
互，以生成所需的动作。
Project GR00T 利用 NVIDIA 提供的一系列工具，帮助开发者构建和测试这些复杂的基础模型，其中包括：
Isaac Lab：这是一个全新的轻量级仿真应用，基于 Isaac Sim 构建，专门为大规模训练人形机器人模型而设计。Isaac Lab 支持深度强化学习和多模态训练任务，使得人形机器人能够在虚拟环境中高效地学习各种技能，从简单的动作到复杂的任务执行，推动了机器人在动态和多变环境中的表现优化。
OSMO：这是一个用于管理训练和仿真工作负载的云工作流编排平台。OSMO 通过自动化和优化训练流程，为开发人员提供了一种高效的方式来管理和调度大规模的训练任务，确保训练过程更加高效并可扩展。
通过 Project GR00T，NVIDIA 的目标是打破人形机器人在多模态交互中的局限性，使其能够更自然地理解和响应各种指令，并从中不断改进其动作生成能力。这项技术的推出标志着人形机器人向更高层次的智能化和自适应能力迈进，将在自动化、服务、教育等领域产生深远的影响。
2024 年 GTC 上展示的人形机器人
NVIDIA Project GR00T 助力 Apptronik 的 Apollo
人形机器人是一套复杂的系统，需要异构计算来满足高频低级控制、传感器融合与感知、任务规划和人机交互的需求。NVIDIA 最新发布了基于 NVIDIA Thor SoC 的全新人形机器人计算机 Jetson Thor。
Jetson Thor
使其能够高效运行多模态生成式 AI 模型，如 GR00T，并在处理复杂的机器人任务时展现出卓越的性能，尤其是在自然语言处理、图像生成和其他深度学习任务上。
Jetson Thor SoC 的核心优势包括：
高AI性能：搭载 Transformer Engine 的 GPU 能够加速大规模 AI 模型的推理与训练，尤其是在多模态生成式 AI 应用中，如 GR00T 这样的模型，能够处理文本、视频和演示等输入，并生成相应的机器人动作。
集成的功能安全处理器：内置的功能安全处理器确保系统的可靠性和安全性，适用于需要高安全标准的机器人应用，尤其是在人形机器人等需要高度安全性的领域。
高性能 CPU 集群：结合高性能的 CPU 设计，为 AI 推理和计算密集型任务提供了坚实的计算支持，保证机器人能够在复杂任务中表现出色。
100GB 以太网带宽：这一高带宽的网络连接增强了数据传输能力，支持大规模的分布式训练和云计算任务，提升了整体系统的响应速度和扩展性。
NVIDIA 正在为多家领先的人形机器人公司开发这一综合 AI 平台，包括 1X Technologies、Agility Robotics、Apptronik、波士顿动力、Figure AI、傅利叶智能、Sanctuary AI、宇树科技 和 小鹏鹏行 等。这些公司将通过 Jetson Thor SoC 提供的强大计算能力，进一步推动人形机器人技术的进步，实现更高效的人工智能处理能力，更强的自主性和智能化水平。
Jetson Thor
NVIDIA OSMO
波士顿动力公司利用一系列 机器学习、强化学习 和 AI 技术来赋能其机器人系统。为了有效管理庞大的训练工作量，并提高模型的开发效率，波士顿动力正在使用 NVIDIA OSMO，这款基础设施解决方案为机器学习工程师提供了极大的便利，帮助他们精简工作流程，专注于解决更复杂的机器人技术难题。
NVIDIA OSMO 的主要特点和优势包括：
高效的并行处理能力：OSMO 可以在 NVIDIA DGX 和 NVIDIA OVX 服务器上并行运行多个模型，支持大规模的训练任务和仿真环境中的实时强化学习。这对于 GR00T 这样的多模态生成式 AI 模型至关重要，因为这些模型需要海量的数据和计算资源来不断迭代优化。
分布式工作负载管理：OSMO 能够在分布式环境中高效管理和调度工作负载，确保 DGX 和 OVX 系统之间的无缝协调。这种高效的资源调度与管理大大提升了训练速度和效率，为模型的快速迭代和优化提供了坚实的技术支持。
软件和硬件的无缝集成：一旦训练好的模型可以进行测试和验证，OSMO 能够在 OVX 系统（x86-64 架构）上独特地编排 软件在环（SIL） 工作流，同时利用 NVIDIA Jetson （aarch64 架构）计算资源来编排 硬件在环（HIL） 工作流。这一整合方案不仅提升了硬件和软件的协同效率，还为机器人在现实世界的部署和验证提供了流畅的过渡。
通过 OSMO，波士顿动力可以在复杂的 AI 训练任务和大规模仿真中实现高效的迭代和优化，进一步推动人形机器人技术的发展，并为 GR00T 等基础模型的成功部署提供支持。这一平台的应用不仅优化了波士顿动力的研发工作流，还促进了其机器人产品在多种环境和任务中的智能化表现。
------ 
------
Ref:
[1] https://blogs.nvidia.cn/blog/isaac-generative-ai-manufacturing-logistics/
[2] https://blogs.nvidia.com/blog/isaac-generative-ai-manufacturing-logistics/
— 完 —
更多技术参考， 公众号文章：
Airking Robots
北京艾科伯特科技有限公司，是专注协作机器人和移动机器人的技术公司，Airking Robots——艾科伯特立足于航空/航天，专注于机器人智能制造方向，Airking Robots是优傲机器人，Robotiq等协作机器人方向中国区域金牌提供商
商务联系：
更多案例请关注公众号：
手机：13161062216
邮箱：info@airkingrobots.com
网址：www.airkingrobots.com