NVIDIA 自动驾驶实验室：利用生成式 AI 增强自动驾驶仿真

仿真功能对于在实际使用之前确保自动驾驶系统的安全性至关重要。但创建能够准确描述罕见和潜在危险情况的逼真场景需要耗费大量人力物力。本期 NVIDIA 自动驾驶实验室视频展示了 NVIDIA 的三项关键技术，利用生成式 AI 创建逼真的道路环境、生成自然的驾驶行为，并支持对场景的灵活编辑，以实现全面和规模化的自动驾驶训练和评估。

点击观看最新一期的 NVIDIA 自动驾驶实验室视频：

MapLLM 是 NVIDIA 为自动驾驶开发的一个大语言模型，可以基于用户输入生成高精地图格式的驾驶场景。这种多样化驾驶场景的生成是通用自动驾驶仿真系统的第一个关键技术。

LCTGen（Language Conditioned Traffic Generation）是一个可以理解交通场景文本描述的 Transformer 语言模型，可以生成自然、逼真的车辆、行人以及其他交通参与者的行为，还可以根据已知的文本描述，预测交通参与者可能的位置以及它们在场景中的运动。

NVIDIA Omniverse 场景编辑器可以对已有的驾驶场景进行额外编辑和细微调整，通过简单的语言提示即可轻松修改虚拟场景，比如将白天变为黑夜，将晴天变为雨天，或向场景中添加新的交通参与者。这大大扩展了自动驾驶系统在开发期间可以接触到的真实设计运行范围（ODD）。通过利用 NVIDIA Blackwell GPU 架构强大的推理能力和新一代 Transformer 引擎，自动驾驶系统的反应能力和系统本身都将得到加速。

通过将构造道路环境的 MapLLM、生成逼真驾驶场景的 LCTGen，和基于大语言模型的 Omniverse 场景编辑器结合在一起，研究人员可以高效地利用生成式 AI 从数据源创建逼真场景来准确反映现实世界、并进行全面的自动驾驶评估和训练。