近日，特斯联首席科学家、特斯联国际总裁邵岭博士及其合作团队发布最新研究成果，提出了一种名为Laser的高效语言引导分割框架，为3D场景理解提供了轻量化、高精度的开放词汇分割方案，推动了语言模型与神经辐射场融合的实用化进程。该框架尤其适用于机器人导航、自动驾驶等需要实时语义解析的空间智能场景，现已被人工智能领域权威学术期刊IEEE T-PAMI （CCF-A，IF 23.6）收录，题为：Laser:Efficient Language-Guided Segmentation in Neural Radiance Fields。
现有方法与团队所提出方法的工作流程对比示意图：
(a) LERF/3D-OVS的核心流程首先采用分块策略，将训练图像裁剪为不同尺寸的图像块。这些图像块随后被输入CLIP编码器提取多尺度CLIP特征，并保存。同时，原始图像也被输入DINO模型提取DINO特征。之后，这些多尺度CLIP特征与DINO特征共同参与NeRF分割分支的优化过程。此过程需要消耗显著的计算和存储资源。
(b) 相较于先前方法，本文方法仅需将训练图像输入改进的CLIP编码器，即可预测密集CLIP特征。利用这些特征，NeRF的分割分支能够高效优化，同时显著降低计算和存储资源消耗。
这一研究成果在多个现实场景中具备重要的应用价值，特别是在需要高精度、高效率3D场景语义理解的领域。
自动驾驶与机器人导航：
自动驾驶车辆和移动机器人需要实时理解周围环境的3D结构与语义信息（如道路、行人、障碍物），以实现安全导航和决策。Laser的训练时间仅需11分钟（传统方法需158分钟），可快速构建3D语义地图。同时，低秩注意力机制能精准识别道路边缘、车道线等细粒度特征，避免模糊边界导致的误判。
增强现实（AR）与虚拟现实(VR)：
AR/VR应用需将虚拟物体精准叠加到真实场景中，要求对3D空间语义有深刻理解。该方案能够确保虚拟物体在不同视角下与真实场景的标注（如墙面、桌面）对齐，避免视觉穿帮；同时能够区分相似颜色物体（如黑白键盘与黑色鼠标垫），提升虚拟物体放置的合理性。通过与3D高斯渲染技术（如3D-GS）相结合，该方案还能够实现实时语义AR效果。
城市规划与建筑建模：
在城市数字化建模中，需对建筑物、植被、公共设施进行语义标注，辅助规划决策。该研究成果支持对罕见物体（如古建筑装饰、特殊标牌）的开放词汇分割，丰富数据标注的覆盖范围；此外，基于Laser,无需人工标注3D数据，通过多视图图像即可生成带语义的3D模型。
……
论文原文摘录：
在本研究中，团队提出了一种基于CLIP特征蒸馏的方法，通过语言引导实现高效的3D语义分割。不同于以往依赖多尺度CLIP特征且受限于处理速度与存储需求的技术方案，团队的方法通过直接且高效地蒸馏密集CLIP特征，简化工作流程，从而实现对3D场景的精准文本驱动分割。
具体而言，团队引入适配器模块，并采用自交叉训练策略抑制密集CLIP特征蒸馏过程中的噪声问题。此外，为提升分割边缘的准确性，本研究提出低秩瞬态查询注意力机制。为解决不同视角下颜色相近区域的不一致性问题，团队将分割任务转化为分类任务，通过标签体积显著提升颜色相似区域的分割一致性。同时，团队设计了简化的文本增强策略，缓解CLIP特征与文本对应关系中的模糊性问题。
大量实验结果表明，该方法在训练速度与性能表现上均超越了现有技术水平。
代码可在以下链接获取：
https://github.com/xingy038/Laser
END
