大数跨境
首页
>
直播预告｜自动驾驶场景中的半监督点云分割
>
0
0

直播预告｜自动驾驶场景中的半监督点云分割

直播预告｜自动驾驶场景中的半监督点云分割 极市平台
2023-06-06
2
导读：本周四晚 8 点，我们不见不散~
↑ 点击蓝字 关注极市平台
激光雷达（LiDAR）语义分割是自动驾驶感知系统的重要组成部分。然而，昂贵且耗时的人工标注限制了基于学习的 LiDAR 点云分割系统的延展性。

本次报告将分享我们近期在该方向上的探索与总结。我们构建了一个基于结构先验的半监督 LiDAR 点云分割框架，旨在利用自动驾驶场景中的结构先验对点云进行划分与混合，并对分割模型在混合前后的预测进行一致性约束。该框架在主流的自动驾驶数据集上取得了优异的分割性能。

分享时间



北京时间
2023 年 6 月 8 日（周四）
20: 00 - 20: 40（分享）
20: 40 - 21: 00（Q&A）


分享嘉宾


孔令东

新加坡国立大学计算机系在读博士生，研究方向包括 3D 场景感知、半监督学习、域适应与无监督表征学习等。


分享内容


  • 自动驾驶 3D 场景感知概述

  • 激光雷达点云中的分割与检测

  • 半监督激光雷达点云分割


相关工作


LaserMix for Semi-Supervised LiDAR Semantic Segmentation (CVPR 2023 Highlight)


paper:

https://arxiv.org/abs/2207.00026


code:

https://github.com/ldkong1205/LaserMix



内容详情


本工作探究基于半监督学习（semi-supervised learning）的 LiDAR 点云感知，即：在充分利用到现有的已标注数据的基础上，结合便于收集的大量无标注数据，训练泛化能力优异的模型。经典的半监督学习框架主要为图像识别等任务所设计；它们在 LiDAR 点云分割任务下没有展现出具有竞争力的性能。


由于 LiDAR 点云是从真实世界中收集而来的，其自然而然地包含了真实场景下的结构先验（spatial prior）。举例来说，一个复杂的自动驾驶场景往往包括丰富的静态（static）类别（如 road，sidewalk，building，vegetation等）和动态（dynamic）类别（如 car，person，bicycle等）。

前者往往是构成一个场景点云的主要部分，而后者由于较小的体积（如 person 类，每个样例仅包含少量的点）和较低的出现频率（如 motorcycle 类，仅在少量场景中出现）等因素，仅占场景中的一小部分。


在本工作中我们观察到，无论是静态类别还是动态类别，都在 LiDAR 点云场景中表现出很强的结构先验（spatial prior）。这样一种先验可以很好地由 LiDAR 传感器的激光束（laser beam）所表征。以最常见的旋转型 LiDAR 传感器为例，其以自车为中心向周围各向同性地（isotropically）发射具有固定倾角（inclination）的激光射线。

如下图中的简单例子所示，两条射线（Beam 1 和Beam 2）分别按照各自预定的倾角由LiDAR传感器发出，探测并返回所捕捉的空间信息。由于不同类别本身具有特殊的分布，由激光射线探测并返回的点便能够较为精准地捕捉到这些不同类别所蕴藏的结构化信息。


基于上述发现，我们提出了一个简洁且高效的半监督 LiDAR 分割框架 LaserMix。这个框架主要由以下三个部分组成：

  • 点云划分（partition）。利用所观察到 LiDAR 点云结构化信息，提出了按照点的倾角（inclination）将 LiDAR 点云划分为“低变区域”（low-variation area）的策略；

  • 点云混合（mixing）。将划分好的 LiDAR 点云依照交织（intertwine）的形式进行混合；

  • 一致性约束（consistency regularization）。鼓励模型对不同混合下的同一区域（area）作出高置信度（confident）和高一致性（consistent）的预测。



这个框架具有以下三个重要特点：

  • 通用（generic）。LaserMix 直接对点进行操作，因此可以适用于绝大多数 LiDAR 点云表征框架，如 range view[10]，bird's eye view[11]，raw points[12]和 cylinder voxel[13]，等；

  • 有统计依据（statistically grounded）。所提出的半监督学习框架具有理论解释，在这个工作对其进行了详尽的分析；

  • 高效（effective）。充分的实验结果表明，LaserMix 能有效提升半监督场景下的 LiDAR 分割性能。



我们在多个主流自动驾驶数据集上对 LaserMix 的有效性进行了验证。实验结果表明，LaserMix 在不同的数据集和不同的 LiDAR 点云表征下，极大地提升了半监督条件下的 LiDAR 分割性能。


极市平台专注分享计算机视觉前沿资讯和技术干货，特邀请行业内专业牛人嘉宾为大家分享视觉领域内的干货及经验，目前已成功举办113期线上分享。近期在线分享可点击以下标题查看：


更多往期分享请浏览：极市计算机视觉技术分享集锦

（http://bbs.cvmart.net/topics/149/cvshare），也可以点击阅读原文获取。

【声明】内容源于网络
0
0
极市平台
为计算机视觉开发者提供全流程算法开发训练平台，以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
内容 8155
粉丝 0
极市平台 为计算机视觉开发者提供全流程算法开发训练平台，以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
总阅读7.6k
粉丝0
内容8.2k