RSRD: 首个自动驾驶路面重建数据集

数据集主页：https://thu-rsxd.com/rsrd

背景

近年来，智能和自动驾驶车辆的快速发展对驾乘舒适性也提出了更高的要求。路面作为车辆与物理世界有接触的唯一媒介，对车辆行驶性能有决定性影响。提前感知路面状态，尤其是重建路面几何轮廓信息，能为后续决策规划和动力学控制系统提供关键参考信息。基于此实际背景，我们构建并发布了该路面重建数据集（Road Surface Reconstruction Dataset, RSRD）。这是首个专门面向自动驾驶路面感知的高精度、多模态和大规模数据集，可作为诸多计算机视觉和自动驾驶应用的测试基准。

此外，我们于2022年发布了首个大规模路面分类数据集RSCD，含有100万张精确标注的路面图像。此数据集与之结合, 能够提供更加准确、全面的路面状态信息，赋能高阶自动驾驶。

数据采集

我们搭建了实车数据采集系统，包含IMU、双目摄像头、激光雷达和RTK高精定位单元。不同于现有自动驾驶感知数据集，我们专注于路面区域并保留细致的路面纹理信息。我们在城市和乡村区域开展实验，覆盖众多水泥和沥青路面工况，并包含常见路面不平如凹坑、裂缝和减速带。激光雷达点云经过运动补偿和多帧融合处理，为深度学习模型提供高精度、密集的真实标签。更多细节请参考数据集网页。

数据集内容

我们提供约2800对含有密集点云标签，和13000对有稀疏标签的样本。具体包含以下数据：

• 精准校正的双目图像。分辨率为1920*1080，路面预瞄距离约在12米。
• 经过准确运动补偿和多帧融合的激光雷达点云。路面区域的点云密度高，保留细节的路面轮廓变化。
• 由点云生成的单目深度和双目视差真值图。
• 运动位姿信息。经过严格筛选，仅保留定位精度在厘米级的片段。
• 标定参数。因为提供的数据均经过准确的预处理流程，仅提供关键的传感器标定参数，研究人员可直接在数据上开发算法。

此外，我们提供半分辨率（960*540）的版本，研究人员可根据条件和需求选择。

数据集性能

上图左侧为点云标签数量的统计直方图。大部分图像有8万~10万个真值标签，对于960*540大小的图像，GT比例在17%左右。右图统计了路面纵向方向上，每40cm间隔内点云扫描线的平均数量。在9米的预瞄距离内，能保证每20cm有一条雷达扫描。路面区域点云密度显著高于现有数据集，为高精度、高可靠的路面感知提供坚实基础。

应用和基准

该数据集面向路面重建应用，同时作为诸多下游任务的测试基准，例如：

• 单目深度估计和运动恢复结构（SfM）
• 立体匹配和多视立体视觉（MVS）
• 路面点云分割
• 定位与建图
• 路面不平检测与分割（需要额外标注）

作为基线，我们开源了基于立体匹配和BEV进行路面重建的代码，更多细节请参考数据集网页。下图为重建的可视化效果：

数据集论文 

T. Zhao, C.F. Xu, M.Y. Ding, el.al. RSRD: A road surface reconstruction dataset and benchmark for safe and comfortable autonomous driving. arXiv:2310.02262。

公众号后台回复“数据集”获取100+深度学习各方向资源整理