01
引言
随着人工智能技术的不断发展，自动驾驶越来越多地出现在我们的视野中，智能化和电动化已经成为汽车行业的主旋律。无论是从研究的角度还是从工程的角度来看，它都像是一个巨大的宝藏，等待着我们去探索。本文将介绍这一技术的相关进展。
02
上图显示了自动驾驶的典型框架，其中最重要的任务是场景理解任务，一般也被称之为感知任务，该任务不断突破性能上限。为了帮助控制系统理解车辆周围的环境，自动驾驶系统使用了多种感知技术，其中最重要的是 BEV感知技术。这些技术可以帮助车辆了解自身的位置，探测周围的障碍物，了解障碍物的方位和距离，以及它们是静止的还是移动的，为后续的驾驶决策提供必要的信息。
03
BEV感知技术
04
自下而上的方法
目前，BEV感知研究主要基于深度学习方法进行实现。根据获取BEV特征组织方式的不同，主流方法可以分为自下而上和自上而下的方法。
首先，在2D视图中估计每个像素的深度，然后通过内参和外参将图像特征投射到 BEV 空间。
然后，通过融合多个视角生成 BEV 特征得到最终的融合后的特征。
Lift: 在获取每个相机图像下采样的特征图后，针对特征图上每个特征点显示的估计对应的深度分布，进而获取包含图像特征的视锥
Splat: 结合相机的内外参将所有相机的视锥投影到 BEV 网格中，并对每个网格中的多个视角的视锥进行求和计算，形成融合不同视角图像特征的BEV特征图
Shoot: 在该步骤中，会从BEV网格中提取特征，并将这些特征用于执行特定的感知任务。这可能包括使用深度学习模型，如卷积神经网络CNN或Transformer，来识别和分类BEV视图中的物体，预测它们的轨迹，或者进行其他相关的分析。
05
自顶而下的方法
另一种方法是自顶向下，从 3D 到 2D。
它首先在 BEV 空间中初始化特征；
然后通过多层transformer与每个图像特征交互，最终得到 BEV 特征。
Transformer 是谷歌在 2017 年提出的一种基于注意力机制的神经网络模型。与传统的 RNN 和 CNN 不同，Transformer 通过注意力机制挖掘序列中不同元素之间的联系，从而适应不同长度和结构的输入。Transformer 首先在自然语言处理NLP领域取得了巨大成功，随后被应用于计算机视觉CV任务，并取得了显著效果。
06
小结
总的来说，自下而上和自顶而下两种方法在 BEV 研究中都得到了广泛应用。自下而上的方法适用于早期的BEV 研究，如LSS 和BEVDet 等。自上而下法更倾向于使用Transformer 等模型，利用全局感知能力，并在一些最新工作中取得了显著成果，如上海 AILab 团队的 BEVFormer。这两种方法各有优势，可以互为补充，为自动驾驶 BEV感知的发展提供了丰富的技术选择。
点击上方小卡片关注我
新年寄语：
所求皆如愿，
所行皆坦途。
多喜乐，长安宁。