论文阅读《BEVFormer v2》

BEVFormer v2: Adapting Modern Image Backbones to Bird’s-Eye-View Recognition via Perspective Supervision

摘要

我们提出了一种具有透视监督的新型鸟瞰图（BEV）检测器，其收敛速度更快并且更适合现代图像主干。现有的最先进的BEV检测器通常与某些深度预训练主干网络（如VoVNet）相关联，从而阻碍了蓬勃发展的图像主干网络和BEV检测器之间的协同作用。为了解决这一限制，我们优先通过引入透视图监督来简化BEV检测器的优化。为此，我们提出了一个两阶段BEV检测器，其中来自透视头的提议被输入到鸟瞰头中进行最终预测。为了评估我们模型的有效性，我们进行了广泛的消融研究，重点关注监督形式和所提出的检测器的通用性。所提出的方法通过广泛的传统和现代图像主干得到了验证，并在大规模nuScenes数据集上取得了新的SoTA结果。代码即将发布。

1 介绍

鸟瞰图(BEV)识别模型引起了自动驾驶领域的兴趣，因为它们可以自然地将来自多个传感器的部分原始观测结果整合到统一的整体3D输出空间中。典型的BEV模型建立在图像主干之上，然后是视图转换模块，该模块将透视图像特征提升为 BEV 特征，然后由BEV特征编码器和一些特定任务的头进一步处理。人们投入了大量精力来设计视图转换模块，并将不断增长的下游任务列表纳入新的识别框架，但BEV模型中图像主干的研究却被忽视了。作为一个前沿且要求极高的领域，将现代图像主干引入自动驾驶是理所当然的。令人惊讶的是，研究界选择坚持使用VoVNet来享受其大规模深度预训练。在这项工作中，我们专注于释放现代图像特征提取器的全部威力，用于BEV识别，为未来的研究人员探索该领域更好的图像主干设计打开大门。

然而，仅仅采用那些现代图像主干而没有进行适当的预训练并不能产生令人满意的结果。例如，在3D物体检测方面，ImageNet预训练的ConvNeXt-XL主干网络的性能与DDAD-15M预训练的VoVNet-99相当，尽管后者的参数是前者的3.5倍。我们将适应现代图像主干的努力归因于以下问题。其一，自然图像和自动驾驶场景之间的领域差距。在一般二维识别任务上进行预训练的主干网络无法感知三维场景，尤其是无法估计深度。其二，当前BEV检测器的结构复杂。以BEVFormer为例。3D边界框和物体类别标签的监督信号通过视图编码器和物体解码器与图像主干分离，每个编码器和物体解码器由多层transformer组成。用于适应自动驾驶任务的通用二维图像主干的梯度流被堆叠的transformer层扭曲了。为了解决在将现代图像主干网络应用于BEV识别时遇到的上述困难，我们在BEVFormer中引入了透视监督，即将来自透视视图任务的额外监督信号直接应用于主干网络。它引导主干网络学习二维识别任务中缺失的三维知识，并克服BEV检测器的复杂性，极大地促进了模型的优化。具体来说，我们在主干网络上构建一个透视3D检测头，它将图像特征作为输入并直接预测目标对象的3D边界框和类别标签。这个透视头的损失，表示为透视损失，被添加到由BEV头衍生的原始损失（BEV损失）中，作为辅助检测损失。