BEV最新综述 | 学术界和工业界方案汇总！优化方法与tricks ...

计算机视觉life”，选择“星标”

快速获得最新干货

学习感知任务的鸟瞰图（BEV）中的强大表示法是一种趋势，并引起了工业界和学术界的广泛关注。大多数自动驾驶常规方法是在前视图或透视图中执行检测、分割、跟踪等。随着传感器配置变得越来越复杂，集成来自不同传感器的多源信息并在统一视图中表示特征变得至关重要。BEV perception继承了几个优势，如在BEV中表示周围场景直观且融合友好；并且在BEV中表示对象对于后续模块最为理想，如在规划和/或控制中。BEV感知的核心问题在于：（a） 如何通过从透视图到BEV的视图转换来重建丢失的3D信息；（b） 如何在BEV网格中获取GT；（c） 如何制定pipelines，以纳入来自不同来源和view的特征；（d） 如何适应和推广算法，因为传感器配置在不同场景中有所不同；

本调查回顾了关于BEV感知的最新工作，并对不同解决方案进行了深入分析。此外，还描述了行业中BEV方法的几个系统设计，介绍了一整套实用指南，以提高BEV感知任务的性能，包括相机、激光雷达和融合输入。最后，论文指出了该领域未来的研究方向，希望本报告能为社区提供一些信息，并鼓励更多关于BEV感知的研究工作。

领域介绍

基于输入数据，论文将BEV感知研究主要分为三个部分：BEV camera、BEV激光雷达和BEV fusion，下图描述了BEV感知家族的总体图，具体地，BEV camera指示用于从多个环绕相机检测或分割3D目标的视觉或以视觉为中心的算法；BEV激光雷达描述了从点云输入的检测或分割任务；BEV fusion描述了来自多个传感器输入的融合机制，如相机、激光雷达、GNSS、里程计、高清地图、CAN总线等；

当谈到BEV感知研究的动机时，需要检查三个重要方面。

1.意义2.空间

BEV感知中是否存在需要大量创新的开放性问题？BEV感知背后的要点是从camera和激光雷达输入中学习鲁棒和可概括的特征表示，这在激光雷达分支中很容易，因为输入（点云）具有这样的3D特性。在相机分支中，这是非常重要的，因为从单目或多视图设置中学习3D空间信息是困难的。虽然看到有人试图通过姿势估计[9]或时间运动[10]来学习更好的2D-3D对应关系，但BEV感知背后的核心问题需要从原始传感器输入进行深度估计的实质性创新，特别是对于相机分支。另一个关键问题是如何在pipelines的早期或中期融合特征，大多数传感器融合算法将该问题视为简单的对象级融合或沿blob channel的朴素特征连接。这可能解释了为什么由于相机和激光雷达之间的未对准或不准确的深度预测，某些融合算法表现不如仅使用激光雷达的解决方案。如何对齐和集成多模态输入的特征起着至关重要的作用，从而为创新留下了广阔的空间。

论文主要回顾了近年来BEV感知研究的全貌，详细阐述了BEV感知文献的综合分析，涵盖了深度估计、视图转换、传感器融合、域自适应等核心问题。介绍并讨论了几种重要的BEV感知工业系统级设计。除了理论贡献外，我们还提供了一本实用的操作指南，用于提高各种BEV感知任务的性能。

数据集和Metrics1.数据集

论文介绍了一些流行的自动驾驶数据集和常用的评估指标。下表总结了BEV感知的主要基准统计数据。通常，数据集由各种场景组成，每个场景在不同的数据集中具有不同的长度。总持续时间从几十分钟到几百小时不等。对于BEV感知任务，3D边界框标注和3D分割标注至关重要，高清地图配置已成为主流趋势，其中大部分可以用于不同的任务。