4 激光雷达点云检测算法
💚论文标题:3D Object Detection for Autonomous Driving: A Comprehensive Survey(面向自动驾驶的3D目标检测:综合调研)
💚论文地址:https://arxiv.org/pdf/2206.09474
【摘要】
💕💕💕近年来,自动驾驶因其在减轻驾驶人负担、提高驾驶安全性等方面的潜力而受到越来越多的关注。在现代自动驾驶中,感知系统是不可或缺的组成部分,旨在准确估计周围环境的状态,为预测和规划提供可靠的观测数据。3D目标检测是感知系统的重要组成部分,旨在预测自动驾驶车辆附近三维目标的位置、大小和类别。
💕💕💕本文综述了自动驾驶中3D目标检测的研究进展。首先,我们介绍了3D目标检测的背景并讨论了该任务中面临的挑战。其次,我们从模型和感知输入两个方面对3D目标检测的进展进行了全面的调研,包括基于LiDAR、基于相机和多模态的检测方法。我们还深入分析了每一类方法的潜力和挑战。此外,我们系统地研究了3D目标检测在驾驶系统中的应用。最后,我们对3D目标检测方法进行了性能分析,并进一步总结了多年来的研究趋势,展望了该领域未来的发展方向。
🦋🦋🦋关键词: 3D目标检测·感知·自动驾驶·深度学习·计算机视觉·机器人技术
图2:自动驾驶场景下的3D目标检测示意图。
【数据集】
💚💚💚大量的驾驶数据集被建立,为3D目标检测提供了多模态的感知数据和3D标注。表1列出了在驾驶场景中采集数据并提供3D长方体标注的数据集。KITTI是一项开创性的工作,提出了一种标准的数据收集和标注范式:为车辆配备相机和LiDAR传感器,在道路上驾驶车辆进行数据收集,并从收集的数据中标注3D物体。
后续工作主要从4个方面进行改进。
◆ 增加数据规模
与[ 82 ]相比,最近的大规模数据集[ 268、15、186]拥有超过10倍的点云、图像和标注。
◆ 提高数据的多样性
[ 82 ]只包含在白天和良好天气下获得的驾驶数据,而最近的数据集[ 51、30、218、15、268、321、186、315]提供了在夜间或雨天捕获的数据。
◆ 提供更多的注释类别
一些数据集[ 154、321、84、315、15]可以提供更细粒度的对象类,包括动物、障碍物、交通锥等。他们还提供了现有类别的细粒度子类别,例如[ 15 ]中现有行人类的成人和儿童类别。
◆ 提供更多模态的数据
除了影像和点云之外,最近的数据集提供了更多的数据类型,包括高清地图[ 114、30、268、315]、雷达数据[ 15 ]、远距离LiDAR数据[ 313、307 ]、热图像[ 51 ]等。
图3:基于LiDAR的3D目标检测方法的发展历程。
图4:基于点的3D物体检测方法示意图。
图5:基于网格的三维物体检测方法示意图。
图6:基于点体素的三维物体检测方法示意图。
图10:基于相机的3D物体检测方法的时间概览。
图11:基于图像的单目三维物体检测方法示意图。图像样本来自[ 293 ]。
图12:深度辅助的单目三维物体检测方法示意图。图像和深度样本来自[ 176 ]。
图13:单目3D目标检测方法中先验类型示意图。样品均来自[ 39、98、319、9、213]。
图14:立体化的三维物体检测方法示意图。图像和视差样本来自文献[ 231 ]。
图15:为多视角三维目标检测方法示意图。图来自[ 219 ]和[ 305 ] 。
图16:多模态3D目标检测方法的时间概览。
图17:基于早期融合的三维目标检测方法示意图。
图18:基于中间融合的三维目标检测方法示意图。
图19:基于后期融合的三维目标检测方法示意图。
图20:基于Transformer的3D物体检测器的时间概述。
图21:时态3D目标检测方法的时间概述。
【结论】
🌸🌸🌸在本文中,我们对自动驾驶的3D目标检测的各个方面进行了全面的回顾和分析。我们从3D目标检测的问题定义、数据集和评价指标出发,介绍了各种基于传感器的3D目标检测方法,包括基于LiDAR的、基于相机的和多模态的3D目标检测方法。我们进一步研究了利用时间数据的三维目标检测和标签有效的学习,以及它在自动驾驶系统中的应用。最后,总结了近年来的研究趋势,并对3D目标检测的未来研究方向进行了展望🌸🌸🌸。
【扩展】
◆ Point based
💕使用PointNet++等网络获得点云的特征向量(FPS降采样+ball query获取临域点+conv/fc特征映射),在少量的具有高维特征向量的点云上进行目标检测。
◆ voxel based
💕点云检测算法是指输入为原始点云,输出为场景目标的算法,形成的点云目标绿色是车,黄色的是人。
主要有两种点云的算法: 一个是point based方法,一种是Voxel based方法。Point Based使用PointNet++等网络获得点云特征向量,在少量的具有高维特征向量的点云上进行目标检测。而Voxel based方法是将三维空间划分为Pillar/Voxel(体素), 将点云投影到Pillar/Voxel(point pillars)生成BEV的特征图,使用2D检测头进行检测。
◆ point-voxel based
💕point based方法获得点的特征向量,voxel based方法获得voxel的特征向量,将点的特征和voxel的特征进行融合。
至此,本文分享的内容就结束了💕💕💕。