基于毫米波雷达点云和视觉信息差异性特征注意力融合的3D目标检测

自动驾驶中传感器融合是感知系统的重要组成部分,雷达点云信息和视觉信息融合可以提高车辆的感知能力.然而现有的研究将雷达点投影到图像上时只是对雷达点简单的增加高度,无法提供更加准确的横向信息,缺乏空间信息.同时对两个模态只是进行简单的融合,虽然产生了一个联合表征,但不足以充分捕捉两种模态之间的复杂联系.文中同时增加了雷达点云的宽度来进行空间信息增强,另外设计了一种利用差异性特征注意力融合的方法,使两个模态进行跨模态交互融合.本文在具有挑战性的nuScenes数据集上对模型进行了评估,提出的模型的NDS评分和mAP分别达到了 46.3％和33.9％,体现了优秀的性能.