协会会员注册关闭

会员ID:

会员名称:

密码:

职务:

手机号码:

工作单位:

电子邮箱:

地址:

邮编:

固定电话:

单位手机:

传真:

备注:

中国智能交通协会

毫米波雷达和相机融合技术与进展(二)

2021-10-13   来源:中国智能交通协会


  雷达数据虽然更加稀疏,不能直接将激光雷达的方法直接套用,数据在输入层和后处理部分的融合不能取得很好的效果。但每个点都包含着很多信息,在融合中能起到很大作用。本文即采用相机的图像数据和雷达点云数据进行中间特征层的融合,以达到精确的3D目标检测。在进行融合之前,由于目前雷达的高度信息不准确,无法很好的与图片目标进行关联,因此需要先对雷达点云进行预处理,采用支柱扩张的预处理方法,将每个雷达点云扩张成一个固定大小的支柱,若支柱中的一部分进入了关联ROI(感兴趣区域)内,则认为雷达点云与相机之间能进行关联及融合。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片13.png

CenterFusion:相机与雷达融合的网络


  首先,将图片传入到CenterNet特征提取网络中,通过深度学习,得到目标的热力图(HM)、宽高(WH)、估计深度(Dep)、物体实际中心离热力点偏移情况(Off)、旋转(Rot)等信息。然后,对雷达点云信息进行支柱扩张预处理,再通过视锥的关联方法,将雷达点云与相机目标关联起来。雷达能很好的测出目标的深度、速度信息,并有信噪比、雷达散射面积等特征,将雷达特征与图片特征结合起来。把新的特征图放于深度学习中,得到最后融合后的目标检测结果。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片14.png

enterFusion的整体结构


  将雷达点云与图像平面上的相应目标相关联,最简单的方法是将每个雷达点映射到图像平面,如果该点被映射到物体的2D边界框内,则将其与该物体相关联。如图一、图二所示。但这并不是一种很好的想法,因为雷达点云和图像中的物体之间没有一对一映射;场景中很多物体会产生多个雷达探测,也有不对应任何物体的雷达探测。此外,由于雷达探测的z维度不准确,映射的雷达点可能会在其对应对象的2D边界框之外。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片15.png

特征图并联结果


  从图中也可以看出,直接映射会产生很多不良关联和重叠,关联效果差。在采用了视锥方法后,雷达能很好地映射到物体中心,且可以抑制重叠部分,关联效果有明显加强。
  在图像中,如果两个物体的中心点重叠时,CenterNet可能只能检测出一个中心点,将两个物体当做一个物体来训练。因此,对图像区域相互重叠的目标检测效果较差,但是,雷达点云中包含了3D位置、速度、强度等丰富的信息,图像中很难区分开的目标,在雷达点云中可以轻松区分。因此,在加入雷达信息后,检测效果会有明显增强。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片16.png

雷达信号处理的基本过程


  雷达的信号处理流程是由中频信号生距离-多普勒矩阵,然后进行CFAR目标检测、位置估计和滤波跟踪等,这些都可以集成在雷达的嵌入式MCU处理器中。深度学习中的卷积神经网络在图像目标检测中可以通过学习目标的特征实现对目标的分类和定位。为了实现特征级融合,可以将雷达中检测结果的转换为距离-角度矩阵,将雷达的回波的强度编码成对应RGB色彩,便得到了射频图像。雷达射频图像包含了目标的位置、外形、表面纹理、速度等更加丰富的信息。这样可以采用深度学习的方法实现目标的检测,但是雷达的检测结果并不像相机那样,我们可以用人眼进行分辨,所以我们需要与相机进行融合,通过训练一个“教师-学生系统”让相机教会雷达进行目标的分类。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片17.png

相机雷达跨模融合监督模型——多目标检测


  整个传感器由一个毫米波雷达可由双目相机组成。双目相机是为了提供更准确的位置估计和3D检测。整个融合架构如右图所示,我们可以看到教师系统中通过对图像进行处理可以实现对目标的定位、分类和跟踪。然后将检测结果投影到类的距离-角度射频图像中,雷达也是通过CFAR算法首先提取出峰值位置候选目标。然后依据相机的检测结果和自身的检测结果进行的修正和学习。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片18.png

双目相机组成的毫米波雷达


  针对学习系统利用三种网络架构进行学习,主干网络分别采用3D卷积自动编码、3D卷积堆叠沙漏和多时间内核尺度的网络进行目标分类。对于动态变化场景的目标检测,可以将一段时间的检测结果加入到网络中,利用时域变形卷积(TDC)模块进行处理。对用雷达中每个Chrip的检测结果可以采用M-Net进行合并。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片19.png

三种网络架构学习


  由于采用动态的时域变形卷积和目标特征模块雷达处理,与传统的方法相比,它的检测准确率可以达到85.98%,在多种场景下检测到的结果很好,尤其是夜晚,在图像上看不到的,雷达可以看到。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片20.png

与传统方法相比准确率更高


  另一种雷达与相机的特征级融合网络架构。与上一种方案不同的是,图像和雷达的数据等级是相同的,而不是老师和学生的关系。雷达和图像首先经过各自的特征提取主干网络VGG16和3DRFN网络生成各自的预瞄框。然后最终选择误差更小的预瞄框作为融合后的输出结果。可以看到,右侧的实线的预测框的误差要小于虚线框,将实线框作为预测的结果输出。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片21.png

有预瞄框的3D目标检测


  检测结果可以看到,雷达图像有时会出现很多噪声,可能是由于一些不好的检测、一些复杂的电子系统导致。雷达二维点云和雷达射频点云方法尽管效果比较好,但是需要更强的算力,实时性较差。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片22.png

融合结果输出的虚假目标


  未来属于4D毫米波雷达
李森展示了基于苏州豪米波做的4D成像雷达的城市道路交通参与者的目标分类与检测研究,包括在同济大学测试场中采集的目标检测与分类数据集的部分可视化结果。可以看到,4D成像雷达可以输出带有高度的目标点云,反映出目标的轮廓外形,与激光雷达的点云成像的原理不同,仅仅从毫米比雷达的点云并无法准确判断一个目标的外形等特征,但是其点云的散射特征具备一定规律。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片23.png

4D成像雷达目标的可视化


  其机器学习目标分类算法吸取了点云的几个特征:多普勒速度、点云强度分布,与距离有关的关联特征等。机器学习的特点是参数少,便于嵌入式分类,在分类算法数据集中的测试已经达到了很高的分类能力,对于行人达95%以上,特别是大型车辆分类达到了99%。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片24.png

基于机器学习的目标分类算法


  与激光雷达点云相比,4D雷达点云虽然比激光雷达的稀疏,但是探测距离更远,且包含了目标的速度信息。4D毫米波雷达可以辅助实现目标3D轮廓外形特征检测。可以看到,在相同的场景下,激光雷达与毫米波雷达的点云分布有明显的区别。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片25.png

新一代4D豪米波雷达


  李森最后强调,目前4D雷达也开始逐步走向市场,未来将属于4D毫米波雷达点云,因为其每个目标有更丰富的点云,肯定会在L4系统中发挥更重要的作用,也就是说,有助于大大提升毫米波雷达的感知系统地位。

  本报告来源于首届焉知智车年会,未经本人确认。

My JSP 'pageLeft_style.jsp' starting page