协会会员注册关闭

会员ID:

会员名称:

密码:

职务:

手机号码:

工作单位:

电子邮箱:

地址:

邮编:

固定电话:

单位手机:

传真:

备注:

中国智能交通协会

毫米波雷达和相机融合技术与进展(一)

2021-10-13   来源:焉知自动驾驶


苏州毫米波雷达董事长 白杰教授(同济大学李森代表)


  为什么需要多传感器融合?
  李森首先介绍了多传感器融合的基本概念、雷达与相机融合的传统方法,以及近年来雷达与相机在深度学习方面的应用及未来趋势。
  他表示,开车或交通中经常遇到一些复杂的天气情况,如大雨、大雾、沙尘、强光、夜晚,这些对于图像和激光雷达是非常恶劣的场景,难以用单个传感器应对,因为一个传感器无法处理所有场景。比如一些自动驾驶测试或是比较成熟的特斯拉智能驾驶中的多次撞车事故,由于其传感器系统的失效,付出了比较惨痛的代价。所以,传感器融合是构建稳定感知系统的必要条件。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片1.png

感知系统的失效会造成惨痛的交通事故


  多传感器数据融合的层次与结构
  什么是传感器融合呢?李森表示,首先要根据来自不同传感器的数据和状态的估计结果,利用不同传感器,如图像、激光雷达、毫米波雷达,融合到中央处理器进行信息互补,得到一个最佳的中和方案。根据中心获取的传感器处理层次的不同:
  首先从原始信息开始处理,这属于数据级范畴;
  之后是数据处理后的特征识别,这属于特征级范畴;
  最后是进行危险估计,并做出最终决策,属于决策级融合。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片2.png

“瀑布式”传感器层次融合模型


  具体讲,决策级融合是将毫米波雷达、图像雷达进行预处理和特征提取,得到目标位置信息和分类信息。之后,统一到处理器当中进行综合分析判断,方法包括卡尔曼滤波、权重判据等等。从数据预处理得到特征向量和特征矩阵,由处理器进行融合处理。
  数据级融合是将所有原始数据统一到处理器当中,进行最终数据同步之后,在进行数据处理。目前的方案主要集中在目标级,未来的发展是多级特征的融合方案。由于数据量特别大,目前数据级融合受制于预控制器或带宽限制。
  从局部传感器对自身数据处理程度看,主要分为集中式、分布式、混合式结构。
  集中式结构:类似前面的数据级处理,把传感器所有信息送到域控制器当中,进行数据关联,量测融合,再进行目标跟踪,最终得到目标、位置、状态信息,最后进行决策。其优点是数据处理的精度高;缺点是大量数据易造成通信负载过大,对控制器处理的性能要求高。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片3.png

集中式结构


  分布式结构:融合中每个传感器会将自身目标观测结果在本地进行相关目标检测与跟踪处理,送入域控制器的是已经完成多目标跟踪的局部航迹信息。优点是对通信带宽的需求低、计算速度快;缺点是跟踪的精度远没有集中式高。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片4.png

分布式结构


  混合式结构:依据对数据需求的不同组成混合式结构,兼具集中式和分布式结构的优点,弥补了两者的不足。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片5.png

混合式结构


  目前大部分用到的结构是混合式结构,由分布式传感器分别进行数据处理,得到目标信息列表后再进行融合,如毫米波雷达,因为是目标点云,得到的是处理后的效果;激光雷达图像也是如此。
  多传感器数据融合还要考虑空间匹配和时钟同步问题。空间匹配需要进行多个传感器坐标系之间的转换,包括世界坐标系,需要知道大地坐标系还有车辆坐标系,在传感器坐标系当中,主要是图像坐标系、雷达坐标系,还有激光雷达坐标系。以相机和毫米波雷达为例,主要是需要标定相机的内参和外参矩阵。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片6.png

多个坐标系间的联合标定


  除了数据之间的空间同步,时钟同步也很重要。时间同步主要是两个方案:硬件方案和软件方案。硬件同步主要是设置一个硬件多线程触发,例如毫米波雷达和图像处理数据传输的频率或是采样频率不同,雷达采样频率一般要低于视频数据。那么,可以通过雷达检测后,以硬件触发方式来获得图像信息。这个方案更适用于以下情况,即雷达相机一体化的低成本方案,当然硬件方面比较复杂。软件同步是目前常用的方案,大部分可以用GPS加入一个时间戳,如毫米波雷达和相机,采集的数据都有GPS时间戳,后面根据最近匹配或通过差值方法进行数据补偿,常用的有线性差值、拉格朗日差值法。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片7.png

多传感器数据融合时钟同步


  相机和雷达融合的经典方法

  李森介绍说,目前ADAS系统中应用比较广泛的方案由两个。方案一是决策级/目标级融合与数据关联,由传感器分别在控制器中完成目标检测,得到目标位置信息和分类信息列表,之后统一进行数据关联,再进行感知结果的汇总,通过决策判断多个信息,获得一个目标的最佳位置结果。这也是目前ADAS常用的方案。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片8.png

目前ADAS系统最常用的传感器融合技术方案


  通常,无论是传统方法还是深度学习方法,图像计算都需要一步步在域中扫一遍,比较耗时。
方案二是基于雷达生成图像感兴趣区域。在图像层面进行融合,首先把雷达和图像传感器进行标定,之后把雷达数据结果投影到相机中,生成一个ROI,然后图像在ROI区域中进行目标检测。新方法可直接找到感兴趣的区域,图像只在这个框内进行目标识别和分类,好处是节省时间。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片9.png

基于雷达生成图像感兴趣区域

 

  在多目标值方案中,也是通过相机和雷达进行检测,之后关联匹配,根据速度计算,绿色变红色,再变到绿色,这是ACC和AEB当中常用的散发,这种方案也广泛应用于ADAS系统,作为预警功能。通过增加多传感器,如多个毫米波雷达,肯定感知精度要高一些。黄色是融合结果,绿色是雷达检测结果,红色是通过光流法得到的检测结果。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片10.png

决策级融合:双目相机+毫米波雷达跟踪


  从这种方法可以看到,在这种场景下,雷达有时没办法完全检测到,所以,也可以说明在L3以上、L4、L5,百度的方案都用了高线束激光雷达。因此,二维毫米波雷达在各大互联网厂商应用中并不十分普遍,大部分是作为前方预警的附加功能。目前毫米波雷达只能获得二维点云,有其局限性。
  在基于传统雷达图像的多目标跟踪中,由于传感器检测算法或距离,或者硬件的原因,会导致一些目标测量检测能力不足。还有一些运动目标之间会产生多种遮挡,后面的物体被前面物体所遮挡,尤其是车辆错车或是超车场景中,可能会观测不到位于后面的车辆,这样会导致目标跟踪不稳定。
  这个情况分成几个部分,一个是噪声扰动,还有轨迹交叉,会导致我们在匹配时产生一些虚假目标,特别是在雷达和相机融合在框中可能同时属于第一个人和第二个人的框时,它们之间的交差点难以判断。在遮挡的情况下,雷达在这个时候(Case3),可能会检测到两个人,但是由于本身缺陷会识别出一个人,前面的人把后面的人遮住,其他传感器,如毫米波和激光雷达,可能会检测不到。所以针对这个场景,我们提出了基于雷达与图像融合的跟踪方案。
  雷达检测结果在图像层面进行关联,随后生成一个随机有线级。目标之间没有顺序,认为它没有顺序目标。在实际驾驶场景中,可以看到它的出现和消失,周围的目标有的出现,有的会在视野中不停出现、消失。采用高斯混合模型,由它的中心和标准差组成,先把目标初始化,在初始化过程中附加一个标签,在预测和更新过程中,我们会把它分成两部分,对于检测到这个目标的,我们用进行后续状态更新,对于两侧突然消失的,如传感器可以检测到或没有检测到,但是上一时刻是存在的,我们认为是暂时的量测丢失,但是这个目标并不一定会丢失,所以我们进行了补偿,通过加入一个衰减函数,针对标签进行补偿。因为我们的目标并不会凭空产生和消失,一定是连续的运动,这样的散发就得到了状态估计。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片11.png

基于雷达与图像融合的多目标跟踪:更稳定的目标跟踪方法


  在实际路测场景中,Frame100的车辆切换到一个交叉场景。在算法当中,会遇到多个目标的检测损失,其目标之间检测不连贯。而在新的算法当中,基本上曲线是比较平滑的。


C:UserslenovoDesktop新建文件夹新建文件夹新建文件夹 (251)图片12.png

雷达与相机融合跟踪方案成果


  相机与雷达融合的前沿方法
  李森表示,最近两年深度学习的研究比较火热,出现了一些比较前沿的融合跟踪方案:普通雷达点云+相机、雷达射频图像+相机,以及4D雷达点云+相机。
  他认为,目前大多数传感器融合方法都集中于使用激光雷达和相机,从而达到高精度的3D目标检测。但是,这种方法有其局限性,相机和激光雷达对不利天气(如雪、雾、雨)都很敏感、对远处目标检测不精确,并且激光雷达成本较高,想要普及还有一定的困难。由于雷达对恶劣天气有很好的鲁棒性、探测距离非常远、能精确测量目标的速度、并且成本低,在自动驾驶中越来越受到人们的重视。

My JSP 'pageLeft_style.jsp' starting page