相机和毫米波雷达融合感知系统
2020-03-15 来源:中国智能交通协会
北京航空航天大学
余贵珍,张思佳,牛欢,刘国强,周彬,王章宇
一、系统概述
环境感知是智能车辆技术的基础。车辆前视环境感知是行车安全的重要保障,必须提高其精度和可靠性。采用深度学习算法和多源传感器信息融合相关技术开发了具有自主知识产权的相机和毫米波雷达融合感知系统,提高了车辆前向环境感知的精确度和可靠性,扩大了前向环境的感知距离。相机和毫米波雷达融合感知系统包括相机、毫米波雷达和数据处理单元,如图1所示。
图1 环境感知系统
相机和毫米波雷达融合感知系统支持单目视觉处理和多源信息融合处理相关技术,其数据处理单元采用的是NVIDIA公司出品的Xavier,具有512内核GPU,具有深度学习加速器、数个新型计算机视觉加速器以及30瓦功率下每秒可执行30万亿次操作的能力,能够满足项目工程性能需要。
二、系统工作原理
相机和毫米波雷达融合感知系统包含了单目视觉模块、毫米波雷达模块和信息融合模块。单目视觉模块主要采用基于机器学习的图像处理技术对车辆行驶前视环境中车道线、车辆、行人等目标进行检测和识别,为车辆提供精确可靠的前视目标信息;毫米波雷达模块通过结合目标时空连续性特征,利用目标聚类跟踪等方法完成目标的初步筛选;融合模块主要利用相机和毫米波雷达同时获取车辆前视环境中目标的位置信息和标识信息等,提供单一传感器无法获取的信息,为决策层提供更加可靠、丰富的环境信息。其工作流程图如图2所示。
图2 信息融合系统流程图
(一)单目视觉模块
车道线的识别能确定横向的可行驶区域,在此基础上展开车辆前方车辆行人的研究,可快速对无关目标进行有效滤除,并完成目标危险等级划分。
为完成车辆前视环境感知,将相机安装在车辆内部后视镜底座正下方1-3厘米处,同时对摄像头俯仰角进行调节,当所处场景为直道时,使得图片下2/3区域为道路。相机能完成不同角度棋盘格图像采集,利用泰勒级数展开式完成径向畸变校正,并利用LM算法进行内参求解。利用小孔成像原理完成前向目标纵向距离计算,利用单应性变换获取相机逆透视图像及完成目标横向距离计算。
运用传统的图像处理算法完成车道线识别。在逆透视图像的基础上,利用道路宽度、车道线宽度、颜色、相互平行等特性,获取车道线候选点,利用曲线拟合完成初步筛选,并完成通过设定一系列干扰和容错机制,排除路面阴影、车辆、道路路面标志和路牙的干扰,并利用卡尔曼滤波器进行跟踪,完成车道线的稳定识别。
运用机器学习算法完成车辆前方目标识别。车辆识别方面,根据车道线边界对图像进行分割,按照前车所处区域将车辆分为当前车道和相邻车道内有效车辆,并根据所处道路类型进行识别分类,综合考虑目标车辆轮廓在图像中所表现出的多尺度方向特征信息,建立不同距离、不同姿态的车辆样本库,在对视频图像进行预处理及特征提取的基础上,结合样本库统计出的宽高大小、比例阈值等特征,完成目标进一步筛选。行人识别方面,根据车道线边界对图像进行分割,运用事先建立的行人学习库,搜索各区域内行人或疑似行人,提取相应轮廓、边缘和运动等特征信息进行整合。
(二)毫米波雷达模块
根据视觉所获取的车道线区域初步确定探测边界,结合时空连续等特性对目标进行进一步筛选,以输出有效目标的距离、速度信息。
雷达安装采用自设计支架固定在车辆前方合适高度处,与车身横向位置关系通常为靠近车身纵向中线位置为毫米波雷达安装位置,安装俯仰角控制在±1°以内,安装平面尽量与车头平面平行,防止出现较大偏航角。
雷达标定主要解决了雷达安装时产生的微小偏航角对远处物体目标探测的影响,通过标定可以纠正远处目标的距离测量精度。利用三角反射体增强毫米波雷达反射信号,确定车头中心朝向并确定车身坐标系在实际场景中的方向,利用三角反射体确定毫米波雷达探测目标的中心线在实际场景中的方向,通过对比两个坐标系的朝向差距来求出旋转矩阵,实现毫米波雷达探测方向坐标与车身坐标匹配。
在确定前向有效目标时,首先确定前向目标的探测范围需求,对安全范围之外的目标进行初步过滤,同时根据目标的存在时间,目标存在的概率,反射强度来进行二次过滤。最终通过接入车速信息对实际场景中的固定障碍物目标比如铁栅栏,高速围栏等无用目标进行深度过滤,最后可以获得车辆前视方向的有效目标,提取有效目标的横纵向距离,相对速度等信息与视觉信息进行匹配。
(三)融合模块
在不同传感器信息时空统一的基础上,通过目标匹配、目标估计完成有效目标状态更新,获取包括目标类别、速度、位置等更为准确、丰富的目标信息。
借助角反射器等工具完成传感器间的空间统一,实现毫米波雷达坐标系、世界坐标系、相机坐标系、相机像素坐标系之间的相互转换,通过观察雷达信息在图像上的投影效果对参数进行微调,最终确定变换参数。传感器联合标定投影效果如图3所示。
图3 传感器联合标定效果图
根据传感器和物体特性,对车辆前方检测区域进行划分,对于近距离区域,对所有图像输出视觉框的宽高大小及比例进行判断,若大于一定阈值,则与物体最近的雷达信息进行关联;对于中距离区域,通过设置关联门限,建立关联矩阵确定传感器的量测信息和目标源对应关系,进而通过卡尔曼滤波依据相关处理后的结果对目标的状态变量与估计误差方差进行更新,实现对目标的未来状态预测;对于远距离区域,结合雷达投影点位置和统计得到的目标比例大小初步确定感兴趣区域,利用图像分类算法对区域内物体进行分类。最后对各区域信息进行整合,输出最终有效目标信息。
相机和毫米波雷达融合感知系统实现了对车辆前视环境中车道线的识别,完成了对前方行人、车辆的识别和位置状态信息的判定。经过实际测试,在晴朗天气下,在具有清晰车道线的结构化道路上,综合处理算法的速度为66ms/帧,处理频率为15Hz,实现行人的识别距离大于60m,车辆识别的距离大于100m。识别效果如图4所示。
图4 识别效果图
三 实际应用
相机和毫米波雷达融合感知系统可以实现车辆前方物体的准确识别,为自适应巡航(Adaptive Cruise Control-ACC)、自动刹车辅助系统(Autonomous Emergency Brake-AEB)等高级辅助驾驶系统(Advanced Driving Assistant System-ADAS)系统提供车辆前方目标的准确距离及速度信息,以便开展进一步的控制决策研究。