基于多模态数据融合的路面小目标检测与决策方法

本发明属于自动驾驶，尤其涉及基于多模态数据融合的路面小目标检测与决策方法。

背景技术：

1、随着汽车工业以及经济水平的提高，全球汽车的保有量在不断增加，汽车作为当今社会出行最方便的交通工具，给人类社会带来了巨大的便利。但是除了汽车本身外，路面的状况对于车辆乃至驾驶员而言也是十分重要的因素。在平整的路面行驶，不仅能够延长汽车的使用寿命和行驶平顺性，而且能够使得驾驶员获得一个良好的驾驶体验。但只要有行车经过的地方，路面不可能长期保持在一个十分平整的状态，势必会出现不同程度的凹坑和凸起，甚至会出现凹坑积水的情况。随着自动驾驶领域相关技术的不断完善，目前越来越多的技术方法着眼于车辆行驶过程中的行人、车辆等交通参与者的感知，而却忽略了对于路面小目标的识别与检测。而在道路工程领域，多数的检测方法都停留在固定传感器对于路面状态的监测，无法实时反馈给行驶中的车辆。

2、随着自动驾驶领域的发展，自动驾驶汽车上主要采用激光雷达、摄像头、毫米波雷达等传感器进行环境感知。目前多数感知方案都采用摄像头来进行环境感知，并通过改进算法来不断优化目标识别结果，但始终存在检测时间和精度的平衡问题以及对于恶劣天气的适应能力不足。也有一些汽车采用激光雷达的方法来进行路面特征重构，进而完成路面目标检测和车辆行驶决策。而在这种情况下，单一的激光雷达提供的点云数据过于稀疏，因此大部分情况下会采用多个激光雷达进行全方位点云数据扫描，但这样会大大提高成本。现如今多数的方法则是使用激光雷达和摄像头融合的方法来进行目标识别，利用摄像头来进行目标识别，利用激光雷达来提高检测精度。但是现有的激光雷达点云处理方案多数采用的都是栅格化进而构建高程地图的方法，数据的更新速度很慢，达不到高速行驶汽车的需求。为此我们提出基于多模态数据融合的路面小目标检测与决策方法。

技术实现思路

1、本发明的目的在于提供基于多模态数据融合的路面小目标检测与决策方法，旨在解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、基于多模态数据融合的路面小目标检测与决策方法，用于检测路面小目标，路面小目标包括坑洞、减速带和凸起；方法包括以下步骤：

4、步骤1、激光雷达与惯导数据融合；

5、步骤2、基于摄像头的道路小目标检测；

6、步骤3、基于激光雷达的道路小目标及深度检测；

7、步骤4、摄像头与激光雷达的数据融合；

8、步骤5、车辆轨迹预测；

9、步骤6、目标障碍物的通过性判断与车辆行驶决策。

10、进一步的，所述步骤1的具体操作如下：

11、步骤11、时间同步；通过调节激光雷达点云采样更新频率和惯性导航数据更新频率的方式进行时间同步；

12、步骤12、空间同步；针对道路中的静止物体对激光雷达和惯性导航坐标系进行统一；

13、式1：

14、式2：

15、对于静止物体来说，式1和式2两个方程等价为：

16、式3：

17、激光雷达与惯性导航的相对位置始终固定，得到方程：

18、式4：

19、最终得到：

20、式5：aimu1_imu2ail＝ailalidar1_lidar2

21、其中，awo代表位于世界坐标系下的物体位姿方程，代表第一时刻的位于世界坐标系下的imu位姿方程，代表第二时刻的位于世界坐标系下的imu位姿方程，代表第一时刻的位于激光雷达坐标系下的物体位姿方程，代表位于第二时刻的激光雷达坐标系下的物体位姿方程，ail为imu相对于激光雷达的位姿方程，aimu1_imu2为对应两个时刻imu的位姿变换，alidar1_lidar2为对应两个时刻的激光雷达位姿变换，aimu1_imu2和alidar1_lidar2通过惯导数据和点云数据得到；

22、步骤13、激光雷达的位姿解算和运动补偿；基于imu进行激光雷达的位姿解算，完成对激光雷达的运动补偿，具体如下：

23、设激光雷达扫描得到的为一个相对初始代表点云p0(x0，y0，z0)，对应某一相对终止时刻进行运动补偿后激光雷达的点云坐标为pt(xt，yt，zt)，则有如下公式：

24、式6：pt＝aila(0)wia(t)wialip0

25、其中，a(0)wi代表初始时刻世界坐标系下的imu位姿方程，a(t)wi代表t时刻世界坐标系下的imu位姿方程；ail和ali均为待求解的标定参数，ail为imu相对于激光雷达的位姿方程，ali为激光雷达相对于imu的位姿方程；即得到运动补偿后激光雷达的点云坐标。

26、进一步的，所述步骤2的具体操作如下：

27、步骤21、环境搭建；首先创建虚拟环境，然后下载源码并配置解释器，之后激活虚拟环境并安装包，最终下载预训练文件，完成环境搭建；

28、步骤22、数据集准备；首先选取周边道路情况作为研究对象，并下载包含目标坑洞、凸起、水坑和减速带的图片，水坑的图片包含亮水坑和暗水坑，然后选择yolo格式对图片进行标注，最后将标注好的图片导入预设的文件夹；

29、步骤23、模型训练与验证；首先按照8：1：1的比例将数据集划分为训练集、验证集和测试集；然后设置训练参数，对数据集进行训练；最后将训练好的模型导入预测网络进行验证；

30、步骤24、模型的改进与预测，具体包括如下环节：

31、环节241、添加注意力机制；yolov8的检测网络分为input、backbone、neck、和head四部分，通过在backbone和neck部分添加ca注意力机制的方式进行模型改进；

32、环节242、改进损失函数；引入损失函数eiou，eiou的格式如下：

33、式7：

34、其中，c代表同时包含预测框和真实框的最小闭包区域的对角线距离，ρ代表两个中心点之间的欧氏距离，b、bgt分别代表预测框和真实框的中心点，cw、ch分别代表同时包含预测框和真实框的最小闭包区域的宽度和高度，w、wgt分别代表预测框和真实框的宽度中点，h、hgt分别代表预测框和真实框的高度的中点；

35、环节243、改进后模型预测；通过改进后的模型预测后处理预测到的路面小目标，运用预测到的信息生成特征向量v_{camera}]。

36、进一步的，所述步骤3的具体操作如下：

37、步骤31、点云数据的预处理，具体包括以下环节：

38、环节311、点云数据的滤波；根据点云的属性设立相关于车辆坐标系的取值范围，将道路范围之外的点云以及部分离群点过滤，再对点云进行双边滤波；

39、环节312、地面点分割；采用区域增长分割的方法进行点云分割；将道路点云数据中提取的点作为集合p的种子，对于每一个种子点，比较相邻点法线和当前种子点法线之间的角度，若角度差值小于设定的合格值，则将当前种子点纳入集合p中，同时测试获得的邻域中各个点的曲率值，若曲率值小于合格值，将当前种子点纳入集合p中，将比较相邻点从集合p中删去，若种子集p变空，对其他区域重复处理，即实现点云数据的区域分割和同一目标点云的聚类；

40、步骤32、点云分布的统计分析；采集正常无缺陷的道路信息，获取正常平整道路的点云数据，将点云数据的平均高程值作为修正平面的高度信息zm，并计算所有点到修正平面的距离；

41、步骤33、点云数据的曲面拟合；进行滤波和分割处理后的点云数据是一个n维的点云数据集{d1,d2,…,dn}，每一个点均对应一个平面上的坐标x和y，对应的高度为z＝z(x,y)；采用最小二乘的方法进行曲面拟合，方程形式为：

42、式8：z＝ax2+by2+cxy+dx+ey+f

43、其中，a，b，c，d，e，f为使得目标函数取得最小值所对应的曲面方程各项系数；x，y，z分别为运动补偿后点云中每个点的坐标，结合步骤32中得到的修正平面的高度信息zm，建立目标函数为：

44、式9：

45、联立式8和式9，得到线性方程组如下：

46、式10：

47、其中，x0，y0，z0分别为运动补偿后点云中第0个点的坐标，xi，yi，zi分别为运动补偿后点云中第i个点的坐标；由此求解线性方程组，得到二次拟合曲面方程；

48、步骤34、特征识别和提取，具体包括以下环节：

49、环节341、在曲面拟合的基础上对于不同区域的点云数据进行特征识别；提取聚类区域范围内高程值明显高于平均水平高度的位置作为路面凸起或减速带，并将区域的点云高程最大值zmax作为路面凸起或减速带的高度；提取聚类区域范围内曲面拟合后高程值明显低于平均水平高度的位置作为路面坑洞，并将区域的点云高度最小值zmin作为坑洞的深度；同时通过曲面拟合补全点云信息后得到目标特征的全部位置信息xs、ys；

50、环节342、在特征识别的基础上进行特征提取；在环节341的基础上提取包含检测目标种类和位置信息的特征向量v_{lidar}以及目标的高程信息zs，其中zs＝{zmin，zmax}。

51、进一步的，所述步骤4的具体操作如下：

52、步骤41、摄像头与激光雷达的联合标定，即坐标系的转换和时间同步；运动补偿后的点在激光雷达坐标系中的坐标为pt(xt，yt，zt)，点在摄像头坐标系中的坐标为pc(xc，yc，zc)，点的像素点坐标为p(u，v)，rlc为激光雷达与摄像头之间的旋转矩阵，tlc为激光雷达与相机之间的平移向量，由此得到激光雷达点云坐标系到像素点转换关系式：

53、式11：p＝kpc＝k(rlcpt+tlc)

54、其中，k为摄像头标定的摄像头内参；然后进行时间同步；

55、步骤42、提取特征向量；从激光雷达提取出检测结果和边框等特征向量v_{lidar}以及距离和高程信息，并从摄像头获取检测结果和边框等特征向量v_{camera}；

56、步骤43、目标层融合；通过mlp网络的方法对激光雷达和摄像头提取的特征向量进行融合；

57、式12：v_{fusion}＝mlp([v_{lidar}；v_{camera}])

58、其中，mlp代表多层感知机处理，v_{fusion}代表融合后的特征向量；

59、得到最终融合后的特征向量v_{fusion}，最后从特征向量中输出包含检测目标类型和位置的综合特征目标信息，并将激光雷达得到的高程信息赋给融合后的目标。

60、进一步的，所述步骤5的具体操作如下：

61、步骤51、基于车辆动力学对汽车进行建模；

62、步骤52、基于车辆运动学模型实现车辆轨迹预测；采用基于车辆运动学模型的短期车辆轨迹预测方法，根据车辆运动学公式，基于车辆模型预测得到的轨迹tveh如下：

63、式13：

64、其中，θ(t)为车辆在t时刻的行进方向，ω0为车辆初始角速度，v(t)为车辆在t时刻的速度，a0为车辆的加速度，cx和cy为初始值固定的常数，由下式计算得到：

65、式14：

66、其中，x0、y0为平面内车辆的轨迹坐标，v0为车辆初速度，θ0为车辆初始行进方向；

67、结合改进后的二自由度车辆动力学模型得到预测轨迹，并通过步骤41中的坐标系转换方式将车辆轨迹坐标转换为像素点坐标，即得到投影到二维图像平面的车辆轨迹。

68、进一步的，所述步骤6中，减速带的决策如下：

69、在保证安全距离为s的情况下，使得车速稳定在安全车速vs以内通过；

70、坑洞的决策如下：

71、使用激光雷达扫描特征坑洞边界的轮廓坐标点和车道线边界轮廓坐标点，并将轮廓坐标点和车道线边界轮廓坐标点的交集坐标所围成的面积作为有效面积，任取其中一点作为起点顺时针分别将坐标点命名为bi(xi，yi)，i＝1,…,n，则计算面积的方法为：

72、式15：

73、其中，x1＝xn+1，y1＝yn+1；

74、zs为坑洞的深度，h为设定的安全深度，r为车轮半径，b为轮胎宽度，st为由安全深度求出的面积；

75、车道线包含在坑洞边界范围的情况按照目标坑洞的深度进行划分：当zs<h，s<st时，正常通过；当zs>h，s>st时，减速避让；当zs<h，s>st时，减速通过；当zs>h，s<st时，正常通过；

76、凸起的决策如下：

77、当凸起位于两条车道线之外时，正常通过；

78、当凸起位于两条车道线之间时，若目标凸起的高度zmax小于h，则正常通过；反之，则减速避让；

79、当凸起与两条车道线存在交集时，若目标凸起的高度zmax小于悬架的最大压缩距离xmax，则减速通过；若目标凸起高度zmax大于悬架的最大压缩距离xmax，则向两侧避让。

80、与现有技术相比，本发明的有益效果是：

81、1、本发明通过摄像头实现路面小目标的综合识别，并基于激光雷达与惯性导航数据融合的结果，实现目标检测与高程信息计算。基于激光雷达与摄像头的数据融合实现路面小目标的精确识别以及位置的深度检测。

82、2、本发明通过引入车辆轨迹预测来与激光雷达、惯性导航和摄像头三方融合的结果进行匹配，为针对不同路面小目标进行决策提供了准确的信息来源，同时过滤了不影响行驶状态的目标，进一步提高了决策速度以及精度。

83、3、本发明基于摄像头的路面小目标检测使用添加了注意力机制的yolo v8网络，使得对于小目标的检测结果更加精确，同时还能提高检测速度。

84、4、本发明基于激光雷达的路面目标检测及特征提取中，使用了曲面拟合和区域生长的方法来避免空间点云的离散化，大大提高了检测速度。

85、5、本发明提供了针对与车辆轨迹重合的三种路面小目标的决策方案，为车辆行驶状态的改变提供了合理的方案，进而实现行驶安全性和平顺性。