一种基于视觉与激光雷达融合的矿区路面积水检测方法与流程

本发明涉无人驾驶，具体而言，涉及一种基于视觉与激光雷达融合的矿区路面积水检测方法。

背景技术：

1、无人驾驶领域中，全面、精准、实时地感知积水等障碍物属性是一项关键技术，其对无人驾驶中的规划、决策、控制模块及安全性至关重要，依靠单一传感器进行感知存在较大挑战。

2、激光雷达可对周围环境进行3d点云建模，雷达线束量决定硬件成本、点云稀疏水平，其测量范围可达200m，随距离增加点云愈加稀疏，同时缺乏语义信息、颜色纹理信息，不易准确识别障碍物的轮廓和类别，数据容易受到轻微灰尘的影响引起障碍物识别的难度增加。

3、视觉摄像头可采集富有彩色、纹理的信息，能够识别障碍物的感知精度与焦距、光学成像像素密集程度有关系，其无法直接感知距离深度信息，借助距离计算等假设条件求解深度信息往往存在计算量大、置信度低的问题。同时易受环境影响，如雨雾天气、光照入射等都会引起成像质量下降，进而造成感知置信度的降低。如专利号cn114758139a名为基坑积水检测方法，提出获取基坑积水图像进行标注后运用深度学习算法进行训练后分割出积水区域，此发明实现了针对工地积水图像的准确识别检测，但是缺乏基坑积水的深度信息；再如专利号cn114419381b名为一种语义分割方法及应用其的道路积水检测方法和装置，提出了一种图像语义分割方法，可以识别是否存在道路积水，但也缺乏深度信息。

4、多传感器融合提高了算法稳定性鲁棒性，在雨雾、强光、弱光、风沙等复杂环境条件下均具备良好检测准确性，多传感器较好地保证了感知冗余性、精度的稳定性。

技术实现思路

1、本发明旨在提供一种基于视觉与激光雷达融合的矿区路面积水检测方法、装置及存储介质，以解决或改善上述技术问题中的至少之一。

2、有鉴于此，本发明的第一方面在于提供一种基于视觉与激光雷达融合的矿区路面积水检测方法。

3、本发明的第一方面提供了一种基于视觉与激光雷达融合的矿区路面积水检测方法，包括如下步骤：s1：通过车载相机传感器获取路面图像数据并进行积水分割，以获得积水的边缘轮廓像素数据及其图像置信度；s2：通过车载激光雷达获取点云数据并判断图像置信度的大小是否合格，若不合格则根据反射阈值判断和平面高度方差除去非积水点云，以获得第一分割结果，根据积水语义分割标注进行分割以获得第二分割结果，融合第一分割结果和第二分割结果作为积水识别结果；若合格则提取点云数据中的地面点云并建模获得拟合平面，将所述积水的边缘轮廓像素数据投影至拟合平面构建点云凸包轮廓，对点云凸包轮廓识别获得积水识别结果；s3：对s2中的所述积水识别结果提取积水面积和积水与地面相对高度并发送至车辆控制模块。

4、本发明提供的一种基于视觉与激光雷达融合的矿区路面积水检测方法，对当前的矿区积水检测识别任务，目前基于单一传感器如雷达或图像的积水识别应用难度较大，技术难点在于难以有效的分割路面与积水；同时基于单一传感器如视觉摄像头，传统视觉方法虽可识别出积水轮廓但精度稳定性较差，同时难以获取积水相对地面高度、水坑深度、积水面积等关键属性信息，难以为车辆决策控制提供支撑。引入深度学习积水语义分割算法的多传感器融合感知的方式能够有效应对上述单传感器感知存在的问题，且具备更高的实时性、鲁棒性、高置信度；

5、对图像数据进行分割，以便将积水区域划分出来；其次，运用融合算法结合激光雷达对积水区域作进一步信息输出；

6、根据图像语义分割结果的置信度，采用图像语义轮廓像素点向地面拟合平面投影的方式，具有计算量小能够减少算力硬件设备成本的支出的优点，只在图像语义分割置信度低的情况下，采用点云数据在两种不同的算法中获得的分割结果进行融合，以给出积水轮廓，通过多传感器保证了结果的冗余性和互补性且进一步减少了硬件算力成本；

7、结合路面斜率(路面坡度)提高点云提取精度，同时提高了图像语义轮廓像素点向地面拟合平面投影的点云轮廓准确性，使得提取的轮廓内积水点云更加精准。

8、另外，根据本发明的实施例提供的技术方案还可以具有如下附加技术特征：

9、上述任一技术方案中，在步骤s1之前，所述检测识别方法还包括：对车辆安装用于获取点云数据的激光雷达和用于获取图像数据的相机传感器并进行标定；创建用于根据积水语义分割标注获得第二分割结果的点云积水语义分割模型；创建用于获取第一分割结果的地面积水点云提取算法。

10、在该技术方案中，由于在之后的积水识别结果中需要用到相机传感器和激光雷达的不同设备之间的数据，因此需要进行联合标定，以降低偏差；

11、采用多传感器的数据获取能够应对单一传感器如雷达或图像的积水识别应用难度较大，技术难点在于难以有效的分割路面与积水的问题。

12、上述任一技术方案中，所述的根据积水语义分割标注进行分割以获得第二分割结果的步骤，具体包括：获取不同环境的历史点云数据作为训练数据；将所述训练数据输入积水语义分割模型，以获得积水语义分割标注；所述积水语义分割模型根据积水语义分割标注对所述点云数据进行分割，以获得第二分割结果及其点云置信度；设定第一阈值，判断所述点云置信度是否大于第一阈值；若是则输出第二分割结果，若否则积水分割结果不可用；其中，所述第一阈值设定为0.5。

13、在该技术方案中，在图像数据不可用的情况下，地面积水点云提取深度学习算法，根据采集的点云数据进行积水语义分割标注，训练积水积水点云语义分割模型，直接使用模型进行积水点云语义分割提取，且采集不同环境场景下的数据进行积水语义分割标注训练数据，开展积水语义分割模型训练。

14、上述任一技术方案中，所述的判断图像置信度的大小是否合格采用下述方法判断：设定用于判断是否合格的第二阈值；当边缘轮廓像素数据的图像置信度小于第二阈值时，判断该边缘轮廓像素数据为不合格；当边缘轮廓像素数据的图像置信度不小于第二阈值时，判断该边缘轮廓像素数据为合格；其中，所述第二阈值设定为0.2。

15、在该技术方案中，在图像语义分割类别置信度小于等于0.2时，此时图像语义分割精度较差，相关结果不再参与后续算法模块，此时按照地面积水点云提取传统算法和深度学习算法结果融合的方法进行积水的识别及属性提取。

16、上述任一技术方案中，所述的对点云凸包轮廓识别获得积水识别结果的步骤，具体包括：判断构成所述点云凸包轮廓的边缘轮廓像素数据的分割精度；根据判断的结果设置不同的扩展边界宽度对边缘轮廓像素数据的轮廓进行外扩，以获取轮廓内点云；对所述轮廓内点云进行滤波和目标检测，以获得积水识别结果。

17、在该技术方案中，在进行图像轮廓点投影至地面拟合平面构建点云凸包轮廓之前，需要进行代表分割精度的边缘轮廓像素数据的置信度的大小，以便进行不同尺寸扩展边界宽度，以使得最终的积水属性更加精确。

18、上述任一技术方案中，所述分割精度采用下述步骤判断：设定用于判断分割精度高低且数值高于第二阈值的第三阈值，并获取边缘轮廓像素数据对应的图像置信度；当图像置信度大于第三阈值时，判断由该边缘轮廓像素数据构成的点云凸包轮廓的分割精度为高；当图像置信度不大于第三阈值且大于第一阈值时，判断由该边缘轮廓像素数据构成的点云凸包轮廓的分割精度为低；其中，所述第三阈值设定为0.5。

19、在该技术方案中，具体地采用下述规则：在图像语义分割类别置信度大于0.5时，将图像轮廓点投影至地面拟合平面，构建点云凸包轮廓，按扩展边界宽度we1对轮廓进行外扩获取轮廓内点云，对点云进行滤波和目标检测，并判断障碍物是否是积水，提取属性，为面积和相对深度；

20、在图像语义分割类别置信度小于等于0.5且大于0.2时，将图像轮廓点投影至地面拟合平面，构建点云凸包轮廓，按扩展边界宽度we2对轮廓进行外扩获取轮廓内点云，对点云进行滤波和目标检测，并判断障碍物是否是积水，提取属性，为面积和相对深度。

21、上述任一技术方案中，所述根据判断的结果设置不同的扩展边界宽度采用下述规则：当判断分割精度为高时，用于扩展边缘轮廓像素数据的轮廓的扩展边界宽度为we1；当判断分割精度为低时，用于扩展边缘轮廓像素数据的轮廓的扩展边界宽度为we2；其中，we1为5个像素值的宽度，we2为10个像素值的宽度。

22、在该技术方案中，。

23、上述任一技术方案中，所述拟合平面的坐标系与点云数据所在地面的坐标系相同。

24、在该技术方案中，将拟合平面的坐标系与点云数据所在地面的坐标系相同设置，可使得在构建点云凸包轮廓后，能够更加容易的获取积水点云，以及积水的面积和相对于地面深度。

25、上述任一技术方案中，所述获取图像数据并进行积水分割的步骤包括：对所述图像数据进行畸变修正，获得矫正图像；将所述矫正图像输入图像积水语义分割模型，得到语义分割结果；对所述语义分割结果依次进行二值化处理、腐蚀膨胀、区域联通、像素面积过滤和边缘轮廓检测，以获得边缘凸包轮廓像素数。

26、本发明与现有技术相比所具有的有益效果：

27、基于图像数据，运用深度学习语义分割模型初步对积水区域进行划分；其次，运用融合算法结合激光雷达对积水区域作进一步信息输出；

28、根据图像语义分割结果的置信度，采用图像语义轮廓像素点向地面拟合平面投影的方式，具有计算量小能够减少算力硬件设备成本的支出的优点，只在图像语义分割置信度低的情况下，启用积水点云融合模块并给出积水轮廓，通过多传感器保证了结果的冗余性和互补性且进一步减少了硬件算力成本；

29、结合路面斜率变化提高点云提取精度，同时提高了图像语义轮廓像素点向地面拟合平面投影的点云轮廓准确性，使得提取的轮廓内积水点云更加精准。

30、根据本发明的实施例的附加方面和优点将在下面的描述部分中变得明显，或通过根据本发明的实施例的实践了解到。