一种面向低信号场景下的雷视融合型交通安全设施公交巡测方法及系统与流程

本发明涉及交通安全设施巡测，具体涉及一种面向低信号场景下的雷视融合型交通安全设施公交巡测方法及系统。

背景技术：

1、随着城市化进程的加快，交通安全设施在保障道路安全和顺畅运行中发挥着越来越重要的作用。这些交通安全设施包括交通信号灯、标志牌、护栏、行人过街设施等。

2、目前，随着交通流量的增加，及时准确地对交通安全设施进行巡检和维护变得尤为重要，但在实际巡检过程中存在诸多挑战，尤其是在低信号环境下的巡检任务；现有的交通安全设施巡检方法大多依赖人工巡查或单一传感器进行数据采集，导致在一些地形复杂或城市高楼密集的区域中实时动态定位rtk信号常常受到遮挡，从而使得位置数据的不稳定和不准确，且这种情况下现有的gnss定位系统普遍无法提供可靠的数据支持，从而影响巡检的准确性和效率；现有的巡检系统往往仅依赖单一类型的传感器进行数据采集，导致缺乏多传感器的数据融合能力，这限制了系统在不同环境条件下的适应能力，难以充分发挥各类传感器的优势；现有的人工巡检方式不仅耗时且容易受到人为因素的影响，导致巡检结果的可靠性和一致性不足，同时人工巡检难以实现实时监控和动态调整，无法满足现代城市交通管理的需求；因此，需要设计一种面向低信号场景下的雷视融合型交通安全设施公交巡测方法及系统。

技术实现思路

1、本发明的目的是克服现有技术的不足，为更好的有效解决信号弱或无覆盖区域内交通安全设施的精准巡检与数据采集的问题，提供了一种面向低信号场景下的雷视融合型交通安全设施公交巡测方法及系统，其实现了具有在低信号环境下采用城市公共服务车辆巡测的方式对交通安全设施进行高精度巡检的功能，且通过集成激光雷达、相机、gnss和imu传感器能在rtk信号弱或无信号的情况下利用多源数据融合技术提高交通安全设施的定位精度，不仅确保了巡检结果的可靠性，还提升了巡检效率。

2、为了达到上述目的，本发明所采用的技术方案是：

3、一种面向低信号场景下的雷视融合型交通安全设施公交巡测方法，包括以下步骤，

4、步骤a，根据巡检任务在城市公共服务车辆上配置激光雷达、相机、全球导航卫星模组gnss和惯性测量传感器imu并分别采集相应数据，从而获得采集数据；

5、步骤b，对采集数据采用拓展卡尔曼滤波算法ekf进行融合并得到融合后数据；

6、步骤c，对融合后数据采用高增益实时动态载波相位差分天线rtk和实时补偿算法进行定位误差修正并得到修正后数据；

7、步骤d，基于修正后数据，采用yolo算法对交通安全设施进行目标检测和特征提取，获得交通安全设施类别和位置坐标；

8、步骤e，对获得的交通安全位置坐标结合融合后数据和修正后数据中的位置补偿信号进行精确定位，再对获得的交通安全设施类别进行特征分析并提取形状特征进行3d建模，从而追踪交通安全设施的变化情况，进而完成对低信号场景下的交通安全设施巡测作业。

9、前述的一种面向低信号场景下的雷视融合型交通安全设施公交巡测方法，步骤a，根据巡检任务在城市公共服务车辆上配置激光雷达、相机、全球导航卫星模组gnss和惯性测量传感器imu并分别采集相应数据，从而获得采集数据，其中具体是采用激光雷达采集点云数据、相机获取视觉数据和惯性测量传感器imu记录姿态数据，且全球导航卫星模组gnss的信号状态为，这样在低信号信号下全球导航卫星模组gnss的信号状态，而采集数据的输入为，设交通安全设施的真实位置为，惯性测量传感器imu的状态传播模型如公式（1）所示，

10、（1）

11、其中，为速度，为加速度数据，为时间步长。

12、前述的一种面向低信号场景下的雷视融合型交通安全设施公交巡测方法，步骤b，对采集数据采用拓展卡尔曼滤波算法ekf进行融合并得到融合后数据，具体是将点云数据、视觉数据和姿态数据整合为统一的状态估计并计算出交通安全设施的精确位置，具体步骤如下，

13、步骤b1，采用拓展卡尔曼滤波算法ekf进行预测更新的过程，如公式（2）所示，

14、，

15、（2）

16、其中，为融合后状态估计，为状态转移函数，为融合后交通安全设施精确位置，为状态转移矩阵，为过程噪声协方差矩阵；

17、步骤b2，通过点云数据和视觉数据获取观测值并更新估计状态，如公式（3）所示，

18、，

19、（3）

20、其中，为更新后状态估计，为激光雷达与视觉数据提供的观测值，为卡尔曼增益，为观测矩阵，为观测函数，为更新后交通安全设施精确位置。

21、前述的一种面向低信号场景下的雷视融合型交通安全设施公交巡测方法，步骤c，对融合后数据采用高增益实时动态载波相位差分天线rtk和实时补偿算法进行定位误差修正并得到修正后数据，具体是设误差，再使用补偿算法将误差加入预测模型中修正，如公式（3）所示，

22、（4）

23、其中，为修正后位置信息，融合后位置信息，为误差修正系数。

24、前述的一种面向低信号场景下的雷视融合型交通安全设施公交巡测方法，步骤d，基于修正后数据，采用yolo算法对交通安全设施进行目标检测和特征提取，获得交通安全设施类别和位置坐标，具体是将从视觉数据中提取的视觉特征设为及从点云数据提取的点云特征设为，再将视觉特征和点云特征进行组合得到综合特征，接着将综合特征输入至到分类器中并对交通安全设施进行识别和分类，且不同种类的交通安全设施，而分类器输出为交通安全设施类别及对应的位置坐标，其中采用yolo算法对交通安全设施进行目标检测和特征提取的具体步骤如下，

25、步骤d1，数据准备，对修正后数据进行图像增强、图像缩放和图像归一化处理从而转换为适合yolo算法模型输入的格式；

26、步骤d2，模型架构，所述yolo算法模型由特征提取层和全连接层构成，所述特征提取层用于采用卷积和池化操作提取输入图像中的交通安全设施形状特征和交通安全设施颜色特征，所述全连接层用于将提取特征映射到目标类别预测及边界框坐标预测并输出交通安全设施的类别概率和交通安全设施边界框坐标；

27、步骤d3，目标监测，所述yolo算法模型将整个图像划分为个网格，且每个网格均用于负责预测其区域内的交通安全设施，如公式（5）所示，

28、，（5）

29、其中，为交通安全设施的类别概率，为交通安全设施边界框坐标，和为边界框中心的相对坐标，和为边界框的宽度和高度；

30、步骤d4，后处理，通过非极大值抑制nms算法过滤掉重复边界框并选取置信度最高框作为最终检测结果，所述非极大值抑制nms算法如公式（6）所示，

31、（6）

32、其中，为交并比，所述交并比用于表示两个边界框的重叠程度；

33、步骤d5，目标监测，分类并标记交通安全设施位置。

34、前述的一种面向低信号场景下的雷视融合型交通安全设施公交巡测方法，步骤e，对获得的交通安全位置坐标结合融合后数据和修正后数据中的位置补偿信号进行精确定位，再对获得的交通安全设施类别进行特征分析并提取形状特征进行3d建模，从而追踪交通安全设施的变化情况，进而完成对低信号场景下的交通安全设施巡测作业，其中具体是基于补偿后的位置信息修正交通安全设施的位置误差，设交通安全设施的真实位置为，如公式（7）所示，

35、（7）

36、其中，为采用视觉和激光雷达估计得到的交通安全设施偏移量。

37、一种面向低信号场景下的雷视融合型交通安全设施公交巡测系统，包括数据采集模块、数据融合模块、数据修正模块、目标检测模块和定位建模模块，所述数据采集模块用于根据巡检任务在城市公共服务车辆上配置激光雷达、相机、全球导航卫星模组gnss和惯性测量传感器imu并分别采集相应数据，从而获得采集数据；所述数据融合模块用于对采集数据采用拓展卡尔曼滤波算法ekf进行融合并得到融合后数据；所述数据修正模块用于对融合后数据采用高增益实时动态载波相位差分天线rtk和实时补偿算法进行定位误差修正并得到修正后数据；所述目标检测模块用于基于修正后数据采用yolo算法对交通安全设施进行目标检测和特征提取并获得交通安全设施类别和位置坐标；所述定位建模模块用于对获得的交通安全位置坐标结合融合后数据和修正后数据中的位置补偿信号进行精确定位，再对获得的交通安全设施类别进行特征分析并提取形状特征进行3d建模，从而追踪交通安全设施的变化情况，进而完成对低信号场景下的交通安全设施巡测作业。

38、本发明的有益效果是：本发明的一种面向低信号场景下的雷视融合型交通安全设施公交巡测方法及系统，首先根据巡检任务在城市公共服务车辆上配置激光雷达、相机、全球导航卫星模组gnss和惯性测量传感器imu并分别采集相应数据从而获得采集数据，再对采集数据采用拓展卡尔曼滤波算法ekf进行融合并得到融合后数据，接着对融合后数据采用高增益实时动态载波相位差分天线rtk和实时补偿算法进行定位误差修正并得到修正后数据，再基于修正后数据采用yolo算法对交通安全设施进行目标检测和特征提取并获得交通安全设施类别和位置坐标，随后对获得的交通安全位置坐标结合融合后数据和修正后数据中的位置补偿信号进行精确定位，再对获得的交通安全设施类别进行特征分析并提取形状特征进行3d建模，从而追踪交通安全设施的变化情况，进而完成对低信号场景下的交通安全设施巡测作业；本发明实现了具有在低信号环境下采用城市公共服务车辆巡测的方式对交通安全设施进行高精度巡检的功能，且通过集成激光雷达、相机、gnss和imu传感器能在rtk信号弱或无信号的情况下利用多源数据融合技术提高交通安全设施的定位精度，不仅确保了巡检结果的可靠性，还提升了巡检效率，本发明还通过实时补偿算法和自适应巡检策略能动态调整传感器参数从而优化数据采集质量，这种智能化的巡检过程不仅减少了人工干预的需求，还显著提高了巡检的速度和效率，同时采用深度学习模型进行目标检测能准确识别交通安全设施，且通过综合分析修复后的信号数据能实现对交通安全设施的精准定位，这为后续的维护和修复工作提供了重要依据，本发明以城市公共服务车辆为载体克服传统巡检方法的局限性，提升了交通安全设施巡检的智能化水平和作业质量，为城市交通管理提供更加高效、可靠的技术支持，且采用数据融合算法能将视觉和雷达信息整合从而克服各自的局限性，不仅提供了更全面的道路状况评估，从而提高了检测能力。