基于图像识别技术的道路病害智能识别方法及系统与流程

本发明涉及道路病害识别，具体涉及基于图像识别技术的道路病害智能识别方法及系统。

背景技术：

1、目前，路面病害检测一直采用基于人工视觉的现场调查方法，即一个具有检测经验的工作人员行走在路肩上或者坐在慢速行驶的车里，依靠眼睛的视觉观察，将路面上的病害状况记录在册，记录信息包括路面病害的位置、类型、严重程度和数量，然后回到室内计算路面破损程度，该方法存在成本高、精确度低、影响交通、不安全、浪费时间等诸多不足，己经不能满足当前路面病害检测工作的要求。

技术实现思路

1、本发明的目的在于提供基于图像识别技术的道路病害智能识别方法及系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：基于图像识别技术的道路病害智能识别方法，包括：

3、步骤s1：捕捉道路图像，对道路图像进行预处理；

4、步骤s2：从预处理后的道路图像中提取边缘特征、纹理特征和直线特征；

5、步骤s3：对提取的边缘特征、纹理特征和直线特征进行分类训练，识别道路图像中不同类型的道路病害，并定位道路病害区域，从定位道路病害区域的不同视角道路图像中生成三维点云数据，从三维点云数据中重建道路表面图像；

6、步骤s4：评估重建道路表面图像的道路病害严重程度，并对道路病害严重程度进行预测，获得道路表面图像预测病害识别结果；

7、步骤s5：将道路表面图像预测病害识别结果生成为检测报告，并存储。

8、进一步，步骤s1中对道路图像进行预处理，具体过程为：

9、步骤s11：将摄像头固定在检测车辆或无人机上，设置采样频率，通过使用摄像头捕捉道路图像，激光雷达传感器与摄像头同步工作，获取道路表面的高度差异数据；

10、步骤s12：利用同步接口板同步摄像头和激光雷达传感器的时间戳，确保获取道路表面的高度差异数据一致性；

11、步骤s13：采用中值滤波算法去除道路图像噪声；

12、步骤s14：使用直方图均衡化算法提升道路图像质量和对比度；将捕捉道路图像转换为灰度的道路图像，使用加权平均法将不同模态进行融合，不同模态包括道路图像和激光雷达传感器获取道路表面的高度差异数据，通过加权平均法根据不同模态的重要性分配不同的权重，将不同模态结合起来，以实现更准确的病害识别；

13、步骤s15：使用双线性插值算法将道路图像尺寸调整为固定大小，使用双边滤波算法对调整为固定大小的道路图像进行边缘保持平滑处理，减少道路图像中的噪声和细节，同时保持边缘和重要的清晰度。

14、进一步，步骤s2中从预处理后的道路图像中提取边缘特征、纹理特征和直线特征，具体过程为：

15、步骤s21：使用索贝尔算子计算道路图像的梯度幅值和方向，细化边缘，保留道路图像中局部最大值，采用高低阈值检测道路图像边缘，连接道路图像强边缘和弱边缘，获得道路图像中的边缘特征；将经过边缘检测的道路图像转换为二值图像；

16、使用局部二值模式算法分析二值图像中纹理特征，表示为：

17、lbp（x,y）=（ip-i（x,y））2p（1）；

18、式中，lbp（x,y）表示在坐标（x,y）处计算得到的局部二值模式分析道路图像纹理特征；表示中心像素周围的像素个数；表示一个符号函数；ip表示中心像素i（x,y）周围的像素值；i（x,y）表示图像在坐标（x,y）处的灰度值；2p表示中心像素2（x,y）周围的像素值；x和y均表示图像中的像素坐标；

19、检测二值图像中道路裂缝的直线特征，使用标准霍夫变换算法，表示为：

20、[ρ=xcosa+ysina]（2）；

21、式中，ρ表示从图像原点到检测到的直线的垂直距离；xcosa表示余弦值；ysina表示正弦值；

22、步骤s22：通过将二值图像中的边缘点映射到参数空间，二值图像中的边缘点在参数空间中形成曲线，通过累积器从形成曲线中找到直线的参数，从累积器找到直线的参数中提取具有高累积值的直线；

23、步骤s23：线段检测：通过一种改进的ransac方法去检测从累积器中提取具有高累积值的直线进行检测，得到二值图像中道路裂缝的直线特征；应用膨胀和腐蚀操作来处理道路裂缝的直线特征，使得裂缝的边缘更加连续，并去除不必要的噪点。

24、进一步，步骤s3中重建道路表面图像，具体过程为：

25、步骤s31：将边缘特征、纹理特征和直线特征输入到深度学习模型，使用深度学习模型对边缘特征、纹理特征和直线特征进行分类训练，识别道路图像中不同类型的道路病害；

26、步骤s32：使用交叉验证方法评估深度学习模型性能，采用u型网络进行识别道路图像中不同类型的道路病害进行分割，准确定位道路病害区域，将识别定位道路病害区域以标注形式输出到最开始捕捉道路图像上，显示道路图像病害类型和位置；

27、步骤s33：使用运动结构恢复技术从定位病害区域的不同视角道路图像中生成三维点云数据，通过sift算法在不同视角道路图像中获取道路表面高度差异数据进行匹配，再使用粒子群算法估计摄像头和激光雷达传感器的姿态，通过捆绑调整算法优化三维点云数据，使用泊松表面重建算法从三维点云数据中重建道路表面图像。

28、进一步，步骤s4中获得道路表面图像预测病害识别结果，具体过程为：

29、通过对道路图像的分割计算道路图像中病害的面积，表示为：

30、[a=∑ni=1s（qi）]（3）；

31、式中，a表示道路图像中病害的面积；n表示分割图像中病害区域的像素数量；s（qi）表示病害区域的面积；qi表示病害区域；

32、结合重建道路表面图像计算道路图像中病害体积，表示为：

33、[v=∑ni=1v（qi）]（4）；

34、式中，v表示道路图像中病害体积；v（qi）表示病害区域的体积；

35、基于道路图像中病害的面积和道路图像中病害体积，使用神经网络模型评估重建道路表面图像的道路病害严重程度，表示为：

36、[b=f（a,v）]（5）；

37、式中，b表示重建道路表面图像的道路病害严重程度；f表示神经网络模型；

38、通过采用随机森林的机器学习算法对重建道路表面图像的道路病害严重程度来计算，得到道路表面的剩余寿命和维护需求，作为道路表面图像预测病害识别结果。

39、进一步，步骤s5中将道路表面图像预测病害识别结果生成为检测报告，具体过程为：

40、步骤s51：将捕捉的道路图像和道路表面图像预测病害识别结果存储到关系型数据库中，定期对捕捉的道路图像和道路表面图像预测病害识别结果进行备份，使用定时任务调度，将备份文件存储在远程服务器上，通过搜索引擎解决方案实现对捕捉的道路图像和道路表面图像预测病害识别结果快速检索和查询；

41、步骤s52：通过排版系统将道路表面图像预测病害识别结果生成为检测报告，采用基于计算机编程语言的绘图库对生成为道路表面图像预测病害识别结果的检测报告进行视化展示，设计交互式图表，使用基于计算机编程语言的绘图库进行三维点云数据的视化展示，生成交互式三维模型，将生成的检测报告通过电子邮件发送给相关人员，并提供在线访问链接。

42、进一步，步骤s4中，在评估重建道路表面图像的道路病害严重程度之前；

43、将定期收集新环境下的道路图像和道路表面图像预测病害识别结果作为样本数，样本数用来扩展关系型数据库中关于道路病害信息数据，使用迁移学习技术，对神经网络模型参数进行微调，适应新环境的数据变化，表示为：

44、（6）；

45、式中，表示平均损失函数；表示对所有n个样本的损失值求平均，即将每个样本的损失值相加然后除以样本数n，得到平均损失函数；n表示样本数；l（,）为主要的损失函数部分，表示神经网络模型预测值与真实标签之间的误差；l表示损失函数；表示神经网络模型损失函数；表示第i个样本数的输入边缘特征、纹理特征和直线特征；表示神经网络模型参数；表示第i个样本数的真实值；λφ（θ）表示正则化项，来控制神经网络模型的复杂性，防止过拟合；表示正则化强度的超参数，决定正则化的权重；

46、在评估重建道路表面图像的道路病害严重程度运行过程中，使用随机梯度下降算法实时更新神经网络模型参数。

47、进一步，步骤s12中，在利用同步接口板同步摄像头和激光雷达传感器的时间戳之前；

48、通过时间戳同步数据，同步数据采集来自摄像头和激光雷达传感器的道路表面高度差异数据，保证道路表面高度差异数据一致性，使用滤波器进行道路表面高度差异数据融合，将摄像头和激光雷达传感器的同步数据对齐，使用迭代最近点算法，表示为：

49、<mstyle displaystyle="false"><munderover><mo>∑</mo><mi>i=1</mi><mi>n</mi></munderover><mi>b</mi></mstyle><mi>z</mi><mi>i</mi><mi>-</mi><mi>（</mi><mi>r</mi><mi>q</mi><mi>i+t</mi><mi>）</mi><mi>2]</mi>（7）；

50、式中，表示欧几里得距离；表示目标点云中的点；表示旋转矩阵；表示源点云中的点；表示平移向量；

51、结合道路表面图像和三维点云数据，使用加权平均法对道路表面图像和三维点云数据进行融合，采用深度学习模型进行识别道路表面图像病害或缺陷，通过融合摄像头和激光雷达传感器，来提升深度学习模型在识别道路表面图像病害时准确率，通过实际道路数据验证提升深度学习模型在识别道路表面图像病害时准确率的效果。

52、进一步，基于图像识别技术的道路病害智能识别系统，用于任一项基于图像识别技术的道路病害智能识别方法，包括：

53、图像采集和预处理模块，用于捕捉道路图像，对道路图像进行预处理；

54、特征提取模块，用于从预处理后的道路图像中提取边缘特征、纹理特征和直线特征；

55、病害识别和三维重建模块，用于对提取的边缘特征、纹理特征和直线特征进行分类训练，识别道路图像中不同类型的道路病害，并定位道路病害区域，从定位道路病害区域的不同视角道路图像中生成三维点云数据，从三维点云数据中重建道路表面图像；

56、病害评估模块，用于评估重建道路表面图像的道路病害严重程度，并对道路病害严重程度进行预测，获得道路表面图像预测病害识别结果；

57、数据存储与管理和报告生成与可视化模块，用于将道路表面图像预测病害识别结果生成为检测报告，并存储。

58、与现有的技术相比，本发明具备以下有益效果：（1）本发明利用图像识别技术能够自动化处理大量的道路图像数据，快速识别病害区域，显著减少人工巡查的时间和劳动强度，通过实时处理道路图像数据，能够即时发现和报告道路病害，及时采取维护措施，减少病害对交通安全的影响。

59、（2）本发明借助先进的道路图像识别和深度学习模型，可以实现高精度的病害识别，避免人工检测道路图像中的误差和漏检现象，系统化的道路图像识别可以保证检测结果的一致性，不受人工操作的影响，提高病害检测的可靠性。

60、（3）本发明高分辨率摄像头和激光雷达传感器，系统能够准确获取道路表面和环境数据，为后续病害识别提供高质量的数据支持，减少了对人工巡检的依赖，降低了人力成本和培训费用，通过精准的病害定位和评估，优化维护资源的使用，避免不必要的重复检查和修复工作。

61、（4）本发明通过定期检测和实时监控，能够及早发现潜在的病害问题，提前进行预防性维护，减少事故发生率，系统能够覆盖大面积的道路，确保所有病害都能及时被发现和处理，提高整体道路安全水平。

62、（5）本发明系统能够积累和分析大量历史病害数据，帮助管理者了解病害发展趋势和模式，为决策提供数据支持，采用深度学习模型进行病害分类，并使用u型网络进行图像分割，系统能够准确识别和定位各种类型的道路病害，对病害数据进行智能分析，预测病害的发展情况和道路的使用寿命，优化维护策略。

63、（6）本发明通过精准的病害检测和维护计划，减少了重复施工的次数，降低了对环境的破坏和资源浪费，高效的检测和维护减少了车辆和相关监测设备的使用频率，节约了能源消耗，减少了碳排放。

64、（7）本发明快速精准的病害检测和修复减少了道路封闭和交通干扰，提高了道路通行效率，提升了公众出行体验，通过智能系统提供的详细报告和数据，公众能够了解道路维护情况，增强对道路管理的信任和满意度。