一种基于LSD和FLD融合的道路裂缝图像预处理方法

本发明属于图像处理领域，涉及一种道路裂缝图像干扰物消除的方法。

背景技术：

1、裂缝类破损是公路最常见的病害之一,它会致使路面结构遭到损坏,从而降低路面整体性能和寿命，随着路面养护需求的增强，裂缝自动检测系统对路面养护极为重要，路面裂缝的参数信息有：种类、位置、损害程度和长宽深度等信息。由于路面的状况是复杂多变的，故检测路面裂缝信息仍有如下挑战：(1)难以迅速、正确、完整且平稳地识别路面裂缝；(2)裂缝识别算法的评价机制不够健全；(3)缺乏对路面裂缝种类和严重程度进行自动判别的成熟的系统。其中，难以迅速、正确、完整且平稳地识别路面裂缝是道路病害治理的重中之重，降低裂缝图像中非裂缝目标的干扰可有效提高裂缝识别的准确性。

技术实现思路

1、3.1发明目的

2、为解决裂缝检测中干扰物影响裂缝识别问题，本发明提出了一种基于lsd(linesegment detector)和fld(fast line detector)融合的道路裂缝图像预处理方法，用于消除道路裂缝图像中的直线类干扰物，提高道路裂缝检测的准确率，具体技术方案包括以下4个部分：

3、(1)直线检测：通过lsd算法和fld算法对裂缝图像中的直线类干扰物(路标，路沿等)进行检测，并获取其线段坐标；

4、(2)断线重连：根据获取的线段坐标进行断线重连，解决提取线段不连续问题；

5、(3)获取掩模图：根据前面获取的干扰物的线段坐标，生成只有干扰物的掩模图；

6、(4)消除干扰物：利用掩模图和原图通过fmm(fastmarching method)算法，将原图中的干扰物替代为周围像素，达到消除干扰物的目的；

7、3.2技术方案

8、本发明提出了一种基于lsd和fld融合的道路裂缝图像预处理方法，以下就其具体技术方案进行详细的描述，其主要流程如图1所示：

9、直线检测阶段：lsd是一种直线检测算法，该算法是基于目标梯度的运算，能快速地检测出图像上亚像素级精度的直线特征；fld直线检测算法是一种基于边缘检测的直线检测算法，其原理是通过对图像边缘进行分析，找到其中的直线特征。

10、本发明是关于裂缝图像的直线检测，所以在检测的过程中还要考虑不能将裂缝检测为直线。针对此问题，结合滤波、膨胀等传统预处理方法，提出了基于灰度级直方图自适应的结合不同阈值的lsd算法和fld算法，来进行识别裂缝图像中的直线型干扰物。具体实现方法为：结合图像的灰度级直方图，统计获取裂缝图像中直线所占灰度级的具体范围以及该灰度级范围所占像素的总数，根据输入图像的不同自适应地使用lsd算法和fld算法。首先，用labelme标注出粗细直线，生成mask图；其次，根据mask图和原图结合，生成直方图，可得直线的灰度级范围为0～60(如图2所示)；然后，将所有图像分为细直线和粗直线两组，分别统计每张图像灰度级在0～60的像素值，获得粗线的像素值最小值min_pixel和细线像素值最大值max_pixel；最后，根据min_pixel和max_pixel使用lsd算法和fld算法检测裂缝图像中的直线。在对道路裂缝图像进行预处理时，需要既快速又高效的方法，因此本发明运用自适应的方法来进行直线检测。不使用自适应的情况下进行本发明的预处理工作(流程图如图3所示)，会因为每张图像都经过三次直线检测和三次直线消除工作而造成处理时间变长；使用自适应的方法后，图像灰度级在0～60的像素值高于130000的不经过fld直线处理，低于10000的不经过lsd直线处理(如图4所示)，在不降低直线检测率的情况下，大大的节省了预处理的时间。根据图像灰度值的不同使用不同的直线检测算法，fld算法检测长细类直线，lsd算法检测长粗类直线和短直线。

11、断线重连阶段：根据直线的不同所用的算法和算法的阈值不同，但部分直线会出现识别断续的情况,如图5所示，因此本发明利用直线检测返回的直线坐标列表进行断线重连的工作，主要流程如下：

12、(1)创建空数组x1[],y1[],x2[],y2[]，用于存放线段的首尾坐标值；

13、(2)遍历当前图像直线检测算法返回的线段坐标列表，根据需求返回长度在阈值范围内的线段首尾坐标(x1,y1),(x2,y2),并将其分别存放在预先创建好的数组中；

14、(3)通过双重遍历x1[],y1[],x2[],y2[],计算当前线段的斜率k1，截距d1；根据待比较线段的首尾坐标(x3,y3),(x4,y4)计算其斜率k2，截距d2；再计算两条线段的距离dis；

15、(4)由于裂缝图像中直线基本上是水平和竖直的，所以需要分情况来连接新直线：如果k1＝k2＝∞,则计算x1与x3的差值的绝对值，若小于3且dis小于500,则将当前线段的尾坐标和待比较的线段的首坐标连接成一条新的直线；如果k1＝∞,x3与x4差值的绝对值小于5，或者k2＝∞，x1与x2差值的绝对值小于5，且dis小于500，则将当前线段的尾坐标和待比较的线段的首坐标连接成一条新的直线；如果k1＝k2＝0,则计算y1与y3的差值的绝对值，若小于3且dis小于500，则将当前线段的尾坐标和待比较的线段的首坐标连接成一条新的直线；如果k1，k2都小于-1，或者都大于1，则若d1与d2差值的绝对值小于10且dis小于500，则将当前线段的尾坐标和待比较的线段的首坐标连接成一条新的直线；如果k1,k2都在-1到1之间(包括-1，1，但不包括0)，若k1和k2差值的绝对值小于0.1，d1与d2差值绝对值在5，dis小于500,则将当前线段的尾坐标和待比较的线段的首坐标连接成一条新的直线。

16、斜率公式：

17、

18、

19、截距公式：

20、

21、距离公式：

22、

23、(5)重复步骤(3)(4)，直到图像中每一条直线都相互比较完成。

24、不连续线段的重连机制，解决了直线不连续的问题，使得直线的消除工作更彻底，同时也降低了裂缝检测的误识别率。

25、消除干扰物阶段：fmm算法是基于快速行进的方法，考虑图像中要修复的区域，算法从该区域的边界开始，并进入该区域内部；首先逐渐填充边界中的所有内容，在要修复的邻域像素周围挖掘一个小的邻域；然后该像素被附近所有已知像素的归一化加权总和所代替，因此权重的选择很重要，那些位于该点附近，边界法线附近的像素和那些位于边界轮廓线上的像素将获得更大的权重；最后，修复该像素后，将使用快速行进方法将其移动到下一个最近的像素，以此往复。本发明则是先通过直线检测算法对图像中的直线类干扰物进行检测，然后生成仅有直线类干扰物的mask图，再根据mask图对原图进行fmm算法进行处理，其结果如图6所示。

26、3.3有益效果

27、根据道路裂缝检测场景的复杂性，为了验证本发明算法在不同场景下的适用性，将道路分为3类不同场景：接缝类，斑马线、箭头等路标类，路沿线类。使用本发明的算法分别对不同场景的裂缝图像进行处理。

28、(1)接缝类场景下的预处理实验结果

29、接缝是一条很细并且颜色比较深的一条直线，而裂缝也是比较细，颜色比较深的线，两者的区别就是裂缝是不规则有分支的纹路，接缝是比较笔直的没有分支的线，所以本发明结合直线检测算法可以有效去除这类干扰，裂缝检测实验结果如图7所示。

30、(2)路标线类场景下的预处理实验结果

31、地面路标是由油漆刷的，时间久了就会出现开裂的情况，但这并不属于沥青路面的裂缝，而这种线条是最接近裂缝的线条，因此机器识别时候也特别容易将其识别为裂缝，造成误识别率提高。通过本发明进行消除，裂缝检测实验结果如图8所示。

32、(3)路沿线类场景下的预处理实验结果

33、在进行裂缝图像数据采集时，会出现道路两边是地砖铺成的道路，而这种道路会有规则的砖缝线条，而在后期进行裂缝识别时，这类线条也是很容易被误识别为裂缝的，因此也可以通过直线检测将其去除。裂缝检测实验结果如图9所示。

34、同时为验证本发明直线检测算法比其它直线检测算法检测效果更优，将本发明算法与其他算法检测直线结果进行对比，效果图如图10所示。

35、综上所述两种对比实验结果显示，本发明的优点体现在以下几点：1.该方法将道路裂缝图像中最容易被误识别为裂缝的干扰项消除，极大地提高裂缝识别的准确度；2.运用断线重连机制，提高直线检测的完整度，消除干扰线更彻底；3.实现方法与平台简单，执行效率高。