一种路面缺陷图像采集方法

1.本发明涉及于路面缺陷检测领域和人工智能技术领域，尤其涉及一种路面缺陷图像采集方法。


背景技术：

2.随着我国综合国力的增强，公路交通建设方面取得了空前发展，为国家经济贡献了巨大力量。随着交通量的激增，在使用的过程中产生了大量的表面缺陷。现有的道路缺陷主要包括各种裂纹、凸起、坑洞和车辙等，这些路面缺陷严重影响了行车安全。因此，能够及时发现和修补各种缺陷对道路健康和行车安全具有重大意义。
3.现如今对路面缺陷的检测已经从早期的摄像测量法、探地雷达法、激光测量和红外线测量法等发展到了今天的利用深度神经网络进行缺陷检测。尤其是以fcn、u-net和deeplabv3+等神经网络为主。然而，不管是哪一种检测方法都需要建立在丰富的路面缺陷图像数据上。有了一定的数据量之后，才能使检测方法更加快速和高效。而图像数据的获取与图像采集方法密切相关，早期研究者对路面缺陷数据进行采集时，往往需要人工手持摄像机在公路上对路面进行拍摄。这种采集方法需要大量的人工，不仅增加了人工成本，而且效率极低。在公路上作业对工作人员的人身安全也造成了隐患。在随后的发展中，研究者针对这些问题设计出了路面图像采集车，该设备利用车辆后方垂直于路面的下置摄像头对路面进行拍摄。路面裂缝数据集crack500和德国沥青路面病害数据集gaps384等大部分公开数据集就是使用此类方法得到的。尤其是gaps384，该数据集中的图像包含各种裂缝、凹坑和补丁等丰富的缺陷类型，分辨率高达1920*1080，数量更是达到了1969幅。而且这些数据集为路面缺陷检测工作做出了很大的贡献。然而，这种垂直于路面的拍摄方式拍摄的缺陷有效区域非常有限，而且在高速行驶时经常会出现模糊和掉帧等现象，造成了缺陷信息的大量丢失。想要在高速行驶时得到清晰的图像，就必须增加设备成本。所以这种方法往往不能同时兼顾低成本和高效率。因此，需要一种低成本和高效率的图像采集方法来克服上述问题。
4.丰富的路面缺陷数据能够得到更加优秀的神经网络模型，因此针对实际场景增加训练数据是一项必要的工作。为了得到更加丰富的裂缝数据以及更加多元的裂缝类型，探寻一种高效且快速的数据采集方法从而建立缺陷数据集仍是研究重点。


技术实现要素：

5.为了现有技术存在的上述技术缺陷，本发明提供了一种路面缺陷图像采集方法，可以有效解决背景技术中的问题。
6.为了解决上述技术问题，本发明提供的技术方案具体如下：
7.本发明实施例公开了一种路面缺陷图像采集方法，包括以下步骤：
8.步骤一：利用摄像机以一定的倾斜角度对路面进行连续拍摄，获得路面缺陷斜视图；
9.步骤二：对摄像机采集到的路面缺陷斜视图进行图像预处理，获得路面缺陷图像；
10.步骤三：根据得到的路面缺陷图像建立缺陷数据集。
11.在上述任一方案中优选的是，在使用时，以一定的倾斜角度对路面缺陷进行拍摄，并根据车速和路面缺陷出现和消失的拍摄有效区域对视频进行抽帧处理，这样拍摄不易出现模糊掉帧等现象，所以对设备要求较低且该方法增大了拍摄有效区域，所以在高速行驶时依然可以得到较为清晰的路面裂缝图像，这样就提升了数据采集效率。
12.在上述任一方案中优选的是，在利用摄像机对路面进行拍摄时，包括以下步骤：
13.步骤一：首先将摄像机吸附在车辆引擎盖或者后备箱上，并使得相机镜头镜面与水平路面形成大小为α的夹角；
14.步骤二：根据车速和路面缺陷出现和消失的拍摄有效区域对视频进行抽帧处理。
15.在上述任一方案中优选的是，在根据车速和路面缺陷出现和消失的拍摄有效区域对视频进行抽帧处理时，每秒抽取的帧数为n》v/d；其中n为每秒抽取的帧数，v为车速，d为相机拍摄有效区域长度。
16.在上述任一方案中优选的是，在对摄像机采集到的路面缺陷斜视图进行图像预处理时，包括以下步骤：
17.步骤一：建立yolov5目标检测模型，并进行训练；
18.步骤二：利用训练好的yolov5目标检测模型对经过抽帧后的每一帧图像进行目标检测，得到各种缺陷的类别与位置信息；
19.步骤三：利用透视变换将路面缺陷斜视图变换到路面缺陷垂直俯视图，根据各种缺陷的位置坐标信息进行图像裁剪，得到裂缝图像数据。
20.在上述任一方案中优选的是，透视变换的矩阵变换公式为：其中，[x,y,z]
t
为源点矩阵，[x,y,z]
t
为目标点矩阵，a矩阵为透视变换矩阵。
[0021]
在上述任一方案中优选的是，在利用透视变换将路面缺陷斜视图变换到路面缺陷垂直俯视图时，包括以下步骤：
[0022]
步骤一：使用opencv根据相机高度和路面缺陷有效区域估算出源视平面坐标和新视平面坐标，并获得透视变换矩阵a；
[0023]
步骤二：利用透视矩阵将原始图像变换到新视平面；
[0024]
步骤三：利用公式在新视平面内找到原始裂缝目标所对应的坐标信息，其中，(x
′
,y
′
)为源视平面任意一点对应新视平面点的坐标。
[0025]
在上述任一方案中优选的是，图像裁剪就是根据裂缝目标和坐标信息对变换之后的图像进行裁剪，得到清晰且仅包含缺陷信息的图像数据。
[0026]
在上述任一方案中优选的是，在根据得到的路面缺陷图像建立缺陷数据集时，包括以下步骤：
[0027]
步骤一：对得到的路面缺陷图像数据进行人工筛选，得到不同种类以及不同分辨
率的清晰路面缺陷图像数据；
[0028]
步骤二：对得到的不同种类以及不同分辨率的裂缝图像进行人工标注，得到与路面缺陷图像对应的png掩码图像；
[0029]
步骤三：将所有图像标注完成之后，建立缺陷图像数据集crack2000。
[0030]
在上述任一方案中优选的是，在对得到的不同种类以及不同分辨率的裂缝图像进行人工标注时，采用opencv编写的图像数据标注工具对图像预处理之后的缺陷图像进行标注，在标注时，沿着缺陷内轮廓进行逐像素标注，得到与路面缺陷图像对应的png掩码图像。
[0031]
在上述任一方案中优选的是，在于路面缺陷图像对应的png掩码图像中，每张png掩码图像均为黑白二值图像，且分为背景区域和缺陷区域，其中，png掩码图像中的白色代表了缺陷区域，黑色代表了背景区域。
[0032]
在上述任一方案中优选的是，其中路面缺陷斜视图采集自共33公里的中国内蒙古包头市部分路段，采用大疆灵眸运动相机以相机镜头镜面与水平路面形成斜角α连续拍摄沥青公路表面，其中，相机帧率为，分辨率为1920*1080，车速约，对路面进行连续拍摄，并记录相机高度，相机拍摄有效区域长度约d＝4m，则每秒抽取的帧数应为n》v/d≈5.56，才能保证在行驶过程中不会丢失缺陷信息，因此，取n＝6，也就是设置每10帧抽取1帧作为路面缺陷图像数据。
[0033]
在上述任一方案中优选的是，将获取到的路面缺陷斜视图数据进行筛选，最终得到仅包含清晰路面缺陷的8165幅图像，分辨率为1920*1080，原始数据中缺陷类型包括横纵裂缝、网状裂缝、坑洞以及各种嵌补等。有着较为丰富的背景干扰，包括水渍、雪渍、阴影和光照不均匀等，可以很好的反映路面状况，更加具有代表性。
[0034]
在上述任一方案中优选的是，原始图像中含有多种缺陷，且各种缺陷之间距离较远，为减轻后续图像分割计算量，剔除无效区域，获得仅包含缺陷的图像，使用目标检测算法进行检测，使用预先训练好的yolov5目标检测模型对原始图像进行检测，初步框选出仅包含路面缺陷的图像块，并获取到缺陷类别和缺陷的原始位置坐标信息。
[0035]
在上述任一方案中优选的是，经过原始数据采集和图像预处理，得到了不同缺陷种类以及不同分辨率的清晰缺陷图像数据，然后对预处理之后的缺陷图像进行逐像素标注，生成缺陷图像对应的png掩码图像，将所有图像标注完成之后建立了缺陷图像数据集crack2000，该数据集拥有更加复杂的背景信息以及更加多样的缺陷类型，为路面缺陷检测领域的发展提供了大量的数据支撑。
[0036]
与现有技术相比，本发明的有益效果：
[0037]
(1)本技术使用倾斜视角对路面进行拍摄，克服了传统垂直向下拍摄会造成图像模糊和失帧等缺点，提高了数据采集效率，降低了采集成本。
[0038]
(2)本技术将目标检测与透视变换相结合，设计出一种路面图像采集方法，通过该方法可以快速获得大量路面缺陷图像，具有高效率低成本的特点。
[0039]
(3)使用该采集方法构建了缺陷数据集crack2000，该数据集拥有更加复杂的背景信息，为路面缺陷检测提供了数据支撑。
附图说明
[0040]
附图用于对本发明的进一步理解，与本发明的实施例一起用于解释本发明，并不
构成对本发明的限制。
[0041]
图1是本发明实施例所提供的一种路面缺陷图像采集方法的整体结构框图；
[0042]
图2是本发明实施例所提供的一种路面缺陷图像采集方法的示意图。
[0043]
图中标号说明：
[0044]
1、摄像机；2、公路表面；3、摄像头拍摄有效区域；4、目标检测；5、透视变换 6、图像裁剪；7、机镜头镜面与水平路面的夹角；8、缺陷图像。
具体实施方式
[0045]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0046]
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
[0047]
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0048]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0049]
为了更好地理解上述技术方案，下面将结合说明书附图及具体实施方式对本发明技术方案进行详细说明。
[0050]
一种路面缺陷图像采集方法，包括以下步骤：
[0051]
步骤一：利用摄像机以一定的倾斜角度对路面进行连续拍摄，获得路面缺陷斜视图；
[0052]
步骤二：对摄像机采集到的路面缺陷斜视图进行图像预处理，获得路面缺陷图像；
[0053]
步骤三：根据得到的路面缺陷图像建立缺陷数据集。
[0054]
具体的，在利用摄像机对路面进行拍摄时，包括以下步骤：
[0055]
步骤一：首先将摄像机吸附在车辆引擎盖或者后备箱上，并使得相机镜头镜面与水平路面形成大小为α的夹角；
[0056]
步骤二：根据车速和路面缺陷出现和消失的拍摄有效区域对视频进行抽帧处理。
[0057]
进一步的，在根据车速和路面缺陷出现和消失的拍摄有效区域对视频进行抽帧处理时，每秒抽取的帧数为n》v/d；其中n为每秒抽取的帧数，v为车速，d为相机拍摄有效区域长度。
[0058]
在使用时，以一定的倾斜角度对路面缺陷进行拍摄，并根据车速和路面缺陷出现和消失的拍摄有效区域对视频进行抽帧处理，这样拍摄不易出现模糊掉帧等现象，所以对
设备要求较低且该方法增大了拍摄有效区域，所以在高速行驶时依然可以得到较为清晰的路面裂缝图像，这样就提升了数据采集效率。
[0059]
具体的，在对摄像机采集到的路面缺陷斜视图进行图像预处理时，包括以下步骤：
[0060]
步骤一：建立yolov5目标检测模型，并进行训练；
[0061]
步骤二：利用训练好的yolov5目标检测模型对经过抽帧后的每一帧图像进行目标检测，得到各种缺陷的类别与位置信息；
[0062]
步骤三：利用透视变换将路面缺陷斜视图变换到路面缺陷垂直俯视图，根据各种缺陷的位置坐标信息进行图像裁剪，得到裂缝图像数据。
[0063]
进一步的，透视变换的矩阵变换公式为：其中，[x,y,z]
t
为源点矩阵，[x,y,z]
t
为目标点矩阵，a矩阵为透视变换矩阵。
[0064]
进一步的，在利用透视变换将路面缺陷斜视图变换到路面缺陷垂直俯视图时，包括以下步骤：
[0065]
步骤一：使用opencv根据相机高度和路面缺陷有效区域估算出源视平面坐标和新视平面坐标，并获得透视变换矩阵a；
[0066]
步骤二：利用透视矩阵将原始图像变换到新视平面；
[0067]
步骤三：利用公式在新视平面内找到原始裂缝目标所对应的坐标信息，其中，(x
′
,y
′
)为源视平面任意一点对应新视平面点的坐标。
[0068]
进一步的，图像裁剪就是根据裂缝目标和坐标信息对变换之后的图像进行裁剪，得到清晰且仅包含缺陷信息的图像数据。
[0069]
在使用时，由于缺陷检测的最终目的是要对缺陷进行量化分析，计算各种缺陷的几何信息，所以对路面斜视图中的缺陷直接进行计算会增加计算量和复杂程度，因此，使用了透视变换将路面斜视图变换到垂直俯视图，之后根据各种缺陷的位置坐标信息进行图像裁剪，在见笑了计算量和计算的复杂程度的情况下，最终得到与传统采集方法效果一样的裂缝图像数据。
[0070]
具体的，在根据得到的路面缺陷图像建立缺陷数据集时，包括以下步骤：
[0071]
步骤一：对得到的路面缺陷图像数据进行人工筛选，得到不同种类以及不同分辨率的清晰路面缺陷图像数据；
[0072]
步骤二：对得到的不同种类以及不同分辨率的裂缝图像进行人工标注，得到与路面缺陷图像对应的png掩码图像；
[0073]
步骤三：将所有图像标注完成之后，建立缺陷图像数据集crack2000。
[0074]
进一步的，在对得到的不同种类以及不同分辨率的裂缝图像进行人工标注时，采用opencv编写的图像数据标注工具对图像预处理之后的缺陷图像进行标注，在标注时，沿着缺陷内轮廓进行逐像素标注，得到与路面缺陷图像对应的png掩码图像。
[0075]
进一步的，在于路面缺陷图像对应的png掩码图像中，每张png掩码图像均为黑白二值图像，且分为背景区域和缺陷区域，其中，png掩码图像中的白色代表了缺陷区域，黑色
代表了背景区域。
[0076]
该数据集拥有更加复杂的背景信息以及更加多样的缺陷类型，为路面缺陷检测领域的发展提供了大量的数据支撑。
[0077]
实施例1
[0078]
一种路面缺陷图像采集方法，包括以下步骤：
[0079]
步骤一：利用摄像机以一定的倾斜角度对路面进行连续拍摄，获得路面缺陷斜视图；其中路面缺陷斜视图采集自共33公里的中国内蒙古包头市部分路段，采用大疆灵眸运动相机以相机镜头镜面与水平路面形成斜角α连续拍摄沥青公路表面，其中，相机帧率为，分辨率为1920*1080，车速约，对路面进行连续拍摄，并记录相机高度，相机拍摄有效区域长度约d＝4m，则每秒抽取的帧数应为n》v/d≈5.56，才能保证在行驶过程中不会丢失缺陷信息，因此，取n＝6，也就是设置每10帧抽取1帧作为路面缺陷图像数据。
[0080]
将获取到的路面缺陷斜视图数据进行筛选，最终得到仅包含清晰路面缺陷的8165幅图像，分辨率为1920*1080，原始数据中缺陷类型包括横纵裂缝、网状裂缝、坑洞以及各种嵌补等。有着较为丰富的背景干扰，包括水渍、雪渍、阴影和光照不均匀等，可以很好的反映路面状况，更加具有代表性。
[0081]
步骤二：对摄像机采集到的路面缺陷斜视图进行图像预处理，获得路面缺陷图像；
[0082]
原始图像中含有多种缺陷，且各种缺陷之间距离较远，为减轻后续图像分割计算量，剔除无效区域，获得仅包含缺陷的图像，使用目标检测算法进行检测，使用预先训练好的yolov5目标检测模型对原始图像进行检测，初步框选出仅包含路面缺陷的图像块，并获取到缺陷类别和缺陷的原始位置坐标信息。
[0083]
步骤三：根据得到的路面缺陷图像建立缺陷数据集。
[0084]
经过原始数据采集和图像预处理，得到了不同缺陷种类以及不同分辨率的清晰缺陷图像数据，然后对预处理之后的缺陷图像进行逐像素标注，生成缺陷图像对应的png掩码图像，将所有图像标注完成之后建立了缺陷图像数据集crack2000，该数据集拥有更加复杂的背景信息以及更加多样的缺陷类型，为路面缺陷检测领域的发展提供了大量的数据支撑。
[0085]
与现有技术相比，本发明提供的有益效果是：
[0086]
(1)本技术使用倾斜视角对路面进行拍摄，克服了传统垂直向下拍摄会造成图像模糊和失帧等缺点，提高了数据采集效率，降低了采集成本。
[0087]
(2)本技术将目标检测与透视变换相结合，设计出一种路面图像采集方法，通过该方法可以快速获得大量路面缺陷图像，具有高效率低成本的特点。
[0088]
(3)使用该采集方法构建了缺陷数据集crack2000，该数据集拥有更加复杂的背景信息，为路面缺陷检测提供了数据支撑。
[0089]
以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。