一种基于深度学习的路面质量评估方法

1.本发明属于路面质量评估技术领域，尤其涉及一种基于深度学习的路面质 量评估方法。


背景技术：

2.公路作为衡量一个国家民生发展的重要保障之一，其养护和维修的工作随 之也变得越来越重要，随着这些公路的长时间使用，它们也在不断遭受着降水、 降雪等自然因素的侵蚀，长此以往，细小的裂缝在整个路面上不断产生，久而 久之，它们逐渐扩大并延伸，从而产生坑洞、凹陷等破损状况，进而损坏整个 路面结构。这种情况下，不但路面的寿命被大幅度缩减，也会从一定程度上给 人民的出行带来不便，严重情况下甚至会承担引发交通事故的风险。
3.在路面检测领域上，随着国家在科学计算领域上的不断攻坚和突破，数字 图像处理技术逐渐又被应用在路面检测这一领域上。它主要是通过采集设备获 取到相关检测图像或视频，然后通过一系列噪声去除、图像分割以及有效的特 征提取对图像的边缘进行检测的计算过程，从而得到最终的检测图像结果。然 而，由于目前的图像处理的信息大部分都为二维，数据量较大，因此，这一方 式就对进行操作的计算机的处理速度以及存储容量的要求较高；同时，在对路 面破损状况之一的路面裂缝这一现象进行处理时，由于大部分裂缝存在线条杂 乱交错，方向不定的特点，因此包含源图像一般表现出灰度值低于附近灰度值 的现象，在处理时产生明显线条边界感，但也存在很多裂缝处灰度值与相邻区 域灰度值差异较小的情况，无明显边界生成，这从一定程度上给检测过程带来 了难度。
4.后来随着深度学习的发展与应用，相关研究人员也开始将深度学习应用于 路面检测领域，以此来提高其检测的准确度和速度。然而，虽然现有利用深度 学习在路面破损检测领域也获得了很多的成果，但也有一定的弊端所在，主要 分为以下两方面：(1)路面损伤检测类别数较少；(2)总体检测性能不佳。


技术实现要素：

5.针对现有技术中的上述不足，本发明提供的一种基于深度学习的路面质量 评估方法，解决了针对现今路面检测领域中存在的检测破损类别数较少和检测 的精准度和召回率不均衡的问题。
6.为了达到以上目的，本发明采用的技术方案为：
7.本方案提供一种基于深度学习的路面质量评估方法，包括以下步骤：
8.s1、采集路面图像，并对路面图像进行预处理；
9.s2、对经预处理后的路面图像进行标注，构建检测模型，并利用经标注后 的路面图像训练检测模型；
10.s3、将训练好的检测模型部署至移动端，并利用部署有检测模型的移动端 对路面质量进行评估。
11.本发明的有益效果是：本发明在进行实际路面检测时，能在检测到的路面破损现象的种类更多的同时产生的误检和漏检现象更少；除此之外，在部署到安卓端进行实时检测时，检测的速度更快，有效地提高了整体的检测性能。
12.进一步地，所述步骤s1包括以下步骤：
13.s101、采集路面图像，利用双边滤波对路面图像进行降噪处理，得到滤波后的路面图像；
14.s102、根据滤波后的路面图像，利用brightness函数对路面破损图像进行光照处理；
15.s103、对经光照处理后的路面破损图像，利用contrast函数进行对比度增强处理，完成对路面图像的预处理。
16.上述进一步方案的有益效果是：经预处理后的图像破损特征较之前更明显，尤其是对于一些路面环境更复杂的情况，便于后续训练过程中对检测目标特征的学习过程，提高整个网络模型的检测性能；除此之外，在实际检测时，具有更好的鲁棒性，
17.再进一步地，所述双边滤波的权值系数的表达式如下：
[0018][0019]
其中，c(k,l)表示双边滤波的权值系数，(k,l)表示路面图像中的领域点，i(i,j)表示相对像素点的灰度值，(i,j)表示路面图像的像素点，i(k,l)表示相对像素点的灰度值，σr表示灰度滤波标准差，σd表示空域滤波器的标准差，i表示像素横坐标，k表示领域点横坐标，j表示像素点纵坐标。
[0020]
上述进一步方案的有益效果是：本发明选取双边滤波对部分图像进行降噪处理，尽可能使距离边缘附近较远的像素影响比较小。双边滤波的处理方式属于非线性，它的优势在于即可以保护图像边缘，又能实现图像的降噪平滑。双边滤波在计算时采用加权平均的方式，用周边像素亮度值的加权平均代表某个像素的强度，所用的加权平均基于高斯分布。最重要的是，它的计算权重会考虑两方面：一是像素的欧氏距离，二是像素区域中整体的颜色强度差异和像素相似度等等，这样也会使得处理后的图像的整体视觉效果更优越。
[0021]
再进一步地，所述步骤s2包括以下步骤：
[0022]
s201、根据经预处理后的路面图像，确定路面破损目标位置，对路面的破损目标进行标注，并在标注时，在检测破损目标处绘制矩形框；
[0023]
s202、对所标注的矩形框添加类别，并将路面破损图像保存为xml格式；
[0024]
s203、利用主干网络shufflenet、加强特征提取网络fpn以及输出网络yolohead，构建检测模型；
[0025]
s204、利用xml格式的路面破损图像训练检测模。
[0026]
上述进一步方案的有益效果是：利用矩形框的合理标注更便于后续网络的回归，相当于预测效果更好。
[0027]
再进一步地，所述主干网络shufflenet，用于提取检测破损目标的浅层特征；
[0028]
所述加强特征提取网络fpn，用于基于浅层特征，对破损目标进行特征提取；
[0029]
所述输出网络yolohead，用于基于特征提取网络提供的特征，进行分类和回归处理，输出检测破损目标的类别和概率。
[0030]
上述进一步方案的有益效果是：网络模型的改进使得网络更为轻量化，在 提高网络检测性能的同时便于移动端的部署检测，使得总体对于各类别目标的 精准度和召回率达到较好的平衡性。
[0031]
再进一步地，所述检测模型的损失函数的表达式如下：
[0032]
fl(p
t
)＝-a
t
(1-p
t
)γlog(p
t
)
[0033]
其中，fl(p
t
)表示检测模型的损失函数，a
t
表示加权因子，(1-p
t
)γ表示调节 因子，p
t
表示p的函数，p表示检测模型预测某一个样本为正样本的概率。
[0034]
上述进一步方案的有益效果是：损失函数的改进进一步解决了在模型训练 中对于数据样本分布不均衡的问题，有助于提高整个网络模型对于每个类别的 检测性能。
[0035]
再进一步地，所述步骤s204中针对训练检测模型时，利用cgan结构进行 数据增强，其包括以下步骤：
[0036]
a1、从经预处理后的路面图像中划分出训练集中带有损伤类别的图像，并 将带有损伤类别图像的框从源图像中裁剪；
[0037]
a2、利用cgan结构，生成带有损伤类别标签的新路面图像；
[0038]
a3、利用泊松混合，合并经预处理后的路面图像与新路面图像；
[0039]
a4、从合并的路面图像中选取高分辨率图像数据来进行数据增强扩。
[0040]
上述进一步方案的有益效果是：数据增强可以使过拟合现象得到进一步缓 解，同时在经过cgan数据增强后，训练数据大量增加，因此图片语义信息更 丰富，模型在训练时学习到的有效特征数量增加，同时降低了网络训练中产生 的震荡情况，有效提升模型的检测效果。
[0041]
再进一步地，所述步骤s3包括以下步骤：
[0042]
s301、选取已训练的检测模型的pt文件，利用onnx2ncnn文件对pt文件进 行onnx和ncnn文件的转换，生成param文件，其中，param文件为网络结构的 参数文件；
[0043]
s302、针对主干网络shufflenet的focus层，修改param文件中的layer_count 参数；
[0044]
s303、对layer_count参数进行修改，并利用自定义的focus层与其进行相 连接得到的param新文件；
[0045]
s304、基于param新文件，修改将检测的路面图像的破损类别数，完成检 测模型在移动端的部署；
[0046]
s305、利用部署有检测模型的移动端对路面质量进行评估。
[0047]
上述进一步方案的有益效果是：在本发明设计改进的轻量化后，转换后的 模型能很好地部署于用户随身携带的智能手机设备上，然后利用其摄像头完成 检测过程，大大降低了传统的检测成本。
附图说明
[0048]
图1为本发明的方法流程图。
[0049]
图2为本实施例中双边滤波图像及处理效果图。
[0050]
图3为本实施例中不同阈值下的光照处理结果图。
[0051]
图4为本实施例中图像锐化处理结果图。
[0052]
图5为本实施例中检测模型结构示意图。
[0053]
图6为本实施例中数据标注过程示意图。
[0054]
图7为本福州例中xml中各项标签内容示意图。
[0055]
图8为本实施例中各类别损伤标注示意图。
[0056]
图9为本实施例中cgan进行数据增强的路面破损生成示意图。
[0057]
图10为本实施例中cgan训练流程图。
具体实施方式
[0058]
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理 解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的 普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精 神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保 护之列。
[0059]
实施例
[0060]
针对现今路面检测领域中存在的检测破损类别数较少和检测的精准度和召 回率不均衡的问题，本发明提出了一种基于深度学习的路面质量评估方法，实 现了对路面进行破损状况检测时的良好的精准度及检测速度。该方法主要考虑 了以下几点，使得最终路面可检测的破损类别总数达到9类，同时最佳的精准 度和召回率可达到93％和85％。本发明的创新点主要体现在如下方面：
[0061]
(1)主干网络的轻量化设计。现如今很多深度学习网络模型的检测性能深 受网络深度的影响，常用做法是将各小型网络以及模块进行堆叠，往往使得检 测精准度和速度不能达到较好的平衡。那么针对这种差异情况，该方法会对各 个主干网络的分类精度以及参数量进行了研究分析，在最新的yolox网络中 将原始的cspdarknet主干网络替换为shufflenet-focus网络结构，使得在网络 计算量大幅度下降的同时仅牺牲微小精度，有效实现速度与精度的权衡。
[0062]
(2)cgan数据增强。在网络层数不断加深的同时，训练参数量也随之上 升，使得过拟合现象更易产生，针对这种情况，多数都采用了mosaic或cutmix 的方式对数据进行增强。但在实测中，这些数据增强方式的结果并不稳定，网 络震荡表现更明显，生成的新图像背景无关目标太多，从而导致精准度和召回 率的降低。因此，在此基础上，在本发明中引入了cgan数据增强方式，将原 始图像中需要检测的破损类别进行再裁剪拼接得到新图像，使得检测目标数量 被有效地扩充，从一定程度上提升模型的检测性能。
[0063]
(3)损失函数的设计。很多目标检测网络在计算损失时都使用标准交叉熵 函数，但由于原始图像数据在大多数时候并不是那么理想，样本分布差异较大， 数据表现出极端不均衡。由于本发明中将需要检测的路面破损类别分为9类， 每个类别的样本数量不尽相同，因此，本发明使用focal loss对标准交叉熵函数 进行改进，使得多类别检测中样本数据的不平衡性得到有效改进。
[0064]
(4)便携移动端系统的部署系统设计。如今，网络的轻量化发展使得便携 式设备进行目标检测成为了可能。本发明应用yolox的网络结构，并融合轻 量化网络的选取设计方案，将检测模型部署于用户随身携带的智能手机设备上， 利用其摄像头完成检测过程，大大降低了传统的检测成本。
[0065]
如图1所示，本发明提供了一种基于深度学习的路面质量评估方法，其实 现方法如下：
[0066]
s1、采集路面图像，并对路面图像进行预处理，其实现方法如下：
[0067]
s101、采集路面图像，利用双边滤波对路面图像进行降噪处理，得到滤波 后的路面图像；
[0068]
s102、根据滤波后的路面图像，利用brightness函数对路面破损图像进行光 照处理；
[0069]
s103、对经光照处理后的路面破损图像，利用contrast函数进行对比度增 强处理，完成对路面图像的预处理。
[0070]
本实施例中，双边滤波：对于所有的原始数据图像，噪声一直以来是一个 不可忽略且无法避免的干扰性问题，它会直接影响网络模型对于检测目标的有 效特征学习以及后续预测结果的好坏，从而进一步影响后面的实时检测的精准 度和速度等问题。因此，为了保障采集到的路面图像具有更高的质量，一般在 预处理阶段都会对部分采集图像中存在的噪声做相关处理。就目前来讲，存在 于图像中的噪声一般分为量化噪声、冲击噪声、高斯噪声以及椒盐噪声。滤波 器一般有线性和非线性划分，高斯滤波器和均值滤波都属于前者，均值滤波器 和高斯滤波器的使用原理比较相似，两者的最终输出都为窗口区域内的所有像 素的均值；而他们的主要差异性在于模板系数的取值不同。对于均值滤波器的 模板系数而言，其所有取值都为1；而高斯滤波器模板系数主要受到距离的影响， 距离滤波器模板中心越远，取值则越小。尽管他们二者都可以对图像进行去噪， 实现图像平滑，但是高斯滤波器处理后得到的图像的模糊程度远远低于均值滤 波器的结果。类似地，滤波方法还有均值滤波和中值滤波，他们都可以对图像 噪声进行处理，实现图像的平滑。均值滤波在进行计算时能对窗口区域的所有 像素取均值，更为有效。但由于均值滤波方式的自身缺陷所在导致它对图像的 细节有所忽略。因此，这种方式尽管对图像的噪声现象进行了有效抑制，但图 像的边缘细节之处同时也受到比较严重的破坏，导致效果图在显示上比原图更 模糊，所以这种处理方法的普适性也并不高。中值滤波的处理方法是非线性的， 它和均值滤波在对噪声的处理表现上也不尽相同，前者对椒盐噪声表现更好， 而后者对高斯噪声的处理更佳。综合考虑上述各滤波方法对图像细节处理的优 劣之处，本发明选取双边滤波对部分图像进行降噪处理，尽可能使距离边缘附 近较远的像素影响比较小。双边滤波的处理方法也是非线性，它的优势在于即 可以保护图像边缘，又能实现图像的降噪平滑，双边滤波在计算时采用加权平 均的方式，用周边像素亮度值的加权平均代表某个像素的强度，所用的加权平 均基于高斯分布。最重要的是，它的计算权重会考虑两方面：一是像素的欧氏 距离，二是像素区域中整体的颜色强度差异和像素相似度等等，这样也会使得 处理后的图像的整体视觉效果更优越。公式(1)和(2)中给出了双边滤波的操作，i
p
为输入图像,表示滤波后图像。
[0071][0072][0073]
参数σs用于过滤像素的空间邻域的大小，σr控制了相邻像素由于强度差异 而降低
的权重，而归一化权重之和。双边滤波的权值系数定义如下：
[0074][0075]
其中，c(k,l)表示双边滤波的权值系数，(k,l)表示路面图像中的领域点，i(i,j) 表示相对像素点的灰度值，(i,j)表示路面图像的像素点，i(k,l)表示相对像素点 的灰度值，σr表示灰度滤波标准差，σd表示空域滤波器的标准差，i表示像素横 坐标，k表示领域点横坐标，j表示像素点纵坐标。
[0076]
本实施例中，图2展示了本发明利用iphone xr手机采集的一张路面破损 图像并对其进行双边滤波的过程。
[0077]
本实施例中，光照处理：在实际进行图像采集的过程中，发现阴影和光照 从一定程度上影响了路面破损现象的获取，导致部分阴影处的路面破损现象很 难被发现，还有太阳光照射路面导致的反光也极难发现路面的破损现象。因此， 在本阶段的图像预处理过程中，本发明使用python中pil模块中的imageenhance 类中的brightness函数对部分路面破损图像进行了光照处理。在调整光照参数 时，本发明针对数据集中存在的部分较暗或较亮的图像，同时结合不同的 brightness参数的取值得到的不同的结果图选取了最佳的取值。在这多次处理过 程中，本发明最初将brightness的值设置为0.5，然而对比源图像发现两者亮度 差异较小，裂纹细节处仍较为模糊，因此将这一数值逐渐调高。随着这一参数 取值的逐渐升高至2.13时，发现图像的亮度增加程度过高，导致图像部分检测 区域过曝，影响后续检测性能，如下图3(b)。图3(a)为初始的路面破损源图像。 因此，本发明在进行了几轮结果的选择对比后，将bright参数设置为1.53，从 而得到了图3(c)中的图像亮度效果。
[0078]
本实施例中，对比度增强：在对数据集进行相关预处理时，发现一些图像 较为模糊，整体观感不佳，为了后续模型训练过程中能够更好的学习到不同破 损类别的特征，本发明对这一部分图像进行了锐度的增强调整。这一预处理过 程也是利用了python里pil模块的imageenhance类中的contrast函数来进行的。 如图4所示，图4展示了源路面破损图像与锐化处理后的结果。在这一过程中， 本发明将最初的阈值设置为1.5，然后发现在1.5至6.5的区间范围中，部分图 像的锐化程度并不明显，然后在这一取值缓慢提升至7.33时可以得到一个较好 的效果。根据以上结果可以看到，图4(a)源图像中的裂纹区域显示平滑模糊，在 对其进行一定程度的锐化处理后，图像的模糊程度整体下降，但裂纹块区处的 细节边缘和轮廓被大幅度加强，如图4(b)，便于后续对裂纹处的识别和检测。但 需要注意的是，在对图像进行锐化处理时，不仅增强了图像的边缘，同时也从 一定程度上增加了图像的噪声，因此也要注重锐化图像的选取过程，在做处理 时尽可能地选取路面破损区域在整幅图像中占比较多的原始图像，以增加少量 噪声的代价换取裂纹区域轮廓特征大幅度增加的目的，从一定程度上提升后续 的检测性能。
[0079]
s2、对经预处理后的路面图像进行标注，构建检测模型，并利用经标注后 的路面图像训练检测模型，其实现方法如下：
[0080]
s201、根据经预处理后的路面图像，确定路面破损目标位置，对路面的破 损目标进行标注，并在标注时，在检测破损目标处绘制矩形框；
[0081]
s202、对所标注的矩形框添加类别，并将路面破损图像保存为xml格式；
[0082]
s203、利用主干网络shufflenet、加强特征提取网络fpn以及输出网络yolohead，构建检测模型；
[0083]
s204、利用xml格式的路面破损图像训练检测模型；
[0084]
所述主干网络shufflenet，用于提取检测破损目标的浅层特征；
[0085]
所述加强特征提取网络fpn，用于基于浅层特征，对破损目标进行特征提取；
[0086]
所述输出网络yolohead，用于基于特征提取网络提供的特征，进行分类和回归处理，输出检测破损目标的类别和概率。
[0087]
检测模型的损失函数的表达式如下：
[0088]
fl(p
t
)＝-a
t
(1-p
t
)γlog(p
t
)
[0089][0090]
其中，fl(p
t
)表示检测模型的损失函数，a
t
表示加权因子，(1-p
t
)γ表示调节因子，p
t
表示p的函数，p表示检测模型预测某一个样本为正样本的概率。
[0091]
其中，针对训练检测模型时，利用cgan结构进行数据增强，其包括以下步骤：
[0092]
a1、从经预处理后的路面图像中划分出训练集中带有损伤类别的图像，并将带有损伤类别图像的框从源图像中裁剪；
[0093]
a2、利用cgan结构，生成带有损伤类别标签的新路面图像；
[0094]
a3、利用泊松混合，合并经预处理后的路面图像与新路面图像；
[0095]
a4、从合并的路面图像中选取高分辨率图像数据来进行数据增强扩充充。
[0096]
本实施例中，对于原始的yolox网络，其整体可分为三部分：浅层特征提取网络(提取初步的目标特征)也就是主干网络cspdarknet，加强特征提取网络(进一步提取图像特征)fpn及输出网络(分类和回归，输出最终检测框和概率，即最终检测结果)yolohead。而在本发明中，将在保持原有focus模块的基础上，使用shufflenet系列网络代替yolox当中的cspdarknet进行特征提取，后续再对第一步得到的浅层特征进一步加强提取；另外，结合本发明多目标检测的问题考虑，又引入了focalloss来解决样本分类困难的问题，完成了整个网络的搭建，框架如图5所示。
[0097]
本实施例中，选取labelimg标注工具进行图像数据标注。标注流程一般为以下几点：矩形区域选取、检测类别添加以及标注文件导出为xml格式。图像标注的示例如图6所示。在对路面的破损目标进行标注时，首先要确定好检测的破损目标位置，然后选取目标所在的区域绘制矩形框。在进行矩形框标注时，应该尽可能使得目标区域恰好位于框内，便于提升后续网络模型预测的精准度。接着，对所标注的矩形框进行类别的添加。最后完成了一系列类似操作后，将图像保存为xml格式，这是由于后续实验采用voc格式数据集，而在实际实验中它使用xml格式来进行解析。保存的xml内容如图7所示，从xml显示出的内容来看，标注文件主要展现了以下几个要点：文件夹名、文件名、原图像数据的长宽和深度信息、标注类别名以及矩形框的坐标信息等，这些相应的数据都需要在后续的网络中进行读取从而完成整个模型的训练过程。标注文件中还会存在difficult属性和truncated属性，difficult主要是用来表示检测类别是否与之前人为预定好的class文件相对应，即目标是否难以识别，0表示容易被识别。本实验中，difficult设置为0；而truncated主要是用来判断目标是否被截断，0表示未被截断。标注完成后的d00至d50的路面破损示例图如
图9所示，损伤 类别共计9类。
[0098]
本实施例中，卷积神经网络应用于图像分类任务性能优越，多项研究证明 卷积神经网络在大规模带有标签的数据集训练下，训练后网络能够取得高精度 的识别率或分类效果。然而在某些特殊领域由于多方面因素制约，累积的数据 集中样本远小于一般模型常规训练集规模，因此导致训练后的网络出现过拟合 现象。为了降低因训练集样本数量过少对训练造成的不良影响，各种扩展数据 集样本的数据增强算法被提出并被广泛应用，将数据增强算法应用于小数据集 不仅能够提升数据集样本的数量也能提升样本的多样性。cgan结构与gan的 主要区别是生成器和判别器的输入数据中都加入类别标签向量，但是普通的 gan所生成的内容是随机的，cgan实现了根据输入标签生成指定类别的内容。
[0099]
本实施例中，生成器根据相应变量输出得到一个3通道的图像数据。判别 器的输入是图像数据，包括真实的图像数据和生成的图像数据，是一个二分类 问题。而且由于gan包含两个网络，所以需要定义两个优化器分别进行优化。 优化时固定一个网络的参数更新另一个，损失函数选择的bceloss是一种较为 常用的二分类损失，因为判别器进行真假的判别实质就是二分类问题，网络的 训练关键是如何交替的更新生成器和判别器，以及如何正确的更新梯度，与普 通的cnn分类或者回归的单个网络不同，gan需要训练两个网络：训练生成 器g时判别器d的参数固定不变，训练判别器d时生成器参数固定不变。
[0100]
本实施例中，如图9所示，使用cgan数据增强生成的路面破损图像示例 可知，对于新图像的生成过程可以被定义为：给定一个原始路面破损图像 xi∈rh×w×3，相对应的类别标签为ci∈r1×n，h
×
w表示图像的尺寸大小，n代表标签 类别数。那么，理想的模型便是所生成的图像xo∈rh×w×3，其目标类别co来自一个 随机向量如图10所示，图10展现了使用cgan进行训练的大致流程。为 了更好地使用cgan对路面破损图像进行数据增强，这里的损失计算分别使用 了分类损失和对抗性损失。对于分类损失，它包含两方面：一是用于优化d的 真实图像的损失，二是用于优化g的虚假图像的损失。分类损失的公式定义如 下：
[0101][0102]dcls
(ci|xi)代表了根据d计算的类别标签的概率分布，它将会根据这一损失学 习如何对图像进行分类。类似地，g试图生成的图像也将被分类为目标类别co， 其公式如下：
[0103][0104]
这里计算时采用了带有梯度惩罚的wasserstein-gan对抗性损失函数定义如 下：
[0105][0106][0107]
上述定义中，x指在源真实路面图像与生成的新图像之间沿指向进行均匀采 样的过程，λ
gp
是一个超参数(同下述公式中的λc
ls
)，在本发明实验中将其设置 为λ
gp
＝10。对于g和d的全目标优化为：
[0108][0109][0110]
其中，lg表示对于生成器g的全目标优化，表示关于生成器g带有梯 度惩罚的
对抗性损失，表示用于优化生成器g的虚假图像损失，表 示生成器g产生的样本分布，d
cls
(
·
)表示根据生成器g计算的类别标签概率分 布，co表示生成器g的目标类别，表示根据生成器g计算的类别标签概 率分布，表示生成器g的真实样本分布，xo表示理想模型下生成器g生 成的图像，表示随机向量，ld表示对于鉴别器d的全目标优化，表示关于 鉴别器d带有梯度惩罚的对抗性损失，λc
ls
和λ
gp
均表示超参数，表示用于优 化鉴别器d的虚假图像损失，表示鉴别器g的真实样本分布，d
cls
(ci|xi)表 示根据鉴别器d计算的类别标签概率分布，ci表示鉴别器g的目标类别，xi表 示理想模型下鉴别器g生成的图像，表示原真实路面图像与生成的新图像之 间沿指向进行均匀采样的过程；
[0111]
s3、将训练好的检测模型部署至移动端，并利用部署有检测模型的移动端 对路面质量进行评估，其实现方法如下：
[0112]
s301、选取已训练的检测模型的pt文件，利用onnx2ncnn文件对pt文件进 行onnx和ncnn文件的转换，生成param文件，其中，param文件为网络结构的 参数文件；
[0113]
s302、针对主干网络shufflenet的focus层，修改param文件中的layer_count 参数；
[0114]
s303、对layer_count参数进行修改，并利用自定义的focus层与其进行相 连接得到的param新文件；
[0115]
s304、基于param新文件，修改将检测的路面图像的破损类别数，完成检 测模型在移动端的部署；
[0116]
s305、利用部署有检测模型的移动端对路面质量进行评估。
[0117]
本实施例中，(1)onnx它是属于开放神经网络交换(open neural networkexchange，onnx)的格式，是一个用于表示深度学习模型的标准，可使模型在 不同框架之间进行转移，所以这个是模型转化的第一步，将pytorch框架训练出 的pt格式转化为一种万能格式。它的主要使用流程为将对应的pt文件依次转化 为onnx文件(或者torchscript文件)和ncnn文件，最终利用android studio编 写进行安卓端的部署。(2)coreml这一格式的模型主要用于ios端的部署，但 是需要同时用到mac和iphone，iphone用作部署端，mac用于开发对应平台的 应用程序。它的主要流程主要是将对应的pt文件转化为onnx文件(或者 torchscript文件)和ml文件，然后利用mac系统运行xcode开发环境进行编写 部署。(3)tflitetflite是google的一个轻量级的推理库，类似于tensorflow lite 格式的模型文件可以部署到基于android的移动端上，它的流程主要也是将对应 的模型文件依次转化为onnx文件(或者torchscript文件/wts文件)，然后再利用 openvino或者tensorrt进行加速最终部署到树莓派等硬件上。对于上述部署方 案，基于本发明windows环境以及pytorch框架下的训练环境，最终确定了onnx 的部署方案。在部署进行前，首先选取合适的训练好的模型pt文件，使用 onnx2ncnn文件进行onnx和ncnn文件的转换，然后会导出相应的param和bin 文件。需要注意的是，在转换为ncnn模型时会报错，产生unsupported slice step 的提示。这是由于在整体网络模型中使用了focus模块，因此也需要在对应的 param中将其进行实现；接着，需要针对focus模块将param文件中的layer_count 参数进行修改，同时找到
输入输出的名字用自定义的focus层与其进行相连接得 到最后的param新文件。进行完以上这些工作后，需要将检测的破损类别数对 应修改，本发明中为9，最终实现完整部署。
[0118]
相比现如今流行的一些目标检测算法，如faster rcnn、ssd以及yolov3 等等，使用本发明在进行实际路面检测时，能在检测到的路面破损现象的种类 更多的同时产生的误检和漏检现象更少；除此之外，在部署到安卓端进行实时 检测时，检测的速度更快，有效地提高了整体的检测性能。