一种基于深度学习的路面裂缝分割与识别方法与流程

本发明属于图像处理与计算机视觉领域，具体涉及一种基于深度学习的路面裂缝分割与识别方法。

背景技术：

众所周知，裂缝对于桥梁和道路的安全是一个潜在的威胁，严重影响着交通运输的安全。为了保持良好的桥梁和道路状况，应对裂缝进行及时的定位和修复。因此，对裂缝进行精确的定位和检测起着至关重要的作用。

目前，国内外对于裂缝的检测主要采用人工检测的方法，即由技术人员借助一些简单的仪器或者肉眼直接检测并记录。但该方法有着明显的缺点，如，需要大量的人工成本、检测效率低、人工检测会有误检等问题。

随着深度学习的崛起，将深度学习应用于图像处理已成为当今的主流方法。u-net网络是一种改进的全卷积神经网络模型，网络中无全连接层，能实现任意尺寸图像的检测，最早由olaf等人提出，用于神经元结构的分割，在医学图像处理领域应用较为广泛。近两年也被用于其他领域的图像处理场景中，如遥感图像物体分割、道路检测等领域，其检测性能优良。

技术实现要素：

本发明针对路面裂缝检测中人工成本高和检测效率低的缺点，提出了一种基于深度学习的路面裂缝分割与识别方法，该方法不仅对裂缝图像进行了分割，并且能够准确识别图像是否含有裂缝，从而能够达到高效、准确和成本低的路面裂缝分割和识别的目的。

为了实现上述任务，本发明采用以下技术方案：

一种基于深度学习的路面裂缝分割与识别方法，包括以下步骤：

对采集的彩色裂缝样本图像进行人工标注得到裂缝标签图像，对彩色裂缝样本、裂缝标签图像进行相同位置的裁剪，裁剪后的裂缝样本图像、裂缝标签图像均由多个尺寸相同的子图像组成；以裁剪后得到的子图像中是否含有裂缝进行不同的标注；

搭建u-net神经网络并利用标注后的子图像进行训练，保存训练好的u-net神经网络；搭建决策网络，以所述u-net神经网络最后两层的结果作为决策网络的输入，对决策网络进行训练，保存训练好的决策网络；

利用训练好的u-net神经网络和决策网络对待识别的图像进行不重叠的滑动窗口的检测和分类，滑动窗口尺寸与所述子图像的尺寸相同，从而得到图像的分割与识别结果。

进一步地，所述的搭建u-net神经网络并利用标注后的子图像进行训练，包括：

将裁剪后得到的子图像分为训练集、测试集，利用训练集对u-net神经网络进行训练，然后用测试集对u-net神经网络的性能进行评估，对u-net神经网络进行调优以获得最优的u-net神经网络并保存。

进一步地，所述的子图像的尺寸以及滑动窗口的尺寸为512x512。

进一步地，所述的u-net神经网络包括特征提取部分和上采样部分，共有11层，各层结构为：

特征提取部分：

第1层：输入层，输入裂缝样本图像的子图像和与所述裂缝样本图像对应的裂缝标签图像的子图像；

第2层：最大池化层→卷积层→bn层→relu层→bn层→relu层；

第3层：最大池化层→卷积层→bn层→relu层→bn层→relu层；

第4层：最大池化层→卷积层→bn层→relu层→bn层→relu层；

第5层：最大池化层→卷积层→bn层→relu层→bn层→relu层；

第6层：最大池化层→卷积层→bn层→relu层→bn层→relu层；

上采样部分：

第7层：上采样层+merge层→卷积层→bn层→relu层→bn层→relu层；

第8层：上采样层+merge层→卷积层→bn层→relu层→bn层→relu层；

第9层：上采样层+merge层→卷积层→bn层→relu层→bn层→relu层；

第10层：上采样层+merge层→卷积层→bn层→relu层→bn层→relu层；

第11层：卷积层，输出裂缝分割图像。

进一步地，所述的u-net神经网络的参数设置为：

卷积层：第1层至第10层中的卷积层的卷积核大小设置为3x3，步长stride为1，填充层数padding为1；第11层中的卷积层的卷积核大小为1x1；

池化层：最大池化，大小为2x2，步长stride为2；

bn层：批量正则化，在每一层的激活函数前对数据进行归一化；

relu层：其公式为max(x,0)，其中x表示图像中的元素；

上采样层：2x2的上卷积；

merge层：对图像通道处的维度进行结合；

进一步地，所述的决策网络的结构为：

第1层：merge层→卷积层→bn层→relu层；

第2层：最大池化层→卷积层→bn层→relu层；

第3层：最大池化层→卷积层→bn层→relu层；

第4层：merge层，merge操作前数据经过全局最大池化和全局平局池化操作；

第5层：全连接层；

第6层：输出层，输出概率p，若p>0.5，则为裂缝图像，若p<0.5，则为无裂缝图像。

进一步地，所述的决策网络的参数设置为：

卷积层：卷积核大小设置为3x3，步长stride为1，padding为1；

池化层：最大池化，大小为2x2，步长stride为2；

bn层：批量正则化，在每一层的激活函数前对数据进行归一化；

relu层：其公式为max(x,0)，其中x表示图像中的元素。

本发明具有以下技术特点：

1.本发明结合了u-net神经网络(u-netnetwork)和决策网络(decisionnetwork)，其中u-net神经网络对图像进行自动分割，决策网络利用u-net神经网络的最后两层数据作为输入，对图像进行判别其是否为裂缝图像。

2.本发明改进了u-net神经网络，利用批量正则化(batchnormalization)加快训练速度和提高网络泛化能力。在u-net神经网络的特征提取过程中改变padding策略，使图像输出后大小不变。在u-net基础上再设计了决策网络，利用u-net神经网络最后两层的数据作为输入，最后对图像进行判别是否含有裂缝。不仅对裂缝图像进行了分割，并且能够准确识别图像是否含有裂缝，从而能够达到高效、准确和成本低的路面裂缝分割和识别的目的。

附图说明

图1中的图1-1为彩色裂缝样本图像，图1-2为裂缝标签图像；

图2中的图2-1为彩色裂缝样本图像裁剪后的结果，图2-2为裂缝标签图像裁剪后的结果；

图3为本发明中建立的u-net神经网络、决策网络的整体网络模型结构；

图4为利用本发明网络模型进行图像分割、识别后的输出结果示意图；

图5为本发明方法的流程示意图。

具体实施方式

下面结合附图，对本发明一种基于深度学习的路面裂缝分割与检测方法进行详细说明：

步骤1，采集彩色裂缝样本图像

如图1-1所示，通过大量测色裂缝样本图像的采集以建立数据集。

步骤2，对采集的彩色裂缝样本图像进行人工标注得到裂缝标签图像，如图1-1和1-2所示。

步骤3，对彩色裂缝样本、裂缝标签图像进行相同位置的裁剪，裁剪后的裂缝样本图像、裂缝标签图像均由多个尺寸相同的子图像组成。

如图2-1、图2-2所示，分别为彩色裂缝样本、裂缝标签图像进行裁剪后的结果；这里的裁剪是指以固定的尺寸对彩色裂缝样本、裂缝标签图像进行分割，本实施例中采用512x512的尺寸对图像进行裁剪，使得彩色裂缝样本、裂缝标签图像均被分割成15个子图像。

步骤4，以裁剪后得到的子图像中是否含有裂缝进行不同的标注，本实施例中，如果子图像中包含裂缝，则标注为1，如不包含裂缝，则标注为0。

步骤5，将步骤4处理后的子图像分为训练集、测试集；训练集、测试集中的训练样本、测试样本均由裂缝样本图像的子图像和与所述裂缝样本图像对应的裂缝标签图像的子图像组成。

步骤6，搭建u-net神经网络并利用标注后的子图像进行训练

利用训练集对u-net神经网络进行训练，然后用测试集对u-net神经网络的性能进行评估，对u-net神经网络进行调优以获得最优的u-net神经网络并保存网络的参数。

所述的u-net神经网络包括特征提取部分和上采样部分，共有11层，各层结构为：

特征提取部分：

第1层：输入层，输入裂缝样本图像的子图像和与所述裂缝样本图像对应的裂缝标签图像的子图像；

第2层：最大池化层→卷积层→bn层→relu层→bn层→relu层；

第3层：最大池化层→卷积层→bn层→relu层→bn层→relu层；

第4层：最大池化层→卷积层→bn层→relu层→bn层→relu层；

第5层：最大池化层→卷积层→bn层→relu层→bn层→relu层；

第6层：最大池化层→卷积层→bn层→relu层→bn层→relu层；

上采样部分：

第7层：上采样层+merge层→卷积层→bn层→relu层→bn层→relu层；

第8层：上采样层+merge层→卷积层→bn层→relu层→bn层→relu层；

第9层：上采样层+merge层→卷积层→bn层→relu层→bn层→relu层；

第10层：上采样层+merge层→卷积层→bn层→relu层→bn层→relu层；

第11层：卷积层，输出裂缝分割图像。

所述的u-net神经网络的参数设置为：

卷积层：第1层至第10层中的卷积层的卷积核大小设置为3x3，步长stride为1，填充层数padding为1；第11层中的卷积层的卷积核大小为1x1；

池化层：最大池化，大小为2x2，步长stride为2；

bn层：批量正则化(batchnormalization)，在每一层的激活函数前对数据进行归一化；

relu层：其公式为max(x,0)，其中x表示图像中的元素；

上采样层：2x2的上卷积；

merge层(融合层)：对图像通道处的维度进行结合。

其中各层通道数如图3中的u-netnetwork所示。

步骤7，搭建决策网络(decisionnetwork)，以所述u-net神经网络最后两层的结果作为决策网络的输入，对决策网络进行训练，保存训练好的决策网络；

该步骤中，首先冻结训练好的u-net神经网络，然后将训练集中的样本输入到u-net神经网络中，将u-net神经网络最后两层的结果作为决策网络的输入，如图3所示；训练后利用测试集的样本对决策网络进行性能评估，并对其进行调优以获得最优的决策网络并保存网络参数。

本方案中搭建的决策网络的结构为：

第1层：merge层→卷积层→bn层→relu层；

第2层：最大池化层→卷积层→bn层→relu层；

第3层：最大池化层→卷积层→bn层→relu层；

第4层：merge层，merge操作前数据经过全局最大池化和全局平局池化操作；

第5层：全连接层；

第6层：输出层，输出概率p，若p>0.5，则为裂缝图像，若p<0.5，则为无裂缝图像。

决策网络的参数设置为：

卷积层：卷积核大小设置为3x3，步长stride为1，padding为1；

池化层：最大池化，大小为2x2，步长stride为2；

bn层：批量正则化，在每一层的激活函数前对数据进行归一化；

relu层：其公式为max(x,0)，其中x表示图像中的元素。

步骤8，利用训练好的u-net神经网络和决策网络对待识别的图像进行不重叠的滑动窗口的检测和分类，滑动窗口尺寸与所述子图像的尺寸相同为512x512，从而得到图像的分割与识别结果，如图4所示。