一种基于深度学习的混凝土结构检测方法

1.本发明涉及钢筋混凝土结构裂缝损伤检测和构件分类领域，尤其涉及一种基于深度学习的混凝土结构检测方法。


背景技术：

2.钢筋混凝土结构广泛用于生活中的各种建筑物中，且混凝土是目前工程上用量最大的一种建筑材料。钢筋混凝土结构构件在受拉、受剪、温度变化等外界或者内部条件的作用下，其在使用或在施工过程中会产生一些影响结构耐久性性、安全性、适用性的裂缝。而随着裂缝的开展，裂缝问题会造成保护层脱落、钢筋锈蚀、影响美观甚至降低结构承载能力等问题。为了检测这些裂缝，目前可以把检测方法分为人工测量识别、传统机器视觉识别(ipts,边缘检测等)和现在基于深度学习的计算机视觉识别方法。传统人工检查方法的不足之处在于许多民用基础设施已经逐步接近其设计预期寿命，这对检查人员以及结构物周围的人员会产生一定的安全隐患问题，且费时费力，结果的准确性也不高。但ipts识别方法会因为图像的变化而影响检测结果，即泛化性差，准确性低。边缘检测法在裂缝识别领域中效果较差，对噪声比较敏感，抗干扰能力较差，所以以往的方法或多或少存在着不可避免的影响检测结果准确性的问题；在过去的几十年，得益于计算机技术的发展进步，利用深度学习进行图像识别的研究有了很大的进步，取得了广泛的关注。土木工程领域的研究人员和工程师已经注意到将深度学习技术应用到裂缝检测的广阔前景，已经有许多利用深度学习技术进行裂缝识别的研究正在推进。本发明提出一种基于深度学习的混凝土结构检测方法，可以对混凝土裂缝和构件进行检测和分类：剥落状况检查、部件类型识别、损伤类型确定。


技术实现要素：

3.针对现有技术存在的问题，本发明提供了一种基于深度学习的混凝土结构检测方法。该混凝土结构损伤识别分类方法采用迁移学习的方法，利用resnet34模型，保持卷积神经网络前两个模块不变以提取基础性的特征，比如边缘、纹理等特征。后面的模块利用微调来实现自身任务需要的其他特征，同时迁移学习解决了之前深度学习需要大量数据进行卷积神经网络运算的问题。除此之外，本发明基于深度学习的混凝土结构损伤识别分类方法还加强了模型的泛化能力，避免了数据集的过拟合，大大减少深度学习对数据的需求，降低运算成本，且有较高的检测和识别能力。
4.本发明的目的是通过以下技术方案来实现的：一种基于深度学习的混凝土结构检测方法，具体包括如下步骤：
5.(1)构建裂缝图像数据集：收集混凝土结构构件裂缝图像，按照混凝土结构的构件类型和损坏情况，对收集的混凝土结构图像进行标注，获得图像标签，随后通过移位、反射、翻转、缩放和颜色抖动对收集的混凝土结构图像进行图像增强预处理，获得裂缝图像数据集；所述裂缝图像数据集分为训练集和测试集。
6.(2)改进神经网络：将imagenet上预训练好的resnet34模型作为基础，先去掉resnet34模型尾端的全连接层，并将adaptiveavgpool2d层、adaptivemaxpool2d层并联在预训练好的resnet34模型尾部，随后依次与batchnorm1d层、dropout层、中间全连接层串联，再重复接上一层batchnorm1d层与dropout层，最后连接与输出类别个数相等的全连接层，获得改进的神经网络。
7.(3)训练改进的神经网络：将步骤(1)中训练集输入步骤(2)改进的神经网络中进行训练，对步骤(2)改进的神经网络的参数用优化算法adam以0.0001的学习率进行训练，在训练过程中冻结住预训练好的resnet34模型的前两个block的参数，并将测试集分批输入训练的神经网络中验证。当测试集的输出结果与所述图像标签比较，准确率达80％以上，且准确率收敛，即完成对改进的神经网络的训练。
8.(4)再次收集混凝土结构构件裂缝图像，并重复步骤(1)的方法获得新裂缝图像数据集，将其输入已经训练好的神经网络模型中，输出检测结果。
9.与现有技术相比，本发明具有如下有益效果：本发明采用在imagenet上已训练好的resnet34网络中的卷积层作为特征提取器，冻结该网络的前两个模块，这两个模块保持其对图像特征的提取，后续块的参数进行微调以提取所需的裂缝图像特征。连接dropout层来随机盲化一些神经元，以避免当前数据集的过拟合。该混凝土结构损伤识别分类方法减少了深度学习模型对数据的依赖性，降低了运算成本，简化了网络训练的复杂性，降低了运算成本，能够对裂缝目标进行快速准确识别，具有更强的鲁棒性和泛化能力。本发明的混凝土结构损伤识别分类方法解决了混凝土裂缝深度学习模型对数据量需求较大的问题；相比于深度学习技术，本发明的深度迁移学习模型基于已经预训练的网络，网络收敛地更快，在有限数据集地情况下即可获得较强鲁棒性和泛化性。本发明还采用了adam算法对原有的resnet34网络进行了优化，采用了图像的预处理手段防止过度拟合，在迁移学习的基础上进一步提高了模型的泛化能力和准确性。
附图说明
10.图1是本发明提供的混凝土结构裂缝损伤图片分类和标注图；
11.图2是本发明提供的基于深度学习的混凝土结构检测方法流程图；
12.图3是本发明识别混凝土损伤存在时测试集和训练集随训练周期变化的准确率图；
13.图4是本发明识别混凝土损伤类型时测试集和训练集随训练周期变化的准确率图；
14.图5是本发明识别混凝土剥落时测试集和训练集随训练周期变化的准确率图；
15.图6是本发明识别混凝土构件时测试集和训练集随训练周期变化的准确率图；
16.图7是本发明导入数据集后所有检测识别任务的精确度、查准率、查全率、查准率和查全率综合度量指数f1图。
具体实施方式
17.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
18.如图2为本发明基于深度学习的混凝土结构检测方法流程图，具体包括如下步骤：
19.(1)构建裂缝图像数据集：收集混凝土结构图像，按照混凝土结构的构件类型和损坏情况，对收集的混凝土结构图像进行标注，获得图像标签，如图1，所述图像标签分为剥落状况检查、部件类型识别、损伤类型确定；剥落状况检查包含剥落与否两种情况；部件类别识别包括墙、柱、梁三种构件；损伤检查分为有无损伤；损伤类别是在判断图像有损伤后再进行判别的，具体包括剪切裂缝、受弯裂缝、收缩裂缝、沉降裂缝、碱骨料裂缝、腐蚀裂缝。为了防止过度拟合从而提高模型性能，对收集混凝土结构图像进行移位、反射、翻转、缩放和颜色抖动的图像增强预处理，获得裂缝图像数据集；所述裂缝图像数据集分为训练集和测试集。
20.(2)改进神经网络：将imagenet上预训练好的resnet34模型作为基础，冻结其前面的两个模块以提取基础通用的低层特征，例如边缘、形状、角度等，这些特征可以在任务之间共享。后面的特征层可以根据当前所需的目标识别任务来微调。先去掉在resnet模型尾端的全连接层，并将adaptiveavgpool2d层、adaptivemaxpool2d层并联在预训练好的resnet34模型尾部，随后依次与batchnorm1d层、dropout层、中间全连接层串联，再重复接上一层batchnorm1d层与dropout层，最后连接与输出类别个数相等的全连接层，获得改进的神经网络。imagenet上预训练好的resnet34模型共包含33个卷积层，卷积层分成四个大模块以提取裂缝的不同特征。整个模型还包含一个全连接层和两个池化层。该神经网络中共包含33个卷积层，三个池化层，其中三个池化层中有两个是平均可调整池化层和最大可调整池化层，两个丢失输出操作(dropout层)，两个batchnorm1d层,两个全输出层。上面在去掉全连接层的resnet34尾部新添了自适应平均池化层和自适应最大池化层，随后添加batchnorm1d和dropout层，再连接一个全连接层，接着再添加batchnorm1d和dropout层，最后连接一个全连接层，目的是为了增强网络的泛化性能，这样使得网络不容易对训练集过拟合，可以在测试集或其他来源的数据集上依旧保持较高的预测精度。同时由于层数的增多，以及由原本尾部只有一个全连接层改为目前有两个全连接层，故参数量会增多，训练时间也会有相应的增加。
21.(3)训练改进的神经网络：将步骤(1)中训练集输入步骤(2)改进的神经网络中进行训练，对步骤(2)改进的神经网络的参数用优化算法adam以0.0001的学习率进行训练，在训练过程中冻结住预训练好的resnet34模型的前两个block的参数。并将测试集分批输入训练的神经网络中验证，当测试集的输出结果与所述图像标签比较，准确率达80％以上，且准确率收敛，即完成对改进的神经网络的训练。图3为混凝土损伤存在时测试集和训练集随训练周期变化的准确率图，可以看出准确率随着训练周期不断增加，在前20个周期增长迅速，后面逼近1，说明该改进的神经网络训练后用于混凝土损伤存在识别的收敛速度良好，且测试集的准确率高达95％，这说明该改进的神经网络经训练后具有很好的鲁棒性和泛化能力。图4为识别混凝土损伤类型时测试集和训练集随训练周期变化的准确率图，可以看出准确率随着训练周期不断增加，在前5个周期内增长迅速，后面逼近1，说明该改进的神经网络训练后用于混凝土损伤类型识别时收敛速度很快，测试集的准确路在90％左右，较其他识别任务的准确度较低，这是因为很难分类非常相似的损害，例如，碱骨料裂缝和收缩裂缝都是开裂型裂缝，弯曲裂缝和剪切裂缝有时难以区分。如图5为识别混凝土剥落时测试集和训练集随训练周期变化的准确率图，准确率随着训练周期不断增加，在前20个周期增长迅
速，后面逼近1，说明该改进的神经网络训练后用于混凝土剥落识别时收敛速度良好，且测试集的准确率高达96％，同样说明该改进的神经网络经训练后具有很好的鲁棒性和泛化能力。图6的构建类型分类也达到了比较好的训练结果，准确度达到了95％以上，且训练集和测试集的准确率较为接近，这说明模型在这个分类任务中的泛化能力良好。
22.(4)再次收集混凝土结构图像，并重复步骤(1)的方法获得新裂缝图像数据集，将其输入已经训练好的改进的神经网络模型中，输出混凝土结构检测的结果。
23.结果分析：
24.查全率(r):
25.查准率(p):
26.预测结果和真实值都为真时，这种结果的个数记为tp；预测结果和真实值都为真时，这种结果的个数记为tn；预测结果为真，真实值为假时，这种结果的个数记为fp；预测结果为假，真实结果为真时，这种结果的个数记为fn。
27.查准率是确定分类器中预测为正样本的部分其实际中属于正样本的比例，查准率越高则假的正例就越低，查全率则是被分类器正确预测的正样本的比例。两者是一对矛盾的度量，其可以合并成另一个度量，f1度量：
[0028][0029][0030]
如图7为导入数据集后所有检测识别任务的精确度、查准率、查全率、查准率和查全率综合度量指数f1图，在复杂的环境和图像背景变化的情况下，本模型在所有检测分类任务中都表现良好。在损伤检查二元分类任务中，模型的四个指标都在95％以上，这表明本模型可以很顺利地完成损伤检查二元分类任务；在剥落类型二元分类任务中，模型的四个指标都在98％以上，这表明本模型也可以顺利地完成剥落类型二元分类任务；在损伤类别多类任务中，该模型的精确度达到84.75％，识别准确率良好，可以较好地完成损伤类型判别任务。该任务精确度相对较低的原因是很难分类非常相似的损害。例如，碱骨料裂缝和收缩裂缝都是开裂型裂缝，弯曲裂缝和剪切裂缝有时难以区分。如果该模型只要求检测弯曲、碱骨料和腐蚀损伤之间的区别，精度将大大提高；在构件类别分类任务中，模型的精确度达到了80％以上，可以较好地完成构件类别分类任务。模型在该任务精确度较低的原因是梁和柱的结构形式过于相似，都是条状物，所以难以分辨。
[0031]
同时，本发明混凝土结构检测方法可应用于云平台来分析图片，这更加方便人员可以实时进行裂缝损伤的识别和分类。
[0032]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。