一种基于迁移学习的复合材料缺陷检测方法与流程

1.本发明涉及计算机视觉和人工智能技术领域，具体为一种基于迁移学习的复合材料缺陷检测方法。


背景技术：

2.碳纤维复合材料(cfrp)是将两种及两种以上不同性质的材料通过加工制造技术复合而成的新型材料，广泛应用于航空航天工业、医学、军事、汽车结构、机器人等领域。但是，cfrp在生产和使用的过程中内部会出现各种各样的缺陷，其主要缺陷为裂纹、分层、褶皱等，这会对cfrp的性能等方面产生巨大的影响。为了防止cfrp在检测过程中收到二次损伤，因此对cfrp的检测一般选择无损检测技术。涡流检测的实现是基于电磁感应原理，且具有灵敏度和自动化程度高等优点，能够实现cfrp分层、分层、裂缝等隐藏缺陷的成像。
3.cfrp缺陷的传统图像处理技术是由手工提取缺陷的特点，并且在很大程度上依赖人工特征提取的准确性。随着计算机技术的快速发展，卷积神经网络(convolutional neural network，cnn)在图像分类、目标检测等方面具有更加优异的性能比。另外，卷积神经网络的识别技术可以从图像中自动抽取出有用的特征，其准确率高、运算速度快、可适应各种缺陷类型等优点。对于目标检测算法主要分成两类：one-stage和two-stage。one-stage算法如yolo算法、ssd算法等，这类算法无需对候选区域进行提取，只需要输入图像，就可以检测出图像中的目标类别和边框，从而大大提高了检测速度，但对于小目标的检测，其效果比较差、精度较低。two-stage算法如faster rcnn系列算法等，先提取图像中的特征，然后对可能出现目标的候选区域进行选取，利用分类与回归器，得到目标的类别与位置。
4.针对上述问题，本发明将faster rcnn网络应用到复合材料缺陷的检测，能够自动识别出各种缺陷类型以及位置，检测精度高。


技术实现要素：

5.为了解决上述技术问题，本发明提出了一种基于迁移学习的复合材料缺陷检测方法。该方法涉及对于涡流无损检测技术中c扫描获取的复合材料图像中裂纹、分层、褶皱缺陷图像的检测，并且利用faster rcnn框架与迁移学习的结合构建一个只有小样本的复合材料缺陷数据集且具用良好的检测效果的目标检测模型。
6.本发明所要解决的技术问题采用以下技术方案来实现：
7.一种基于迁移学习的复合材料缺陷检测方法，包括以下步骤：
8.步骤(101)利用涡流成像技术中的c扫描对复合材料进行检测成像，获取图像进行预处理；
9.步骤(102)建立数据集并进行标注：
10.将预处理后得到的复合材料图像按类别分为三类：裂纹、分层、褶皱，各类别数量分别为14、10、21张，制作成数据集，采用labeling标注工具对数据集中的三类缺陷进行标
注，生成与图像相对应的xml标签文件；
11.步骤(103)数据增强并按照voc数据集格式划分为训练集、测试集和验证集：
12.将标注完成的数据集进行数据增强，将增强后的数据集按照voc数据集格式8：2的比例划分为训练集、测试集；
13.步骤(104)源域进行预训练，得到复合材料缺陷模型的初始权重参数：
14.使用在imagenet数据集上预先训练的resnet50特征提取网络，提出相似源域匹配，特征匹配出neu热轧带钢表面缺陷数据集中与复合材料裂纹、分层、褶皱缺陷高度相似的夹杂、斑、划痕缺陷的作为源域训练样本，利用迁移学习，并将其应用在预先训练的resnet50网络模型上进行预训练，得到复合材料缺陷模型的初始权重参数；
15.步骤(105)获得优化后的复合材料缺陷模型：
16.构建以faster r-cnn为框架的复合材料缺陷检测模型：将数据增强后的复合材料数据集作为目标域，再次利用迁移学习的方法，将步骤(104)中训练好的模型参数作为目标域模型的初始化参数在faster r-cnn模型进行训练，获得优化后的复合材料缺陷模型；
17.步骤(106)进行检测识别：
18.将待检测的复合材料缺陷图像输入到复合材料缺陷模型中，检测复合材料的缺陷类别。
19.优选的，步骤(101)中预处理具体为：将伪彩色图转化成灰度图并进行统一缩放到200*200的尺寸，灰度图做反色处理。
20.优选的，步骤(102)中采用labeling标注工具对复合材料图像中的裂纹、分层、褶皱缺陷进行标注，生成与图像相对应的xml格式的标签文件，其中xml文件中包含了缺陷的标注框位置及种类。
21.优选的，步骤(103)中利用旋转、饱和度调节、亮度调节、高斯噪声、水平与垂直翻转对s3中数据集进行数据增强，以扩充图像数据集的总样本数量。
22.优选的，旋转的计算公式如下：
[0023][0024]
式中：(x
′
，y
′
)为原始图像坐标；(x，y)为旋转后的图像坐标；旋转角度α∈[0
°
，360
°
]。
[0025]
优选的，饱和度调节设置为原始图像的1.5倍，亮度调节分别设置为原始图像的1.1倍与0.8倍，高斯噪声随机添加。
[0026]
优选的，步骤(104)中所述的相似源域匹配：
[0027]
在neu热轧带钢表面缺陷数据集中通过预训练好的mobilenetv2卷积神经网络降维与k-means聚类的方法对与复合材料三种缺陷相似的图像进行聚类。
[0028]
优选的，步骤(105)中所述的微调：
[0029]
输入图像经过平均池化层(average pooling)输出为1
×
2048的特征向量，然后连接全连接层，把特征向量的维度降低到1
×
n，n表示数据集中需要识别的类别。当n＝3时，代表了裂纹、分层、褶皱缺陷三种类别。softmax回归作为一个学习算法来优化分类结果，可以将最后全连接层的输出变成了一个概率分布，其计算公式为：
[0030][0031]
式中：softmax(y)i表示类别i的分类概率；yi表示全连接层的输出；n表示数据集的类别。
[0032]
优选的，步骤(105)中所述的迁移学习：
[0033]
源域在预先训练好的resnet50上训练出的权重作为复合材料缺陷模型的初始权重，共设置200个epoch，采用冻结训练方式，在前50个epoch冻结主干网络，利用模型在源域上训练得到的参数作为初始参数，初始学习率设为0.001；在第51个epoch解冻训练，同时学习率为0.0001，每次迭代输入样本的batchsize为16，梯度下降的优化方法用adam，权值衰减系数为0.0005，动量为0.9，iou阈值设置为0.5。
[0034]
本发明的有益效果是：
[0035]
本发明在faster rcnn的目标检测框架上，构建了复合材料缺陷数据集，使用数据增强和迁移学习技术，提出相似源域匹配的方法，在热轧带钢表面缺陷数据集中匹配出与复合材料裂纹、分层、褶皱缺陷高度相似的夹杂、斑、划痕缺陷的作为源域训练样本，利用其特征参数与目标域的相关性，有效解决了样本数据小的问题，提高了对复合材料缺陷检测的效率。
附图说明
[0036]
下面结合附图和实施例对本发明进一步说明：
[0037]
图1为本发明的流程示意图；
[0038]
图2为本发明相似源域匹配结果图；
[0039]
图3为本发明数据增强处理时分层变换示意图；
[0040]
图4为本发明复合材料缺陷模型中裂纹缺陷的p-r曲线图；
[0041]
图5为本发明复合材料缺陷模型中分层缺陷的p-r曲线图；
[0042]
图6为本发明复合材料缺陷模型中褶皱缺陷的p-r曲线图；
[0043]
图7为本发明的复合材料裂纹缺陷检测图；
[0044]
图8为本发明的复合材料分层缺陷检测图；
[0045]
图9为本发明的复合材料裂褶皱陷检测图。
具体实施方式
[0046]
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合附图以及实施例对本发明进一步阐述。
[0047]
如图1所示，一种基于迁移学习的复合材料缺陷检测方法，包括以下步骤：
[0048]
步骤101、利用c扫描对复合材料进行检测成像，获取图像进行预处理：
[0049]
具体的，利用涡流成像技术中的c扫描对复合材料进行检测成像，获取图像进行预处理，将伪彩色图转化成灰度图并进行统一缩放到200*200的尺寸，将灰度图做反色处理。
[0050]
其中，涡流成像技术是根据复合材料中不同结构的电导率差异通过涡流探头扫描复合材料表面提取特征信号来形成图像。
[0051]
步骤102、建立数据集并进行标注：
[0052]
具体的，将预处理后得到的复合材料图像按类别分为三类：裂纹、分层、褶皱，各类别数量分别为14、10、21张，制作成数据集，采用labeling标注工具对数据集中的3类缺陷进行标注，生成与图像相对应的xml标签文件，其中xml文件中包含了缺陷的标注框位置及种类；
[0053]
其格式如下所示：
[0054]
《annotation》
[0055]
《folder》jpegimages《/folder》
[0056]
《filename》crack-1.jpg《/filename》
[0057]
《path》d:\cfrp\jpegimages\crack-1.jpg《/path》
[0058]
《source》
[0059]
《database》unknown《/database》
[0060]
《/source》
[0061]
《size》
[0062]
《width》200《/width》
[0063]
《height》200《/height》
[0064]
《depth》1《/depth》
[0065]
《/size》
[0066]
《segmented》0《/segmented》
[0067]
《object》
[0068]
《name》crack《/name》
[0069]
《pose》unspecified《/pose》
[0070]
《truncated》0《/truncated》
[0071]
《difficult》0《/difficult》
[0072]
《bndbox》
[0073]
《xmin》101《/xmin》
[0074]
《ymin》74《/ymin》
[0075]
《xmax》135《/xmax》
[0076]
《ymax》114《/ymax》
[0077]
《/bndbox》
[0078]
《/object》
[0079]
《/annotation》
[0080]
由上可见，在annotations中的xml文件中包含了图片的名称、尺寸大小、通道数、缺陷位置坐标、缺陷类型等信息。
[0081]
步骤103、数据增强并按照voc数据集格式划分为训练集、测试集和验证集：
[0082]
由于复合材料缺陷样本数量太少，数据增强是一种用来扩充数据样本的方法。样本数量越多，训练出来的模型效果越好，模型的泛化能力越强。本发明采用旋转、饱和度调节、亮度调节、高斯噪声、水平与垂直翻转对步骤102中数据集进行数据增强，如图3所示，将增强后的数据集按照voc数据集格式8：2比例划分为训练集、测试集。
[0083]
增强后数据集构成如表1所示：
[0084][0085][0086]
旋转的计算公式如下：
[0087][0088]
式中：(x
′
，y
′
)为原始图像坐标；(x，y)为旋转后的图像坐标；旋转角度α∈[0
°
，360
°
]。
[0089]
饱和度调节设置为原始图像的1.5倍，亮度调节分别设置为原始图像的1.1倍与0.8倍，高斯噪声随机添加。
[0090]
步骤104、源域进行预训练，得到复合材料缺陷模型的初始权重参数：
[0091]
使用在imagenet数据集上预先训练的resnet50特征提取网络，提出相似源域匹配，特征匹配出东北大学neu热轧带钢表面缺陷数据集中与复合材料裂纹、分层、褶皱缺陷高度相似的夹杂、斑、划痕缺陷的作为源域训练样本，如图2所示，利用迁移学习，并将其应用在预先训练的resnet50网络模型上进行预训练，得到复合材料缺陷模型的初始权重参数。
[0092]
更进一步的，所述相似源域匹配：
[0093]
首先在目标域数据集三类缺陷中，每类缺陷选取10张特征明显的缺陷与东北大学neu热轧带钢表面缺陷数据集中6类缺陷构建成一个新的图像数据集；再通过预训练好的mobilenetv2卷积神经网络将图像转换成特征向量数据集d＝{p1，p2，
……
，pm}；在进行聚类前，用手肘法对k值进行确定，本文k值取6。从数据集中随机选取6个对象作为初始聚类中心，计算其余对象与聚类中心的欧氏距离，并将距离最近的数据对象分配到对应的簇中，然后计算出每个簇中数据对象的均值作为新的聚类中心，迭代至聚类中心收敛停止。将与各类缺陷聚类的簇作为该类缺陷的源域图片，匹配结果如图2所示。
[0094]
步骤105、获得优化后的复合材料缺陷模型：
[0095]
构建以faster r-cnn为框架的复合材料缺陷检测模型，包括：搭建rpn层、roi poing层、分类器和回归器；rpn利用resnet50网络生成的特征图作为输入进行卷积操作，提取出候选区域，再进行分类和定位。
[0096]
将数据增强后的复合材料数据集作为目标域，再次利用迁移学习，在以resnet50为主干特征提取网络中，输入图像经过平均池化层(average pooling)输出为1
×
2048的特征向量，然后连接全连接层，把特征向量的维度降低到1
×
n，n表示数据集中需要识别的类别。当n＝3时，代表了裂纹、分层、褶皱缺陷三种类别。softmax回归作为一个学习算法来优化分类结果，可以将最后全连接层的输出变成了一个概率分布，计算方法如下所示：
[0097]
[0098]
式中：softmax(y)i表示类别i的分类概率；yi表示全连接层的输出；n表示数据集的类别。
[0099]
更进一步的，所述的迁移学习：
[0100]
源域在预先训练好的resnet50上训练出的权重作为复合材料缺陷模型的初始权重，在faster rcnn模型中，共设置200个epoch，采用冻结训练方式，在前50个epoch冻结主干网络，利用模型在源域上训练得到的参数作为初始参数，初始学习率设为0.001；在第51个epoch解冻训练，同时学习率为0.0001，每次迭代输入样本的batchsize为16，梯度下降的优化方法用adam，权值衰减系数为0.0005，动量为0.9，iou阈值设置为0.5。
[0101]
步骤106、进行检测识别：
[0102]
将待检测的复合材料缺陷图像输入到复合材料缺陷模型中，检测复合材料的缺陷类别。利用测试集对模型进行测试，网络中的损失函数、各种参数不再变化；性能评价指标包括精确率(precision)、召回率(recall)与平均精度均值(mean average precision，map)，实现了模型评价的可视化。如图4至6所示；
[0103]
精确率(precision)的计算公式为：
[0104][0105]
式中，tp指识别为缺陷的样本数量；fp指正常的样本中被识别为缺陷的样本数量。
[0106]
召回率(recall)的计算公式为：
[0107][0108]
式中，tp指识别为缺陷的样本数量；fn指缺陷样本中没有被正确识别的样本数量。
[0109]
平均精度ap(average precision)的计算公式为：
[0110][0111]
式中，p为精确率；r为召回率。
[0112]
map是所有类别的平均精度均值，计算公式为：
[0113][0114]
式中，k为检测类别数。
[0115]
性能指标结果如表2所示
[0116]
[0117][0118]
经过多次实验，用faster rcnn检测单张图片的的时间为0.28s/张，能够达到快速检测的要求。检测结果如图7至图9所示。
[0119]
本发明在faster rcnn的目标检测框架上，构建了复合材料缺陷数据集，使用数据增强和迁移学习技术，提出相似源域匹配的方法，在热轧带钢表面缺陷数据集中匹配出与复合材料裂纹、分层、褶皱缺陷高度相似的夹杂、斑、划痕缺陷的作为源域训练样本，利用其特征参数与目标域的相关性，有效解决了样本数据小的问题，提高了对复合材料缺陷检测的效率。在对复合材料缺陷模型的测试实验中，map值的指标达到了91.36％，满足对复合材料缺陷的检测识别。
[0120]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。