一种基于Transformer神经网络的焊缝质量检测方法与流程

一种基于transformer神经网络的焊缝质量检测方法
技术领域
1.本发明涉及一种基于transformer神经网络的焊缝质量检测方法，属于深度学习和焊缝质量检测技术领域。


背景技术：

2.在实际焊接过程中，由于环境或人为因素的影像，例如：高温、尘埃、强光辐射、手抖、人为精度判断失误等原因，从而导致了焊缝存在偏焊、气孔、熔深不足等问题，这些问题不仅给焊接过程和后续使用过程带来安全隐患，同时造成了企业或工厂的利益损失。因此，在焊接过程中对于焊缝进行有效的质量检测，不但可以弥补安全隐患，同时提高企业或工厂的效益。
3.注意力机制(attention mechanism)，源于人类视觉的研究，在认知科学中，又要信息处理瓶颈的限制，人类会选择性地关注全部信息的一部分，同时忽略其他可见信息，即为注意力机制；而在计算机视觉中，注意力机制主要是让系统把注意力放在感兴趣的区域，具备注意力机制的神经网络一方面可以自主学习注意力机制，另一方面利用注意力机制可以高效理解神经网络所见到的世界。
4.transformer神经网络模型，研究广泛用于在不同的自然语言任务中，包括：文本分类、机器翻译和问答系统；由于transformer在自然语言中取得巨大成功，所以研究者尝试将它应用在视觉任务中；transformer架构是基于自注意力机制，该机制主要用来学习序列元素之间的关系；它相对于递归神经网络(recurrent network)的主要优势就是，可以并行且长期获取全局特征信息。此外，由于transformer的预训练特性，它可以维持很好的模型尺度性，避免不同尺度模型带来的人为标注的问题。
5.现有的基于工业传感技术焊缝质量检测技术：
6.在焊接过程中会产生许多不同的物理现象，如电磁辐射，光辐射、红外辐射和声波发射等。这些现象会产生不同类型的信号，通常这些信号与焊接质量密切相关。
7.1.基于超声波的焊缝质量检测
8.基于被测物体材料的声学性能进行检测，若被测物体内部某处存在缺陷，则此处对超声波传播波形的反射情况和穿透时间的能量和无缺陷的位置相比较有很大差异，根据差异可检测出缺陷的位置、形状和大小等特征。
9.2.基于红外辐射的焊缝质量检测
10.将一恒定的热流注入被测物体，如果某处位置有缺陷，则与无缺陷位置相比两者的热扩散系数存在差异，则两处表面的温度分布就会不同，从而它们发出的红外线就会不同，根据被测物体表面温度分布图，就能确定被测物体内部缺陷的位置。
11.3.基于x射线的焊缝质量检测
12.将x射线投射到焊缝上，若在某个位置处焊缝内部存在缺陷(气孔或者未融合等)时，此处透过的x射线强度高于无缺陷位置的射线强度，根据射线强度差别导致投射到数字底片上的图像特征有所不同，因此可以通过图像处理对焊缝内部缺陷进行提取和识别。
13.现有的基于机器视觉(图像)的焊缝质量检测：
14.使用机器视觉对焊缝质量进行检测模拟了人眼对焊缝质量检测，可以实时判断焊缝成形质量。重点在于对视觉传感器获得的图像的处理方法。深度学习与传统的图像处理方法相比，深度网络可以自动从图像中学习并更新网络参数，使其具有强大的特征学习能力。目前深度学习技术的很多模型都被应用在焊缝缺陷图像中，其中应用比较广泛的包括卷积神经网络(convolutional neural networks,cnn)和faster r-cnn两种网络模型。
15.1.基于卷积神经网络
16.步骤1：焊缝样本采集
17.在实际采集过程中，采用视觉曝光的方式进行了样本采集，突出目标的表面特征。
18.步骤2：焊缝数据预处理
19.利用sin函数对焊缝图像进行一次非线性变换,将原始图像的灰度直方图分布进行拉伸，提高图像的对比度，同时对采集的数据进行数据扩增。
20.步骤3：参数选择与模型训练
21.数据按照4：1的比例划分为训练集和验证集，通过搭建的卷积神经网络在训练集中进行训练，并通过在验证集中的性能表现进行模型调参，最终得到稳定的模型。
22.步骤4：模型预测分析
23.将每一条焊缝区域中的图像采集完后，采用数字编码的形式做好标签，并依次输入到训练好的卷积神经网络模型中进行预测分析。
24.卷积神经网络可自动提取图像的颜色、边缘和纹理等特征，避免了传统算法中复杂的特征提取过程。基于卷积神经网络的方法主要是增加卷积神经网络的层数以及与其他模型进行融合，从而克服原来网络结构简单、特区特征类别单一的缺点，增强了网络对焊缝缺陷特征的提取能力。
25.2.基于faster r-cnn网络
26.步骤1：数据预处理
27.首先将图像进行人工数据清洗；然后将清洗后的数据通过灰度变换和仿射变换对数据做增强和扩充处理；最后将图像进行数据标注。
28.步骤2：构建faster-rcnn网络
29.faster-rcnn网络包括四个部分：特征提取网络、rpn网络、roipooling层以及分类与回归网络。首先经过经典的卷积神经网络对图像进行特征提取，然后使用rpn网络得到候选区域框，进而roipooling层输出固定尺寸的特征图，最后对特征图分类和回归处理得出检测结果。
30.步骤3：训练faster-rcnn网络
31.在网络训练前设置超参数，包括学习率、权重衰减、迭代次数等。通过构建的faster-rcnn网络在训练集中进行训练，结合验证集中的性能表现进行调参，获得稳定的模型。
32.步骤4：模型预测分析
33.基于faster-rcnn网络模型，对焊缝图像数据进行质量检测。
34.基于faster r-cnn的方法主要进行了模型融合，单一的网络模型往往不能提取所有有用的特征信息，采用多个模型进行融合的方式可以充分利用各个模型的优势提取多维
特征，获得更多的细节信息。
35.现有技术存在以下缺点：
36.(1)传统的焊缝质量检测技术对缺陷的显示结果不直观，容易受主观因素的影响。
37.(2)基于卷积神经网络的方法虽然准确率相比与传统方法得到了显著提高，但并没有在焊缝图像中定位出缺陷的位置。而基于faster r-cnn的方法虽然给出了缺陷的位置，但只对某类缺陷识别率高，整体的识别准确率不高。同时存在模型设计困难和达不到预期性能等问题。
38.(3)现有技术，对应采集到的数据实施了一定预处理操作，然而没有达到数据增强的目的，仅仅是对数据进行了清洗，没有进一步突出数据的特点，对于后续的方案操作，会带来大量额外的计算和消耗。
39.(4)采用了深度学习方法，构建了相应的深度卷积网络，但是其网络结构没有采用特定的残差网络结构，对于卷积层数较深的情况下，其卷积效果将会很不理想，从而造成大量计算损耗。
40.(5)对于整个场景输入数据，进行卷积操作时，其输入数据不同区域的初始权重是固定的，这就导致关注点不突出，可能导致焦点丢失，进一步增大错误率，增加无效计算的数量，最终导致计算的损耗和浪费。


技术实现要素：

41.针对上述现有技术存在的问题，本发明提供一种基于transformer神经网络的焊缝质量检测方法，采用图像增强等一系列的数据预处理操作，对采集到的数据进行相关处理，使得数据在实际应用中具有较强的鲁棒性和代表性；采用独特的深度残差网络结构，既确保了卷积网络的深度，也就是保证了数据表征的层次高和内容足够丰富，也保证了深层次的网络结构不会出现“梯度爆炸”的效果，有效减少了计算无力的缺陷，高效提高计算的效率和准确性；采用注意力机制，在高效、准确计算的基础上，进一步提高兴趣区域的权重，协助深度卷积网络更快速定位到兴趣区域，进一步提高运算速度，满足实时性需求和相关工业性标准。
42.为了实现上述目的，本发明采用的技术方案是：一种基于transformer神经网络的焊缝质量检测方法，包括以下步骤：
43.s1、在焊接机械手靠近焊枪端加装高速容熔池监控相机，实时获取焊接拍摄图像数据，监测电弧、熔池、坡口等状态；
44.s2、对获取到的数据实施基本的数据增强，使用多张图像重叠增强方法，提高焊缝这类小目标检测效率；
45.s3、构建基于自注意力的视觉transformer神经网络焊缝识别模型；
46.s4、采用多模态相关注意力方法，来可视化本模型训练过程变化，并对模型结构进行调整；
47.s5、利用训练好的模型，对焊缝质量进行检测。
48.优选的，所述的步骤s1包括以下基本操作：
49.s11、该相机模块固定在焊接机械手靠近焊枪端，实现对焊缝情况进行实时稳定的拍摄；
50.s12、该相机模块可以将获取的拍摄数据实时传输至数据处理端。
51.优选的，所述的步骤s2包括以下基本操作：
52.s21、进行基础的图像增强方法，包括：光照图像增强和几何图像增强；
53.s22、在保留原始图像信息基础上，实施模拟图像遮挡的增强方法；
54.s23、使用多张图像重叠增强，进一步提高小目标检测精度。
55.优选的，所述的步骤s3包括以下基本操作：
56.s31、使用卷积神经网络作为基干特征提取器，将提取到的特征信息输入到后续的transformer编解码结构中；
57.s32、将获取的特征信息输入到transformer编码器结构中，得到编码之后的特征信息；
58.s33、将编码特征信息输入解码器结构中，这里解码器使用多头解码器，也就是将编码特征信息共享给不同的解码器，并行实现解码分解操作，输出不同的目标特征结果；
59.s34、将目标特征信息输入到预测前馈网络中，预测多个目标的坐标和类别信息；
60.s35、为了提高上述模型训练过程的准确性，本方法在解码器结构中添加辅助训练的损失函数，用以提高预测目标类别精度。
61.优选的，所述的步骤s4包括以下基本操作：
62.s41、关注图像和特征编码向量之间的多模态交互关系，构建本发明方法的模型可视化图；
63.s42、多模态相关注意力图初始化规则；
64.s43、多模态相关注意力图更新规则。
65.优选的，所述的步骤s5包括以下基本操作：
66.s51、根据上述提出的，基于transformer神经网络模型，对于获取到的焊缝图像数据，进行质量检测，得到焊缝是否满足质量要求的结果。
67.本发明的有益效果是：
68.(1)采用图像增强等一系列的数据预处理操作，对采集到的数据进行相关处理，使得数据在实际应用中具有较强的鲁棒性和代表性。
69.(2)采用独特的深度残差网络结构，既确保了卷积网络的深度，也就是保证了数据表征的层次高和内容足够丰富，也保证了深层次的网络结构不会出现“梯度爆炸”的效果，有效减少了计算无力的缺陷，高效提高计算的效率和准确性。
70.(3)采用注意力机制，在高效、准确计算的基础上，进一步提高兴趣区域的权重，协助深度卷积网络更快速定位到兴趣区域，进一步提高运算速度，满足实时性需求和相关工业性标准。
附图说明
71.图1为本发明一种基于transformer神经网络的焊缝质量检测方法的模块示意图；
72.图2为本发明一种基于transformer神经网络的焊缝质量检测方法的transformer神经网络基本架构图；
73.图3为本发明一种基于transformer神经网络的焊缝质量检测方法计算交互注意力特征图。
具体实施方式
74.为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。
75.除非另有定义，本文所使用的所有的技术术语和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同，本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
76.如图1-3所示，一种基于transformer神经网络的焊缝质量检测方法，包括以下步骤：
77.s1、在焊接机械手靠近焊枪端加装高速容熔池监控相机，实时获取焊接拍摄图像数据，监测电弧、熔池、坡口等状态；本发明的首要前提是，在焊接机械手靠近焊枪端加装高速容熔池监控相机，实时获取焊接拍摄图像数据，监测电弧、熔池、坡口等状态；该相机模块还具备网络子模块，可以将实时拍摄的焊接操作图像或视频，传输至服务器端进行后续处理。
78.s11、该相机模块固定在焊接机械手靠近焊枪端，实现对焊缝情况进行实时稳定的拍摄；
79.s12、该相机模块可以将获取的拍摄数据实时传输至数据处理端。
80.经过这一步就可以获得焊缝图像数据集，并且传输至服务器端，结果简单的尺度归一化操作后，输入到后续步骤进行训练操作。
81.s2、对获取到的数据实施基本的数据增强，使用多张图像重叠增强方法，提高焊缝这类小目标检测效率。
82.s21、进行基础的图像增强方法，包括：光照图像增强和几何图像增强；
83.s22、在保留原始图像信息基础上，实施模拟图像遮挡的增强方法；
84.s23、使用多张图像重叠增强，进一步提高小目标检测精度。
85.结合步骤1得到的图像数据集，结果尺度归一化操作后，需要进一步对图像数据进行增强，这样不仅提高了图像特征的泛化性，同时减少目标和输入之间的分布误差。
86.为了增加输入图像数据的多样性，本方法首先进行像素级别的基础数据增强，主要包括：光照图像增强和几何图像增强。
87.针对光照图像增强；本方法采用光照、对比度、色调、饱和度和噪声等角度进行增强。
88.而对于几何图像增强；本方法使用随机尺度化、随机裁剪、随机翻转和随机旋转来实现。
89.像素级别的基础数据增强保留了具体的图像特征信息，在此基础上，本方法进一步实施特征级别增强，主要是模拟目标遮挡进行鲁棒性数据增强；这里主要采用随机擦除或随机切除图像数据中的部分内容，使用特定像素值进行填充(像素值范围为0-255)，使用这些处理后的图像进行训练，提高模型对于遮挡目标检测的鲁棒性，因此，对于被遮挡的焊缝气泡或偏焊具有很好的检测效果。
90.此外，本方法进一步使用多种图像重叠的策略提高小目标的检测精度，尤其对于焊接中造成的气泡、焊缝等小目标进行检测；具体来说，本方法采用四张图像重叠混合，重
叠后的混合图像，缩放到单张图像的尺度大小，这样每张图像都具有不同的特征信息，而且，由于混合图像导致了原始图像目标尺度变小，更加有利于识别小目标特征；同时，对于一批数据(例如：16张混合重叠图像为一批)，采用批正则化进行操作，实现每批图像中的分布均衡，降低检测误差。
91.s3、构建基于自注意力的视觉transformer神经网络焊缝识别模型。
92.s31、使用卷积神经网络作为基干特征提取器，将提取到的特征信息输入到后续的transformer编解码结构中；
93.s32、将获取的特征信息输入到transformer编码器结构中，得到编码之后的特征信息；
94.s33、将编码特征信息输入解码器结构中，这里解码器使用多头解码器，也就是将编码特征信息共享给不同的解码器，并行实现解码分解操作，输出不同的目标特征结果；
95.s34、将目标特征信息输入到预测前馈网络中，预测多个目标的坐标和类别信息；
96.s35、为了提高上述模型训练过程的准确性，本方法在解码器结构中添加辅助训练的损失函数，用以提高预测目标类别精度。
97.整个transformer神经网络主要包含三个主要组件，包括：1.一个卷积神经网络作为基干特征提取器；2.一个编解码结构的transformer网络；3.以及一个简答的前馈神经网络(ffn)。具体如图2所示。
98.基干特征提取器，这一组件主要是提取数据基本特征，用于后续的训练操作。为了满足便捷快速的目的，本方法选用28层结构的mobilenet。mobilenet网络首先包含一个3x3的标准卷积层，后面堆积各种分组卷积层，同时部分分组卷积采用步长为2(stride＝2)进行下采样操作，最后将不同分组卷积的结果进行拼接，得到本方法需要的基础特征信息。其中，输入的图像数据表示为(即三通道图像)，而得到的特征信息表示为f∈rc×h×w。
99.transformer编码器结构，首先将特征信息输入到1x1卷积层中，用来实现特征降维的操作。由于transformer编码器需要将一个序列作为输入(即二维数据)，因此，本文方法将特征信息的空间维度压缩为一个维度，这样特征信息的维度表示为d
×
hw。每一个编码层包含一个多头自注意力模块和一个前馈神经网络，并且每一个注意力层都嵌入了位置信息，实现transformer神经网络结构的信息不变性。
100.transformer解码器结构，借助多头自注意力机制，将编码器编码嵌入的特征信息转化为n个相同尺度的特征信息。这n个不同的特征信息同样是位置不变性的，因为在解码器阶段同样嵌入位置信息，这样对于焊缝气泡、焊缝偏焊、焊缝熔深不足等不同问题，可以实现并行同步检测。这样，经过transformer解码器结构，可以得到针对n个不同的目标的n个预测信息。
101.前馈神经网络(ffn)，经过上述的编码器和解码器结构后，将最后的预测信息输入到一个3层感知机结构，不同层之间使用relu激活函数。前馈神经网络实现预测目标的坐标框，以及每个目标对应的n个预测框。
102.s4、采用多模态相关注意力方法，来可视化本模型训练过程变化，并对模型结构进行调整。
103.s41、关注图像和特征编码向量之间的多模态交互关系，构建本发明方法的模型可
视化图；
104.s42、多模态相关注意力图初始化规则；
105.s43、多模态相关注意力图更新规则。
106.一般神经网络可视化采用梯度热力图进行可视化，但是应用于transformer神经网络模型上，就会导致信息的丢失，因为transformer模型输入信息不仅包括特征信息，还包括位置信息和查询信息，因此本发明采用图像和特征编码向量之间的多模态交互关系，构建本发明方法的模型可视化图，具体如图3所示。
107.关注图像和特征编码向量之间的多模态交互关系，构建本发明方法的模型可视化图，这里将图像和向量之间的多模态相关注意力图表示为：a
tt
，a
ii
，a
ti
，a
it
，其中i,t分别表示图像和特征编码向量，a
tt
，a
ii
为自注意力关系特征图，a
tt
，a
ii
为相互注意力关系特征图。多模态相关注意力图初始化规则，对于自注意力图来说，它们初始化为：a
ii
＝1i×i,a
tt
＝1
t
×
t
，对于相互注意力图来说，它们初始化为：a
it
＝0i×i,a
ti
＝0
t
×
t
。多模态相关注意力图更新规则，表示为：其中，
⊙
表示为哈达玛积，中，y
t
是每类想要被可视化类别的结果，εh是多头注意力权重的均值。
108.s5、利用训练好的模型，对焊缝质量进行检测。
109.s51、根据上述提出的，基于transformer神经网络模型，对于获取到的焊缝图像数据，进行质量检测，得到焊缝是否满足质量要求的结果。
110.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。