基于深度学习的焊缝缺陷自动检测方法、系统与流程

1.本发明涉及缺陷检测领域，具体地，涉及一种基于深度学习的焊缝缺陷自动检测方法、系统。


背景技术：

2.焊接质量检测可分为破坏检测和无损检测，破坏检测包括拉伸、杯凸实验，可靠性更高，但会破坏工件，因此无法作为常规检测手段。无损检测技术是指在不破坏被检测物的前提下，采用特定的方法，如传统的视觉检测、磁粉检测(mt)、射线检测(rt)、超声检测(ut)及涡流检测(et)等。其中，无损检测中的超声波检测和x射线检测等不适合在线检测。
3.视觉检测方法是目前使用最广泛的无损检测方法。传统的视觉检测方法是人工视觉检测，即由经验丰富的检验人员肉眼观察焊缝缺陷，通过测量工具对焊缝外观形貌进行测量。人工视觉检测劳动强度高，依赖人的主观判断，检测周期长，不能实现在线检测。随着计算机技术和图像处理技术的发展，焊缝质量视觉检测可以代替人工在恶劣的工况下完成更多任务，是一项具有发展潜力的检测技术。国内外在焊缝视觉检测的算法研究和系统开发上已经有了一定的技术基础，但是目前焊接的视觉检测大多用于焊缝跟踪，外观尺寸测量，对于缺陷的分析研究较少，没有发现专门针对汽车板窄搭接电阻焊焊缝的视觉检测算法及其系统，在实际工业并没有得到应用，缺少系统的检测方案。
4.除了视觉检测以外，对焊缝进行无损检测时还可以采用涡流检测法。但是目前的涡流检测技术大多是基于阻抗平面图来分析产品有无缺陷，对于不同缺陷的涡流信号并没有效分析，因而即使检测出有缺陷也不能判断缺陷的类型。无法在实际生产中从根本上提高焊缝检测系统的质量。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习的焊缝缺陷自动检测方法、系统。
6.根据本发明提供的一种基于深度学习的焊缝缺陷自动检测系统，包括：三维扫描仪、涡流检测设备、第一单片机、第二单片机、距离传感器以及主机；
7.所述距离传感器通过所述第一单片机连接所述主机，所述涡流检测设备通过所述第二单片机连接所述主机，所述三维扫描仪、所述涡流检测设备和所述距离传感器设置于焊机的焊臂上，在焊接过程中与焊机随动；
8.所述主机根据所述距离传感器采集到的距离信息控制所述三维扫描仪和所述涡流检测设备分别采集焊缝表面图像信息、涡流信息；
9.所述主机根据所述焊缝表面图像信息定位可疑区域，并根据所述可疑区域的焊缝表面图像信息和涡流信息判断焊缝缺陷。
10.优选地，所述主机对所述焊缝表面图像信息进行预处理，包括：
11.获取焊缝边缘多个像素点的集群特征，划分焊缝边缘；
12.通过图像卷积，利用卷积核对焊缝表面图像信息运算，利用卷积得出焊缝表面图像信息在像素点的灰度一阶导数，得到特征图像；
13.对得到的特征图像进行图像分割。
14.优选地，所述主机对所述涡流信息进行预处理，包括：
15.step1：初始化；
16.step2：编码，将各分解层改进阈值函数自适应调节因子a
j
,α
j
,β
j
和阈值修正因子ξ
j
用整数编码表示；
17.step3：产生初始种群，种群规模为n；
18.step4：计算适应度，采用信噪比作为适应度函数，适应度函数表达式为：
[0019][0020]
式中：s(n)为有用信号；为去噪以后的估计信号；
[0021]
step5：精英个体保留，在计算适应度的基础上进行个体适应度排序，并将适应度最好的精英个体snr
max
保留；
[0022]
step6：遗传操作产生新一代种群，对父代个体进行选择、交叉、变异产生子代种群，并计算适应度值：对通过选择的群体，进行概率为p
c
的单点交叉；变异操作采用自适应变异概率，自适应变异概率公式为：
[0023][0024]
式中：p
m
为变异概率；snr
max
为群体中目标函数最大值；snr
avg
为群体目标函数平均值；p
m1
,p
m2
为常数，本文取p
m1
＝0.2,p
m2
＝0.1；
[0025]
step7：若子代种群中的最优个体适应度值比保留的父代好，证明种群已优化，用保留的精英个体snr
max
替换子代最差个体snr
min
，同时将精英个体替换为子代最佳个体；否则保留父代精英个体不变，继续迭代；
[0026]
step8：算法终止，若遗传代数gen大于最大进化代数，终止迭代，输出精英个体及对应的优化结果；否则，返回step4。
[0027]
优选地，根据所述可疑区域的焊缝表面图像信息判断焊缝缺陷的方法包括：
[0028]
采用两阶段模型，首先对可疑区域进行检测，分析区域内缺陷的类别，借助迁移学习，采用预训练模型进行训练。
[0029]
优选地，根据所述涡流信息判断焊缝缺陷的方法包括：
[0030]
选取8个时域特征参数，分别为：均值、方差、均方差、极大值、极小值、偏态系数、峰态系数、过零点个数；
[0031]
选取4个频域特征参数：中心频率、均方根频率、频率标准差、能量；
[0032]
采用pca方法对特征向量进行降维和优化处理，作为后续焊缝缺陷分类的特征向量。
[0033]
根据本发明提供的一种基于深度学习的焊缝缺陷自动检测方法，采用上述的基于深度学习的焊缝缺陷自动检测系统；
[0034]
所述主机根据所述距离传感器采集到的距离信息控制所述三维扫描仪和所述涡流检测设备分别采集焊缝表面图像信息、涡流信息；
[0035]
所述主机根据所述焊缝表面图像信息定位可疑区域，并根据所述可疑区域的焊缝表面图像信息和涡流信息判断焊缝缺陷。
[0036]
优选地，所述主机对所述焊缝表面图像信息进行预处理，包括：
[0037]
获取焊缝边缘多个像素点的集群特征，划分焊缝边缘；
[0038]
通过图像卷积，利用卷积核对焊缝表面图像信息运算，利用卷积得出焊缝表面图像信息在像素点的灰度一阶导数，得到特征图像；
[0039]
对得到的特征图像进行图像分割。
[0040]
优选地，所述主机对所述涡流信息进行预处理，包括：
[0041]
step1：初始化；
[0042]
step2：编码，将各分解层改进阈值函数自适应调节因子a
j
,α
j
,β
j
和阈值修正因子ξ
j
用整数编码表示；
[0043]
step3：产生初始种群，种群规模为n；
[0044]
step4：计算适应度，采用信噪比作为适应度函数，适应度函数表达式为：
[0045][0046]
式中：s(n)为有用信号；为去噪以后的估计信号；
[0047]
step5：精英个体保留，在计算适应度的基础上进行个体适应度排序，并将适应度最好的精英个体snr
max
保留；
[0048]
step6：遗传操作产生新一代种群，对父代个体进行选择、交叉、变异产生子代种群，并计算适应度值：对通过选择的群体，进行概率为p
c
的单点交叉；变异操作采用自适应变异概率，自适应变异概率公式为：
[0049][0050]
式中：p
m
为变异概率；snr
max
为群体中目标函数最大值；snr
avg
为群体目标函数平均值；p
m1
,p
m2
为常数，本文取p
m1
＝0.2,p
m2
＝0.1；
[0051]
step7：若子代种群中的最优个体适应度值比保留的父代好，证明种群已优化，用保留的精英个体snr
max
替换子代最差个体snr
min
，同时将精英个体替换为子代最佳个体；否则保留父代精英个体不变，继续迭代；
[0052]
step8：算法终止，若遗传代数gen大于最大进化代数，终止迭代，输出精英个体及对应的优化结果；否则，返回step4。
[0053]
优选地，根据所述可疑区域的焊缝表面图像信息判断焊缝缺陷的方法包括：
[0054]
采用两阶段模型，首先对可疑区域进行检测，分析区域内缺陷的类别，借助迁移学习，采用预训练模型进行训练。
[0055]
优选地，根据所述涡流信息判断焊缝缺陷的方法包括：
[0056]
选取8个时域特征参数，分别为：均值、方差、均方差、极大值、极小值、偏态系数、峰态系数、过零点个数；
[0057]
选取4个频域特征参数：中心频率、均方根频率、频率标准差、能量；
[0058]
采用pca方法对特征向量进行降维和优化处理，作为后续焊缝缺陷分类的特征向量。
[0059]
与现有技术相比，本发明具有如下的有益效果：
[0060]
本发明将焊缝表面的图像信息以及内部的涡流信号有机的结合起来。完成信息采集后，通过表面图像信息，快速定位可能存在缺陷的焊缝区域，为之后的数据挖掘提供引导，大大提升检测效率以及检测精度。完成可疑区域定位后，对可疑区域的图像信息以及涡流信号做进一步数据处理。图像数据用于分析焊缝宽度、平整度、错边、缺陷等信息。采用图像分割计算的出焊缝宽度信息。采用三维激光扫描仪扫描得到成形件表面的点云数据，通过计算点云坐标偏离基准平面的程度表征表面平整度。通过测量灰度图可以计算焊缝错边。根据图像特征差别来判断焊缝缺陷。完成焊缝表面的图像分析后，可以快速定位可能存在缺陷的区域，再通过涡流设备对可能存在缺陷的区域进行进一步的探查，对可疑区域的涡流信号进行重点分析判别。
[0061]
在处理焊缝涡流信号过程中，本发明将基于精英保留的遗传算法(ega)应用到小波阈值去噪领域，利用ega求解本文改进阈值函数的各层自适应调节因子和阈值修正因子，进而得到最优或近似最优的改进阈值估计函数和小波分层阈值。
[0062]
与现有数据处理分析方法相比，本发明在分析小波阈值去噪算法的基础上，提出一种带有自适应调节因子的分层小波阈值函数和带有修正因子的分层阈值相结合的去噪算法，并采用改进的ega求解各层自适应调节因子和修正因子的最优值，具有很强的灵活性和适用性。
[0063]
本发明设计合理，通过距离传感器实现数据的随动采集，使用三维激光扫描仪和涡流检测设备获取数据，通过图像处理以及模式识别技术，使用深度学习算法将数据进行处理，从而实现了一种焊缝缺陷实时自动检测方法。实现了焊缝缺陷检测的实时化、自动化。
附图说明
[0064]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0065]
图1为本发明的硬件结构示意图；
[0066]
图2为本发明的工作流程图；
[0067]
图3为焊缝检测流程图；
[0068]
图4为基于ega的小波阈值去噪流程图；
[0069]
图5为焊缝缺陷识别流程图。
具体实施方式
[0070]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0071]
实施例中，检测系统的硬件部分由图像采集设备、涡流信号采集设备、距离传感器、单片机、用于传输数据的网线以及中央计算机组成。软件部分为基于c#语言自主开发的焊缝缺陷检测软件。
[0072]
在焊接机组的窄搭接焊机的基础上，在焊轮后发布置距离传感器、三维激光扫描仪以及涡流检测设备，和焊机随动，从而实现实时非接触式检测。
[0073]
在该实施例中，选用的三维激光扫描仪的型号为gocator 2330，可以提供微米级的3d剖面数据，出厂前经过标定，可扫描大小不同的物体。其高度信息，即3d剖面数据可以使对缺陷的检测更加精确。在本项目中，需要把相机固定在窄搭接焊机的焊臂上，使其跟随焊机一同移动。因此需要相机的大小不应过大，且要坚固耐用。gocator本身机身非常坚固，符合ip67防护标准，机身小巧轻便，可固定在狭小空间内或机械臂上，满足了在线热镀锌产品缺陷检测的要求。它拥有百万像素分辨率和5000hz扫描速率，满足对于移动物体的信息采集。gocator 2330采用单色激光亮度图像可以更有效的检测缺陷，视野从47毫米到1.26米，对于焊缝而言有足够的清晰度。通过1gb以太网接口通讯，可轻松扩展到多传感器系统，无需额外硬件。我们可以通过局域网对扫面仪各项参数进行调整及标定，从而适应不同的实际工况。gocator 2300系列型号规格见表1。
[0074]
表1 gocator 2300系列所有型号
[0075][0076][0077]
在该实施例中，涡流检测仪则采用南京博克纳自动化系统有限公司自主研发的涡流检测设备。该涡流检测设备可广泛应用于各类有色金属、黑色金属管、棒、线、丝、型材的在线、离线探伤。对金属管、棒、线、丝、型材的缺陷，如表面裂纹、暗缝、夹渣和开口裂纹等缺陷均具有较高的检测灵敏度。涡流检测设备的主要技术指标见表2。
[0078]
表2涡流检测设备主要技术指标
[0079][0080]
如图1和图2所示，包括以下步骤：第一，在焊机的焊臂上布置距离传感器、三维激光扫描仪以及涡流检测设备，在焊接过程中与焊机随动；第二，布置两台单片机，分别与涡流检测设备以及距离传感器通过网线连接，并与主计算机通过串口线连接；第三，主计算机与三维激光扫描仪以及涡流检测设备之间使用网线连接；第四：主计算机运行焊缝缺陷检测软件；第五，焊接开始，距离传感器通过单片机向主计算机传递焊接开始信号；第六，主计算机发出采集开始信号，采集设备开始采集并向主计算机实时传递焊缝信息直至焊接结束；第七，主计算机对焊缝表面图像信息进行分割处理，快速定位可能存在缺陷的可疑区域；第八，涡流设备对可疑区域进行进一步探查；第九，对可疑区域的涡流信号以及表面图像信息进行进一步数据挖掘，并对焊缝缺陷进行检测。本发明实现了在焊接过程中，焊机运动触发距离传感器，由单片机向主计算机传递焊接开始信号，随后主计算机开始运行缺陷检测软件，向三维激光扫描仪和涡流检测设备发出信息采集信号并通过网线将采集信息传回，通过检测软件内置算法对焊缝缺陷进行判断。
[0081]
为实现检测系统的实时性，当焊接开始时，焊机运动触发距离传感器，由单片机通过串口向计算机发送信号，焊机运动代表正在焊接则单片机向主计算机发送1信号。主计算机通过检测软件监测串口信号，当信号为1时代表焊接开始，主计算机向三维激光扫描仪和涡流检测设备发送采集开始信号，采集设备一直采集信息直至焊接结束。焊接结束后，距离传感器不再被触发，则单片机向计算机发送0信号，主计算机监测到0信号时向采集设备发送停止采集信号。
[0082]
当三维激光扫描仪收到由主计算机发出的扫描信号时，激光从发生器射出，经过材料表面反射后被接收器接收。激光接收器按照预先设定好的频率接收激光信号，每一次接收到的信号为一行图像信号。当涡流检测收到采集开始信号时，涡流探头是把通有交变电线圈接近被检导体，随后对涡流传感器的电阻抗变化值进行测量。随后采集设备通过网线将采集到的信息通过网线实时传送回主计算机。三维激光扫描仪与主计算机之间采集开始及结束信号通过网线传递，涡流检测设备与主计算机之间采集开始及结束信号通过另一台单片机进行传递。
[0083]
焊接过程中，主计算机实时收到由采集设备传回的焊缝信息，通过焊缝检测软件系统中的数据预处理模块对数据进行处理，预处理过程包括对表面图像信息进行区域分割、模式识别以及使用小波算法对涡流信号进行降噪处理。
[0084]
如图3所示，下面给出了图像数据的处理算法：
[0085]
1)焊缝图像模式识别：如对于窄搭接焊，单一像素点不能表示焊缝边缘特征，本文
改进传统单点阈值分割，提出局部窗口的阈值分割算法，获得焊缝边缘多个像素点的集群特征，利用积分图优化算法运行效率，准确划分焊缝边缘并获得焊缝宽度值。在缺陷识别中，焊缝图像部分细节模糊，缺陷与非缺陷纹理没有明显的位置和形状特征，不能简单通过位置，灰度值，形状来提取缺陷。
[0086]
2)焊缝边缘分割：首先通过图像卷积，利用卷积核对图像进行一系列运算，利用卷积得出原始图像在像素点的灰度一阶导数，增强图像特征。
[0087]
3)图像分割：对得到的特征图像进行图像分割，采用的边缘划分伪代码如下。
[0088]
边缘划分算法
[0089][0090][0091]
涡流信号信号处理的具体方案如下：
[0092]
step1：初始化。
[0093]
step2：编码。本文采用十进制编码方式，即将各分解层改进阈值函数自适应调节因子a
j
,α
j
,β
j
和阈值修正因子ξ
j
用整数编码表示。
[0094]
step3：产生初始种群。本文种群规模取n＝100。
[0095]
step4：计算适应度。信噪比(signal to noise ratio,snr)常用来判断信号去噪效果的好坏，snr越大表明去噪效果越好。因此本文采用信噪比作为适应度函数，snr表达式为：
[0096][0097]
式中：s(n)为有用信号；为去噪以后的估计信号。
[0098]
step5：精英个体保留。在计算适应度snr的基础上进行个体适应度排序，并将适应度最好的精英个体snr
max
保留。
[0099]
step6：遗传操作产生新一代种群。对父代个体进行选择、交叉、变异产生子代种群，并计算其适应度值。选择操作采用经典轮盘赌法；对通过选择的群体，进行概率为p
c
的单点交叉，本文取p
c
＝0.8；变异操作采用自适应变异概率，自适应变异概率可以减少破坏群体中原有的最优解的概率，当算法接近最优解时，防止过高的变异概率使最优解被破坏。自适应变异概率公式为：
[0100][0101]
式中：p
m
为变异概率；snr
max
为群体中目标函数最大值；snr
avg
为群体目标函数平均值；p
m1
,p
m2
为常数，本文取p
m1
＝0.2,p
m2
＝0.1。
[0102]
step7：若子代种群中的最优个体适应度值比保留的父代好，证明种群已优化，用保留的精英个体snr
max
替换子代最差个体snr
min
，同时将精英个体替换为子代最佳个体；否则保留父代精英个体不变，继续迭代。
[0103]
step8：算法终止。若遗传代数gen大于最大进化代数，终止迭代，输出精英个体及对应的优化结果，最大迭代次数取200；否则，返回step4。
[0104]
利用ega求解最优或近似最优的改进阈值估计函数和小波阈值的过程如图4所示。
[0105]
完成数据预处理后，调用焊缝检测软件系统的判断模块对焊缝缺陷进行检测，检测主要分析图像信号、涡流信号两种数据，给出焊缝缺陷的识别情况。下面给出了检测过程数据分析算法的介绍。主要分为图像信号、涡流检测信号两个方面：
[0106]
1)图像信号特征提取与缺陷识别：本发明采用深度学习的方法对焊缝缺陷进行识别，采用两阶段模型，首先对存在缺陷的区域进行检测，再准确分析区域内缺陷的类别。同时为了降低训练难度与数据需求，本项目借助迁移学习技术，采用预训练模型进行训练。
[0107]
2)涡流检测信号特征提取与缺陷识别：本发明结合了huang提出的一种适用于分析非线性、非平稳信号的时频分析方法，该方法能将复杂信号分解成若干个固有模态函数(intrinsic mode function,imf)和一个余项。为充分反映涡流信号的特征情况根据涡流信号的特性及前人的研究结果选取8个时域特征参数，分别为：均值、方差、均方差、极大值、极小值、偏态系数、峰态系数、过零点个数；再选取4个频域特征参数：中心频率、均方根频率、频率标准差、能量。为了降低分析数据的维度，采用pca方法对特征向量进行降维和优化处理。将经过pca降维之后的8个主元特征作为后续焊缝缺陷分类的特征向量。本发明采用了svm的基本思想，把学习样本从输入空间映射到一个高维特征空间，然后在此空间中构造最优分类超平面实现缺陷识别。应用svm对窄搭接焊缝缺陷分类的算法流程如图5所示。
[0108]
利用上述算法完成缺陷检测步骤后，将缺陷检测结果实时反馈到主计算机界面中，主计算机为微星台式电脑，系统环境为windows10。
[0109]
该实施例中，只需在主计算机开始运行焊缝缺陷检测系统，随后从焊接开始到焊接结束及缺陷检测结果反馈全过程中不需要额外人工操作，从而实现了焊接过程中对焊缝缺陷的实时、自动化检测。
[0110]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0111]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。