基于红外热成像和深度学习的焊缝缺陷检测系统及方法与流程

本发明属于石化管道和油罐检测，具体涉及基于红外热成像和深度学习的焊缝缺陷检测系统及方法。

背景技术：

1、在石油化工行业中，石化管道和油罐作为重要的运输和储存设施，其焊缝质量的可靠性直接关系到设备的安全运行和生产过程的稳定性。焊缝是管道和油罐中最易出现缺陷的部位，焊接过程中容易因操作不当、材料缺陷、环境因素等原因产生裂纹、气孔、夹渣等缺陷，严重时可能引发泄漏、爆炸等 安全事故。因此，对焊缝进行定期检测和维护是保障石化设备安全运行的关键环节。

2、目前，焊缝检测技术已经发展出多种手段，其中包括超声波检测、射线检测、磁粉检测和渗透检测等传统无损检测方法。这些方法虽然在一定程度上能够检测出焊缝中的缺陷，但它们也存在一些显著的局限性和不足。

3、首先，传统的超声波检测技术主要依赖于超声波在材料内部传播时的反射特性来识别缺陷，然而这一方法对于复杂几何形状的焊缝以及对材料表面状态敏感的缺陷检测效果有限。同时，超声波检测对操作人员的技术水平要求较高，且检测结果容易受到人为因素的影响，导致检测的准确性和一致性难以保证。此外，超声波检测需要紧密接触被检测表面，对于高温、高压或危险环境中的设备检测存在较大的操作难度和安全隐患。

4、射线检测作为另一种常用的焊缝检测手段，通过x射线或γ射线穿透材料后形成的影像来检测内部缺陷。尽管射线检测能够有效识别内部缺陷，特别是对于体积型缺陷（如气孔、夹渣等）具有较高的检测灵敏度，但其也存在几个缺点。首先，射线检测设备通常体积庞大、成本高昂，且需要在专门的辐射防护环境中操作，这增加了检测的复杂性和费用。其次，射线检测速度较慢，难以实现在线实时检测，对于大规模管道和油罐的检测效率较低。此外，射线检测存在一定的辐射风险，对操作人员的健康构成潜在威胁。

5、磁粉检测和渗透检测则主要用于检测材料表面或近表面的缺陷。这两种方法虽然简单易行，但其检测范围有限，对于深层内部缺陷难以检测，且对于非磁性材料或表面粗糙度较高的工件，检测效果较差。这些表面检测技术通常只能作为其他检测方法的补充，无法单独有效地保障焊缝的整体质量。

6、随着工业技术的发展，针对上述传统检测方法的不足，基于红外热成像技术的焊缝检测方法逐渐受到关注。红外热成像技术通过检测材料表面的温度分布及其变化来判断内部缺陷的存在。其优点在于非接触性、快速性和可视化，能够在高温、恶劣环境下实现远距离检测。然而，单纯依赖热成像技术的缺点在于其检测结果容易受到外部环境温度、材料热传导特性的影响，导致检测的准确性和可靠性不足。此外，传统的红外热成像技术难以识别复杂背景下的微小缺陷，且在缺乏有效的数据处理和分析技术支持时，容易产生误检或漏检。

7、为了解决现有焊缝检测技术的不足，本文提出了一种基于红外热成像和深度学习的焊缝缺陷检测系统及方法。该系统结合了红外热成像技术的快速性和非接触性优势，以及深度学习技术在图像处理和特征识别方面的强大能力，能够实现对管道焊缝内部缺陷的高效、准确检测，并有效提高检测的智能化水平和自动化程度。通过该系统，可以克服传统检测方法的局限性，为石化行业的设备安全保障提供更为可靠的技术支持。

技术实现思路

1、为了弥补现有技术的不足，本发明目的在于提供基于红外热成像和深度学习的焊缝缺陷检测系统及方法，基于红外热成像技术与深度学习算法，研发以红外热成像模块为探测器，搭载远程操控模块和深度学习模块集成深度学习隐患探测感知系统的石化储运管道和油罐自动安全智能巡检装备，形成储运管道和油罐风险评估体系，并开展系统集成和应用示范。

2、所述的基于红外热成像和深度学习的焊缝缺陷检测系统，包括控制端、温控模块、厚度检测模块、热信号处理模块、特征提取模块、智能检测模块、接收端，通过所述控制端控制所述温控模块的升/降温程度、所述厚度检测模块的厚度检测、所述热信号处理模块的热信号处理、所述特征提取模块的缺陷特征提取以及所述智能检测模块的缺陷智能检测；所述温控模块通过主动与被动激励相结合增强钢材试样表面温度；所述厚度检测模块通过厚度检测探头收集试样数据，并将其传输到接收端；所述热信号处理模块对红外热像仪采集的热信号序列进行感兴趣区域截取、平滑滤波降噪及去趋势项处理；所述特征提取模块从处理后的热信号数据中提取缺陷的特征信息；所述智能检测模块利用深度神经网络模型对提取的特征数据进行分析，实现焊缝内部缺陷的智能检测。

3、进一步地，所述温控模块利用所述控制端设置最高温度，通过不同激励方式增强钢材试样表面温度，包括温度传感器，所述激励方式包括：热电偶激励、卤素灯激励和/或液氮激励。

4、进一步地，所述热信号处理模块包括对热信号序列进行感兴趣区域截取、基于多项式回归的savitzky-golay平滑滤波降噪及基于最小二乘的去趋势项处理；所述特征提取模块利用红外热波雷达技术从处理后的热信号数据中提取缺陷的特征信息；所述智能检测模块通过建立并训练有限样本下的改进yolov10n深度神经网络模型，对提取的特征数据进行分析，实现焊缝内部缺陷的智能检测。

5、一种如上述的基于红外热成像和深度学习的焊缝缺陷检测系统的检测方法，包括以下步骤：

6、s1：通过厚度检测探头检测钢材试样厚度；

7、s2：控制端设置温度上限，所述温控模块开始升/降温；当温度到达设定温度，温度传感器向控制端反馈信号；

8、s3：主机通过tcp通信实现红外热像仪采集热信号和激励源产生调制热波激励同步进行；

9、s4：对热像仪采集到的热信号序列进行感兴趣区域截取、基于多项式回归的savitzky-golay平滑滤波降噪及基于最小二乘的去趋势项处理；

10、s5：利用红外热波雷达技术从处理后的热信号数据中提取与焊缝缺陷相关的时滞特征信息和相位特征信息，并进行缺陷特征图的重建；

11、s6：搭建改进yolov10n深度神经网络预测子模块，通过训练信号数据集和验证信号数据集，训练并验证所述深度神经网络预测子模块，获得最优神经网络权重和最优超参数组合；

12、s7：使用有限样本下训练完成的改进yolov10n深度神经网络模型，对提取的特征数据进行分析，完成焊缝内部缺陷的智能检测，并显示检测结果。

13、进一步地，若所述步骤s2中温控模块采用热电偶激励，具体操作步骤为：

14、首先，将烘箱温度调整到固定温度保持1h以上；

15、然后，将不同厚度的钢材试样放入烘箱中在不同温度下恒温保持；

16、随后，将红外热成像仪架设在距离背景板0.5m左右的距离处，设置好拍摄参数，当烘箱内试样温度达到设置温度后，继续保持10分钟，然后迅速将试样放置在背景板前，利用热成像仪进行技术试样温度变化，观察焊缝位置，并于标准缺陷信息进行比对。

17、若所述步骤s2中温控模块采用卤素灯激励，具体操作步骤为：将红外热成像仪架设在距离背景板0.5m左右的距离处，设置好拍摄参数；然后将不同厚度的钢材试样放置在背景板前，卤素灯架设在试样焊缝上方；打开卤素灯进行照射，并实时监测试样表面温度，在不同温度下自然降温，观察焊缝位置温度变化情况，以推测缺陷状态。

18、若所述步骤s2中温控模块采用液氮激励，具体操作步骤为：将红外热成像仪架设在距离背景板0.5m左右的距离处，设置好拍摄参数；然后将不同厚度的钢材试样放置在背景板前，卤素灯架设在试样焊缝上方；打开卤素灯进行照射，并实时监测试样表面温度，在液氮背部自然降温下观察焊缝位置温度变化情况，以推测缺陷状态。

19、进一步地，所述步骤s3的具体步骤如下：

20、s3.1：主机作为服务端通过tcp通信协议与客户端的红外热像仪和激励源设备建立基于字节流的传输层连接；

21、s3.2：主机通过发送同步信号，协调红外热像仪的图像采集与激励源的热波激励过程，具体而言，主机会发送触发信号给红外热像仪，指示其开始采集焊缝区域的热信号数据，同时，主机也控制激励源按照预设的调制频率和强度产生热波激励，调制热波激励的fpm波形函数由以下公式给出：

22、，

23、所提出的fpm波形是基于中心频率和带宽制定的，为偏移量，波形由5位离散调制码调制，其中代表频率调制码，为具体的常数频率调制码，为相位调制码，为具体的常数相位调制码，为分段函数，为索引，表示时间，表示第个频率调制码，表示第个相位调制码，总的激励时长为；

24、s3.3：在红外热像仪采集到热信号数据后，数据通过tcp/ip协议实时传输到主机进行处理，为了确保数据的完整性和实时性，系统可能会采用数据包校验和重传机制，防止由于通信错误导致的数据丢失或误差。

25、进一步地，所述步骤s4的具体步骤如下：

26、s4.1：对红外热像仪采集到的热信号序列进行感兴趣区域（roi）截取，去除背景等非检测区域部分，以提高处理效率和检测精度；

27、s4.2：在确定感兴趣区域后，系统应用基于多项式回归的savitzky-golay平滑滤波（s-g平滑滤波）技术对热信号进行降噪处理，s-g平滑滤波算法如下：

28、给定一个数据序列，使用一个窗口宽度为的滑动窗口来处理数据，

29、在每个窗口内，利用多项式拟合的方法将信号拟合成一个k次多项式：

30、，

31、其中，是多项式的系数，是样本索引，表示次数，是中心点相对于拟合窗口中心的偏移，为了找到这些系数，最小化以下目标函数：

32、，

33、通过求解上述目标函数，可得到拟合多项式系数，利用这个多项式的值作为平滑后的数据点，将窗口在数据序列上以一定的步长滑动，进而得到平滑滤波后的输出；

34、s4.3：在平滑降噪之后，系统进一步进行去趋势项处理，去趋势处理旨在消除热信号数据中由系统、环境或其他非缺陷因素引起的全局趋势，这一步骤使用基于最小二乘法的技术，对数据中的趋势项进行拟合并从原始数据中移除，保留实际缺陷相关的局部特征。

35、该方法通过在局部数据段上拟合多项式，并用这个多项式代替原始数据，平滑处理的同时保留信号的主要特征和趋势，从而有效降低热信号数据中的随机噪声。

36、进一步地，所述步骤s5中红外热波雷达算法是一种基于热波传导和反射特性的无损检测技术，它结合了脉冲压缩技术和匹配滤波技术，将宽脉冲通过匹配滤波器处理后压缩成高峰值的窄脉冲，使分散的能量集中，从而提升了空间分辨率和信噪比；红红外热波雷达通过测量的热响应与相应的激励波形的时域互相关来完成，其算法如下所示：

37、，

38、其中，表示互相关运算，表示由于光激发的单极性质而产生的信号的ac分量，表示时间变量，表示时间常数，为了计算效率，互相关选择在频域中执行：

39、，

40、，

41、，

42、其中，和分别表示傅里叶变换算子和傅里叶逆变换算子，表示频率，表示复共轭，是用于在频域中执行互相关运算时抑制中旁瓣的加窗函数，中的旁瓣代表噪声水平，中的主瓣代表响应信号与给定信号的匹配程度，主瓣的滞后时间是对应于缺陷深度的发射率归一化量，并且其被定义为：

43、，

44、随后，使用希尔伯特变换将所有频谱分量相移90°，变换后的信号波形与参考波形正交：

45、，

46、，

47、其中，为符号函数，计算同相互相关和正交互相关的相位差，这是缺陷另一个发射率归一化的量：

48、，

49、基于红外热波雷达算法提取的缺陷时滞特征和相位特征，通过线性映射的方式重新构建高信噪比的缺陷特征图像。

50、进一步地，所述步骤s6中改进yolov10n模型的最优神经网络权重满足第一评价指标最小，最优超参数组合满足第二评价指标最小，具体步骤如下：

51、s6.1：从步骤s5提取的特征数据中，挑选出具有代表性的信号样本作为训练数据，这些数据样本应包括不同类型和大小的焊缝缺陷，以便神经网络能够学习到多样化的缺陷特征；从未使用的特征数据中选取一部分作为验证数据集，用于评估神经网络的性能，验证数据集应覆盖与训练数据集类似的缺陷类型和分布，但应避免重复数据；

52、s6.2：对训练数据集中的每个样本进行标注，标注内容包括缺陷的类型、位置和大小；这些标注信息将作为神经网络的目标输出，用于监督训练过程；

53、s6.3：对训练和验证数据集进行标准化处理，如归一化、数据增强（如随机噪声添加、数据旋转等），以提高神经网络的泛化能力和鲁棒性；

54、s6.4：基于改进yolov10n结构搭建深度神经网络预测子模块，设置初始神经网络权重和超参数，包括学习率、批量大小、损失函数等；

55、s6.5：使用训练数据集对深度神经网络进行训练，采用反向传播算法优化网络权重，并在每个训练周期（epoch）后更新超参数，训练过程中，监控损失函数的变化，以防止过拟合，同时，在训练过程中定期使用验证数据集评估模型性能，调整超参数如学习率、正则化参数等，以确保模型在验证集上的良好表现；

56、s6.6：通过网格搜索或随机搜索等方法，对神经网络的超参数进行调优，包括调整学习率、批量大小、权重初始化方法等，以找到最优的超参数组合，提高模型的预测准确度；

57、s6.7：使用验证数据集对训练后的神经网络模型进行评估，选择在验证集上表现最佳的模型作为最终模型，并记录其最优权重和超参数，验证指标包括准确率、召回率、f1分数等，以全面评估模型的性能。

58、进一步地，所述步骤s7具体步骤如下：

59、s7.1：将经过预处理和特征提取后的焊缝热信号数据输入至训练完成的改进yolov10n深度神经网络模型，输入数据应包括完整的特征信息，确保模型能够识别到所有可能的缺陷特征；

60、s7.2：改进yolov10n模型对输入的特征数据进行推理，通过神经网络的前向传播过程，生成各类缺陷的预测结果，这些预测结果包括缺陷的位置以及置信度信息；

61、s7.3：对模型输出的结果进行后处理，包括非极大值抑制（non-maximumsuppression, nms），以消除重复的检测结果，确保每个缺陷只被标记一次，根据模型的置信度阈值，筛选出高置信度的缺陷检测结果，减少误报率，调整置信度阈值以平衡检测的准确率和召回率；

62、s7.4：将检测到的焊缝缺陷结果进行可视化处理，在重建的缺陷特征图上标记出检测到的缺陷部位并在上方显示置信度，供操作人员参考和分析。

63、与现有技术相比，本发明有以下优点：

64、1）本发明红外检测具有快速、高效、大面积、直观及远距离非接触检测等优点，深度学习模型能够提取焊缝常见缺陷特征信息，实现缺陷的自动识别；作为一种新兴的红外无损检测方式，对于保证管道和油罐设备的安全可靠低成本运行和提高运输效率具有重要现实意义，有利于掌握石化管道和油罐检测智能作业装备技术，从而保障石化企业安全高效生产运营，对于支撑石化管道和油罐的安全可靠低成本运行、实现危化品转运系统的安全源头治理和区域风险防控等都具有重要意义。

65、2）本发明通过增加主动热激励源的方式来增强被检测对象表面的热辐射，得到温度差异更明显的热图，以提高检测精度；在稳态传热状态时，到达稳态传热状态时，采用主动式流体冷却激励方式，对在用金属管道外表面进行短时处理，将缺陷部位的温度差放大，有利于红外热成像仪对温差的捕捉，从而实现现场快速扫查和检测；基于红外热波雷达的特征提取技术有效提高了红外热成像的信噪比、深度分辨率和探测深度；改进yolov10n深度神经网络缺陷检测模型在焊缝缺陷检测中具有实时性高、检测精度高、鲁棒性强等特点，可以精确地检测焊缝缺陷，减少误检和漏检的发生率；针对常规焊缝检测技术缺点，提出一种在线管道焊缝红外检测技术，利用主动与被动激励相结合、多视觉图像获取焊缝缺陷红外序列图像，通过tcp通信实现调制热波激励与热信号采集同步，利用红外热波雷达特征提取和改进yolov10n深度神经网络模型，实现管道焊缝缺陷在线高效检测。