一种基于迁移学习的太赫兹热障涂层缺陷图像重建方法

本发明属于太赫兹无损检测和图像处理领域，具体涉及一种基于迁移学习的太赫兹热障涂层缺陷图像重建方法。

背景技术：

1、在航空领域，燃气涡轮发动机被认为是航天飞行器中的最重要部件，而合金并不足以承受发动机燃料舱燃烧产生的高温，因此在合金基体上覆盖热障涂层(thermalbarrier coating,tbcs)，以提升叶片的耐高温能力，提升服役时间。热障涂层由陶瓷层(top coat,tc)和金属粘结层(bond coat,bc)组成。但在制造和服役的过程中，由于内外部因素的影响，会导致材料的内部的损伤与破坏，降低材料的耐高温能力和服役时间，埋下安全隐患。因此人们希望能够通过无损检测技术对材料内部的损伤类型和损伤程度进行检测和量化，并且根据检测结果进行分析和研究。

2、常见的用于热障涂层的无损检测技术包括涡流、热红外线、超声波和渗透检测等方法。然而，针对不同类型的热障涂层材料，这些方法都存在一定的局限性。相较于其他无损检测方法，太赫兹(terahertz，thz)无损检测技术因其优越的安全性和材料穿透性而在该领域展现广泛的应用前景。而在使用太赫兹时域光谱系统(thz-tds)进行无损检测时，由于受到硬件工艺的影响，探头的光斑直径要大于缺陷边缘宽度，因此最终检测到的图像会出现模糊，边缘不清晰等问题。同时由于thz-tds的检测工艺，太赫兹图像的采集效率很低。

3、提升太赫兹图像质量和成像效率的主流方法是采用超分辨率(super-resolution，sr)技术，通过软件算法将给定的低分辨率(low-resolution，lr)图像恢复成高分辨率(high-resolution，hr)图像，而不需要硬件进行更新。该技术可以有效地提升现有图像的分辨率，将模糊图像清晰化处理，从而克服光学成像和检测仪器获取图像的分辨率限制，有效地提升成像效率。

4、现有的方法(专利cn116824088a公开的方法)是利用模型驱动在时域有限差分法(fdtd)上建立太赫兹仿真模型，通过对模型进行仿真模拟获取太赫兹仿真信号，对其进行成像获取仿真太赫兹脱粘缺陷图像数据集，将该数据集导入建立的神经网络进行训练。然而由于数据集的限制，该方法训练的网络仅针对同类型的仿真图像有较好的重建效果，而面对不同缺陷类型、结构以及真实太赫兹检测图像重建效果不理想。

技术实现思路

1、针对现有技术的不足，本发明要解决的技术问题是：在于克服现有技术存在的缺陷，提供一种基于迁移学习的太赫兹热障涂层缺陷图像重建方法。能够在提高太赫兹检测缺陷图像分辨率的同时，针对不同类型的缺陷具有较好的泛用性，提升太赫兹缺陷图像的重建质量。

2、本发明的技术方案如下：一种基于迁移学习的太赫兹热障涂层缺陷图像重建方法，包括以下步骤：

3、(1)利用时域有限差分法建立热障涂层的太赫兹仿真模型，通过仿真获取太赫兹仿真时域信号，对信号处理后得到仿真太赫兹图像，构建仿真模型数据集，作为高分辨率图像数据集；

4、(2)通过双三次插值方法对图像进行下采样，获取低分辨率图像数据集，与高分辨率图像对应组成样本对，按照7：3的比例划分为训练集和测试集；

5、(3)将低分辨率图像输入到搭建的预训练卷积神经网络中进行网络训练，网络由浅层特征提取层与根据残差模块构建深层特征提取层组成特征提取部分，通过亚像素卷积模块实现上采样放大，进而完成图像重建；

6、(4)应用太赫兹时域光谱系统对热障涂层进行检测，获取真实太赫兹信号，经特征成像后获取到各类不同特征图像，补充真实太赫兹数据集，按照7：3的比例划分为训练集和测试集；

7、(5)利用补充的真实太赫兹数据集对神经网络结构进行调整，并引入注意力机制，使网络专注于图像的边缘以及缺陷部分的重建，达到网络对太赫兹真实图像的识别；

8、(6)通过迁移学习将步骤(5)调整后的神经网络结构应用于真实太赫兹热障涂层脱粘缺陷图像领域，对热障涂层的图像进行增强和重建。

9、进一步地，所述步骤(3)中的预训练卷积神经网络由三个残差模块结构组成，每个残差模块由三个卷积层和三个prelu激活函数层组成，残差模块中卷积层和激活函数层交替排布，在残差模块中分为恒等映射和残差映射两路，以跳跃连接形式进行连接，将上层的输出特征作为下层的输入特征，并在残差结构末尾将恒等映射和残差映射加和输出，使网络可以将浅层信息传递到深层。

10、具体地，所述prelu激活函数表达式为：

11、

12、其中xi是激活函数在第i个通道的输入，ai控制负半轴斜率。

13、具体地，所述残差模块的输出的表达式为：

14、outres-block＝f(x)+x，

15、其中x是残差模块的恒等映射，f(x)是图像经过卷积层的特征提取和激活函数的激活后的残差映射。

16、进一步地，所述步骤(5)中对神经网络结构进行调整为，在网络最后的特征提取层中增加通道注意力模块；所述通道注意力模块由池化层、全连接层、relu和sigmoid激活函数层构成，输入特征通过全局最大池化和平均池化两种方式获取每个通道的全局统计信息，将两种不同方法获取到的结果进行加和，通过全连接层对特征进行映射，利用relu函数和sigmoid函数对输出映射进行激活，通过对上层输入特征的每个通道赋予不同的特征权重，将特征图像与对应通道的权重进行相乘，获取各自通道对最终特征提取结果的重要程度；在特征图像提取特征的基础上，自适应的给予通道权重，保证让特征权重大的特征图像影响其结果，进而引导重建结果突出特征，最终提升网络重建能力。

17、具体地，所述sigmoid激活函数表达式为：

18、

19、本发明又提供了一种基于迁移学习的太赫兹热障涂层缺陷图像重建装置，包括以下步骤：

20、构建仿真模型数据集模块：利用时域有限差分法建立热障涂层的太赫兹仿真模型，通过仿真获取太赫兹仿真时域信号，对信号处理后得到仿真太赫兹图像，构建仿真模型数据集，作为高分辨率图像数据集；

21、预处理高分辨率图像数据集模块：通过双三次插值方法对图像进行下采样，获取低分辨率图像数据集，与高分辨率图像对应组成样本对，按照7：3的比例划分为训练集和测试集；

22、构建图像重建预训练网络模块：将低分辨率图像输入到搭建的预训练卷积神经网络中进行网络训练，网络由浅层特征提取层与根据残差模块构建深层特征提取层组成特征提取部分，通过亚像素卷积模块实现上采样放大，进而完成图像重建；

23、构建真实太赫兹数据集模块：应用太赫兹时域光谱系统对热障涂层进行检测，获取真实太赫兹信号，经特征成像后获取到各类不同特征图像，补充真实太赫兹数据集，按照7：3的比例划分为训练集和测试集；

24、图像重建模块：利用补充的真实太赫兹数据集对神经网络结构进行调整，并引入注意力机制，使网络专注于图像的边缘以及缺陷部分的重建，达到网络对太赫兹真实图像的识别；

25、图像增强模块：通过迁移学习将步骤(5)调整后的神经网络结构应用于真实太赫兹热障涂层脱粘缺陷图像领域，对热障涂层的图像进行增强和重建。

26、本发明还提供了一种电子设备，包括：

27、一个或多个处理器；

28、存储器，用于存储一个或多个程序；

29、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述的一种基于迁移学习的太赫兹热障涂层缺陷图像重建方法。

30、以及提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现所述一种基于迁移学习的太赫兹热障涂层缺陷图像重建方法的步骤。

31、与现有的检测方法相比，本发明具有以下优点：

32、(1)根据太赫兹在热障涂层中的传播机理，利用时域有限差分法对太赫兹信号进行数值模拟，建立热障涂层脱粘缺陷的太赫兹仿真模型，获取太赫兹仿真信号，用于训练卷积神经网络，避免因太赫兹热障涂层检测工艺复杂、耗时长、成本高等问题，难以获取真实太赫兹探测信号，降低神经网络的训练成本。

33、(2)针对于以仿真图像建立数据集的预训练的网络仅能对数据集中给出的图像类型与形式有较好的的重建效果，而针对不同缺陷类型、结构以及真实太赫兹图像重建效果不理想的问题，通过迁移学习微调网络模型，引如真实太赫兹图像数据集对网络重新训练，以达到既节省训练时间又可以学习到真实图像特征的目的，提升网络的泛用性和图像的重建效果。

34、因此本发明为热障涂层脱粘缺陷太赫兹图像重建提供了一种优质的技术方案，利用数值模拟建立仿真热障涂层脱粘缺陷模型，获取太赫兹仿真图像制备数据集进行网络训练以学习通用特征。制备小样本真实太赫兹图像数据集，通过迁移学习对预训练网络进行微调，引入注意力机制提升网络对于缺陷特征的重建效果，避免了太赫兹时域光谱系统获取大量检测图像耗时长、成本高的问题，且有效的提升了网络的泛化性，极大地提升了获取太赫兹图像的经济成本和时间成本。