基于卷积自编码器图像扩增的热成像缺陷检测方法

本发明属于复合材料缺陷检测领域，具体涉及一种基于卷积自编码器图像扩增的热成像缺陷检测方法。

背景技术：

复合材料中存在的空洞、夹杂物、纤维断裂等类型的不可见的缺陷严重影响复合材料的质量，而质量差的复合材料产品又会造成经济损失，甚至因产品失效危害生命安全。因此，对复合材料进行缺陷评估是一项必要的工作。无损检测技术因其在检查材料的不连续特性时不破坏材料，已被广泛应用与多种场合。众多无损检测技术中，主动热成像(irt)技术以其低沉本和易于实施的特点而被广泛应用材料亚表面缺陷检测。irt的原理是基于强烈刺激测试对象产生的热流分析，内部热留传播接受到材料内部结构属性的影响，在红外摄像机的帮助下，可以通过捕捉测试对象表面温度的时间函数来反映由内部缺陷导致的不均匀性。

然而，尽管有许多优点，irt技术的检测效果仍是不佳。主要原因是热图像存在的噪声和不均匀加热导致的不均匀背景掩盖了缺陷。另外，产生的热图像数量较多，但并非每张热图像都包含足以通过目视检测的缺陷信息。因此，除了检查过程费时耗力，检查结果也受制于技术员的知识水平，irt技术难以实现准确且高效地检测水平。为了解决这些问题，目前已经研究者提出了许多热成像数据处理方法用于对分析热图像，例如主成分热成像，稀疏主成分热成像，脉冲相位热成像，热成像信号重建，流形学习热成像法、数学形态学、最小二乘法等等。这些方法多数是通过揭示数据的潜在结构或特性建立热图像分析模型，并成功地实现了缺陷评估的目标。然而，一个基本性的问题，即热图像数据中含有噪声在上述的多数方法建模中不受关注，这实际上从数据质量层面就限制了多数热成像数据分析模型的表现。因此，应用热成像技术于复合材料质量评估，从热图像降噪角度，建立准确、有效的热图像数据分析模型进行材料内部缺陷检测，是一种可行且值得研究的方法。

技术实现要素：

考虑到上述情况，本发明以复合材料内部缺陷无损检测与流形学习算法为背景，提出一种基于卷积自编码器(cae)的拉普拉斯特征映射(le)热图像数据分析方法，称为卷积增强特征映射(cale)，该方法继承了拉普拉斯特征映射的优点。通过利用自编码器深度学习方法增强建模用的数据集，采用le流形学习降维方法提取数据中的低维潜在结构，从而提升红外图像分析的效率和准确性。

本发明解决其技术问题所采用的技术方案是：

一种基于自编码器图像增强的流形学习热成像缺陷检测方法，所述方法包括以下步骤：

步骤1)获取碳纤维增强聚合物复合材料的热图像及热图像数据；

步骤2)热图像选择与处理；

步骤3)建立卷积自编码器图像增强模型，对热图像降噪；得到卷积自编码器重构热图像；

步骤4)热图像数据预处理；

步骤5)分别基于步骤1)获取的热图像和基于步骤3)卷积自编码器重构热图像建立拉普拉苏特征映射热成像模型，提取热图像中的缺陷信息并可视化，实现缺陷的定性监测；

步骤6)采用分离度指标(degreeofseparation，dos)指标对建立的模型进行评估，验证图像增强策略在缺陷检测建模中的效果。

进一步，所述步骤1的过程为：

制作含缺陷的碳纤维增强聚合物模拟复合材料内部缺陷试样，建立irt系统，工作闪光激发热脉冲对试样进行加热，在热前沿接触实验试样表面并穿过试样后，采用红外热相机记录试样表面的温度响应，提取到具有表观温度变化的区域即为热图像数据nt帧。

进一步，所述步骤2)的过程为：

步骤2.1)热图像选择：

irt系统采集的热图像并非每一张都可以用于建模分析。一般，初始记录的热图像中常含有大量的不均匀背景，而最后几张热图像中显示的温度模式不再明显。因此。常选择采集的热图像序列的中间段图像建模和分析，热图像平均像素值曲线可以帮助选择ns张有效图像。

步骤2.2)感兴趣区域(roi)提取：

原始热图像中并非全部区域对于数据分析都是有效的，含无效区域的热图像会因尺寸太大给数据处理带来诸多不便，比如数据计算复杂度、计算时间和效率。因此，有必要去除原始图像无效边缘，选择热图像的子区域作为感兴趣区域。接下来，仅对尺寸为nx×ny热图像的感兴趣区域进行图像处理。

进一步，所述步骤3)的过程为：

建立卷积自编码器(cae)图像模型，卷积自编码器结构包括编码器和解码器两个部分，两部分结构引入了卷积神经网络的卷积和池化操作，以实现特征提取，这使得模型具有提取图像二维局部信息的能力，同时也能加快学习速率。假设原始热成像数据为x，经编码器压缩后的数据为h，解码后的数据是则它们之间的关系如下：

h＝f(wx+b1)

式中，w是编码器和解码器的权重；b1，b2是编码器和解码器的偏置项；f是非线性激活函数。

在自编码器中，参数w，b1和b2是随机初始化的，训练过程中需要不断更新参数，使得x和之间的重构误差r最小，r可以作为模型的损失函数，用x和的平方误差表示：

卷积自编码器的编码器部分由若干个卷积层和池化层构成，解码器部分则由若干个上采样层和卷积层构成，上采样层采用最近邻插值法调整图片的尺寸，解码器中卷积层的步长一般设置为1。

最终，训练好的cae网络生成ns张重构的噪声低的热图像。

进一步，所述步骤4)的过程为：

步骤4.1)数据展开：

cae重构的热图像数据可理解为一个具有ns张nx×ny大小的三维数据集，即ns×nx×ny。为了满足le算法对二维数据分析的要求，将三维热影响数据集展开成一个ns×(nx×ny)的二维矩阵，记为矩阵在二维矩阵中，每个热图像被展开成长度为nxny的行向量，而矩阵的列向量则表示热图像中每一像素点处的温度变化信号。

步骤4.2)矩阵标准化处理：

由于中心化可以在一定程度上消除不均匀背景，也易于特征向量的计算与表达。因此，对展开的矩阵标准化处理，即矩阵通过减去每列的平均值再除以每列的标准差。标准化后的矩阵仍记为

进一步，所述步骤5)的过程为：

步骤5.1)建立cale缺陷评估模型：

将上一步骤得到的热图像矩阵作为建模数据，建立拉普拉斯特征映射模型，通过构建邻接矩阵为w的图来重构数据流形的局部结构特征。其主要思想是，如果两个数据很相近，那么它们在降维后目标子空间中应该尽量接近。这里，将像素点处的温度信号作为样本，对于中的任意两个样本点和采用k近邻法构造近邻图，并计算每条边的权值，w的计算方式如下：

其中，t是核宽度。设和在低维空间中的坐标为和le的优化函数化及其简化结构为：

其中，l＝d-w是拉普拉斯矩阵，d是度矩阵，tr是矩阵的迹。用拉格朗日乘子法求解，最终转化为广义特征值问题：

ly＝λdy

其中，λ为特征值。求解上式，取第2小至d+1小的特征值对应的特征向量，得到降维后的结果y(y∈d×nxny)。

步骤5.2)缺陷可视化：

cale模型的降维结构无法直观的提供缺陷形状、位置等信息。这里，将将y的每一行重构成大小为nx×ny的二维矩阵，实现缺陷目标的可视化。

进一步，所述步骤6)的过程为：

将fisher准则引入热像分析领域，用于评价热像图中缺陷区域与完好区域的对比，dos的定义如下：

其中：非缺陷区域的像素记录在一个类别中，缺陷区域的像素记录在另一个类别中，mdef、sdef分别为热图缺陷区域像素的均值和方差；min、sin为完好区域像素的均值与方差。dos值越大表示类间距离越大，类内距离越小，表明缺陷区域与完好区域的分离程度越高。

本发明的有益效果如下：本发明提出了一种基于卷积自编码器图像扩增的热成像缺陷检测方法。一方面，在数据增强方法的激励下，采用卷积自编码器网络对原始的热图像进行重构，在主要减低图像噪音的同时，也较少了图像中的不均匀背景，提高了建模用数据集的质量。另一方面，利用拉普拉斯特征映射流形学习较强的特征保留能力，有效提取了高维度热图像数据在低维空间的几何结构。最终，通过可视化实现了缺陷的定性评估，提高了irt技术缺陷检测的准确性与可靠性。

附图说明

图1是本发明的流程图；

图2是本发明建立的irt系统及采集的三维热图像序列；

图3是本发明模拟制作的复合材料缺陷试样；

图4是本发明中部分实验原始热图像与cae重构热图像展示；

图5是本发明提出的cale方法热图像数据分析的可视化结果。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图5，基于自编码器图像增强的流形学习热成像缺陷检测方法，所述方法包括以下步骤：

步骤1、获取碳纤维增强聚合物复合材料的热图像及热图像数据。

采用树脂传递模塑制造尺寸为18cm×18cm且厚度矩形碳纤维增强聚合物试样，并在内部不同深度插入梯形、圆形、菱形三个聚四氟乙烯条以模拟缺陷，每个缺陷区域的尺寸约为3cm²。建立irt系统，工作闪光激发热脉冲对试样进行加热，在热前沿接触实验试样表面并穿过试样后，采用红外热相机记录试样表面的温度响应，提取到具有表观温度变化的区域即为热图像数据90帧，其尺寸为320×240。

步骤2、热图像选择与处理。

步骤2.1：热图像选择

irt系统采集的热图像并非每一张都可以用于建模分析。一般，初始记录的热图像中常含有大量的不均匀背景，而最后几张热图像中显示的温度模式不再明显。因此。常选择采集的热图像序列的中间段图像建模和分析，热图像平均像素值曲线可以帮助选择第8-80张，共73张有效热图像。

步骤2.2：感兴趣区域(roi)提取

原始热图像中并非全部区域对于数据分析都是有效的，含无效区域的热图像会因尺寸太大给数据处理带来诸多不便，比如数据计算复杂度、计算时间和效率。因此，有必要去除原始图像无效边缘，选择热图像的子区域作为感兴趣区域。接下来，仅对尺寸为308×212感兴趣区域进行图像处理。

步骤3、建立卷积自编码器图像增强模型，对热图像降噪。

建立卷积自编码器(cae)图像模型，卷积自编码器结构包括编码器和解码器两个部分，两部分结构引入了卷积神经网络的卷积和池化操作，以实现特征提取，这使得模型具有提取图像二维局部信息的能力，同时也能加快学习速率。假设原始热成像数据为x，经编码器压缩后的数据为h，解码后的数据是则它们之间的关系如下：

h＝f(wx+b1)

式中，w是编码器和解码器的权重；b1，b2是编码器和解码器的偏置项；f是非线性激活函数。

在自编码器中，参数w，b1和b2是随机初始化的，训练过程中需要不断更新参数，使得x和之间的重构误差r最小，r可以作为模型的损失函数，用x和的平方误差表示：

卷积自编码器的编码器由三层卷积层和三层池化层构成，解码器由四层卷积层和一层上采样层构成，最后一层卷积层使用sigmoid函数作为激活函数，其余卷积层的激活函数均为relu。为使重构误差较低，得到具有较低的噪声但不失真的重构结果，所有卷积层的卷积核大小都设置为3×3，卷积步长都设置为1；所有池化层的池化核大小都设置为2×2，第一层池化层的池化步长设置为2，其余池化层的池化步长设置为1。最终，训练好的cae网络生成73张重构的噪声低的热图像。

步骤4、热图像数据预处理。

步骤4.1：数据降采样及展开

cae重构的热图像数据可理解为一个具有73张308×212大小的三维数据集，即73×308×212。由于每张热图像含有的像素点较多，需要对其进行降采样以减小计算量。降采样的方式相当于对每张图片进行平均池化操作，选择2×2大小的池化核，并设置池化步长为2，最终每张热图像的尺寸由308×212缩小为154×106。为了满足le算法对二维数据分析的要求，将三维热影响数据集展开成一个73×16324的二维矩阵，记为矩阵在二维矩阵中，每个热图像被展开成长度为16324的行向量，而矩阵的列向量则表示热图像中每一像素点处的温度变化信号。

步骤4.2：矩阵标准化处理

由于中心化可以在一定程度上消除不均匀背景，也易于特征向量的计算与表达。因此，对展开的矩阵标准化处理，即矩阵通过减去每列的平均值再除以每列的标准差。标准化后的矩阵仍记为

步骤5、分别基于步骤1)获取的原始热图像和基于步骤3)卷积自编码器重构热图像建立拉普拉苏特征映射热成像模型，提取热图像中的缺陷信息并可视化，实现缺陷的定性监测。

步骤5.1：建立cale缺陷评估模型

将上一步骤得到的热图像矩阵作为建模数据，建立拉普拉斯特征映射模型，通过构建邻接矩阵为w的图来重构数据流形的局部结构特征。其主要思想是，如果两个数据很相近，那么它们在降维后目标子空间中应该尽量接近。这里，将像素点处的温度信号作为样本，对于中的任意两个样本点和采用k近邻法构造近邻图，并计算每条边的权值，w的计算方式如下：

其中，t是核宽度。设和在低维空间中的坐标为和le的优化函数化简化为：

其中，和分别为和在低维空间中的坐标。l＝d-w是拉普拉斯矩阵，d是度矩阵，tr是矩阵的迹。用拉格朗日乘子法求解，最终转化为广义特征值问题：

ly＝λdy

其中，λ为特征值。求解上式，取第2小至d+1小的特征值对应的特征向量，得到降维后的结果y(y∈d×nxny)。

步骤5.2：缺陷可视化

cale模型的降维结构无法直观的提供缺陷形状、位置等信息。这里，将将y的每一行重构成大小为nx×ny的二维矩阵，实现缺陷目标的可视化。

步骤6、采用分离度指标(degreeofseparation，dos)指标对建立的模型进行评估，验证图像增强策略在缺陷检测建模中的效果。

将fisher准则引入热像分析领域，用于评价热像图中缺陷区域与完好区域的对比，dos的定义如下：

其中：非缺陷区域的像素记录在一个类别中，缺陷区域的像素记录在另一个类别中，mdef、sdef分别为热图缺陷区域像素的均值和方差；min、sin为完好区域像素的均值与方差。dos值越大表示类间距离越大，类内距离越小，表明缺陷区域与完好区域的分离程度越高。

为了验证cale缺陷评估效果，本文测试了le算法在cfrp试样上的红外数据分析表现，两种方法的dos值比较如表1所示。从表1中可知，cale模型的结果中，所有缺陷的j值均远高于le模型。与le相比，cale提高了整体缺陷和各单项缺陷的检测结果，表明其能够更好地分离缺陷与非缺陷区域，在碳纤维增强聚合物内部缺陷的无损检测方面很有前景。

表1

本发明采用基于深度学习的图像增强策略，采用卷积自编码器降低热图像噪声，从数据建模的源头提高数据质量以促进分析方法的表现，在数据分析中利用流形学习强大的特征保留能力，对高维的热图像数据进行分析，嵌入在低维的结果可视化高亮了缺陷，从而提高了irt缺陷识别的准确率和置信度。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。