一种基于双层二维归一化流的自监督工业异常检测方法

本发明属于图像识别，具体涉及一种基于双层二维归一化流的自监督工业异常检测方法。

背景技术：

1、在工业领域中，图像表面的异常检测与定位对实现工业智能化发展至关重要。通过检测工业产品表面的异常情况，不仅能够保证检测的精度和效率，还有助于节省人力资源，并创造更加安全的操作环境。然而，在实际应用中往往会遇到一些限制，例如工业产品中异常样本的稀缺性和异常表现的不确定性。因此，利用少量有限的异常样本来准确地检测出所有存在异常的产品，是一项具有挑战性的任务。在这种情况下，无监督异常检测技术在工业领域具备重要的潜力和实际意义。它能够有效应对异常样本稀缺的问题，为工业生产中的异常检测提供一种有效的解决方案，其方法之一为归一化流。该方法通过一系列可逆变换，逐步将特征的初始分布转化为目标分布，每个变换具有可导的雅可比行列式，形成连续的数据映射过程。因此，归一化流能够有效地适应多样且复杂的数据特征，并为测试集中的样本特征属于同一训练分布的可能性打分，因此该方法成为当前研究热点之一。

2、然而，目前绝大多数与归一化流相关的方法在图像表面异常检测中面临以下两个方面的难题：

3、（1）特征信息丢失，归一化流在特征映射过程中可能会丢失异常特征的边缘信息，甚至忽略异常特征的存在，从而减弱了模型的检测能力。

4、（2）异常样本数量稀缺和决策边界模糊，由于异常样本少量有限，归一化流通常从正常样本出发，仅学习正常样本特征的共性，未能对正常样本特征与异常样本特征进行有区别的训练，因此，模型在对待正常特征和异常特征的决策边界上容易产生混淆，进而降低模型的判别能力。

5、综上所述，针对以上难题，提出了一种基于双层二维归一化流的自监督工业异常检测方法，该方法采用异常融合策略，将正常图像特征和异常图像特征输入双层二维归一化流中，将特征映射到正态分布中。异常特征由于不可分布性导致其在正态分布中远离期望，因此能够被检测出来。

技术实现思路

1、鉴于上述问题，本发明的目的在于提供一种基于双层二维归一化流的自监督工业异常检测方法。该方法通过改进fastflow网络模型实现小规模与实时性需求的同时，还实现高精度的工业产品异常检测。

2、一种基于双层二维归一化流的自监督工业异常检测方法，包括以下步骤：

3、s1.对工业数据集进行预处理：预处理由异常融合策略完成，用于正常图像中随机生成异常，得到异常图像和对应的异常分割图像，所述正常图像为正常工业产品的彩色图像；

4、s2.获取特征分布：将混合后的正常图像与异常图像输入主干网络中获取多个尺度的特征，将每个尺度的特征分别输入处理不同尺度的双层二维归一化流中，获取特征分布；

5、所述双层二维归一化流包含外层流与内层流；所述外层流由多个相同的可逆变换块组合而成，将特征映射成特征分布，每个可逆变换块包含两个内部子网，外层流中的内部子网为内层流；所述内层流也由多个相同的可逆变换块组合而成，内层流的可逆变换块结构与外层流的可逆变换块结构一致，内层流的两个内部子网中分别嵌入指数空间注意力模块；

6、s3.进行异常识别：利用异常识别模块，将特征分布转化成标准正态分布，获得异常检测预测图像。

7、上述s1中异常融合策略结合异常只存在于工业产品上的实际情况，只在正常图像的工业产品上生成异常，异常融合策略具体为：首先在正常图像上采用canny算子获取工业产品的边缘信息，其次运用闭运算将边缘信息迭代多次后得到多个闭环或线条，再将线条连接起来形成闭环，面积最大的闭环所在区域即为图像中工业产品的遮罩，也是异常的合理生成范围，最后采用draem中的模拟异常生成方法，在正常图像上的异常合理生成范围内随机生成异常，获得异常图像与相应的异常分割图像。

8、上述s2中双层二维归一化流包含外层流和内层流；

9、所述外层流由多个可逆变换块组合而成，组合操作如下所示：

10、 ，

11、式中，x表示主干网络提取出的特征，z表示经过外层流后得到的特征分布，下标out表示外层流的可逆变换块的个数，f1、f2……fout表示外层流中的第1至out的可逆变换块，表示可逆变换块有正向和逆向两种过程，p1、p2……pout-1表示主干网络提取出的特征经过1至out-1个外层流中的可逆变换块后得到的特征；

12、在异常检测中，仅使用双层二维归一化流的正向过程，因此所述外层流的过程用以下公式表示：

13、，

14、 式中， 表示可逆变换块之间的连接；

15、在每个外层流的可逆变换中，每个可逆变换块的操作流程为：将输入特征从通道维度上分割成两个部分，获得第一部分特征与第二部分特征，第一部分特征输入内层流后，进行二维卷积操作，使得特征在保留空间信息的同时，更加接近特征分布；之后进行通道维度上的平均分割，输出的前一部分特征进行指数运算，得到的特征作为第二部分特征的权重，输出的后一部分特征作为第二部分特征的偏差，将第二部分特征与权重点乘，之后与偏差相加，相加后的特征输入另一个内层流后，进行二维卷积操作，再进行平均分割，输出的前一部分特征进行指数运算，得到的特征作为第一部分特征的权重，输出的后一部分特征作为第一部分特征的偏差，将第一部分特征与权重点乘，之后与偏差相加，最后将两个相加得到的特征进行连接操作，以此进行特征之间的交替耦合。

16、外层流的可逆变换块所采用的仿射耦合公式如下所示：

17、，

18、，

19、，

20、，

21、，

22、，

23、式中，pe、pe+1分别表示主干网络提取出的特征经过e和e+1个外层流中的可逆变换块后得到的特征，e的范围是在1到out-1之间的整数，split(·)表示特征在通道维度上的平均分割操作，x1、x2分别表示外层流的输入特征被分割后的第一部分特征与第二部分特征，conv3×3(·)表示卷积核为3的卷积操作，inner1(·)、inner2(·)分别表示外层流中的第一个内部子网和第二个内部子网，即两个内层流，s1和b1分别表示第一部分特征经过内层流和卷积操作后被平均分割出的前一部分特征与后一部分特征，表示点乘操作，exp(·)表示指数运算操作，表示外层流中第二部分的特征经过映射后的输出特征，s2和b2分别表示映射后的第二部分特征经过内层流和卷积操作后被平均分割出的前一部分特征与后一部分特征，表示外层流中第一部分的特征经过映射后的输出特征，concat(·)表示特征在通道维度上的连接操作；

24、所述内层流能够增加特征在通道层面之间的联系并减少特征信息的丢失；内层流为在外层流的内部子网中嵌入的多个与外层流结构一致的可逆变换块，内层流的组合操作如下所示：

25、，

26、式中，q和q'分别表示内层流的输入特征与输出特征，下标in表示内层流的可逆变换块的个数，f1、f2……fin表示内层流中的第1至in的可逆变换块，q1、q2……qin-1表示内层流的输入的特征经过1至in-1个内层流中的可逆变换块后得到的特征；

27、内层流的正向过程用以下公式表示：

28、，

29、内层流的可逆变换块将外层流分割出的第一部分的特征以及经过相加后的第二部分的特征都分别输入内层流中，经过分割、卷积、指数运算、点乘、相加和连接这一系列操作，使得分割出的两部分特征通过各自的内层流输出更加贴近特征分布的特征信息，增强特征在通道之间的联系。

30、内层流的可逆变换块使用的仿射耦合公式如下所示：

31、，

32、 ，

33、，

34、 ，

35、，

36、，

37、式中，qr、qr+1分别表示内层流的输入的特征经过r和r+1个内层流中的可逆变换块后得到的特征，r的范围是在1到in-1之间的整数，y1、y2分别表示内层流的输入特征被平均分割后的第一部分特征与第二部分特征，分别表示内层流中的第一个内部子网和第二个内部子网，t1、k1分别表示第一部分特征经过内部子网和卷积操作后被平均分割出的前一部分特征与后一部分特征，表示内层流中第二部分的特征经过映射后的输出特征，t2、k2分别表示映射后的第二部分特征经过内部子网和卷积操作后被平均分割出的前一部分特征与后一部分特征，表示内层流中第一部分的特征经过映射后的输出特征。

38、所述内层流的内部子网中的流程为：首先将输入特征进行二维卷积操作，以保持特征的空间信息，然后将卷积后的特征输入指数空间注意力模块中，输出指数权重，使得模型能够调整不同位置的重要性，辅助网络聚焦异常特征，再将卷积后的特征与指数权重点乘并与卷积后的特征相加，获取突出了异常特征的特征信息，最后将特征输入relu激活函数中进行非线性变换。

39、上述指数空间注意力模块旨在学习特征空间位置的指数权重，使得模型能够调整特征中不同位置的重要性，辅助双层二维归一化流聚焦异常特征；首先将特征沿着通道维度分别进行平均池化与最大池化，学习异常的程度信息和判别特征信息；其次由于学习到的特征分布最后将转化为标准正态分布，因此，在池化操作后都进行了指数运算，以加强异常特征信息的表达；最后将两个特征沿通道层面连接后，进行卷积和激活操作，得到最终的空间注意力特征。

40、上述指数空间注意力模块公式如下：

41、，

42、，

43、，

44、式中，y为内层流的内部子网的输入特征经过卷积后的特征信息，avgpool(·)与maxpool(·)分别表示平均池化与最大池化，yavg、ymax分别表示平均池化与最大池化后的特征经过指数运算操作输出的特征，conv7×7(·)表示卷积核为7的卷积操作，σ(·)表示sigmoid激活函数，mes表示指数空间注意力模块输出的指数权重。

45、上述s3中异常识别模块将特征分布转化成标准正态分布；

46、首先，将通过双层二维归一化流后获得的每个尺度的特征分布上采样至与输入图像相同的尺度，并求出平均特征分布，公式如下所示：

47、，

48、式中，表示主干网络输出的不同尺度的特征经过双层二维归一化流后上采样得到的特征分布，s表示输出的不同特征尺度的个数，zmean表示平均特征分布；

49、其次，将平均特征分布转化为标准正态分布，即异常检测预测图像，满足训练的异常特征信息的无规律性，即异常特征不服从任何分布，公式如下所示：

50、，

51、式中，n表示标准正态分布。

52、在双层二维归一化流的训练过程中，采用均方误差损失函数，使得正常特征映射在正态分布中的值趋近期望，异常特征远离期望，公式如下所示：

53、，

54、式中，loss表示均方误差损失，w和h分别表示输入图像的宽度和高度，表示将标准正态分布的值域缩放为(0,1]，imask为异常分割图像，下标i和j分别表示对应图像像素的横坐标与纵坐标。

55、与现有技术相比，本发明具有以下有益效果：

56、 1.可以在仅有正常工业产品的情况下，实现准确的图像级别和像素级别的异常检测。

57、2.具备较高的实时性和较小的模型规模，可应用于对实时性要求较高的工业异常检测场景。