一种基于编解码器架构的工业异常检测方法

本发明属于工业异常检测领域，涉及一种基于编解码器架构的工业异常检测方法。

背景技术：

1、工业异常检测已然成为了工业智能化发展进程中至关重要的一环。在当今竞争激烈的工业领域，产品质量是企业立足的根本，生产效率关乎着企业的效益，而生产稳定更是保障整个生产链条有序运转的基础。工业异常检测的核心目的，就是要对各式各样的工业产品在复杂的生产过程里可能出现的缺陷进行精准的检测以及准确的定位。然而，在实际的工业生产环境中，正常的样本占据了绝大多数，而异常样本不仅数量稀少，其表现形式多种多样，同时又具有不可预测性，使得传统的监督学习方法效果十分有限。传统监督学习高度依赖大量带有明确标记的样本数据来进行模型训练，但在工业异常检测领域中，异常样本的稀少满足不了传统监督学习的需求。正因如此，目前该领域的研究方向主要集中在自监督学习方法上，以其来开展工业异常检测工作。自监督学习有着独特的优势，它不需要像传统的监督学习依赖人工去对数据进行标记，而是巧妙地利用数据本身所蕴含的结构特点以及数据之间的相关性，自主产生监督信号，进而为准确的工业异常检测提供有力的支撑。

2、随着深度学习技术的发展，工业图像异常检测的研究可以分为基于重建的方法和基于嵌入的方法两大类。在目前的研究中，大多数基于重建的方法是基于编码器-解码器架构来训练网络来重建输入图像，误差越大表示异常区域。ocr-gan引入了频率解耦模块，将输入图像解耦为不同的频率分量从频率角度重构图像。realnet基于扩散过程生成不同程度的异常样本，整合特征选择策略和重构过程，提高异常检测性能。然而，在实际应用中，神经网络由于其强大的学习能力，也可以很好地重建异常区域。基于嵌入的方法通常利用在imagenet数据集上训练的预训练网络从原始图像中提取高级特征，通过测量基于这些特征的测试样本和正常样本之间的距离来计算异常分数，从而识别异常区域。直接使用预训练的网络可能导致域不匹配问题。patchcore从提取的正常特征中创建核心内存库，建立异常检测的离群点检测模型。fyd设计了一个由粗到细的特征对齐网络，学习正常图像的密集紧凑特征分布。基于嵌入的模型以其简单、有效的特点得到了广泛的应用。然而，这些方法忽略了工业异常检测数据集与imagenet数据集之间的内在差异。

3、针对这些问题，该方法提出了一个工业异常检测模型，在训练阶段使用图像处理算法将二维柏林噪声添加至mvtec数据集中的图像，从而引入人工模拟的异常得到缺陷样本图像，缓解了监督学习只能使用正常样本的不足。在模型的推理阶段，通过比较记忆库中输入样本和记忆样本的差异，为异常区域的定位提供更有效的信息。同时，设计了基于生成式对抗网络的工业图像语义传输模型，通过编码端将图像压缩成低维潜在语义，在保留语义信息的同时大大减少了数据传输量。mvtec数据集是用于机器视觉异常检测的标准数据集，包含多种不同类型的工业产品图像，例如机械零件、电子元件、纺织品等。该数据集由德国慕尼黑工业大学(technical university ofmunich)的机器视觉团队创建和维护。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于编解码器架构的工业异常检测方法。针对在工业异常检测领域中，本发明设计一种基于编解码器架构的工业异常检测方法。针对传统的有监督学习方法在正负样本数量极度不均衡时无法训练的问题，设计了一种异常样本生成方法，其利用二维柏林噪声生成图以及异常纹理数据集，采用图像处理算法制作负样本数据集。并考虑到在图像特征提取时无法充分利用图像中信息的问题，设计了图像特征提取及融合方法，从每一种工业产品集合中随机选取正常样本作为记忆样本，并使用编解码器网络架构提取记忆样本的高级特征作为记忆信息，以辅助模型的训练。并考虑到工业异常检测领域中小面积异常难以感知的问题，使用多尺度特征融合策略，充分融合具有不同尺度的特征图，缓解图像中正常区域与异常区域面积不平衡和预测的问题。

2、为达到上述目的，本发明提供如下技术方案：

3、一种基于编解码器架构的工业异常检测方法，包括以下步骤：

4、s1：将mvtec数据集中的工业产品图像分为训练集和测试集合，通过异常生成算法添加人工模拟的异常图像块制作异常图像数据集；

5、s2：从每一种工业产品集合中随机选取少量正常样本作为记忆样本，并使用编码器-解码器网络架构提取记忆样本的高级特征作为记忆信息，以辅助模型的训练；

6、s3：使用多尺度特征融合策略，充分融合具有不同尺度的特征图，缓解工业异常检测领域中小面积异常难以感知的问题；

7、s4：使用端到端工业异常检测模型的损失函数缓解图像中正常区域与异常区域面积不平衡和预测的问题，同时保留所得分割图像的大部分边缘信息，从而完成工业异常检测模型的训练；

8、s5：设计了基于生成式对抗网络的工业图像语义传输模型，在编码端将图像压缩成低维语义信息，在解码端对通过信道传输的语义信息进行解码，重建高质量图像。

9、进一步，s1所述异常生成算法，具体包括：

10、s11：生成二维高斯噪声图像p，然后使用随机均匀采样的阈值对图像p进行二值化，得到掩码图像mp；柏林噪声具有多个随机峰值，由其产生的掩码图像mp提取图像中连续的区域块；

11、s12：对输入图像i进行二值化，得到掩码图像im，并采用图像的开运算和闭运算去除二值化过程中产生的噪声，即离散的噪点；

12、s13：通过对获得的两个掩码图像mp与im执行逐元素乘积来获得最终的掩码图像m；

13、s14：获取噪声图像ni，其取自异常纹理数据集，用于模拟工业产品的纹理异常；

14、s15：将掩码图像m和噪声图像ni进行逐元素乘积，得到噪声图像ni中的前景区域，即工业部件主体所占图像的区域；

15、s16：使用公式ni′＝σ(m⊙ni)+(1-σ)(m⊙i)，生成带噪的前景图像ni′；对于σ，其取值从[0.2,0.8]中随机均匀取样；

16、s17：将掩码图像m反转得到图像然后对反转的掩码图像和原始图像i进行逐元素积，得到图像i′；

17、s18：根据公式：融合图像i与图像i′得到数据增强图像，即模拟的异常图像ia；ia以原始输入图像i为背景，以掩码图像m提取的噪声图像ni中的工业产品区域为前景。

18、进一步，所述s2中，使用编码器-解码器网络架构提取记忆样本的高级特征作为记忆信息，具体包括：

19、s21：为了获得记忆信息，首先从训练数据中的每一个种类随机选择n个正常图像作为记忆样本，并将其输入到编码器中；

20、s22：分别从在imagenet数据集上的预训练resnet50网络的第一层、第二层和第三层中获得具有不同分辨率大小的特征，共同构成记忆信息库；

21、s23：将resnet50中的第一层、第二层和第三层网络的模型参数冻结，以获得输入图像与记忆样本图像的信息和高级特征；

22、s24：对处于训练阶段的输入图像，编码器直接提取输入图像的高级特征，通过第一层、第二层和第三层网络得到具有不同分辨率大小的特征图；这三个不同分辨率的特征图中存储着输入图像ii的不同尺度语义信息；

23、s25：分别计算不同分辨率下输入图像ii信息与记忆图像mi信息之间的l2距离，得到输入图像与内存样本之间的差分信息di：其中n为记忆样本的个数；差分信息di中记录输入图像与记忆样本的异同信息；

24、s26：对于n个差分信息，以各di中所有元素的最小和为标准，得到ii与mi之间的最佳差分信息di′，即：式中i∈[1，n]；最佳差值信息di′包含输入样本与其最相似的记忆样本之间的差值；

25、s27：最佳差分信息di′与输入图像ii在通过编码器提取出的高级特征完成相加运算，得到串联信息ci1、ci2和ci3。

26、进一步，所述s3中，使用多尺度特征融合策略，充分融合具有不同尺度的特征图，具体包括：

27、s31：对于ci1、ci2和ci3三个不同维度的特征，通过3×3的卷积块，及逆行卷积运算的同时，保持其通道数，得到具有不同分辨率大小特征图；

28、s32：对s31得到的特征图，分别利用上采样进行维度上的对齐，使得三个特征图的维度均为具有最大特征图的维度；

29、s33：利用卷积对三个维度相同的特征图进行通道数上的对齐，使得三个特征图的维度与通道数相同，以便于之后的相加操作；

30、s34：对s33得到的特征图进行逐元素的相加操作，实现多尺度的特征融合，传输到工业异常检测鉴别器。

31、进一步，所述s4中，缓解图像中正常区域与异常区域面积不平衡和预测的问题，定义端到端工业异常检测模型的损失函数为：

32、

33、端到端工业异常检测模型的损失函数是l2损失函数与焦点损失函数的融合，其中的p和分别是groundtruth图像和模型推理图像；λ1和λ2是控制l2损失函数与焦点损失函数融合的平衡超参数；α是平衡因子，用于调整正负样本之间的影响；γ是焦点因子，用于调整样本图像中异常区域的权重。

34、进一步，所述s5中，在编码端将图像压缩成语义信息，在解码端对通过信道传输的语义信息进行解码，重建高质量图像，具体包括：

35、s51：语义编码器的结构是自编码器网络架构，输入图像经过语义编码器处理，计算高维图像信息得到低维的语义信息；编码过程的数学表达式如下：

36、yi＝fθ(x)＝h(ax+b)

37、其中yi是语义编码的输出，θ＝(a,b)是编码器网络的参数，h为激活函数，a为权值矩阵，x为输入图像，b为偏置向量；

38、s52：对s51中计算得到的低维语义信息进行ldpc信道编码后，通过物理信道传输，在模型训练阶段，选择加性高斯白噪声模型作为仿真信道模型进行训练，编码过程的数学表达式如下：

39、

40、其中的是ldpc信道编码的输出，e是信道增益，n是加性高斯白噪声；

41、s51：同时使用原始图像x和生成的图像y，训练基于生成对抗网络架构的语义解码器；通过对语义解码器的训练，得以有效提取原始图像分布的特征，重建出原图像x。

42、本发明的有益效果在于：

43、(1)通过异常生成算法，利用二维柏林噪声和异常纹理数据集，人工模拟异常图像，有效缓解了工业异常检测领域正负样本数量极度不均衡的问题，为基于监督学习的异常检测模型提供了更多的训练数据，提高了模型的泛化能力和鲁棒性。

44、(2)通过图像特征提取及融合方法，从正常样本中提取高级特征作为记忆信息，并将其与输入图像的特征进行融合，有效地利用了输入图像中的信息，提高了模型的特征表达能力，增强了模型的异常检测能力。

45、(3)通过多尺度特征融合策略，充分融合具有不同尺度的特征图，有效地整合了不同尺度的语义信息，提高了模型对小面积异常的感知能力，解决了工业异常检测领域中小面积异常难以捕捉的挑战。

46、(4)通过端到端工业异常检测模型的损失函数，缓解了图像中正常区域与异常区域面积不平衡和预测的问题，同时保留了分割图像的大部分边缘信息，提高了分割图像的质量和精度。

47、(5)通过基于生成式对抗网络的工业图像语义传输模型，将图像压缩成低维语义信息，在保留语义信息的同时大大减少了数据传输量，适用于复杂工业场景下通信信号差、信道干扰强、带宽低的实际情况，提高了异常检测模型的实时性和效率。

48、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。