一种多样化异常图像数据的生成方法、系统、设备及介质

本发明涉及异常图像生成，尤其是涉及一种多样化异常图像数据的生成方法、系统、设备及介质。

背景技术：

1、近年来不同的深度生成模型层出不穷，其中主流的深度生成式模型包括生成对抗网络(gan)、变分自编码器(vae)和扩散模型。在工业图像检测领域，检测图像是否存在异常以及存在何种异常是非常重要的，因此对于多样化的异常图像数据也是需求重大的，现有的异常图像生成方法主要包括：

2、1)生成对抗网络由一个生成器和一个判别器组成，其中生成器采用从正态分布中采样的随机值并生成合成样本，判别器则尝试区分真实样本和生成样本。生成器经过训练可以产生可以欺骗判别器的真实输出，而判别器经过训练可以正确区分真实数据和生成数据，以此形成对抗的过程。由于对抗性损失无法覆盖整个数据分布，容易出现模式崩溃，即生成器倾向于只生成数据分布中的一部分样本，导致生成的样本缺乏多样性，不能完整地反映原始数据的全貌。

3、2)变分自编码器中的编码器将高维输入数据映射为低维表示，解码器通过将该表示映射回其原始形式来重建原始高维输入数据。由于vae使用了随机性的编码和解码过程，生成的图像通常会有一定程度的模糊或者失真。

4、3)扩散模型由前向扩散和反向扩散过程组成，前向扩散是一个马尔可夫链，它逐渐向输入数据添加噪声，直到获得白噪声。反向扩散过程使用可训练的神经网络旨在将正向过程反向逐步去除噪声以恢复原始数据。由于扩散模型通常需要进行多步迭代才能生成样本，这导致了生成过程的计算复杂度较高，样本生成缓慢。

5、综上所述，现有技术方法需要依赖外部辅助数据集来生产异常数据，或是需要借助繁重的预训练模型来生产异常数据。另外，生成的异常数据较为单一，往往无法涵盖所有异常模式。

技术实现思路

1、本发明的目的就是为了提供一种实现生成多种异常的异常图像的多样化异常图像数据的生成方法、系统、设备及介质。

2、本发明的目的可以通过以下技术方案来实现：

3、一种多样化异常图像数据的生成方法，包括以下步骤：

4、获取正常图像数据，进行预处理并分割为真实像素补丁，采用结合马尔可夫随机场近似模型与预先训练好的生成对抗网络进行处理，生成多样化的异常图像数据，其中，所述生成对抗网络包括生成器和判别器；

5、所述生成多样化的异常图像数据的具体步骤包括：

6、基于所述真实像素补丁，采用马尔可夫随机场近似模型获取不同级别的虚假像素补丁的边缘分布，其中所述虚假像素补丁的边缘分布与真实像素补丁的边缘分布一致；

7、引入随机噪声向量，输入不同级别的生成器并结合对应级别的虚假像素补丁的边缘分布，生成不同级别的虚假像素补丁，并进一步生成多样化的异常图像数据。

8、进一步地，所述预处理的步骤包括：

9、将所述正常图像数据统一缩放到固定尺寸，并进行标准化处理。

10、进一步地，所述马尔可夫随机场近似模型的表达式为：

11、

12、式中，c∈cw是w*w大小的像素补丁，是给定分布的第w级的马尔可夫随机场近似，是给定图像xc的分布，φc(xc)表示像素补丁的边缘密度函数。

13、进一步地，所述生成对抗网络的训练过程包括：

14、初始化：随机初始化生成器和判别器的参数；

15、生成异常图像：采用生成器和马尔可夫随机场近似模型生成异常图像数据；

16、构建训练样本：获取正常图像数据并与生成的异常图像数据组成训练样本；

17、训练判别器：采用判别器的损失函数使判别器区分正常图像数据和生成的异常图像数据，最大化对正常图像数据的正确识别率；

18、生成器和判别器对抗：采用生成器的损失函数指导生成器生成异常图像数据以欺骗判别器的判断，则判别器不断提高对正常图像数据的正确识别率；

19、交替训练：交替训练判别器和生成器，在每个训练阶段，首先训练判别器，然后使用更新的判别器来训练生成器；

20、反向传播和参数更新：使用反向传播算法更新生成器和判别器的参数，直至达到预设条件，结束训练过程。

21、进一步地，所述判别器的损失函数为：

22、

23、式中，为判别器d的对抗损失，|cw|表示像素补丁的数量，即正常图像被分割成的区块数量，表示在正常图像x下，判别器d在像素补丁c上输出为真实的概率的期望值，表示在生成的异常图像g(z)下，判别器d在像素补丁c上输出为假的概率的期望值，z为输入到生成器g的噪声向量。

24、进一步地，所述生成器的损失函数为：

25、

26、式中，为生别器g的总损失，为生别器g的对抗损失，β为平衡系数，用于权衡对抗损失和互信息项的影响，iθ(g(z),z)为生成图像g(z)和输入噪声z之间的互信息，g(z)为生成的异常图像，|cw|表示像素补丁的数量，即图像被分割成的区块数量，为在生成的异常图像g(z)下，判别器d在像素补丁c上输出为真的概率的期望值，是变换函数，用于计算互信息，表示在联合分布p(x,z)下，变换函数t的期望值，为在分布p(x)和p(z)下，变换函数t的指数的期望值。

27、进一步地，所述多样化的异常图像数据包括多个异常模式，分别为结构异常模式和逻辑异常模式。

28、本发明还提供一种多样化异常图像数据的生成系统，包括：

29、图像获取模块：用于获取正常图像数据，进行预处理并分割为真实像素补丁；

30、异常图像输出模块：用于基于所述真实像素补丁，采用结合马尔可夫随机场近似模型与预先训练好的生成对抗网络进行处理，生成多样化的异常图像数据，其中，所述生成对抗网络包括生成器和判别器；

31、所述生成多样化的异常图像数据的具体步骤包括：

32、基于所述真实像素补丁，采用马尔可夫随机场近似模型获取不同级别的虚假像素补丁的边缘分布，其中所述虚假像素补丁的边缘分布与真实像素补丁的边缘分布一致；

33、引入随机噪声向量，输入不同级别的生成器并结合对应级别的虚假像素补丁的边缘分布，生成不同级别的虚假像素补丁，并进一步生成多样化的异常图像数据。

34、本发明还提供一种电子设备，包括：一个或多个处理器；存储器；和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上述所述多样化异常图像数据的生成方法的指令。

35、本发明还提供一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上述所述多样化异常图像数据的生成方法的指令。

36、与现有技术相比，本发明具有以下有益效果：

37、(1)本发明基于马尔可夫随机场近似思想获取与真实像素补丁的边缘分布一致的不同级别的虚假像素补丁的边缘分布，且对应级别的分类器生成虚假像素补丁，从而使得虚假像素补丁有不同的异常，得到暴露不同异常模式的异常图像。

38、(2)本发明能够生成多样性的异常图片数据，暴露出多种异常模式，从而覆盖不同的异常情况。

39、(3)本发明仅使用正常数据即可生成异常数据，不需要依赖特定领域的先验知识和额外的辅助数据，或是借助繁重的预训练模型来生产异常数据。