一种缺陷样本的生成方法、装置、电子设备及存储介质

本申请实施例涉及人工智能，尤其涉及一种缺陷样本的生成方法、装置、电子设备及存储介质。

背景技术：

1、近年来，缺陷检测在许多领域都具有重要的意义。在制造业中，缺陷检测可以帮助企业及时发现生产线上的缺陷，防止缺陷产品流入市场。这不仅可以保证产品质量，提高用户满意度，同时也可以降低企业的成本和损失。或在医疗领域，缺陷检测可以帮助医生及时发现疾病的病灶和异常，从而提高诊断准确率和治疗效果。例如，在医学影像领域，缺陷检测可以帮助医生发现肿瘤、血管病变等病灶，从而辅助诊断和治疗。

2、目前，利用深度学习技术进行缺陷检测是主流的技术手段。然而，基于深度学习的监督方法需要大量的标记数据来训练模型，但实际上，标注数据往往是稀缺的，特别是对于缺陷数据的情况下。首先，由于真实的缺陷样本往往比正常样本难以获得，缺陷检测的样本数量往往有限，这会限制缺陷检测系统的性能。通过缺陷样本生成技术，可以合成大量的缺陷样本，从而使得缺陷检测系统可以更全面地学习缺陷的特征和模式，从而提高检测性能。

3、当前，已经有一些基于非监督学习的缺陷样本生成方法，例如，基于生成对抗网络(gan)的方法，变分自编码器(vae)等方法。这些方法可以通过随机生成数据来增加缺陷样本数量，但由于数据生成的不确定性，生成的缺陷样本可能不够准确和可靠，也存在着一定的缺陷偏差。为此，研究人员提出了扩散模型(diffusion model)缓解上述生成式模型的问题。扩散模型是一种基于概率的生成模型，用于生成具有高度逼真性质的样本。扩散模型的基本思想是将样本视为一个初始状态，并通过一系列随机的、逆向的扩散过程，逐步将样本从一个随机状态扩散到一个真实的样本空间。扩散模型相较于传统的生成模型，具有以下优点：扩散操作是可逆的，可以精确控制样本的生成过程，从而生成高质量的样本；扩散过程中的漫步随机性使得模型对不同数据具有一定的适应性。

4、然而，基于上述的生成模型直接生成缺陷样本的难度较大，主要是缺陷部位占样本面积较小，模型难以专注缺陷的生成，网络可能更加关注样本背景的生成。因此，上述单独的生成模型都难以直接生成高度逼真的缺陷样本。

技术实现思路

1、本申请提供一种缺陷样本的生成方法、装置、电子设备及存储介质，可以生成高逼真度的局部缺陷，并将其自然地融入到正常样本中。

2、第一方面，本申请实施例提供了一种缺陷样本的生成方法，所述方法包括：

3、对标准高斯噪声进行随机采样，将随机采样得到的噪声的分布作为当前时间步的噪声特征ft，并将所述当前时间步的噪声特征ft和预先获取的目标缺陷对应的语义标签y输入至预先训练好的缺陷生成网络cunet中，通过所述预先训练好的缺陷生成网络cunet预测出所述当前时间步的上一个时间步的扩散噪声的分布εθ(ft,t,y)；

4、基于所述上一个时间步的扰动噪声的分布εθ(ft,t,y)随机采样得到所述上一个时间步的扩散噪声；并根据所述上一个时间步的扩散噪声和所述当前时间步的噪声特征ft，计算所述上一个时间步的噪声特征ft-1；将所述上一个时间步作为所述当前时间步，重复执行上述操作，直到计算出第0个时间步的噪声特征f0；

5、基于第0个时间步的噪声特征f0生成所述目标缺陷对应的局部缺陷图像；

6、将所述局部缺陷图像输入预先训练好的缺陷融合网络中，通过所述缺陷融合网络生成所述目标缺陷对应的缺陷样本。

7、第二方面，本申请实施例还提供了一种缺陷样本的生成装置，所述装置包括：预测模块、计算模块、生成模块和融合模块；其中，

8、所述预测模块，用于对标准高斯噪声进行随机采样，将随机采样得到的噪声的分布作为当前时间步的噪声特征ft，并将所述当前时间步的噪声特征ft和预先获取的目标缺陷对应的语义标签y输入至预先训练好的缺陷生成网络cunet中，通过所述预先训练好的缺陷生成网络cunet预测出所述当前时间步的上一个时间步的扩散噪声的分布εθ(ft,t,f)；

9、所述计算模块，用于基于所述上一个时间步的扰动噪声的分布εθ(ft,t,y)随机采样得到所述上一个时间步的扩散噪声；并根据所述上一个时间步的扩散噪声和所述当前时间步的噪声特征ft，计算所述上一个时间步的噪声特征ft-1；将所述上一个时间步作为所述当前时间步，重复执行上述操作，直到计算出第0个时间步的噪声特征f0；

10、所述生成模块，用于基于第0个时间步的噪声特征f0生成所述目标缺陷对应的局部缺陷图像；

11、所述融合模块，用于将所述局部缺陷图像输入预先训练好的缺陷融合网络中，通过所述缺陷融合网络生成所述目标缺陷对应的缺陷样本。

12、第三方面，本申请实施例提供了一种电子设备，包括：

13、一个或多个处理器；

14、存储器，用于存储一个或多个程序，

15、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所述的缺陷样本的生成方法。

16、第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请任意实施例所述的缺陷样本的生成方法。

17、本申请实施例提出了一种缺陷样本的生成方法、装置、电子设备及存储介质，先对标准高斯噪声进行随机采样，将随机采样得到的噪声的分布作为当前时间步的噪声特征，并将当前时间步的噪声特征和预先获取的目标缺陷对应的语义标签输入至预先训练好的缺陷生成网络中，通过预先训练好的缺陷生成网络预测出当前时间步的上一个时间步的扩散噪声的分布；然后基于上一个时间步的扰动噪声的分布随机采样得到上一个时间步的扩散噪声；并根据上一个时间步的扩散噪声和当前时间步的噪声特征，计算当前时间步的上一个时间步的噪声特征；将上一个时间步作为当前时间步，重复执行上述操作，直到计算出第0个时间步的噪声特征；再基于第0个时间步的噪声特征生成目标缺陷对应的局部缺陷图像；最后将局部缺陷图像输入预先训练好的缺陷融合网络中，通过缺陷融合网络生成目标缺陷对应的缺陷样本。也就是说，在本申请的技术方案中，缺陷样本的生成方法是基于多阶段的，在第一阶段，通过缺陷生成网络生成局部缺陷图像；在第二阶段，通过缺陷融合网络生成高度真实的缺陷样本。并且本申请通过逆向扩散过程，逐步将样本从一个随机状态扩散到一个真实的样本空间。本申请相较于传统的生成模型具有以下优点：扩散操作是可逆的，可以精确控制样本的生成过程，从而生成高质量的样本。而在现有技术中，由于缺陷部位占样本面积较小，模型难以专注缺陷的生成，因此基于生成模型直接生成缺陷样本的难度较大，网络可能更加关注样本背景的生成。因此，和现有技术相比，本申请实施例提出的缺陷样本的生成方法、装置、电子设备及存储介质，可以生成高逼真度的局部缺陷，并将其自然地融入到正常样本中；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。

技术特征：

1.一种缺陷样本的生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在对标准高斯噪声进行随机采样之前，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，在预先构建的局部缺陷集idefect中提取出预定数量的缺陷样本作为当前批次的训练样本之前，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，在将所述局部缺陷图像输入预先训练好的缺陷融合网络中之前，所述方法还包括：

5.根据权利要4所述的方法，其特征在于，使用所述当前训练样本对所述缺陷融合网络进行训练，包括：

6.根据权利要求5所述的方法，其特征在于，使用所述生成的缺陷样本xfake对判别器进行训练，包括：

7.根据权利要求6所述的方法，其特征在于，基于所述生成的缺陷样本xfake和训练好的判别器对所述缺陷融合网络进行训练，包括：

8.一种缺陷样本的生成装置，其特征在于，所述装置包括：预测模块、计算模块、生成模块和融合模块；其中，

9.一种电子设备，其特征在于，包括：

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的缺陷样本的生成方法。

技术总结
本申请公开了一种缺陷样本的生成方法、装置、电子设备及存储介质；该方法包括：对标准高斯噪声进行随机采样，将采样得到的噪声的分布作为当前时间步的噪声特征，将该噪声特征和目标缺陷对应的语义标签输入至缺陷生成网络中，预测出上一个时间步的扩散噪声的分布；基于该扰动噪声的分布随机采样得到上一个时间步的扩散噪声；根据该扩散噪声和当前时间步的噪声特征，计算上一个时间步的噪声特征；重复上述操作，直到计算出第0个时间步的噪声特征；基于第0个时间步的噪声特征生成目标缺陷对应的局部缺陷图像；将该图像输入缺陷融合网络中，生成目标缺陷对应的缺陷样本。本申请实施例可以生成高逼真度的局部缺陷，并将其自然地融入到正常样本中。

技术研发人员：黄开竹,杨超龙,杨关禹,赵伟光
受保护的技术使用者：昆山杜克大学
技术研发日：
技术公布日：2024/1/14