一种图像样本生成方法、装置、设备及存储介质与流程

本发明涉及图像处理，特别是涉及一种基于受控扩散模型的机器视觉图像样本生成方法、装置、设备及存储介质。

背景技术：

1、机器视觉，是指在工业领域，通过拍摄设备、产品的图像用于测量、检测、识别等应用场景的技术。深度学习，是指通过构建深度神经网络，学习数据集中的样本特征并使用这些特征完成各种下游任务的算法技术。由于深度学习具有良好的范用性，被广泛使用于机器视觉的检测、识别任务中。

2、目标，使用深度学习方法的机器视觉技术在工业产品识别、检测等领域中被广泛应用。在细分的基于机器视觉的异常检测领域，只需要采集足够多的正样本(正常样本)和负样本(异常样本、缺陷样本)，选取合适的深度学习网络，训练之后就可以得到一个效果良好的检测模型。

3、由于深度学习方法依赖于采集的大量数据，在数据量小和数据质量不高的时候其效果将大打折扣。而在机器视觉的异常检测等工业场景中，很多时候由于设备和产品批量小，无法采集大量正常样品；又因为会使产品产生破坏性的损伤，或是设备难以进行人工干扰和破坏，更无法采集大量的缺陷样品。从而使得这些场景下难以应用基于深度学习的机器视觉方法。

4、对于上述问题，现有的解决方案大致有两类。其一是利用图像编辑技术，对已有样本使用旋转、镜像、调整图像色彩、添加噪声等方式，得到新的正样本；对样本进行人工修改纹理、嵌入其他缺陷图像等方式，得到新的负样本。其二是利用基于神经网络的图像生成技术，如使用生成对抗网络(gan)，将通用图像数据集中训练的模型迁移到工业场景下，输入已有样本图片或文本描述，生成相近的图像数据。

5、这两种方法中，图像编辑技术操作空间有限，无法生成大量样本；且生成的样本和已有样本相似度高，影响后续深度学习训练的准确性；另外，依赖人工操作，效率低下，耗时太长。

6、而图像生成技术则迁移困难，使用迁移的模型生成的图像容易带有原数据集的特征；迁移的模型需要大量的参数调节实践，且生成的图像不可控，很容易出现各种特征混杂的图像，很难得到高质量、接近真实的可用图像。

技术实现思路

1、鉴于上述问题，本发明提供用于克服上述问题或者至少部分地解决上述问题的一种图像样本生成方法、装置、设备及存储介质。通过采集大量的多品类工业图像数据，形成通用工业图像数据集，构建稳定扩散模型用于正样本的生成，并构建改进的控制网络进行负样本的生成，从而得到了通用的工业图像数据生成网络，实现了从极少正样本生成可用的工业机器视觉异常检测数据集。

2、本发明提供了如下方案：

3、一种图像样本生成方法，包括：

4、获取若干张工业图像，并制作获得预训练数据集；所述预训练数据集包括每张所述工业图像的一份原始图像样本、每张所述工业图像的图像描述文本以及每张所述工业图像对应的一张样本缺陷蒙版掩模图像；

5、构建基于稳定扩散模型的图像生成网络；所述稳定扩散模型包括图像编码器以及图像解码器；

6、结合所述预训练数据集中的原始图像样本以及图像描述文本利用低秩适应方法训练所述图像编码器以及所述图像解码器获得正样本生成模型；

7、构建受控图像生成网络，所述受控图像生成网络包括所述图像生成网络以及与所述图像生成网络结合的控制网络；所述控制网络用于引入缺陷掩膜图像和条件相似度参数控制所述图像解码器的解码过程；

8、将所述预训练数据集中的原始图像样本作为图片输入、图像描述文本作为文本输入、缺陷蒙版掩模图像作为条件输入，利用所述低秩适应方法训练所述图像编码器以及所述图像解码器获得负样本生成模型；

9、获取样本图像并确定所述样本图像的样本描述词，所述样本图像为正常产品图像；将所述样本图像以及所述样本描述词输入所述正样本生成模型获得正样本图像；

10、确定所述正样本图像的缺陷描述词以及缺陷掩模图像；将所述正样本图像、所述缺陷描述词以及所述缺陷掩模图像输入所述负样本生成模型获得负样本图像。

11、优选地：所述工业图像采用收集的各种类型工业产品图像构建和/或采用mvtec-ad数据集。

12、优选地：所述图像编码器包括编码扩散块，所述编码扩散块用于将输入图像编码到8×8的中间扩散块；所述图像解码器包括解码扩散块，所述解码扩散块用于将所述中间扩散块重新编码成图像。

13、优选地：所述稳定扩散模型还包括文本编码器以及图像信息创建器；所述文本编码器用于采用语言图像对比模型中的文本编码器部分对所述图像生成网络的文本输入进行编码；所述图像信息创建器由若干个unet编解码器结构连接组成。

14、优选地：根据受条件输入控制的程度要求确定所述条件相似度参数的值。

15、优选地：将所述样本图像以及所述样本描述词输入所述正样本生成模型，并设置网络参数后获得正样本图像；

16、将所述正样本图像、所述缺陷描述词以及所述缺陷掩模图像输入所述负样本生成模型，并设置所述网络参数后获得负样本图像；

17、所述网络参数包括迭代步数、随机种子、采样方法、原图一致性。

18、优选地：采用手动绘制或随机生成的方式确定所述正样本缺陷掩码图像。

19、一种图像样本生成装置，包括：

20、预训练数据集获取单元，用于获取若干张工业图像，并制作获得预训练数据集；所述预训练数据集包括每张所述工业图像的一份原始图像样本、每张所述工业图像的图像描述文本以及每张所述工业图像对应的一张样本缺陷蒙版掩模图像；

21、图像生成网络构建单元，用于构建基于稳定扩散模型的图像生成网络；所述稳定扩散模型包括图像编码器以及图像解码器；

22、正样本生成模型获取单元，用于结合所述预训练数据集中的原始图像样本以及图像描述文本利用低秩适应方法训练所述图像编码器以及所述图像解码器获得正样本生成模型；

23、受控图像生成网络构建单元，用于构建受控图像生成网络，所述受控图像生成网络包括所述图像生成网络以及与所述图像生成网络结合的控制网络；所述控制网络用于引入缺陷掩膜和条件相似度参数控制所述图像解码器的解码过程；

24、负样本生成模型获取单元，用于将所述预训练数据集中的原始图像样本作为图片输入、图像描述文本作为文本输入、缺陷蒙版掩模图像作为条件输入，利用所述低秩适应方法训练所述图像编码器以及所述图像解码器获得负样本生成模型；

25、正样本图像生成单元，用于获取样本图像并确定所述样本图像的样本描述词，所述样本图像为正常产品图像；将所述样本图像以及所述样本描述词输入所述正样本生成模型获得正样本图像；

26、负样本图像生成单元，用于确定所述正样本图像的缺陷描述词以及缺陷掩模图像；将所述正样本图像、所述缺陷描述词以及所述缺陷掩模图像输入所述负样本生成模型获得负样本图像。

27、一种图像样本生成设备，所述设备包括处理器以及存储器：

28、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

29、所述处理器用于根据所述程序代码中的指令执行上述的图像样本生成方法。

30、一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述的图像样本生成方法。

31、根据本发明提供的具体实施例，本发明公开了以下技术效果：

32、本技术实施例提供的一种图像样本生成方法、装置、设备及存储介质，克服了机器视觉图像样本采集困难的问题，使用该方法可以仅采集极少量的正样本，即可生成大量的正样本图像，并根据数据集中学习的各种缺陷类型生成可用的负样本。

33、同时，克服了现有图像样本生成方法稳定性差的问题，该方法使用的网络和训练方法可以准确保留产品样本的特征，生成近乎真实的样本图像。

34、另外，克服了现有图像样本生成方法不可控的问题，该方法构建的改进受控图像生成网络可以很好地接收和处理掩模输入，使得生成的负样本具有用户控制的形态和特征。

35、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。