图像样本生成模型的训练方法、图像样本生成方法及装置与流程

本发明涉及计算机，尤其涉及一种图像样本生成模型的训练方法、图像样本生成方法及装置。

背景技术：

1、近年来，随着基于深度学习的图像生成技术的蓬勃发展，图像伪造技术也带来了很多个人隐私信息的隐患。为保障用户的资金安全，在银行卡识别场景，通常设置了银行卡识别系统对输入的银行卡图像进行识别。为提高银行卡识别系统针对伪造技术构建的攻击图像的识别能力，需要采集大量攻击样本来对银行卡识别系统进行训练或攻击测试，但采集大量的银行卡图像作为攻击样本往往十分耗时耗力，成本高昂。

技术实现思路

1、本说明书的一个或多个实施例提供了一种图像样本生成模型的训练方法、图像样本生成方法及装置，能够根据需求快速生成大量逼真的图像样本，以用于提高银行卡识别系统的抗攻击性。

2、根据第一方面，提供了一种图像样本生成模型的训练方法，包括：

3、获取至少一张银行卡图像作为原始图像；

4、基于伪造任务，确定所述原始图像中的伪造区域和伪造内容；

5、基于所述伪造区域，确定位置约束条件文本；

6、确定内容约束条件文本，以描述所述伪造内容；

7、确定内容指导文本，以描述所述伪造任务；

8、将所述原始图像输入预训练的扩散模型中进行图像样本生成，并在反向扩散过程中，通过所述位置约束条件文本、所述内容约束条件文本和所述内容指导文本对所述扩散模型进行微调。

9、作为第一方面所述方法的一种可选实施方式，通过所述位置约束条件文本、所述内容约束条件文本和所述内容指导文本对所述扩散模型进行微调，具体包括：

10、获取所述原始图像经过前向扩散后的第一特征数据；

11、将所述第一特征数据和所述内容指导文本输入所述扩散模型进行反向扩散，得到第一中间特征；

12、将所述第一特征数据、所述位置约束条件文本和所述内容约束条件文本输入所述扩散模型进行反向扩散，得到第二中间特征；

13、对所述第一中间特征和所述第二中间特征进行特征融合，得到第二特征数据；

14、将所述第二特征数据和所述内容指导文本输入所述扩散模型进行反向扩散，得到所述原始图像的重建图像；

15、基于所述原始图像和所述重建图像，确定损失函数；

16、通过所述损失函数，更新所述扩散模型。

17、具体地，基于所述原始图像和所述重建图像确定所述损失函数，具体包括：

18、确定所述原始图像与所述重建图像之间的重建误差；

19、基于所述重建误差，确定所述损失函数。

20、具体地，基于所述原始图像和所述重建图像确定所述损失函数，具体包括：

21、确定所述原始图像与所述重建图像之间的相似度；

22、基于所述相似度，确定所述损失函数。

23、作为第一方面所述方法的一种可选实施方式，将所述原始图像输入所述扩散模型中进行图像样本生成，并在反向扩散过程中，通过所述位置约束条件文本、所述内容约束条件文本和所述内容指导文本对所述扩散模型进行微调，具体包括：

24、将所述原始图像分为互不重叠的图像块；

25、将所述图像块输入所述扩散模型中进行图像块生成；

26、在反向扩散过程中，对于包含了所述伪造内容的部分或全部内容的图像块，基于所述位置约束条件文本、所述内容约束条件文本和所述内容指导文本对所述扩散模型进行微调。

27、根据第二方面，提供了一种图像样本生成方法，包括：

28、获取至少一张银行卡图像作为目标图像；

29、基于预设的伪造任务，确定目标伪造区域和目标伪造内容；

30、基于所述目标伪造区域，确定位置约束条件文本；

31、基于所述目标伪造内容，确定内容约束条件文本；

32、将所述目标图像、所述位置约束条件文本和所述内容约束条件文本输入预先训练的图像样本生成模型，得到银行卡图像样本；

33、所述图像样本生成模型采用上述任一项图像样本生成模型的训练方法训练得到。

34、作为第二方面所述方法的一种可选实施方式，所述方法还包括：

35、将所述银行卡图像样本中的目标伪造区域作为前景图像；

36、将所述银行卡图像样本中除所述目标伪造区域外的其他区域作为背景图像；

37、对所述前景图像和所述背景图像进行和谐化处理。

38、作为第二方面所述方法的一种可选实施方式，所述方法还包括：

39、将所述银行卡图像样本中的目标伪造区域作为前景图像；

40、将所述银行卡图像样本中除所述目标伪造区域外的其他区域作为背景图像；

41、对所述前景图像和所述背景图像进行透明度混合处理。

42、根据第三方面，提供了一种图像识别模型的训练方法，包括：

43、获取至少一张银行卡图像作为正样本；

44、基于预设的识别任务，确定伪造任务；

45、基于所述伪造任务，确定目标伪造区域和目标伪造内容；

46、基于所述目标伪造区域，确定位置约束条件文本；

47、基于所述目标伪造内容，确定内容约束条件文本；

48、将所述目标图像、所述位置约束条件文本和所述内容约束条件文本输入预先训练的图像样本生成模型，得到生成图像；所述图像样本生成模型采用上述任一项图像样本生成模型的训练方法训练得到；

49、将所述生成图像作为负样本，基于所述正样本和所述负样本，训练所述图像识别模型。

50、根据第四方面，提供了一种图像识别模型的攻击测试方法，包括：

51、获取至少一张银行卡图像作为原始图像；

52、基于预设的测试任务，确定伪造任务；

53、基于所述伪造任务，确定目标伪造区域和目标伪造内容；

54、基于所述目标伪造区域，确定位置约束条件文本；

55、基于所述目标伪造内容，确定内容约束条件文本；

56、将所述目标图像、所述位置约束条件文本和所述内容约束条件文本输入预先训练的图像样本生成模型，得到生成图像；所述图像样本生成模型采用上述任一项图像样本生成模型的训练方法训练得到；

57、将所述生成图像作为攻击样本，对所述图像识别模型进行攻击测试；

58、基于所述图像识别模型对所述攻击样本的识别结果，确定攻击测试的结果。

59、根据第五方面，提供了一种图像样本生成模型的训练装置，包括：

60、第一数据获取模块，配置为获取至少一张银行卡图像作为原始图像；

61、第一约束条件生成模块，配置为基于伪造任务，确定所述原始图像中的伪造区域和伪造内容；基于所述伪造区域，生成位置约束条件文本；生成内容约束条件文本，以描述所述伪造内容；生成内容指导文本，以描述所述伪造任务；

62、训练模块，配置为将所述原始图像输入预训练的扩散模型中进行图像样本生成，并在反向扩散过程中，通过所述位置约束条件文本、所述内容约束条件文本和所述内容指导文本对所述扩散模型进行微调。

63、根据第六方面，提供了一种图像样本生成装置，包括：

64、第二数据获取模块，配置为获取至少一张银行卡图像作为目标图像；

65、第二约束条件生成模块，配置为基于预设的伪造任务，确定目标伪造区域和目标伪造内容；基于所述目标伪造区域，生成位置约束条件文本；基于所述目标伪造内容，生成内容约束条件文本；

66、图像生成模块，配置为将所述目标图像、所述位置约束条件文本和所述内容约束条件文本输入预先训练的图像样本生成模型，得到银行卡图像样本；所述图像样本生成模型采用上述任一项图像样本生成模型的训练方法训练得到。

67、根据第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项图像样本生成模型的训练方法。

68、根据第八方面，提供了一种电子设备，包括：

69、一个或多个处理器；以及

70、与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令，所述程序指令在被所述一个或多个处理器读取执行时，执行上述任一项图像样本生成模型的训练方法的步骤。

71、根据第九方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项图像样本生成方法。

72、根据第十方面，提供了一种电子设备，包括：

73、一个或多个处理器；以及

74、与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令，所述程序指令在被所述一个或多个处理器读取执行时，执行上述任一项图像样本生成方法的步骤。

75、本说明书实施例所述的图像样本生成模型的训练方法的有益效果在于，可以利用分析图像伪造任务得到的图像中需要伪造的内容、位置等信息以及图像中其他区域的信息来指导图像样本生成。首先将原始图像输入预训练的扩散模型进行前向扩散，得到第一特征数据；接着在对第一特征数据反向扩散的过程中分别加入图像伪造任务中的信息，并将由此获得的中间特征进行融合，得到所需要的重建图像，再通过计算损失使生成的图像更加逼真。所训练得到的图像样本生成模型可以应用于图像样本生成方法，从而根据测试需求快速生成大量逼真的图像样本，可以更加高效地训练或者测试银行卡识别系统，以加强银行卡识别系统的防御能力。

76、本说明书实施例所述的图像样本生成模型的训练装置以及图像样本生成装置同样具有上述有益效果。