生成对抗网络模型训练方法、图像处理方法以及装置与流程

本技术涉及图像处理，尤其涉及一种生成对抗网络模型训练方法、图像处理方法以及装置。

背景技术：

1、随着移动互联网和人工智能(ai)技术的快速发展，文档和卡证电子化采集和处理趋势日益明显，越来越多的文档(如档案材料、医疗发票、就诊病历等)或卡证(如身份证、银行卡等)通过智能手机app拍摄采集后，送入后台进行自动化处理，包括但不限于通过光学文字识别(ocr)获得文本信息、通过自然语言处理(nlp)进行实体抽取或语义分析、通过人脸比对和活体检测进行身份认证等。

2、用户通过智能手机app拍摄得到或点击上传的文档或卡证图片可能是模糊不清的，这会影响后台自动处理模块的效果，如会导致文字识别出错、人脸比对失败等。因此，需要有前置模块能够对用户材料进行清晰度判别，提示用户重新拍摄和上传，以及对用户强制提交的不清晰材料进行自动增强处理以提升后台处理的质量。

3、现有公开的方法通常只能单独实现清晰度判别或图像增强处理，分别采用两种方法对用户上传的图像进行处理，会影响图像处理的质量和速度，从而导致图像处理的效率降低。

技术实现思路

1、本技术提供一种生成对抗网络模型训练方法、图像处理方法以及装置，用以解决现有技术中图像处理效率低的问题，通过生成对抗网络模型保证增强后图像的真实性，同时实现了图像增强和清晰度判断的多任务学习，实现提高图像处理的质量和速度，从而提高图像处理效率。

2、第一方面，本技术提供一种生成对抗网络模型训练方法，包括：

3、获取多组样本图像对，所述样本图像对包括第一样本图像和与所述第一样本图像对应的第二样本图像；所述第二样本图像的清晰度高于所述第一样本图像的清晰度；

4、根据所述多组样本图像对待训练的生成对抗网络模型执行多次迭代训练过程，直至满足训练完成条件得到训练完成的生成对抗网络模型；所述生成对抗网络模型用于对输入图像进行图像增强处理和/或清晰度判别处理；其中，迭代训练过程包括：

5、将所述第一样本图像输入至所述待训练的生成对抗网络模型的生成模型中进行图像增强处理得到第一输出图像，以及将所述第一样本图像、所述第二样本图像和所述第一输出图像输入至所述待训练的生成对抗网络模型的判别模型中进行清晰度判别处理，得到清晰度判别结果；

6、基于所述第一样本图像、所述第二样本图像、所述第一输出图像和所述清晰度判别结果生成所述待训练的生成对抗网络模型的模型损失，并根据所述模型损失对所述生成对抗网络模型的模型参数进行调节。

7、可选的，所述基于所述第一样本图像、所述第二样本图像、所述第一输出图像和所述清晰度判别结果生成所述待训练的生成对抗网络模型的模型损失，包括：

8、根据所述第一样本图像、所述第一输出图像和所述第二样本图像计算所述生成模型的第一模型损失和第二模型损失；

9、根据所述第一模型损失对所述生成模型的模型参数进行调整，以及根据所述第二模型损失对所述判别模型的模型参数进行调整。

10、可选的，所述第一模型损失包括生成损失和第一对抗损失；所述生成损失包括重建损失和/或感知损失；所述第二模型损失包括第二对抗损失和第三对抗损失。

11、可选的，所述根据所述第一样本图像、所述第一输出图像和所述第二样本图像计算所述生成模型的第一模型损失，包括如下至少一项：

12、分别将所述第一样本图像和所述第二样本图像输入至预先训练完成的编码模型中进行特征提取处理，分别得到第一样本特征和第二样本特征；

13、基于预设的感知损失函数计算所述第一样本特征和所述第二样本特征之间的感知损失；

14、基于均方差函数和/或l2距离函数计算所述第一输出图像和所述第二样本图像之间的重建损失。

15、可选的，所述根据所述第一样本图像、所述第一输出图像和所述第二样本图像计算所述生成模型的第一模型损失和第二模型损失，包括：

16、将所述第一样本图像和所述第一输出图像确定为假样本图像，并将所述第二样本图像确定为真样本图像；

17、分别将所述真样本图像和所述假样本图像输入至所述判别模型中进行清晰度判别处理，得到清晰度判别结果，并根据所述清晰度判别结果生成对抗损失。

18、第二方面，本技术提供一种图像处理方法，所述方法包括：

19、获取待处理图像，将所述待处理图像输入至训练完成的生成对抗网络模型的判别器中进行判别处理，得到待处理图像的清晰度判别结果；

20、若所述清晰度判别结果不满足预设的清晰度条件，则基于训练完成的编码模型对所述待处理图像进行特征提取处理，得到所述待处理图像的图像特征；

21、将所述图像特征输入至训练完成的生成对抗网络模型的生成模型中进行图像增强处理，得到所述待处理图像的目标增强图像；所述生成对抗网络模型基于第一方面所述的生成对抗网络模型训练方法进行训练得到。

22、第三方面，本技术提供一种生成对抗网络模型训练装置，包括：

23、样本图像获取模块，用于获取多组样本图像对，所述样本图像对包括第一样本图像和与所述第一样本图像对应的第二样本图像；所述第二样本图像的清晰度高于所述第一样本图像的清晰度；

24、模型训练模块，用于根据所述多组样本图像对待训练的生成对抗网络模型执行多次迭代训练过程，直至满足训练完成条件得到训练完成的生成对抗网络模型；所述生成对抗网络模型用于对输入图像进行图像增强处理和/或清晰度判别处理；其中，迭代训练过程包括：

25、模型输出结果获得子模块，用于将所述第一样本图像输入至所述待训练的生成对抗网络模型的生成模型中进行图像增强处理得到第一输出图像，以及将所述第一样本图像、所述第二样本图像和所述第一输出图像输入至所述待训练的生成对抗网络模型的判别模型中进行清晰度判别处理，得到清晰度判别结果；

26、模型参数调节子模块，用于基于所述第一样本图像、所述第二样本图像、所述第一输出图像和所述清晰度判别结果生成所述待训练的生成对抗网络模型的模型损失，并根据所述模型损失对所述生成对抗网络模型的模型参数进行调节。

27、可选的，模型参数调节子模块，包括：

28、模型损失生成单元，用于根据所述第一样本图像、所述第一输出图像、所述第二样本图像和所述清晰度判别结果计算所述生成模型的第一模型损失和第二模型损失；

29、模型参数调整单元，用于根据所述第一模型损失对所述生成模型的模型参数进行调整，以及根据所述第二模型损失对所述判别模型的模型参数进行调整。

30、可选的，所述第一模型损失包括生成损失和第一对抗损失；所述生成损失包括重建损失和/或感知损失；所述第二模型损失包括第二对抗损失和第三对抗损失。

31、可选的，模型损失生成单元，包括如下至少一项：

32、样本特征获得子单元，用于分别将所述第一样本图像和所述第二样本图像输入至预先训练完成的编码模型中进行特征提取处理，分别得到第一样本特征和第二样本特征；

33、感知损失生成子单元，用于基于预设的感知损失函数计算所述第一样本特征和所述第二样本特征之间的感知损失；

34、重建损失生成子单元，用于基于均方差函数和/或l2距离函数计算所述第一输出图像和所述第二样本图像之间的重建损失。

35、可选的，模型损失生成单元，包括：

36、样本图像确定单元，用于将所述第一样本图像和所述第一输出图像确定为假样本图像，并将所述第二样本图像确定为真样本图像；

37、对抗损失生成子单元，用于分别将所述真样本图像和所述假样本图像输入至所述判别模型中进行清晰度判别处理，得到清晰度判别结果，并根据所述清晰度判别结果生成对抗损失。

38、第四方面，本技术提供一种图像处理装置，包括：

39、清晰度判别结果获得模块，用于获取待处理图像，将所述待处理图像输入至训练完成的生成对抗网络模型的判别器中进行判别处理，得到待处理图像的清晰度判别结果；

40、图像特征获得模块，用于若所述清晰度判别结果不满足预设的清晰度条件，则基于训练完成的编码模型对所述待处理图像进行特征提取处理，得到所述待处理图像的图像特征；

41、目标增强图像获得模块，用于将所述图像特征输入至训练完成的生成对抗网络模型的生成模型中进行图像增强处理，得到所述待处理图像的目标增强图像；所述生成对抗网络模型基于第一方面所述的生成对抗网络模型训练方法进行训练得到。

42、第五方面，本技术提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

43、所述存储器存储计算机执行指令；

44、所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面所述的方法。

45、第六方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。

46、第七方面，本技术提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法。

47、本技术提供的技术方案，通过基于分别将样本数据输入至待训练的生成对抗网络模型中，得到模型输出的预测结果，进而基于预测结果和样本数据生成损失函数，进而基于损失函数同时对生成对抗网络模型中的生成模型和判别模型同时进行训练，并在满足训练停止条件时，得到训练完成的生成对抗网络模型，实现在保证增强后图像的真实性以及对图像清晰度进行判别的准确性，进而实现提高后续图像处理的效率。