训练方法、图像生成方法、装置、电子设备及存储介质与流程

本公开涉及图像处理领域，尤其涉及一种图像生成模型的训练方法、图像生成方法、装置、电子设备及存储介质。

背景技术：

1、随着图像处理技术的发展，很多领域应用到了图像处理技术，通过图像处理技术可以得到质量更高的图像。很多电子设备具有成像功能，电子设备中具有图像采集模组，通过图像采集模组采集图像后，还可以对采集到的图像进行处理，例如优化，生成质量更高的图像。

2、通过机器视觉技术，例如网络模型，可以对图像采集模组采集到的图像进行处理，从而生成质量更高并且符合需求的图像。在利用网络模型对图像采集模组采集到的图像进行处理之前，需要先获取训练样本，然后利用训练样本对网络模型进行训练，得到训练完成的网络模型。

技术实现思路

1、本公开提供一种图像生成模型的训练方法、图像生成方法、装置、电子设备及存储介质。

2、本公开实施例的第一方面，提供一种图像生成模型的训练方法，包括：利用第一生成网络根据样本图像生成第一待识别图像；利用第一判别网络识别所述第一待识别图像输出第一特征，并识别参考图像输出第二特征；根据所述第一特征、所述第二特征和相似度函数，确定所述第一待识别图像与所述参考图像之间的第一相似度；根据所述第一相似度，更新所述第一生成网络和所述第一判别网络的网络参数。

3、在一个实施例中，所述根据所述第一特征、所述第二特征和相似度函数，确定所述待识别图像与所述参考图像之间的第一相似度，包括：对所述第一特征进行谱归一化处理得到第一结果，对所述第二特征进行谱归一化处理得到第二结果；根据所述第一结果、所述第二结果以及所述相似度函数，确定所述第一相似度。

4、在一个实施例中，所述方法包括：根据所述第一待识别图像中像素的像素值确定所述第一待识别图像的第一参考因子，根据所述参考图像中像素的像素值确定所述参考图像的第二参考因子；所述第一参考因子和所述第二参考因子用于表示至少一种同一维度的图像信息；所述根据所述第一特征、所述第二特征和所述相似度函数，确定所述第一待识别图像与所述参考图像的第一相似度，还包括：根据所述第一参考因子、所述第二参考因子、所述第一特征、所述第二特征和所述相似度函数，确定所述第一相似度。

5、在一个实施例中，所述第一参考因子和所述第二参考因子包括以下至少之一：亮度、对比度、图像结构和/或信噪比。

6、在一个实施例中，所述利用第一生成网络根据样本图像生成第一待识别图像，包括：通过空间注意力机制生成所述第一待识别图像。

7、在一个实施例中，所述方法包括：利用第二生成网络，根据所述第一待识别图像生成第二待识别图像；利用第二判别网络识别所述第二待识别图输出所述第三特征，并识别样本图像输出第四特征；根据所述第三特征、所述第四特征和所述相似度函数，确定所述第二待识别图像和所述样本图像之间的第二相似度；根据所述第一相似度和所述第二相似度，更新所述第一生成网络、所述第二生成网络、所述第一判别网络和所述第二判别网络的网络参数。

8、在一个实施例中，所述利用根据所述第三特征、所述第四特征和所述相似度函数，确定所述第二待识别图像和所述样本图像之间的第二相似度，包括：对所述第三特征进行谱归一化处理得到第三结果，对所述第四特征进行谱归一化处理得到第四结果；根据所述第三结果、所述第四结果以及所述相似度函数，确定所述第二相似度。

9、在一个实施例中，所述方法包括：根据所述第二待识别图像中像素的像素值确定所述第二待识别图像的第三参考因子，根据所述样本图像中像素的像素值确定所述样本图像的第四参考因子；所述第三参考因子和所述第四参考因子用于表示至少一种同一维度的图像信息；所述根据所述第三特征、所述第四特征和所述相似度函数，确定所述第二待识别图像与所述样本图像的第二相似度，包括：根据所述第三参考因子、所述第四参考因子、所述第三特征、所述第四特征和所述相似度函数，确定所述第二相似度。

10、在一个实施例中，所述第三参考因子和所述第四参考因子包括以下至少之一：亮度、对比度、图像结构和/或信噪比。

11、在一个实施例中，所述利用第二生成网络，根据所述第一待识别图像生成第二待识别图像，包括：通过空间注意力机制生成所述第二待识别图像。

12、本公开实施例的第二方面，提供一种图像的生成方法，包括：配置采集参数；所述采集参数至少包括：图像分辨率；根据所述采集参数，通过多个采集线程在目标应用程序中采集所述样本图像；所述样本图像具有深度信息；对所述样本图像进行优化，所述优化至少包括：畸变矫正；利用权利要求1至10中任一项训练得到的图像生成模型，基于优化后的所述样本图像生成目标图像。

13、本公开实施例的第三方面，提供一种图像生成模型的训练装置，包括：生成模块，用于利用第一生成网络根据样本图像生成第一待识别图像；识别模块，用于利用第一判别网络识别所述第一待识别图像输出第一特征，并识别参考图像输出第二特征；相似度确定模块，用于根据所述第一特征、所述第二特征和相似度函数，确定所述第一待识别图像与所述参考图像之间的第一相似度；更新模块，用于根据所述第一相似度，更新所述第一生成网络和所述第一判别网络的网络参数。

14、本公开实施例的第四方面，提供一种图像的生成装置，包括：配置模块，用于配置采集参数；所述采集参数至少包括：图像分辨率；采集模块，用于根据所述采集参数，通过多个采集线程在目标应用程序中采集所述样本图像；所述样本图像具有深度信息；优化模块，用于对所述样本图像进行优化，所述优化至少包括：畸变矫正；生成模块，用于利用上述任一实施例训练得到的图像生成模型，基于优化后的所述样本图像生成目标图像。

15、本公开实施例的第五方面，提供一种电子设备，包括：

16、处理器和用于存储能够在所述处理器上运行的可执行指令的存储器，其中：处理器用于运行所述可执行指令时，所述可执行指令执行上述任一实施例所述的方法。

17、本公开实施例的第六方面，提供一种非临时性计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述任一实施例所述的方法。

18、本公开的实施例提供的技术方案可以包括以下有益效果：

19、本公开实施例利用第一生成网络根据样本图像生成第一待识别图像，然后利用第一判别网络识别第一待识别图像输出第一特征，并识别参考图像输出第二特征，再根据第一特征、第二特征和相似度函数确定第一待识别图像与参考图像之间的第一相似度，进而根据第一相似度更新第一生成网络和第一判别网络的网络参数。

20、通过第一判别网络分别识别第一待识别图像输出第一特征和参考图像输出第二特征，第一特征可以表示第一待识别图像的特征，第二特征可以表示参考图像的特征，通过第一特征和第二特征的比较，可以更精确的确定第一待识别图像和参考图像的第一相似度，提高了第一相似度的精确度，从而根据第一相似度可以更好的更新第一生成网络和第一判别网络的网络参数，从而提高第一生成网络和第一判别网络的更新效率。

21、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。