模型训练方法、装置和存储介质与流程
本申请是于2018年01月26日提交中国专利局，申请号为201810078544.8，发明名称为“图像处理方法、装置、存储介质和计算机设备”的分案申请，其全部内容通过引用结合在本申请中。
本发明涉及计算机技术领域，特别是涉及一种模型训练方法、装置和存储介质。
背景技术：
随着计算机技术的发展和图像处理技术的进步，基于图像的处理方式变得越来越多样。目前常用的图像处理技术如图像的特征转化处理，比如图像颜色特征转化、图像光影特征转化或者图像风格特征转化等。
然而，传统的图像处理过程中，主要是通过基于纹理合成的方式，将目标特征的图像纹理扩散到待处理图像的图像区域，来实现图像特征转化处理。但在采用该方式处理时容易出现误匹配的情况，从而导致得到的图像产生失真。
技术实现要素：
基于此，有必要针对目前处理得到的图像失真的问题，提供一种模型训练方法、装置、存储介质和计算机设备。
一种模型训练方法，包括：
获取属于第一图像类别的第一样本和属于第二图像类别的第二样本；
将所述第一样本依次经过第一阶段图像转化模型和第一阶段图像逆向转化模型，得到第一样本单阶段恢复图像；
将所述第二样本依次经过所述第一阶段图像逆向转化模型和所述第一阶段图像转化模型，得到第二样本单阶段恢复图像；
按照所述第一样本与所述第一样本单阶段恢复图像的差异，及所述第二样本与所述第二样本单阶段恢复图像的差异，调整所述第一阶段图像转化模型和所述第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
一种模型训练装置，包括：
第一阶段模型训练模块，用于获取属于第一图像类别的第一样本和属于第二图像类别的第二样本；将所述第一样本依次经过所述第一阶段图像转化模型和第一阶段图像逆向转化模型，得到第一样本单阶段恢复图像；将所述第二样本依次经过所述第一阶段图像逆向转化模型和所述第一阶段图像转化模型，得到第二样本单阶段恢复图像；按照所述第一样本与所述第一样本单阶段恢复图像的差异，及所述第二样本与所述第二样本单阶段恢复图像的差异，调整所述第一阶段图像转化模型和所述第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
获取属于第一图像类别的第一样本和属于第二图像类别的第二样本；
将所述第一样本依次经过第一阶段图像转化模型和第一阶段图像逆向转化模型，得到第一样本单阶段恢复图像；
将所述第二样本依次经过所述第一阶段图像逆向转化模型和所述第一阶段图像转化模型，得到第二样本单阶段恢复图像；
按照所述第一样本与所述第一样本单阶段恢复图像的差异，及所述第二样本与所述第二样本单阶段恢复图像的差异，调整所述第一阶段图像转化模型和所述第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
一种计算机设备，包括存储器和处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取属于第一图像类别的第一样本和属于第二图像类别的第二样本；
将所述第一样本依次经过第一阶段图像转化模型和第一阶段图像逆向转化模型，得到第一样本单阶段恢复图像；
将所述第二样本依次经过所述第一阶段图像逆向转化模型和所述第一阶段图像转化模型，得到第二样本单阶段恢复图像；
按照所述第一样本与所述第一样本单阶段恢复图像的差异，及所述第二样本与所述第二样本单阶段恢复图像的差异，调整所述第一阶段图像转化模型和所述第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
上述模型训练方法、装置、存储介质和计算机设备，利用了循环一致性约束非监督地训练机器学习模型，从而实现训练得到任意两种图像类别的图像之间转化的机器学习模型，不再受限于传统监督地训练机器学习模型时对样本标签的依赖，扩展了图像处理应用场景。
附图说明
图1为一个实施例中图像处理方法的流程示意图；
图2为一个实施例中第一阶段图像转化模型的模型示意图；
图3为一个实施例中图像处理过程的逻辑示意图；
图4为一个实施例中训练第一阶段图像转化模型的逻辑示意图；
图5为一个实施例中训练第二阶段图像转化模型的逻辑示意图；
图6为一个实施例中图像转化前后的图像示意图；
图7为一个实施例中图像处理装置的模块结构图；
图8为另一个实施例中图像处理装置的模块结构图；
图9为一个实施例中计算机设备的内部结构图；
图10为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为一个实施例中图像处理方法的流程示意图。本实施例主要以该方法应用于计算机设备来举例说明。参照图1，该图像处理方法具体包括如下步骤：
s102，获取属于第一图像类别的待处理图像。
其中，图像类别是图像所反映的图像特征所属的类别。图像特征具体可以是颜色特征、风格特征或者内容特征等。相应地，根据颜色特征分类得到的图像类别比如黑白图像类别或者彩色图像类别等；根据风格特征分类得到的图像类别比如素描图像类别或者油画图像类别等；根据内容特征分类得到的图像类别比如苹果图像类别或者橘子图像类别等。
具体地，待处理图像是待进行图像类别转化的图像。其中，计算机设备可以是用户终端，用户终端可直接获取用户上传的属于某一图像类别的待处理图像，也可接受其他用户终端传递的属于某一图像类别的待处理图像。计算机设备也可以是服务器，服务器可接收用户终端上传的属于某一图像类别的待处理图像。
s104，将待处理图像输入第一阶段图像转化模型，得到第一中间图像。
其中，图像转化是指将一种图像类别的图像转化为另一种图像类别的图像。图像转化模型是经过训练后具有图像转化能力的机器学习模型。机器学习英文全称为machinelearning，简称ml。该机器学习模型可采用神经网络模型，支持向量机(supportvectormachine，svm)或者逻辑回归模型等。
第一阶段图像转化模型用于将第一图像类别的图像初步转化为第二图像类别的图像。通过第一阶段图像转化模型转化得到的图像允许与意图转化为的第二图像类别的图像存在一定程度上的误差。可以理解，这里不对第一阶段图像转化模型的图像细节特征转化能力作限定，在图像整体特征上完成转化即可。
具体地，计算机设备可事先根据属于第一图像类别的第一样本和属于第二图像类别的第二样本训练得到第一阶段图像转化模型。在本实施例中，第一阶段图像转化模型具体地可采用卷积神经网络模型。该卷积神经网络模型的结构具体可以是编码器-解码器结构。编码器可由多层卷积层构成，解码器则可由多层反卷积层构成。其中，编码器部分将输入图像转化为分辨率低但通道数目更多的特征图，该特征图可以看作是对原图像的一种编码。解码器部分则将特征图解码为第二图像类别的图像。
举例说明，图2示出了一个实施例中第一阶段图像转化模型的模型示意图。参考图2，该第一阶段图像转化模型为编码器-解码器结构。编码器结构210包括三层卷积层211，解码器结构220包括三层反卷积层221。
在一个实施例中，在训练第一阶段图像转化模型时，当属于第一图像类别的第一样本和属于第二图像类别的第二样本一一对应时，则将与第一样本对应的第二样本作为该第一样本的训练标签，从而根据第一样本和相应的训练标签有监督地训练得到第一阶段图像转化模型。
在一个实施例中，在训练第一阶段图像转化模型时，当不存在与第一样本和对应的第二样本，也不存在与第二样本对应的第一样本时，则构建将第一图像类别的图像转换为第二图像类别的图像的第一阶段图像转化模型，和将第二图像类别的图像转换为第一图像类别的图像的第一阶段图像逆向转化模型。将第一样本依次经过第一阶段图像转化模型和第一阶段图像逆向转化模型形成闭环，将第二样本依次经过第一阶段图像逆向转化模型和第一阶段图像转化模型形成闭环，从而利用循环一致性约束无监督地训练得到第一阶段图像转化模型。
可以理解，这里的第一样本和第二样本对应是指第一样本与第二样本除用以区分类别的图像特征外，其他图像特征均相同。举例说明，比如第一图像类别为黑白图像类别，第二图像类别为彩色图像类别，对于苹果图像，第一样本与第二样本中的苹果仅颜色不同，大小形状或者位置均相同。
图3示出了一个实施例中图像处理过程的逻辑示意图。参考图3，计算机设备可将属于第一图像类别a的待处理图像x输入第一阶段图像转化模型g1，得到第一阶段图像转化模型g1输出的第一中间图像y1。
在本实施例中，图像转换可以是非图像内容的转化，比如图像风格转化、图像颜色转化或者图像景深转化等。图像转换也可以是图像内容的转化，比如修改图像中的物体等。具体地，将苹果图像类别的苹果图像修改为橘子图像类别的橘子图像。
s106，通过第二阶段图像转化模型将第一中间图像转化为第二中间图像。
其中，第二阶段图像转化模型用于将第一阶段图像转化模型输出的图像进一步转化为第二图像类别的图像。可以理解，这里要求第二阶段图像转化模型在图像细节特征上完成转化。
具体地，计算机设备可事先根据第一阶段图像转化模型输出的第一中间图像和属于第二图像类别的第二样本训练得到第二阶段图像转化模型。在本实施例中，第二阶段图像转化模型具体地可采用卷积神经网络模型。卷积神经网络模型的结构具体可以是编码器-解码器结构。编码器可由多层卷积层构成，解码器可由多层反卷积层构成。
在一个实施例中，在训练第二阶段图像转化模型时，当属于第一图像类别的第一样本和属于第二图像类别的第二样本一一对应时，则将与第一样本对应的第二样本作为该第一样本所对应的第一中间图像的训练标签，从而根据第一中间图像和相应的训练标签有监督地训练得到第二阶段图像转化模型。
在一个实施例中，在训练第一阶段图像转化模型时，当不存在与第一样本和对应的第二样本，也不存在与第二样本对应的第一样本时，则构建将第一中间图像转换为第二图像类别的图像的第二阶段图像转化模型，和将第二图像类别的图像转换为第一中间图像的第二阶段图像逆向转化模型。将第一样本依次经过第一阶段图像转化模型、第二阶段图像转化模型、第一阶段图像逆向转化模型和第二阶段图像逆向转化模型形成闭环，将第二样本依次经过第一阶段图像逆向转化模型、第二阶段图像逆向转化模型、第一阶段图像转化模型和第二阶段图像转化模型形成闭环，从而利用循环一致性约束无监督地训练得到第二阶段图像转化模型。
继续参考图3，计算机设备得到第一阶段图像转化模型g1输出的第一中间图像y1后，可继续将第一中间图像y1输入第二阶段图像转化模型g2，得到第二阶段图像转化模型g2输出的第二中间图像y2。
s108，确定第二中间图像对应的第二权重矩阵。
其中，权重是针对某一对象而言相对的概念。某一对象的权重反映的是该对象在整体评价中的相对重要程度。由于计算机设备在处理图像时，通常是以矩阵形式的数字图像数据进行处理，故图像的权重则也是矩阵的形式。
在一个实施例中，计算机设备可预先设置权重映射函数，从而通过该权重映射函数映射得到第二中间图像对应的权重矩阵。具体地，计算机设备可预先设置的权重映射函数可以有多种。计算机设备可将待处理图像和第二中间图像作为权重映射函数的自变量，得到该作为自变量的中间图像所对应的权重矩阵。
s110，确定第一中间图像对应的第一权重矩阵。
具体地，计算机设备可将待处理图像和第一中间图像作为权重映射函数的自变量，得到该作为自变量的中间图像所对应的权重矩阵。
在一个实施例中，计算机设备也可将待处理图像、第一中间图像和第二中间图像作为权重映射函数的自变量，得到其中一个中间图像所对应的权重矩阵，进而根据该权重矩阵得到另一个中间图像所对应的权重矩阵。计算机设备还可将第一中间图像与第二中间图像作为权重映射函数的自变量，得到其中一个中间图像所对应的权重矩阵，进而根据该权重矩阵得到另一个中间图像所对应的权重矩阵。这里的其中一个中间图像可以是第一中间图像，也可以是第二中间图像。可以理解，这里对s108与s110的执行先后顺序不作限定。s108可在s110之前执行，也可在s110之后执行，还可与s110同步执行。s108与s110的执行先后顺序依赖于计算机设备事先设置的权重映射函数。
在一个实施例中，s108包括：将待处理图像、第一中间图像与第二中间图像共同输入第一权重预测模型，得到与第二中间图像对应的第二权重矩阵。s110包括：根据第二权重矩阵，得到与第一中间图像对应的第一权重矩阵；第一权重矩阵与第二权重矩阵之和为预设矩阵。
其中，权重预测模型是经过训练后具有权重预测能力的机器学习模型。在本实施例中，权重预测模型具体可采用浅层卷积神经网络模型。比如，该浅层卷积神经网络模型具体可以由三层卷积层构成。前两层卷积层的结构均为convolution(卷积)-instancenorm(归一化)-relu(激活函数)结构，最后一层卷积层的结构则为convolution(卷积)-sigmoid(激活函数)结构。
第一权重预测模型是将第一图像类别的图像转化为第二图像类别的图像时进行权重预测的机器学习模型。下文中提到的第二权重预测模型则是将第二图像类别的图像转化为第一图像类别的图像时进行权重预测的机器学习模型。
第一权重预测模型的输入是待处理图像、第一中间图像与第二中间图像，这三帧图像的图像尺寸相同。第一权重预测模型的输出是与输入图像大小一致的权重矩阵，权重矩阵的每个元素代表第二中间图像在相应像素位置的像素值的权重。第一权重矩阵与第二权重矩阵是大小和维数均相同的矩阵，而且第一权重矩阵与第二权重矩阵之和为预设矩阵，预设矩阵具体可以是大小和维数均与第二权重矩阵相同的全一矩阵。全一矩阵的各矩阵元素均为1。
具体地，计算机设备可将待处理图像、第一中间图像与第二中间图像共同输入第一权重预测模型，得到第一权重预测模型输出的与第二中间图像对应的第二权重矩阵。这里，第一中间图像对应的第一权重矩阵与第二中间图像对应的第二权重矩阵之和为预设矩阵。计算机设备可通过该预设矩阵减去第二中间图像对应的第二权重矩阵，得到与第一中间图像对应的第一权重矩阵。
再参考图3，计算机设备将第一阶段图像转化模型g1输出的第一中间图像y1与第二阶段图像转化模型g2输出的第二中间图像y2共同输入第一权重预测模型gf，得到第一权重预测模型gf输出的与第二中间图像y2对应的权重矩阵αx，进而得到第一中间图像y1对应的权重矩阵(1-αx)。
在本实施例中，利用机器学习模型强大的学习和表示能力进行权重预测学习，所训练得到的机器学习模型对权重进行预测，较传统方法对权重进程预测的效果更好。
s112，将第一中间图像、第二中间图像按照对应的第一权重矩阵、第二权重矩阵进行融合，得到与待处理图像对应、且属于第二图像类别的目标图像。
具体地，计算机设备可将第一中间图像和第二中间图像按照各自对应的权重矩阵加权求和得到与待处理图像对应、且属于第二图像类别的目标图像。
在一个实施例中通过自适应融合层将第一中间图像和第二中间图像按照各自对应的权重矩阵融合，得到目标与待处理图像对应、且属于第二图像类别的目标图像。
在一个实施例中，s112包括：将第一中间图像的各像素值与第一权重矩阵的各矩阵元素按位相乘，得到属于第二图像类别的第一目标图像；将第二中间图像的各像素值与第二权重矩阵的各矩阵元素按位相乘，得到属于第二图像类别第二目标图像；根据第一目标图像与第二目标图像，得到与待处理图像对应、且属于第二图像类别的目标图像。
其中，各中间图像的像素点所形成的像素点矩阵的大小与该中间图像所对应的权重矩阵的大小相同。那么，像素点矩阵中各像素点元素均在权重矩阵存在一一对应的权重元素，也就是说，权重矩阵的每个权重元素代表相应中间图像中相应像素点元素的像素值的权重。
具体地，计算机设备将第一中间图像的各像素值与第一权重矩阵的各矩阵元素按位相乘，得到属于第二图像类别的第一目标图像，然后将第二中间图像的各像素值与第二权重矩阵的各矩阵元素按位相乘，得到属于第二图像类别第二目标图像，再将第一目标图像与第二目标图像的各像素值按位相加，得到与待处理图像对应、且属于第二图像类别的目标图像。
参考图3，计算机设备可根据第一中间图像y1、权重矩阵(1-αx)、第二中间图像y2和权重矩阵αx计算得到融合后的目标图像
在本实施例中，最终得到的目标图像融合了多个阶段模型的输出，能够极大程度上克服图像失真的问题，提高图像转化效果。
上述图像处理方法，在意图将属于第一图像类别的待处理图像转化为属于第二图像类别的图像时，自动将待处理图像依次经过第一阶段图像转化模型和第二阶段图像转化模型，并在分别确定两个阶段的模型的输出各自所对应的权重矩阵后，即根据相应的权重矩阵自适应融合两个模型的输出得到目标图像。这样待处理图像经过了多个阶段的模型处理，而且最终得到的目标图像融合了多个阶段模型的输出，能够极大程度上克服图像失真的问题，提高由待处理图像转化得到的目标图像的转化效果。
在一个实施例中，s104包括：对待处理图像进行下采样，得到图像尺寸缩小后的压缩图像；将压缩图像输入第一阶段图像转化模型，输出图像尺寸与压缩图像的图像尺寸相同的第一中间图像。s106包括：对第一中间图像进行上采样，得到图像尺寸与待处理图像的图像尺寸相同的放大图像；将放大图像输入第二阶段图像转化模型，输出图像尺寸与放大图像的图像尺寸相同的第二中间图像。
其中，下采样或称为降采样，是进行图像压缩的一种处理方式。经过下采样操作后的图像的图像尺寸会缩小，缩小的程度与下采样的采样周期相关。上采样或称为图像插值，是将图像放大的一种处理方式。经过上采样操作后的图像的图像尺寸会放大，放大的程度与上采样的采样周期相关。
具体地，计算机设备可对待处理图像进行下采样操作。下采样的方式具体可以是均值采样或者极值采样。比如，下采样的方式为对2*2像素区域进行均值，那么其中一个2*2像素区域对应的像素值矩阵为[1,2,3,4]，那么下采样得到的像素值为：(1+2+3+4)/4＝2.5。下采样操作后得到的图像的分辨率减小为待处理图像分辨率的1/4。
计算机设备进而将下采样后图像尺寸缩小的压缩图像输入第一阶段图像转化模型，得到第一阶段图像转化模型输出的图像尺寸与压缩图像的图像尺寸相同的第一中间图像。由于此时第一中间图像的图像尺寸小于待处理图像的尺寸，故计算机设备需在将第一中间图像输入第二阶段图像转化模型之前，对第一中间图像执行与在前的下采样操作相应的上采样操作，使得上采样操作后得到的特征图的分辨率增大为上采样操作前的特征图的分辨率的4倍，以保证第二阶段图像转化模型输出的第二中间图像与待处理图像的分辨率一致。
在本实施例中，在第一阶段的图像转化时，将图像压缩后进行转化，使得模型处理的图像数据量小，这样在图像转换精度要求不高时，既可以保证图像转化效果，又能提高图像转化时间。
在一个实施例中，该图像处理方法还包括训练模型的步骤。其中，训练第一阶段图像转化模型的步骤具体如下：获取属于第一图像类别的第一样本和属于第二图像类别的第二样本；将第一样本依次经过第一阶段图像转化模型和第一阶段图像逆向转化模型，得到第一样本单阶段恢复图像；将第二样本依次经过第一阶段图像逆向转化模型和第一阶段图像转化模型，得到第二样本单阶段恢复图像；按照第一样本与第一样本单阶段恢复图像的差异，及第二样本与第二样本单阶段恢复图像的差异，调整第一阶段图像转化模型和第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
其中，第一样本是属于第一图像类别的图像，用于训练第一阶段图像转化模型和第一阶段图像逆向转化模型。第二样本是属于第二图像类别的图像，也用于训练第一阶段图像转化模型和第一阶段图像逆向转化模型。第一阶段图像转化模型是将第一图像类别的图像转化为第二图像类别的图像的机器学习模型，第一阶段图像逆向转化模型是将第二图像类别的图像转化为第一图像类别的图像的机器学习模型。
第一样本单阶段恢复图像是属于第一图像类别的图像，是第一样本经过第一阶段图像转化模型转化为第二图像类别的图像后，又经过第一阶段图像逆向转化模型恢复得到的属于第一图像类别的图像。第二样本单阶段恢复图像是属于第二图像类别的图像，是第二样本经过第一阶段图像逆向转化模型转化为第一图像类别的图像后，又经过第一阶段图像转化模型恢复得到的属于第二图像类别的图像。
可以理解，本实施例所应用的场景是不存在与第一样本和对应的第二样本，也不存在与第二样本对应的第一样本的场景，也就是实际并没有可以作为第一样本的训练标签的属于第二图像类别的图像，及没有可以作为第二样本的训练标签的属于第一图像类别的图像的模型训练场景。所以在本实施例中利用循环一致性，将第一样本作为其经过图像转化与图像逆向转化后恢复的图像的优化目标，将第二样本作为其经过图像逆向转化与图像转化后恢复的图像的优化目标。
具体地，计算机设备可获取属于第一图像类别的第一样本，将第一样本依次经过第一阶段图像转化模型和第一阶段图像逆向转化模型，得到第一样本单阶段恢复图像。此时，依据循环一致性约束，第一样本单阶段恢复图像即为意图恢复至第一样本的图像，那么可以理解的是，第一阶段图像转化模型和第一阶段图像逆向转化模型的训练目的即为最小化第一样本与第一样本单阶段恢复图像之间的差异的过程。
进一步地，为了防止多个第一样本在经过第一阶段图像转化模型的转化时均转化为相同的图像，计算机设备可获取属于第二图像类别的第二样本，将第二样本依次经过第一阶段图像逆向转化模型和第一阶段图像转化模型，得到第二样本单阶段恢复图像。此时第二样本单阶段恢复图像即为意图恢复至第二样本的图像，那么可以理解的是，第一阶段图像转化模型和第一阶段图像逆向转化模型的训练目的即为最小化第一样本与第一样本单阶段恢复图像之间的差异，以及第二样本与第二样本单阶段恢复图像之间的差异的过程。
其中，第一样本与第一样本单阶段恢复图像之间的差异，以及第二样本与第二样本单阶段恢复图像之间的差异具体可以是图像像素点差值的1范数或者2范数等。
举例说明，图4示出了一个实施例中训练第一阶段图像转化模型的逻辑示意图。参考图4，计算机设备可获取属于第一图像类别a的第一样本x′，将x′依次输入第一阶段图像转化模型g1和第一阶段图像逆向转化模型f1后得到第一样本单阶段恢复图像f1(g1(x′))。此时f1(g1(x′))即为意图恢复至x′的图像，那么可以理解的是模型的训练目的即为最小化f1(g1(x′))与x′的差异。计算机设备可再获取属于第二图像类别b的第二样本y′，将y′依次输入第一阶段图像逆向转化模型f1和第一阶段图像转化模型g1后得到第二样本单阶段恢复图像g1(f1(y′))。此时g1(f1(y′))即为意图恢复至y′的图像，那么可以理解的是模型的训练目的即为最小化g1(f1(y′))与y′的差异。
那么第一阶段的模型训练中，循环一致性约束表达为：
lcyc1＝||f1(g1(x′))-x′||1+||g1(f1(y′))-y′||1(1)
其中，lcyc1为基于循环一致性的损失函数。模型训练的过程可以包括调整第一阶段图像转化模型与第一阶段图像逆向转化模型的模型参数以最小化lcyc1的过程。
在本实施例中，利用了循环一致性约束非监督地训练机器学习模型，从而实现训练得到任意两种图像类别的图像之间转化的机器学习模型，不再受限于传统监督地训练机器学习模型时对样本标签的依赖，扩展了图像处理应用场景。
在一个实施例中，训练结束条件可以是对模型的训练次数达到预设训练次数。计算机设备可在对模型进行训练时，对训练次数进行计数，当计数达到预设训练次数时，判定模型满足训练结束条件，并结束对模型的训练。
在一个实施例中，训练结束条件也可以是调整后的鉴别模型的鉴别性能指标达到预设指标，调整后的图像转化模型的图像转化性能指标达到预设指标。
在一个实施例中，该图像处理方法还包括优化第一阶段图像转化模型的步骤。其中，优化第一阶段图像转化模型的步骤具体如下：获取第一样本经过第一阶段图像转化模型后，由第一阶段图像转化模型输出的第一样本单阶段转化图像；获取第二样本经过第一阶段图像逆向转化模型后，由第一阶段图像逆向转化模型输出的第二样本单阶段转化图像；将第一样本和第二样本单阶段转化图像分别输入第一阶段图像逆向转化鉴别模型，分别得到第一样本的鉴别置信度和第二样本单阶段转化图像的鉴别置信度；将第二样本和第一样本单阶段转化图像分别输入第一阶段图像转化鉴别模型，分别得到第二样本的鉴别置信度和第一样本单阶段转化图像的鉴别置信度；按照第一样本与第一样本单阶段恢复图像的差异，及第二样本与第二样本单阶段恢复图像的差异，调整第一阶段图像转化模型和第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练，包括：按照最大化第一样本的鉴别置信度和第二样本的鉴别置信度的方向、最小化第二样本单阶段转化图像的鉴别置信度、第一样本单阶段转化图像的鉴别置信度、第一样本与第一样本单阶段恢复图像的差异，及第二样本与第二样本单阶段恢复图像的差异的方向，调整第一阶段图像转化鉴别模型、第一阶段图像逆向转化鉴别模型、第一阶段图像转化模型和第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
其中，鉴别模型是经过训练后具有鉴别能力的机器学习模型。在本实施例中，第一阶段图像转化鉴别模型，用于鉴别输入的图像是否为原始属于第二图像类别的图像，并输出鉴别结果的鉴别置信度，即第一阶段图像转化鉴别置信度。第一阶段图像逆向转化鉴别模型，用于鉴别输入的图像是否为原始属于第一图像类别的图像，并输出鉴别结果的鉴别置信度，即第一阶段图像逆向转化鉴别置信度。
第一阶段图像转化鉴别置信度与输入图像一一对应，是表示输入图像是原始属于第二图像类别的图像的可信程度。鉴别置信度越高，表示输入图像是原始属于第二图像类别的图像的可能性越高。第一阶段图像逆向转化鉴别置信度与输入图像一一对应，是表示输入图像是原始属于第一图像类别的图像的可信程度。鉴别置信度越高，表示输入图像是原始属于第一图像类别的图像的可能性越高。
可以理解，本实施例中采用对抗学习的方式，第一阶段图像转化模型希望学习如何把输入的第一图像类别的图像转化为第二图像类别的图像，并使得生成的图像能够欺骗第一阶段图像转化鉴别模型，使得第一阶段图像转化鉴别模型以为输入的是原始属于第二图像类别的图像。第一阶段图像逆向转化模型则希望学习如何把输入的第二图像类别的图像转化为第一图像类别的图像，并使得生成的图像能够欺骗第一阶段图像逆向转化鉴别模型，使得第一阶段图像逆向转化鉴别模型以为输入的是原始属于第二图像类别的图像。
继续参考图4，计算机设备可将x′与f1(y′)输入第一阶段图像逆向转化鉴别模型dx1，得到x′的鉴别置信度dx1(x′)，f1(y′)的鉴别置信度dx1(f1(y′))，将y′与g1(x′)输入第一阶段图像逆向转化鉴别模型dy1，得到y′的鉴别置信度dy1(y′)，g1(x′)的鉴别置信度dy1(g1(x′))。
那么第一阶段的模型训练中，对抗学习约束表达为：
ladv1＝log(dy1(y′))+log(1-dy1(g1(x′)))+log(dx1(x′))+log(1-dx1(f1(y′)))(2)
其中，ladv1为基于对抗学习约束的损失函数。模型训练的过程可以包括调整第一阶段图像转化鉴别模型与第一阶段图像逆向转化鉴别模型的模型参数以最大化ladv1的过程。最大化ladv1也就是最大化dx1(x′)与dy1(y′)，最小化dx1(f1(y′))与dy1(g1(x′))的过程。
那么在训练过程中，对抗地优化图像转化模型和鉴别模型表达为：
其中，λ1为循环一致性约束权重。最大化ladv1与最小化lcyc1的过程可以轮换进行。即在一个样本训练时先最大化ladv1再最小化lcyc1，在下一个样本训练时先最小化lcyc1再最大化ladv1。
在本实施例中，包括图像转化模型和鉴别模型两个模型的训练。其中，训练图像转化模型的过程在于学习如何将一种类别的图像转化为另一种类别的图像，训练鉴别模型的过程在于学习判断输入的图像是原始图像还是通过图像转化模型生成的图像。这样图像转化模型学习生成与原始图像更相似的图像，以干扰鉴别模型的判断，鉴别模型学习更加精准地进行原始图像和生成图像的判断，两个模型相互对抗，相互促进，使得训练得到的模型性能更优，从而在使用训练得到的图像转化模型进行图像转化时，能够极大程度上克服图像失真的问题，提高图像转化效果。
在一个实施例中，本领域技术人员可以理解，有监督地训练第一阶段图像转化模型和第一阶段图像逆向转化模型时，也可结合第一阶段图像转化鉴别模型和第一阶段图像逆向转化鉴别模型进行对抗式训练。
在一个实施例中，训练第二阶段图像转化模型的步骤具体如下：将第一样本依次经过第一阶段图像转化模型和第二阶段图像转化模型，得到第一阶段图像转化模型输出的第一样本一阶转化图像，和第二阶段图像转化模型输出的第一样本二阶转化图像；根据第一样本一阶转化图像和第一样本二阶转化图像，得到与第一样本对应、且属于第二图像类别的第一样本转化图像；将第一样本转化图像依次经过第一阶段图像逆向转化模型和第二阶段图像逆向转化模型，得到第一阶段图像逆向转化模型输出的第一样本一阶恢复图像，和第二阶段图像逆向转化模型输出的第一样本二阶恢复图像；根据第一样本一阶恢复图像和第一样本二阶恢复图像，得到与第一样本对应、且属于第一图像类别的第一样本恢复图像；将第二样本依次经过第一阶段图像逆向转化模型和第二阶段图像逆向转化模型，得到第一阶段图像逆向转化模型输出的第二样本一阶转化图像，和第二阶段图像逆向转化模型输出的第二样本二阶转化图像；根据第二样本一阶转化图像和第二样本二阶转化图像，得到与第二样本对应、且属于第一图像类别的第二样本转化图像；将第二样本转化图像依次经过第一阶段图像转化模型和第二阶段图像转化模型，得到第一阶段图像转化模型输出的第二样本一阶恢复图像，和第二阶段图像转化模型输出的第二样本二阶恢复图像；根据第二样本一阶恢复图像和第二样本二阶恢复图像，得到与第二样本对应、且属于第二图像类别的第二样本恢复图像；按照第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异，调整第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
可以理解，在训练第二阶段图像转化模型时，第一阶段图像转化模型已经训练完成，可以直接使用。
举例说明，图5示出了一个实施例中训练第二阶段图像转化模型的逻辑示意图。参考图5，计算机设备可获取属于第一图像类别a的第一样本x′，将x′依次输入第一阶段图像转化模型g1得到第一样本一阶转化图像y1＝g1(x′)，然后将y1输入第二阶段图像转化模型g2得到第一样本二阶转化图像y2＝g2(y1)，再根据y1和y2即可得到与第一样本对应、且属于第二图像类别的第一样本转化图像
计算机设备可再获取属于第二图像类别b的第二样本y′，将y′依次输入第一阶段图像逆向转化模型f1得到第二样本一阶转化图像x1＝f1(y′)，然后将x1输入第二阶段图像逆向转化模型f2得到第二样本二阶转化图像x2＝f2(x1)，再根据x1和x2即可得到与第二样本对应、且属于第一图像类别的第二样本转化图像
那么第二阶段的模型训练中，循环一致性约束表达为：
其中，lcyc2为基于循环一致性的损失函数。模型训练的过程可以包括调整第二阶段图像转化模型与第二阶段图像逆向转化模型的模型参数以最小化lcyc2的过程。
在本实施例中，利用了循环一致性约束非监督地训练机器学习模型，从而实现训练得到任意两种图像类别的图像之间转化的机器学习模型，不再受限于传统监督地训练机器学习模型时对样本标签的依赖，扩展了图像处理应用场景。
在一个实施例中，该图像处理方法还包括优化第二阶段图像转化模型的步骤。其中，优化第二阶段图像转化模型的步骤具体如下：将第一样本和第二样本转化图像分别输入第二阶段图像逆向转化鉴别模型，分别得到第一样本的鉴别置信度和第二样本转化图像的鉴别置信度；将第二样本和第一样本转化图像分别输入第二阶段图像转化鉴别模型，分别得到第二样本的鉴别置信度和第一样本转化图像的鉴别置信度。按照第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异，调整第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练，包括：按照最大化第一样本的鉴别置信度和第二样本的鉴别置信度的方向、最小化第二样本转化图像的鉴别置信度、第一样本转化图像的鉴别置信度、第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异的方向，调整第二阶段图像转化鉴别模型、第二阶段图像逆向转化鉴别模型、第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
继续参考图5，计算机设备可将x′与
那么第二阶段的模型训练中，对抗学习约束表达为：
其中，ladv2为基于对抗学习约束的损失函数。模型训练的过程可以包括调整第二阶段图像转化鉴别模型与第二阶段图像逆向转化鉴别模型的模型参数以最大化ladv2的过程。最大化ladv2也就是最大化dx2(x′)与dy2(y′)，最小化
那么在第二阶段的训练过程中，对抗地优化图像转化模型和鉴别模型表达为：
其中，λ2为循环一致性约束权重。最大化ladv2与最小化lcyc2的过程可以轮换进行。即在一个样本训练时先最大化ladv2再最小化lcyc2，在下一个样本训练时先最小化lcyc2再最大化ladv2。
在本实施例中，包括图像转化模型和鉴别模型两个模型的训练。其中，训练图像转化模型的过程在于学习如何将一种类别的图像转化为另一种类别的图像，训练鉴别模型的过程在于学习判断输入的图像是原始图像还是通过图像转化模型生成的图像。这样图像转化模型学习生成与原始图像更相似的图像，以干扰鉴别模型的判断，鉴别模型学习更加精准地进行原始图像和生成图像的判断，两个模型相互对抗，相互促进，使得训练得到的模型性能更优，从而在使用训练得到的图像转化模型进行图像转化时，能够极大程度上克服图像失真的问题，提高图像转化效果。
在一个实施例中，本领域技术人员可以理解，有监督地训练第二阶段图像转化模型和第二阶段图像逆向转化模型时，也可结合第二阶段图像转化鉴别模型和第二阶段图像逆向转化鉴别模型进行对抗式训练。
在一个实施例中，根据第一样本一阶转化图像和第一样本二阶转化图像，得到与第一样本对应、且属于第二图像类别的第一样本转化图像，包括：将第一样本、第一样本一阶转化图像和第一样本二阶转化图像共同输入第一权重预测模型，得到与第一样本二阶转化图像对应的权重矩阵；根据权重矩阵，得到与第一样本一阶转化图像对应的权重矩阵；将第一样本一阶转化图像和第一样本二阶转化图像按照各自对应的权重矩阵融合，得到与第一样本对应、且属于第二图像类别的第一样本转化图像。
根据第一样本一阶恢复图像和第一样本二阶恢复图像，得到与第一样本对应、且属于第一图像类别的第一样本恢复图像，包括：将第一样本转化图像、第一样本一阶恢复图像和第一样本二阶恢复图像共同输入第二权重预测模型，得到与第一样本二阶恢复图像对应的权重矩阵；根据权重矩阵，得到与第一样本一阶恢复图像对应的权重矩阵；将第一样本一阶恢复图像和第一样本二阶恢复图像按照各自对应的权重矩阵融合，得到与第一样本对应、且属于第一图像类别的第一样本恢复图像。
根据第二样本一阶转化图像和第二样本二阶转化图像，得到与第二样本对应、且属于第一图像类别的第二样本转化图像，包括：将第二样本、第二样本一阶转化图像和第二样本二阶转化图像共同输入第二权重预测模型，得到与第二样本二阶转化图像对应的权重矩阵；根据权重矩阵，得到与第二样本一阶转化图像对应的权重矩阵；将第二样本一阶转化图像和第二样本二阶转化图像按照各自对应的权重矩阵融合，得到与第二样本对应、且属于第一图像类别的第二样本转化图像。
根据第二样本一阶恢复图像和第二样本二阶恢复图像，得到与第二样本对应、且属于第二图像类别的第二样本恢复图像，包括：将第二样本转化图像、第二样本一阶恢复图像和第二样本二阶恢复图像共同输入第一权重预测模型，得到与第二样本二阶恢复图像对应的权重矩阵；根据权重矩阵，得到与第二样本一阶恢复图像对应的权重矩阵；将第二样本一阶恢复图像和第二样本二阶恢复图像按照各自对应的权重矩阵融合，得到与第二样本对应、且属于第二图像类别的第二样本恢复图像。
按照第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异，调整第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练，包括：按照第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异，调整第一权重预测模型、第二权重预测模型、第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
继续参考图5，计算机设备可将x′、y1和y2共同输入第一权重预测模型gf，得到gf输出的y2的权重矩阵αx′，继而得到y1的权重矩阵(1-αx′)，那么第一样本转化图像即为
计算机设备可将y′、x1和x2共同输入第二权重预测模型ff，得到ff输出的x2的权重矩阵αy′，继而得到x1的权重矩阵(1-αy′)，那么第二样本转化图像即为
在本实施例中，利用了循环一致性约束非监督地训练机器学习模型，从而实现训练得到任意两种图像类别的图像之间转化的机器学习模型，不再受限于传统监督地训练机器学习模型时对样本标签的依赖，扩展了图像处理应用场景。
图6示出了一个实施例中图像转化前后的图像示意图。参考图6，可以看到输入图像为第一图像类别的图像，输入图像中的马为单一颜色的马。输出图像为第二图像类别的图像，输出图像中的马则为多种颜色的马。
应该理解的是，虽然上述各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图7所示，在一个实施例中，提供了一种图像处理装置700。参照图7，该图像处理装置700包括：获取模块701、第一阶段转化模块702、第二阶段转化模块703、确定模块704和融合模块705。
获取模块701，用于获取属于第一图像类别的待处理图像。
第一阶段转化模块702，用于将待处理图像输入第一阶段图像转化模型，得到第一中间图像。
第二阶段转化模块703，用于通过第二阶段图像转化模型将第一中间图像转化为第二中间图像。
确定模块704，用于确定第二中间图像对应的第二权重矩阵；确定第一中间图像对应的第一权重矩阵。
融合模块705，用于将第一中间图像、第二中间图像按照对应的第一权重矩阵、第二权重矩阵进行融合，得到与待处理图像对应、且属于第二图像类别的目标图像。
在一个实施例中，第一阶段转化模块702还用于对待处理图像进行下采样，得到图像尺寸缩小后的压缩图像；将压缩图像输入第一阶段图像转化模型，输出图像尺寸与压缩图像的图像尺寸相同的第一中间图像。第二阶段转化模块703还用于对第一中间图像进行上采样，得到图像尺寸与待处理图像的图像尺寸相同的放大图像；将放大图像输入第二阶段图像转化模型，输出图像尺寸与放大图像的图像尺寸相同的第二中间图像。
在一个实施例中，确定模块704还用于将待处理图像、第一中间图像与第二中间图像共同输入第一权重预测模型，得到与第二中间图像对应的第二权重矩阵；根据第二权重矩阵，得到与第一中间图像对应的第一权重矩阵；第一权重矩阵与第二权重矩阵之和为预设矩阵。
在一个实施例中，融合模块705还用于将第一中间图像的各像素值与第一权重矩阵的各矩阵元素按位相乘，得到属于第二图像类别的第一目标图像；将第二中间图像的各像素值与第二权重矩阵的各矩阵元素按位相乘，得到属于第二图像类别第二目标图像；根据第一目标图像与第二目标图像，得到与待处理图像对应、且属于第二图像类别的目标图像。
在一个实施例中，图像处理装置700还包括：第一阶段模型训练模块706，用于获取属于第一图像类别的第一样本和属于第二图像类别的第二样本；将第一样本依次经过第一阶段图像转化模型和第一阶段图像逆向转化模型，得到第一样本单阶段恢复图像；将第二样本依次经过第一阶段图像逆向转化模型和第一阶段图像转化模型，得到第二样本单阶段恢复图像；按照第一样本与第一样本单阶段恢复图像的差异，及第二样本与第二样本单阶段恢复图像的差异，调整第一阶段图像转化模型和第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
在一个实施例中，第一阶段模型训练模块706还用于获取第一样本经过第一阶段图像转化模型后，由第一阶段图像转化模型输出的第一样本单阶段转化图像；获取第二样本经过第一阶段图像逆向转化模型后，由第一阶段图像逆向转化模型输出的第二样本单阶段转化图像；将第一样本和第二样本单阶段转化图像分别输入第一阶段图像逆向转化鉴别模型，分别得到第一样本的鉴别置信度和第二样本单阶段转化图像的鉴别置信度；将第二样本和第一样本单阶段转化图像分别输入第一阶段图像转化鉴别模型，分别得到第二样本的鉴别置信度和第一样本单阶段转化图像的鉴别置信度；按照最大化第一样本的鉴别置信度和第二样本的鉴别置信度的方向、最小化第二样本单阶段转化图像的鉴别置信度、第一样本单阶段转化图像的鉴别置信度、第一样本与第一样本单阶段恢复图像的差异，及第二样本与第二样本单阶段恢复图像的差异的方向，调整第一阶段图像转化鉴别模型、第一阶段图像逆向转化鉴别模型、第一阶段图像转化模型和第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
如图8所示，在一个实施例中，图像处理装置700还包括：第一阶段模型训练模块706和第二阶段模型训练模块707。
第二阶段模型训练模块707，用于将第一样本依次经过第一阶段图像转化模型和第二阶段图像转化模型，得到第一阶段图像转化模型输出的第一样本一阶转化图像，和第二阶段图像转化模型输出的第一样本二阶转化图像；根据第一样本一阶转化图像和第一样本二阶转化图像，得到与第一样本对应、且属于第二图像类别的第一样本转化图像；将第一样本转化图像依次经过第一阶段图像逆向转化模型和第二阶段图像逆向转化模型，得到第一阶段图像逆向转化模型输出的第一样本一阶恢复图像，和第二阶段图像逆向转化模型输出的第一样本二阶恢复图像；根据第一样本一阶恢复图像和第一样本二阶恢复图像，得到与第一样本对应、且属于第一图像类别的第一样本恢复图像；将第二样本依次经过第一阶段图像逆向转化模型和第二阶段图像逆向转化模型，得到第一阶段图像逆向转化模型输出的第二样本一阶转化图像，和第二阶段图像逆向转化模型输出的第二样本二阶转化图像；根据第二样本一阶转化图像和第二样本二阶转化图像，得到与第二样本对应、且属于第一图像类别的第二样本转化图像；将第二样本转化图像依次经过第一阶段图像转化模型和第二阶段图像转化模型，得到第一阶段图像转化模型输出的第二样本一阶恢复图像，和第二阶段图像转化模型输出的第二样本二阶恢复图像；根据第二样本一阶恢复图像和第二样本二阶恢复图像，得到与第二样本对应、且属于第二图像类别的第二样本恢复图像；按照第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异，调整第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
在一个实施例中，第二阶段模型训练模块707还用于将第一样本和第二样本转化图像分别输入第二阶段图像逆向转化鉴别模型，分别得到第一样本的鉴别置信度和第二样本转化图像的鉴别置信度；将第二样本和第一样本转化图像分别输入第二阶段图像转化鉴别模型，分别得到第二样本的鉴别置信度和第一样本转化图像的鉴别置信度；按照最大化第一样本的鉴别置信度和第二样本的鉴别置信度的方向、最小化第二样本转化图像的鉴别置信度、第一样本转化图像的鉴别置信度、第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异的方向，调整第二阶段图像转化鉴别模型、第二阶段图像逆向转化鉴别模型、第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
在一个实施例中，第二阶段模型训练模块707还用于将第一样本、第一样本一阶转化图像和第一样本二阶转化图像共同输入第一权重预测模型，得到与第一样本二阶转化图像对应的权重矩阵；根据权重矩阵，得到与第一样本一阶转化图像对应的权重矩阵；将第一样本一阶转化图像和第一样本二阶转化图像按照各自对应的权重矩阵融合，得到与第一样本对应、且属于第二图像类别的第一样本转化图像。将第一样本转化图像、第一样本一阶恢复图像和第一样本二阶恢复图像共同输入第二权重预测模型，得到与第一样本二阶恢复图像对应的权重矩阵；根据权重矩阵，得到与第一样本一阶恢复图像对应的权重矩阵；将第一样本一阶恢复图像和第一样本二阶恢复图像按照各自对应的权重矩阵融合，得到与第一样本对应、且属于第一图像类别的第一样本恢复图像。将第二样本、第二样本一阶转化图像和第二样本二阶转化图像共同输入第二权重预测模型，得到与第二样本二阶转化图像对应的权重矩阵；根据权重矩阵，得到与第二样本一阶转化图像对应的权重矩阵；将第二样本一阶转化图像和第二样本二阶转化图像按照各自对应的权重矩阵融合，得到与第二样本对应、且属于第一图像类别的第二样本转化图像。将第二样本转化图像、第二样本一阶恢复图像和第二样本二阶恢复图像共同输入第一权重预测模型，得到与第二样本二阶恢复图像对应的权重矩阵；根据权重矩阵，得到与第二样本一阶恢复图像对应的权重矩阵；将第二样本一阶恢复图像和第二样本二阶恢复图像按照各自对应的权重矩阵融合，得到与第二样本对应、且属于第二图像类别的第二样本恢复图像。按照第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异，调整第一权重预测模型、第二权重预测模型、第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
图9示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是用户终端。如图9所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入设备和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
图10示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是服务器。如图10所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像处理方法。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像处理装置可以实现为一种计算机程序的形式，计算机程序可在如图9或图10所示的计算机设备上运行，计算机设备的非易失性存储介质可存储组成该图像处理装置的各个程序模块，比如，图7所示的获取模块701、第一阶段转化模块702、第二阶段转化模块703、确定模块704和融合模块705等。各个程序模块组成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像处理方法中的步骤。
例如，图9或图10所示的计算机设备可以通过如图7所示的图像处理装置700中的获取模块701获取属于第一图像类别的待处理图像。通过第一阶段转化模块702将待处理图像输入第一阶段图像转化模型，得到第一中间图像。通过第二阶段转化模块703通过第二阶段图像转化模型将第一中间图像转化为第二中间图像。通过确定模块704分别确定第一中间图像与第二中间图像各自对应的权重矩阵。通过融合模块705将第一中间图像和第二中间图像按照各自对应的权重矩阵融合，得到与待处理图像对应、且属于第二图像类别的目标图像。
在一个实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时，使得处理器执行以下步骤：获取属于第一图像类别的待处理图像；将待处理图像输入第一阶段图像转化模型，得到第一中间图像；通过第二阶段图像转化模型将第一中间图像转化为第二中间图像；确定第二中间图像对应的第二权重矩阵；确定第一中间图像对应的第一权重矩阵；将第一中间图像、第二中间图像按照对应的第一权重矩阵、第二权重矩阵进行融合，得到与待处理图像对应、且属于第二图像类别的目标图像。
在一个实施例中，将待处理图像输入第一阶段图像转化模型，得到第一中间图像，包括：对待处理图像进行下采样，得到图像尺寸缩小后的压缩图像；将压缩图像输入第一阶段图像转化模型，输出图像尺寸与压缩图像的图像尺寸相同的第一中间图像。通过第二阶段图像转化模型将第一中间图像转化为第二中间图像，包括：对第一中间图像进行上采样，得到图像尺寸与待处理图像的图像尺寸相同的放大图像；将放大图像输入第二阶段图像转化模型，输出图像尺寸与放大图像的图像尺寸相同的第二中间图像。
在一个实施例中，确定第二中间图像对应的第二权重矩阵，包括：将待处理图像、第一中间图像与第二中间图像共同输入第一权重预测模型，得到与第二中间图像对应的第二权重矩阵。确定第一中间图像对应的第一权重矩阵，包括：根据第二权重矩阵，得到与第一中间图像对应的第一权重矩阵；第一权重矩阵与第二权重矩阵之和为预设矩阵。
在一个实施例中，将第一中间图像、第二中间图像按照对应的第一权重矩阵、第二权重矩阵进行融合，得到与待处理图像对应、且属于第二图像类别的目标图像，包括：将第一中间图像的各像素值与第一权重矩阵的各矩阵元素按位相乘，得到属于第二图像类别的第一目标图像；将第二中间图像的各像素值与第二权重矩阵的各矩阵元素按位相乘，得到属于第二图像类别第二目标图像；根据第一目标图像与第二目标图像，得到与待处理图像对应、且属于第二图像类别的目标图像。
在一个实施例中，该计算机程序被处理器执行时，还使得处理器执行以下步骤：获取属于第一图像类别的第一样本和属于第二图像类别的第二样本；将第一样本依次经过第一阶段图像转化模型和第一阶段图像逆向转化模型，得到第一样本单阶段恢复图像；将第二样本依次经过第一阶段图像逆向转化模型和第一阶段图像转化模型，得到第二样本单阶段恢复图像；按照第一样本与第一样本单阶段恢复图像的差异，及第二样本与第二样本单阶段恢复图像的差异，调整第一阶段图像转化模型和第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
在一个实施例中，该计算机程序被处理器执行时，还使得处理器执行以下步骤：获取第一样本经过第一阶段图像转化模型后，由第一阶段图像转化模型输出的第一样本单阶段转化图像；获取第二样本经过第一阶段图像逆向转化模型后，由第一阶段图像逆向转化模型输出的第二样本单阶段转化图像；将第一样本和第二样本单阶段转化图像分别输入第一阶段图像逆向转化鉴别模型，分别得到第一样本的鉴别置信度和第二样本单阶段转化图像的鉴别置信度；将第二样本和第一样本单阶段转化图像分别输入第一阶段图像转化鉴别模型，分别得到第二样本的鉴别置信度和第一样本单阶段转化图像的鉴别置信度。按照第一样本与第一样本单阶段恢复图像的差异，及第二样本与第二样本单阶段恢复图像的差异，调整第一阶段图像转化模型和第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练，包括：按照最大化第一样本的鉴别置信度和第二样本的鉴别置信度的方向、最小化第二样本单阶段转化图像的鉴别置信度、第一样本单阶段转化图像的鉴别置信度、第一样本与第一样本单阶段恢复图像的差异，及第二样本与第二样本单阶段恢复图像的差异的方向，调整第一阶段图像转化鉴别模型、第一阶段图像逆向转化鉴别模型、第一阶段图像转化模型和第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
在一个实施例中，该计算机程序被处理器执行时，还使得处理器执行以下步骤：将第一样本依次经过第一阶段图像转化模型和第二阶段图像转化模型，得到第一阶段图像转化模型输出的第一样本一阶转化图像，和第二阶段图像转化模型输出的第一样本二阶转化图像；根据第一样本一阶转化图像和第一样本二阶转化图像，得到与第一样本对应、且属于第二图像类别的第一样本转化图像；将第一样本转化图像依次经过第一阶段图像逆向转化模型和第二阶段图像逆向转化模型，得到第一阶段图像逆向转化模型输出的第一样本一阶恢复图像，和第二阶段图像逆向转化模型输出的第一样本二阶恢复图像；根据第一样本一阶恢复图像和第一样本二阶恢复图像，得到与第一样本对应、且属于第一图像类别的第一样本恢复图像；将第二样本依次经过第一阶段图像逆向转化模型和第二阶段图像逆向转化模型，得到第一阶段图像逆向转化模型输出的第二样本一阶转化图像，和第二阶段图像逆向转化模型输出的第二样本二阶转化图像；根据第二样本一阶转化图像和第二样本二阶转化图像，得到与第二样本对应、且属于第一图像类别的第二样本转化图像；将第二样本转化图像依次经过第一阶段图像转化模型和第二阶段图像转化模型，得到第一阶段图像转化模型输出的第二样本一阶恢复图像，和第二阶段图像转化模型输出的第二样本二阶恢复图像；根据第二样本一阶恢复图像和第二样本二阶恢复图像，得到与第二样本对应、且属于第二图像类别的第二样本恢复图像；按照第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异，调整第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
在一个实施例中，该计算机程序被处理器执行时，还使得处理器执行以下步骤：将第一样本和第二样本转化图像分别输入第二阶段图像逆向转化鉴别模型，分别得到第一样本的鉴别置信度和第二样本转化图像的鉴别置信度；将第二样本和第一样本转化图像分别输入第二阶段图像转化鉴别模型，分别得到第二样本的鉴别置信度和第一样本转化图像的鉴别置信度。按照第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异，调整第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练，包括：按照最大化第一样本的鉴别置信度和第二样本的鉴别置信度的方向、最小化第二样本转化图像的鉴别置信度、第一样本转化图像的鉴别置信度、第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异的方向，调整第二阶段图像转化鉴别模型、第二阶段图像逆向转化鉴别模型、第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
在一个实施例中，根据第一样本一阶转化图像和第一样本二阶转化图像，得到与第一样本对应、且属于第二图像类别的第一样本转化图像，包括：将第一样本、第一样本一阶转化图像和第一样本二阶转化图像共同输入第一权重预测模型，得到与第一样本二阶转化图像对应的权重矩阵；根据权重矩阵，得到与第一样本一阶转化图像对应的权重矩阵；将第一样本一阶转化图像和第一样本二阶转化图像按照各自对应的权重矩阵融合，得到与第一样本对应、且属于第二图像类别的第一样本转化图像。
根据第一样本一阶恢复图像和第一样本二阶恢复图像，得到与第一样本对应、且属于第一图像类别的第一样本恢复图像，包括：将第一样本转化图像、第一样本一阶恢复图像和第一样本二阶恢复图像共同输入第二权重预测模型，得到与第一样本二阶恢复图像对应的权重矩阵；根据权重矩阵，得到与第一样本一阶恢复图像对应的权重矩阵；将第一样本一阶恢复图像和第一样本二阶恢复图像按照各自对应的权重矩阵融合，得到与第一样本对应、且属于第一图像类别的第一样本恢复图像。
根据第二样本一阶转化图像和第二样本二阶转化图像，得到与第二样本对应、且属于第一图像类别的第二样本转化图像，包括：将第二样本、第二样本一阶转化图像和第二样本二阶转化图像共同输入第二权重预测模型，得到与第二样本二阶转化图像对应的权重矩阵；根据权重矩阵，得到与第二样本一阶转化图像对应的权重矩阵；将第二样本一阶转化图像和第二样本二阶转化图像按照各自对应的权重矩阵融合，得到与第二样本对应、且属于第一图像类别的第二样本转化图像。
根据第二样本一阶恢复图像和第二样本二阶恢复图像，得到与第二样本对应、且属于第二图像类别的第二样本恢复图像，包括：将第二样本转化图像、第二样本一阶恢复图像和第二样本二阶恢复图像共同输入第一权重预测模型，得到与第二样本二阶恢复图像对应的权重矩阵；根据权重矩阵，得到与第二样本一阶恢复图像对应的权重矩阵；将第二样本一阶恢复图像和第二样本二阶恢复图像按照各自对应的权重矩阵融合，得到与第二样本对应、且属于第二图像类别的第二样本恢复图像。
按照第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异，调整第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练，包括：按照第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异，调整第一权重预测模型、第二权重预测模型、第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中储存有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：获取属于第一图像类别的待处理图像；将待处理图像输入第一阶段图像转化模型，得到第一中间图像；通过第二阶段图像转化模型将第一中间图像转化为第二中间图像；确定第二中间图像对应的第二权重矩阵；确定第一中间图像对应的第一权重矩阵；将第一中间图像、第二中间图像按照对应的第一权重矩阵、第二权重矩阵进行融合，得到与待处理图像对应、且属于第二图像类别的目标图像。
在一个实施例中，将待处理图像输入第一阶段图像转化模型，得到第一中间图像，包括：对待处理图像进行下采样，得到图像尺寸缩小后的压缩图像；将压缩图像输入第一阶段图像转化模型，输出图像尺寸与压缩图像的图像尺寸相同的第一中间图像。通过第二阶段图像转化模型将第一中间图像转化为第二中间图像，包括：对第一中间图像进行上采样，得到图像尺寸与待处理图像的图像尺寸相同的放大图像；将放大图像输入第二阶段图像转化模型，输出图像尺寸与放大图像的图像尺寸相同的第二中间图像。
在一个实施例中，确定第二中间图像对应的第二权重矩阵，包括：将待处理图像、第一中间图像与第二中间图像共同输入第一权重预测模型，得到与第二中间图像对应的第二权重矩阵。确定第一中间图像对应的第一权重矩阵，包括：根据第二权重矩阵，得到与第一中间图像对应的第一权重矩阵；第一权重矩阵与第二权重矩阵之和为预设矩阵。
在一个实施例中，将第一中间图像、第二中间图像按照对应的第一权重矩阵、第二权重矩阵进行融合，得到与待处理图像对应、且属于第二图像类别的目标图像，包括：将第一中间图像的各像素值与第一权重矩阵的各矩阵元素按位相乘，得到属于第二图像类别的第一目标图像；将第二中间图像的各像素值与第二权重矩阵的各矩阵元素按位相乘，得到属于第二图像类别第二目标图像；根据第一目标图像与第二目标图像，得到与待处理图像对应、且属于第二图像类别的目标图像。
在一个实施例中，该计算机程序被处理器执行时，还使得处理器执行以下步骤：获取属于第一图像类别的第一样本和属于第二图像类别的第二样本；将第一样本依次经过第一阶段图像转化模型和第一阶段图像逆向转化模型，得到第一样本单阶段恢复图像；将第二样本依次经过第一阶段图像逆向转化模型和第一阶段图像转化模型，得到第二样本单阶段恢复图像；按照第一样本与第一样本单阶段恢复图像的差异，及第二样本与第二样本单阶段恢复图像的差异，调整第一阶段图像转化模型和第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
在一个实施例中，该计算机程序被处理器执行时，还使得处理器执行以下步骤：获取第一样本经过第一阶段图像转化模型后，由第一阶段图像转化模型输出的第一样本单阶段转化图像；获取第二样本经过第一阶段图像逆向转化模型后，由第一阶段图像逆向转化模型输出的第二样本单阶段转化图像；将第一样本和第二样本单阶段转化图像分别输入第一阶段图像逆向转化鉴别模型，分别得到第一样本的鉴别置信度和第二样本单阶段转化图像的鉴别置信度；将第二样本和第一样本单阶段转化图像分别输入第一阶段图像转化鉴别模型，分别得到第二样本的鉴别置信度和第一样本单阶段转化图像的鉴别置信度。按照第一样本与第一样本单阶段恢复图像的差异，及第二样本与第二样本单阶段恢复图像的差异，调整第一阶段图像转化模型和第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练，包括：按照最大化第一样本的鉴别置信度和第二样本的鉴别置信度的方向、最小化第二样本单阶段转化图像的鉴别置信度、第一样本单阶段转化图像的鉴别置信度、第一样本与第一样本单阶段恢复图像的差异，及第二样本与第二样本单阶段恢复图像的差异的方向，调整第一阶段图像转化鉴别模型、第一阶段图像逆向转化鉴别模型、第一阶段图像转化模型和第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
在一个实施例中，该计算机程序被处理器执行时，还使得处理器执行以下步骤：将第一样本依次经过第一阶段图像转化模型和第二阶段图像转化模型，得到第一阶段图像转化模型输出的第一样本一阶转化图像，和第二阶段图像转化模型输出的第一样本二阶转化图像；根据第一样本一阶转化图像和第一样本二阶转化图像，得到与第一样本对应、且属于第二图像类别的第一样本转化图像；将第一样本转化图像依次经过第一阶段图像逆向转化模型和第二阶段图像逆向转化模型，得到第一阶段图像逆向转化模型输出的第一样本一阶恢复图像，和第二阶段图像逆向转化模型输出的第一样本二阶恢复图像；根据第一样本一阶恢复图像和第一样本二阶恢复图像，得到与第一样本对应、且属于第一图像类别的第一样本恢复图像；将第二样本依次经过第一阶段图像逆向转化模型和第二阶段图像逆向转化模型，得到第一阶段图像逆向转化模型输出的第二样本一阶转化图像，和第二阶段图像逆向转化模型输出的第二样本二阶转化图像；根据第二样本一阶转化图像和第二样本二阶转化图像，得到与第二样本对应、且属于第一图像类别的第二样本转化图像；将第二样本转化图像依次经过第一阶段图像转化模型和第二阶段图像转化模型，得到第一阶段图像转化模型输出的第二样本一阶恢复图像，和第二阶段图像转化模型输出的第二样本二阶恢复图像；根据第二样本一阶恢复图像和第二样本二阶恢复图像，得到与第二样本对应、且属于第二图像类别的第二样本恢复图像；按照第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异，调整第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
在一个实施例中，该计算机程序被处理器执行时，还使得处理器执行以下步骤：将第一样本和第二样本转化图像分别输入第二阶段图像逆向转化鉴别模型，分别得到第一样本的鉴别置信度和第二样本转化图像的鉴别置信度；将第二样本和第一样本转化图像分别输入第二阶段图像转化鉴别模型，分别得到第二样本的鉴别置信度和第一样本转化图像的鉴别置信度。按照第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异，调整第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练，包括：按照最大化第一样本的鉴别置信度和第二样本的鉴别置信度的方向、最小化第二样本转化图像的鉴别置信度、第一样本转化图像的鉴别置信度、第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异的方向，调整第二阶段图像转化鉴别模型、第二阶段图像逆向转化鉴别模型、第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
在一个实施例中，根据第一样本一阶转化图像和第一样本二阶转化图像，得到与第一样本对应、且属于第二图像类别的第一样本转化图像，包括：将第一样本、第一样本一阶转化图像和第一样本二阶转化图像共同输入第一权重预测模型，得到与第一样本二阶转化图像对应的权重矩阵；根据权重矩阵，得到与第一样本一阶转化图像对应的权重矩阵；将第一样本一阶转化图像和第一样本二阶转化图像按照各自对应的权重矩阵融合，得到与第一样本对应、且属于第二图像类别的第一样本转化图像。
根据第一样本一阶恢复图像和第一样本二阶恢复图像，得到与第一样本对应、且属于第一图像类别的第一样本恢复图像，包括：将第一样本转化图像、第一样本一阶恢复图像和第一样本二阶恢复图像共同输入第二权重预测模型，得到与第一样本二阶恢复图像对应的权重矩阵；根据权重矩阵，得到与第一样本一阶恢复图像对应的权重矩阵；将第一样本一阶恢复图像和第一样本二阶恢复图像按照各自对应的权重矩阵融合，得到与第一样本对应、且属于第一图像类别的第一样本恢复图像。
根据第二样本一阶转化图像和第二样本二阶转化图像，得到与第二样本对应、且属于第一图像类别的第二样本转化图像，包括：将第二样本、第二样本一阶转化图像和第二样本二阶转化图像共同输入第二权重预测模型，得到与第二样本二阶转化图像对应的权重矩阵；根据权重矩阵，得到与第二样本一阶转化图像对应的权重矩阵；将第二样本一阶转化图像和第二样本二阶转化图像按照各自对应的权重矩阵融合，得到与第二样本对应、且属于第一图像类别的第二样本转化图像。
根据第二样本一阶恢复图像和第二样本二阶恢复图像，得到与第二样本对应、且属于第二图像类别的第二样本恢复图像，包括：将第二样本转化图像、第二样本一阶恢复图像和第二样本二阶恢复图像共同输入第一权重预测模型，得到与第二样本二阶恢复图像对应的权重矩阵；根据权重矩阵，得到与第二样本一阶恢复图像对应的权重矩阵；将第二样本一阶恢复图像和第二样本二阶恢复图像按照各自对应的权重矩阵融合，得到与第二样本对应、且属于第二图像类别的第二样本恢复图像。
按照第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异，调整第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练，包括：按照第一样本与第一样本恢复图像的差异，及第二样本与第二样本恢复图像的差异，调整第一权重预测模型、第二权重预测模型、第二阶段图像转化模型和第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
- 还没有人留言评论。精彩留言会获得点赞！