一种图像色彩校正方法、系统、设备及介质与流程

本申请涉及颜色校正技术领域，尤其涉及一种图像色彩校正方法、系统、设备及介质。

背景技术：

色彩是计算机视觉领域重要的参数之一，随着世界计算机技术的发展，各图像应用领域对色彩的要求随之越来越高。由于图像传感器的光谱敏感特性不能最佳地模拟人眼视觉系统对色彩的感知能力，并且由于受光源的光谱分布不均，采集图像的色彩与物体的真实色彩有一定偏差，因此，需要对色彩进行校正，使得尽可能的还原真实色彩。

现有的色彩校正的方案包括基于光谱响应的方法与基于目标色的方法。

基于光谱响应的色彩校正原理是用专用仪器测出图像传感器的光谱响应，找到需校正图像传感器的光谱响应和cie颜色匹配函数间的关系。

基于目标色的方法原理是用包含一定量颜色样本的色彩标准值和测量值建立校正模型，得出两者间的函数关系，简单实用。其典型算法包括：三维查表法，多项式法，带约束项最小二乘法及模式搜索法等。通常，查表法更为准确，缺点是其需要大量色彩的标准三刺激值，且建表速度缓慢，精度不高。多项式法则基于两者间的函数关系，通过最小二乘法求出校正系数，但仅适用于极小的色域空间，且容易放大噪声。即使对最小二乘法加入约束项，虽能保证白色的精确度提升，却使其它颜色校正后误差进一步放大。对多项式法及最小二乘法，构造校正模型时，经证明，使用1-范数比2-范数求解的校正系数较准确。但由于1-范数不可微，求全局最优解可使用模式搜索法可抑制噪声放大。而模式搜索法可能陷入局部最优问题、初始值影响过大问题等，甚至校正前后图像亮度差异过大。

技术实现要素：

本申请实施例提供了一种图像色彩校正方法、系统、设备及介质，使得对图像颜色的校正能够快速、高精度且抗噪性强。

有鉴于此，本申请第一方面提供了一种图像色彩校正方法，所述方法包括：

101、对采集的图像数据分成两个数据集，包括色彩失真图像集以及所述色彩失真图像集对应的高质量色彩图像集；

102、将彩色失真图像输入到构建的生成模型中，得到校正后的图像；

103、训练判别模型：固定生成模型的参数，将所述校正后的图像以及所述高质量色彩图像输入到判别模型中，使得所述判别模型对所述校正后的图像以及所述高质量色彩图像进行判断，根据判断结果优化判别模型的参数，重复步骤103，直到判别模型区分出所述校正后的图像以及所述高质量色彩图像，即判别模型训练完成；

104、训练生成模型：将所述校正后的图像以及所述高质量色彩图像代入损失函数，计算所述校正后的图像以及所述高质量色彩图像之间的损失，根据所述损失对所述生成模型的参数进行优化，将所述校正后的图像以及所述高质量色彩图像输入到训练好的所述判别模型中，使得所述判别模型对所述校正后的图像以及所述高质量色彩图像进行区分，重复步骤104直到所述判别模型区分不出所述校正后的图像以及所述高质量色彩图像，即生成模型训练完成。

优选地，所述对采集的图像数据分成两个数据集，包括色彩失真图像集以及所述色彩失真图像集对应的高质量色彩图像集之后还包括：

对所述色彩失真图像集以及所述高质量色彩图像集进行预处理；

所述预处理包括：将所述色彩失真图像集以及所述高质量色彩图像集分成训练集以及测试集；随机裁剪所述训练集中的训练图像，得到多个图像块，对所述图像块进行上下、左右翻转，得到多种训练图像。

优选地，所述损失函数具体为：

式中，所述e表示距离的期望；z表示样本数；pg表示由生成器产生的样本分布；d表示表示真实输入与标签融合后输入到判别器中得到是否为真实数据的概率；表示满足1-lipschitz限制的函数。

优选地，所述生成模型的激活函数与所述判别模型的激活函数相同，具体为：

式中，bx，y为归一化后的特征向量，ax，y为原始特征向量，n为特征图的数量；e是为了避免除数为0时所使用的微小正数。

优选地，所述将所述校正后的图像以及所述校正后的图像对应的高质量彩色图像输入到损失函数中之前还包括，对所述校正后的图像与所述高质量色彩图像进行区域采样，所述区域采样具体为：

在所述校正后的图像与所述高质量色彩图像采样的连线上随机差值采样：

式中，α表示0-1之间的随机数，xr表示生成样本区域；xg表示真实样本区域。

本申请第二方面提供一种图像色彩校正系统，所述系统包括：

数据获取模块，所述数据获取模块用于对采集的图像数据分成两个数据集，包括色彩失真图像集以及所述色彩失真图像集对应的高质量色彩图像集；

图像校正模块，所述图像校正模块用于将彩色失真图像输入到构建的生成模型中，得到校正后的图像；

判别模型训练模块，所述判别模型训练模块用于固定生成模型的参数，将所述校正后的图像以及所述高质量色彩图像输入到判别模型中，使得所述判别模型对所述校正后的图像以及所述高质量色彩图像进行判断，根据判断结果优化判别模型的参数，重复判别模型训练模块中的操作，直到判别模型区分出所述校正后的图像以及所述高质量色彩图像；

生成模型训练模块，所述生成模型训练模块用于将所述校正后的图像以及所述高质量色彩图像代入损失函数，计算所述校正后的图像以及所述高质量色彩图像之间的损失，根据所述损失对所述生成模型的参数进行优化，将所述校正后的图像以及所述高质量色彩图像代入损失函数输入到训练好的所述判别模型中，使得所述判别模型对所述校正后的图像以及所述高质量色彩图像进行区分，重复生成模型训练模块中的操作，直到所述判别模型区分不出所述校正后的图像以及所述高质量色彩图像。

优选地，还包括：

预处理模块，所述预处理模块用于对所述色彩失真图像集以及所述高质量色彩图像集进行预处理，所述预处理包括将所述色彩失真图像集以及所述高质量色彩图像集分成训练集以及测试集；随机裁剪所述训练集中的训练图像，得到多个图像块，对所述图像块进行上下、左右翻转，得到多种训练图像。

优选地，还包括：

采样模块，所述采样模块用于对所述校正后的图像与所述高质量色彩图像进行区域采样，所述区域采样具体为：

在所述校正后的图像与所述高质量色彩图像采样的连线上随机差值采样：

式中，α表示0-1之间的随机数，xr表示生成样本区域；xg表示真实样本区域。

本申请第三方面提供一种图像色彩校正设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的图像色彩校正方法的步骤。

本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请中，提供了一种图像色彩校正方法，包括对采集的图像数据分成色彩失真图像及其对应的高质量色彩图像集；将彩色失真图像输入到生成模型中得到校正后的图像；固定生成模型的参数，将校正后的图像以及高质量色彩图像输入到判别模型中，对图像进行判断，并优化判别模型的参数，直到判别模型能够区分两组图像；将校正后的图像以及高质量色彩图像代入损失函数，计算损失，并对生成模型的参数进行优化，将校正后的图像以及高质量色彩图像输入到训练好的判别模型中，对图像进行区分，直到判别模型区分不出两组图像。

本申请生成对抗网络的方法对将判别模型和生成模型的优化进行整合，通过生成模型和判别模型间的互相对抗，并通过反向传播算法最终得出最优化的权重参数，最终训练得到一个稳定可靠的模型，可以对任一色彩失真图像进行校正，并且本发明训练得出的模型有较高的抗噪声干扰能力，而且仅需训练一次，得出的模型可以反复使用，高效而简便，并且对图像色彩的校正具有一定鲁棒性。

附图说明

图1为本申请一种图像色彩校正方法的一个实施例的方法流程图；

图2为本申请一种图像色彩校正系统的一个实施例中系统示意图；

图3为本申请一种图像色彩校正方法的一个具体实施方式的模型训练过程的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1为本申请一种图像色彩校正方法的一个实施例的方法流程图，图1中包括：

101、对采集的图像数据分成两个数据集，包括色彩失真图像集以及色彩失真图像集对应的高质量色彩图像集。

需要说明的是，彩色失真图像集中，每张彩色失真图像都能在高质量色彩图像集中找到对应的高质量图像。

在一种具体的实施方式中，还需要对色彩失真图像集以及高质量色彩图像集进行预处理，预处理可以包括：将色彩失真图像集以及高质量色彩图像集分成训练集以及测试集；随机裁剪所述训练集中的训练图像，得到多个图像块，对图像块进行上下、左右翻转，得到多种训练图像。

需要说明的是，在一种具体的实施方式中，图像的分辨率需要高于500×400，图像的内容可以包括风景、人像、美食等。另外，可以从图像集中选取部分图像作为训练集，部分作为测试集，用于对生成对抗网络进行训练和测试。另外，由于训练集样本数据图像尺寸不一，不能直接输入生成对抗网络中进行训练，因此，在训练图像之前，可以将训练图像中随机裁剪150个256×256大小的图像块，并对部分图像块随机进行上下、左右翻转，从而用来增加训练图像的多样性，同时，将测试图像的尺寸均调为900×600大小。

102、将彩色失真图像输入到构建的生成模型中，得到校正后的图像。

103、训练判别模型：固定生成模型的参数，将校正后的图像以及高质量色彩图像输入到判别模型中，使得判别模型对校正后的图像以及高质量色彩图像进行判断，根据判断结果优化判别模型的参数，重复步骤103，直到判别模型区分出校正后的图像以及高质量色彩图像，即判别模型训练完成。

需要说明的是，在训练生成模型之前，首先需要训练判别模型。由于训练判别模型的目的是为了使判别模型能够识别出校正后的图像以及高质量色彩图像，因此，可以将生成模型的参数进行固定，再将输入至生成模型输出的校正后的图像以及高质量色彩图像输入到判别模型中，对校正后的图像以及高质量色彩图像进行判断，根据判断的结果对判别模型的参数进行优化，重复输入不同的图像，不断对判别模型的参数进行优化，直到判别模型能够区分出校正后的图像以及高质量色彩图像。

104、训练生成模型：将校正后的图像以及高质量色彩图像代入损失函数，计算校正后的图像以及高质量色彩图像之间的损失，根据损失对生成模型的参数进行优化，将校正后的图像以及高质量色彩图像输入到训练好的判别模型中，使得判别模型对校正后的图像以及高质量色彩图像进行区分，重复步骤104直到判别模型区分不出校正后的图像以及高质量色彩图像，即生成模型训练完成。

需要说明的是，生成模型为卷积神经网络，当彩色失真图像输入至生成模型中时，生成模型对彩色失真图像进行校正使得校正后的图像接近于原始的高质量彩色图像，之后将校正后的图像以及原始的高质量彩色图像输入至损失函数，计算出校正后的图像与高质量彩色图像之间的差距，根据差距对生成模型的参数进行优化，使得经过生成模型校正后的图像越来越接近高质量色彩图像，即使得生成模型能够学习到高质量色彩图像的特征。另外，还需要将校正后的图像以及高质量色彩图像输入到训练好的判别模型中，使得判别模型对校正后的图像以及高质量色彩图像进行区分，最后当判别模型不能够区分出校正后的图像以及高质量色彩图像时，则说明生成模型已经训练好了。

本申请生成对抗网络的方法对将判别模型和生成模型的优化进行整合，通过生成模型和判别模型间的互相对抗，并通过反向传播算法最终得出最优化的权重参数，最终训练得到一个稳定可靠的模型，可以对任一色彩失真图像进行校正，并且本发明训练得出的模型有较高的抗噪声干扰能力，而且仅需训练一次，得出的模型可以反复使用，高效而简便，并且对图像色彩的校正具有一定鲁棒性。

本申请还提供了一种具体的实施方式，如图3所示，具体为：

201、从色彩失真图像集中随机采样，取出共m个图像样本作为一个batch(批量)，表示为x。

202、建立生成模型。生成模型是一个卷积神经网络，它用于接受一张色彩失真图像，将其校正后输出。当彩色失真图像输入至构建好的生成模型中时，生成模型对彩色失真图像进行校正使得校正后的图像接近于原始的高质量彩色图像，之后将校正后的图像以及原始的高质量彩色图像输入至损失函数，计算出校正后的图像与高质量彩色图像之间的差距，根据差距对生成模型的参数进行优化。

采用加入wasserstein距离的生成模型，其损失函数具体为：

式中，所述e表示距离的期望；z表示样本数；pg表示由生成器产生的样本分布；d表示真实输入与标签融合后输入到判别器中得到是否为真实数据的概率；表示满足1-lipschitz限制的函数。

生成模型的输入的是色彩失真图像，其激活函数与判别模型相同，采用selu作为激活函数。模型归一化采用像素特征向量归一化。它位于卷积层后，使每个归一化后的特征向量具有单位长度，可用来约束生成模型和判别模型不健康的竞争导致信号范围越界等问题，归一化公示具体表示为：

式中，bx，y为归一化后的特征向量，ax，y为原始特征向量，n为特征图的数量；e是为了避免除数为0时所使用的微小正数。

式中，等式左边是归一化后的特征向量，等式右边分子为原始特征向量，n为特征图的数量。模型的优化器可以采用rmsprop(均方根传递，rootmeansquareprop)对生成模型内的参数进行更新。此优化器需要设置全局学习速率，初始参数，数值稳定量以及衰减率，该优化器可以自动调节学习速率。

203、生成模型接受x这个batch(批量)，根据batch中图像样本的数据分布生成m个校正样本，将校正样本输入至判别模型用于判别模型学习。

204、生成判别模型。当采用wasserstein距离作为生成对抗网络中的损失函数，将损失函数中加入梯度惩罚因子，计算损失时，需要分别从校正后的图像区域以及高质量彩色图像区域采样，还需要从校正后的图像区域以及高质量彩色图像区域中间进行采样。采样方法具体为：加入0-1间的随机数α，在校正后的图像区域以及高质量彩色图像区域上随机插值采样。公式表述为：

式中，α表示0-1之间的随机数，xr表示生成样本区域；xg表示真实样本区域。

205、具体训练过程中，首先固定生成模型中的参数不变，将校正后的图像以及高质量彩色图像一同输入判别模型，判别模型计算校正后的图像以及高质量彩色图像差距，计算得出判别损失。将判别损失从输出层向隐藏层反向传播，直到输入层，此过程使用rmsprop优化器对判别模型参数进行更新，使得优化参数后的判别模型能够学习到校正后的图像以及高质量彩色图像的特征，从而使判别模型能够区分校正后的图像以及高质量彩色图像。

本申请中采用迭代的方法，判别模型对校正后的图像以及高质量彩色图像进行判别，直到判别模型可以正确区分校正后的图像以及高质量彩色图像。

206、固定判别模型的参数，训练生成模型。生成模型接收色彩失真图像样本，生成校正后的图像，将校正后的图像和高质量彩色图像传入训练好的判别模型中计算损失，生成模型期望可以生成接近高质量彩色图像的图像，骗过判别模型。通过反向传播更新生成模型中的参数，使用rmsprop优化器对生成模型参数进行更新。参数调整后生成模型再次生成校正后的图像，输入判别模型中，看判别模型能否正确区分校正后的图像和高质量彩色图像，不断迭代，直到判断模型不能区分校正后的图像以及高质量彩色图像。

207、可以渐进增大生成对抗网络，其原理是先训练初步校正后的图像，再逐步过渡到生成更高分辨率的图片。过渡阶段需要完成的工作是让生成对抗网络生成的校正后的图像以及高质量彩色图像更接近。当上一阶段训练完成后，tensorflow将生成对抗网络的权重保存至文件夹中，然后构建下一阶段的生成对抗网络的权重。新的生成对抗网络会使用上一阶段的权重参数，并且生成模型和判别模型网络层数加深，然后进行过渡阶段。此过程中，生成模型进行上采样和卷积，将上采样和卷积的结果加权相加得到最终结果，判别模型做下采样操作。

208、过渡阶段完成后，模型进入稳定化阶段，这个阶段中模型需要继续更新生成对抗网络的权重参数，以便于生成的生成对抗网络更接近高质量彩色图像。重复206、207，直至模型可以稳定生成色彩逼真的图像。调整模型超参数并重复上述过程，选择最优的参数，至此训练完成。

以上是本申请的方法实施例，本申请还包括一种图像色彩校正系统的一个实施例中系统示意图，如图2所示，包括：

数据获取模块301，用于对采集的图像数据分成两个数据集，包括色彩失真图像集以及色彩失真图像集对应的高质量色彩图像集。

图像校正模块302，用于将彩色失真图像输入到构建的生成模型中，得到校正后的图像。

判别模型训练模块303，用于固定生成模型的参数，将校正后的图像以及高质量色彩图像输入到判别模型中，使得判别模型对校正后的图像以及高质量色彩图像进行判断，根据判断结果优化判别模型的参数，重复判别模型训练模块中的操作，直到判别模型区分出校正后的图像以及高质量色彩图像。

生成模型训练模块304，用于将校正后的图像以及高质量色彩图像代入损失函数，计算校正后的图像以及高质量色彩图像之间的损失，根据损失对生成模型的参数进行优化，将校正后的图像以及高质量色彩图像代入损失函数输入到训练好的判别模型中，使得判别模型对校正后的图像以及高质量色彩图像进行区分，重复生成模型训练模块中的操作，直到判别模型区分不出所述校正后的图像以及高质量色彩图像。

在一种具体的实施方式中，还包括：

预处理模块，用于对色彩失真图像集以及高质量色彩图像集进行预处理，预处理包括将色彩失真图像集以及高质量色彩图像集分成训练集以及测试集；随机裁剪训练集中的训练图像，得到多个图像块，对图像块进行上下、左右翻转，得到多种训练图像。

采样模块，用于对校正后的图像与高质量色彩图像进行区域采样，区域采样具体为：

在校正后的图像与高质量色彩图像采样的连线上随机差值采样：

式中，α表示0-1之间的随机数，xr表示生成样本区域；xg表示真实样本区域。

本申请还提供了一种图像色彩校正设备，包括处理器以及存储器：存储器用于存储程序代码，并将程序代码传输给处理器；处理器用于根据程序代码中的指令执行本申请一种图像色彩校正方法的实施例。

本申请还提供了一种计算机可读存储介质，用于存储程序代码，所述程序代码用于执行本申请一种图像色彩校正方法的实施例。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请中，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称：read-onlymemory，英文缩写：rom)、随机存取存储器(英文全称：randomaccessmemory，英文缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。