模型的训练方法和装置、电子设备、机器可读存储介质与流程

本发明属于图像处理和机器学习技术领域，具体地讲，涉及一种低光照图像增强模型的训练方法和训练装置、电子设备、机器可读存储介质。

背景技术：

拍照是记录我们生活中各种难忘时刻最方便的方式之一。在弱光下拍照往往是不可避免的，但是弱光条件下拍摄的图片通常非常暗，这使得我们很难辨别场景或对象。日常想要获得高可见度的图像，在一些公共场合又不能使用闪光的情况下，只能增加感光度和曝光，但是增加感光度会带来很多噪声，而增加曝光会模糊图像。目前已经提出了大量的传统方法来减轻由弱光引起的退化，如he(直方图均衡化)，但与传统方法相比，神经网络具有更好的特征表示。

传统的利用神经网络对低光照图像进行处理的方法主要有：基于视网膜理论(retinextheory)以及基于生成对抗式网络(gans)。然而，传统的这两种方法都不能很好地准确复原低光照图像的边缘以及部分细节。

技术实现要素：

为了解决上述现有技术存在的技术问题，本发明提供了一种能够准确复原低光照图像的边缘以及细节的低光照图像增强模型的训练方法和训练装置、电子设备、机器可读存储介质。

根据本发明的实施例的一方面提供的低光照图像增强模型的训练方法，所述训练方法包括：接收低光照rgb图像，并将所述低光照rgb图像转换成hsv图像；利用深度提亮网络对所述hsv图像进行提亮处理以得到hsv提亮图像，并将所述hsv提亮图像转换成rgb提亮图像；根据所述rgb提亮图像、正常光照图像以及损失函数计算得到损失值，并根据计算得到的损失值更新所述深度提亮网络的网络参数。

在上述一方面提供的低光照图像增强模型的训练方法的一个示例中，所述损失函数包括结构相似性函数、感知损失函数以及全变分函数。

在上述一方面提供的低光照图像增强模型的训练方法的一个示例中，所述损失函数被表示为下面的式子1，

[式子1]l＝l_ssim+l_per+0.001×l_tv

其中，l表示所述损失函数，l_ssim表示所述结构相似性函数，l_per表示所述感知损失函数，l_tv表示所述全变分函数。

在上述一方面提供的低光照图像增强模型的训练方法的一个示例中，所述感知损失函数包括图像损失函数、特征重构损失函数以及风格重建损失函数，所述图像损失函数表示所述rgb提亮图像和正常光照图像之间的均方误差。

在上述一方面提供的低光照图像增强模型的训练方法的一个示例中，所述感知损失函数等于所述图像损失函数、所述特征重构损失函数以及所述风格重建损失函数之和。

在上述一方面提供的低光照图像增强模型的训练方法的一个示例中，所述利用深度提亮网络对所述hsv图像进行提亮处理以得到hsv提亮图像，包括：利用所述深度提亮网络分别对所述hsv图像的s通道图像和v通道图像进行提亮处理，以分别得到s通道提亮图像和v通道提亮图像；根据所述hsv图像的h通道图像、所述s通道提亮图像和所述v通道提亮图像获取hsv提亮图像。

在上述一方面提供的低光照图像增强模型的训练方法的一个示例中，所述利用所述深度提亮网络分别对所述hsv图像的s通道图像和v通道图像进行提亮处理，包括：利用所述深度提亮网络的浅层特征提取层对输入的通道图像进行浅层特征提取，以得到相应的特征图；利用所述深度提亮网络的多个具有特征聚合的提亮反投影层对所述特征图进行累积提亮，以得到提亮特征图；利用所述深度提亮网络的亮化处理层对所述提亮特征图进行处理，以得到通道提亮图像；其中，所述输入的通道图像为所述s通道图像，所述通道提亮图像为所述s通道提亮图像，或者所述输入的通道图像为所述v通道图像，所述通道提亮图像为所述v通道提亮图像。

根据本发明的实施例的另一方面提供的低光照图像增强模型的训练装置，所述训练装置包括：接收模块，用于接收低光照rgb图像；第一转换模块，用于将所述低光照rgb图像转换成hsv图像；深度提亮网络模块，用于利用深度提亮网络对所述hsv图像进行提亮处理以得到hsv提亮图像；第二转换模块，用于将所述hsv提亮图像转换成rgb提亮图像；损失值计算模块，用于根据所述rgb提亮图像、正常光照图像以及损失函数计算得到损失值；更新模块，用于根据计算得到的损失值更新所述深度提亮网络的网络参数。

根据本发明的实施例的又一方面提供的电子设备，其包括：至少一个处理器，以及与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的低光照图像增强模型的训练方法。

根据本发明的实施例的再一方面提供的机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的低光照图像增强模型的训练方法。

有益效果：本发明的低光照图像增强模型的训练方法和训练装置，能够保证训练得到的模型对低光照图像处理得到的预测图像(即输出图像)不会出现色偏以及过度曝光的现象，且能够更好的对图像的细节以及图像整体进行更准确的预测，获得更好的视觉直观感受。

附图说明

通过结合附图进行的以下描述，本发明的实施例的上述和其它方面、特点和优点将变得更加清楚，附图中：

图1是根据本发明的实施例的低光照图像增强模型的训练方法的流程图；

图2是根据本发明的实施例的训练方法中利用深度提亮网络对所述hsv图像的s通道图像和v通道图像分别进行提亮处理的方法流程图；

图3是根据本发明的实施例的低光照图像增强模型的训练装置的方框图；

图4是示出了根据本发明的实施例的实现模型的训练方法的电子设备的方框图。

具体实施方式

以下，将参照附图来详细描述本发明的具体实施例。然而，可以以许多不同的形式来实施本发明，并且本发明不应该被解释为限制于这里阐述的具体实施例。相反，提供这些实施例是为了解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各种实施例和适合于特定预期应用的各种修改。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”、“根据”等表示“至少部分地基于”、“至少部分地根据”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

如上所述，传统的利用神经网络对低光照图像进行处理的方法不能很好地准确复原低光照图像的边缘以及部分细节。为了解决这样的技术问题，根据本发明的实施例提供了一种能够准确复原低光照图像的边缘以及细节的低光照图像增强模型的训练方法和训练装置。该训练方法可以包括：接收低光照rgb图像，并将所述低光照rgb图像转换成hsv图像；利用深度提亮网络对所述hsv图像进行提亮处理以得到hsv提亮图像，并将所述hsv提亮图像转换成rgb提亮图像；根据所述rgb提亮图像、正常光照图像以及损失函数计算得到损失值，并根据计算得到的损失值更新所述深度提亮网络的网络参数。

因此，根据该训练方法训练得到的模型通过将低光照rgb图像转换成hsv图像，再对hsv图像进行提亮处理，能够保证由提亮后的hsv图像转换成的rgb提亮图像(即预测正常光照图像或称预测输出图像)不会出现色偏、过度曝光的现象，且能够更好的对图像细节以及图像整体进行更准确的预测，获得更好的视觉直观感受。

以下将结合附图来详细描述根据本发明的实施例的能够准确复原低光照图像的边缘以及细节的低光照图像增强模型的训练方法和训练装置。。

根据本发明的实施例的低光照图像增强模型的训练方法可以由电子设备执行。该电子设备可以包括智能手机、平板电脑、个人计算机、云服务器、服务器等。

图1是根据本发明的实施例的低光照图像增强模型的训练方法的流程图。

参照图1，在框101，接收低光照rgb图像，并将所述低光照rgb图像转换成hsv图像。

在一个示例中，由于模型训练在未满足循环结束条件之前都是循环进行的，因此这里接收的低光照rgb图像是对上一循环过程中得到的rgb提亮图像(也可以称为预测正常光照图像或者预测输出图像)进行暗化处理得到的。

在这种情况下，对上一循环过程中得到的rgb提亮图像进行暗化处理得到本循环过程中的低光照rgb图像。进一步地，将本循环过程中的低光照rgb图像转换成本循环过程中的hsv图像。

在框103，利用深度提亮网络对所述hsv图像进行提亮处理以得到hsv提亮图像，并将所述hsv提亮图像转换成rgb提亮图像。

在一个示例中，利用深度提亮网络对本循环过程中的hsv图像进行提亮处理以得到本循环过程中的hsv提亮图像，并将本循环过程中的hsv提亮图像转换成本循环过程中的rgb提亮图像。

具体地，在一个示例中，利用深度提亮网络对所述hsv图像的s通道图像和v通道图像分别进行提亮处理，以分别得到s通道提亮图像和v通道提亮图像。以下对利用深度提亮网络对所述hsv图像的s通道图像和v通道图像分别进行提亮处理的具体过程进行详细描述。

图2是根据本发明的实施例的训练方法中利用深度提亮网络对所述hsv图像的s通道图像和v通道图像分别进行提亮处理的方法流程图。

参照图2，在步骤s202中，利用所述深度提亮网络的浅层特征提取层对输入的通道图像进行浅层特征提取，以得到相应的特征图。

在一个示例中，浅层特征提取层包括两个卷积层，每个卷积层具有64个3*3的滤波器，该滤波器的步长为1，填充为1。在这种情况下，利用这两个卷积层对输入的通道图像进行卷积处理，以得到相应的特征图。

在步骤s204中，利用所述深度提亮网络的多个具有特征聚合的提亮反投影层对所述特征图进行累积提亮，以得到提亮特征图。

在一个示例中，提亮反投影层对图像的提亮反投影处理过程包括：首先，对输入的图像(例如所述特征图)进行第一次亮化处理，以得到第一亮化图；接着，对该第一亮化图形成暗化处理，以得到第一暗化图；接着，获取第一暗化图和输入的图像的残差，以获得残差图；接着，对残差图进行第二次亮化处理，以得到亮化残差图；最后利用亮化残差图和第一亮化图获得亮化输出图像。

因此，提亮反投影层对图像处理以得到亮化输出图像可以被表示为下面的式子1。

[式子1]y＝λ2l1(x)+l2(d(l1(x))-λ1x)

其中，x表示输入的图像(低光照图像)，y表示亮化输出图像，l1()表示第一次亮化处理，l2()表示第二次亮化处理，d()表示暗化处理，λ1和λ2是平衡残差更新的两个权重参数。

在一个示例中，特征聚合是对未被提亮反投影层处理的特征图和被提亮反投影层处理后的特征图进行聚合。

在一个示例中，深度提亮网络的三个提亮反投影层和两个特征聚合层。其中，第二个提亮反投影层之前具有第一个特征聚合层，而第三个提亮反投影层之前具有第二个特征聚合层。以下对利用三个提亮反投影层和两个特征聚合层对输入的特征图进行处理的过程进行说明，具体是：首先，第一个提亮反投影层对输入的特征图进行第一次提亮反投影处理，以得到第一图；接着，第一个特征聚合层对输入的特征图和第一图进行第一次特征聚合处理，以得到第一次特征聚合处理后得到的图；接着，第二个提亮反投影层对第一次特征聚合处理后得到的图进行第二次提亮反投影处理，以得到第二图；接着，第二个特征聚合层对输入的特征图、第一图以及第二图进行第二次特征聚合处理，以得到第二次特征聚合处理后得到的图；接着，第三个提亮反投影层对第一次特征聚合处理后得到的图进行第三次提亮反投影处理，以得到第三图；最后，将输入的特征图、第一图、第二图以及第三图累积在一起，形成提亮特征图。

在步骤s206中，利用所述深度提亮网络的亮化处理层对所述提亮特征图进行处理，以得到通道提亮图像。

在一个示例中，亮化处理层包括两个卷积层，每个卷积层具有64个3*3的滤波器，该滤波器的步长为1，填充为1。在这种情况下，利用这两个卷积层对提亮特征图进行卷积处理，以得到提亮特征图和正常亮度图像(目标图像)之间的残差。

接着，利用残差与交互因子的乘积和输入的特征图叠加，以得到通道提亮图像。

在上面的步骤s202至步骤s206中，所述输入的通道图像为所述s通道图像，所述通道提亮图像为所述s通道提亮图像，或者，所述输入的通道图像为所述v通道图像，所述通道提亮图像为所述v通道提亮图像。

继续参照图1，在框105，根据所述rgb提亮图像、正常光照图像以及损失函数计算得到损失值，并根据计算得到的损失值更新所述深度提亮网络的网络参数。

在一个示例中，根据本循环过程中的rgb提亮图像、正常光照图像以及损失函数计算得到本循环过程中的损失值，并根据本循环过程中的损失值更新所述深度提亮网络的网络参数，以在不满足循环条件的情况下作为下一循环过程中的深度提亮网络。

在一个示例中，所述损失函数包括结构相似性函数、感知损失函数以及全变分函数。在这种情况下，所述损失函数被表示为下面的式子2。

[式子2]l＝l_ssim+l_per+0.001×l_tv

其中，l表示所述损失函数，l_ssim表示所述结构相似性函数，l_per表示所述感知损失函数，l_tv表示所述全变分函数。

在一个示例中，在弱光条件下拍摄的图像通常会有明显的结构失真问题，为了定性和定量的提高估计的质量，根据本发明的实施例的损失函数中使用了结构相似性(ssim)函数，其被表示为下面的式子3。

[式子3]

其中，x和y是要进行比较的两幅图像，即所述rgb提亮图像和正常光照图像(即目标图像)，μx和μy是两幅图像的平均值，σx和σy是两幅图像的方差。c1和c2是为防止分母为零的两个常数。

在一个示例中，根据本发明的实施例的损失函数中还使用了感知损失函数。这里，所述感知损失函数包括图像损失函数、特征重构损失函数以及风格重建损失函数，其中，所述图像损失函数表示所述rgb提亮图像和正常光照图像之间的均方误差。以下对特征重构损失函数以及风格重建损失函数进行说明。

特征重构损失(featurereconstructionloss)函数：不是让输出图像(即rgb提亮图像)的像素与目标图像(即正常光照图像)的像素精确匹配，而是让它们具有相似的特征表示。特征重构损失函数可以被表示为下面的式子4。

[式子4]

其中，φj(x)是处理低光照图像时神经网络φ(例如vgg网络)的第j层的激励。这里，j是一个卷积层，φj(x)代表形状为cj×hj×wj的特征图。是所述rgb提亮图像，y是正常光照图像(即目标图像)。特征重构损失函数是两个特征表征的平方归一欧式距离。

风格重建损失(stylereconstructionloss)函数：当输出图像(即rgb提亮图像)在内容上偏离目标图像(即正常光照图像)时，特征重构损失函数会训练好输出图像。但为了得到更好的颜色、纹理等，就要用到风格重建损失函数了。如上所述，将φj(x)作为神经网络φ上第j层对输入的x激励，则特征图形状为cj×hj×wj。定义格拉姆(gram)矩阵为cj×cj矩阵，则它的元素被表示为下面的式子5。

[式子5]

如果理解φj(x)为给定的cj-维特征，对每一个输入点在一个hj×wj网格上，然后是对cj-维特征非中心协方差的均匀化，每一个网格位置都当成一个独立的样本。因此，它得到了每一个特征倾向于去一起激活的特征信息。这个格拉姆矩阵可以被十分高效的计算，通过将φj(x)转化为一个形状为cj×hjwj的矩阵ψ，然后

那么，这个风格重建损失函数就是格拉姆矩阵的输出图像和目标图像间的平方佛罗贝尼斯范数，被表示为下面的式子6。

[6]

式子6表示了生成最小化风格重建损失的图像保留了目标图像的风格特征，但不保留其空间结构。

综上，感知损失函数可以被表示为下面的式子7。

[7]l_per＝image_loss+l_feat+l_style

其中，l_per表示所述感知损失函数，image_loss表示所述图像损失函数，l_feat表示所述特征重构损失函数，l_style表示所述风格重建损失函数。

在一个示例中，根据本发明的实施例的损失函数中还使用了全变分函数。通过低光照图像复原出来的正常光照图像可能具有不稳定的照明和噪声，这会降低视觉质量。所以使用全变分(totalvariation，tv)函数作为平滑度先验，以最小化整个图像的梯度。全变分函数l_tv被表示为下面的式子8。

[式子8]

其中，p表示像素值，i和j表示像素的标号，w和h表示特征图的尺寸。

继续参照图1，在框107中，判断是否满足循环结束条件。如果是，结束训练；如果否，进入框101。

这里，循环结束条件可以是指定的。在一个示例中，循环结束条件可以包括达到预定循环次数。

在另一个示例中，循环结束条件可以包括：更新上一循环过程中的深度提亮网络而得到的本循环过程中的低光照图像增强模型被判定为满足要求而无需继续训练。

图3是根据本发明的实施例的低光照图像增强模型的训练装置的方框图。

参照图3，根据本发明的实施例的低光照图像增强模型的训练装置300包括：接收模块310、第一转换模块320、深度提亮网络模块330、第二转换模块340、损失值计算模块350以及更新模块360。接收模块310、第一转换模块320、深度提亮网络模块330、第二转换模块340、损失值计算模块350以及更新模块360循环操作，直至满足循环结束条件。

接收模块310用于接收低光照rgb图像。第一转换模块320用于将所述低光照rgb图像转换成hsv图像。深度提亮网络模块330用于利用深度提亮网络对所述hsv图像进行提亮处理以得到hsv提亮图像。第二转换模块340用于将所述hsv提亮图像转换成rgb提亮图像。损失值计算模块350用于根据所述rgb提亮图像、正常光照图像以及损失函数计算得到损失值。更新模块360用于根据计算得到的损失值更新所述深度提亮网络的网络参数。

其中，循环结束条件包括：达到预定循环次数；或者更新上一循环过程中的深度提亮网络而得到的本循环过程中的低光照图像增强模型被判定为满足要求而无需继续训练。。

以上参照图1到图3，对根据本发明的实施例的低光照图像增强模型的训练方法和训练装置进行了描述。

根据本发明的实施例的低光照图像增强模型的训练装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。在本发明的实施例中，使用进行模型训练的装置例如可以利用电子设备来实现。

图4是示出了根据本发明的实施例的实现模型的训练方法的电子设备的方框图。

参照图4，电子设备400可以包括至少一个处理器410、存储器(例如，非易失性存储器)420、内存430和通信接口440，并且至少一个处理器410、存储器420、内存430和通信接口440经由总线450连接在一起。至少一个处理器410执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。

在一个示例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器410执行以下循环过程，直至满足循环结束条件：接收低光照rgb图像，并将所述低光照rgb图像转换成hsv图像；利用深度提亮网络对所述hsv图像进行提亮处理以得到hsv提亮图像，并将所述hsv提亮图像转换成rgb提亮图像；根据所述rgb提亮图像、正常光照图像以及损失函数计算得到损失值，并根据计算得到的损失值更新所述深度提亮网络的网络参数，其中，在未满足循环条件时，对上一循环过程中得到的rgb提亮图像进行暗化处理得到本循环过程中的低光照rgb图像，并且本循环过程中的深度提亮网络是上一循环过程中网络参数被更新后的深度提亮网络。

应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器410在进行根据本发明的各个实施例中结合以上图1至图3描述的各种操作和功能。

根据一个实施例，提供了一种例如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本发明的各个实施例中的结合以上图1至图3描述的各种操作和功能。

具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。

在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的实施例的一部分。

可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd-rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。

上述对本发明的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

在整个本说明书中使用的术语“示例性”、“示例”等意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

以上结合附图详细描述了本发明的实施例的可选实施方式，但是，本发明的实施例并不限于上述实施方式中的具体细节，在本发明的实施例的技术构思范围内，可以对本发明的实施例的技术方案进行多种简单变型，这些简单变型均属于本发明的实施例的保护范围。

本说明书内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本说明书内容。对于本领域普通技术人员来说，对本说明书内容进行的各种修改是显而易见的，并且，也可以在不脱离本说明书内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本说明书内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。