一种基于RGB通道三边补偿的图像去摩尔纹方法

本发明涉及一种基于rgb通道三边补偿的图像去摩尔纹方法，尤其涉及基于深度学习技术的图像去摩尔纹效果处理领域。

背景技术：

1、摩尔纹是由于图像采集设备(如相机、扫描仪等)和显示设备(如显示屏)之间的光学差异，导致图像上出现的一种干扰性图案。它通常表现为在图像中出现的规则的亮暗条纹或波纹，同时会使图像的颜色出现偏移失真，会损害图像的质量和清晰度，也严重影响以图像为基础的许多下游任务，如目标检测，图像分割等等。

2、在当今世界数字屏幕无处不在，手机相机更是成为人们日常使用非常频繁的设备，许多场合都需要用到手机进行拍照，这其中就不可避免的对电子屏幕进行拍照，如会议记录等等，然而拍出来的照片多多少少都会存在被摩尔纹干扰而不清晰的情况，严重影响图片质量。摩尔纹问题在许多领域中都会出现，例如摄影、印刷、纹理分析等。

3、随着深度学习的发展，人们发现深度学习在图像处理领域表现出色，其在图像去摩尔纹中的应用也是可能的。深度学习可以利用其强大的特征学习能力和模式识别能力来减少或消除摩尔纹的影响。目前也有许多研究者使用深度学习方法进行了图像去摩尔纹任务的研究，并且取得了一定的成果，但是大部分研究普遍存在一个缺陷，就是对于摩尔纹图像的颜色恢复缺乏探索，尽管一些研究可以较好的去处摩尔纹图像中的条纹，但是图像颜色失真的问题还是没有得到解决。因此，在去除图像摩尔纹的同时恢复图像的颜色仍然需要探索。

技术实现思路

1、解决的技术问题：针对现有的去摩尔纹技术不能很好的恢复摩尔纹图像的颜色，本发明提出了一种基于rgb通道三边补偿的图像去摩尔纹方法，能在去除图像摩尔纹的同时最大程度的恢复图像的原有颜色，解决颜色失真问题。

2、实现步骤：本发明提出了一种基于rgb通道三边补偿的图像去摩尔纹方法，其基本步骤为：

3、步骤1：数据集准备；

4、获取步骤2中网络训练需要的图像数据集。

5、步骤2:构建基于rgb通道三边补偿的图像去摩尔纹网络模型。

6、网络模型包括rgb三通道分支的encoder模块，多通道特征融合模块和用于图像恢复的decoder模块。其中rgb三通道分支分别为r通道分支，g通道分支和b通道分支，每个分支各有一个encoder模块，三个分支分别从不同的颜色通道对摩尔纹图像进行特征编码，以获得摩尔纹图像的颜色信息。多通道特征融合模块接受来自r,g,b三个通道分支的图像编码特征，用于调整不同颜色通道特征的权重，以矫正图像的颜色信息。用于图像恢复的decoder模块接受多通道特征融合模块整合输出的rgb图像特征，逐步解码出清晰的图像。

7、步骤3:通过步骤1获得的图像数据集对构建的图像去摩尔纹网络模型进行训练；

8、步骤4：经过训练的图像去摩尔纹网络模型接收需要进行去摩尔纹处理的验证数据集图像，完成去摩尔纹处理后将图像输出。

9、进一步的，步骤1具体方法如下：

10、下载公开数据集uhdm数据集，数据集包含5000组不同场景的4k图像，每一组图像包含两张图像，即分别为被摩尔纹污染的摩尔纹图像imoire和原始的清晰图像iclear。5000组图像中有4500组图像用来作为训练数据集，另外500组图像作为验证数据集。其中摩尔纹图像imoire作为网络模型训练过程中的输入图像数据，而原始的清晰图像iclear作为网络模型训练过程中的用于与模型预测图像ipred进行对比的参考图像。

11、进一步的，encoder模块具体结构：每个encoder模块包含三个编码层(encoderlevel)，经过前两个encoder level后都使用双线性插值(bilinear)将特征进行下采样2倍，然后经过下一个encoder level。

12、每个encoder level具体结构：输入特征xun经过一个用于特征提取的残差密集块(residual dense block，rdb)模块得到输出特征xout，输出特征xout的特征大小和通道数都保持与输入特征xin相同，输出特征一方面经过下采样传输至下一个encoder level，另一方面通过跳跃连接传输到encoder模块对应的encoder level作为输入特征，具体连接方式如图1所示。

13、进一步的，rdb模块具体结构为：输入特征经过卷积核大小为3*3的膨胀卷积和relu激活函数后与经过卷积之前的特征在通道维度上连接起来，然后再经过4次上述的重复处理，5个膨胀卷积的膨胀率依次为1,2,3,2,1，以扩大感受野，然后经过一个1*1卷积得到与输入特征大小和通道数都相同的特征，最后该特征与输入特征通过残差链接得到输出特征。

14、进一步的，多通道特征融合模块具体结构：多通道特征融合模块的输入为三个来自不同分支encoder的输出特征。在多通道特征融合模块内部，首先将三个输入特征(即每个通道分支encoder模块的第3个encoder level的输出特征)在通道维度上进行连接组成一个包含不同通道分支的特征3c×h×w，然后在空间维度上使用全局平均池化得到3c×1×1的特征，通过多层感知机mlp模块进行权重分配，然后使用sigmoid函数进行权重归一化处理，最后将归一化后的权重与包含不同通道分支的特征3c×h×w进行相乘得到权重重新分配之后的输出特征。

15、进一步的，decoder模块具体结构：decoder模块的结构与encoder模块相对应，也分为三个decoder level，不同的是，decoder的前两个decoder level处理完特征之后需要经过上采样2倍，与encoder level正好相反，每个decoder level通过跳跃连接接受来自对应encoder level的输出特征。每个decoder level的内部处理与encoder level相同，输入特征xin经过一个用于特征提取的残差密集块模块(rdb)后得到decoder level的输出特征xout，只是输入与输出略有差别，第一个decoder level的输入特征为多通道特征融合模块处理后的权重重新分配之后的输出特征，第二个decoder level的输入特征为三个分支对应第2个encoder level的输出特征与来自第一个decoder level的输出特征在通道维度上进行连接之后的特征，第三个decoder level的输入特征为三个分支对应第1个encoderlevel的输出特征与来自第二个decoder level的输出特征在通道维度上进行连接之后的特征。此外，每个decoder level的输出都将经过一个3*3卷积和像素逆重组(pixelunshuffle)得到三通道的rgb图像即经过去摩尔纹处理的图片，将其与真实的清晰图像进行损失计算，用来监督模型的训练。

16、进一步的，完整网络的具体结构：网络模型包含三个不同通道的分支，第一个分支为输入图像的r通道经过像素重组(pixel shuffle)之后流经一个3*3卷积和relu激活函数，然后通过encoder模块处理。第二个分支为输入图像的g通道经过像素重组(pixelshuffle)之后流经一个3*3卷积和relu激活函数，然后通过encoder模块处理。第三个分支为输入图像的b通道经过像素重组(pixel shuffle)之后流经一个3*3卷积和relu激活函数，然后通过encoder模块处理。三个分支分别经过encoder模块处理之后将对应的特征输入多通道特征融合模块进行特征融合，融合之后的特征通过decoder模块进行图像的恢复，最后得到清晰的图像。

17、进一步的，步骤3具体方法如下：

18、网络模型的训练方式为首先输入步骤1中准备的摩尔图像imoire；然后，通过设计的网络模型得到所需要的经过去摩尔纹处理的图像ipred；最后，利用损失函数不断优化模型输出的经过去摩尔纹处理的图像ipred，使其逐渐相似于步骤1准备的数据集中的真实的清晰图像iclear。

19、训练过程中，损失函数l采用l1函数结合改进的索贝尔损失函数asl作为损失函数，改进的索贝尔损失函数与现有的索贝尔滤波器相比，改进的索贝尔滤波器提供了2个45度的附加滤波器。损失函数具体表示为：

20、loss＝l1(ipred，iclear)+k*asl(ipred，iclear)

21、其中k为模型超参数，用于平衡l1损失函数和索贝尔损失函数。训练采用多重监督策略来监督decoder模块的逐步输出，具体表示为：

22、loss_total＝loss(ipred1，iclear1)+loss(ipred2，iclear2)+loss(ipred3，iclear3)

23、其中ipred1，ipred2，ipred3分别为decoder模块的三个decoder level的预测图像，iclear1，iclear2，iclear3分别为对应尺寸的真实的清晰图像。

24、进一步的，步骤4具体方法如下：

25、加载由步骤3训练完成的图像去摩尔纹网络模型权重，更新模型中的参数。其次，将步骤1中的验证数据集摩尔纹图像imoire作为输入数据传入到网络模型中，输入数据依次经过encoder和decoder得到经过去摩尔纹处理的模型输出图像ipred3，注意，模型验证时只需要获得模型输出的最大图像与真实的清晰图像进行对比，即ipred3。

26、本发明有益效果如下：

27、本发明创新的提出了使用不同通道分支提取不同通道下的图像信息，并从每个通道中分别学习不同尺度下的摩尔纹信息并加以去除并进行颜色恢复。创新的提出了使用多通道特征融合模块将不同通道下的图像特征进行融合，使得每个通道分支都能借鉴其它分支的特征来完善本尺度分支的特征，提高模型去除摩尔纹和恢复颜色的能力。本发明能处理超高清的摩尔纹图像，并能取得很好的效果。