高光处理模型的训练方法、图像处理方法和装置与流程

本申请涉及图像处理，尤其涉及一种高光处理模型的训练方法、图像处理方法和装置。

背景技术：

1、随着电子设备的普及，用户经常使用电子设备(例如手机)拍摄，当手机拍摄受到过强环境光照射时，局部会出现高光反光的现象。高光反光会影响文档文字和图案等有用信息的辨识，给用户带来不佳的视觉感受。为此，研究在高光反光造成信息辨识削弱但依然视觉可辨的情况下，对图像进行高光处理有重要意义。

2、相关技术中，进行高光处理时会破坏图像的纹理，纹理修复较差的问题。

技术实现思路

1、本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本申请提出一种高光处理模型的训练方法、图像处理方法和装置，提高了高光处理模型训练的效果。

3、本申请一方面实施例提出了一种高光处理模型的训练方法，包括：

4、获取样本高光图像，以及所述样本高光图像对应的真实无高光图像；

5、将所述样本高光图像输入高光处理模型的高光检测网络，得到高光掩膜图像；

6、将所述样本高光图像和所述高光掩膜图像相减，得到未进行纹理修复的第一无高光图像；

7、将所述第一无高光图像、所述高光掩膜图像和所述样本高光图像输入所述高光处理模型的学习网络，得到目标背景纹理特征图；

8、将所述目标背景纹理特征图输入所述高光处理模型的纹理修复网络，得到纹理修复后的预测无高光图像；

9、根据所述第一无高光图像和所述真实无高光图像间的差异，以及根据所述预测无高光图像和所述真实无高光图像间的差异，对所述高光处理模型进行模型训练，以得到训练后的所述高光处理模型。

10、本申请另一方面实施例提出了一种图像处理方法，包括：

11、获取待处理的高光图像；

12、将所述高光图像输入经过训练的高光处理模型，以使所述高光处理模型对所述高光图像进行高光消除和纹理重建，得到无高光图像；其中，所述高光处理模型采用前述一方面所述的模型训练装置训练，以得到所述经过训练的高光处理模型。

13、本申请另一方面实施例提出了一种高光处理模型的训练装置，包括：

14、获取模块，用于获取样本高光图像，以及所述样本高光图像对应的真实无高光图像；

15、识别模块，用于将所述样本高光图像输入高光处理模型的高光检测网络，得到高光掩膜图像；

16、处理模型，用于将所述样本高光图像和所述高光掩膜图像相减，得到未进行纹理修复的第一无高光图像；

17、学习模块，用于将所述第一无高光图像、所述高光掩膜图像和所述样本高光图像输入所述高光处理模型的学习网络，得到目标背景纹理特征图；

18、修复模块，用于将所述目标背景纹理特征图输入所述高光处理模型的纹理修复网络，得到纹理修复后的预测无高光图像；

19、训练模块，用于根据所述第一无高光图像和所述真实无高光图像间的差异，以及根据所述预测无高光图像和所述真实无高光图像间的差异，对所述高光处理模型进行模型训练，以得到训练后的所述高光处理模型。

20、本申请另一方面实施例提出了一种图像处理装置，包括：

21、获取模块，用于获取待处理的高光图像；

22、处理模块，用于将所述高光图像输入经过训练的高光处理模型，以使所述高光处理模型对所述高光图像进行高光消除和纹理重建，得到无高光图像；其中，所述高光处理模型采用前述的模型训练装置训练，以得到所述经过训练的高光处理模型。

23、本申请另一方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述方法实施例所述的方法。

24、本申请另一方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述方法实施例所述的方法。

25、本申请另一方面实施例提出了一种计算机程序产品，其上存储有计算机程序，所述程序被处理器执行时实现如前述方法实施例所述的方法。

26、本申请提出的高光处理模型的训练方法、图像处理方法和装置，获取样本高光图像，以及样本高光图像对应的真实无高光图像，将样本高光图像输入高光处理模型，通过在模型中的高光检测网络和纹理修复网络中间增加了学习网络，使得学习网络基于高光检测网络的输出学习到有高光区域和无高光区域的全局的目标背景纹理特征，并利用目标背景纹理特征指导纹理修复网络进行纹理修复，以重建高光区域的非线性变化，生成高质量、纹理丰富的预测无高光图像，并基于第一无高光图像和真实无高光图像间的差异，以及预测无高光图像和真实无高光图像间的差异，对高光处理模型进行模型训练，以得到训练后的高光处理模型，使得训练得到的高光处理模型可以输出高质量、纹理丰富的无高光图像，提高了模型训练的效果。

27、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

技术特征：

1.一种高光处理模型的训练方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述根据所述第一无高光图像和所述真实无高光图像间的差异，以及根据所述预测无高光图像和所述真实无高光图像间的差异，对所述高光处理模型进行模型训练，以得到训练后的高光处理模型，包括：

3.如权利要求2所述的方法，其特征在于，所述根据所述第一无高光图像和所述真实无高光图像间的差异，以及根据所述预测无高光图像和所述真实无高光图像间的差异，确定目标损失函数，包括：

4.如权利要求3所述的方法，其特征在于，所述根据所述第一无高光图像和所述真实无高光图像间的差异，确定所述高光检测网络的第一损失函数，包括：

5.如权利要求3所述的方法，其特征在于，所述根据所述预测无高光图像和所述真实无高光图像确定的差异，确定所述纹理修复网络的第二损失函数，包括：

6.如权利要求1所述的方法，其特征在于，所述将所述第一无高光图像、所述高光掩膜图像和所述样本高光图像输入所述高光处理模型的学习网络，得到目标背景纹理特征图，包括：

7.如权利要求6所述的方法，其特征在于，所述第二特征提取层包含第一特征提取子层和第二特征提取子层，所述将所述高光掩膜图像和所述样本高光图像输入所述学习网络的第二特征提取层进行处理，得到第二背景纹理特征图，包括：

8.如权利要求1-7任一项所述的方法，其特征在于，所述将所述样本高光图像和所述高光掩膜图像相减，得到未进行纹理修复的所述第一无高光图像，包括：

9.一种图像处理方法，其特征在于，包括：

10.一种高光处理模型的训练装置，其特征在于，包括：

11.一种图像处理装置，其特征在于，包括：

12.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-8中任一所述的方法，或实现如权利要求9中任一所述的方法。

13.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一所述的方法，或实现如权利要求9中任一所述的方法。

技术总结
本申请提出一种高光处理模型的训练方法、图像处理方法和装置，其中，方法包括：获取样本高光图像，以及样本高光图像对应的真实无高光图像，将样本高光图像输入高光处理模型，通过在模型中的高光检测网络和纹理修复网络中间增加了学习网络，使得学习网络基于高光检测网络的输出学习到有高光区域和无高光区域的全局的目标背景纹理特征，并利用目标背景纹理特征指导纹理修复网络进行纹理修复，以重建高光区域的非线性变化，生成预测无高光图像，并基于第一无高光图像和真实无高光图像间的差异，以及预测无高光图像和真实无高光图像间的差异，训练高光处理模型，使得训练得到的高光处理模型可以输出高质量、纹理丰富的无高光图像。

技术研发人员：周代国,谢嘉仪,彭鑫,向晨,丁倩,罗飞,周富,谌金垚,肖春霞
受保护的技术使用者：小米科技（武汉）有限公司
技术研发日：
技术公布日：2024/1/14