一种图像处理方法、图像处理模型的训练方法和相关装置与流程

本申请涉及数据处理领域，特别是涉及一种图像处理方法和相关装置。

背景技术：

1、目前存在为视频或图像进行色彩调整的需求，例如视频或图像总体画面灰暗和色彩寡淡的问题，需要从亮度、对比度和饱和度等多个维度对视频或图像的色彩进行分析从而进行提升，尤其是老影片或老照片中很容易出现严重偏色甚至暗淡到接近消失的颜色问题，由于低质量的色彩分布呈现多样化的变化。通过人工智能可以为图像进行色彩调整，然而传统的色彩调整方法很难提供各种场景下的稳定色彩调整方案。

技术实现思路

1、为了解决上述技术问题，本申请提供了一种图像处理方法、图像处理模型的训练方法和相关装置，提升色彩调整的效果和风格稳定性。

2、本申请实施例公开了如下技术方案：

3、一方面，本申请提供一种图像处理方法，所述方法包括：

4、对待处理图像进行语义分割得到语义概率分布信息；

5、对所述语义概率分布信息进行特征提取得到语义特征；

6、对所述待处理图像的图像特征和所述语义特征进行特征融合得到融合语义特征；

7、根据所述融合语义特征得到全局特征和局部特征；

8、将所述局部特征与所述语义特征进行特征融合得到局部融合特征；

9、将所述全局特征和所述局部融合特征进行融合，得到目标融合语义特征；

10、根据所述目标融合语义特征得到针对所述待处理图像的色彩调整系数；

11、根据所述色彩调整系数对所述待处理图像进行处理，得到颜色增强图像。

12、另一方面，本申请提供一种图像处理模型的训练方法，所述图像处理模型用于执行所述的图像处理方法，所述方法包括：

13、利用参考图像和所述参考图像的退化图像对初始模型进行训练得到所述图像处理模型，在训练过程中，将所述参考图像的退化图像输入初始模型进行图像处理得到预测图像，基于所述参考图像和所述预测图像构建损失函数，根据所述损失函数将所述初始模型训练为所述图像处理模型。

14、另一方面，本申请提供一种图像处理装置，所述装置包括：

15、语义分割单元，用于对待处理图像进行语义分割得到语义概率分布信息；

16、特征提取单元，用于对所述语义概率分布信息进行特征提取得到语义特征；

17、第一特征融合单元，用于对所述待处理图像的图像特征和所述语义特征进行特征融合得到融合语义特征；

18、分支单元，用于根据所述融合语义特征得到全局特征和局部特征；

19、第二特征融合单元，用于将所述局部特征与所述语义特征进行特征融合得到局部融合特征；

20、第三特征融合单元，用于将所述全局特征和所述局部融合特征进行融合，得到目标融合语义特征；

21、系数确定单元，用于根据所述目标融合语义特征得到针对所述待处理图像的色彩调整系数；

22、图像处理单元，用于根据所述色彩调整系数对所述待处理图像进行处理，得到颜色增强图像。

23、另一方面，本申请提供一种图像处理模型的训练装置，其特征在于，所述图像处理模型用于执行所述的图像处理方法，所述装置包括：

24、训练单元，用于利用参考图像和所述参考图像的退化图像对初始模型进行训练得到所述图像处理模型，在训练过程中，将所述参考图像的退化图像输入初始模型进行图像处理得到预测图像，基于所述参考图像和所述预测图像构建损失函数，根据所述损失函数将所述初始模型训练为所述图像处理模型。

25、另一方面，本申请提供一种计算机设备，所述设备包括处理器以及存储器：

26、所述存储器用于存储计算机程序，并将所述计算机程序传输给所述处理器；

27、所述处理器用于根据所述计算机程序中的指令执行上述方面所述的图像处理方法或所述的图像处理模型的训练方法。

28、另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述方面所述的图像处理方法或所述的图像处理模型的训练方法。

29、另一方面，本申请实施例提供了一种包括计算机程序的计算机程序产品，当其在计算机设备上运行时，使得所述计算机设备执行所述的图像处理方法或所述的图像处理模型的训练方法。

30、由上述技术方案可以看出，可以对待处理图像进行语义分割得到语义概率分布信息，语义概率分布信息用于指示待处理图像每个像素点的语义分布概率，对语义概率分布信息进行特征提取得到语义特征，对待处理图像的图像特征和语义特征进行特征融合得到融合语义特征，融合语义特征考虑了待处理图像的图像特征和语义特征，因此可以通过语义特征来约束后续色彩调整系数，使图像调整能够保留更多的语义相关细节。根据融合语义特征得到全局特征和局部特征，将局部特征与语义特征进行特征融合得到局部融合特征，局部融合特征能够进一步体现局部的语义相关细节，之后将全局特征和局部融合特征进行融合，得到目标融合语义特征，这样目标融合语义特征可以含有语义特征且能够体现更多局部的语义相关细节，根据目标融合语义特征得到待处理图像的色彩调整系数之后，可以根据色彩调整系数对待处理图像进行处理，得到颜色增强图像，由于色彩调整系数受到了语义特征的影响，使对待处理图像的调整并非建立在色彩规律统计的基础上，而是考虑的语义特征，有利于稳定色彩调整的风格，保留局部细节，减少色彩跳变，提升色彩增强能力。

技术特征：

1.一种图像处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述语义概率分布信息进行特征提取得到语义特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述通过第i层空间特征变换卷积层对所述第i层图像特征和第i层语义特征进行特征融合，得到第i层融合语义特征，包括：

4.根据权利要求1-3任一项所述的方法，其特征在于，所述将所述全局特征和所述局部融合特征进行融合，得到目标融合语义特征，包括：

5.根据权利要求4所述的方法，其特征在于，对所述全局特征和所述待处理图像的位置编码信息进行编解码，以进行全局特征中不同区域块特征的融合得到全局融合特征，包括：

6.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述目标融合语义特征得到针对所述待处理图像的色彩调整系数，包括：

7.根据权利要求6所述的方法，其特征在于，所述对所述双边网格系数通过切片的方式进行上采，得到所述待处理图像的各个像素点对应的色彩调整系数，包括：

8.一种图像处理模型的训练方法，其特征在于，所述图像处理模型用于执行权利要求1-7任一项所述的图像处理方法，所述方法包括：

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

11.一种图像处理装置，其特征在于，所述装置包括：

12.一种图像处理模型的训练装置，其特征在于，所述图像处理模型用于执行权利要求1-7任一项所述的图像处理方法，所述装置包括：

13.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-7中任意一项所述的图像处理方法或权利要求8-10中任意一项所述的图像处理模型的训练方法。

15.一种包括计算机程序的计算机程序产品，其特征在于，当其在计算机设备上运行时，使得所述计算机设备执行权利要求1-7中任意一项所述的图像处理方法或权利要求8-10中任意一项所述的图像处理模型的训练方法。

技术总结
本申请公开了一种图像处理方法、图像处理模型的训练方法和相关装置。可用于云技术、人工智能、智慧交通、辅助驾驶等场景。对待处理图像进行语义分割得到语义概率分布信息，对语义概率分布信息进行特征提取得到语义特征，对待处理图像的图像特征和语义特征进行特征融合得到融合语义特征。根据融合语义特征得到全局特征和局部特征，将局部特征与语义特征进行特征融合得到局部融合特征，将全局特征和局部融合特征进行融合，得到目标融合语义特征，根据目标融合语义特征得到待处理图像的色彩调整系数，根据色彩调整系数对待处理图像进行处理得到颜色增强图像，由于色彩调整系数受到了语义特征的影响，有利于稳定色彩调整的风格，提升色彩增强能力。

技术研发人员：陈铭良,王子瑞
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15