原始图像的处理方法、模型的训练方法、装置和设备与流程

本公开涉及图像处理技术，尤其是一种原始图像的处理方法、模型的训练方法、装置和设备。

背景技术：

1、在图像处理的应用中，由于受到光子计数限制和复杂的图像信号处理(imagesignal processing，简称：isp)所引起的各种噪声的影响，将低光下的原始图像(即raw图像)恢复成高质量的目标图像(比如rgb图像)是具有挑战性的任务。相关技术中，通常先将低光下的原始图像恢复为目标图像，再进行图像亮度增强，以提高图像质量，但是，从原始图像恢复的目标图像质量较低，导致最终增强后的图像质量较差。

技术实现思路

1、为了解决上述从原始图像恢复的目标图像质量较低等技术问题，本公开的实施例提供了一种原始图像的处理方法、模型的训练方法、装置和设备，以有效提高恢复的目标图像的质量。

2、本公开的第一个方面，提供了一种原始图像的处理方法，包括：获取待处理原始图像对应的目标多通道原始图像；基于所述目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得所述待处理原始图像对应的曝光恢复后原始图像；基于所述曝光恢复后原始图像，利用所述原始图像处理模型中的色彩增强网络，获得所述曝光恢复后原始图像对应的色彩增强结果；基于所述色彩增强结果，确定所述待处理原始图像对应的处理后的目标图像。

3、本公开的第二个方面，提供了一种原始图像处理模型的训练方法，包括：获取至少一个训练原始图像和各所述训练原始图像分别对应的训练目标图像标签；基于各所述训练原始图像，确定各所述训练原始图像分别对应的训练多通道原始图像；基于各所述训练多通道原始图像和各所述训练目标图像标签，对原始图像处理网络进行训练，获得训练好的原始图像处理模型，所述原始图像处理网络包括曝光恢复网络和色彩增强网络。

4、本公开的第三个方面，提供了一种原始图像的处理装置，包括：第一获取模块，用于获取待处理原始图像对应的目标多通道原始图像；第一处理模块，用于基于所述目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得所述待处理原始图像对应的曝光恢复后原始图像；第二处理模块，用于基于所述曝光恢复后原始图像，利用所述原始图像处理模型中的色彩增强网络，获得所述曝光恢复后原始图像对应的色彩增强结果；第三处理模块，用于基于所述色彩增强结果，确定所述待处理原始图像对应的处理后的目标图像。

5、本公开的第四个方面，提供了一种原始图像处理模型的训练装置，包括：第二获取模块，用于获取至少一个训练原始图像和各所述训练原始图像分别对应的训练目标图像标签；第四处理模块，用于基于各所述训练原始图像，确定各所述训练原始图像分别对应的训练多通道原始图像；训练处理模块，用于基于各所述训练多通道原始图像和各所述训练目标图像标签，对原始图像处理网络进行训练，获得训练好的原始图像处理模型，所述原始图像处理网络包括曝光恢复网络和色彩增强网络。

6、本公开的第五个方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的原始图像的处理方法，或者，用于执行本公开上述任一实施例所述的原始图像处理模型的训练方法。

7、本公开的第六个方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的原始图像的处理方法，或者，实现本公开上述任一实施例所述的原始图像处理模型的训练方法。

8、本公开的第七个方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令被处理器执行时，执行本公开上述任一实施例提供的原始图像的处理方法，或者，执行本公开上述任一实施例提供的原始图像处理模型的训练方法。

9、基于本公开上述实施例提供的原始图像的处理方法、模型的训练方法、装置和设备，基于原始图像处理模型中的曝光恢复网络和色彩增强网络实现了对原始图像的联合去噪去马赛克，通过曝光恢复网络去除原始图像因光照不足引起的像素级噪声，通过色彩增强网络有效模拟isp处理的色彩增强步骤，恢复细节和准确的颜色，从而恢复出高质量的目标图像，大大提高目标图像的质量。

技术特征：

1.一种原始图像的处理方法，包括：

2.根据权利要求1所述的方法，其中，所述基于所述曝光恢复后原始图像，利用所述原始图像处理模型中的色彩增强网络，获得所述曝光恢复后原始图像对应的色彩增强结果，包括：

3.根据权利要求2所述的方法，其中，所述利用所述色彩增强网络中的残差卷积网络，对所述第一注意力结果进行处理，获得第一中间结果，包括：

4.根据权利要求2所述的方法，其中，所述利用所述色彩增强网络中的第一色彩通道注意力网络，对所述曝光恢复后原始图像进行处理，获得第一注意力结果，包括：

5.根据权利要求1所述的方法，其中，所述基于所述目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得所述待处理原始图像对应的曝光恢复后原始图像，包括：

6.根据权利要求5所述的方法，其中，所述编码器网络包括第一数量个编码器，所述解码器网络包括分别与第一数量个编码器对应的第一数量个解码器；

7.根据权利要求1所述的方法，其中，所述获取待处理原始图像对应的目标多通道原始图像，包括：

8.根据权利要求1所述的方法，其中，所述获取待处理原始图像对应的目标多通道原始图像，包括：

9.根据权利要求8所述的方法，其中，在所述对所述第一原始图像进行归一化处理，获得归一化原始图像之前，还包括：

10.一种原始图像处理模型的训练方法，包括：

11.根据权利要求10所述的方法，其中，所述获取至少一个训练原始图像和各所述训练原始图像分别对应的训练目标图像标签，包括：

12.根据权利要求11所述的方法，还包括：

13.根据权利要求12所述的方法，其中，所述基于各所述训练曝光恢复后原始图像、各所述训练多通道长曝光原始图像、各所述预测目标图像和各所述训练目标图像标签，确定网络损失，包括：

14.一种原始图像的处理装置，包括：

15.一种原始图像处理模型的训练装置，包括：

16.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-9任一所述的原始图像的处理方法；或者，用于执行上述权利要求10-13任一所述的原始图像处理模型的训练方法。

17.一种电子设备，所述电子设备包括：

技术总结
本公开实施例公开了一种原始图像的处理方法、模型的训练方法、装置和设备，其中，原始图像的处理方法包括：获取待处理原始图像对应的目标多通道原始图像；基于目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得待处理原始图像对应的曝光恢复后原始图像；基于曝光恢复后原始图像，利用原始图像处理模型中的色彩增强网络，获得曝光恢复后原始图像对应的色彩增强结果；基于色彩增强结果，确定待处理原始图像对应的处理后的目标图像。本公开实施例基于原始图像处理模型中的曝光恢复网络和色彩增强网络实现了对原始图像的联合去噪去马赛克，从而恢复出高质量的目标图像，大大提高目标图像的质量。

技术研发人员：马嘉祺,王国利,张骞,黄畅
受保护的技术使用者：北京地平线信息技术有限公司
技术研发日：
技术公布日：2024/1/15