一种图像处理方法及电子设备与流程

本技术实施例涉及图像处理领域，尤其涉及一种图像处理方法及电子设备。

背景技术：

1、随着电子技术的发展，手机等电子设备的拍摄功能也得到了快速发展。为了提高拍摄质量，部分手机已经集成了高动态范围(high-dynamic range，hdr)功能。然而，手机采用hdr功能进行拍摄得到的hdr图像，亮度的动态范围比较大，这意味着图像中最亮和最暗部分之间差值非常大，如一般在0.001cd/m2-100000cd/m2。也就是说，存在亮的部分过曝，暗的部分过暗的情况，导致无法得到真实可用的图像。为了让电子设备呈现出的图像能够真实的反映出人眼所看到的场景，电子设备一般是通过多个串联的神经网络将hdr图像转换为低动态范围(low-dynamic range，ldr)图像后呈现给用户的。

2、但是，最终得到的ldr图像中存在严重的偏色和信息丢失，无法保证图像能够真实的反应人眼所看见的场景。

技术实现思路

1、基于此，本技术提供一种图像处理方法及电子设备，解决了高动态范围图像转换为低动态范围图像过程中的纹理细节丢失和颜色偏差的问题，提高了获得的低动态范围图像的准确性。

2、为达到上述目的，本技术的实施例采用如下技术方案：

3、第一方面，本技术提供一种图像处理方法。该方法中，电子设备获取高动态范围的第一图像，进而获取第一图像在亮度和颜色上到对应的低动态范围图像的全局映射关系和局部映射关系，即全局映射矩阵和局部映射矩阵。在确定全局映射矩阵和局部映射矩阵之后，基于全局映射矩阵，对第一图像进行亮度校正，获得第二图像；基于局部映射矩阵，对第一图像进行颜色校正，获得第一图像对应的低动态范围的第三图像。

4、其中，上述图像处理方法是基于一个神经网络实现的，也就是说采用一个神经网络可以实现色调映射，即实现将高动态范围的图像转换为低动态范围的图像，避免了误差累积，确保了最终输出的低动态图像的颜色的准确性。另外，该神经网络中包括两个独立的通道(如，基于全局映射矩阵对第一图像进行亮度校正的上通道和基于局部映射矩阵对第一图像进行颜色校正的下通道)，分别实现亮度和颜色的还原处理。可以看到的是，通过这两个独立的通道实现了亮度与颜色的部分解耦，避免了还原出的低动态范围图像的细节纹理丢失。综上，提高了获得的低动态范围图像的准确性。

5、另外，通过在神经网络内部进行颜色校正处理，避免了对图像的负数截断和高位截取，进一步确保了纹理细节的准确还原。

6、在第一方面的一种可实现方式中，在获得第一图像之后，还可以对第一图像进行下采样处理。也就是说将获得的第一图像进行图像大小的压缩处理，从而降低图像中像素值的数量，较少计算量。

7、在第一方面的一种可实现方式中，获取第一图像的全局映射矩阵和局部映射矩阵可以包括：获取第一图像的图像特征，接着基于图像特征确定第一图像的全局特征和局部特征，根据得到的全局特征和局部特征与不同的权重系数确定对应的全局映射矩阵和局部映射矩阵。如基于全局特征、局部特征和第一权重系数确定全局映射矩阵，基于全局特征、局部特征和第二权重系数确定局部映射矩阵。

8、通过第一图像的全局映射矩阵和局部映射矩阵来分别对亮度和颜色进行还原处理。由于全局映射矩阵和布局映射矩阵中不仅包括全局特征，还包括局部特征，也就是说，在进行亮度和颜色还原时，不仅考虑了图像的全局特征，还考虑了图像的局部特征，即通过参数共享机制，实现亮度与颜色相互作用，进一步避免了还原出的低动态范围图像的纹理细节丢失。另外，因为对于全局特征来说，更加侧重反映的是亮度效果，所以通过第一权重系数中全局特征对应的权重值大于局部特征对应的权重值，保证对亮度的主处理；同理，对于局部特征来说，更加侧重反映的是颜色效果，所以通过第二权重系数中的局部特征对应的权重值大于全局特征对应的权重值，保证对颜色的主处理。进一步降低了图像的纹理细节丢失和颜色偏差的概率，从而保证了最后输出的第三图像从整体到局部的细节和颜色更加清楚准确。

9、在第一方面的一种可实现方式中，对第一图像的亮度进行校正可以包括：先获取第一图像的纹理信息，根据纹理信息对第一图像的全局映射矩阵进行插值处理，得到处理后的映射关系图，基于映射关系图，对第一图像进行亮度校正，以获得第二图像。如，可以通过如下公式获得第二图像。

10、contrast(r，g，b)(x，y)＝input(r，g，b)(x，y)*gain_map(x，y)

11、其中，contrast(r，g，b)为第二图像，input(r，g，b)(x，y)为第一图像，gain_map(x，y)为映射关系图。

12、上述通过先确定映射关系图，再基于映射关系图对第一图像进行亮度校正，从而得到校正后的第二图像，保证了图像亮度对齐的效果。

13、在第一方面的一种可实现方式中，对第一图像的颜色进行校正可以包括：先基于第二图像和局部映射矩阵确定颜色校正矩阵，如可以利用第二图像对局部校正矩阵进行插值处理，从而获得颜色校正矩阵，接着基于颜色校正矩阵对第一图像的颜色进行校正，如可以基于颜色校正矩阵，对第二图像的rgb通道进行颜色校正，从而确定校正后的图像，即第三图像。也就是说第三图像是亮度和颜色均校正后的图像，即低动态范围的图像。如，可通过如下公式获得第三图像。

14、r’(x，y)＝a0(x，y)*r(x，y)+a1(x，y)*g(x，y)+a2(x，y)*b(x，y)

15、g’(x，y)＝b0(x，y)*r(x，y)+b1(x，y)*g(x，y)+b2(x，y)*b(x，y)

16、b’(x，y)＝c0(x，y)*r(x，y)+c1(x，y)*g(x，y)+c2(x，y)*b(x，y)

17、其中，a0、a1、a2、b0、b1、b2、c0、c1、c2为颜色校正矩阵中的系数；r(x，y)、g(x，y)、b(x，y)为r通道、g通道、b通道的第二图像；r’(x，y)、g’(x，y)、b’(x，y)为r通道、g通道、b通道经颜色校正矩阵处理后的图像。

18、上述通过对亮度和颜色分开校正处理，保证颜色与亮度的部分解耦，以及对其参数共享处理，保证颜色与亮度的相互作用，从而有效的保证最终输出的第三图像的颜色准确，细节清楚，提高用户的体验感。

19、在第一方面的一种可实现方式中，对于上述神经网络，可以将亮度约束和颜色约束作为图像输出的约束条件来对神经网络进行训练，从而保证通过神经网络处理得到的满足对应约束条件，如上通道输出的图像符合亮度的约束条件，下通道输出的图像符合颜色的约束条件。从而保证了将高动态范围图像转换为低动态范围图像的完成度。

20、第二方面，本技术提供了一种图像处理装置，该装置具有实现上述第一方面的所述方法中电子设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，例如，输入单元或模块，显示单元或模块，处理单元或模块。

21、第三方面，提供了一种电子设备，该电子设备包括：处理器；存储器；摄像模组；以及计算机程序，其中，计算机程序存储在存储器上，当计算机程序被处理器执行时，使得电子设备执行如上述第一方面及其任一实现方式中的图像处理方法。

22、第四方面，提供了一种计算机可读存储介质，计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备可以执行上述第一方面中任一项所述的方法。

23、第五方面，提供了一种包含指令的计算机程序产品，当其在电子设备上运行时，使得电子设备可以执行上述第一方面及其任一实现方式中的图像处理方法。

24、第六方面，本技术实施例提供了一种芯片，芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行如第一方面及其任一实现方式中的图像处理方法。

25、可以理解地，上述提供的第二方面所述的装置，第三方面所述的电子设备，第四方面所述的计算机可读存储介质，第五方面所述的计算机程序产品，第六方面所述的芯片所能达到的有益效果，可参考第一方面及其任一种可能的实现方式中的有益效果，此处不再赘述。