一种图像融合方法、装置、电子设备及存储介质与流程

1.本发明涉及图像处理技术领域，特别是涉及一种图像融合方法、装置、电子设备及存储介质。


背景技术：

2.图像的拍摄场景复杂多样，场景中可能同时存在多个光源，光源可能为阳光、车灯、白炽灯、荧光灯、月光等，在这种场景下拍摄图像时会受到不同光源的影响，拍摄的图像会存在偏色的现象。图像中部分区域可能发黄或者发蓝，导致图像的视觉效果失真。
3.目前的图像偏色问题处理方式中，通常采用一个固定的色温值对图像进行全局白平衡校正。在复杂光源下拍摄的图像经过全局校正，只能达到部分区域不偏色，其他部分区域仍然存在偏色问题。
4.例如，按照高色温对图像进行校正，图像中低色温部分就会偏黄；按照低色温对图像进行校正，图像中高色温部分就会偏蓝。如果采用单色温对图像进行全局白平衡校正，那么图像中低色温部分和高色温部分都会存在颜色偏差。可见，目前的图像偏色问题处理方式并不能很好的解决复杂关照环境下拍摄的图像的偏色问题。


技术实现要素：

5.本发明实施例的目的在于提供一种图像融合方法、装置、电子设备及存储介质，以解决复杂光照环境下拍摄的图像的偏色问题。具体技术方案如下：
6.第一方面，本发明实施例提供了一种图像融合方法，所述方法包括：
7.获取待处理图像；
8.采用第一白平衡参数对所述待处理图像进行白平衡校正，得到第一图像，并采用第二白平衡参数对所述待处理图像进行白平衡校正，得到第二图像；其中，所述第一图像的色温高于所述第二图像的色温；
9.提取所述第一图像的饱和度特征，作为第一饱和度特征，并提取所述第二图像的饱和度特征，作为第二饱和度特征；
10.基于所述第一饱和度特征以及图像白平衡与饱和度的关系，确定所述第一图像对应的第一融合权重，并基于所述第二饱和度特征以及图像白平衡与饱和度的关系，确定所述第二图像对应的第二融合权重；其中，融合权重用于标识图像中对应的像素点接近于实际颜色的程度；
11.基于所述第一融合权重以及所述第二融合权重，对所述第一图像和所述第二图像进行图像融合，得到融合后的图像。
12.可选的，所述提取所述第一图像的饱和度特征，作为第一饱和度特征，并提取所述第二图像的饱和度特征，作为第二饱和度特征的步骤，包括：
13.针对所述第一图像中的每个像素点，计算该像素点的r、g、b值中的最大值与最小值的差值，作为该像素点对应的第一饱和度特征；
14.针对所述第二图像中的每个像素点，计算该像素点的r、g、b值中的最大值与最小值的差值，作为该像素点对应的第二饱和度特征。
15.可选的，所述基于所述第一饱和度特征以及图像白平衡与饱和度的关系，确定所述第一图像对应的第一融合权重，并基于所述第二饱和度特征以及图像白平衡与饱和度的关系，确定所述第二图像对应的第二融合权重的步骤，包括：
16.针对所述第一图像中的每个像素点，根据该像素点对应的第一饱和度特征以及预设的饱和度特征与可信度之间的对应关系，确定该像素点对应的第一可信度；其中，所述可信度用于表示图像中对应的像素点的r、g、b值的可信程度；
17.针对所述第二图像中的每个像素点，根据该像素点第二饱和度特征以及所述对应关系，确定该像素点对应的第二可信度；
18.基于所述第一可信度以及所述第二可信度，确定所述第一图像中的每个像素点对应的第一融合权重以及所述第二图像中的每个像素点对应的第二融合权重。
19.可选的，所述基于所述第一可信度以及所述第二可信度，确定所述第一图像中的每个像素点对应的第一融合权重以及所述第二图像中的每个像素点对应的第二融合权重的步骤，包括：
20.针对所述第一图像中的每个像素点，计算该像素点对应的第一可信度与第一目标值之间的比值，作为该像素点对应的第一融合权重；其中，所述第一目标值为该像素点对应的第一可信度与所述第二图像中与该像素点位置相同的像素点所对应的第二可信度之和；
21.针对所述第二图像中的每个像素点，计算该像素点对应的第二可信度与第二目标值之间的比值，作为该像素点对应的第二融合权重；其中，所述第二目标值为该像素点对应的第二可信度与所述第一图像中与该像素点位置相同的像素点所对应的第一可信度之和；或，
22.针对所述第二图像中的每个像素点，将1与所述第一图像中与该像素点位置相同的像素点所对应的第一融合权重之间的差值，确定为该像素点对应的第二融合权重。
23.可选的，所述对应关系为预设的饱和度特征与可信度之间的关系曲线，所述可信度与所述饱和度特征呈负相关关系；
24.所述针对所述第一图像中的每个像素点，根据该像素点对应的第一饱和度特征以及预设的饱和度特征与可信度之间的对应关系，确定该像素点对应的第一可信度的步骤，包括：
25.针对所述第一图像中的每个像素点，根据该像素点对应的第一饱和度特征，确定所述关系曲线中该第一饱和度特征对应的可信度坐标值，将该可信度坐标值确定为该像素点对应的第一可信度；
26.所述针对所述第二图像中的每个像素点，根据该像素点第二饱和度特征以及所述对应关系，确定该像素点对应的第二可信度的步骤，包括：
27.针对所述第二图像中的每个像素点，根据该像素点对应的第二饱和度特征，确定所述关系曲线中该第二饱和度特征对应的可信度坐标值，将该可信度坐标值确定为该像素点对应的第二可信度。
28.可选的，所述基于所述第一融合权重以及所述第二融合权重，对所述第一图像和所述第二图像进行图像融合，得到融合后的图像的步骤，包括：
29.将所述第一图像与所述第二图像中位置相同的像素点的r、g、b值，按照对应的第一融合权重以及第二融合权重进行加权求和，作为融合后的该位置处的像素点的r、g、b值，得到融合后的图像。
30.第二方面，本发明实施例提供了一种图像融合装置，所述装置包括：
31.图像获取模块，用于获取待处理图像；
32.白平衡校正模块，用于采用第一白平衡参数对所述待处理图像进行白平衡校正，得到第一图像，并采用第二白平衡参数对所述待处理图像进行白平衡校正，得到第二图像；其中，所述第一图像的色温高于所述第二图像的色温；
33.饱和度特征提取模块，用于提取所述第一图像的饱和度特征，作为第一饱和度特征，并提取所述第二图像的饱和度特征，作为第二饱和度特征；
34.融合权重确定模块，用于基于所述第一饱和度特征以及图像白平衡与饱和度的关系，确定所述第一图像对应的第一融合权重，并基于所述第二饱和度特征以及图像白平衡与饱和度的关系，确定所述第二图像对应的第二融合权重；其中，融合权重用于标识图像中对应的像素点接近于实际颜色的程度；
35.图像融合模块，用于基于所述第一融合权重以及所述第二融合权重，对所述第一图像和所述第二图像进行图像融合，得到融合后的图像。
36.可选的，所述饱和度特征提取模块包括：
37.第一饱和度特征提取单元，用于针对所述第一图像中的每个像素点，计算该像素点的r、g、b值中的最大值与最小值的差值，作为该像素点对应的第一饱和度特征；
38.第二饱和度特征提取单元，用于针对所述第二图像中的每个像素点，计算该像素点的r、g、b值中的最大值与最小值的差值，作为该像素点对应的第二饱和度特征。
39.可选的，所述融合权重确定模块包括：
40.第一可信度确定单元，用于针对所述第一图像中的每个像素点，根据该像素点对应的第一饱和度特征以及预设的饱和度特征与可信度之间的对应关系，确定该像素点对应的第一可信度；其中，所述可信度用于表示图像中对应的像素点的r、g、b值的可信程度；
41.第二可信度确定单元，用于针对所述第二图像中的每个像素点，根据该像素点第二饱和度特征以及所述对应关系，确定该像素点对应的第二可信度；
42.融合权重确定单元，用于基于所述第一可信度以及所述第二可信度，确定所述第一图像中的每个像素点对应的第一融合权重以及所述第二图像中的每个像素点对应的第二融合权重。
43.可选的，所述融合权重确定单元包括：
44.第一融合权重子单元，用于针对所述第一图像中的每个像素点，计算该像素点对应的第一可信度与第一目标值之间的比值，作为该像素点对应的第一融合权重；其中，所述第一目标值为该像素点对应的第一可信度与所述第二图像中与该像素点位置相同的像素点所对应的第二可信度之和；
45.第二融合权重子单元，用于针对所述第二图像中的每个像素点，计算该像素点对应的第二可信度与第二目标值之间的比值，作为该像素点对应的第二融合权重；其中，所述第二目标值为该像素点对应的第二可信度与所述第一图像中与该像素点位置相同的像素点所对应的第一可信度之和；或，
46.用于针对所述第二图像中的每个像素点，将1与所述第一图像中与该像素点位置相同的像素点所对应的第一融合权重之间的差值，确定为该像素点对应的第二融合权重。
47.可选的，所述对应关系为预设的饱和度特征与可信度之间的关系曲线，所述可信度与所述饱和度特征呈负相关关系，所述第一可信度确定单元包括：
48.第一可信度确定子单元，用于针对所述第一图像中的每个像素点，根据该像素点对应的第一饱和度特征，确定所述关系曲线中该第一饱和度特征对应的可信度坐标值，将该可信度坐标值确定为该像素点对应的第一可信度；
49.所述第二可信度确定单元包括：
50.第二可信度确定子单元，用于针对所述第二图像中的每个像素点，根据该像素点对应的第二饱和度特征，确定所述关系曲线中该第二饱和度特征对应的可信度坐标值，将该可信度坐标值确定为该像素点对应的第二可信度。
51.可选的，所述图像融合模块包括：
52.图像融合单元，用于将所述第一图像与所述第二图像中位置相同的像素点的r、g、b值，按照对应的第一融合权重以及第二融合权重进行加权求和，作为融合后的该位置处的像素点的r、g、b值，得到融合后的图像。
53.第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
54.存储器，用于存放计算机程序；
55.处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。
56.第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
57.本发明实施例有益效果：
58.本发明实施例提供的方案中，电子设备可以获取待处理图像；采用第一白平衡参数对所述待处理图像进行白平衡校正，得到第一图像，并采用第二白平衡参数对所述待处理图像进行白平衡校正，得到第二图像；其中，所述第一图像的色温高于所述第二图像的色温；电子设备还可以提取所述第一图像的饱和度特征，作为第一饱和度特征，并提取所述第二图像的饱和度特征，作为第二饱和度特征；基于所述第一饱和度特征以及图像白平衡与饱和度的关系，电子设备可以确定所述第一图像对应的第一融合权重，并基于所述第二饱和度特征以及图像白平衡与饱和度的关系，确定所述第二图像对应的第二融合权重；其中，融合权重用于标识图像中对应的像素点接近于实际颜色的程度；基于所述第一融合权重以及所述第二融合权重，电子设备可以对所述第一图像和所述第二图像进行图像融合，得到融合后的图像。图像饱和度表示图像颜色的鲜艳程度；饱和度越高，图像越鲜艳，饱和度越低，图像越无彩，所以可以用来度量图像接近“白”的程度；由于图像白平衡与饱和度存在关系，可以使用图像饱和度特征度量其白平衡；基于图像的饱和度特征，可以得到图像对应的融合权重。因此，图像融合过程中，两幅图像中越接近于实际颜色的像素点的融合权重越大，融合后的颜色越接近实际颜色，这样，融合后的图像颜色更加真实，解决了复杂光照环境下拍摄的图像的偏色问题，提高了图像的显示效果。
附图说明
59.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
60.图1为本发明实施例所提供的一种图像融合方法的流程图；
61.图2为图1所示实施例中技术方案的流程图；
62.图3(a)为图1所示实施例中步骤s102中的第一图像的一种示意图；
63.图3(b)为图1所示实施例中步骤s102中的第二图像的一种示意图；
64.图4为基于图1所示实施例中步骤s104的一种具体流程图；
65.图5为图1所示实施例中一种实施方式的示意图；
66.图6为图2所示实施例中双色温融合算法的流程图；
67.图7为图1所示实施例中步骤s105中的融合后的图像的一种示意图；
68.图8为图7所示图像的标注对照图的一种示意图；
69.图9为本发明实施例所提供的一种图像融合装置的结构示意图；
70.图10为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
71.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本发明所获得的所有其他实施例，都属于本发明保护的范围。
72.为了解决复杂光照环境下拍摄的图像的偏色问题，提高图像的显示效果，本发明实施例提供了一种图像融合方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，下面首先对本发明实施例所提供的一种图像融合方法进行介绍。
73.本发明实施例所提供的图像融合方法可以应用于任意需要进行图像偏色问题调整的电子设备，例如，可以为电脑、摄像机、处理设备等，在此不做具体限定，其可以对图像进行白平衡参数调整等处理。为了描述清楚，后续称为电子设备。
74.如图1所示，一种图像融合方法，所述方法包括：
75.s101，获取待处理图像；
76.s102，采用第一白平衡参数对所述待处理图像进行白平衡校正，得到第一图像，并采用第二白平衡参数对所述待处理图像进行白平衡校正，得到第二图像；
77.其中，所述第一图像的色温高于所述第二图像的色温。
78.s103，提取所述第一图像的饱和度特征，作为第一饱和度特征，并提取所述第二图像的饱和度特征，作为第二饱和度特征；
79.s104，基于所述第一饱和度特征以及图像白平衡与饱和度的关系，确定所述第一图像对应的第一融合权重，并基于所述第二饱和度特征以及图像白平衡与饱和度的关系，确定所述第二图像对应的第二融合权重；
80.其中，融合权重用于标识图像中对应的像素点接近于实际颜色的程度。
81.s105，基于所述第一融合权重以及所述第二融合权重，对所述第一图像和所述第二图像进行图像融合，得到融合后的图像。
82.可见，本发明实施例提供的方案中，电子设备可以获取待处理图像；采用第一白平衡参数对所述待处理图像进行白平衡校正，得到第一图像，并采用第二白平衡参数对所述待处理图像进行白平衡校正，得到第二图像；其中，所述第一图像的色温高于所述第二图像的色温；电子设备还可以提取所述第一图像的饱和度特征，作为第一饱和度特征，并提取所述第二图像的饱和度特征，作为第二饱和度特征；基于所述第一饱和度特征以及图像白平衡与饱和度的关系，电子设备可以确定所述第一图像对应的第一融合权重，并基于所述第二饱和度特征以及图像白平衡与饱和度的关系，确定所述第二图像对应的第二融合权重；其中，融合权重用于标识图像中对应的像素点接近于实际颜色的程度；基于所述第一融合权重以及所述第二融合权重，电子设备可以对所述第一图像和所述第二图像进行图像融合，得到融合后的图像。图像饱和度表示图像颜色的鲜艳程度；饱和度越高，图像越鲜艳，饱和度越低，图像越无彩，所以可以用来度量图像接近“白”的程度；由于图像白平衡与饱和度存在关系，可以使用图像饱和度特征度量其白平衡；基于图像的饱和度特征，可以得到图像对应的融合权重。因此，图像融合过程中，两幅图像中越接近于实际颜色的像素点的融合权重越大，融合后的颜色越接近实际颜色，这样，融合后的图像颜色更加真实，解决了复杂光照环境下拍摄的图像的偏色问题，提高了图像的显示效果。
83.为了记录某一时刻某场景的画面，可以使用摄影机对该场景进行拍摄，但由于拍摄的场景的复杂多样，场景中可能同时存在多个光源，因此在这种场景下拍摄图像时会受到不同光源的影响，拍摄的图像会存在偏色的现象，具体表现为拍摄的图像在显示时，某些区域会发黄或者发蓝。
84.例如，在同时存在白炽灯和荧光灯的场景拍摄的图像，由于白炽灯发出的光色温低，拍摄的图像中白炽灯照射的部分区域在显示时人眼看上去会发黄，而荧光灯发出的光色温高，拍摄的图像中荧光灯照射的部分区域在显示时人眼看上去会发蓝。这种在复杂光照环境下拍摄的图像存在偏色问题，需要进行处理，可以作为待处理图像。
85.在上述步骤s101中，电子设备可以获取待处理图像，该待处理图像可以为摄像机实时拍摄的图像，也可以为上述电子设备预先存储的图像等，在此不作限定。
86.电子设备获取待处理图像后，可以采用第一白平衡参数对待处理图像进行白平衡校正，得到第一图像，并采用第二白平衡参数对待处理图像进行白平衡校正，得到第二图像，即执行上述步骤s102。
87.由于待处理图像是在复杂光源环境中拍摄的图像，所以待处理图像中一般会存在两种偏色区域，分别为高色温的光源照射的色彩偏蓝的区域和低色温的光源照射的色彩偏黄的区域。电子设备可以选择两个色温参数对待处理图像进行白平衡校正，其中，较高的色温参数用于针对色彩偏蓝的区域进行校正，较低的色温参数用于针对色彩偏黄的区域进行校正。
88.通过较高的色温参数对上述对待处理图像进行白平衡校正，可以将上述偏蓝的区域的色彩校正为更加接近真实色彩，得到第一图像。通过较低的色温参数对上述对待处理图像进行白平衡校正，可以使上述偏黄的区域色彩校正为更加接近真实色彩，得到第二图像，也就是说，第一图像的色温高于第二图像的色温。
89.在一种实施方式中，如图2所示，针对相机拍摄的源码流，可以经过两路图像信号预处理系统，用于分别对上述源码流中的待处理图像进行暖光白平衡即低色温白平衡校正，以及冷光白平衡即高色温白平衡校正。其中，该两路图像信号处理系统所采用的白平衡参数不同，其它参数均可以相同。
90.例如，待处理图像的左半边区域光源为白炽灯，色彩显示偏黄，右半边区域光源为荧光灯，色彩显示偏蓝，待处理图像经过高色温白平衡校正后的第一图像如图3(a)所示，经过低色温白平衡校正后的第二图像如图3(b)所示。
91.在图3(a)和图3(b)中，区域301和区域303对应于待处理图像中左边偏黄区域，区域302和区域304对应于待处理图像中右边偏蓝区域。经过上述高色温白平衡校正，区域302比区域304更接近实际颜色；经过上述低色温白平衡校正，区域303比区域301更接近实际颜色。
92.如图2所示，得到上述第一图像和第二图像后，电子设备可以将第一图像和第二图像进行双色温融合后优化输出，获得融合后的图像，融合后的图像色彩更接近实际颜色，以解决偏色问题。
93.具体来说，电子设备可以提取第一图像的饱和度特征，作为第一饱和度特征，并提取第二图像的饱和度特征，作为第二饱和度特征，也就是执行上述步骤s103。
94.图像饱和度表示图像颜色的鲜艳程度，图像饱和度越高，图像色彩越鲜艳，图像饱和度越低，图像则看上去越无彩，也就是说，图像饱和度可以用于度量图像接近于“白”的程度。在图像拍摄的过程中，实际颜色为白色的部分更容易出现偏色问题，所以图像中白色区域越接近于真实的白色，其他色彩则更不容易出现偏色问题，则说明图像的偏色问题越小，越接近于真实颜色，所以图像饱和度也就可以用于表征图像接近于真实颜色的程度。因此，电子设备可以提取第一图像的第一饱和度特征，以及提取第二图像的第二饱和度特征。
95.图像中每个像素点的色彩是由r(red，红)、g(green，绿)、b(blue，蓝)三原色的值决定的，r、g、b值的范围为0
‑
255，r、g、b不同的值组成不同的颜色。图像的饱和度与r、g、b、三色值相关，所以作为一种实施方式，电子设备可以根据第一图像中每个像素点的r、g、b值，确定第一图像的第一饱和度特征，根据第二图像中每个像素点的r、g、b值，确定第二图像的第二饱和度特征。
96.进而，在上述步骤s104中，电子设备可以基于第一饱和度特征以及图像白平衡与饱和度的关系，确定第一图像对应的第一融合权重，并基于第二饱和度特征以及图像白平衡与饱和度的关系，确定第二图像对应的第二融合权重。
97.由于图像白平衡与饱和度的关系为：图像饱和度可以用于表征图像接近于真实颜色的程度，所以电子设备可以基于第一饱和度特征以及图像白平衡与饱和度的关系，确定第一图像对应的第一融合权重，并基于第二饱和度特征以及图像白平衡与饱和度的关系，确定第二图像对应的第二融合权重。其中，融合权重用于标识图像中对应的像素点接近于实际颜色的程度。
98.确定了上述第一融合权重和第二融合权重后，电子设备可以执行上述步骤s105，即电子设备可以基于第一融合权重以及第二融合权重，对第一图像和第二图像进行图像融合，得到融合后的图像。作为一种实施方式，由于像素点的饱和度越高，其接近于实际颜色的程度就越低，其相应的融合权重也就可以越低，那么在图像融合的过程中，该像素点的r、
g、b值的贡献也就越小；相反的，像素点的饱和度越低，其接近于实际颜色的程度就越高，其相应的融合权重可以越大，在图像融合的过程中该像素点的r、g、b值的贡献也就越大。
99.可见，采用本发明实施例所提供的方案进行图像融合，电子设备可以将待处理图像进行白平衡处理，获得两张白平衡不同的图像，通过对上述图像进行饱和度特征提取，再计算出上述图像的融合权重，越接近实际颜色的图像融合权重越大，最后将上述两张图像按照相应的融合权重进行融合，得到融合后的图像，融合后的图像色彩更接近实际颜色。本发明实施例所提供的图像融合方案解决了复杂光照环境下拍摄的图像的偏色问题，提高了图像的显示效果。同时，该方法不依赖于额外硬件，应用范围广、门槛低、具有可推广性。
100.作为本发明实施例的一种实施方式，上述提取所述第一图像的饱和度特征，作为第一饱和度特征，并提取所述第二图像的饱和度特征，作为第二饱和度特征的步骤，可以包括：
101.针对所述第一图像中的每个像素点，计算该像素点的r、g、b值中的最大值与最小值的差值，作为该像素点对应的第一饱和度特征；针对所述第二图像中的每个像素点，计算该像素点的r、g、b值中的最大值与最小值的差值，作为该像素点对应的第二饱和度特征。
102.电子设备可以针对第一图像和第二图像中的每个像素点来计算其饱和度特征。具体来说，针对图像的每个像素点，其色彩是由r、g、b值决定的，r、g、b值的范围为0
‑
255，像素点的饱和度特征与r、g、b、三色值相关，在一种实施方式中，图像的每个像素点的饱和度特征可以采用以下公式计算得到：
[0103][0104]
其中，s(x)为像素点x的饱和度特征，max
c∈{r,g,b}
i
c
(x)为像素点x的r、g、b值中的最大值，min
c∈{r,g,b}
i
c
(x)为像素点x的r、g、b值中的最小值。而上式中含有一个除法操作，在图像亮度值极低区域，计算结果通常不稳定，也即数值不平滑，所以本实施例中可以采用以下公式计算每个像素点的饱和度特征：
[0105][0106]
也就是说，针对图像中的每个像素点，可以计算该像素点的r、g、b值中的最大值与最小值的差值，作为该像素点对应的饱和度特征，饱和度特征的值的范围为0
‑
255。
[0107]
例如，上述第一图像的某个像素点的r、g、b值分别为200、255、50，其中最大值为255，最小值为50，按照上式可以计算得出该像素点的饱和度特征为255
‑
50＝205；又例如，上述第二图像的某个像素点的r、g、b值分别为128、128、128，其中最大值为128，最小值为128，通过计算，可以得出该像素点的饱和度特征为128
‑
128＝0。
[0108]
可见，在本实施例中，针对第一图像和第二图像中的每个像素点，电子设备可以计算该像素点的r、g、b值中的最大值与最小值的差值，作为该像素点对应的饱和度特征，进而获得第一图像的第一饱和度特征和第二图像的第二饱和度特征。可以得到能够表征各个像素点接近于真实色彩的程度的饱和度特征，进而保证后续图像融合得到的融合后的图像可以尽可能接近真实颜色，进一步提高图像的显示效果。
[0109]
作为本发明实施例的一种实施方式，如图4所示，上述基于所述第一饱和度特征以
及图像白平衡与饱和度的关系，确定所述第一图像对应的第一融合权重，并基于所述第二饱和度特征以及图像白平衡与饱和度的关系，确定所述第二图像对应的第二融合权重的步骤，可以包括：
[0110]
s401，针对所述第一图像中的每个像素点，根据该像素点对应的第一饱和度特征以及预设的饱和度特征与可信度之间的对应关系，确定该像素点对应的第一可信度；
[0111]
s402，针对所述第二图像中的每个像素点，根据该像素点第二饱和度特征以及所述对应关系，确定该像素点对应的第二可信度；
[0112]
其中，可信度用于表示图像中对应的像素点的r、g、b值的可信程度，即该像素点的颜色与实际颜色的差异程度。由于像素点的饱和度越低，其接近于实际颜色的程度就越高，所以该像素点对应的可信度应该越高。相反的，像素点的饱和度越高，其接近于实际颜色的程度就越低，所以该像素点对应的可信度应该越低。
[0113]
基于上述规律，根据预先建立饱和度特征和可信度之间的对应关系。具体来说，饱和度特征的值可以量化为0
‑
255之间的某一数值，并可枚举，所以可以预设饱和度特征与可信度之间的对应关系。可以采用表格记录该对应关系，例如，可以如下表所示：
[0114]
序号饱和度特征可信度10x021x1
………
256255x255
[0115]
那么，如果上述第一图像的某个像素点的饱和度特征的值为125，电子设备根据上表中所记录的饱和度特征与可信度之间的对应关系，可以确定该像素点对应的第一可信度为x125。如果上述第二图像的某个像素点的饱和度特征的值为255，可以确定该像素点对应的第二可信度为x255。
[0116]
s403，基于所述第一可信度以及所述第二可信度，确定所述第一图像中的每个像素点对应的第一融合权重以及所述第二图像中的每个像素点对应的第二融合权重。
[0117]
确定了第一图像中每个像素点对应的第一可信度以及第二图像中每个像素点对应的第二可信度后。电子设备可以基于该第一可信度以及第二可信度，确定第一图像中的每个像素点对应的第一融合权重以及第二图像中的每个像素点对应的第二融合权重。
[0118]
由于可信度用于表示图像中对应的像素点的r、g、b值的可信程度，也就是说，可信度越高，该像素点的r、g、b值则越准确，因此第一融合权重与第一可信度呈正相关关系，第二融合权重与第二可信度呈正相关关系。也就是说，针对每一个像素点，如果此像素点的第一可信度比第二可信度大，那么其对应的第一融合权重大于第二融合权重；相应的，如果此像素点的第一可信度比第二可信度小，那么其对应的第一融合权重则小于第二融合权重。
[0119]
因此，基于该关系，电子设备可以采用任一能够表示该关系的方式，基于第一可信度以及第二可信度，确定第一图像中的每个像素点对应的第一融合权重以及第二图像中的每个像素点对应的第二融合权重。为了行文清晰，后续将会进行举例介绍。
[0120]
针对上述步骤s401和步骤s402，其执行顺序不存在先后限制，可以先执行步骤s401，也可以先执行步骤s402，也可以同时执行步骤s401和步骤s402，这都是合理的。
[0121]
可见，在本实施例中，针对第一图像和第二图像中的每个像素点，电子设备基于该
像素点对应的饱和度特征以及预设的饱和度特征与可信度之间的对应关系，确定该像素点对应的可信度。进而，基于第一可信度以及第二可信度，确定第一图像中的每个像素点对应的第一融合权重以及第二图像中的每个像素点对应的第二融合权重。这样，可以基于预设的饱和度特征与可信度之间的对应关系，准确确定每个像素点对应的可信度，进而准确确定融合权重，保证后续图像融合得到的融合后的图像可以尽可能接近真实颜色。
[0122]
作为本发明实施例的一种实施方式，上述基于所述第一可信度以及所述第二可信度，确定所述第一图像中的每个像素点对应的第一融合权重以及所述第二图像中的每个像素点对应的第二融合权重的步骤，可以包括：
[0123]
针对所述第一图像中的每个像素点，计算该像素点对应的第一可信度与第一目标值之间的比值，作为该像素点对应的第一融合权重；针对所述第二图像中的每个像素点，计算该像素点对应的第二可信度与第二目标值之间的比值，作为该像素点对应的第二融合权重；或，针对所述第二图像中的每个像素点，将1与所述第一图像中与该像素点位置相同的像素点所对应的第一融合权重之间的差值，确定为该像素点对应的第二融合权重。
[0124]
在一种实施方式中，电子设备在确定第一图像每个像素点对应的第一可信度和第二图像每个像素点对应的第二可信度后，可以对第一可信度和第二可信度进行归一化处理，得到第一图像中的每个像素点对应的第一融合权重以及第二图像中的每个像素点对应的第二融合权重。
[0125]
可以用以下公式计算得到第一图像中的每个像素点对应的第一融合权重以及第二图像中的每个像素点对应的第二融合权重：
[0126][0127]
其中，w0(x)为第一图像中的每个像素点对应的第一融合权重，w1(x)为第二图像中的每个像素点对应的第二融合权重，为第一图像中的每个像素点对应的第一可信度，为第二图像中的每个像素点对应的第二可信度。
[0128]
也就是说，针对第一图像中的每个像素点，电子设备可以计算该像素点对应的第一可信度与第二图像中与该像素点位置相同的像素点所对应的第二可信度之和，作为第一目标值，进而，计算该像素点对应的第一可信度与第一目标值之间的比值，作为该像素点对应的第一融合权重。
[0129]
针对在第二图像中的每个像素点，在一种实施方式中，电子设备可以根据上式计算得到第一图像中与该像素点位置相同的像素点所对应的第一融合权重。由于第一图像中每个像素点对应的第一融合权重与第二图像中该像素点位置相同的像素点对应的第二融合权重之和为1，所以针对第二图像中的每个像素点，可以将1与第一图像中与该像素点位置相同的像素点所对应的第一融合权重之间的差值，确定为该像素点对应的第二融合权重。
[0130]
在另一种实施方式中，针对第二图像中的每个像素点，电子设备也可以计算该像素点对应的第二可信度与第一图像中与该像素点位置相同的像素点所对应的第一可信度之和，作为第二目标值，进而计算该像素点对应的第二可信度与第二目标值之间的比值，作
为该像素点对应的第二融合权重，这都是合理的。也就是可以采用下述公式计算第二融合权重：
[0131][0132]
其中，w1(x)为第二图像中的每个像素点对应的第二融合权重，为第二图像中的每个像素点对应的第二可信度，为第一图像中的每个像素点对应的第一可信度。
[0133]
例如，在第一图像中，针对像素点a，像素点a对应的第一可信度为128，在第二图像中，与像素点a位置相同的像素点b所对应的第二可信度为72，那么第一目标值即为128+72＝200，像素点a的第一融合权重为第一可信度128与第一目标值200的比值，即为像素点b的第二融合权重为1与第一融合权重的差值，即为1
‑
0.64＝0.36。也可通过如下计算获得：第二目标值为72+128＝200，像素点b的第二融合权重为第二可信度72与第二目标值200的比值，即为该像素点a对应的第一融合权重为0.64。相应的，与像素点a位置相同的像素点b对应的第二融合权重为0.36。
[0134]
可见，在本实施例中，电子设备可以基于第一可信度以及第二可信度，确定第一图像中的每个像素点对应的第一融合权重以及第二图像中的每个像素点对应的第二融合权重。这样，可以快速且准确地确定第一融合权重以及第二融合权重。
[0135]
作为本发明实施例的一种实施方式，上述对应关系可以为预设的饱和度特征与可信度之间的关系曲线，其中，可信度与饱和度特征呈负相关关系。
[0136]
例如，该关系曲线可以如图5所示，其中，横坐标为饱和度特征的值，范围为0
‑
255，纵坐标为可信度，例如可以设置为20
‑
100。其中，可信度与饱和度特征呈负相关关系，饱和度特征为0时对应可信度为100，饱和度特征为255时对应可信度为20。
[0137]
相应的，上述针对所述第一图像中的每个像素点，根据该像素点对应的第一饱和度特征以及预设的饱和度特征与可信度之间的对应关系，确定该像素点对应的第一可信度的步骤，可以包括：针对所述第一图像中的每个像素点，根据该像素点对应的第一饱和度特征，确定所述关系曲线中该第一饱和度特征对应的可信度坐标值，将该可信度坐标值确定为该像素点对应的第一可信度。
[0138]
上述针对所述第二图像中的每个像素点，根据该像素点第二饱和度特征以及所述对应关系，确定该像素点对应的第二可信度的步骤，可以包括：针对所述第二图像中的每个像素点，根据该像素点对应的第二饱和度特征，确定所述关系曲线中该第二饱和度特征对应的可信度坐标值，将该可信度坐标值确定为该像素点对应的第二可信度。
[0139]
在上述预设的饱和度特征与可信度之间的关系曲线上，可以看出，像素点的饱和度特征的值较小时，其对应的可信度保持较高水平，随着饱和度特征的值逐渐增大，其对应的可信度下降。即饱和度特征的值低的像素点的可信度更大，对应的融合权重也较大，在后续的图像融合过程中对融合后图像中像素点的r、g、b值的贡献也越大，使得融合后的图像的色彩更接近真实颜色。
[0140]
可见，在本实施例中，通过预设的饱和度特征与可信度之间的关系曲线，电子设备可以根据像素点对应的饱和度特征，快速准确确定该饱和度特征对应的可信度，从而提高图像融合速度。
[0141]
作为本发明实施例的一种实施方式，上述基于所述第一融合权重以及所述第二融合权重，对所述第一图像和所述第二图像进行图像融合，得到融合后的图像的步骤，可以包括：
[0142]
将所述第一图像与所述第二图像中位置相同的像素点的r、g、b值，按照对应的第一融合权重以及第二融合权重进行加权求和，作为融合后的该位置处的像素点的r、g、b值，得到融合后的图像。
[0143]
针对第一图像与第二图像中位置相同的每一个像素点，电子设备可以将第一图像中该像素点的r、g、b值分别与其对应第一融合权重相乘，得到第一乘积。将第二图像中位置相同的像素点的r、g、b值分别与其对应的第二融合权重相乘，得到第二乘积。进而可以将第一乘积和第二乘积中的r、g、b值分别相加，作为融合后的该位置处的像素点的r、g、b值，这样，即可得到融合后的图像。
[0144]
也就是说，电子设备可以采用以下公式计算融合后的图像中的每个像素点的r、g、b值：
[0145][0146]
其中，j
c
(x)为融合后的图像，为第一图像中的像素点x的r、g、b值，w0(x)位第一图像中的像素点x的第一融合权重，为第二图像中与像素点x的位置相同的像素点的r、g、b值，w0(x)为第二图像中该像素点的第二融合权重。
[0147]
例如，第一图像中的像素点a，其r、g、b值分别为255、255、0，其对应的第一融合权重为0.4；第二图像中与该像素点位置相同的像素点b，其r、g、b值分别为245、235、10，其对应的第二融合权重为0.6。那么电子设备可以通过上述方式，融合后的像素点的r值为255
×
0.4+245
×
0.6＝249，融合后的像素点的g值为255
×
0.4+235
×
0.6＝243，融合后的像素点的b值为0
×
0.4+10
×
0.6＝6。通过上述计算，得出融合后的该位置处的像素点的r、g、b值，分别为249、243、6。
[0148]
可见，在本实施例中，针对第一图像与第二图像中位置相同的像素点，电子设备根据其r、g、b值，按照对应的融合权重进行加权求和，得到融合后该位置的r、g、b值，从而得到融合后的图像，可以得到更加接近于真实颜色的融合后的图像，从而很好的解决偏色问题。
[0149]
作为本发明实施例的一种实施方式，上述饱和度特征、可信度以及融合权重均可以以图像的形式表示，如图6所示，经过白平衡处理后，电子设备得到白平衡不同的两张图像，双色温融合算法可以包括颜色特征提取601、特征映射602、权重融合603、融合输出604步骤。颜色特征提取601为提取第一图像的第一饱和度特征和第二图像的第二饱和度特征，特征映射602为根据第一饱和度特征和第二饱和度特征获得第一可信度和第二可信度，权重融合603为对第一可信度和第二可信度进行归一化处理，得到第一融合权重和第二融合权重，融合输出604为将第一图像和第二图像按照第一融合权重和第二融合权重进行加权融合，得到融合后的图像。通过上述步骤，将上述白平衡不同的两张图像融合为一张图像，融合后的图像的色彩更接近实际颜色。
[0150]
作为本发明实施例的一种实施方式，在得到上述第一融合权重以及第二融合权重后，电子设备还可以对第一融合权重和第二融合权重采用小半径高斯模糊，将其局部进行平滑，这样，融合之后得到的图将的色彩将更加过渡自然。
[0151]
第一图像和第二图像经过上述步骤融合后的图像如图7所示，标注对照图为待处理图像，如8所示，图7中的区域701和图8中的区域801为相同位置的对应区域，可以看出，经过图像融合后的图像的区域701相比标注对照图的区域801，图像偏色减轻，色彩更接近实际颜色。本发明实施例的图像融合方法解决了复杂光照环境下拍摄的图像的偏色问题，提高了图像的显示效果。
[0152]
相应于上述图像融合方法，本发明实施例还提供了一种图像融合装置，下面对本发明实施例所提供的一种图像融合装置进行介绍。
[0153]
如图9所示，一种图像融合装置，所述装置包括：
[0154]
图像获取模块901，用于获取待处理图像；
[0155]
白平衡校正模块902，用于采用第一白平衡参数对所述待处理图像进行白平衡校正，得到第一图像，并采用第二白平衡参数对所述待处理图像进行白平衡校正，得到第二图像；
[0156]
其中，所述第一图像的色温高于所述第二图像的色温；
[0157]
饱和度特征提取模块903，用于提取所述第一图像的饱和度特征，作为第一饱和度特征，并提取所述第二图像的饱和度特征，作为第二饱和度特征；
[0158]
融合权重确定模块904，用于基于所述第一饱和度特征以及图像白平衡与饱和度的关系，确定所述第一图像对应的第一融合权重，并基于所述第二饱和度特征以及图像白平衡与饱和度的关系，确定所述第二图像对应的第二融合权重；
[0159]
其中，融合权重用于标识图像中对应的像素点接近于实际颜色的程度；
[0160]
图像融合模块905，用于基于所述第一融合权重以及所述第二融合权重，对所述第一图像和所述第二图像进行图像融合，得到融合后的图像。
[0161]
可见，本发明实施例提供的方案中，电子设备可以获取待处理图像；采用第一白平衡参数对所述待处理图像进行白平衡校正，得到第一图像，并采用第二白平衡参数对所述待处理图像进行白平衡校正，得到第二图像；其中，所述第一图像的色温高于所述第二图像的色温；电子设备还可以提取所述第一图像的饱和度特征，作为第一饱和度特征，并提取所述第二图像的饱和度特征，作为第二饱和度特征；基于所述第一饱和度特征以及图像白平衡与饱和度的关系，电子设备可以确定所述第一图像对应的第一融合权重，并基于所述第二饱和度特征以及图像白平衡与饱和度的关系，确定所述第二图像对应的第二融合权重；其中，融合权重用于标识图像中对应的像素点接近于实际颜色的程度；基于所述第一融合权重以及所述第二融合权重，电子设备可以对所述第一图像和所述第二图像进行图像融合，得到融合后的图像。图像饱和度表示图像颜色的鲜艳程度；饱和度越高，图像越鲜艳，饱和度越低，图像越无彩，所以可以用来度量图像接近“白”的程度；由于图像白平衡与饱和度存在关系，可以使用图像饱和度特征度量其白平衡；基于图像的饱和度特征，可以得到图像对应的融合权重。因此，图像融合过程中，两幅图像中越接近于实际颜色的像素点的融合权重越大，融合后的颜色越接近实际颜色，这样，融合后的图像颜色更加真实，解决了复杂光照环境下拍摄的图像的偏色问题，提高了图像的显示效果。
[0162]
作为本发明的实施例的一种实施方式，上述饱和度特征提取模块903包括：
[0163]
第一饱和度特征提取单元，用于针对所述第一图像中的每个像素点，计算该像素点的r、g、b值中的最大值与最小值的差值，作为该像素点对应的第一饱和度特征；
[0164]
第二饱和度特征提取单元，用于针对所述第二图像中的每个像素点，计算该像素点的r、g、b值中的最大值与最小值的差值，作为该像素点对应的第二饱和度特征。
[0165]
作为本发明的实施例的一种实施方式，上述融合权重确定模块904包括：
[0166]
第一可信度确定单元，用于针对所述第一图像中的每个像素点，根据该像素点对应的第一饱和度特征以及预设的饱和度特征与可信度之间的对应关系，确定该像素点对应的第一可信度；其中，所述可信度用于表示图像中对应的像素点的r、g、b值的可信程度；
[0167]
第二可信度确定单元，用于针对所述第二图像中的每个像素点，根据该像素点第二饱和度特征以及所述对应关系，确定该像素点对应的第二可信度；
[0168]
融合权重确定单元，用于基于所述第一可信度以及所述第二可信度，确定所述第一图像中的每个像素点对应的第一融合权重以及所述第二图像中的每个像素点对应的第二融合权重。
[0169]
作为本发明的实施例的一种实施方式，上述融合权重确定单元包括：
[0170]
第一融合权重子单元，用于针对所述第一图像中的每个像素点，计算该像素点对应的第一可信度与第一目标值之间的比值，作为该像素点对应的第一融合权重；其中，所述第一目标值为该像素点对应的第一可信度与所述第二图像中与该像素点位置相同的像素点所对应的第二可信度之和；
[0171]
第二融合权重子单元，用于针对所述第二图像中的每个像素点，计算该像素点对应的第二可信度与第二目标值之间的比值，作为该像素点对应的第二融合权重；其中，所述第二目标值为该像素点对应的第二可信度与所述第一图像中与该像素点位置相同的像素点所对应的第一可信度之和；或，
[0172]
用于针对所述第二图像中的每个像素点，将1与所述第一图像中与该像素点位置相同的像素点所对应的第一融合权重之间的差值，确定为该像素点对应的第二融合权重。
[0173]
作为本发明的实施例的一种实施方式，上述对应关系为预设的饱和度特征与可信度之间的关系曲线，上述可信度与上述饱和度特征呈负相关关系，上述第一可信度确定单元包括：
[0174]
第一可信度确定子单元，用于针对所述第一图像中的每个像素点，根据该像素点对应的第一饱和度特征，确定所述关系曲线中该第一饱和度特征对应的可信度坐标值，将该可信度坐标值确定为该像素点对应的第一可信度；
[0175]
上述第二可信度确定单元包括：
[0176]
第二可信度确定子单元，用于针对所述第二图像中的每个像素点，根据该像素点对应的第二饱和度特征，确定所述关系曲线中该第二饱和度特征对应的可信度坐标值，将该可信度坐标值确定为该像素点对应的第二可信度。
[0177]
作为本发明的实施例的一种实施方式，上述图像融合模块905包括：
[0178]
图像融合单元，用于将所述第一图像与所述第二图像中位置相同的像素点的r、g、b值，按照对应的第一融合权重以及第二融合权重进行加权求和，作为融合后的该位置处的像素点的r、g、b值，得到融合后的图像。
[0179]
本发明实施例还提供了一种电子设备，如图10所示，包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信，
[0180]
存储器1003，用于存放计算机程序；
[0181]
处理器1001，用于执行存储器1003上所存放的程序时，实现上述任一实施例所述的方法步骤。
[0182]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0183]
通信接口用于上述电子设备与其他设备之间的通信。
[0184]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non
‑
volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0185]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0186]
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法的步骤。
[0187]
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一实施例所述的方法步骤。
[0188]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0189]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖
非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0190]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0191]
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。