图像融合方法、电子设备、存储介质及计算机程序产品与流程

1.本技术属于图像处理技术领域，尤其涉及一种图像融合方法、电子设备、计算机可读存储介质及计算机程序产品。


背景技术：

2.现有的电子设备通常会配置多个摄像头，通过将多个摄像头拍摄的图像进行融合处理，可有效提高拍摄图像的效果。然而，发明人发现，在将长焦摄像头拍摄的小视场角图像融合到普通摄像头拍摄的大视场角图像时，由于逆光等原因小视场角图像的部分区域会出现过度曝光而损失图像细节，影响融合后图像的清晰度。


技术实现要素：

3.有鉴于此，本技术实施例提供了一种图像融合方法、电子设备、计算机可读存储介质及计算机程序产品，可以提升融合后图像的清晰度。
4.第一方面，本技术实施例提供了一种图像融合方法，包括：
5.获取第一摄像头拍摄到的至少两帧不同曝光量的第一图像，以及获取第二摄像头拍摄到的至少两帧不同曝光量的第二图像，其中，所述第一摄像头的视场角大于所述第二摄像头的视场角，所述第一图像包含所述第二图像；
6.将所述至少两帧不同曝光量的第一图像融合为第一高动态范围图像，以及将所述至少两帧不同曝光量的第二图像融合为第二高动态范围图像；
7.对所述第一高动态范围图像和所述第二高动态范围图像进行融合，获得融合后的图像。
8.在本技术实施例中，首先，获取至少两帧不同曝光量的大视场角图像以及至少两帧不同曝光量的小视场角图像；然后，分别对大视场角图像以及小视场角图像进行高动态范围融合处理，获得大视场角图像对应的第一高动态范围图像以及小视场角图像对应的第二高动态范围图像；最后，将第一高动态范围图像和第二高动态范围图像融合，获得融合后的图像。上述过程通过对小视场角图像进行高动态范围融合处理，能够恢复小视场角图像出现过度曝光而损失的部分图像细节，从而提升融合后图像的清晰度。
9.在本技术的一个实施例中，将所述至少两帧不同曝光量的第二图像融合为第二高动态范围图像，可以包括：
10.根据所述第一高动态范围图像中每个像素点的图像特征，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重；
11.根据所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重，将所述至少两帧不同曝光量的第二图像融合为所述第二高动态范围图像。
12.利用第一高动态范围图像的图像特征对融合各个第二图像的过程进行hdr效果的引导，能够使得获得的第二高动态范围图像和第一高动态范围图像在重叠区域具有相同或相近的亮度等图像特征，这样将两幅高动态范围图像融合后获得的图像也会具有和第一高
动态范围图像相同或相近的图像特征。该过程主要可以根据第一高动态范围图像中每个像素点的图像特征，计算得到第二高动态范围图像中每个像素点的图像特征分别来自于各个第二图像的权重，然后按照计算得到的权重将各个第二图像融合为第二高动态范围图像。
13.在本技术的一个实施例中，根据所述第一高动态范围图像中每个像素点的图像特征，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重，可以包括：
14.根据所述第一高动态范围图像中每个像素点的图像特征以及所述第一高动态范围图像对应的图像高动态范围融合算法，计算得到所述第一高动态范围图像中每个像素点的图像特征分别来自于各个所述第一图像的权重；
15.根据所述第一高动态范围图像中每个像素点的图像特征分别来自于各个所述第一图像的权重，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重。
16.根据第一高动态范围图像中每个像素点的图像特征以及该第一高动态范围图像对应的图像高动态范围融合算法，可以计算得到各个第一图像的融合权重，然后再据此计算得到第二高动态范围图像中每个像素点的图像特征分别来自于各个第二图像的权重。在计算权重时，具体可以采用权重复用的方式或者图像特征复用的方式。
17.进一步的，根据所述第一高动态范围图像中每个像素点的图像特征分别来自于各个所述第一图像的权重，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重，可以包括：
18.针对所述第二高动态范围图像中任意的一个目标像素点，将所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征分别来自于各个所述第一图像的权重，确定为所述目标像素点的图像特征分别来自于各个所述第二图像的权重。
19.这是一种权重复用的实现方式，也即将第一高动态范围图像的融合权重复用到第二高动态范围图像的融合过程中。在各个第一图像和各个第二图像的图像特征相差不多的情况下，采用权重复用的方式，即可获得图像特征和第一高动态范围图像相近的第二高动态范围图像。
20.在本技术的一个实施例中，根据所述第一高动态范围图像中每个像素点的图像特征，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重，可以包括：
21.针对所述第二高动态范围图像中任意的一个目标像素点，根据所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征以及所述目标像素点在各个所述第二图像中的对应像素点的图像特征，计算得到所述目标像素点的图像特征分别来自于各个所述第二图像的权重，其中，所述目标像素点的图像特征和所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征相等。
22.这是一种图像特征复用的实现方式，也即以两幅高动态范围图像中各个对应像素点的图像特征相同作为已知条件，计算得到各个第二图像的融合权重。即便各个第一图像和各个第二图像的图像特征差别较大，采用图像特征复用的方式，也能获得图像特征和第一高动态范围图像相同的第二高动态范围图像。
23.进一步的，所述至少两帧不同曝光量的第二图像包括第一曝光图像和第二曝光图
像，所述第一曝光图像的曝光量大于所述第二曝光图像的曝光量；根据所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征以及所述目标像素点在各个所述第二图像中的对应像素点的图像特征，计算得到所述目标像素点的图像特征分别来自于各个所述第二图像的权重，可以包括：
24.根据以下公式计算得到所述目标像素点的图像特征分别来自于所述第一曝光图像和所述第二曝光图像的权重：
25.a*x+b*y＝p
26.x+y＝1
27.其中，x表示所述目标像素点的图像特征来自于所述第一曝光图像的权重，y表示所述目标像素点的图像特征来自于所述第二曝光图像的权重，a表示所述目标像素点在所述第一曝光图像中的对应像素点的图像特征，b表示所述目标像素点在所述第二曝光图像中的对应像素点的图像特征，p表示所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征。
28.在上述公式中，a、b、p都是已知值，故可以计算得到权重x和权重y。
29.进一步的，所述至少两帧不同曝光量的第二图像包括第一曝光图像、第二曝光图像和第三曝光图像，所述第一曝光图像的曝光量大于所述第二曝光图像的曝光量，所述第二曝光图像的曝光量大于所述第三曝光图像的曝光量；根据所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征以及所述目标像素点在各个所述第二图像中的对应像素点的图像特征，计算得到所述目标像素点的图像特征分别来自于各个所述第二图像的权重，可以包括：
30.根据所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征分别来自于各个所述第一图像的权重，设置所述目标像素点的图像特征分别来自于所述第一曝光图像、所述第二曝光图像和所述第三曝光图像的权重中的任意一个权重为设定值；
31.根据以下公式计算得到所述目标像素点的图像特征分别来自于所述第一曝光图像、所述第二曝光图像和所述第三曝光图像的权重：
32.a*x+b*y+c*z＝p
33.x+y+z＝1
34.其中，x表示所述目标像素点的图像特征来自于所述第一曝光图像的权重，y表示所述目标像素点的图像特征来自于所述第二曝光图像的权重，z表示所述目标像素点的图像特征来自于所述第三曝光图像的权重，a表示所述目标像素点在所述第一曝光图像中的对应像素点的图像特征，b表示所述目标像素点在所述第二曝光图像中的对应像素点的图像特征，c表示所述目标像素点在所述第三曝光图像中的对应像素点的图像特征，p表示所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征。
35.在上述公式中，a、b、c和p都是已知值，但由于具有三个未知量x、y和z，故还需要引入额外的限定条件，方可计算得到x、y和z的数值。具体的，可以根据目标像素点在第一高动态范围图像中的对应像素点的图像特征分别来自于各个第一图像的权重，设置目标像素点的图像特征分别来自于第一曝光图像、第二曝光图像和第三曝光图像的权重中的任意一个权重为设定值。
36.在本技术的一个实施例中，获取第一摄像头拍摄到的至少两帧不同曝光量的第一
图像，可以包括：
37.通过所述第一摄像头拍摄得到一帧以上曝光量大于第一基准曝光量的图像，所述第一基准曝光量为所述第一摄像头的预览流对应的曝光量；
38.通过所述第一摄像头拍摄得到一帧以上曝光量小于所述第一基准曝光量的图像；
39.将所述一帧以上曝光量大于所述第一基准曝光量的图像以及所述一帧以上曝光量小于所述第一基准曝光量的图像确定为所述至少两帧不同曝光量的第一图像；
40.获取第二摄像头拍摄到的至少两帧不同曝光量的第二图像，可以包括：
41.通过所述第二摄像头拍摄得到一帧以上曝光量大于第二基准曝光量的图像，所述第二基准曝光量为所述第二摄像头的预览流对应的曝光量；
42.通过所述第二摄像头拍摄得到一帧以上曝光量小于所述第二基准曝光量的图像；
43.将所述一帧以上曝光量大于所述第二基准曝光量的图像以及所述一帧以上曝光量小于所述第二基准曝光量的图像确定为所述至少两帧不同曝光量的第二图像。
44.摄像头在拍摄图像时，会获取相应的预览流，即用户打开相机后电子设备的显示界面显示的拍照预览界面所对应的数据流，该预览流对应的曝光量一般是相机设置好的默认值。可以将预览流对应的曝光量作为基准，在此基准上提高一定比例的曝光量，拍摄得到一帧以上曝光量较大的图像，以及在此基准上降低一定比例的曝光量，拍摄得到一帧以上曝光量较小的图像。
45.第二方面，本技术实施例提供了一种图像融合装置，包括：
46.图像获取模块，用于获取第一摄像头拍摄到的至少两帧不同曝光量的第一图像，以及获取第二摄像头拍摄到的至少两帧不同曝光量的第二图像，其中，所述第一摄像头的视场角大于所述第二摄像头的视场角，所述第一图像包含所述第二图像；
47.高动态范围处理模块，用于将所述至少两帧不同曝光量的第一图像融合为第一高动态范围图像，以及将所述至少两帧不同曝光量的第二图像融合为第二高动态范围图像；
48.图像融合模块，用于对所述第一高动态范围图像和所述第二高动态范围图像进行融合，获得融合后的图像。
49.在本技术的一个实施例中，所述高动态范围处理模块可以包括：
50.融合权重计算单元，用于根据所述第一高动态范围图像中每个像素点的图像特征，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重；
51.高动态范围融合单元，用于根据所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重，将所述至少两帧不同曝光量的第二图像融合为所述第二高动态范围图像。
52.在本技术的一个实施例中，所述融合权重计算单元可以包括：
53.第一融合权重计算子单元，用于根据所述第一高动态范围图像中每个像素点的图像特征以及所述第一高动态范围图像对应的图像高动态范围融合算法，计算得到所述第一高动态范围图像中每个像素点的图像特征分别来自于各个所述第一图像的权重；
54.第二融合权重计算子单元，用于根据所述第一高动态范围图像中每个像素点的图像特征分别来自于各个所述第一图像的权重，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重。
55.进一步的，所述第二融合权重计算子单元具体可以用于：针对所述第二高动态范围图像中任意的一个目标像素点，将所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征分别来自于各个所述第一图像的权重，确定为所述目标像素点的图像特征分别来自于各个所述第二图像的权重。
56.在本技术的一个实施例中，所述融合权重计算单元可以包括：
57.第三融合权重计算子单元，用于针对所述第二高动态范围图像中任意的一个目标像素点，根据所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征以及所述目标像素点在各个所述第二图像中的对应像素点的图像特征，计算得到所述目标像素点的图像特征分别来自于各个所述第二图像的权重，其中，所述目标像素点的图像特征和所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征相等。
58.进一步的，所述至少两帧不同曝光量的第二图像包括第一曝光图像和第二曝光图像，所述第一曝光图像的曝光量大于所述第二曝光图像的曝光量；所述第三融合权重计算子单元具体可以用于：根据以下公式计算得到所述目标像素点的图像特征分别来自于所述第一曝光图像和所述第二曝光图像的权重：
59.a*x+b*y＝p
60.x+y＝1
61.其中，x表示所述目标像素点的图像特征来自于所述第一曝光图像的权重，y表示所述目标像素点的图像特征来自于所述第二曝光图像的权重，a表示所述目标像素点在所述第一曝光图像中的对应像素点的图像特征，b表示所述目标像素点在所述第二曝光图像中的对应像素点的图像特征，p表示所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征。
62.进一步的，所述至少两帧不同曝光量的第二图像包括第一曝光图像、第二曝光图像和第三曝光图像，所述第一曝光图像的曝光量大于所述第二曝光图像的曝光量，所述第二曝光图像的曝光量大于所述第三曝光图像的曝光量；所述第三融合权重计算子单元具体可以包括：
63.权重设定子单元，用于根据所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征分别来自于各个所述第一图像的权重，设置所述目标像素点的图像特征分别来自于所述第一曝光图像、所述第二曝光图像和所述第三曝光图像的权重中的任意一个权重为设定值；
64.公式计算子单元，用于根据以下公式计算得到所述目标像素点的图像特征分别来自于所述第一曝光图像、所述第二曝光图像和所述第三曝光图像的权重：
65.a*x+b*y+c*z＝p
66.x+y+z＝1
67.其中，x表示所述目标像素点的图像特征来自于所述第一曝光图像的权重，y表示所述目标像素点的图像特征来自于所述第二曝光图像的权重，z表示所述目标像素点的图像特征来自于所述第三曝光图像的权重，a表示所述目标像素点在所述第一曝光图像中的对应像素点的图像特征，b表示所述目标像素点在所述第二曝光图像中的对应像素点的图像特征，c表示所述目标像素点在所述第三曝光图像中的对应像素点的图像特征，p表示所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征。
68.在本技术的一个实施例中，所述图像获取模块可以包括：
69.第一图像拍摄单元，用于通过所述第一摄像头拍摄得到一帧以上曝光量大于第一基准曝光量的图像，所述第一基准曝光量为所述第一摄像头的预览流对应的曝光量；
70.第二图像拍摄单元，用于通过所述第一摄像头拍摄得到一帧以上曝光量小于所述第一基准曝光量的图像；
71.第一图像确定单元，用于将所述一帧以上曝光量大于所述第一基准曝光量的图像以及所述一帧以上曝光量小于所述第一基准曝光量的图像确定为所述至少两帧不同曝光量的第一图像；
72.第三图像拍摄单元，用于通过所述第二摄像头拍摄得到一帧以上曝光量大于第二基准曝光量的图像，所述第二基准曝光量为所述第二摄像头的预览流对应的曝光量；
73.第四图像拍摄单元，用于通过所述第二摄像头拍摄得到一帧以上曝光量小于所述第二基准曝光量的图像；
74.第二图像确定单元，用于将所述一帧以上曝光量大于所述第二基准曝光量的图像以及所述一帧以上曝光量小于所述第二基准曝光量的图像确定为所述至少两帧不同曝光量的第二图像。
75.第三方面，本技术实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，所述电子设备实现如下图像融合方法：
76.获取第一摄像头拍摄到的至少两帧不同曝光量的第一图像，以及获取第二摄像头拍摄到的至少两帧不同曝光量的第二图像，其中，所述第一摄像头的视场角大于所述第二摄像头的视场角，所述第一图像包含所述第二图像；
77.将所述至少两帧不同曝光量的第一图像融合为第一高动态范围图像，以及将所述至少两帧不同曝光量的第二图像融合为第二高动态范围图像；
78.对所述第一高动态范围图像和所述第二高动态范围图像进行融合，获得融合后的图像。
79.在本技术的一个实施例中，所述电子设备将所述至少两帧不同曝光量的第二图像融合为第二高动态范围图像，可以包括：
80.根据所述第一高动态范围图像中每个像素点的图像特征，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重；
81.根据所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重，将所述至少两帧不同曝光量的第二图像融合为所述第二高动态范围图像。
82.在本技术的一个实施例中，所述电子设备根据所述第一高动态范围图像中每个像素点的图像特征，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重，可以包括：
83.根据所述第一高动态范围图像中每个像素点的图像特征以及所述第一高动态范围图像对应的图像高动态范围融合算法，计算得到所述第一高动态范围图像中每个像素点的图像特征分别来自于各个所述第一图像的权重；
84.根据所述第一高动态范围图像中每个像素点的图像特征分别来自于各个所述第一图像的权重，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各
个所述第二图像的权重。
85.进一步的，所述电子设备根据所述第一高动态范围图像中每个像素点的图像特征分别来自于各个所述第一图像的权重，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重，可以包括：
86.针对所述第二高动态范围图像中任意的一个目标像素点，将所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征分别来自于各个所述第一图像的权重，确定为所述目标像素点的图像特征分别来自于各个所述第二图像的权重。
87.在本技术的一个实施例中，所述电子设备根据所述第一高动态范围图像中每个像素点的图像特征，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重，可以包括：
88.针对所述第二高动态范围图像中任意的一个目标像素点，根据所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征以及所述目标像素点在各个所述第二图像中的对应像素点的图像特征，计算得到所述目标像素点的图像特征分别来自于各个所述第二图像的权重，其中，所述目标像素点的图像特征和所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征相等。
89.进一步的，所述至少两帧不同曝光量的第二图像包括第一曝光图像和第二曝光图像，所述第一曝光图像的曝光量大于所述第二曝光图像的曝光量；
90.所述电子设备根据所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征以及所述目标像素点在各个所述第二图像中的对应像素点的图像特征，计算得到所述目标像素点的图像特征分别来自于各个所述第二图像的权重，可以包括：
91.根据以下公式计算得到所述目标像素点的图像特征分别来自于所述第一曝光图像和所述第二曝光图像的权重：
92.a*x+b*y＝p
93.x+y＝1
94.其中，x表示所述目标像素点的图像特征来自于所述第一曝光图像的权重，y表示所述目标像素点的图像特征来自于所述第二曝光图像的权重，a表示所述目标像素点在所述第一曝光图像中的对应像素点的图像特征，b表示所述目标像素点在所述第二曝光图像中的对应像素点的图像特征，p表示所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征。
95.进一步的，所述至少两帧不同曝光量的第二图像包括第一曝光图像、第二曝光图像和第三曝光图像，所述第一曝光图像的曝光量大于所述第二曝光图像的曝光量，所述第二曝光图像的曝光量大于所述第三曝光图像的曝光量；
96.根据所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征以及所述目标像素点在各个所述第二图像中的对应像素点的图像特征，计算得到所述目标像素点的图像特征分别来自于各个所述第二图像的权重，可以包括：
97.根据所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征分别来自于各个所述第一图像的权重，设置所述目标像素点的图像特征分别来自于所述第一曝光图像、所述第二曝光图像和所述第三曝光图像的权重中的任意一个权重为设定值；
98.根据以下公式计算得到所述目标像素点的图像特征分别来自于所述第一曝光图
像、所述第二曝光图像和所述第三曝光图像的权重：
99.a*x+b*y+c*z＝p
100.x+y+z＝1
101.其中，x表示所述目标像素点的图像特征来自于所述第一曝光图像的权重，y表示所述目标像素点的图像特征来自于所述第二曝光图像的权重，z表示所述目标像素点的图像特征来自于所述第三曝光图像的权重，a表示所述目标像素点在所述第一曝光图像中的对应像素点的图像特征，b表示所述目标像素点在所述第二曝光图像中的对应像素点的图像特征，c表示所述目标像素点在所述第三曝光图像中的对应像素点的图像特征，p表示所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征。
102.在本技术的一个实施例中，所述电子设备获取第一摄像头拍摄到的至少两帧不同曝光量的第一图像，可以包括：
103.通过所述第一摄像头拍摄得到一帧以上曝光量大于第一基准曝光量的图像，所述第一基准曝光量为所述第一摄像头的预览流对应的曝光量；
104.通过所述第一摄像头拍摄得到一帧以上曝光量小于所述第一基准曝光量的图像；
105.将所述一帧以上曝光量大于所述第一基准曝光量的图像以及所述一帧以上曝光量小于所述第一基准曝光量的图像确定为所述至少两帧不同曝光量的第一图像；
106.所述电子设备获取第二摄像头拍摄到的至少两帧不同曝光量的第二图像，可以包括：
107.通过所述第二摄像头拍摄得到一帧以上曝光量大于第二基准曝光量的图像，所述第二基准曝光量为所述第二摄像头的预览流对应的曝光量；
108.通过所述第二摄像头拍摄得到一帧以上曝光量小于所述第二基准曝光量的图像；
109.将所述一帧以上曝光量大于所述第二基准曝光量的图像以及所述一帧以上曝光量小于所述第二基准曝光量的图像确定为所述至少两帧不同曝光量的第二图像。第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时实现如本技术实施例第一方面提出的图像融合方法。
110.第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行如本技术实施例第一方面提出的图像融合方法。
附图说明
111.图1是本技术实施例提供的一种电子设备的硬件结构图；
112.图2是本技术实施例提供的一种图像融合方法的流程图；
113.图3是本技术实施例采用的两个不同视场角摄像头的拍摄范围示意图；
114.图4是本技术实施例提供的一幅大视场角图像和对应的小视场角图像的示意图；
115.图5是本技术实施例提供的一种图像融合方法的操作原理示意图；
116.图6是图5中主路长曝光帧、主路短曝光帧和主路高动态范围图像的效果示意图；
117.图7是图5中辅路长曝光帧、辅路短曝光帧和辅路高动态范围图像的效果示意图；
118.图8是将图6中的主路高动态范围图像和图7中的辅路高动态范围图像融合的效果示意图；
119.图9是本技术实施例提供的一种图像融合装置的结构图；
120.图10是本技术实施例提供的一种电子设备的示意图。
具体实施方式
121.以下描述中，为了说明而不是为了限定，提出了诸如特定装置结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
122.以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本技术实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a、b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。此外，本技术实施例中提到的“多个”应当被解释为两个或两个以上。
123.一个电子设备(例如手机)通常可以设有多个不同视场角的摄像头，例如普通摄像头、长焦摄像头和广角摄像头等。在某些特定的摄影场合，可以采用多摄像头联合拍照的方式，以提升照片的质量，例如：可以将长焦摄像头拍摄的小视场角图像融合到普通摄像头拍摄的大视场角图像中，以提升大视场角图像相应区域的清晰度。而为了获取更多的图像细节，人们还会对大视场角图像执行高动态范围(high-dynamic range，hdr)融合处理，得到对应的高动态范围图像，然后再将该高动态范围图像与小视场角图像融合。然而，在逆光等场景下，长焦摄像头拍摄到的小视场角图像的部分区域会出现过度曝光而损失图像细节，影响融合后图像的清晰度。
124.针对上述问题，本技术提出一种图像融合方法，对小视场角图像也进行高动态范围融合处理，然后再与大视场角图像的高动态范围图像融合，得到融合后的图像。通过这样设置，能够恢复小视场角图像出现过度曝光而损失的部分图像细节，从而提升融合后图像的清晰度，本技术具体的实施方案可参见下文所述的各个实施例。
125.本技术提出的图像融合方法可以应用于带有至少两个不同视场角摄像头的各类电子设备，比如手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digital assistant，pda)、智能家居设备等，本技术实施例对该电子设备的具体类型不作任何限制。
126.以该电子设备为手机为例，图1示出的是本技术实施例提供的手机的部分结构的框图。参考图1，手机包括：射频(radio frequency，rf)电路101、存储器102、输入单元103、显示单元104、传感器105、音频电路106、无线保真(wireless fidelity，wifi)模块107、处理器108、电源109、普通摄像头110以及长焦摄像头111等部件。本领域技术人员可以理解，图1中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
127.下面结合图1对手机的各个构成部件进行具体的介绍：
128.rf电路101可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器108处理；另外，将设计上行的数据发送给基站。通常，rf电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier，lna)、双工器等。此外，rf电路101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯装置(global system of mobile communication，gsm)、通用分组无线服务(general packet radio service，gprs)、码分多址(code division multiple access，cdma)、宽带码分多址(wideband code division multiple access,wcdma)、长期演进(long term evolution，lte))、电子邮件、短消息服务(short messaging service，sms)等。
129.存储器102可用于存储软件程序以及模块，处理器108通过运行存储在存储器102的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器102可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
130.输入单元103可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元103可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器108，并能接收处理器108发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元103还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
131.显示单元104可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元104可包括显示面板1041，可选的，可以采用液晶显示器(liquid crystal display，lcd)、有机发光二极管(organic light-emitting diode,oled)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器108以确定触摸事件的类型，随后处理器108根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图1中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。
132.手机还可包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板
1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
133.音频电路106、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路106可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路106接收后转换为音频数据，再将音频数据输出处理器108处理后，经rf电路101以发送给比如另一手机，或者将音频数据输出至存储器102以便进一步处理。
134.wifi属于短距离无线传输技术，手机通过wifi模块107可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了wifi模块107，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。
135.处理器108是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器102内的软件程序和/或模块，以及调用存储在存储器102内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器108可包括一个或多个处理单元；优选的，处理器108可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作装置、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器108中。
136.手机还包括给各个部件供电的电源109(比如电池)，优选的，电源可以通过电源管理装置与处理器108逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。
137.手机还包括至少两个不同视场角的摄像头，例如其中一个为普通摄像头110，一个为长焦摄像头111，该普通摄像头110和该长焦摄像头111设置在手机的同一个面，以便实现联合拍照。尽管未示出，手机还可以包括红外摄像头、高光谱摄像头和广角摄像头等其他类型的摄像头。可选地，摄像头在手机上的位置可以为前置的，也可以为后置的，本技术实施例对此不作限定。
138.另外，尽管未示出，手机还可以包括蓝牙模块等，在此不再赘述。
139.图2示出了本技术实施例提供的一种图像融合方法的流程图，包括：
140.201、电子设备获取第一摄像头拍摄到的至少两帧不同曝光量的第一图像，以及获取第二摄像头拍摄到的至少两帧不同曝光量的第二图像；
141.该电子设备带有至少两个不同视场角的摄像头，即第一摄像头和第二摄像头，其中，第一摄像头的视场角大于第二摄像头的视场角。本技术实施例不对第一摄像头和第二摄像头的具体类型做限定，例如，若第一摄像头为普通摄像头，则第二摄像头可以为长焦摄像头；若第一摄像头为广角摄像头，则第二摄像头可以为普通摄像头或者长焦摄像头，以此类推。为了实现图像融合，第一摄像头和第二摄像头应当设于该电子设备的同一个面，且在拍摄图像时保持相同或相近的拍摄角度，使得第一摄像头的拍摄范围涵盖第二摄像头的拍摄范围，也即第一摄像头拍摄的第一图像包含第二摄像头拍摄的第二图像。在本技术文件中，第一图像可以记作大视场角图像，第二图像可以记作小视场角图像。
142.摄像头可以通过调整光圈大小和曝光时间等参数，控制拍摄得到的图像的曝光量，本技术实施例通过调整第一摄像头的参数，拍摄得到至少两帧不同曝光量的第一图像，以及通过调整第二摄像头的参数，拍摄得到至少两帧不同曝光量的第二图像。
143.在本技术的一种实现方式中，获取第一摄像头拍摄到的至少两帧不同曝光量的第一图像，可以包括：
144.(1)通过所述第一摄像头拍摄得到一帧以上曝光量大于第一基准曝光量的图像，所述第一基准曝光量为所述第一摄像头的预览流对应的曝光量；
145.(2)通过所述第一摄像头拍摄得到一帧以上曝光量小于所述第一基准曝光量的图像；
146.(3)将所述一帧以上曝光量大于所述第一基准曝光量的图像以及所述一帧以上曝光量小于所述第一基准曝光量的图像确定为所述至少两帧不同曝光量的第一图像。
147.在调整曝光量的时候，可以获取第一摄像头的预览流对应的曝光量作为基准值，即第一基准曝光量。摄像头在拍摄图像时，会获取相应的预览流，即用户打开相机后电子设备的拍照预览界面所对应的数据流，该预览流对应的曝光量一般是相机设置好的默认值。以预览流对应的曝光量作为基准，在此基准上提高一定比例的曝光量，拍摄得到一帧以上曝光量较大的图像(可以称作长曝光帧)，以及在此基准上降低一定比例的曝光量，拍摄得到一帧以上曝光量较小的图像(可以称作短曝光帧)。例如，假设第一摄像头的预览流对应的曝光量为m，则可以通过调整摄像头参数拍摄得到一帧曝光量为4m的长曝光帧，以及一帧曝光量为1/4m的短曝光帧，该长曝光帧和该短曝光帧即为获取到的两帧不同曝光量的第一图像。
148.获取第二摄像头拍摄到的至少两帧不同曝光量的第二图像，可以包括：
149.(1)通过所述第二摄像头拍摄得到一帧以上曝光量大于第二基准曝光量的图像，所述第二基准曝光量为所述第二摄像头的预览流对应的曝光量；
150.(2)通过所述第二摄像头拍摄得到一帧以上曝光量小于所述第二基准曝光量的图像；
151.(3)将所述一帧以上曝光量大于所述第二基准曝光量的图像以及所述一帧以上曝光量小于所述第二基准曝光量的图像确定为所述至少两帧不同曝光量的第二图像。
152.可以采用与第一摄像头相同的方法，获取第二摄像头拍摄到的至少两帧不同曝光量的第二图像。需要说明的是，第一图像和第二图像的数量可以相同，也可以不同；各帧第一图像的曝光量和各帧第二图像的曝光量之间也没有相应的大小限定关系。
153.202、电子设备将所述至少两帧不同曝光量的第一图像融合为第一高动态范围图像，以及将所述至少两帧不同曝光量的第二图像融合为第二高动态范围图像；
154.接下来，对各帧第一图像做高动态范围融合处理，得到第一高动态范围图像；以及对各帧第二图像做高动态范围融合处理，得到第二高动态范围图像。高动态范围(high-dynamic range，hdr)融合处理是指根据多帧不同曝光量的低动态范围图像来合成一幅高动态范围的图像，以获取更多的图像细节，提升图像清晰度。其中，曝光量较大的低动态范围图像主要用于恢复场景暗部区域的图像细节，曝光量较小的低动态范围图像主要用于恢复场景高亮区域的图像细节。
155.以下简要介绍对图像进行hdr融合处理的过程：首先，获取多帧不同曝光量的低动
态范围图像(针对同一时刻同一场景的图像)，假设为长曝光帧、中曝光帧和短曝光帧总共3帧低动态范围图像，其中长曝光帧的曝光量＞中曝光帧的曝光量＞短曝光帧的曝光量，长曝光帧、中曝光帧和短曝光帧已经执行图像配准，像素点对齐的处理。然后，获取长曝光帧、中曝光帧和短曝光帧分别对应的融合权重图(融合权重图可以根据经验值人工设置，包含每个像素点对应的融合权重值)。最后，将长曝光帧和其对应的融合权重图相乘，将中曝光帧和其对应的融合权重图相乘以及将短曝光帧和其对应的融合权重图相乘，然后对3个相乘的结果进行叠加，得到对应的高动态范围图像。另外，如果针对的是rgb域的图像，则在r、g、b通道上分别进行上述hdr融合处理；如果针对的是yuv域的图像，则在y(亮度参数)通道上进行上述hdr融合处理，uv(色度参数)通道直接复用中曝光帧的uv值。
156.另一方面，在将第一高动态范围图像和第二高动态范围图像融合时，如果两幅图像的亮度等图像特征存在较大的差异，则会导致获得的融合后图像也具有和第一高动态范围图像相差较大的图像特征，而在常规的图像融合场景中，通常期望获得的融合后图像具有和第一高动态范围图像相同或相近的图像特征。为了解决这个问题，可以根据该第一高动态范围图像的亮度等图像特征对融合各帧第二图像的过程进行hdr效果的引导，使得获得的第二高动态范围图像具有和第一高动态范围图像相同或相近的亮度等图像特征。根据第一高动态范围图像进行hdr效果引导的具体实施方式，可以参照下文所述。
157.在本技术的一种实现方式中，将所述至少两帧不同曝光量的第二图像融合为第二高动态范围图像，可以包括：
158.(1)根据所述第一高动态范围图像中每个像素点的图像特征，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重；
159.(2)根据所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重，将所述至少两帧不同曝光量的第二图像融合为所述第二高动态范围图像。
160.对于步骤上述(1)，在生成第一高动态范围图像之后，其每个像素点的图像特征(例如rgb值，亮度值等)即是已知的，故可以根据其每个像素点的图像特征分别计算得到第二高动态范围图像中每个像素点的图像特征分别来自于各个第二图像的权重，也即计算各个第二图像进行融合的权重，基本准则是使得融合后获得的第二高动态范围图像具有和第一高动态范围图像相同或相近的图像特征。
161.对于步骤上述(2)，在获得第二高动态范围图像中每个像素点的图像特征分别来自于各个第二图像的权重之后，即可对各个第二图像执行hdr融合处理，获得对应的第二高动态范围图像。假设第二图像包含i1和i2，待生成的第二高动态范围图像中某个像素点q的图像特征来自于i1的权重为x，来自于i2的权重为y，该像素点q在i1中对应位置像素点的图像特征为a，在i2中对应位置像素点的图像特征为b，则在将i1和i2融合为第二高动态范围图像时，q在第二高动态范围图像中的图像特征为a*x+b*y，以此类推，可以计算得到第二高动态范围图像中每个像素点的图像特征。
162.在本技术的一种实现方式中，根据所述第一高动态范围图像中每个像素点的图像特征，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重，可以包括：
163.(1)根据所述第一高动态范围图像中每个像素点的图像特征以及所述第一高动态
范围图像对应的图像高动态范围融合算法，计算得到所述第一高动态范围图像中每个像素点的图像特征分别来自于各个所述第一图像的权重；
164.(2)根据所述第一高动态范围图像中每个像素点的图像特征分别来自于各个所述第一图像的权重，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重。
165.在获得第一高动态范围图像后，根据第一高动态范围图像中每个像素点的图像特征以及该第一高动态范围图像对应的图像高动态范围融合算法，可以计算得到各个第一图像的融合权重，也即第一高动态范围图像中每个像素点的图像特征分别来自于各个第一图像的权重。具体的，假设各个第一图像为长曝光帧、中曝光帧和短曝光帧总共3帧低动态范围图像，其中长曝光帧的曝光量＞中曝光帧的曝光量＞短曝光帧的曝光量，假设某一像素点q在长曝光帧中的图像特征为a，在中曝光帧中的图像特征为b，在短曝光帧中的图像特征为c，则可以分别采用以下公式计算得到第一高动态范围图像中像素点q的图像特征来自于长曝光帧的权重x，来自于中曝光帧的权重y以及来自于短曝光帧的权重z：
[0166][0167][0168][0169]
其中，σ可以根据经验设置为52或者其它数值，另外可以对采用上述公式计算得到的权重x、y和z做归一化处理，使得x+y+z＝1。
[0170]
针对该第一高动态范围图像中的每个像素点，均可以采用和上述像素点q相同的方式计算得到其图像特征分别来自于各个第一图像的权重。
[0171]
在本技术的一种实现方式中，根据所述第一高动态范围图像中每个像素点的图像特征分别来自于各个所述第一图像的权重，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重，可以包括：
[0172]
针对所述第二高动态范围图像中任意的一个目标像素点，将所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征分别来自于各个所述第一图像的权重，确定为所述目标像素点的图像特征分别来自于各个所述第二图像的权重。
[0173]
这是一种权重复用的实现方式，也即将第一高动态范围图像的融合权重复用到第二高动态范围图像的融合过程中。例如，假设各个第一图像为第一长曝光帧、第一中曝光帧和第一短曝光帧，各个第二图像为第二长曝光帧、第二中曝光帧和第二短曝光帧，第一高动态范围图像中某个目标像素点q的图像特征为p，q在第一长曝光帧中的图像特征为a，在第一中曝光帧中的图像特征为b，在第一短曝光帧中的图像特征为c，在第二长曝光帧中的图像特征为d，在第二中曝光帧中的图像特征为e，在第二短曝光帧中的图像特征为f，则有p＝a*x+b*y+c*z，其中x为q的图像特征来自于第一长曝光帧的权重，y为q的图像特征来自于第一中曝光帧的权重，z为q的图像特征来自于第一短曝光帧的权重。那么，可以直接采用x、y和z分别作为第二长曝光帧、第二中曝光帧和第二短曝光帧的融合权重，则q在第二高动态范围图像中的图像特征s＝d*x+e*y+f*z。需要说明的是，该图像特征可以是rgb域任意一个
通道的特征，也可以是yuv域中y通道(亮度)的特征。在各个第一图像和各个第二图像的图像特征相差不多的情况下，采用权重复用的方式，即可获得图像特征和第一高动态范围图像相近的第二高动态范围图像。
[0174]
在本技术的另一种实现方式中，根据所述第一高动态范围图像中每个像素点的图像特征，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重，可以包括：
[0175]
针对所述第二高动态范围图像中任意的一个目标像素点，根据所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征以及所述目标像素点在各个所述第二图像中的对应像素点的图像特征，计算得到所述目标像素点的图像特征分别来自于各个所述第二图像的权重，其中，所述目标像素点的图像特征和所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征相等。
[0176]
在某些情况下，各个第一图像和各个第二图像之间的图像特征差距较大，为了满足第二高动态范围图像的图像特征和第一高动态范围图像的图像特征相同或相近的要求，此时不宜采用权重复用的方式确定各个第二图像的融合权重。针对这种情况，可以采用图像特征复用的实现方式，也即以两幅高动态范围图像中各个对应像素点的图像特征相同或者相近作为已知条件，计算得到各个第二图像的融合权重。
[0177]
具体的，假设各个第二图像包括第一曝光图像和第二曝光图像，其中第一曝光图像的曝光量大于第二曝光图像的曝光量，则可以根据以下公式计算得到所述目标像素点的图像特征分别来自于第一曝光图像和第二曝光图像的权重：
[0178]
a*x+b*y＝p
[0179]
x+y＝1
[0180]
其中，x表示所述目标像素点的图像特征来自于第一曝光图像的权重，y表示所述目标像素点的图像特征来自于第二曝光图像的权重，a表示所述目标像素点在第一曝光图像中的对应像素点的图像特征，b表示所述目标像素点在第二曝光图像中的对应像素点的图像特征，p表示所述目标像素点在第一高动态范围图像中的对应像素点的图像特征(或者也可以是与该图像特征相近的其它数值)。
[0181]
在上述公式中，a、b、p都是已知值，故可以计算得到权重x和权重y。例如，若目标像素点在第一高动态范围图像中的对应像素点的图像特征为92，目标像素点在第一曝光图像中的对应像素点的图像特征为120，目标像素点在第二曝光图像中的对应像素点的图像特征为10，则可以获得以下公式：
[0182]
120*x+10*y＝92
[0183]
x+y＝1
[0184]
通过计算该公式可以求出权重x＝74.5％，权重y＝25.5％。显然，每个像素点都可以采用相同的方式计算得到对应的融合权重，在将第一曝光图像和第二曝光图像融合时，每个像素点都按照各自对应的融合权重进行融合，从而得到图像特征与第一高动态范围图像相同的第二高动态范围图像。
[0185]
在本技术的另一种实现方式中，假设各个第二图像包括第一曝光图像、第二曝光图像和第三曝光图像，其中第一曝光图像的曝光量大于第二曝光图像的曝光量，第二曝光图像的曝光量大于第三曝光图像的曝光量；此时可以根据以下公式计算得到所述目标像素
点的图像特征分别来自于第一曝光图像、第二曝光图像和第三曝光图像的权重：
[0186]
a*x+b*y+c*z＝p
[0187]
x+y+z＝1
[0188]
其中，x表示所述目标像素点的图像特征来自于第一曝光图像的权重，y表示所述目标像素点的图像特征来自于第二曝光图像的权重，z表示所述目标像素点的图像特征来自于第三曝光图像的权重，a表示所述目标像素点在第一曝光图像中的对应像素点的图像特征，b表示所述目标像素点在第二曝光图像中的对应像素点的图像特征，c表示所述目标像素点在第三曝光图像中的对应像素点的图像特征，p表示所述目标像素点在第一高动态范围图像中的对应像素点的图像特征。
[0189]
在上述公式中，a、b、c和p都是已知值，但由于具有三个未知量x、y和z，故还需要引入额外的限定条件，方可计算得到x、y和z的数值。具体的，可以根据目标像素点在第一高动态范围图像中的对应像素点的图像特征分别来自于各个第一图像的权重，设置目标像素点的图像特征分别来自于第一曝光图像、第二曝光图像和第三曝光图像的权重中的任意一个权重为设定值。
[0190]
例如，假设各个第一图像包括曝光量依次减小的第四曝光图像、第五曝光图像和第六曝光图像，目标像素点在第四曝光图像中的对应像素点的图像特征为100(融合权重为50％)，目标像素点在第五曝光图像中的对应像素点的图像特征为50(融合权重为20％)，目标像素点在第五曝光图像中的对应像素点的图像特征为10(融合权重为30％)，则在融合后，得到的第一高动态范围图像中对应像素点的图像特征为100*50％+50*20％+10*30％＝63。再假设目标像素点在第一曝光图像中的对应像素点的图像特征为120，目标像素点在第二曝光图像中的对应像素点的图像特征为60，目标像素点在第三曝光图像中的对应像素点的图像特征为5，则根据上述公式可以得到：
[0191]
120*x+60*y+5*z＝63
[0192]
x+y+z＝1
[0193]
此时可以设置x、y和z中的任意一个权重为设定值，例如，由于目标像素点在第四曝光图像中对应的融合权重最大(50％)，故可以设置目标像素点在第一曝光图像(第一曝光图像和第四曝光图像对应，都是曝光量最大的图像)中对应的融合权重x为50％，那么就可以计算得到其它的两个权重y和z的数值了。需要说明的是，这种计算方式针对的图像特征可以是rgb域的任意一个通道的特征，或者是yuv域中y通道(亮度)的特征。至于yuv域中的uv通道(色度)的特征，可以直接采用曝光量居中的图像的特征，例如，在上述例子中，目标像素点uv通道的特征可以采用第二曝光图像中对应的uv值，作为融合后的第二高动态范围图像中该目标像素点的uv值。
[0194]
以上所述，为根据第一高动态范围图像进行hdr效果引导的具体实施方式。通过这样设置，可以使得获得的第二高动态范围图像具有和第一高动态范围图像相同或相近的亮度等图像特征，以满足指定的图像融合场景的需要。
[0195]
203、电子设备对所述第一高动态范围图像和所述第二高动态范围图像进行融合，获得融合后的图像。
[0196]
在获得第一高动态范围图像和第二高动态范围图像之后，可以对两幅高动态范围图像进行融合，具体是将第二高动态范围图像融合到第一高动态范围图像中包含的与第二
高动态范围图像对应的区域，从而得到融合后的图像。该高动态范围图像融合的过程主要包含图像配准和图像特征叠加，具体可参照现有技术中关于图像融合的相关内容，在此不再赘述。
[0197]
在本技术实施例中，首先，获取至少两帧不同曝光量的大视场角图像以及至少两帧不同曝光量的小视场角图像；然后，分别对大视场角图像以及小视场角图像进行高动态范围融合处理，获得大视场角图像对应的第一高动态范围图像以及小视场角图像对应的第二高动态范围图像；最后，将第一高动态范围图像和第二高动态范围图像融合，获得融合后的图像。上述过程通过对小视场角图像进行高动态范围融合处理，能够恢复小视场角图像出现过曝而损失的部分图像细节，从而提升融合后图像的清晰度。
[0198]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0199]
图3是本技术实施例采用的两个不同视场角摄像头的拍摄范围示意图。其中，视场角较大的摄像头是第一摄像头，视场角较小的摄像头是第二摄像头，第一摄像头和第二摄像头处于一个电子设备的同一个面。图3中通过两个矩形框分别示出两个摄像头的拍摄范围，显然第一摄像头的拍摄范围包含第二摄像头的拍摄范围，故第一摄像头拍摄到的图像(第一图像)包含第二摄像头拍摄到的图像(第二图像)。在实际应用中，第一摄像头可以是广角摄像头、普通摄像头等视场角较大的摄像头，第二摄像头可以是长焦摄像头等视场角较小的摄像头，然而应当理解，两个不同视场角的任何类型的摄像头均可作为本技术实施例的第一摄像头和第二摄像头。
[0200]
图4是本技术实施例提供的一幅大视场角图像和对应的小视场角图像的示意图。在图4中，左方图像为大视场角图像，即前文所述的第一摄像头拍摄到的一幅第一图像；右方图像为小视场角图像，即前文所述的第二摄像头拍摄到的一幅第二图像。在现有技术中，为了提高获得的大视场角图像中远景区域的清晰度，通常会将小视场角图像融合到大视场角图像中。然而，由于逆光等原因，小视场角图像的部分区域可能出现过度曝光(如图4中标示出的过曝区域)，导致图像细节丢失，这会影响融合后图像的清晰度。
[0201]
针对上述问题，本技术实施例提出一种图像融合方法，其具体的操作原理示意图如图5所示。在图5中，用户点击拍照后，主路(即主摄像头所在的拍摄通道，该主摄像头通常可以为视场角较大的普通摄像头)会根据主摄像头的预览流设置不同曝光量的参数，拍摄得到主路长曝光帧和主路短曝光帧，其中主路长曝光帧的曝光量大于主路短曝光帧的曝光量；然后，对主路长曝光帧和主路短曝光帧执行hdr融合操作，得到主路高动态范围图像。与主路类似，辅路(即辅助摄像头所在的拍摄通道，该辅助摄像头通常可以为视场角较小的长焦摄像头)会根据辅助摄像头的预览流设置不同曝光量的参数，拍摄得到辅路长曝光帧和辅路短曝光帧，其中辅路长曝光帧的曝光量大于辅路短曝光帧的曝光量；然后，对辅路长曝光帧和辅路短曝光帧执行hdr融合操作，得到辅路高动态范围图像。最后，将主路高动态范围图像和辅路高动态范围图像进行融合，得到融合后图像。
[0202]
进一步的，在图5所示的图像融合方法中，可以根据该主路高动态范围图像的图像特征对辅路长曝光帧和辅路短曝光帧的hdr融合过程进行引导(如图5中的虚线所示)，使得获得的辅路高动态范围图像具有和主路高动态范围图像相同或相近的亮度等图像特征。也
即，主路可以对辅路进行hdr效果的引导，其具体的引导方式可以参照前文的相关内容。
[0203]
为便于说明图5所示的图像融合方法的处理效果，引入实际拍摄的图像，如图6所示，为图5中主路长曝光帧、主路短曝光帧和主路高动态范围图像的效果示意图。在图6中，主路长曝光帧和主路短曝光帧为针对同一阳台场景的不同曝光量的图像，其中主路长曝光帧是曝光量较大的图像，可见其图像整体亮度较亮；主路短曝光帧是曝光量较小的图像，可见其图像整体亮度较暗。对主路长曝光帧和主路短曝光帧进行hdr融合后，得到主路高动态范围图像，可见该图像的亮度适中，一定程度上恢复了主路长曝光帧和/或主路短曝光帧中丢失的图像细节。
[0204]
如图7所示，为图5中辅路长曝光帧、辅路短曝光帧和辅路高动态范围图像的效果示意图。在图7中，辅路长曝光帧和辅路短曝光帧为针对同一阳台场景(与图6相同的场景)的不同曝光量的图像，其中辅路长曝光帧是曝光量较大的图像，可见其图像整体亮度较亮；辅路短曝光帧是曝光量较小的图像，可见其图像整体亮度较暗。由于辅路摄像头的视场角小于主路摄像头的视场角，故图6所示的主路长曝光帧包含图7所示的辅路长曝光帧，图6所示的主路短曝光帧包含图7所示的辅路短曝光帧。对辅路长曝光帧和辅路短曝光帧进行hdr融合后，得到辅路高动态范围图像，可见该图像的亮度适中，一定程度上恢复了辅路长曝光帧和/或辅路短曝光帧中丢失的图像细节。另外，通过主路对辅路进行hdr效果的引导，得到的图7中的辅路高动态范围图像具有和图6中的主路高动态范围图像相同或相近的亮度等图像特征。
[0205]
如图8所示，为将图6中的主路高动态范围图像和图7中的辅路高动态范围图像融合的效果示意图。由于主路高动态范围图像和辅路高动态范围图像具有相同或相近的图像特征，故可以降低图像融合对亮度和颜色等图像特征的影响，使获得的融合后图像具有和主路图像相同或相近的图像特征。图8的右方为融合后图像的示意图，其中虚线框内的区域为图像融合的目标区域，可见该目标区域获得了一定程度的清晰度提升效果。
[0206]
对应于上文实施例所述的图像融合方法，图9示出了本技术实施例提供的一种图像融合装置的结构框图。
[0207]
参照图9，该装置包括：
[0208]
图像获取模块901，用于获取第一摄像头拍摄到的至少两帧不同曝光量的第一图像，以及获取第二摄像头拍摄到的至少两帧不同曝光量的第二图像，其中，所述第一摄像头的视场角大于所述第二摄像头的视场角，所述第一图像包含所述第二图像；
[0209]
高动态范围处理模块902，用于将所述至少两帧不同曝光量的第一图像融合为第一高动态范围图像，以及将所述至少两帧不同曝光量的第二图像融合为第二高动态范围图像；
[0210]
图像融合模块903，用于对所述第一高动态范围图像和所述第二高动态范围图像进行融合，获得融合后的图像。
[0211]
在本技术的一个实施例中，所述高动态范围处理模块可以包括：
[0212]
融合权重计算单元，用于根据所述第一高动态范围图像中每个像素点的图像特征，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重；
[0213]
高动态范围融合单元，用于根据所述第二高动态范围图像中每个像素点的图像特
征分别来自于各个所述第二图像的权重，将所述至少两帧不同曝光量的第二图像融合为所述第二高动态范围图像。
[0214]
在本技术的一个实施例中，所述融合权重计算单元可以包括：
[0215]
第一融合权重计算子单元，用于根据所述第一高动态范围图像中每个像素点的图像特征以及所述第一高动态范围图像对应的图像高动态范围融合算法，计算得到所述第一高动态范围图像中每个像素点的图像特征分别来自于各个所述第一图像的权重；
[0216]
第二融合权重计算子单元，用于根据所述第一高动态范围图像中每个像素点的图像特征分别来自于各个所述第一图像的权重，计算得到所述第二高动态范围图像中每个像素点的图像特征分别来自于各个所述第二图像的权重。
[0217]
进一步的，所述第二融合权重计算子单元具体可以用于：针对所述第二高动态范围图像中任意的一个目标像素点，将所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征分别来自于各个所述第一图像的权重，确定为所述目标像素点的图像特征分别来自于各个所述第二图像的权重。
[0218]
在本技术的一个实施例中，所述融合权重计算单元可以包括：
[0219]
第三融合权重计算子单元，用于针对所述第二高动态范围图像中任意的一个目标像素点，根据所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征以及所述目标像素点在各个所述第二图像中的对应像素点的图像特征，计算得到所述目标像素点的图像特征分别来自于各个所述第二图像的权重，其中，所述目标像素点的图像特征和所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征相等。
[0220]
进一步的，所述至少两帧不同曝光量的第二图像包括第一曝光图像和第二曝光图像，所述第一曝光图像的曝光量大于所述第二曝光图像的曝光量；所述第三融合权重计算子单元具体可以用于：根据以下公式计算得到所述目标像素点的图像特征分别来自于所述第一曝光图像和所述第二曝光图像的权重：
[0221]
a*x+b*y＝p
[0222]
x+y＝1
[0223]
其中，x表示所述目标像素点的图像特征来自于所述第一曝光图像的权重，y表示所述目标像素点的图像特征来自于所述第二曝光图像的权重，a表示所述目标像素点在所述第一曝光图像中的对应像素点的图像特征，b表示所述目标像素点在所述第二曝光图像中的对应像素点的图像特征，p表示所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征。
[0224]
进一步的，所述至少两帧不同曝光量的第二图像包括第一曝光图像、第二曝光图像和第三曝光图像，所述第一曝光图像的曝光量大于所述第二曝光图像的曝光量，所述第二曝光图像的曝光量大于所述第三曝光图像的曝光量；所述第三融合权重计算子单元具体可以包括：
[0225]
权重设定子单元，用于根据所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征分别来自于各个所述第一图像的权重，设置所述目标像素点的图像特征分别来自于所述第一曝光图像、所述第二曝光图像和所述第三曝光图像的权重中的任意一个权重为设定值；
[0226]
公式计算子单元，用于根据以下公式计算得到所述目标像素点的图像特征分别来
自于所述第一曝光图像、所述第二曝光图像和所述第三曝光图像的权重：
[0227]
a*x+b*y+c*z＝p
[0228]
x+y+z＝1
[0229]
其中，x表示所述目标像素点的图像特征来自于所述第一曝光图像的权重，y表示所述目标像素点的图像特征来自于所述第二曝光图像的权重，z表示所述目标像素点的图像特征来自于所述第三曝光图像的权重，a表示所述目标像素点在所述第一曝光图像中的对应像素点的图像特征，b表示所述目标像素点在所述第二曝光图像中的对应像素点的图像特征，c表示所述目标像素点在所述第三曝光图像中的对应像素点的图像特征，p表示所述目标像素点在所述第一高动态范围图像中的对应像素点的图像特征。
[0230]
在本技术的一个实施例中，所述图像获取模块可以包括：
[0231]
第一图像拍摄单元，用于通过所述第一摄像头拍摄得到一帧以上曝光量大于第一基准曝光量的图像，所述第一基准曝光量为所述第一摄像头的预览流对应的曝光量；
[0232]
第二图像拍摄单元，用于通过所述第一摄像头拍摄得到一帧以上曝光量小于所述第一基准曝光量的图像；
[0233]
第一图像确定单元，用于将所述一帧以上曝光量大于所述第一基准曝光量的图像以及所述一帧以上曝光量小于所述第一基准曝光量的图像确定为所述至少两帧不同曝光量的第一图像；
[0234]
第三图像拍摄单元，用于通过所述第二摄像头拍摄得到一帧以上曝光量大于第二基准曝光量的图像，所述第二基准曝光量为所述第二摄像头的预览流对应的曝光量；
[0235]
第四图像拍摄单元，用于通过所述第二摄像头拍摄得到一帧以上曝光量小于所述第二基准曝光量的图像；
[0236]
第二图像确定单元，用于将所述一帧以上曝光量大于所述第二基准曝光量的图像以及所述一帧以上曝光量小于所述第二基准曝光量的图像确定为所述至少两帧不同曝光量的第二图像。
[0237]
本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本技术提出的各个图像融合方法。
[0238]
本技术实施例还提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行本技术提出的各个图像融合方法。
[0239]
图10为本技术一实施例提供的电子设备的示意图。如图10所示，该实施例的电子设备100包括：至少一个处理器1000(图10中仅示出一个)处理器、存储器1001以及存储在所述存储器1001中并可在所述至少一个处理器1000上运行的计算机程序1002，所述处理器1000执行所述计算机程序1002时实现上述任意图像融合方法实施例中的步骤。
[0240]
该电子设备可包括，但不仅限于，处理器1000、存储器1001。本领域技术人员可以理解，图10仅仅是电子设备100的举例，并不构成对电子设备100的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
[0241]
所称处理器1000可以是中央处理单元(central processing unit，cpu)，该处理器1000还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列
(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0242]
所述存储器1001在一些实施例中可以是所述电子设备100的内部存储单元，例如电子设备100的硬盘或内存。所述存储器1001在另一些实施例中也可以是所述电子设备100的外部存储设备，例如所述电子设备100上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器1001还可以既包括所述电子设备100的内部存储单元也包括外部存储设备。所述存储器1001用于存储操作装置、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器1001还可以用于暂时地存储已经输出或者将要输出的数据。
[0243]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0244]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0245]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0246]
在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0247]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0248]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0249]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0250]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。