图像融合方法、装置、电子设备及可读存储介质与流程

本技术涉及图像处理，尤其涉及一种图像融合方法、装置、电子设备及可读存储介质。

背景技术：

1、目前，图像拼接的目的是将多路图像经过配准、坐标映射和融合后输出全景图像。配准部分在离线标定中完成，硬件部分实现坐标映射和融合。其中融合功能的好坏会严重影响最终全景图像的图像质量，目前主要的融合方案包括线性加权融合和金字塔融合。

2、线性加权融合方案是利用水平坐标线性计算得到图像chn1和图像chn2在融合区的权重值，如图1所示。虽然计算简单，但由于配准后的图像不可避免地会在垂直方向上存在位置差异，导致融合不均匀，使得重叠区域的上下边缘出现阴影现象。

3、金字塔融合方案是基于laplacian金字塔进行多频带融合，利用融合后的拉普拉斯(laplacian)金字塔从最顶层依次重构出全景图像，如图2所示。显然金字塔融合需要额外利用多个分辨率图像进行处理，计算量较大，会给视频监控的实时处理和开销带来较大的困难。

4、综上，现有技术中，在图像拼接过程中存在拼接效果较差的问题。

技术实现思路

1、为了解决上述技术问题，本技术实施例提供了一种图像融合方法、装置、电子设备及可读存储介质。

2、第一方面，本技术实施例提供了一种图像融合方法，所述方法包括：

3、对第一图像及第二图像进行配准，得到第一待拼接图像及第二待拼接图像；

4、根据所述第一待拼接图像及所述第二待拼接图像对第一初始掩膜及第二初始掩膜进行配准，得到第一配准掩膜及第二配准掩膜，所述第一初始掩膜的分辨率与所述第一图像的分辨率相同，所述第二初始掩膜的分辨率与所述第二图像的分辨率相同，所述第一初始掩膜及所述第二初始掩膜的各像素点均为第一像素值；

5、分别根据所述第一配准掩膜及所述第二配准掩膜获取第一权重数据及第二权重数据；

6、根据所述第一权重数据、所述第二权重数据对所述第一待拼接图像及所述第二待拼接图像进行融合，得到全景图像。

7、在一实施方式中，所述根据所述第一权重数据、所述第二权重数据对所述第一待拼接图像及所述第二待拼接图像进行融合，包括：

8、确定所述第一待拼接图像与所述第二待拼接图像之间重叠的第一融合区域及第二融合区域；

9、从所述第一权重数据确定所述第一融合区域对应的第一权重子数据；

10、从所述第二权重数据确定所述第二融合区域对应的第二权重子数据；

11、根据所述的第一权重子数据、所述第二权重子数据对所述第一融合区域及所述第二融合区域进行融合。

12、在一实施方式中，所述对第一图像及第二图像进行配准，得到第一待拼接图像及第二待拼接图像，包括：

13、将所述第一图像及所述第二图像进行坐标映射处理，得到所述第一待拼接图像及所述第二待拼接图像。

14、在一实施方式中，所述根据所述第一待拼接图像及所述第二待拼接图像对第一初始掩膜及第二初始掩膜进行配准，包括：

15、确定所述第一待拼接图像与所述第二待拼接图像重叠的第一重叠区域及第二重叠区域；

16、将所述第一初始掩膜及所述第二初始掩膜进行坐标映射处理，得到第一映射掩膜及第二映射掩膜；

17、确定所述第一映射掩膜中除所述第一重叠区域之外的第一剩余区域，将所述第一剩余区域的像素点设置为第二像素值，得到所述第一配准掩膜；

18、确定所述第二映射掩膜中除所述第二重叠区域之外的第二剩余区域，将所述第二剩余区域的像素点设置为第二像素值，得到所述第二配准掩膜。

19、在一实施方式中，根据所述第一配准掩膜获取第一权重数据，包括：

20、获取所述第一配准掩膜中的每个第一像素点分别与所述第一配准掩膜中的多个第二像素点的多个曼哈顿距离，所述第一像素点为所述第一配准掩膜中像素值为所述第一像素值的像素点，所述第二像素点为所述第一配准掩膜中像素值为所述第二像素值的像素点；

21、根据所述第一配准掩膜中的每个第一像素点的多个曼哈顿距离获取所述第一配准掩膜中的每个所述第一像素点的最终权重；

22、获取所述第一配准掩膜的每个所述第二像素点的预设权重；

23、将所述第一配准掩膜中的每个所述第一像素点的最终权重及所述第一配准掩膜中的每个所述第二像素点的预设权重确定为所述第一权重数据。

24、在一实施方式中，所述根据所述第一配准掩膜中的每个第一像素点的多个曼哈顿距离获取所述第一配准掩膜中的每个所述第一像素点的最终权重，包括：

25、分别从所述第一配准掩膜中的每个第一像素点的多个曼哈顿距离中确定所述第一配准掩膜中的每个所述第一像素点的最小曼哈顿距离；

26、分别将所述第一配准掩膜中的每个所述第一像素点的最小曼哈顿距离作为所述第一配准掩膜中的每个所述第一像素点的初始权重；

27、对所述第一配准掩膜中的每个所述第一像素点的初始权重分别进行归一化处理，得到每个所述第一像素点的最终权重。

28、在一实施方式中，所述确定所述第一待拼接图像与所述第二待拼接图像之间重叠的第一融合区域及第二融合区域，包括：

29、确定所述第一待拼接图像与所述第二待拼接图像之间的重叠区域；

30、根据所述重叠区域设置融合位置及融合宽度；

31、根据所述融合位置及所述融合宽度从所述第一待拼接图像与所述第二待拼接图像中分别确定所述第一融合区域及所述第二融合区域。

32、第二方面，本技术实施例提供了一种图像融合装置，所述图像融合装置包括：

33、第一配准模块，用于对第一图像及第二图像进行配准，得到第一待拼接图像及第二待拼接图像；

34、第二配准模块，用于根据所述第一待拼接图像及所述第二待拼接图像对第一初始掩膜及第二初始掩膜进行配准，得到第一配准掩膜及第二配准掩膜，所述第一初始掩膜的分辨率与所述第一图像的分辨率相同，所述第二初始掩膜的分辨率与所述第二图像的分辨率相同，所述第一初始掩膜及所述第二初始掩膜的各像素点均为第一像素值；

35、获取模块，用于分别根据所述第一配准掩膜及所述第二配准掩膜获取第一权重数据及第二权重数据；

36、融合模块，用于根据所述第一权重数据、所述第二权重数据对所述第一待拼接图像及所述第二待拼接图像进行融合，得到全景图像。

37、第三方面，本技术实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行第一方面提供的图像融合方法。

38、第四方面，本技术实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面提供的图像融合方法。

39、上述本技术提供的图像融合方法、装置、电子设备及可读存储介质，对第一图像及第二图像进行配准，得到第一待拼接图像及第二待拼接图像；根据所述第一待拼接图像及所述第二待拼接图像对第一初始掩膜及第二初始掩膜进行配准，得到第一配准掩膜及第二配准掩膜；分别根据所述第一配准掩膜及所述第二配准掩膜获取第一权重数据及第二权重数据；根据所述第一权重数据、所述第二权重数据对所述第一待拼接图像及所述第二待拼接图像进行融合，得到全景图像。这样，通过引入第一权重数据及第二权重数据对第一待拼接图像及第二待拼接图像进行融合，可以有效解决待拼接的两个图像边界融合不均匀的问题，提高图像拼接效果。