一种图像处理方法、装置、电子设备及存储介质与流程

本公开涉及图像处理领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术：

1、现有的全景图像拼接方法，大多采用等间隔帧数、等间隔旋转角度或者固定的相机参数计算进行拼接图选取，完成图像拼接，并未考虑图像的内容是否可拼接，无法较好地适应图像源运动的不确定性、相机内参、旋转参数等场景，难以保证全景图像的拼接质量。

技术实现思路

1、本公开提供一种图像处理方法、装置、电子设备及存储介质，能够实现提高全景图像拼接质量。本公开的技术方案如下：

2、根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括：

3、对目标场景进行连续图像采集，得到原始图像帧序列；

4、将所述原始图像帧序列的首个图像帧确定为当前关键图像帧；

5、确定所述当前关键图像帧对应的当前关联图像集合；所述当前关联图像集合中的任一图像帧为所述原始图像帧序列中的图像帧，且与所述当前关键图像帧的共视区域的区域面积大于第一阈值；

6、将所述当前关联图像集合中，与所述当前关键图像帧的共视区域的区域面积最小的图像帧确定为所述当前关键图像帧；

7、重复执行步骤：确定所述当前关键图像帧对应的当前关联图像集合；至将所述当前关联图像集合中，与所述当前关键图像帧的共视区域的区域面积最小的图像帧确定为所述当前关键图像帧；直至所述当前关键图像帧为所述原始图像的最后一个图像帧；

8、基于各关键图像帧进行图像拼接处理，得到所述目标场景的目标全景图像。

9、进一步地，所述确定所述当前关键图像帧对应的当前关联图像集合，包括：

10、将所述原始图像帧序列中与所述当前关键图像帧相邻，且位于所述当前关键图像帧之后的图像帧确定为当前目标图像帧；

11、确定所述当前关键图像帧与所述当前目标图像帧的共视区域的当前区域面积；

12、在所述当前区域面积大于第一阈值的情况下，将所述当前目标图像帧确定为关联图像帧；

13、将所述当前目标图像帧的下一图像帧确定为所述当前目标图像帧；

14、重复执行步骤：确定所述当前关键图像帧与所述当前目标图像帧的共视区域的区域面积；至将所述当前目标图像帧的下一图像帧确定为所述当前目标图像帧；直至所述当前关键图像帧与所述当前目标图像帧的共视区域的区域面积小于等于所述第一阈值；

15、将各关联图像帧确定为所述当前关键图像帧对应的当前关联图像集合。

16、进一步地，所述方法还包括：

17、在所述当前关键图像帧与下一图像帧的区域面积小于等于所述第一阈值的情况下，将所述下一图像帧确定为当前关键图像帧。

18、进一步地，所述当前关键图像帧与所述当前目标图像帧均包括多个追踪角点；

19、所述确定所述当前关键图像帧与所述当前目标图像帧的共视区域的当前区域面积，包括：

20、对所述多个追踪角点进行光流估计，分别确定所述当前关键图像帧中的多个追踪角点至所述当前目标图像帧中多个追踪角点的位移量；

21、基于多个追踪角点各自对应的位移量确定平均位移量；

22、基于所述平均位移量，确定所述当前区域面积。

23、进一步地，所述基于关键图像帧进行图像拼接处理，得到所述目标场景的目标全景图像，包括：

24、将所述关键图像帧进行图像拼接，得到第一全景图像；

25、基于相邻关键图像帧的共视区域的区域面积，对所述第一全景图像中的所述各关键图像帧进行位移，得到第二全景图像；

26、基于所述第二全景图像中目标像素点的数量，确定所述第二全景图像的待剪裁区域；所述目标像素点为像素值为0的像素点；所述目标像素点位于所述第二全景图像的边缘；

27、对所述待剪裁区域进行剪裁，得到所述目标全景图像。

28、进一步地，所述第二全景图像包括多个像素行；所述基于目标像素点的数量，确定所述第二全景图像的待剪裁区域，包括：

29、确定目标像素行对应的所述目标像素点的数量；所述目标像素行为位于所述第二全景图像边缘，且行数为预设行数的像素行；

30、基于所述目标像素点的数量，确定所述待剪裁区域，所述待剪裁区域的像素行数小于等于所述预设行数，且所述待剪裁区域每个像素行中，所述目标像素点的数量大于第三阈值。

31、进一步地，所述相邻关键图像帧的共视区域包括目标参照点；

32、所述基于相邻关键图像帧的共视区域的区域面积，对所述第一全景图像中的所述关键帧进行位移，得到第二全景图像，包括：

33、将所述第一全景图像确定为当前映射图像；

34、确定所述目标参照点在所述当前关键图像帧与下一关键图像帧的当前第一位移向量；

35、将所述当前第一位移向量映射在所述当前映射图像，得到所述当前位移向量在所述当前映射图像的当前映射位移向量；

36、基于所述当前映射位移向量，以及所述当前共视区域的区域面积，得到所述下一关键图像帧相对于所述当前关键帧的的当前第二位移向量；

37、基于所述当前第二位移向量对所述下一关键图像帧进行位移，得到当前第二全景图像；

38、将所述当前初始第二全景图像确定为当前映射图像；

39、将所述下一关键图像帧确定为当前关键帧图像；

40、重复执行步骤：确定所述目标参照点在所述当前关键图像帧与下一关键图像帧的当前第一相对位移向量，至将所述下一关键图像帧确定为当前关键帧图像，直至不存在所述下一关键图像帧。

41、进一步地，所述基于所述当前第二位移向量对所述下一关键图像帧进行位移，得到当前第二全景图像之后，所述方法还包括：

42、基于预设权重，将相邻关键图像帧之间的共视区域进行图像融合，得到所述第二全景图像；所述预设权重表征对所述相邻关键图像帧中，展示任一项关键图像帧对应的共视区域。

43、根据本公开实施例的第二方面，提供一种图像处理装置，所述装置包括：

44、图像采集模块，用于对目标场景进行连续图像采集，得到原始图像帧序列；

45、第一确定模块，用于将所述原始图像帧序列的首个图像帧确定为当前关键图像帧；

46、第二确定模块，用于确定所述当前关键图像帧对应的当前关联图像集合；所述当前关联图像集合中的任一图像帧为所述原始图像帧序列中的图像帧，且与所述当前关键图像帧的共视区域的区域面积大于第一阈值；

47、第三确定模块，用于将所述当前关联图像集合中，与所述当前关键图像帧的共视区域的区域面积最小的图像帧确定为所述当前关键图像帧；

48、重复执行模块，用于重复执行步骤：确定所述当前关键图像帧对应的当前关联图像集合；至将所述当前关联图像集合中，与所述当前关键图像帧的共视区域的区域面积最小的图像帧确定为所述当前关键图像帧；直至所述当前关键图像帧为所述原始图像的最后一个图像帧；

49、图像拼接模块，用于基于各关键图像帧进行图像拼接处理，得到所述目标场景的目标全景图像。

50、根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的一种图像处理方法。

51、根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面中任一项所述的一种图像处理方法。

52、根据本公开实施例的第五方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例的第一方面中任一项所述的一种图像处理方法。

53、本公开的实施例提供的技术方案至少带来以下有益效果：

54、本技术基于与当前关键图像帧的共视区域的区域面积，在原始图像帧序列中确定当前关键帧图像对应的当前关联图像帧集合，并在关联图像帧集合中确定当前关键图像帧，无需事先预知图像采集设备的参数，根据图像帧内容选取调整关键图像帧，保证目标全景图像的拼接质量；在原始图像帧序列中减少了参与目标全景图像拼接的图像数量，提高了拼接效率，在此基础上，基于共视区域面积筛选出多个关键图像帧，考虑到图像之间是否存在共视区域可拼接的情况，进一步保证了目标全景图像的拼接效果，参与目标全景图像拼接的各关键图像帧中，首个关键图像帧与最后一个关键图像帧，分别与原始图像帧序列的首尾图像帧对应，保证目标场景对应的头尾信息保留，实现目标全景图像拼接闭环。

55、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。