一种全景图像处理方法、系统、电子设备和存储介质与流程

本申请涉及图像处理领域，特别是涉及一种全景图像处理方法、系统、电子设备和存储介质。

背景技术：

1、针孔图像相比于全景图像，具备较深的景深和更小的畸变，因此，视觉算法通常选择相机模型更简单、图像畸变更小的针孔图像作为输入。但是，由于针孔相机的可观测范围有限，为了满足大视野的视觉算法的需求，往往需要对同一场景进行多角度反复采集，获取步骤较为复杂；另外，针孔图像较小的视野范围会降低有效信息的比例，也会导致算法稳定性下降。

2、在相关技术中，可以通过相机球形模型将全景图像的部分区域转换为针孔图像，但是，当前的全景图像转换为针孔图像的方式只能支持特定区域，无法生成连续多张任意区域的针孔图像。

3、目前，针对根据全景图像生成针孔图像的方法效率较差的问题，尚未提出有效的解决方案。

技术实现思路

1、本申请实施例提供了一种景图像处理方法、系统、电子设备和存储介质，以至少解决相关技术中据全景图像生成针孔图像的方法效率较差的问题。

2、第一方面，本申请实施例提供了一种全景图像处理方法，所述方法包括：

3、基于全景图像，确定待生成的针孔图像的分辨率，以及所述针孔图像对应的相机模型参数；

4、根据所述全景图像的相机球体模型和所述分辨率，确定初始针孔图像对应的基准平面；

5、根据所述相机模型参数，确定目标针孔图像的相机模型与所述初始针孔图像的相机模型之间的光轴偏移；

6、基于所述基准平面和所述相机光轴偏移，生成所述目标针孔图像。

7、在其中一些实施例中，根据所述全景图像的相机球体模型和所述分辨率，确定初始针孔图像对应的基准平面，包括：

8、将所述全景图像转换为球体相机模型；

9、获取所述球体相机模型的坐标轴与所述相机球体模型外表面的交点；

10、根据所述交点和所述分辨率进行图像归一化，得到所述基准平面。

11、在其中一些实施例中，根据所述交点和所述分辨率进行图像归一化，得到所述基准平面包括：

12、以所述交点为切点，获取与所述相机球体模型相切的目标平面；

13、根据所述分辨率对所述目标平面进行图像归一化，得到所述基准平面，其中，所述基准平面是所述初始针孔图像的像素点对应在所述相机球体模型坐标系中的三维点集合。

14、在其中一些实施例中，基于所述基准平面和所述光轴偏移，生成所述目标针孔图像，包括：

15、在所述基准平面中，获取所述初始针孔图像对应的初始三维点坐标；

16、根据所述初始三维点坐标和所述光轴偏移，得到所述目标针孔图像的目标三维点坐标；

17、通过所述相机球体模型，将所述目标三维点映射至所述全景图像，得到所述目标三维点对应在所述全景图像中的像素位置；

18、在所述全景图像中获取所述像素位置对应的像素值，基于所述像素值生成所述目标针孔图像。

19、在其中一些实施例中，所述方法还包括：

20、在所述像素位置为非整数的情况下，通过双线性差值获取所述像素位置对应的像素值，基于所述像素值生成所述目标针孔图像。

21、在其中一些实施例中，通过如下公式，将所述目标针孔图像的三维点映射至所述全景图像：

22、

23、其中，(xc、yc、zc)是所述目标三维点坐标，(pw，ph)是所述分辨率，β，r，δ分别是中间参数，是所述像素位置。

24、第二方面，本实施例提供了一种全景图像处理系统，所述系统包括：预处理模块和针孔图像生成模块，其中，

25、所述预处理模块，用于基于全景图像，确定待生成的针孔图像的分辨率，以及所述针孔图像对应的相机模型参数，

26、以及，根据所述全景图像的相机球体模型和所述分辨率，确定初始针孔图像对应的基准平面；

27、所述针孔图像生成模块，用于根据所述相机模型参数，确定目标针孔图像的相机模型与所述初始针孔图像的相机模型之间的光轴偏移，基于所述基准平面和所述相机光轴偏移，生成所述目标针孔图像。

28、在其中一些实施例中，所述预处理模块基于所述全景图像的相机球体模型和所述分辨率，确定初始针孔图像对应的基准平面，包括：

29、确定所述全景图像对应的球体相机模型；

30、获取所述球体相机模型的坐标轴与所述相机球体模型外表面的交点；

31、根据所述交点和所述分辨率进行归一化处理，得到所述基准平面。

32、第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。

33、第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。

34、相比于相关技术，本申请实施例提供的全景图像处理方法：该方法基于全景图像，确定待生成的针孔图像的分辨率，以及针孔图像对应的相机模型参数；根据全景图像的相机球体模型和分辨率，确定初始针孔图像对应的基准平面；根据相机模型参数，确定目标针孔图像的相机模型与初始针孔图像的相机模型之间的光轴偏移；基于基准平面和相机光轴偏移，生成目标针孔图像。通过本申请，解决了相关技术中据全景图像生成针孔图像的方法效率较差的问题，可自动化地计算一张全景图像可拆分的针孔图像数量、位置、对应相机模型的内外参以及恢复任意角度的针孔图像等，使得全景图像转换针孔图像方式更灵活高效。

技术特征：

1.一种全景图像处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，根据所述全景图像的相机球体模型和所述分辨率，确定初始针孔图像对应的基准平面，包括：

3.根据权利要求2所述的方法，其特征在于，根据所述交点和所述分辨率进行图像归一化，得到所述基准平面包括：

4.根据权利要求1或3中任意一项所述的方法，其特征在于，基于所述基准平面和所述光轴偏移，生成所述目标针孔图像，包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求4或5中任意一项所述的方法，其特征在于，通过如下公式，将所述目标针孔图像的三维点映射至所述全景图像：

7.一种全景图像处理系统，其特征在于，所述系统包括：预处理模块和针孔图像生成模块，其中，

8.根据权利要求7所述的方法，其特征在于，所述预处理模块基于所述全景图像的相机球体模型和所述分辨率，确定初始针孔图像对应的基准平面，包括：

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述的方法。

技术总结
本申请涉及一种全景图像处理方法，其中，该方法包括：于全景图像，确定待生成的针孔图像的分辨率，以及针孔图像对应的相机模型参数；根据全景图像的相机球体模型和分辨率，确定初始针孔图像对应的基准平面；根据相机模型参数，确定目标针孔图像的相机模型与初始针孔图像的相机模型之间的光轴偏移；基于基准平面和相机光轴偏移，生成目标针孔图像。通过本申请，解决了相关技术中据全景图像生成针孔图像的方法效率较差的问题，可自动化地计算一张全景图像可拆分的针孔图像数量、位置、对应相机模型的内外参以及恢复任意角度的针孔图像等，使得全景图像转换针孔图像方式更灵活高效。

技术研发人员：万旭东,丛林
受保护的技术使用者：杭州易现先进科技有限公司
技术研发日：
技术公布日：2024/1/15