基于空中地图数据重构地图的方法、系统及存储介质与流程

本发明涉及计算机三维重建，特别涉及一种基于空中地图数据重构三维地图数据的方法、重建三维地图的方法及相应系统、存储介质。

背景技术：

1、计算机三维重建技术在机器人学和计算机视觉以及计算机图形学领域被广泛研究，目前广泛应用于增强现实(ar)、虚拟现实(vr)、移动机器人和自动驾驶等领域。基于地面图像的三维重建在各种三维重建方法中由于成本低精度高而占有十分重要的地位。

2、在自动驾驶或ar/vr等领域，地面图像的获取主要是通过手持设备或者固定在机器人、车辆上的相机拍摄完成的。这些从地面端获取的地面图像，往往视野较窄而且缺乏高精度的全局定位(例如gps)。基于地面图像重建的地图模型缺乏顶部，并且容易产生漂移，全局定位精度较差。

3、公开号为cn114923477a的中国专利文件公开了一种基于视觉与激光slam技术的多维度空地协同建图系统和方法，如图1所示。该现有技术的系统包括：地面站、无人机和无人车。无人机包括整体物理架构、机载嵌入式电脑和图像传感器；整体物理架构包括机架、四旋翼和电机；机载嵌入式电脑包括通信模块与嵌入式处理器，图像传感器包括双目相机与rgb-d相机。无人车包括嵌入式处理器、激光雷达传感器和通信模块。地面站包括显示控件、控制控件和通信控件。该现有技术利用地面站输出控制和建图指令，将无人机构建的3d点云地图和无人机构建的2d平面栅格地图通过slam技术进行融合。该现有技术通过无人机或者卫星拍摄的图像克服了地面图像的缺陷，消除了gps信号弱等因素造成的定位误差，提高了建图的精准度。

4、但是，现有技术缺乏地面图像定位与空中图像定位的校准与对齐，虽然空中图像具备良好的定位精确度，但无法改善地面图像本身带来的地面地图数据的定位缺陷。

技术实现思路

1、本发明技术方案解决的技术问题为，如何将地面图像定位数据与空中图像定位数据对齐，从而实现地面地图数据的校准。

2、为了解决上述技术问题，本发明技术方案提供了一种基于空中地图数据重构三维地图数据的方法，包括：

3、实景获取目标场景的多张空中图像及地面图像；

4、基于所述空中图像进行三维重建并与全局坐标系对齐，以获得空中三维图像数据；

5、基于所述地面图像计算设备位姿并与所述全局坐标系对齐，以获得地面三维图像数据；

6、基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据；所述基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据包括：

7、基于所述空中三维图像数据及地面三维图像数据渲染得到所述目标场景的多张地面视角图像及地面视角三维图像数据；

8、对指定地面图像从所述地面视角图像检索到n个与所述地面图像最相似的渲染图，所述n为预设的自然数值；

9、将所述渲染图与指定地面图像进行特征匹配以获取渲染匹配特征集，并基于所述渲染匹配特征集获得对应的地面视角匹配三维图像数据；

10、所重构的三维地图数据包括：全局坐标系下的空中三维图像数据、地面三维图像数据以及地面视角三维图像数据。

11、可选的，所述空中图像为无人机拍摄的正射或者倾斜拍摄的图片集合，所述地面图像为由人或地面运动的机器人、车辆用手机或者相机拍摄的图片集合。

12、可选的，所述基于所述空中图像进行三维重建并与全局坐标系对齐包括：

13、获取空中图像特征点集；

14、基于所述空中图像构建空中三维视觉地图，并获得所述空中图像特征点集相对于所述空中三维视觉地图的空中三维点云坐标集；

15、将所述空中三维点云坐标集对齐于所述全局坐标系以获得全局坐标系下的空中三维点云坐标集；

16、所述空中三维图像数据包括：所述空中图像特征点集及全局坐标系下的空中三维点云坐标集。

17、可选的，所述空中图像特征点集基于纹理特征获取。

18、可选的，所述基于所述地面图像计算设备位姿并与所述全局坐标系对齐包括：

19、获取地面图像特征点集；

20、基于所述地面图像构建地面三维视觉地图，并获得所述地面图像特征点集相对于所述地面三维视觉地图的地面三维点云坐标集；

21、将所述地面三维点云坐标集的初始位姿信息对齐于所述全局坐标系，以获得全局坐标系下地面三维点云坐标集的全局位姿信息；

22、所述地面三维图像数据包括：所述地面图像特征点集、地面三维点云坐标集及全局位姿信息。

23、可选的，所述将所述地面三维点云坐标集的位姿信息对齐于所述全局坐标系包括：

24、为所述地面三维点云坐标集的初始位姿信息添加随机偏移量，以得到地面三维点云坐标集的偏移位姿信息；

25、基于所述空中三维图像数据及偏移位姿信息渲染得到新的地面三维视觉地图；

26、基于所述新的地面三维视觉地图，获得相对于所述地面图像特征点集的新的地面三维点云坐标集；

27、将所述新的地面三维点云坐标集的初始位姿信息作为所述全局坐标系下地面三维点云坐标集的相对位姿信息。

28、可选的，所述基于所述空中三维图像数据及地面三维图像数据渲染得到所述目标场景的多张地面视角图像及地面视角三维图像数据，包括：

29、基于所述地面三维图像数据获取所述全局坐标系下地面视角图像的位姿信息，并确定渲染图像所采用的相机模型，包括渲染图像的位姿与成像模型；

30、利用所述空中三维图像数据，采用所述相机模型，在所述地面视角图像的位姿信息所确定的位置渲染地面视角图像；

31、所述地面视角三维图像数据包括：所述地面视角图像的地面视角图像特征集及全局坐标系下的地面视角三维点云坐标集。

32、可选的，所述将所述渲染图与指定地面图像进行特征匹配以获取渲染匹配特征集，并基于所述渲染匹配特征集获得对应的地面视角匹配三维图像数据，包括：

33、提取所述渲染图的渲染特征点集并与指定地面图像的地面图像特征点集进行匹配，以获得相互匹配的匹配渲染特征点集及匹配地面图像特征集；

34、基于所述匹配渲染特征点集从对应的地面视角三维图像数据找到全局坐标系下的匹配渲染三维点云坐标集；

35、将所述匹配地面图像特征集与所述全局坐标系下的匹配渲染三维点云坐标集相关联以得到所述地面视角匹配三维图像数据。

36、可选的，所述基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据还包括：

37、根据所述地面视角匹配三维图像数据对所述地面三维图像数据进行全局捆绑调整；

38、所述基于空中地图数据重构三维地图数据的方法还包括：

39、重复执行所述基于所述空中三维图像数据优化所述地面三维图像数据；

40、当捆绑结果符合阈值，输出所述重构三维地图数据。

41、可选的，所述根据所述地面视角匹配三维图像数据对所述地面三维图像数据进行全局捆绑调整包括：

42、计算全局坐标系下的匹配渲染三维点云坐标及地面三维点云坐标相对于地面图像特征点坐标的重投影误差总和，所述捆绑结果为该重投影误差总和。

43、可选的，所述基于空中地图数据重构三维地图数据的方法，其特征在于，如权利要求1所述的基于空中地图数据重构三维地图数据的方法，其特征在于，还包括：

44、重复执行所述基于所述空中三维图像数据优化所述地面三维图像数据直到符合预设次数；

45、输出所述重构三维地图数据。

46、为了解决上述技术问题，本发明技术方案还提供了一种基于空中地图数据重建三维地图的方法，包括：

47、基于如上所述的基于空中地图数据重构三维地图数据的方法输出所述三维地图数据；

48、基于所述三维地图数据对地图图像进行三维重建。

49、为了解决上述技术问题，本发明技术方案还提供了一种基于空中地图数据重构三维地图数据的系统，包括：

50、获取模块，适于实景获取目标场景的多张空中图像及地面图像；

51、第一计算模块，适于基于所述空中图像进行三维重建并与全局坐标系对齐，以获得空中三维图像数据；

52、第二计算模块，适于基于所述地面图像计算设备位姿并与所述全局坐标系对齐，以获得地面三维图像数据；

53、优化模块，适于基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据；

54、所述基于所述空中三维图像数据优化所述地面三维图像数据以重构三维地图数据包括：

55、基于所述空中三维图像数据及地面三维图像数据渲染得到所述目标场景的多张地面视角图像及地面视角三维图像数据；

56、对指定地面图像从所述地面视角图像检索到n个与所述地面图像最相似的渲染图，所述n为预设的自然数值；

57、将所述渲染图与指定地面图像进行特征匹配以获取渲染匹配特征集，并基于所述渲染匹配特征集获得对应的地面视角匹配三维图像数据；

58、所重构的三维地图数据包括：全局坐标系下的空中三维图像数据、地面三维图像数据以及地面视角三维图像数据。

59、为了解决上述技术问题，本发明技术方案还提供了一种基于空中地图数据重建三维地图的系统，包括：

60、输出模块，适于与如上所述的基于空中地图数据重构三维地图数据的系统连接，以输出所述三维地图数据；

61、重建模块，适于基于所述三维地图数据对地图图像进行三维重建。

62、为了解决上述技术问题，本发明技术方案还提供了一种基于空中地图数据重建三维地图的系统，包括：处理器和存储器；所述存储器中存储有计算机程序，所述处理器适于在执行所述计算机程序时执行如上所述的基于空中地图数据重构三维地图数据的方法之步骤。

63、为了解决上述技术问题，本发明技术方案还提供了一种基于空中地图数据重构三维地图数据的系统，包括：处理器和存储器；所述存储器中存储有计算机程序，所述处理器适于在执行所述计算机程序时执行如上所述的基于空中地图数据重建三维地图的方法之步骤。

64、为了解决上述技术问题，本发明技术方案还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于空中地图数据重构三维地图数据的方法之步骤。

65、为了解决上述技术问题，本发明技术方案还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于空中地图数据重建三维地图的方法之步骤。

66、本发明技术方案的有益效果至少包括：

67、本发明技术方案通过分别将空中图像与地面图像在全局坐标系中对齐，以获得空中三维图像数据及地面三维图像数据，并基于空中三维图像数据对地面三维图像数据进行优化，使空中三维图像数据及地面三维图像数据进行重叠，获得对应的地面视角匹配三维图像数据，并据此重构三维地图数据，使天空三维图像数据及地面三维图像数据以地面视角匹配三维图像数据为中心建立数据之间的关联性，实现地面地图数据的校准。

68、本发明技术方案基于天空三维地图数据渲染地面视角图像，然后用渲染的地面视角图像作为中介与地面图像进行特征匹配，从而建立地面三维地图数据和天空三维地图数据之间的关联性。渲染得到的地面视角图像在视角方向、分辨率方面与地面图像类似，本发明技术方案因此克服了现有技术中缺乏地面图像定位与空中图像定位的校准与对齐的问题，解决了地面三维地图数据和空中三维地图数据差异太大无法直接匹配的难题。

69、本发明技术方案还利用了地面三维数据的位姿信息，在地面三维数据所确认的位姿信息附近渲染地面视角图像，使渲染图像接近于真实拍摄的地面图像，从而在图像特征匹配时可以匹配到更多的特征点，产生的约束也就越强，从而提高全局捆绑调整(ba)后的位姿精度。本发明技术方案下获得的渲染图像和对应的真实拍摄的地面图像更为相似，因此优化后的地面三维图像数据也能具备更加接近真实全局姿态的位姿信息。

70、本发明技术方案考虑到预期地面三维地图数据的全局精度不高，可选方案中，在渲染前基于地面图像计算设备位姿时对渲染相机的位姿加上随机偏移量，可增强算法的稳健型性，得到更高的全局位姿精度。在本发明技术方案的可选方案中，可以采用空中三维模型，按照设备位姿渲染出来一个视角，这个位姿非常接近于真实拍摄的地面图像位姿。因此，通过渲染出来的图像数据与真实地面图像非常相似，可以提高地面三维地图数据的全局精度。

71、本发明技术方案使获取的地面三维地图数据和空中三维地图数据达到了非常紧密的耦合，其二者的三维点云数据会很好的融合在一起。因此本发明技术方案能够单独基于校准后的地面三维地图数据、或者校准后的地面三维地图数据和空中三维地图数据，生成新的三维地图模型。