一种无人机影像与点云匹配方法及装置与流程

本发明涉及计算机影像处理，尤其涉及一种无人机影像与点云匹配方法及装置。

背景技术：

1、随着传感器技术的发展，尤其是近年来无人机低空摄影、倾斜摄影、无人机激光雷达等新技术在铁路勘察设计的普及和推广应用，在铁路勘测中同一个测区同时采集无人机影像和无人机激光雷达数据的情况经常存在。

2、机载lidar点云和无人机影像的几何参考框架不同，对机载lidar点云和无人机影像进行联合使用前，需要将两类数据转换到统一的参考坐标系下，即建立lidar点云深度图与无人机影像间的映射关系，实现两类数据的精确配准。其中，配准的核心问题在于同名控制信息的获取以及几何变换模型的建立。由于机载lidar点云为三维离散点集，而无人机影像为二维影像数据集，两类数据的获取机制与数据组织结构存在较大差异，同一地物目标在两类数据中的特征表达形式通常不同，因此采取何种方法精确高效地获取二者的同名特征映射关系，是两类数据配准的关键。

3、目前，现有的方法一般通过所选取的几何特征，诸如点、线、面等几何结构，直接建立lidar点云与影像特征间的同名映射关系，并据此计算几何变换参数。然而这类方法需要测区数据中具有足够数量且可区分性强的特征，特征数量较少时，难以获取足量同名控制信息；特征的可区分较弱时，会引起大量误匹配。具有针对基于特征的点云影像配准通常受场景内的特征数量与质量所制约，泛化性不强的技术缺陷。

技术实现思路

1、本发明提供一种无人机影像与点云匹配方法及装置，用以解决现有技术中针对基于特征的点云影像配准通常受场景内的特征数量与质量所制约，泛化性不强的缺陷。

2、第一方面，本发明提供一种无人机影像与点云匹配方法，包括：

3、获取待匹配影像数据，所述待匹配影像数据包括点云深度图和二维影像数据；

4、将所述待匹配影像数据输入至基于transformer架构多阶段深度学习的特征提取优化网络中，得到从影像中提取到的特征点和特征描述；

5、对所述待匹配影像数据的特征点和特征描述进行特征匹配获得匹配点对；

6、基于预设影像区域网平差模型，对所述匹配点对进行基于点云特征约束的影像区域网绝对定向，实现无人机影像与点云匹配。

7、根据所述的无人机影像与点云匹配方法，所述基于transformer架构多阶段深度学习的特征提取优化网络包括：

8、编码器网络，用于从待匹配影像数据中提取深层特征；

9、关键点检测模块，用于基于所述深层特征提取输入影像的关键点，所述关键点检测模块采用第一多源损失优化模型构建；

10、特征描述模块，用于j基于所述深层特征提取输入影像的特征描述，所述特征描述模块采用第二多源损失优化模型构建。

11、根据所述的无人机影像与点云匹配方法，第一多源损失优化模型采用三元组损失，神经重投影损失和可靠性损失构建。

12、根据所述的无人机影像与点云匹配方法，第二多源损失优化模型采用二元交叉熵损失，重投影损失和散度峰值损失构建。

13、根据所述的无人机影像与点云匹配方法，所述二维影像数据的获取步骤包括：

14、获取无人机拍摄的待匹配的多视角影像，提取每张影像中目标物体的位置信息和姿态信息；

15、基于所述位置信息和姿态信息采用pos辅助的光束法平差得到影像的内外方位元素；

16、获取点云深度图，基于所述内外方位元素，根据共线条件方程，将所述点云数据中的点投影至成像平面上，得到二维影像数据。

17、根据所述的无人机影像与点云匹配方法，在获取到点云深度图之前，还包括步骤：

18、在获取到点云数据之后，还包括步骤：

19、通过自然邻点插值法对所述点云数据进行插值处理；

20、并建立八叉树空间索引结构，通过隐藏点消除算子对八叉树节点内的点云数据进行遮挡检测；

21、基于所述内外方位元素，根据共线条件方程，将所述点云数据中的点投影至成像平面上得到点云深度图；

22、对所述点云深度图进行线性变换，以计算点云深度图的灰度值，使其归一化到0到255。

23、根据所述的无人机影像与点云匹配方法，基于lidar点约束基元构造所述预设影像区域网平差模型。

24、第二方面，本发明还提供一种无人机影像与点云匹配装置，包括：

25、数据获取模块，用于获取待匹配影像数据，所述待匹配影像数据包括点云深度图和二维影像数据；

26、第一处理模块，用于将所述待匹配影像数据输入至基于transformer架构多阶段深度学习的特征提取优化网络中，得到从影像中提取到的特征点和特征描述；

27、第二处理模块，用于对所述待匹配影像数据的特征点和特征描述进行特征匹配获得匹配点对；

28、第三处理模块，用于基于预设影像区域网平差模型，对所述匹配点对进行基于点云特征约束的影像区域网绝对定向，实现无人机影像与点云匹配。

29、第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述无人机影像与点云匹配方法的步骤。

30、第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述无人机影像与点云匹配方法的步骤。

31、本发明提供的无人机影像与点云匹配方法及装置，本发明通过获取包括点云深度图和二维影像数据的待匹配影像数据，输入至基于transformer架构多阶段深度学习的特征提取优化网络，可以精确高效地获取二者的同名特征映射关系，实现两类数据的精确配准。

32、通过采用轻量级transformer网络作为匹配网络的编码器，同时通过关键点检测模块和特征描述模块联合优化网络，实现在特征的点云影像配准受场景内的特征数量与质量所制约，泛化性不强的情况下，获得高精度稳定的匹配结果。此外，采用中心投影模型构造点云深度图，通过插值和遮挡检测等处理得到高质量的深度图，使得其与无人机影像尺度相近、透视几何变形较小，有利于提高后续特征匹配的精度。

技术特征：

1.一种无人机影像与点云匹配方法，其特征在于，包括：

2.根据权利要求1所述的无人机影像与点云匹配方法，其特征在于，所述基于transformer架构多阶段深度学习的特征提取优化网络包括：

3.根据权利要求2所述的无人机影像与点云匹配方法，其特征在于，第一多源损失优化模型采用三元组损失，神经重投影损失和可靠性损失构建。

4.根据权利要求2所述的无人机影像与点云匹配方法，其特征在于，第二多源损失优化模型采用二元交叉熵损失，重投影损失和散度峰值损失构建。

5.根据权利要求1所述的无人机影像与点云匹配方法，其特征在于，所述二维影像数据的获取步骤包括：

6.根据权利要求5所述的无人机影像与点云匹配方法，其特征在于，在获取到点云数据之后，还包括步骤：

7.根据权利要求1所述的无人机影像与点云匹配方法，其特征在于，基于lidar点约束基元构造所述预设影像区域网平差模型。

8.一种无人机影像与点云匹配装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述无人机影像与点云匹配方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述无人机影像与点云匹配方法的步骤。

技术总结
本发明提供一种无人机影像与点云匹配方法及装置，属于计算机影像处理技术领域，所述方法包括：获取待匹配影像数据，将待匹配影像数据输入至基于Transformer架构多阶段深度学习的特征提取网络中，得到从影像中提取到的特征点和特征描述；进而对待匹配影像数据的特征点和特征描述进行特征匹配获得匹配点对；从而基于预设影像区域网平差模型，对所述匹配点对进行基于点云特征约束的影像区域网绝对定向，实现无人机影像与点云匹配。本发明通过将三维点云转换为二维的深度图，将两类数据转换到同一维度下，通过关键点检测模块和特征描述模块联合优化网络，可以精确高效地获取二者的同名特征映射关系，实现两类数据的精确配准。

技术研发人员：张斌,曹成度,费亮,夏旺,马龙,许诗旋,童思奇,王波
受保护的技术使用者：中铁第四勘察设计院集团有限公司
技术研发日：
技术公布日：2024/7/15