一种基于层级优化策略的双目图像关键点匹配方法及介质

本发明涉及计算机视觉领域，尤其是涉及一种基于层级优化策略的双目图像关键点匹配方法及介质。

背景技术：

1、关键点匹配算法旨在匹配两幅图片中的相同像素。所匹配的关键点对可以被用于物体位姿估计，图像匹配，及时定位与地图构建等场景三维理解任务。进一步的，将关键点匹配算法部署于双目相机采集到的双目图片对时，关键点的匹配过程由2维搜索过程转换为1维搜索过程。结合双目相机的法向量以及焦距，关键点匹配对在图像中的位置关系可用以计算其对应的真实世界点距离双目相机的距离，从而用以图像视角变换、图像校正、训练基于深度学习的深度估计网络，或者用于基于种子生长策略的深度估计方法中的种子点以启发其邻域像素的深度估计。

2、在相关技术中，现有关键点匹配方法存在着若干缺陷：

3、传统的基于人工设计的关键点匹配算法：如sift、surf、brisk，首先使用局部特征检测器和描述子提取关键点，然后使用最近邻搜索算法匹配关键点。该类方法思路较为清晰简单，但由于人工设计的局部特征检测器以及描述子对光照等环境因素的变化的鲁棒性较差，因此实际应用时常难以取得稳定的效果。

4、基于数据驱动的关键点匹配算法：如superpoint、d2-net、r2d2、superglue、ncnet,使用深度神经网络来完成特征提取以及关键点匹配，取得了相比传统算法更准确的结果。但其中仍然基于关键点检测的方法如superpoint、d2-net、r2d2，常在弱纹理区域错误的匹配关键点；直接匹配图像像素的方法如ncnet常因为尺度问题无法提取到有效的局部信息来描述像素。然而，这些数据驱动类的关键点匹配算法需要大规模的经过人工标注的数据集进行网络训练，并且在未学习过的场景表现出较差的性能。

5、直接使用深度特征进行端到端的匹配的方法：如dfm(特征匹配算法)，直接使用预训练的神经网络特征提取器提取图像像素级特征并进行像素级匹配。该算法使用层级优化策略以减少计算量，提升结果精度。然后该算法在每一层均使用最近邻搜索算法进行关键点层级优化，这引入了大量的超参数，加大的实际部署的难度。

技术实现思路

1、本发明的目的就是为了提供一种高精度的基于层级优化策略的双目图像关键点匹配方法及介质。

2、本发明的目的可以通过以下技术方案来实现：

3、一种基于层级优化策略的双目图像关键点匹配方法，包括以下步骤：

4、s1、获取立体相机采集的多对具有不同分辨率的左右立体图像对；

5、s2、基于多对左右立体图像对，采用预训练好的深度神经网络特征提取器进行处理，得到多个具有不同分辨率的左右特征图对；

6、s3、采用相似度计算方法计算所述左右特征图对的匹配代价体，以构建包含不同分辨率的匹配代价体的匹配代价体金字塔；

7、s4、基于所述匹配代价体金字塔，在具有最低分辨率的匹配代价体上进行搜索获得初始关键点匹配对；

8、s5、计算所述关键点匹配对在次低分辨率的匹配代价体中对应图像块间的匹配代价，并将满足局部极值性的匹配代价对应的像素对作为最低层级的关键点匹配结果；

9、s6、重复步骤s5，根据分辨率从低到高的方式对所述匹配代价体金字塔中的匹配代价体进行逐层优化，直至获得最终的关键点匹配结果。

10、进一步地，步骤s2中，所述预训练好的深度神经网络特征提取器通过训练vgg神经网络获得。

11、进一步地，步骤s3中，所述左右特征图对的匹配代价体通过余弦相似度进行计算，所述匹配代价的计算表达式为：

12、

13、式中，ci(p,d)为匹配代价，x，y分别表示像素p的横坐标及纵坐标，d表示视差候选项，为第i个左右特征图。

14、进一步地，步骤s4中，采用最近邻搜索算法获取所述初始关键点匹配对。

15、进一步地，所述获得初始关键点匹配对的步骤包括：

16、计算最低分辨率的匹配代价体中各个像素的匹配代价峰值比；

17、判断每一左像素的匹配代价峰值比是否超过设定阈值，若是，则将左像素与左像素对应的右像素作为初始关键点匹配对，若否，则不作为初始关键点匹配对。

18、进一步地，所述匹配代价峰值比的计算表达式为：

19、

20、式中，为左像素处的匹配代价峰值比，k表示特征图的层数，ck为第k层的左右特征图间的匹配代价，分别表示左像素处对应最小和次小匹配代价的视差。

21、进一步地，步骤s5中，局部极值性满足条件的构建步骤包括：

22、将所述对应图像块划分为上下子图像块，并获取其左右邻近像素图像块；

23、基于所述上下子图像块及其左右邻近像素图像块，构建局部极值性满足条件。

24、进一步地，所述局部极值性满足条件为：

25、

26、

27、式中，分别为上下子图像块，为第k-1层的子图像块；分别为子图像块对应的左右邻近像素图像块；为两个输入的像素集合；ck-1为第k-1层的左右特征图间的匹配代价。

28、进一步地，步骤s5中，所述满足局部极值性的匹配代价为：

29、

30、式中，为左像素处的匹配代价，d为视差。

31、本发明还提供一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上所述基于层级优化策略的双目图像关键点匹配方法的指令。

32、与现有技术相比，本发明具有以下有益效果：

33、(1)本发明通过构建包含不同分辨率的匹配代价体的匹配代价体金字塔，采用层级优化策略不断地对配代价体金字塔进行逐层优化，取得了优于传统关键点匹配算法的匹配精度。

34、(2)本发明只使用预训练的神经网络特征提取器，相比数据驱动的关键点匹配算法，免除了训练过程，并提升了对于未学习过的场景的鲁棒性。

35、(3)本发明探索了将关键点匹配算法应用于双目图片时，正确匹配对匹配代价的局部极值性，相比现有dfm方法避免了过度的超参数引入，极大的便利了实际部署。

36、(4)本发明只使用消费级的相机即可获取高精度的三维深度信息，相比使用激光雷达成本低廉。

技术特征：

1.一种基于层级优化策略的双目图像关键点匹配方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于层级优化策略的双目图像关键点匹配方法，其特征在于，步骤s2中，所述预训练好的深度神经网络特征提取器通过训练vgg神经网络获得。

3.根据权利要求1所述的一种基于层级优化策略的双目图像关键点匹配方法，其特征在于，步骤s3中，所述左右特征图对的匹配代价体通过余弦相似度进行计算，所述匹配代价的计算表达式为：

4.根据权利要求1所述的一种基于层级优化策略的双目图像关键点匹配方法，其特征在于，步骤s4中，采用最近邻搜索算法获取所述初始关键点匹配对。

5.根据权利要求4所述的一种基于层级优化策略的双目图像关键点匹配方法，其特征在于，所述获得初始关键点匹配对的步骤包括：

6.根据权利要求5所述的一种基于层级优化策略的双目图像关键点匹配方法，其特征在于，所述匹配代价峰值比的计算表达式为：

7.根据权利要求1所述的一种基于层级优化策略的双目图像关键点匹配方法，其特征在于，步骤s5中，局部极值性满足条件的构建步骤包括：

8.根据权利要求7所述的一种基于层级优化策略的双目图像关键点匹配方法，其特征在于，所述局部极值性满足条件为：

9.根据权利要求1所述的一种基于层级优化策略的双目图像关键点匹配方法，其特征在于，步骤s5中，所述满足局部极值性的匹配代价为：

10.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-9任一所述基于层级优化策略的双目图像关键点匹配方法的指令。

技术总结
本发明涉及一种基于层级优化策略的双目图像关键点匹配方法及介质，该方法包括：S1、获取多对左右立体图像对；S2、深度神经网络特征提取器处理左右立体图像对，得到不同分辨率的左右特征图对；S3、计算左右特征图对的匹配代价体，以构建匹配代价体金字塔；S4、基于最低分辨率的匹配代价体获得初始关键点匹配对；S5、计算关键点匹配对在次低分辨率的匹配代价体中对应图像块间的匹配代价，并将满足局部极值性的匹配代价对应的像素对作为最低层级的关键点匹配结果；S6、重复步骤S5，按分辨率从低到高的方式对匹配代价体金字塔进行逐层优化，直至获得最终关键点匹配结果。与现有技术相比，本发明具有精度高、鲁棒性强等优点。

技术研发人员：范睿,刘创伟,陈启军,刘成菊
受保护的技术使用者：同济大学
技术研发日：
技术公布日：2024/3/24