一种无人机图像的特征点匹配方法及装置

本发明涉及无人机，尤其涉及一种无人机图像的特征点匹配方法及装置。

背景技术：

1、随着无人机、移动机器人、自动驾驶车辆等领域的发展，(simultaneouslocalization and mapping，slam)同时定位与地图构建技术变得越来越关键。slam的核心目标是实现无人机、移动机器人和自动驾驶车辆设备能够在未知环境中的定位，并同时构建出该环境的地图，通过构建的地图可以进行无人机的导航。在slam中，特征点的提取和特征点匹配是至关重要的步骤，提取的特征点充当无人机感知环境的标志，通过识别提取的特征点，无人机可以更好地理解位置和周围环境结构；特征点匹配确保来自不同视角或时间步的特征点正确关联，可以通过光流法、基于描述符的匹配等技术找到这特征点的关联，从而实现无人机的定位。对于特征点的提取和特征点匹配的执行，需要先提取特征点，再对于提取后的特征点进行特征点匹配。

2、目前，对无人机图像进行特征点匹配，需要先通过harris角点检测来提取无人机拍摄的图像帧的特征点；具体是在图像帧中选取以像素为单位的一个候选点，以候选点为中心，在候选点周围选取16个点，确定16个点和候选点的灰度差，将灰度差大于预设阈值的点确定为提取的特征点；将提取的特征点进行特征点匹配，通过匹配的特征点对无人机进行定位。

3、然而，在光照不充足和无人机移动快的情况下，无人机拍摄的图像帧中会出现部分模糊的地方，在存在部分模糊地方的图像帧中提取特征点，所选取的点要满足灰度差大于预设阈值，但是，部分模糊地方的灰度值差异不明显，模糊地方中大多数点的灰度差小于等于预设阈值，仅有很少的点的灰度差大于预设阈值，使得灰度差大于预设阈值的点的数量不足，也就是说，作为提取的特征点的数量不足，通过数量不足的特征点进行特征点匹配，使得特征点匹配的效果不好，通过效果不好的匹配的特征点对无人机的定位会出现偏差，导致无人机的定位不准确。

技术实现思路

1、本发明实施例的目的是提供一种无人机图像的特征点匹配方法及装置，解决提取的特征点的数量不足所导致的无人机的定位不准确的问题。

2、为解决上述技术问题，本发明实施例提供如下技术方案：

3、本发明第一方面提供一种无人机图像的特征点匹配方法，方法包括：

4、获取无人机发送的视频流信息，视频流信息包括两帧图像；

5、对各帧图像进行池化操作，得到各池化后的特征图，将各帧图像输入到传统卷积神经网络中，输出各第一特征图，将各第一特征图输入到残差卷积神经网络中，输出各第二特征图，将各第二特征图输入到标准残差卷积神经网络中，输出各第三特征图，将各第三特征图输入到残差卷积神经网络中，输出各第四特征图；

6、将各帧图像对应的池化后的特征图、第一特征图、第二特征图、第三特征图和第四特征图分别输入到上采样网络中，并将上采样网络所输出的各特征图，拼接成各帧图像对应的待提取特征图；

7、提取各待提取特征图分别对应的特征点和描述子，并将特征点和描述子输入到transformer网络中，提取出处理后的描述子；

8、将各待提取特征图对应的特征点和处理后的描述子，输入到lightglue特征匹配网络中，进行特征点的匹配，输出匹配的特征点对，以使通过特征点对来确定无人机的位姿。

9、本发明第二方面提供一种无人机图像的特征点匹配装置，装置包括：

10、获取模块，用于获取无人机发送的视频流信息，视频流信息包括两帧图像；

11、输入输出模块，用于对各帧图像进行池化操作，得到各池化后的特征图，将各帧图像输入到传统卷积神经网络中，输出各第一特征图，将各第一特征图输入到残差卷积神经网络中，输出各第二特征图，将各第二特征图输入到标准残差卷积神经网络中，输出各第三特征图，将各第三特征图输入到残差卷积神经网络中，输出各第四特征图；

12、拼接模块，用于将各帧图像对应的池化后的特征图、第一特征图、第二特征图、第三特征图和第四特征图分别输入到上采样网络中，并将上采样网络所输出的各特征图，拼接成各帧图像对应的待提取特征图；

13、提取模块，用于提取各待提取特征图分别对应的特征点和描述子，并将特征点和描述子输入到transformer网络中，提取出处理后的描述子；

14、匹配模块，用于将各待提取特征图对应的特征点和处理后的描述子，输入到lightglue特征匹配网络中，进行特征点的匹配，输出匹配的特征点对，以使通过特征点对来确定无人机的位姿。

15、本发明第三方面提供一种电子设备，电子设备包括：至少一个处理器；以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述第一方面或第一方面任一种可选的实施例的无人机图像的特征点匹配方法。

16、本发明第四方面提供一种计算机可读存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述第一方面或第一方面任一种可选的实施例的无人机图像的特征点匹配方法。

17、相较于现有技术，本发明提供的无人机图像的特征点匹配方法及装置，将获取的无人机的两帧图像分别进行池化操作，得到各池化后的特征图，将各帧图像输入到传统卷积神经网络中，输出各第一特征图，将各第一特征图输入到残差卷积神经网络中，输出各第二特征图，将各第二特征图输入到标准残差卷积神经网络中，输出各第三特征图，将各第三特征图输入到残差卷积神经网络中，输出各第四特征图，将各帧图像对应的池化后的特征图、第一特征图、第二特征图、第三特征图和第四特征图分别输入到上采样网络中，并将上采样网络所输出的各特征图，拼接成各帧图像对应的待提取特征图，提取各待提取特征图分别对应的特征点和描述子，并将特征点和描述子输入到transformer网络中，提取出处理后的描述子，将特征点和处理后的描述子，分别输入到lightglue特征匹配网络中，进行特征点的匹配，输出匹配的特征点对，以使通过特征点对来确定无人机的位姿；和现有技术的通过harris角点检测来提取无人机拍摄的图像帧的特征点，将提取的特征点进行特征点匹配，通过匹配的特征点对无人机进行定位相比，本发明提取出的第一特征图、第二特征图、第三特征图和第四特征图分别是经过不同的卷积神经网络所得到的不同维度的特征图，不会受到光照不充足和无人机移动快的影响，提取出的维度较高的第二特征图、第三特征图和第四特征图的特征信息会有更大差异，通过具有更大差异的特征信息的特征图所提取的特征点的数量充足，且在通过上采样网络所输出的各特征图，所拼接的待提取特征图中，提取的特征点和描述子的特征信息较丰富，通过充足数量的特征点和特征信息较丰富的描述子进行特征点匹配，使得特征点对的匹配准确性高，通过准确性高的特征点对所确定的无人机的位姿较准确，提高无人机的位姿确定的准确性。

技术特征：

1.一种无人机图像的特征点匹配方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述上采样网络包括残差多层感知器层、卷积神经网络层和上采样层，所述残差多层感知器包括变换矩阵层、第一线性层、激活函数层、第二线性层；

3.根据权利要求1所述的方法，其特征在于，所述提取各待提取特征图分别对应的特征点和描述子，并将所述特征点和所述描述子输入到transformer网络中，提取出处理后的描述子，包括：

4.根据权利要求3所述的方法，其特征在于，所述将所述特征点的绝对位置，通过位置编码器嵌入到所述描述子的向量中，得到编码后的描述子，包括：

5.根据权利要求1所述的方法，其特征在于，所述将所述各第一特征图输入到残差卷积神经网络中，输出各第二特征图，包括：

6.根据权利要求1所述的方法，其特征在于，所述将所述各第二特征图输入到标准残差卷积神经网络中，输出各第三特征图，包括：

7.根据权利要求3所述的方法，其特征在于，在将所述各待提取特征图分别输入到特征点提取模型和特征描述子提取模型中，提取出所述各待提取特征图对应的所述特征点和所述描述子之前，所述方法还包括：

8.一种无人机图像的特征点匹配装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1至7中任一项所述的无人机图像的特征点匹配方法。

技术总结
本发明提供一种无人机图像的特征点匹配方法及装置，涉及无人机技术领域。其中，本发明方法包括：将获取的无人机的两帧图像进行池化操作，及将各帧图像分别输入到不同的卷积神经网络，提取出各帧图像对应的池化后的特征图、第一特征图、第二特征图、第三特征图和第四特征图，将各帧图像对应的各特征图分别输入到上采样网络中，并将上采样网络所输出的各特征图，拼接成各帧图像对应的待提取特征图，提取出特征点和描述子，并进行特征点对的匹配，以使通过特征点对来确定无人机的位姿。本发明技术方案提取的特征点的数量充足且提取的特征点和描述子的特征信息较丰富，使特征点对的匹配准确性高，通过准确性高的特征点对所确定的无人机的位姿较准确。

技术研发人员：任鹏,刘家濠,李毅,相征,许宝毅
受保护的技术使用者：西安电子科技大学
技术研发日：
技术公布日：2024/3/31