一种多模态图像特征点检测与匹配方法及系统

本发明涉及图像识别，更具体的说是涉及一种多模态图像特征点检测与匹配方法及系统。

背景技术：

1、近年来，人工智能技术蓬勃发展，其主要目的是令机器联合计算机像人类一样感知、理解与行动，视觉感知作为最主要的感知技术之一，如何理解多个视觉目标之间的区别与联系，并根据特定的需求对感知的信息作相应的处理已然成为整个计算机视觉领域的研究热点之一，而特征匹配是其中的一个基础而关键的过程，特征匹配首先对图像进行预处理来提取其高层次的特征，然后建立两幅图像之间特征的匹配对应关系。基于图像特征的匹配方法可以克服利用图像灰度信息进行匹配的缺点，大大减少了匹配过程的计算量；同时，特征点的匹配度量值对位置的变化比较敏感，可以大大提高匹配的精确程度；而且，特征点的提取过程可以减少噪声的影响，对灰度变化，图像形变以及遮挡等都有较好的适应能力。所以基于图像特征的匹配在实际中的应用越来越广泛。但是，现有技术中的特征匹配算法均用于相同模态的图像之间进行匹配，无法用于多模态图像之间的特征检测与匹配。因此，如何提供一种用于多模态图像的特征点检测与匹配方法是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种多模态图像特征点检测与匹配方法及系统，通过计算多模态图像各像素之间的相似性，实现多模态图像间特征点的检测与匹配，提高识别的准确率。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种多模态图像特征点检测与匹配方法，包括以下步骤：

4、s1、采集多模态图像；

5、s2、提取多模态图像的特征向量；

6、s3、计算多模态图像的特征向量之间的内积矩阵，得到不同模态图像之间的像素对相似度；

7、s4、对不同模态图像的特征向量进行softmax归一化，得到相似度最高的像素对；

8、s5、通过预设相似度阈值筛选得到相似像素对，实现特征点的检测与匹配。

9、可选的，s2采用hog提取多模态图像的特征向量，具体为：

10、s21、对多模态图像进行灰度化处理，计算多模态图像中各个像素的梯度；

11、s22、将多模态图像划分为多个单元；

12、s23、分别对多模态图像中的各个单元进行梯度直方图统计，获得各个单元分别所对应的特征向量；

13、s24、将3×3个单元划分为一个块，将多模态图像中各个块中各个单元分别所对应的特征向量进行串联，获得多模态图像中各个块分别所对应的hog特征；

14、s25、将多模态图像中各个块分别所对应的hog特征进行串联，构成多模态图像的特征向量。

15、可选的，s3具体为：对于任意两个模态的图像，计算两个模态图像的特征向量的内积矩阵，特征向量的内积矩阵内的元素pi代表两个模态图像的像素对xi和yi之间的相似度。

16、可选的，s4具体为：

17、对不同模态图像的特征向量采用softmax函数进行归一化，得到不同模态图像的归一化向量：

18、

19、式中，xi和xj分别为特征向量内第i和第j个元素，对不同模态图像的归一化向量之间进行点乘，得到归一化矩阵，根据归一化矩阵和特征向量的内积矩阵得到相似度最高的像素对。

20、可选的，s5具体为：根据预设相似度阈值进行筛选，将相似度大于相似度阈值的像素对作为特征点，实现特征点的检测与匹配。

21、一种多模态图像特征点检测与匹配系统，包括：图像采集模块、特征提取模块、相似度计算模块、归一化模块、特征点检测模块；

22、图像采集模块，与特征提取模块连接，用于采集多模态图像；

23、特征提取模块，与相似度计算模块连接，用于提取多模态图像的特征向量；

24、相似度计算模块，与归一化模块连接，用于计算多模态图像的特征向量之间的内积矩阵，得到不同模态图像之间的像素对相似度；

25、归一化模块，与特征点检测模块连接，用于对不同模态图像的特征向量进行softmax归一化，得到相似度最高的像素对；

26、特征点检测模块，通过预设相似度阈值筛选得到相似像素对，实现特征点的检测与匹配。

27、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种多模态图像特征点检测与匹配方法及系统，具有以下有益效果：针对单模态图像在一些环境下存在缺陷会导致机器识别的准确率降低的问题，采用多模态图像数据进行机器识别，通过计算多模态图像各像素之间的相似性，实现多模态图像间特征点的检测与匹配，解决了传统的特征检测算法无法直接用于多模态图像的特征点的检测与匹配的技术问题，本发明通过对不同模态的数据进行特征提取、特征点检测与匹配，使机器识别时能够结合多模态图像中每种模态下图像的优点，使多种模态的图像数据进行互补从而提高机器识别的准确率。

技术特征：

1.一种多模态图像特征点检测与匹配方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种多模态图像特征点检测与匹配方法，其特征在于，s2采用hog提取多模态图像的特征向量，具体为：

3.根据权利要求1所述的一种多模态图像特征点检测与匹配方法，其特征在于，s3具体为：对于任意两个模态的图像，计算两个模态图像的特征向量的内积矩阵，特征向量的内积矩阵内的元素pi代表两个模态图像的像素对xi和yi之间的相似度。

4.根据权利要求3所述的一种多模态图像特征点检测与匹配方法，其特征在于，s4具体为：

5.根据权利要求1所述的一种多模态图像特征点检测与匹配方法，其特征在于，s5具体为：根据预设相似度阈值进行筛选，将相似度大于相似度阈值的像素对作为特征点，实现特征点的检测与匹配。

6.一种多模态图像特征点检测与匹配系统，其特征在于，应用权利要求1-5任一项所述的一种多模态图像特征点检测与匹配方法，包括：图像采集模块、特征提取模块、相似度计算模块、归一化模块、特征点检测模块；

技术总结
本发明公开了一种多模态图像特征点检测与匹配方法及系统，应用于图像识别技术领域。方法包括以下步骤：采集多模态图像；提取多模态图像的特征向量；计算多模态图像的特征向量之间的内积矩阵，得到不同模态图像之间的像素对相似度；对不同模态图像的特征向量进行Softmax归一化，得到相似度最高的像素对；通过预设相似度阈值筛选得到相似像素对，实现特征点的检测与匹配。本发明通过计算多模态图像各像素之间的相似性，实现多模态图像间特征点的检测与匹配。

技术研发人员：李玉斌,李明秋,郝子强,蒋一纯,詹伟达
受保护的技术使用者：长春理工大学
技术研发日：
技术公布日：2024/1/11