基于局部特征融合与自注意力机制的特征匹配方法及系统与流程

1.本发明涉及图像匹配技术，具体涉及一种基于局部特征融合与自注意力机制的特征匹配方法及系统。


背景技术：

2.特征匹配是计算机视觉和模式识别领域的一个基本问题，其目的是建立源图像和目标图像的特征(例如，点、区域)之间的对应关系。为了进行特征匹配，它首先需要用一个区分描述符来表示两幅图像中的每个特征。然后，利用度量学习模型获得两幅图像中特征点对之间的相关性/相似性。最后，进行线性分配算法以找到特征之间的对应关系。近年来，深度学习模型被探索用于特征匹配任务。这些方法可以以端到端的方式将特征表示、度量学习和最终对应估计集成在一起。
3.深度学习特征匹配的核心问题是如何学习(1)区分每个帧内图像中的特征点的表示，以及(2)一致跨两个帧间图像的特征点表示。
4.最近，人们利用自我和交叉注意力模型来解决这个问题，进而实现特征匹配；具体而言，自我注意力用于捕捉特征之间的关系，从而可以学习每个图像内特征单元的上下文感知表示，而交叉关注用于建模两个图像间特征之间的交互，从而可以跨图像进行信息通信。
5.综上，现有的特征匹配有以下问题：
6.(1)先前的自我/交叉注意力模型通常对所有原始特征进行信息混合导致冗余学习和高计算成本。
7.(2)特征聚合时融合过多多余、无关的特征干扰信息传递产生的特征嵌入表示。


技术实现要素：

8.发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于局部特征融合与自注意力机制的特征匹配方法及系统，本发明从信息融合的角度出发，对于图中的每一个特征点计算自注意力时使用邻居来聚合上下文信息，大大提高了信息交融的效率，并且能够结合到更加有用的信息摒除掉干扰信息。
9.技术方案：本发明的一种基于局部特征融合的特征匹配方法，包括以下步骤：
10.步骤(1)、输入待匹配的源图像和目标图像，将选择网络模型作为特征提取模块来获得源图像和目标图像的特征描述符，并结合位置信息生成初始的点特征；
11.步骤(2)、分别对源图像和目标图像中的每一个点单独选取邻居进行信息融合，通过邻居获得有效信息并得到增强后的图像特征表示；选取邻居的方法为：对每一个点先随机采样选取其前k个点作为邻居，再通过自注意力方式将该点自身与这k个邻居进行信息融合；
12.步骤(3)、对于步骤(2)所得增强后的两个图像上的每一个特征点，使用欧式距离计算跨图的与之最相近的k个点，通过交叉注意力网络对源图和目标图像进行跨图信息融
合，获得具有跨图信息的图像的点特征；
13.步骤(4)、计算源图像和目标图像点特征表示的相似度，并使用sinkorn算法多次迭代训练得到最后的匹配结果。
14.进一步地，所述步骤(1)提取特征描述符时采用的方法是：通过sift或superpoint方法提取维度为128或256的特征描述符，并使用多层感知机将位置信息(x,y)映射到相同维度；两者结合即为初始的点特征。
15.进一步地，所述步骤(2)的详细方法为：
16.对源图像的每一个点通过随机采样的方式获取k个邻居如公式(1)对于点计算k个邻居
17.然后通过三个线性映射层将fs转换为将as转换为和则信息交融公式(1)如下：
[0018][0019]
和均是中间计算量，通过和计算权重，然后通过权重与聚合图像信息，c表示特征维度，ln(
·
)表示层归一化；每个节点通过聚合来自邻居的消息来更新其表示；
[0020]
对目标图像中的每一个点通过余弦相似度获得各自与当前点最近的k个邻居然后通过三个线性映射层将f
it
转换为将a
t
转换为和则信息交融公式(2)如下：
[0021][0022]
和均是中间计算量，通过和计算权重，然后通过权重与聚合图像信息。
[0023]
进一步地，所述步骤(3)使用交叉注意力模块增强源图像和目标图像锚定特征之间的交互学习的具体方法为：
[0024]
计算源图的每一个点与目标图中每一个点与目标图中每一个点的欧式距离，如公式(3)所示：
[0025][0026]
其中表示源图像中第1个节点与目标图像中第i个节点的欧式距离，并选取目标图中的距离前k个点进行信息融合；
[0027]
交叉注意力模块增强源图像的特征点f
is
和目标图像中选出的特征点和目标图像中选出的特征点之间的交互学习的具体方法为：
[0028]
通过三个线性映射层将fs转换为将b
t
转换为和则跨图的信息传递如公式(4)所示：
[0029][0030]
目标图像使用相同方法选取源图像中的前k个点以融合源图的信息，通过三个线性映射层将f
it
转换为将bs转换为和如公式(5)所示；
[0031][0032]
进一步地，所述步骤(4)的具体过程如下：
[0033]
先使用步骤(3)具有跨图信息的点特征来计算源图及目标图像的相似性矩阵s；然后依据相似性矩阵s(度量s)使用线性分配算法来实现两幅图像的特征点之间的匹配预测；线性分配算法sinkhorn如公式(6)所示进行迭代计算：
[0034]
s＝sinkhorn(s)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0035]
sinkhorm是可微分的，可以以端到端的方式与上述学习模块集成在一起；
[0036]
设t表示跨图后的源特征和目标特征之间的基本真值对应集；
[0037]
然后，在训练阶段使用的匹配预测损失函数表示为公式(7)：
[0038]
l1＝-∑
(i,j)∈t
logs
i,j
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0039]
此外，如果它们的对极距离小于阈值，则将特征对应标记为匹配对；
[0040]
计算z个人处理单元中匹配和非匹配的二进制分类的交叉熵损失，并将其表示为lz，其中z∈{1，2
…
z}，z是跨图信息融合模块的运行单元数；
[0041]
因此，最终总损失表示为公式(8)：
[0042][0043]
其中a是平衡参数。
[0044]
进一步地，所述步骤(4)中模型的学习率为0.0001，在30万次迭代之后应用学习速率衰减，衰减速率为0.999996，直到90万次迭代。
[0045]
本发明还公开一种用于实现基于局部特征融合与自注意力机制的特征匹配方法的系统，包括特征提取模块、局部邻居特征融合模块、跨图信息融合模块和匹配求解模块，特征提取模块用于提取源图像和目标图像得到初始点特征，局部邻居特征融合分别融合源图像和目标图像自身图像信息得到各自增强后的图像特征；跨图信息融合模块将源图像和目标图像各自增强后的图像特征进行跨图融合；匹配求解模块根据特征信息计算相似度值并求解匹配结果。
[0046]
有益效果：本发明可以高效的实现特征匹配；本发明同时对每个帧内图像中的特征点的区分表示和跨帧图像的特征点一致表示进行建模。本发明只随机选取k个节点进行自我注意力和交叉注意力的计算，而不是对所有特征点进行自我注意力的计算，从而有效地进行信息的交融。与现有技术相比，本发明具有以下优点：
[0047]
(1)本发明可以捕捉图像内特征的相关性，并探索图像间的交互，以学习双图像的一致表示。
[0048]
(2)本发明一种新的高效特征匹配网络，它以端到端的方式将基于局部特征表示、度量学习和对应预测结合在一起。
[0049]
(3)本发明的局部特征融合模块(选k个点进行特征融合)可实现特征间的互补作
用，突出有用信息，抑制冗余信息，进一步增强特征图的表征能力。
附图说明
[0050]
图1为本发明的整体分类流程图；
[0051]
图2为本发明的邻居信息聚合示意图。
具体实施方式
[0052]
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
[0053]
如图1所示，本发明的一种基于局部特征融合与自注意力机制的特征匹配方法，包括以下步骤：
[0054]
步骤(1)、输入待匹配的源图像和目标图像，通过sift或superpoint方法提取维度为128或256的特征描述符，并使用多层感知机将位置信息(x,y)映射到相同维度；两者结合即为初始的点特征
[0055]
步骤(2)、分别对源图像和目标图像中的每一个点选取邻居进行信息融合，通过邻居获得有效信息并得到增强后的图像特征表示；
[0056]
对源图像的每一个点通过随机采样的方式获取k个邻居如公式(1)对于点计算k个邻居
[0057]
然后通过三个线性映射层将fs转换为将as转换为和则信息交融公式(1)如下：
[0058][0059]
和均是中间计算量，通过和计算权重，然后通过权重与聚合图像信息，c表示特征维度，ln(
·
)表示层归一化；每个节点通过聚合来自邻居的消息来更新其表示；
[0060]
对目标图像中的每一个点通过余弦相似度获得各自与当前点最近的k个邻居然后通过三个线性映射层将f
it
转换为将a
t
转换为和则信息交融公式(2)如下：
[0061][0062]
和均是中间计算量，通过和计算权重，然后通过权重与聚合图像信息。
[0063]
步骤(3)、对于步骤(2)所得增强后的图像特征表示，跨图选取前k个点使用交叉注意力网络对源图和目标图像进行跨图信息融合，获得具有跨图信息的图像的点特征。
[0064]
交叉注意力模块增强源图像和目标图像锚定特征之间的交互学习的具体方法为：
[0065]
计算源图的每一个点与目标图中每一个点与目标图中每一个点的欧式距离，如公式(3)所示：
[0066][0067]
其中表示源图像中第1个节点与目标图像中第i个节点的欧式距离，并选取目标图中的距离前k个点进行信息融合；
[0068]
交叉注意力模块增强源图像的特征点f
is
和目标图像中选出的特征点和目标图像中选出的特征点之间的交互学习的具体方法为：
[0069]
通过三个线性映射层将fs转换为将b
t
转换为和则跨图的信息传递如公式(4)所示：
[0070][0071]
目标图像使用相同方法选取源图像中的前k个点以融合源图的信息，通过三个线性映射层将f
it
转换为将bs转换为和如公式(5)所示；
[0072][0073]
步骤(4)、计算源图像和目标图像点特征表示的相似度，并使用sinkorn算法多次迭代训练得到最后的匹配结果：
[0074]
先使用步骤(3)具有跨图信息的点特征来计算源图及目标图像的相似性矩阵s；然后依据相似性矩阵s(度量s)使用线性分配算法来实现两幅图像的特征点之间的匹配预测；线性分配算法sinkhorn如公式(6)所示进行迭代计算：
[0075]
s＝sinkhorn(s)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0076]
sinkhorm是可微分的，可以以端到端的方式与上述学习模块集成在一起；
[0077]
设t表示源特征和目标特征之间的基本真值对应集
[0078]
然后，在训练阶段使用的匹配预测损失函数表示为公式(7)：
[0079]
l1＝-∑
(i,j)∈t
logs
i,j
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0080]
此外，如果它们的对极距离小于阈值，则将特征对应标记为匹配对；
[0081]
计算r个处理单元中匹配和非匹配的二进制分类的交叉熵损失，并将其表示为lz，其中z∈{1，2
…
z}，z是跨图信息融合模块的运行单元数；
[0082]
因此，最终总损失表示为公式(8)：
[0083][0084]
其中a是平衡参数。本实施例迭代训练过程中使用sinkhorn的方式进行迭代，模型的学习率设置为0.0001，在30万次迭代之后应用学习速率衰减，衰减速率为0.999996，直到90万次迭代。
[0085]
本实施例在gl3d上进行训练，在yfcc、fm-bench、scannet数据集上进行测试模型的匹配结果。
[0086]
本实施例的用于实现基于局部特征融合与自注意力机制的特征匹配方法的系统，包括特征提取模块、局部邻居特征融合模块、跨图信息融合模块和匹配求解模块，特征提取模块用于提取源图像和目标图像得到初始点特征，局部邻居特征融合分别融合源图像和目标图像自身图像信息得到各自增强后的图像特征；跨图信息融合模块将源图像和目标图像
各自增强后的图像特征进行跨图融合；匹配求解模块根据特征信息计算相似度值并求解匹配结果。