一种多模态图像匹配方法、系统、终端设备及存储介质

本发明涉及深度学习和图像，特别是涉及一种多模态图像匹配方法、系统、终端设备及存储介质。

背景技术：

1、sar-光学图像匹配是多模态图像信息融合的关键步骤，图像匹配方法可以分为基于特征和基于区域的方法。

2、基于特征的方法包括sift和sar-sift等经典方法，它们被广泛使用。针对sar图像和光学图像之间存在非线性辐射畸变和图像强度差异显著等所导致的匹配难题，li提出了一种基于相位一致性的方法即rift，其利用相位一致性代替像素强度进行特征提取。相位一致性基于频域检测特征，能够较好地抵抗图像间的非线性辐射差异。类似地，linft方法中提出，hog特征队强度变化具有鲁棒性，应用于光学和sar图像匹配任务中可以获得良好的效果。

3、基于区域的方法是利用图像的灰度信息来度量图像之间的相似程度。常用的相似性度量包括归一化互相关（ncc）、互信息（mi）和均方误差（ssd）等。为了应对异源图像之间的非线性辐射畸变，ye基于图像的结构相似性提出了新的相似性度量cfog，cfog的思想来源于hog特征，通过计算像素的梯度方向直方图，对图像进行逐像素的特征表示。而且，cfog还将结构特征转化到频率空间，并利用快速傅里叶变换加速匹配。

4、为了获得深层特征，许多研究者采用了深度神经网络进行特征提取和描述。wu利用cnn网络逐像素生成异源图像之间具有相关性的特征图，再通过模板匹配的方式获得匹配关系。基于学习的方法无需手动设计复杂的描述符。liao等人设计了一个深度卷积网络matchosnet，其中包含密集块和跨阶段局部网络，用于生成深度描述符用作sar图像和光学图像的匹配。另外，mihai dusmanu则提出了一种使用单个卷积神经网络同时进行特征检测并提取密集的特征描述符的方法，通过将检测特征点放到处理的后期阶段，从而获得更稳定的关键点。这些方法都是通过深度网络获得异源图像之间相关的高级特征。

5、然而，上述方法都存在一些各自的缺点。基于特征的方法，如sift和sar-sift，通常依赖于图像梯度信息进行特征提取和描述，在sar-光学图像异源匹配中效果不佳。对sar图像和光学图像进行适应的rift和linft等方法可以在一定程度上对抗非线性强度差异，但它们无法捕捉异源图像共有的深层复杂特征表示，而是依赖于浅层特征（如角点和边缘点等）进行匹配。这种方法容易受到噪声的干扰。

6、sar图像和光学图像之间存在非线性辐射畸变，像素强度差异大。基于区域的方法依赖于图像的灰度信息，因此不适用，并且容易受到图像失真的影响，计算量较大，限制了其在多模态图像匹配中的应用。

7、目前使用神经网络获得异源图像之间相关的高级特征的方法一般采样单一的深度卷积网络cnn进行特征提取和描述，解释性较差，难以挖掘异源图像的全局特征信息。此外，这些方法无法获得可重复的特征点，增加了匹配正样本和相似负样本之间的不可区分性。

技术实现思路

1、本发明要解决的技术问题是基于特征的方法无法获得异源图像之间更深层的特征进行匹配；基于区域的方法对灰度变换敏感，容易受到图像失真影响且计算量大；一般基于神经网络的异源图像匹配方法采用单一的cnn网络进行特征提取且忽略可重复性特征点的提取。为了解决上述技术问题，本发明提供了一种多模态图像匹配方法、系统、终端设备及存储介质。

2、第一方面，本发明实施例提供了一种多模态图像匹配方法，包括：

3、对光学图像和sar图像进行自监督特征提取，得到所述光学图像和所述sar图像之间的可重复特征点；

4、根据所述可重复特征点将所述光学图像和所述sar图像分割成第一图像块序列，并通过双分支网络对所述第一图像块序列进行特征提取，分别得到所述光学图像和所述sar图像的特征描述向量；所述双分支网络包括用于提取全局特征的第一分支网络和用于提取局部特征的第二分支网络；

5、根据所述特征描述向量对所述光学图像和所述sar图像进行特征匹配，以得到所述光学图像和所述sar图像之间的匹配点对。

6、优选地，在所述对光学图像和sar图像进行自监督特征提取之前，包括：

7、采用局部归一化滤波器将光学图像和sar图像转化为归一化图像。

8、优选地，所述对光学图像和sar图像进行自监督特征提取，得到所述光学图像和所述sar图像之间的可重复特征点，包括：

9、将光学图像和sar图像组成sar-光学图像对；

10、对所述sar-光学图像对进行自监督学习，获得关键点得分图；

11、根据所述关键点得分图构建损失函数，并利用所述损失函数优化所述自监督学习，以学习到所述光学图像和所述sar图像之间的可重复特征点。

12、优选地，所述根据所述关键点得分图构建损失函数，包括：

13、将所述关键点得分图划分为第二图像块序列；所述第二图像块序列包括sar图像块序列和光学图像块序列；

14、基于所述第二图像块序列构建损失函数；所述损失函数包括第一损失函数、第二损失函数和第三损失函数；

15、所述第一损失函数采用如下公式表示：

16、

17、其中，表示sar图像，表示光学图像，表示仿射变换，表示光学图像块序列的第个图像块，表示sar图像块序列的第个图像块，表示第二图像块序列的图像块数量；

18、所述第二损失函数采用如下公式表示：

19、

20、其中，表示sar-光学图像对，表示第二图像块序列的第个图像块；

21、所述第三损失函数采用如下公式表示：

22、

23、其中，表示sar-光学图像对（i,j）位置像素对应的平均精度，表示sar-光学图像对（i,j）位置像素对应的得分，表示超参数；所述平均精度表示sar-光学图像对对应位置像素的特征描述向量之间的相似程度；

24、将所述第一损失函数、所述第二损失函数和所述第三损失函数进行加权求和，得到所述损失函数。

25、优选地，所述双分支网络还包括用于提取浅层特征的卷积层；

26、所述根据所述可重复特征点将所述光学图像和所述sar图像分割成第一图像块序列，并通过双分支网络对所述第一图像块序列进行特征提取，分别得到所述光学图像和所述sar图像的特征描述向量，包括：

27、以所述可重复特征点为中心，将所述光学图像和所述sar图像分割成第一图像块序列；

28、将所述第一图像块序列输入至所述卷积层，以得到所述第一图像块序列的浅层特征；

29、将所述浅层特征分别输入至所述第一分支网络和所述第二分支网络，以得到所述第一图像块序列的全局特征和局部特征；

30、将所述全局特征和所述局部特征拼接并通过卷积处理，得到所述第一图像块序列的特征描述向量。

31、优选地，所述第一分支网络包括lite-transformer、全连接层和归一化层；所述第二分支网络包括第一csp模块、连接层和第二csp模块。

32、优选地，所述根据所述特征描述向量对所述光学图像和所述sar图像进行特征匹配，以得到所述光学图像和所述sar图像之间的匹配点对，包括：

33、采用最近邻搜索法对所述光学图像和所述sar图像进行特征匹配，得到所述光学图像和所述sar图像之间的初始匹配点对；

34、采用随机抽样一致性对所述初始匹配点对进行提纯，得到所述光学图像和所述sar图像之间的目标匹配点对。

35、第二方面，本发明实施例提供了一种多模态图像匹配系统，包括：

36、特征点提取模块，用于对光学图像和sar图像进行自监督特征提取，得到所述光学图像和所述sar图像之间的可重复特征点；

37、特征描述模块，用于根据所述可重复特征点将所述光学图像和所述sar图像分割成第一图像块序列，并通过双分支网络对所述第一图像块序列进行特征提取，分别得到所述光学图像和所述sar图像的特征描述向量；所述双分支网络包括用于提取全局特征的第一分支网络和用于提取局部特征的第二分支网络；

38、特征匹配模块，用于根据所述特征描述向量对所述光学图像和所述sar图像进行特征匹配，以得到所述光学图像和所述sar图像之间的匹配点对。

39、第三方面，本发明实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的多模态图像匹配方法。

40、第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上所述的多模态图像匹配方法。

41、本发明实施例一种多模态图像匹配方法、系统、终端设备及存储介质与现有技术相比，其有益效果在于：利用神经网络自主学习sar图像和光学图像可匹配性强的区域作为特征点，相较于传统几何算子在异源图像可重复特征点提取方面更有优势，有效提高了匹配精度；利用transformer-cnn联合框架组成的双分支网络可以提取更丰富的sar-光学异源图像共有的深层特征，相较于传统的特征提取方法和基于卷积神经网络的方法，其抗干扰能力更强且鲁棒性更好；采用description then detection两段式的训练方法将传统基于特征的匹配方法中相互孤立的特征检测模块和特征描述模块联系起来，让图像之间的匹配关系约束特征点的选取，获得更有益于匹配的特征点。