一种结合对比学习思想的水下地形图像模板匹配方法

1.本发明涉及一种结合对比学习思想的水下地形图像模板匹配方法，属于数字图像处理技术领域。


背景技术：

2.水下地形图像匹配在水下地形变化监测，水下地形辅助定位导航等领域发挥着重要作用。尽管过去几十年里，图像匹配作为计算机视觉的核心任务已取得了长足的发展，而针对水下地形图像的处理仍然是一项具有挑战性的任务。由于绝大多数水下地形在大尺度观测下呈现出平缓变化的趋势，从而导致在水下地形图像中局部自相似度较高，缺少显著的点特征，而更多的表现出区域的弱纹理特性，且地形特征的非结构特性使得水下地形图像中常常存在无法清晰界定目标边界的情况。此外，受传感器自身误差、环境噪声、载体不规则运动以及多次测量间时空差异的影响，采集的原始高程数据难免存在异常，从而导致地形图像间不可避免的存在强度及纹理差异，而针对噪声进行处理的简单的滤波过程会导致部分真实细节的丢失，从而引入新的噪声污染。面对水下地形图像内在特征的特殊性，以及由于复杂环境引起的强度和纹理的差异性，如何有效提高匹配的性能成为我们关注的重点。
3.图像匹配主要包括基于特征和基于模板的方法，由于水下地形图像的外观复杂性，基于特征的匹配方法常常由于无法提取稳定且可重复的特征而难以单独应用，因此，我们将重点关注基于模板匹配的方法。在传统的模板匹配方法中，归一化互相关(ncc)和平方差和(ssd)直接利用模板和搜索窗口间的灰度值来计算二者的匹配程度，因此对噪声和强度值变化非常敏感。可变形多样性相似度(ddis)则通过对模板与目标窗口之间点的最近邻匹配的多样性来表达他们之间的相似程度，但是基于像素点的匹配方式对水下地形图像的灰度值变化较为敏感，当匹配图像之间强度值差异较大时候，将无法提供准确的匹配结果。基于共现的模板匹配(cotm)提出一种通过量化像素对共同出现频率的相似度度量方法，来代替对像素值之间强度差的直接量化方式，然而该方法在灰度图像中效果较差。质量感知模板匹配(qatm)则使用匹配对的之间的匹配质量进行软排名来量化匹配对的独特性，从而提高匹配性能，但该方法的使用严重依赖于提取特征的可区分程度，因此当搜索图像的自相似度较高时，该方法的性能将出现下降。


技术实现要素：

4.本发明解决水下地形图像由于内在特征的特殊性，以及复杂环境引起的强度和纹理的差异性而导致的匹配困难的问题，进而提出一种结合对比学习思想的水下地形图像模板匹配方法
5.本发明为解决上述问题采取的技术方案是：本发明所述一种结合对比学习思想的水下地形图像模板匹配方法是通过如下步骤实现的；
6.步骤一、对输入数据进行视图数据增强；
7.步骤二、将步骤一中增强的数据进行特征提取；
8.步骤三、将步骤二中提取的特征进行样本提取；
9.步骤四、将步骤三中提取出的样本特征进行融合；
10.步骤五、将步骤四中融合后的特征进行模型优化。
11.进一步的，步骤一中通过调整高斯噪声方差及地形模型分辨率进行数据增强，水下地形图像直接作为模型输入，并将每张水下地形图像经过两次随机数据增强后生成两张对应变体图像。
12.进一步的，步骤二中采用卷积神经网络作为特征提取网络骨干，通过双塔分支特征网络进行特征提取，双塔特征网络之间共享特征参数，生成的两张变体图像分别通过双塔分支特征网络进行特征提取，并分别生成两组特征图。
13.进一步的，步骤三中样本提取基于面片进行，通过对两组特征图以滑动窗口的形式获取两组与窗口同等大小的面片集合，其中，两组特征图对应位置上的面片互为正样本，不对应位置的面片则互为负样本，通过加入掩码进行多尺寸样本的提取。
14.进一步的，步骤四中特征融合基于注意力机制进行，通过选取面片的中心位置特征与面片中的所有位置特征经过与变量矩阵对应元素相乘后分别生成查询矩阵、键值矩阵和值矩阵，再查询矩阵与键值矩阵进行相似度计算生成权重矩阵，将权重矩阵与值矩阵对应元素相乘，并将所有元素相加，生成维度为1
×1×
n的融合向量，n为特征向量的通道数量。
15.进一步的，步骤五中模型优化是通过如下步骤实现的；
16.步骤i、将两组融合向量进行余弦相似度计算生成相似度矩阵；
17.步骤ii、通过损失函数进行损失值计算；
18.步骤iii、通过小批量随机梯度下降法进行梯度回传；
19.步骤iv、通过损失函数最大化正样本对的相似度值，最小化负样本对的相似度值。
20.本发明的有益效果是：通过结合深度模型的特征提取能力和基于对比的模型训练方式，从而可以提高模型对强度和纹理的差异性识别的鲁棒性以及干扰窗口的判别能力，从而提高匹配的准确度。
附图说明
21.图1是本发明的匹配结果实例一；
22.图2是本发明的匹配结果实例二；
23.图3是本发明的流程示意图。
具体实施方式
24.具体实施方式一：结合图1至图3说明本实施方式，本实施方式所述一种结合对比学习思想的水下地形图像模板匹配方法是通过如下步骤实现的；
25.步骤一、对输入数据进行视图数据增强；
26.步骤二、将步骤一中增强的数据进行特征提取；
27.步骤三、将步骤二中提取的特征进行样本提取；
28.步骤四、将步骤三中提取出的样本特征进行融合；
29.步骤五、将步骤四中融合后的特征进行模型优化。
30.通过以上步骤实现对水下地形图像模板的匹配。
31.具体实施方式二：结合图1至图3说明本实施方式，步骤一中通过调整高斯噪声方差及地形模型分辨率进行数据增强，水下地形图像直接作为模型输入，并将每张水下地形图像经过两次随机数据增强后生成两张对应变体图像，以便于模型框架对数据的分析比对。
32.具体实施方式三：结合图1至图3说明本实施方式，步骤二中采用卷积神经网络作为特征提取网络骨干，通过双塔分支特征网络进行特征提取，双塔特征网络之间共享特征参数，生成的两张变体图像分别通过双塔分支特征网络进行特征提取，并分别生成两组特征图，以此完成特征提取。
33.具体实施方式四：结合图1至图3说明本实施方式，步骤三中样本提取基于面片进行，通过对两组特征图以滑动窗口的形式获取两组与窗口同等大小的面片集合，其中，两组特征图对应位置上的面片互为正样本，不对应位置的面片则互为负样本，通过加入掩码进行多尺寸样本的提取，通过上述步骤完成样本提取。
34.具体实施方式五：结合图1至图3说明本实施方式，步骤四中特征融合基于注意力机制进行，通过选取面片的中心位置特征与面片中的所有位置特征经过与变量矩阵对应元素相乘后分别生成查询矩阵、键值矩阵和值矩阵，再查询矩阵与键值矩阵进行相似度计算生成权重矩阵，将权重矩阵与值矩阵对应元素相乘，并将所有元素相加，生成维度为1
×1×
n的融合向量，n为特征向量的通道数量。通过上述方法完成对特征的融合。
35.具体实施方式六：结合图1至图3说明本实施方式，步骤五中模型优化是通过如下步骤实现的；
36.步骤i、将两组融合向量进行余弦相似度计算生成相似度矩阵；
37.步骤ii、通过损失函数进行损失值计算；
38.步骤iii、通过小批量随机梯度下降法进行梯度回传；
39.步骤iv、通过损失函数最大化正样本对的相似度值，最小化负样本对的相似度值。
40.通过上述步骤实现模型的优化。
41.实施例
42.本发明在进行水下地形图像模板匹配的时候，模型框架能够以自监督的形式实现端到端的训练，而不需要额外的数据标注，正负样本对比的形式可以提高对干扰目标的判别能力；完成前期准备后将训练数据进行增强，通过调整高斯噪声方差及地形模型分辨率来达到数据增强的目的。水下地形在精度方面主要受测深数据的质量影响而出现高度偏差。由于水下环境的复杂性，水深误差通常为多种误差(系统导航参数误差、传感器测量误差、海图误差、海底地形建模误差以及潮差等)的叠加，通常设为零均值、方差为δ的高斯分布，即而在内容上由于水下地形的非结构特性、水深传感器的精度、水下地形模型分辨率以及噪声的影响会出现强度值、纹理及细节方面的变化。水下地形在精度和内容上的差异将最终影响到地形图像的外观特征；并将增强后的数据通过卷积神经网络作为特征提取网络骨干；将骨干网络的输出特征图和进行面片级别划分以构建正负实例，其中和分别表示上下分支的输出特征向量，n为特征向量的通道数量，w,h为向量的尺寸。通过设置步长为s，填充值为p，分别对和进行密集采样得到尺寸
为w
×
h的面片集合其中pi表示第i个面片，(xi,yi)为pi的中心点坐标。n
p
为提取的面片的总数量，且
[0043][0044]
将每一个面片视为一个实例样本，若则对应的与互为正样本，若则对应的互为负样本完成样本的提取；基于注意力(attention)机制通过度量查询向量q和键值向量k的相似度生成权重矩阵w，然后由w和值向量v作加权求和运算，以达到信息提取的目的，注意力机制的计算可表示为：
[0045][0046]
其中，d为特征的维度，softmax函数用于对w做归一化运算。
[0047]
选取pi的中心向量通过线性变换后作为q,k和v则由pi经过两次不同的线性变换后生成，然后一起作为注意力模块的输入，以达到面片中信息融合的目的。由于pi通过滑动窗口的方式获取，因此对于每个pi都能获取到不同的进而对相邻面片之间的重复特征向量产生不同的相关性系数和融合向量。进一步的，我们引入了多头注意力以增强对特征的拟合能力。
[0048]
此外，由于在样本提取模块，需要提取不同尺寸的面片，然而注意力计算模块的内部参数是固定的，因此为了保证编码的一致性，我们统一选取最大尺寸的面片作为输入，然后在注意力模块的内部，通过加入掩码的方式，调整模型的关注区域。具体的，通过调整填充值p的大小，我们首先在每个中心点位置(xi,yi)提取设定的最大尺寸的面片，然后在注意力计算模块通过掩码隐藏掉多余的区域，以达成提取不同尺寸面片的目的。
[0049]
完成特征融合后，通过余弦相似度作为面片之间的相似度度量方法，并计算输出特征之间的得分矩阵其中τ是温度标量，sim(
·
)表示计算余弦相似度，z,z
′
分别为上下分支样本集合，为一个维度为n
p
×np
的矩阵，其中n
p
表示提取的样本数量。得分矩阵的主对角线表示正实例对的相似度分数，则网络的损失函数如下所示：
[0050][0051]
其中，b表示样本批次的数量，表示的迹，表示中所有元素的和，完成对模型的训练，训练完成后的模型可进行图像匹配推理。
[0052]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍
属于本发明技术方案的保护范围之内。