基于双变换网络的深度学习SAR图像配准方法

基于双变换网络的深度学习sar图像配准方法
技术领域
1.本发明属于图像处理技术领域，更进一步涉及一种sar图像配准方法，可用于地质矿物资源检测及数字地形模型提取。


背景技术：

2.sar图像配准主要是处理同一场景却在不同条件下捕获的两幅或多幅sar图像，通过探索图像之间的对应关系来找到最适合的变换模型，从而利用变换模型变换不同时间不同物理环境状态下获取的sar图像，将它们变换到同一坐标系下的过程。在不同的成像条件下，sar图像会在空间位置，成像模式等许多方面存在一些差异，只有变换到同一个参考系下才能方便处理。因此，sar图像配准技术是sar图像目标检测，图像融合，特征提取的重要技术前提。
3.学者zitova等人曾于2003年发表了论文，针对配准方法做了概括，将图像配准技术主要分为四步来实现，即特征提取，特征匹配，估计变换模型，变换图像。从大的方面来讲，图像配准分为两种，其一是传统的配准方法，比如基于灰度的图像配准方法，如low等人于2004年提出的sift方法。另一类则是基于深度学习的图像配准方法，此方法利用深度神经网络提取特征以获得匹配点对信息。例如学者han等人提出了孪生网络，该网络通过两个完全相同的卷积神经网络来提取特征，从而得到图像块的匹配关系。该基于深度学习的sar图像配准方法是近些年来最为通用的图像配准方法。
4.西安电子科技大学在其申请号为：201910943154.7的专利申请文献中公开了一种“基于深度学习的sar图像精细配准方法”，其实现步骤是：首先获取多幅从不同视角观测到的同一场景sar图像，由这些图像组成数据集；再构建用于sar图像精细配准的神经网络模型，模型由用于校正sar图像间的整体形变的子卷积神经网络和用于校正sar图像间局部形变的子残差神经网络依次组成；最后构造用于sar图像精细配准的神经网络的损失函数loss；接着利用构造好的数据集对网络进行训练，得到训练好的网络模型；最后直接输入作为参考的sar图像和待配准sar图像，网络会输出配准好的图像。此方法所构建的网络能够校正sar图像间的整体形变和局部畸变，从而可以提高配准性能。但该方法存在的不足之处在于：其直接随机从构造的数据集中选取样本进行训练，而高质量sar图像的获取，成本较高，因此这样会导致数据集获取成本的增加，另外该方法的计算成本较大。
5.shasha mao等人在遥感领域国际顶级期刊remote sensing上发表的论文《multi-scale fused sar image registration based on deep forest》中提出了一种基于深度学习进行遥感图像配准的框架，其利用深度森林对多尺度的样本进行训练，提取更为有效的特征信息，通过深度森林进行二分类区分匹配点对和不匹配点对，从而得到最终的结果。该方法的存在三方面的不足：一是由于在构建样本对的时候过于依赖匹配的样本对，将导致构造样本对成本增加；二是由于分类的结果中仍然包含有噪声点，必须利用归一化互相关法ncc滤波掉噪声点,三是由于构建训练样本集合的过程冗长，需要的训练时间也比较长，降低了图像配准任务的效率。


技术实现要素：

6.本发明的目的在于针对上述现有技术的不足，提出一种基于双变换网络的深度学习sar图像配准方法，以提高sar图像配准任务效率，降低获取匹配样本对的成本，提升配准的精度，实现亚像素级别的精确配准。
7.本发明的技术思路是：通过采用传统方法在参考图像和待配准图像上面寻找关键点，利用这些关键点为中心截取图像块，将每个关键点以及截取的图像块看作一个类别，解决获得匹配图像对难的问题；通过将网络的训练分为参考图像-待配准图像支路r-s及待配准图像-参考图像支路s-r，并选择两条支路都认可的点对作为最终匹配结果，解决类别不匹配的问题；通过设计精细匹配，解决匹配精度不够的问题。
8.根据上述思路，本发明的实现步骤包括如下：
9.(1)生成数据集：
10.1a)使用sift方法分别在参考图像r获取m个关键点和在待配准图像s上获取n个关键点1≤i≤m，1≤j≤n，并这两者做初步配准，得到从待配准图像坐标系变换到参考图像坐标系的初始变换矩阵和从参考图像坐标系变换到待配准图像坐标系的初始变换矩阵
11.1b)分别以pr和ps这些关键点为中心，按照64
×
64的大小对参考图像r和待配准图像s截图，删除不能够截图的点，剩下参考图像的a个点和待配准图像的b个点，得到参考图像集合和待配准图像集合1≤c≤a，1≤d≤b；
12.1c)对和分别进行t次包括0
°‑
20
°
的仿射变换及灰度变换，该与其变换后结果组合得到参考图像集合该以及变换后结果组合得到待配准图像集合再对和分别进行v次角度随机在0
°‑
20
°
范围的仿射变换，该与其变换后的结果组合得到用于验证的参考图像集合样本集合该与其变换后的结果组成用于验证的待配准图像集合其中150≤t≤250；40≤v≤100；
13.(2)选用现有的深度图像分类网络，并设置分类头的类别数目，构建双变换网络的两个分支：
14.2a)将参考图像上的关键点作为类别，在参考图像到待配准图像分支上取与参考图像集合fr中含有图片的个数相同的类别数目，将这些类别输入至深度图像分类网络的分类头，构成双变换网络的第一分支“r-s”；
15.2b)将待配准图像上的关键点作为类别，在待配准图像到参考图像分支上取与待配准图像集合fs中含有图片个数相同的类别数目，将这些类别输入至深度图像分类网络的分类头，构成双变换网络的第二分支“s-r”；
16.(3)对网络的两个分支进行训练，获得双变换网络：
17.3a)将参考图像集合作为训练集，将仿射变换后的参考图像集合作为验证集，采用梯度下降法对第一分支r-s进行训练，并在每次把训练数据集的全部样本训练完一遍后，使用验证集进行一次验证，当准确率达到目标及目标以上时，保存训练好的模型，得
到训练好的双变换网络第一分支；
18.3b)将待配准图像集合作为训练集，将仿射变换后的待配准图像集合作为验证集,采用梯度下降法对第二分支s-r进行训练，并在每次把训练数据集的全部样本训练完一遍后，使用验证集进行一次验证，当准确率达到目标及目标以上时保存训练好的模型，得到训练好的双变换网络第二分支；
19.3c)将训练好的第一分支与训练好的第二分支进行并联，构成双变换网络；
20.(4)利用训练好的双变换网络，进行初步匹配：
21.4a)利用1a)中从待配准图像坐标系变换到参考图像坐标系的初始变换矩阵把待配准图像上的关键点变换到参考图像上，并删除不能截图的点生成点集合以中的点为中心截图制作测试图像集输入到训练好的双变换网络第一分支进行图片分类，若分为同类，则代表测试集图片对应的在待配准图像上面的点与作为类别的参考图像上面的点是匹配的点，并将其对应图像块相似度低于阈值的点删除，完成r-s支路的初步配准；
22.4b)利用1a)中从待配准图像坐标系变换到参考图像坐标系的初始变换矩阵把参考图像上的关键点变换到待配准图像上，并删除不能截图的点生成点集合以中的点为中心截图制作测试图像集输入到训练好的双变换网络第二分支进行图片分类，若分为同类，则代表测试集图片对应的在参考图像上面的点与作为类别的待配准图像上面的点是匹配的点，并将其对应图像块相似度低于阈值的点删除，完成s-r支路的初步配准；
23.(5)精细匹配：
24.5a)在完成初步配准r-s支路的训练集点旁边重新选点截图，对4a)得到的初步配准进行更新，得到点对集合中的r-s分支训练集上的点；
25.5b)在完成初步配准的s-r支路的训练集点的旁边重新选点截图，对4b)得到的初步配准进行更新，得到点对集合中的s-r分支训练集上的点；
26.5c)选取两条支路都认可的点对，并根据5a)和5b)中更新匹配的结果对其进行更新，得到最终的配准结果。
27.本发明与现有技术相比，具有以下优点：
28.第一，本发明首次从图像多分类角度出发，将以每一个关键点截取的图像块看作一类，从而训练一个多分类的神经网络进行图像分类任务，摒弃了传统的利用二分类进行图像配准的方法，使得神经网络的训练不再依赖众多的匹配图像对，提高了训练效率。
29.第二，本发明在取得网络的匹配结果之后，引入精细匹配环节，通过在匹配点对的上、下、左、右、左上、左下、右上、右下八个方位每隔两个像素选取新的点截取图像块做相似度对比，再在九个点中选取相似度最高的点作为最终的匹配结果候选。相比传统方法，进一步提高了配准的精度。
30.第三，本发明不同于以往的深度学习sar图像配准方法单支路的配准，引入双变换网络，从两个分支入手，选取两条分支都认可的结果作为最终结果，使得坏点比例大大下降，也解决了类别不平衡问题。
31.第四，本发明通过简易的图像增强完成数据集构建，无需大量的人力物力，节约了
成本。
附图说明：
32.图1为本发明的实现流程图；
33.图2为本发明中使用的现有“swin transformer”网络整体框架图；
34.图3为本发明实验使用的sar图像数据集图。
具体实施方式
35.以下结合附图，对发明的实施例和效果，做进一步详细描述。
36.参照图1，本实例的实现步骤如下：
37.步骤1，生成训练和验证数据集。
38.本步骤是将基于关键点生成数据集，获得关键点的现有方法包括sift方法、lift方法、sar-sift方法，本实例中采用但不限于sift方法生成数据集，具体实现如下：
39.1.1)使用sift方法分别在参考图像r获取m个关键点和在待配准图像s上获取n个关键点1≤i≤m，1≤j≤n，并将这两者做初步配准，得到从待配准图像坐标系变换到参考图像坐标系的初始变换矩阵和从参考图像坐标系变换到待配准图像坐标系的初始变换矩阵分别表示如下：
[0040][0041][0042]
其中，a
11
、a
12
、a
13
、a
21
、a
22
、a
23
和b
11
、b
12
、b
13
、b
21
、b
22
、b
23
均为浮点数，其通过最小二乘法计算得到；
[0043]
1.2)分别以和这些关键点为中心，按照64x64的大小对参考图像r和待配准图像s截图，删除不能够截图的点，剩下能进行截图的a个参考图像点和b个待配准图像点，得到参考图像集合和待配准图像集合分别表示如下：
[0044][0045][0046]
其中，1≤c≤a，1≤d≤b，是第i个参考图像上截取的图像块1≤i≤a，是第j个待配准图像上截取的图像块，1≤j≤b，截图的大小包括但不限于64
×
64一种，本实例中这些参考图像和待配准图像均为64
×
64大小；
[0047]
1.3)对和分别进行t次包括0
°‑
20
°
的仿射变换及灰度变换，150≤t≤250，该与其变换后的结果组合得到参考图像集合该以及变换后结果组合得到待配准图
像集合其分别表示如下：
[0048][0049][0050]
其中，为第f次随机仿射变换后的每个子集，该子集中含有的图片数目与完全一致，其类别数与一致；为第e次随机仿射变换后的每个子集，该子集中含有的图片数目与完全一致，其类别数与一致；本实例中取t＝200；
[0051]
1.4)对和分别进行v次角度随机在0
°‑
20
°
范围的仿射变换，40≤v≤100，该与其变换后的结果组合得到用于验证的参考图像集合样本集合该与其变换后的结果组成用于验证的待配准图像集合分别表示如下：
[0052][0053][0054]
其中，为第l次随机仿射变换后的每个子集，该子集中含有的图片数目与完全一致，其类别数与一致；为第h次随机仿射变换后的每个子集，该子集中含有的图片数目与完全一致，其类别数与一致,本实例中取v＝50。
[0055]
步骤2，选用现有的深度图像分类网络，设置分类头的类别数目，构建双变换网络的两个分支。
[0056]
现有的深度图像分类网络包括“swin transformer”、“resnet101”、“yolo-v5”等等，本实例中选取但不限于“swin transformer”网络，如图2所示。
[0057]
本步骤的具体实现如下：
[0058]
2.1)构建双变换网络的第一分支“r-s”：
[0059]
将参考图像上的关键点作为类别，在参考图像到待配准图像分支上取与参考图像集合中含有图片的个数相同的类别数目，将这些类别输入至深度图像分类网络的分类器，构成双变换网络的第一分支“r-s”：
[0060]
该第一分支“r-s”由依次级联的补丁生成模块、线性镶嵌模块、第一两层级联的窗口内自注意力机制模块、第一补丁融合模块、第二两层级联的窗口内自注意力机制模块、第二补丁融合模块、六级级联的窗口内自注意力机制模块、第三补丁融合模块、第三两层级联的窗口内自注意力机制模块、“r-s”分支分类器构成；
[0061]
2.2)构建双变换网络的第一分支“r-s”：
[0062]
将待配准图像上的关键点作为类别，在待配准图像到参考图像分支上取与待配准图像集合中含有图片个数相同的类别数目，将这些类别输入至深度图像分类网络的分类
器，构成双变换网络的第二分支“s-r”；
[0063]
该第二分支“s-r”由依次级联的补丁生成模块、线性镶嵌模块、第一两层级联的窗口内自注意力机制模块、第一补丁融合模块、第二两层级联的窗口内自注意力机制模块、第二补丁融合模块、六级级联的窗口内自注意力机制模块、第三补丁融合模块、第三两层级联的窗口内自注意力机制模块、“s-r”分支分类器构成。
[0064]
上述“r-s”分支和s-r”分支的各模块的参数设置可根据具体情况调整，本实例采用但不限于用现有“swin transformer”网络的预设值作为各模块的参数。
[0065]
步骤3，对双变换网络的第一分支“r-s”进行训练。
[0066]
训练的方法包括但不限于小批量梯度下降法、动量法、adam算法，本实例中采用小批量梯度下降法进行训练，具体实现如下：
[0067]
3.1)将参考图像集合作为训练集，将仿射变换后的参考图像集合作为验证集；
[0068]
3.2)对第一分支训练集合和验证集合的样本图片进行预处理，即将和中的图片由64
×
64的大小，采用双立方插值法，扩展为224
×
224的大小；
[0069]
3.3)将预处理后的图像按批次输入到双变换网络的第一分支“r-s”，每个批次输入后，计算其损失函数梯度值，并通过的图像块计算出步长，并按照梯度值的方向和步长调节网络第一分支的参数；
[0070]
3.4)重复步骤3.3)若干批次，直到将全部图像样本训练一遍后，执行步骤3.5)进行验证，为保证小批量梯度下降法的准确性，批大小一般不超过128，本实例设置但不限于批大小为64；
[0071]
3.5)验证第一分支训练效果，并计算当前进行图片分类的准确率accurancy：
[0072][0073]
其中t
acc
为正确分类的图片，t
total
为当中图片总数；
[0074]
3.6)判断当准确率accurancy是否达到目标准确率阈值及其以上：
[0075]
若达到，则保存训练好的模型，得到训练好的双变换网络第一分支；
[0076]
否则，返回步骤3.3)继续训练，直到准确率达标，
[0077]
目标准确率阈值至少应设为90％，本实例中，设置但不限于设置目标阈值为92％。
[0078]
步骤4，对双变换网络的第二分支“s-r”进行训练。
[0079]
训练的方法包括但不限于小批量梯度下降法、动量法、adam算法，本实例中采用小批量梯度下降法进行训练，具体实现如下：
[0080]
4.1)将待配准图像集合作为训练集，将仿射变换后的参考图像集合作为验证集；
[0081]
4.2)将第二分支的训练集合和验证集合的样本图片进行预处理，即将和中的图片由64
×
64的大小，采用双立方插值法，扩展为224
×
224的大小；
[0082]
4.3)将预处理后的图像按批次输入到双变换网络的第二分支“s-r”，每个批次输入后，计算其损失函数梯度值，并通过的图像块计算出步长，再按照梯度值的方向和步长调
节网络第二分支的参数；
[0083]
4.4)重复步骤4.3)若干批次，直到将全部图像样本训练一遍后，执行步骤4.5)进行验证，为保证小批量梯度下降法的准确性，批大小一般不超过128，本实例设置但不限于批大小为64；
[0084]
4.5)验证第二分支训练效果，并计算当前进行图片分类的准确率accurancy：
[0085][0086]
其中t
acc
为正确分类的图片，t
total
为当中图片总数；
[0087]
4.6)判断准确率accurancy是否达到目标准确率阈值及其以上：
[0088]
若达到，则保存训练好的模型，得到训练好的双变换网络第二分支，
[0089]
否则，返回步骤4.3)继续训练，直到准确率达标。
[0090]
步骤5，将训练好的第一分支与训练好的第二分支进行并联，得到训练好的双变换网络“stdt”。
[0091]
步骤6，构建测试数据集。
[0092]
6.1)构建第一分支的测试集：
[0093]
利用1.1)中从待配准图像坐标系变换到参考图像坐标系的初始变换矩阵把待配准图像上的关键点变换到参考图像上，并删除不能截图的点，生成点集合再以中的点为中心,64
×
64的大小截图制作第一分支的测试图像集其分别表示如下：
[0094][0095][0096]
其中，ρe为第e个待配准图像上变换到参考图像上的关键点，为利用该关键点截取的图像块，1≤e≤c，c为点集合中点的个数；
[0097]
6.2)构建第二分支的测试集：
[0098]
利用1.1)中从参考图像坐标系变换到待配准图像坐标系的初始变换矩阵将参考图像上的关键点变换到待配准图像上，并删除不能截图的点，生成点集合再以中的点为中心，64
×
64的大小截图制作第二分支的测试图像集其分别表示如下：
[0099][0100][0101]
其中，ρf为在第f个参考图像上变换到待配准图像上的关键点，为利用该关键点截取的图像块，1≤f≤d，d为点集合中点的个数；
[0102]
步骤7，根据测试数据集，利用训练好的双变换网络进行图片分类与匹配。
[0103]
7.1)将第一分支的测试集输入到训练后双变换网络的第一分支，得到图片分类结果，若测试集图片a被分为类别b，则代表图片a的中心点与类别b对应在参考图像上的点
是匹配点对，对中的每张图片都如此做，得到第一分支的初始匹配点对集合；
[0104]
7.2)利用第一分支初始匹配点对集合中的点对，分别在参考图像和待配准图像上截取图像块，并比较图像块相似度，比较相似度的方法包括差分法、互相关系数法、归一化互相关系数法，本实例中采用但不限于选择差分法，将相似度低于阈值的点对删除，得到第一分支认可的匹配点对，完成r-s支路的初步配准；
[0105]
7.3)将第二分支的测试集输入到训练后双变换网络的第二分支，得到图片分类结果，若测试集图片c被分为类别d，则代表图片c的中心点与类别d对应在参考图像上的点是匹配点对，对中的每张图片都如此做，得到第二分支的初始匹配点对集合；
[0106]
7.4)利用第二分支初始匹配点对集合中的点对，分别在待配准图像和参考图像上截取图像块，并比较图像块相似度，比较相似度的方法包括差分法、互相关系数法、归一化互相关系数法，本实例中选择但不限于差分法，将相似度低于阈值的点对删除，得到第二分支认可的匹配点对，完成s-r支路的初步配准。
[0107]
步骤8，精细匹配。
[0108]
8.1)在完成初步配准的第一分支测试集中每个点的360
°
范围内每隔45
°
选取一个方向，共得到8个方向，每个方向上隔两个像素点，选取8个新点，分别以这8个新点为中心，按照64
×
64的大小在参考图像上面截图，共得到初步配准的第一分支测试集8张新图像块；
[0109]
8.2)计算8个新图像块和原匹配图像块的相似度，计算相似度的方法包括差分法、归一化互相关信息法等等，本实例中采用但不限于差分法；
[0110]
8.3)更新第一分支匹配点对，即选取8个图像块中相似度最大的图像块对应的中心点，用这个点替代原r-s分支测试集的点，如果所有点的相似度都不如原来那个，则保持现状，得到第一分支匹配点对的精细匹配结果；
[0111]
8.4)在完成初步配准的第二分支测试集中每个点的360
°
范围内每隔45
°
选取一个方向，共得到8个方向，每个方向上隔两个像素点，选取8个新点，分别以这8个新点为中心，按照64
×
64的大小在待配准图像上面截图，共得到初步配准的第二分支测试集8张新图像块；
[0112]
8.5)用与8.2)形同的方法计算8个新图像块和原匹配图像块的相似度；
[0113]
8.6)更新第二分支匹配点对，即选取8个图像块中相似度最大的图像块对应的中心点，用这个点替代原s-r分支测试集的点，如果所有点的相似度都不如原来那个，则保持现状，得到第二分支匹配点对的精细匹配结果；
[0114]
8.7)选取步骤7中两条分支都认可的点对得到ρ
final
，其如下所示：
[0115]
ρ
final
＝{ρ1,...ρ
x
...,ρz}
[0116]
其中ρ
x
是第x个两个分支都认可的匹配点对，1≤x≤z，其中z为两条支路都认同的匹配图像对个数。
[0117]
8.8)对每个ρ
x
分别用第一分支和第二分支的精细匹配结果进行更新，并利用差分法分别计算两个分支更新后对应匹配图像块的相似度，选择相似度更大分支的精细匹配结果作为最终配准结果。
[0118]
本发明的效果可通过以下仿真实验进一步说明：
[0119]
一、仿真实验条件。
[0120]
本实验所使用的数据集图片为sar在不同时间背景，不同成像条件下捕获到的八张图片，它们可以两两配准，分别为：wuhan数据集、yellow river r1数据集、yellow river r2数据集、yamaba数据集。如图3所示，其中图3(a)为wuhan数据集，图3(b)为yellow river r1数据集，图3(c)为yellow river r2数据集，图3(d)为yamaba数据集。每个数据集都包括参考图像以及待配准图像，且左侧为参考图像，右侧为待配准图像。
[0121]
本实验通过深度学习库pytorch实现仿真，输入的图像尺寸为224
×
224，使用平滑标签防止过拟合，平滑率0.1，使用余弦相似度作为损失函数，使用小批量梯度下降方法进行参数优化，设置迭代次数为100轮。batch size＝64，每个epoch结束之后，用验证集所有样本进行验证，并计算出top-1精确度，最低为0.92时，结束迭代。
[0122]
本实验需要的硬件设备以及深度学习环境为：nivida gtx 2080ti,cuda 11.0，torch 1.7，ubuntu 18.04，余下的依赖包按照现有网络“swin transformer”的requirements.txt的要求安装即可。
[0123]
二、仿真实验内容与结果
[0124]
仿真实验1，在上述条件下用本发明和现有multi-scale fused sar image registration based on deep forest”方法对以上四个数据集图片进行配准，比较其均方根误差r
mse
，结果如表1。
[0125]
表1本发明与现有技术的精度对比
[0126] wuhanyamabayellowr1yellowr2现有方法(r
mse
)0.43450.46450.59230.5051本发明(r
mse
)0.44900.46040.54870.4808
[0127]
从表1可见，除了在wuhan数据集,在其它三个数据集上面本发明的配准精度均高于现有方法，而在wuhan数据集上面本发明也能取得很好的效果。
[0128]
仿真实验2，本发明在上述条件下利用取r-s分支在不同数据集上对精细匹配前后的精确度做对比，结果如表2。
[0129]
表2r-s支路上精细匹配前后的均方根误差对比
[0130]
数据集(r
mse
)精细匹配前(r
mse
)精细匹配后wuhan0.45980.4579yababa0.47880.4690yellowr10.57980.5525yellowr20.52530.5185
[0131]
从表2实验结果可见,本发明通过精细匹配在四个数据集上面都取得了明显的效果,精细匹配之后的误差均小于没有精细匹配的误差。
[0132]
综上，本发明基于深度学习进行sar图像配准的方法，可高效的完成行针对sar图像的配准任务，有效解决了现有技术获取匹配图像对困难的问题,节约了sar图像配准的成本,提高了sar图像配准的精度。