一种基于旋转不变的SuperGlue匹配的遥感影像配准方法

一种基于旋转不变的superglue匹配的遥感影像配准方法
技术领域
1.本发明涉及遥感图像处理领域，具体涉及一种基于旋转不变的superglue匹配的遥感影像配准方法。


背景技术：

2.随着信息技术的不断发展，互联网技术的不断进步，遥感技术进入一个全新的时代。例如：遥感技术在农业、林业、水文、气象、军事、自然灾害等方面发挥重要作用，影像是通过视觉观察事物，并获取信息的重要途径。不同时刻、不同角度、或不同传感器获取的遥感影像之间存在明显的几何和辐射畸变，寻找合适的配准方法，建立空间和影像特征的对应关系是遥感影像应用的关键步骤。
3.上世纪七十年代，美国首次提出影像配准技术，到了八十年代，影像融合配准技术受到很多研究学者的关注。1970年p.e.anuta利用fft技术提出互相关影像检测计算的影像配准，提高配准的速率；albert arcese通过卷积计算得出具有连续正负数值的双极参考概念；d.i.bamae等利用模板子影像检测算法为基础提出两个结构化数据集之间融合；1989年h.maitre等提出自回归模型的方法，通过调整摄像机的参考来实现对应，主要应用于畸变较大的影像配准；1992年flussr提出自适应映射融合解决影像变形的问题，先按照影像分级要求分别分割影像，分割后的影像它们两者内部有较强的相似度，然后利用分割后影像间的空间位置关系来实现融合；在2004年d.c.lowe教授提出尺度特征和噪声有较好鲁棒性的sift(scale invariant feature transform)算法；2006年herbert bay等提出了surf(speeded up robust features)算法。sift算法与surf算法是目前使用最为广泛的影像自动匹配算法，均在遥感影像配准领域发挥着重要作用。
4.经过多年的发展，影像配准技术已经取得很大进步，并改善了遥感卫星基础影像的数据质量。但由于遥感影像局部光谱特征特殊性，受外部环境影响，影像配准问题还是具有一定的不确定性和不可靠性，因此实现“高精度、高效率、智能化”影像配准技术仍然在路上。
5.影像配准是遥感图像处理中的一个关键问题，现有的方法通常对图像畸变很敏感。一般通过手工或学习方法提取的局部特征进行匹配来估计同名的点。例如：(1)harris检测器用于提取图像上的角点，对于一般的平移、旋转和小范围的光照变化具有良好的重复性，然而，harris点检测器不具备尺度和仿射变形不变性，因此仅能用于无尺度和视点变换的影像对配准。(2)sift算法通过dog算法提取具有尺度不变性的局部特征点，具有很好的尺度不变性。然而遥感影像通常存在较明显的视点变化，导致影像存在严重仿射变形，此时sift算法难以获得可靠的同名点。(3)为了处理包含视点变化的图像，常使用最大稳定极值区域(mser)进行特征检测，mser特征区域具有较好的仿射不变性，能够在宽基线影像对中获得较高复检率的特征。然而，基于mser的方法存在特征点定位不准确，特征点数量少，甚至对一些纹理较差的图像无法估计变换参数的问题，难以广泛的应用在遥感影像配准算法中。


技术实现要素：

6.图像配准是遥感图像处理中的一个关键问题。现有的方法通常对图像畸变很敏感。针对现有技术的不足，本发明提出了一种匹配精度高、鲁棒性好的基于旋转不变superglue匹配的遥感影像配准方法。
7.为实现上述目的，本发明采用以下技术方案。
8.一种基于旋转不变的superglue匹配的遥感影像配准方法，在旋转不变的superglue中，采用自适应中值匹配置信度准则(mmc)和自适应迭代求精，确定遥感图像配准变换模型求解配准控制点(rcp)，实现图像模型参数估计的高精度对应；具体包括以下步骤：
9.s1.在不同的旋转角度下获得一组模拟影像：将[0,360
°
]按每间隔30
°
进行划分确定一组旋转角度，将待配准影像按旋转角进行变换生成一组模拟影像；
[0010]
s2.模拟影像匹配：采用superpoints模型提取参考影像和模拟影像的图像特征并用superglue预训练模型对参考影像和模拟影像进行匹配，获取每对图像的特征点匹配置信度矩阵；superglue是一种以局部特征作为输入，特征点匹配置信度作为输出的神经网络，在极宽基线的室内和室外图像对上实现了高精度和召回率；
[0011]
s3.mmc自适应判据，根据mmc确定最优匹配：取模拟影像与参考影像匹配点置信度的中值记为c
mmc
，对比不同模拟影像的c
mmc
的值，以c
mmc
值最大的模拟影像作为参考影像的最佳匹配影像；
[0012]
s4.自适应迭代求精，在极线几何约束下，通过迭代求精得到显著的对应；
[0013]
s5.图像配准，通过单应模型将待配准影像转换为参考影像的坐标，利用显著的对应关系计算参数，实现图像配准。
[0014]
其中，步骤s3.mmc自适应判据的具体步骤如下：
[0015]
mmc为中值匹配置信度准则，它可从序列影像中自动确定最优匹配影响对和对应的模拟影像；对于参考影像与模拟影像的匹配，中值匹配置信度计算方法为：
[0016]cmmc
＝median(c)
[0017]
其中，c表示参考影像与模拟影像中特征点匹配置信度，mmc自适应准则值c
mmc
值越大越好；根据此准则，确定c
mmc
值最高的最优匹配影像对，最优匹配影像对中对应的模拟影像即为最优模拟影像；
[0018]
将位于最优模拟影像上的匹配点的坐标变换至待配准影像，获得参考影像与待配准影像的最优匹配点集，计算公式如下：
[0019][0020]
其中，a-1
为待配准影像到模拟影像变换矩阵的逆，为模拟影像上的第i个匹配点位置，为待配准影像上的第i个匹配点位置。
[0021]
步骤s4.自适应迭代求精的具体步骤如下：
[0022]
经过上述处理后，已获得大量参考影像与待配准影像上的匹配点。然而由于影像畸变及匹配误差影像，匹配点集中不可避免地会出现误匹配，这可能会严重影响配准模型参数的估计精度。消除误差匹配以获得高精度的变换模型是图像配准的关键步骤，具体包括以下步骤：
[0023]
1)利用ransac算法计算参考影像与待配准影像间的基本矩阵f；
[0024]
2)计算匹配点在基础矩阵f约束下的投影误差，剔除投影误差值大于3.0像素的外点；
[0025]
3)判断去除外点后的匹配点数量与去除前的匹配点数量，如果去除外点后的匹配点数小于之前的匹配点数，则跳回第一步，以去除外点后的匹配点集为基础，重新计算基本矩阵；否则终止循环，输出最终匹配点集。
[0026]
步骤s5.图像配准的具体步骤如下：
[0027]
全局透视投影模型可以描述物体在传感器不同距离上投影到像面上所产生的畸变(zitov
á
and flusser,2003)。本发明采用全局透视投影模型建立参考影像与待配准影像之间的映射函数；以上一步获取的最终匹配点集作为配准控制点(rcp)，利用lsm算法计算投影变换h＝{h0,h1,...h7,1}的参数；然后采用双线性插值对i’进行重采样，实现两幅影像的配准。
[0028]
本发明的有益效果：
[0029]
本发明提出的基于旋转不变superglue匹配的遥感影像配准方法采用mmc自适应准则，避免了superglue在确定匹配时对旋转畸变敏感和阈值依赖的缺点，并采用自适应迭代细化方法提高了匹配精度，实现了鲁棒性匹配。实验结果表明，该方法对平移、旋转和仿射等不同类型的几何畸变具有较好的鲁棒性。也可以应用于sar、无人机和卫星图像。
附图说明
[0030]
图1为本发明的基于旋转不变的superglue匹配的遥感影像配准方法的流程图。
[0031]
图2为本发明的遥感影像配准方法中基于自适应迭代几何约束的匹配点优化的流程图。
[0032]
图3中(a)为本发明实施例中对第一组实验影像获取的匹配点，(b)为本发明实施例中第一组实验影像的配准结果。
[0033]
图4中(a)为本发明实施例中对第二组实验影像获取的匹配点，(b)为本发明实施例中第二组实验影像的配准结果。
[0034]
图5中(a)为本发明实施例中对第三组实验影像获取的匹配点，(b)为本发明实施例中第三组实验影像的配准结果。
[0035]
图6中(a)为本发明实施例中对第四组实验影像获取的匹配点，(b)为本发明实施例中第四组实验影像的配准结果。
[0036]
图7中(a)为本发明实施例中对第五组实验影像获取的匹配点，(b)为本发明实施例中第五组实验影像的配准结果。
具体实施方式
[0037]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。
[0038]
本发明通过基于深度学习的影像特征匹配自动获取影像配准控制点，以实现两幅
遥感影像(参考影像、待配准影像)的自动配准，实施流程参见附图1，通过以下步骤实现：
[0039]
步骤一：以30
°
间隔，对待配准影像进行旋转，获取12幅模拟影像。因此，模拟影像与待配准影像间存在不同程度的旋转变换。
[0040]
步骤二：将模拟影像与参考影像组成待匹配影像对，获得12组影像对。采用superpoint预训练模型，对每幅影像，包括参考影像和模拟影像提取特征点，并用superglue预训练模型对12组影像对进行匹配，获得每对影像特征点匹配置信度。以每对影像的匹配置信度最高值作为候选匹配点。
[0041]
步骤三：计算每对影像中候选匹配点的中值匹配置信度值c
mmc
＝median(c)，选取12组影像中c
mmc
值最大的影像对做为最优匹配影像对，最优匹配影像对中的匹配点作为最优匹配点，最优影像匹配对中的模拟影像作为最优模拟影像，最优模拟影像与待配准影像之间的旋转角度为最优旋转角，其对应旋转矩阵为最优旋转矩阵。根据最优旋转矩阵，将最优匹配点对中，位于最优模拟影像上的匹配点变换至待配准影像，获得参考影像与待配准影像的最优匹配点集s1，其对应匹配点数量为n1。
[0042]
步骤四：以核线约束为基础，迭代求解基础矩阵并剔除误匹配点，其流程如图2所示，具体实现如下：
[0043]
(1)以步骤三中获取的参考影像与待配准影像的最优匹配点为基础，通过ransac算法解算参考影像与待配准影像间的基础矩阵f。
[0044]
(2)以f矩阵计算每对匹配点对应的极线l,l’，计算公式如下：
[0045]
l＝fx
[0046]
l
′
＝f
t
x
′
[0047]
式中，x是参考影像上的匹配点；x
′
是待配准影像上的匹配点；f
t
为f的转置。
[0048]
以及匹配点到对应极线上的距离d1,d2，计算公式如下：
[0049][0050][0051]
式中，xi与x
′i分别为匹配点在参考影像与待配准影像上的坐标向量；和分别是fxi的第一和第二要素。
[0052]
取每对d1和d2中的最大值作为投影误差，判断配对匹配点投影误差是否大于3.0像素，若大于3.0像素则认为该匹配点为误匹配，将其剔除，否则保留。因此，剔除误匹配点后可获取新的匹配点集s2，其对应匹配点数量为n2。
[0053]
(3)对比剔除误匹配点后获取的新的匹配点集s2中的匹配点数量n2与剔除误匹配点前的匹配点数量n1，若n2《n1则返回(1)，以新的匹配点集s2为基础，计算新的基础矩阵，并执行(1)～(3)步骤的循环，否则输出最终匹配点集s3。
[0054]
步骤五：以步骤四获取的最终匹配点集s3作为配准控制点，通过lsm算法，计算参考影像与待配准影像之间的投影变换模型的参数，获取参考影像与待配准影像之间的几何变换模型。
[0055]
步骤六：根据参考影像与待配准影像之间的几何变换模型对待配准影像进行几何变换，并采用双线性插值对待配准影像进行重采样，以获得待配准影像的纠正影像。此时待
配准影像已经被转换到参考影像坐标系下，实现了两幅影像配准。为了更好地观察配准结果，采用灰度值加权平均方法将两幅影像融合，输出最终配准影像。灰度值加权平均的计算公式如下：
[0056][0057]
式中，i为参考影像的灰度值；i
′
为待配准影像的灰度值。
[0058]
选取五组不同遥感影像进行实验。五组影像分别为存在平移变换的sar影像，存在视角和旋转变换的uav影像，存在视角变换且纹理缺乏的uav影像，存在压缩和旋转的高分辨率遥感影像，以及存在大视角变换的高分辨率遥感影像。
[0059]
采用本发明方法获取的匹配点和配准结果如图3～7所示。从图3～7中可以直观地看出，所提出的方法提取了所有影像对均匀分布的匹配点，并实现了图像配准。这意味着该方法对包括平移、旋转和仿射在内的各种几何畸变具有较强的鲁棒性，可以应用于sar、无人机和高分辨率卫星图像。
[0060]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。