基于残差网络和SIFT的多源高分辨率遥感图像自动配准方法

本发明涉及遥感图像处理技术领域，具体来说，涉及基于残差网络和sift的多源高分辨率遥感图像自动配准方法。

背景技术：

遥感卫星获取的影像分辨率越来越高，图像配准的相关研究也进入了高分辨率时代。因为影像的地物纹理细节可以在高分辨率影像上表现的较为复杂，加大了高分辨影像进行图像配准的难度，与低分辨率影像相对挑战性增大。因此，目前学者的研究重点一直集中在多源遥感影像高分辨率配准上。

目前依据配准应用的算法差异，基本可分为两类：基于灰度的自动配准方法和基于特征的自动配准方法。基于灰度的自动配准方法是直接利用图像的灰度信息，通过互相关、互信息等方法建立两幅图像之间的相似性度量来获取匹配点；基于特征的自动配准方法是通过提取图像中的点特征、线特征以及区域特征等进行影像特征间的匹配，其中点特征以其容易获取、运行时间短、鲁棒性高等优势，在图像配准中得到了广泛应用。目前点特征的提取算法主要包括moeavec角点检测算法、harris角点检测算法、shi_tomasi角点检测算法、尺度不变特征变换算法(sift)、加速稳健特征算法(surf)、基于快速傅里叶变换算法(fast)等。在各种算法中，sift以其提取的特征点能够有效的保持亮度、旋转和尺度不变性而得到了广泛的应用，但它容易受图像噪声和纹理变化的影响而不稳定。因此，一些研究人员基于sift算法提出了一系列的改进算法。通过改进特征点提取或特征点描述来达到加快匹配速度或提高配准精度的目的。但是在多源高分辨率遥感图像的数据量大以及包含复杂地形等情况下，无法完成图像的高精度配准。

残差网络(residualnetwork,resnet)是卷积神经网络(convolutionalneuralnetworks,cnns)的一种，是深度学习的代表算法之一。自2006年深度学习理论提出后，cnns已成功应用于imagenet图像分类、mnist手写数字识别等。相比其他cnns存在随着网络结构深度增加，网络会出现梯度弥散以及准确率退化的问题，resnet通过增加残差单元来转换学习对象，在网络深度增加的情况下没有增加运算量。它的网络结构除了可以很好适应图像的结构之外，还可以对图像特征进行提取，得到更加真实的图像特征。因此，将残差网络应用到遥感图像配准中有望进一步改善图像配准的精度。

技术实现要素：

针对相关技术中的上述技术问题，本发明提出基于残差网络和sift的多源高分辨率遥感图像自动配准方法，能够克服现有技术方法的上述不足。

为实现上述技术目的，本发明的技术方案是这样实现的：

基于残差网络和sift的多源高分辨率遥感图像自动配准方法，包括残差模型训练和基于融合特征的自动配准。

残差网络模型训练包括通过构建高分辨率遥感图像样本集，进行残差网络模型训练；利用迁移学习对网络微调。构建高分辨率遥感图像样本包括特征采集和特征样本的图像变换，利用shitomasi和sift算法在已配准图像上提取的匹配点，以匹配点为中心截取64×64像元的图像块，对每个图像块进行随机的图像变换，包括图像缩放、旋转、亮度变换；利用迁移学习对网络微调是在残差网络模型的训练过程中，为了避免样本集包括部分特征而导致的局限性，通过引入imagenet数据库，对整个网络进行微调。

通过基于融合特征的自动配准，获取配准图像，其步骤包括：对待配准和参考图像进行基于地理坐标约束的图像分块、分别对分区图像进行特征点提取、sift特征提取、残差网络特征提取、残差网络特征与sift特征融合与匹配、错误点移出与匹配点均匀化和采用多项矫正模型对待配准图像进行变换和重采样，得到配准图像。

本发明的有益效果：通过融合低层的sift特征与高级的残差网络特征，获得更接近真实的描述符，适用于大幅高分辨率遥感图像以及具有较大地形起伏的高分辨率遥感图像，有望提高高分辨率图像用于地物变化检测等应用的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例所述的基于残差网络和sift的多源高分辨率遥感图像自动配准方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本发明基于残差网络和sift算法，sift算法通过输入待配准图像与参考图像，分别构建高斯差分金字塔(difference-of-gaussian,dog)确定特征点位置，并采用128维描述对特征点进行匹配。深度残差网络是通过输入特征图像，经过多层卷积、池化操作得到图像的深度特征。

本发明旨在将sift的低维特征和深度残差网络得到的高维特征进行融合，得到更加准确的匹配特征，同时采用基于地理坐标约束分块策略、特征点均匀化等一系列的图像处理，进一步优化配准过程。

如图1所示，根据本发明实施例所述的基于残差网络和sift的多源高分辨率遥感图像自动配准方法，包括残差模型训练和基于融合特征的自动配准。

残差网络模型训练包括构建高分辨率遥感图像样本集进行残差网络模型训练和利用迁移学习对网络微调。

构建高分辨率遥感图像样本包括：特征采集和特征样本的图像变换，利用shitomasi和sift算法在已配准图像上提取的匹配点，然后以匹配点为中心截取64×64像元的图像块，最后，对每个图像块进行随机的图像变换，包括图像缩放、旋转、亮度变换。本发明方法构建的高分辨率遥感图像样本集仅包含配准的样本，每一原始图像块对和变换后图像块对具有相同标签，视为一类配准特征。从样本集中随机选出80％的图像块作为训练数据集，20％的图像块作为测试数据集。

利用迁移学习对网络微调,是在残差网络模型的训练过程中，为了避免样本集包括部分特征而导致的局限性，通过引入imagenet数据库，对整个网络进行微调。微调过程中是利用随机梯度下降(stochasticgradientdescent,sdg)算法，同时将学习速率、动力值、权值衰减值以及最终迭代次数，分别设为0.001、0.9、0.0005和10000。

通过基于融合特征的自动配准，获取配准图像，包括：

对待配准和参考图像进行基于地理坐标约束的图像分块，将待配准图像分割为n×n个图像块，每个图像块的大小为m×n个像元，每个进行编号，记录图像块四个角的坐标，利用图像坐标和地理坐标之间的映射关系，计算待配准图像块的地理坐标，最后通过地理坐标确定对应参考图像块位置，得到对应图像块。

提取特征点，采用sho_tomasi算法提取分区的特征点p(x,y)，此步骤中将各分区特征点个数最大值设为1500。

计算sift特征，采用sift算法对特征点进行特征描述，得到特征点的128维的特征描述符fs。

计算卷积神经网络特征，残差网络特征提取，利用已配准好的高分辨率遥感图像对创建高分辨率遥感图像样本集，在imagenet数据库的基础上，结合样本集对残差网络进行迁移学习和微调，以此得到适合高分辨率遥感图像配准的训练模型，采用了两个残差网络，包括resnet34和resnet50模型,分别将两个网络的最后一个卷积层的输出值作为残差网络特征，对每个特征点，提取以特征点为中心的64×64个像元的图像块，再利用微调的残差网络模型对图像块进行特征描述，得到残差网络的特征描述符fc。

计算特征距离矩阵，残差网络特征与sift特征融合与匹配，由于sift特征与残差网络特征具有较大的差异性，所以进行相似性计算前须进行特征的归一化，然后，分别计算残差网络特征和sift特征下候选关键点之间的余弦距离，得到两个特征的距离矩阵，具体公式如下：

其中，cos(θ)为余弦相似度，它的取值范围为[-1,1]；n为特征的维数；f^r和f^w分别为参考图像和待配准图像中候选关键点的特征描述符。

将两个距离矩阵转换为一个距离矩阵来表示候选关键点之间的相似度。具体公式表示如下：

其中，d(a，b)分别代表两个特征向量a,b之间的余弦距离，p^r与p^w分别代表参考图像和待配准图像的候选关键点。统计p^r与p^w的最近距离和第二近距离，并计算两者的距离比r。若r大于设定阈值，则接受最近邻点作为p^r的匹配点，本发明方法中阈值取0.9。

错误点移除与匹配点均匀化，针对匹配后的控制点对通常存在错误匹配的情况，通过利用ransac算法以及最小二乘迭代法来剔除错误匹配点，以保留正确的匹配点对。

此外，针对控制点的分布，以残差最小、匹配效果最好的特征点为中心，若它与所有其他特征点在图像上距离小于设定的距离阈值，则认为二者连通，以此剔除分布过密、残差较大的控制点，得到最终均匀分布的匹配点对。

计算配准图像，采用多项矫正模型对待配准图像进行变换和重采样，使其与参考图像配准。

对于大幅的高分辨率遥感图像，若直接对整景图像进行特征点提取，很容易出现特征点分布不均匀而得到冗余控制点，使得配准精度低、耗时较长。利用基于地理坐标约束的分块策略，通过提取每个分区的匹配点，达到匹配点分布较均匀的目的。

对于具有较大地形起伏的高分辨率遥感图像，利用低层的sift特征并不能准确地描述特征点。而残差网络由于经过多层的卷积、池化操作，得到维度超过1000的图像特征。将两者进行融合，能够兼顾图像低层和深层的图像特征，以获得更接近真实的描述符，提高图像配准的准确性。

为了评价本发明方法的性能，我们设计了对比实验。实验数据包括来自gaofen-1、gaofen-2、quickbird等3个传感器的5个高分辨率遥感图像；对比方法选择了2种，具体包括经典的sift算法(简称sift)和使用基于地理坐标约束分块策略匹配的sift方法(简称patch-sift)；本发明方法包括sift+resnet34、sift+resnet50；图像配准评价指标选用了控制点数量(n)、图像配准的时间(t)、模型精度(rmsem)、配准后图像的验证精度(rmset)。其中，rmsem和rmset反映了配准后图像跟参考图像的偏差，值越小配准效果越好。5个实验图像的评价指标统计见表1-表5。

表1gf-1卫星图像1的配准评价指标统计

表2gf-1卫星图像2的配准评价指标统计

表3gf-1卫星图像3的配准评价指标统计

表4gf-2卫星图像的配准评价指标统计

表5quickbird卫星图像的配准评价指标统计

上述表中的统计指标可见，从评价指标来看，本发明方法都优于sift方法，本发明方法得到的配准图像与sift方法配准图像相比，总体上更好的修正了原始图像与参考图像之间的几何位置偏差。

综上所述，借助于本发明的上述技术方案，通过融合低层的sift特征与高级的残差网络特征，得到了更为准确图像特征，获得更接近真实的描述符，适用于大幅高分辨率遥感图像以及具有较大地形起伏的高分辨率遥感图像，有望提高高分辨率图像用于地物变化检测等应用的精度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。