专利名称：一种多源遥感图像配准方法
技术领域：
本发明涉及遥感图像处理与应用的技术领域，具体涉及一种多源遥感图像配准方法，该方法是基于象限划分和方向选择的分块改进SURF算法，主要应用于多源遥感影像融合之前快速准确地确定融合区域，是实现多源遥感图像融合的前提。
背景技术：
遥感作为获取信息的重要手段，可以获得大量具有不同空间分辨率、光谱分辨率和时相分辨率的遥感图像，而单一手段获取的遥感图像在几何信息、光谱分辨率和空间分辨率等方面存在明显的局限性。采用有效的方法对多源遥感图像进行融合，能够为后续的目标分割、识别、跟踪等具体应用奠定数据基础。遥感图像配准就是对不同时间、不同传感器或不同视角采集的关于同一目标或场景的多幅遥感图像进行关于局部特征的匹配、叠加的过程。总体而言，配准方法可分为基于灰度特性的方法和基于图像特征点的方法两种，基于图像特征点方法的图像配准由于实时性高、稳定性强，更适用于多源遥感图像的配准(参考文献 Dawn S，Saxena V, Sharma B. Remote sensing image registration techniques; a survey[J]. Lecture Notes in Computer Science,2010，6134:103-112. X
SURF 算法(参考文献 Herbert Bay, Tinne Tuytelaars, and Luc Van GooI, ETH Zurich SURF:Speeded up Robust Features Computer Vision_ECCV2006Lecture Notes in Computer Science, 2006.)在 SIFT 等局部特征算法(参考文献 D. G. Lowe, Distinctive image features from scale-invariant keypoints, Int. J. Comput. Vis. 60 (2) (2004)91 -110.)基础上做了进一步发展，其没有边缘点消除和光照消除过程，这些都使得它的检测时间效率有了较大程度的提高。SURF算法采用积分图像简化计算，在进行近似Hessian矩阵(参考文献 Viola, P.，Jones, M. : Rapid object detection using aboosted cascade of simple feature. In:CVPR(I), 2001:511-518.)判别时，不同尺度下其复杂度是相同的，拥有更高的时间效率。
尽管SURF特征相对于先前的SIFT、PCA-SIFT、GL0H等算法在时间效率上有了较大提升，但SURF算法在描述子计算时仍沿用了主方向确定，以及梯度值求和等过程，在描述子计算方面仍然具有较高的复杂度。并且，SURF特征配准的错误率还有待进一步降低，对于大场景遥感图像而言，其时间复杂度仍然较高。本发明旨在通过基于象限划分和方向选择的分块改进SURF算法的多源遥感图像配准系统和方法，实现在亚像素级对多源遥感图像进行自动配准，完成遥感图像的融合区域的选择和对应。发明内容
本发明针对多源遥感图像融合应用的特点，提出了一种多源遥感图像配准系统方法，其基于象限划分和方向选择的分块改进SURF算法，结合现有的基于图像特征点进行图像配准，该方法能够兼顾时效性和准确性。
本发明采用的技术方案为一种多源遥感图像配准方法，该方法基于象限划分和方向选择的分块改进SURF算法，具体步骤如下
步骤I)、对源图像和目标图像都进行边长为side的小正方形分块处理，在目标图像中心(对角线交点)处再划分出一个边长为side的正方形滑动窗口 ；
步骤2)、分别对源图像四个中心内分块和目标图像滑动窗口分块分别进行SURF 特征点检测，对目标图像中心分块进行匹配，根据匹配块在源图像中的分布选取目标图像某四分之一象限区域作为感兴趣区域ROI ；
步骤3)、对目标图像ROI区域的左上角图像分块进行SURF特征检测后与源图像对应象限区域的图像分块进行特征点匹配，根据源图像匹配分块的位置确定目标图像滑动窗口在ROI区域中三种移动方向；
步骤4)、对目标图像ROI区域在该方向上的图像分块进行SURF特征点检测，设置分块图像特征点数量阈值，选取特征点数量大于等于阈值的图像分块依次匹配，直到完全匹配或窗口越界；
步骤5)、对分块粗匹配特征点对采用RANSAC算法筛选出正确的匹配点对，多个分块匹配完成后，同样采用RANSAC算法确定多个子块位置关系的一致性；
步骤6)、包含正确匹配特征点对最多的图像分块对应的仿射变换矩阵认为是整个图像间的仿射变换关系，利用最小二乘法确定仿射关系矩阵后进行差值重采样，获得最终的配准图像对。
所述的步骤I)为设目标图像和源图像分别为dst (WXH)、src(wXh)，将两幅图像按照边长为side的正方形滑动窗口分成若干个小块，不足的当作一个小块来处理，在目标图像中心(对角线交点)处再划分出一个边长为side的正方形滑动窗口。最后得到目标图像和源图像分别包含m+1和η个小块。
所述的步骤2)为对源图像src的分块从左上角开始进行编号，第i行、第j列的子块记为B_src(i，j)，目标图像中心滑动窗口分块记为B_dst (0，O)，对源图像四个中心分块和目标图像中心分块进行SURF特征点检测，源图像第i行、第j列的子块检测到的 SURF特征点集合记为src_sufset(i, j),目标图像中心分块的SURF特征点集合记为dst_ surfet (0，O)。然后对目标图像中心分块采用最近距离与次近距离的比值进行特征点匹配， 设目标图像中心块与源图像分块所形成的匹配块对集合表示为
{ < B_dst (O, O), B_src (x, y) > }
其中，B_src(x, y)为源图像对应的匹配分块，实际中可能包括源图像多个图像分块。对匹配特征点的分布情况进行统计，根据匹配点数量最多的图像分块在源图像中所在的四分之一象限确定目标图像对应象限为感兴趣区域R0I。
所述的步骤3)为首先选择目标图像感兴趣区域ROI的左上角分块进行特征点检测与匹配，目标图像ROI区域左上角子块^如七^ I)与源图像子块B_SrC(x，y)匹配成功后形成的匹配特征点对集合表示为
{ < index_dst (I, I), index_src (x, y) > }
其中index_dst(l, I)和index_src (x, y)分别表示目标图像ROI和源图像子块中匹配特征点的对应索引值。将源图像对应四分之一象限再次划分为A (左上)、B (右上)、C (左下)和D (右下)四个等面积子矩形区域，若匹配块B_src (x, y)位于A或D区域，则滑 动窗口移动方向定为对角方向；若位于B区域,则滑动窗口移动方向定为竖直方向；若位于C区域，则滑动窗口移动方向定为水平方向。
所述的步骤4)为根据前面选择的目标图像ROI区域中的滑动窗口移动方向，在该方向上对目标图像分块进行SURF特征点检测。对目标图像ROI子块中的SURF特征点个数进行限制，设定阈值Nthres。然后在选定方向上进行分块图像的依次匹配，当图像分块中检测出的SURF特征点个数少于阈值Nthres时，则忽略此图像分块不予匹配，直到该方向上完全匹配或滑动窗口越界。
在滑动窗口移动方向上目标图像ROI区域中子块B_dst(i，j)与源图像子块B_ src(x, y)匹配形成的匹配特征点对集合表示为
{ < index_dst (i, j), index_src (x, y) > }
其中index_dst(i, j)和index_src (x, y)分别表示目标图像ROI和源图像子块中匹配特征点的对应索引值。
所述的步骤5)为对分块图像检测得到的SURF特征点进行匹配后得到的一系列匹配点对集合，采用RANSAC方法将错误的匹配点对去除，筛选出其中的正确点对。在某一方向上多个分块匹配完成后，同样采用RANSAC算法确定多个子块位置关系的一致性。由于 RANSAC算法为图像配准领域的公知技术，故不再详细说明。
所述的步骤6)为=RANSAC算法处理后，包含正确匹配特征点对最多的图像分块被认为是最终的匹配图像块，其对应的仿射变换映射矩阵即认为是整个原始源图像到目标图像的仿射变换关系；
确定代表原始图像匹配的匹配子块对后，根据通用几何仿射变换矩阵模型反向计算出模型中的相关系数，仿射变换矩阵模型如下
UVAO1Cl,Xn+
其中，(X，y)为目标图像块中SURF特征点坐标，(X，Y)为源图像块中SURF特征点坐标，矩阵A表示比例、旋转、错切等几何变换的乘积，矩阵B表示平移向量，仿射变换矩阵模型中的相关系数S1-Bpbfb2通过在源图像和目标图像匹配子块中选取特征点对，利用最小二乘法获得最佳拟合数值；
得到准确的几何仿射变换矩阵模型后，利用双线性插值进行图像重采样；设源图像的一个像素P通过仿射变换得到浮点数坐标为(m，η)，其相邻四个点AB⑶的坐标依次设为(X，y)、(x+1, y)、(X，y+Ι)和(x+1, y+1);设函数f表示坐标点处的像素值，得到最终的像素P的双线性内向插值公式如下\f(A) f(D)J(y+'l-n)f(B) /(C)JL (//-v)
本发明与现有技术相比的优点在于
(I)、通过少数几个分块的SURF特征点检测与匹配实现象限划分，从而确定图像感兴趣区域ROI。
(2)、结合方向选择和特征点个数阈值筛选减少图像特征点检测和匹配的区域，达到提高配准效率的目的。
(3)、通过确定包含最多匹配点对图像分块作为原始图像间的放射变换关系，从而降低原SURF特征点匹配的错误率。
,/.(/)) = [(/w -x) (x + 1 — / )]
图
图
图
图
图
图
图1为本发明方法算法流程图；2为对源图像(a)和目标图像(b)作正方形分块处理；3为对源图像(a)四个中心分块和目标图像(b)中心分块进行SURF特征检测 4为确定目标图像某四分之一象限为感兴趣区域ROI ；5为目标图像ROI区域中滑动窗口移动方向确定；6为选定匹配点对最多的图像分块；
7为双线性插值图像重采样示意图。
具体实施方式
本发明是一种基于象限划分和方向选择的分块改进SURF算法的多源遥感图像配准方法，总体算法流程如附图1所示。具体步骤如下
步骤I)、对源图像和目标图像都进行边长为side的小正方形分块处理，在目标图像中心(对角线交点)处再划分出一个边长为side的正方形滑动窗口 ；
步骤2)、分别对源图像四个中心分块和目标图像滑动窗口分块进行SURF特征点检测，对目标图像中心分块进行匹配，根据匹配块在源图像中的分布选取目标图像某四分之一象限区域作为感兴趣区域ROI ；
步骤3)、对目标图像ROI区域的左上角图像分块进行SURF特征检测后与源图像对应象限区域的图像分块进行特征点匹配，根据源图像匹配分块的位置确定目标图像滑动窗口在ROI区域中三种移动方向；
步骤4)、对目标图像ROI区域在该方向上的图像分块进行SURF特征点检测，设置分块图像特征点数量阈值，选取特征点数量大于等于阈值的图像分块依次匹配，直到完全匹配或窗口越界；
步骤5)、对分块粗匹配特征点对采用RANSAC算法筛选出正确的匹配点对，多个分块匹配完成后，同样采用RANSAC算法确定多个子块位置关系的一致性；
步骤6)、包含正确匹配特征点对最多的图像分块对应的仿射变换矩阵认为是整个图像间的仿射变换关系，利用最小二乘法确定仿射关系矩阵后进行差值重采样，获得最终的配准图像对。
遥感图像应用中，实现图像的匹配一般并不需要对目标图像和源图像中的所有特征点都进行检测和匹配，因此考虑对图像进行适当的区域划分，通过子区域的匹配达到提高时间效率的目的；由于SURF算法利用积分图像计算近似Hessian矩阵，只取四个角上的值，对应的矩阵区域也是正方形区域，因此选择正方形作为图像分块划分的基本形状。
所述的步骤I)为如附图2所示，设目标图像和源图像分别为dst(WXH)、 src (wXh)，将两幅图像按照边长为side的正方形滑动窗口分成若干个小块，不足的当作一个小块来处理，在目标图像对角线交点处再划分出一个边长为side的正方形滑动窗口。 最后得到目标图像和源图像分别包含m+1和η个小块。
所述的步骤2)为对源图像src的分块从左上角开始进行编号，第i行、第j列的子块记为B_src(i，j)，目标图像中心滑动窗口分块记为B_dst (0，O)，对源图像四个中心分块和目标图像中心分块进行SURF特征点检测，如附图3所示。对目标图像中心分块采用最近距离与次近距离的比值进行特征点匹配，得到源图像匹配图像块集合{B_src(X)}。选取其中匹配特征点对最多的分块在源图像中所处的象限区域，如附图4所示，选定右上象限为目标图像对应的四分之一象限区域作为感兴趣区域R0I。
所述的步骤3)为划分源图像选定象限为四个等面积的子矩形区域ABCD，选择目标图像感兴趣区域ROI的左上角分块进行特征点检测与匹配，当匹配点对不少于6对时，设目标图像ROI区域左上角子与源图像子块B_src(x，y)匹配成功。由匹配块8_81^(1，y)在AB⑶四个子矩形区域的位置，确定窗口移动水平、竖直和对角三种移动方向，如附图5所示。实验中B_src(X，y)在源图像对应象限中所处的A子矩形区域，故确定目标图像滑动窗口移动方向为对角方向。
所述的步骤4)为根据前面选择的目标图像ROI区域中的滑动窗口对角移动方向，在该方向上对目标图像分块进行SURF特征点检测。由于在后续分块匹配的过程中，采用的同样是最近距离与次近距离的比值进行判定，当某个图像子块包含特征点个数较少时，会出现许多误匹配的情况。因此，对目标图像ROI子块中的SURF特征点个数进行限制， 设定阈值Nthres= 10。然后在选定方向上进行分块图像的依次匹配，当图像分块中检测出的 SURF特征点个数少于阈值10时，则忽略此图像分块不予匹配，直到对角方向的图像分块匹配完全。
目标图像ROI区域中子块B_dst(i,j)与源图像子块B_src (x, y)匹配形成的匹配特征点对集合表示为
{ < index_dst (i,j), index_src (x,y) > }其中 inde x_dst (i,j)和 index_ src(x, y)分别表示目标图像ROI和源图像子块中匹配特征点的对应索引值。
所述的步骤5)为对分块图像检测得到的SURF特征点进行匹配后得到的一系列匹配点对集合，采用RANSAC方法将错误的匹配点对去除，筛选出其中的正确点对。在某一方向上多个分块匹配完成后，同样采用RANSAC算法确定多个子块位置关系的一致性。
RANSAC算法在实际应用的一个缺陷是，当匹配点对数目少于10时，此时有可能保留大部分匹配对，而从人的直观感觉来讲，它们的位置并非是在物理位置上是一一对应的， 即这些点对虽然满足了 RANSAC算法的条件，但是从人的观点来看，它们仍然不是正确匹配点对。因此，包含正确匹配特征点对最多的图像分块被认为是最终的匹配图像块，其对应的仿射变换映射矩阵即认为是整个原始源图像到目标图像的仿射变换关系，这是同RANSAC 算法的性质相关的。
所述的步骤6)为=RANSAC算法处理后，包含正确匹配特征点对最多的图像分块被认为是最终的匹配图像块，其对应的仿射变换映射矩阵即认为是整个原始源图像到目标图像的仿射变换关系，如附图6所示。
确定代表原始图像匹配的匹配子块对后，根据通用几何仿射变换矩阵模型反向计算出模型中的相关系数，仿射变换矩阵模型如下
UVA+ BaI+
其中，(X，y)为目标图像块中SURF特征点坐标，(X，Y)为源图像块中SURF特征点坐标，矩阵A表示比例、旋转、错切等几何变换的乘积，矩阵B表示平移向量，仿射变换矩阵模型中的相关系数ai—apbfh通过在源图像和目标图像匹配子块中选取特征点对，通过 最小二乘法获得最佳拟合数值。 得到准确的几何仿射变换矩阵模型后，利用双线性插值进行图像重采样。设源图 像的一个像素P通过仿射变换得到浮点数坐标为(m，n)，其相邻四个点AB⑶的坐标依次设 为(X，y)、(x+1, y)、(x, y+1)和(x+1, y+1)。设函数f表示坐标点处的像素值，如附图7所 示，水平方向上对AB和CD线段进行线性插值
权利要求
1.一种多源遥感图像配准方法，其特征在于该方法具体实现步骤如下 步骤I)、对源图像和目标图像都进行边长为side的小正方形分块处理，在目标图像中心处再划分出一个边长为side的正方形滑动窗口，目标图像中心即目标图像对角线交点； 步骤2)、分别对源图像中心四个分块和目标图像滑动窗口分块进行SURF特征点检测，对目标图像中心分块进行匹配，根据匹配块在源图像中的分布选取目标图像某四分之一象限区域作为感兴趣区域ROI ； 步骤3)、对目标图像ROI区域的左上角图像分块进行SURF特征检测后与源图像对应象限区域的图像分块进行特征点匹配，根据源图像匹配分块的位置确定目标图像滑动窗口在ROI区域中三种移动方向； 步骤4)、对目标图像ROI区域在该方向上的图像分块进行SURF特征点检测，设置分块图像特征点数量阈值，选取特征点数量大于等于阈值的图像分块依次匹配，直到完全匹配或窗口越界； 步骤5)、对分块粗匹配特征点对采用RANSAC算法筛选出正确的匹配点对，多个分块匹配完成后，同样采用RANSAC算法确定多个子块位置关系的一致性； 步骤6)、包含正确匹配特征点对最多的图像分块对应的仿射变换矩阵认为是整个图像间的仿射变换关系，利用最小二乘法确定仿射关系矩阵后进行差值重采样，获得最终的配准图像对。
2.根据权利要求I所述的多源遥感图像配准方法，其特征在于所述的步骤I)为设目标图像和源图像分别为dst(WXH)、src(wXh),将两幅图像按照边长为side的正方形滑动窗口分成若干个小块，不足的当作一个小块来处理，在目标图像中心处再划分出一个边长为side的正方形滑动窗口，最后得到目标图像和源图像分别包含m+1和η个小块。
3.根据权利要求I所述的多源遥感图像配准方法，其特征在于所述的步骤2)为对源图像src的分块从左上角开始进行编号，第i行、第j列的子块记为B_src(i，j)，目标图像中心滑动窗口分块记为B_dst (0，O)，对源图像中心四个分块和目标图像中心分块分别进行SURF特征点检测，源图像四个中心分块中第i行、第j列的子块检测到的SURF特征点集合记为src_sufset (i, j),目标图像中心分块的SURF特征点集合记为dst_surfset (0，O)；然后对目标图像中心分块采用最近距离与次近距离的比值进行特征点匹配，根据源图像匹配块的分布情况，选定目标图像四分之一象限区域作为感兴趣区域R0I。
4.根据权利要求I所述的多源遥感图像配准方法，其特征在于所述的步骤3)为首先选择目标图像感兴趣区域ROI的左上角分块进行特征点检测与匹配，按照源图像分块由上至下、由左至右的顺序依次匹配，当与源图像某一分块8_81^(\50匹配后形成匹配特征点对不少于6对时，则认为匹配成功，这是因为仿射变换关系矩阵的确定至少需要解算6个未知系数；目标图像ROI区域左上角子块B_dst (1，I)与源图像对应象限中子块B_src(x, y)匹配形成的匹配特征点对集合表示为{ < index_dst(I, I)，index_src(x, y) > } 其中index_dst(l, I)和index_src (x, y)分别表示目标图像ROI区域中左上角子块和源图像子块中匹配特征点的对应索引值；然后，根据匹配得到的源图像子块的位置确定三种窗口滑动方向，即水平、竖直和对角方向。
5.根据权利要求I所述的多源遥感图像配准方法，其特征在于所述的步骤4)为根据前面选择的目标图像ROI区域中的滑动窗口移动方向，在该方向上对目标图像分块进行SURF特征点检测；由于在后续分块匹配的过程中，采用的同样是最近距离与次近距离的比值进行判定，当某个图像子块中包含特征点个数较少时，会出现许多误匹配的情况；因此对目标图像ROI子块中的SURF特征点个数进行限制，设定阈值Nthres ;然后在选定方向上进行分块图像的依次匹配，当图像分块中检测出的SURF特征点个数少于阈值NttoesW，则忽略此图像分块不予匹配，直到该方向上完全匹配或滑动窗口越界； 在滑动窗口移动方向上，目标图像ROI区域中子块B_dst(i，j)与源图像子块B_src(x, y)匹配形成的匹配特征点对集合表示为
6.根据权利要求I所述的多源遥感图像配准方法，其特征在于所述的步骤5)为对分块图像检测得到的SURF特征点进行匹配后得到的一系列匹配点对集合，采用RANSAC方法将错误的匹配点对去除，筛选出其中的正确点对；在某一方向上多个分块匹配完成后，同样采用RANSAC算法确定多个子块位置关系的一致性。
7.根据权利要求I所述的多源遥感图像配准方法，其特征在于所述的步骤6)为RANSAC算法处理后，包含正确匹配特征点对最多的图像分块被认为是最终的匹配图像块，其对应的仿射变换映射矩阵即认为是整个原始源图像到目标图像的仿射变换关系； 确定代表原始图像匹配的匹配子块对后，根据通用几何仿射变换矩阵模型反向计算出模型中的相关系数，仿射变换矩阵模型如下
全文摘要
本发明公开了一种多源遥感图像配准方法，该方法考虑到多源遥感图像的大小比对，对目标图像和源图像分别进行适当的分块处理，分块检测匹配SURF特征点后确定感兴趣区域ROI，然后按一定的策略进行匹配，根据分块图像匹配情况进行分析提取，最后得到整个目标图像和源图像的匹配关系。本发明的优点在于通过少数几个分块的SURF特征点检测与匹配实现象限划分，从而确定图像感兴趣区域，并结合方向选择和特征点个数阈值筛选，达到提高配准效率的目的。同时，通过确定最多匹配点对图像分块作为原图像的放射变换关系，降低了原SURF特征匹配的错误率。
文档编号G06T7/00GK102982543SQ20121047223
公开日2013年3月20日 申请日期2012年11月20日 优先权日2012年11月20日
发明者李超, 袁晓冬, 盛浩, 张兴 申请人:北京航空航天大学深圳研究院