基于互信息图像选块和sift特征的遥感图像配准方法
【专利摘要】本发明公开一种基于互信息的图像选块和sift特征的遥感图像配准方法，主要解决现有遥感图像配准方法计算量大和配准结果精确度不高的问题。其实现步骤为：(1)输入参考图像和待配准图像；(2)随机选取子图像对，计算每一对图像的互信息；(3)对互信息值进行降序排列；(4)选取前面n个子图像对；(5)对每一对子图像对提取sift特征，并进行粗匹配；(6)判断粗匹配点对数是否大于500，若是，剔除错误匹配点，进行细匹配，否则返回步骤(5)；(7)计算配准参数和互信息值；(8)选取互信息值最大的配准参数作为最终的配准结果。本发明具有用时短，配准结果准确、稳定的优点。
【专利说明】基于互信息图像选块和sift特征的遥感图像配准方法
【技术领域】
[0001]本发明属于图像处理【技术领域】，涉及遥感图像配准，可用于图像融合、图像的变化检测，计算机视觉与模式识别、遥感数据分析，目标跟踪等【技术领域】中。
【背景技术】
[0002]图像配准是图像处理过程中的一个重要步骤。图像配准技术是将不同时间、不同传感器或不同视角下获取的同一场景的两幅进行匹配的图像处理过程，是图像处理的一个基本问题。同一场景的图像会存在很多差异，这些差异可以表现为:不同的分辨率、不同的灰度属性、不同的位置(平移和旋转)、不同的比例尺度、不同的非线性变形等等。目前图像之间的差异主要来自于不同的成像条件，要使具有差异性的两幅图像几何坐标对齐，就要获得参考图像和待配准图像之间的坐标变换关系。通过这一变换可以把一个图像数据集中的任意一点的坐标变换到另一个数据集中的对应位置坐标。对于图像配准问题，研究者已经提出了很多方法，但是由于图像种类多、数据量大、变化多的特点，以及不同应用要求等的限制，迄今为止还没有一种图像配准的方法适合于所有的情况。其中基于特征的和基于灰度信息的配准方法，是图像配准领域的研究热点，并且得到了广泛的应用。
[0003]目前，配准作为一种重要的图像预处理过程已在许多图像处理领域被广泛关注，而遥感图像受其自身特有的属性，如相干斑噪声，白噪声，灰度特征不明显等的影响，配准比一般的自然图像难度要高的多，因此是近年来配准的主要研究的对象。目前的图像配准多采取基于特征点的配准方法和最大互信息的配准方法，但这两种方法各自都有一定的优缺点:
[0004]其一在基于特征点方法中，特征点的数量、位置的选择及特征点匹配的精度起着重要的作用，它直接影响着配准的精确性。这是因为在完成控制点的匹配后，剩余的工作仅仅是插值或逼近。直接基于特征点的方法发展历史较长，比较灵活，运算量也相对较小，但从整体上来说精度不是太高。针对这些问题，一些研究者们不断改进特征点的提取算法，以期获得较为理想的配准结果，比如:H.Gomjalves等人提出的将图像分割与sift特征结合起来对遥感图像进行配准来提高获取的配准变换参数的精度，参见:H.Gon?alves,L.Corte-Real, and J.A.Gonpalves, “Automatic image registrat1n through imagesegmentat1n and SIFT,，，IEEE Trans.Geosc1.Remote Sens., vol.49, n0.7, pp.2589 -2600，Jul.2011。
[0005]其二最大互信息的配准方法不需要对图像灰度间关系的性质作任何假设，也不需要对图像作分割、特征提取等预处理，几乎可以用在任何不同模式图像的配准，并且具有较强的鲁棒性，特别是当其中一个图像的数据部分缺损时也能得到很好的配准效果。但是最大互信息法也存在一些缺点，如计算量大、配准时间长、互信息函数存在很多局部极值、传统的优化算法比较容易陷入局部最优中、没有考虑到图像的空间信息等。所以目前最大互信息法的研究的重点主要集中在怎样提高配准的精确度、鲁棒性和速度，包括互信息函数的精度和平滑性、多分辨率方法、配准优化算法、互信息与空间信息的结合、互信息与其他相似性测度的结合等方面的研究。比如:P.W.Plumi等人提出了将互信息和图像的梯度信息结合起来，对图像进行配准，参见:P.W.Plumi, J.B.Antoine Maintz and MaxA.Viergever,“Image Registrat1n by Maximizat1n of Combined Mutual Informat1nand Gradient,，，Medical Image Computing and Computer-Assisted Intervent1n -MICCAI 2000, Lecture Notes in Computer Science Volume 1935,2000,pp 452-461。
[0006]尽管国内外目前在图像的配准方面已开展了许多研究工作，提出了种类繁多的图像配准方法，但目前的图像配准研究仍存在着不少难点，这些难点主要有以下几个方面:
[0007](I)自动配准算法的实现。自动配准是指不需要人工干预，计算机可根据既定的程序自动完成多源图像的配准。但在目前的研究中，很多方法还需要人工干预，不能实现自动配准。
[0008](2)快速图像配准算法的实现。在建立实时/准实时图像融合系统时，必须拥有快速的图像配准算法作为保障。如何提高配准处理速度，达到快速和实时的要求也是图像配准的一大难题。
[0009](3)高精度图像配准算法的实现。多源图像配准作为图像融合的前提步骤，其精度将直接影响融合的效果。如多源遥感图像融合，其配准误差通常都要求亚像素级，在实际的研究中，由于受图像噪声影响大、利用图像景物特征配准时获取区域和边缘困难、或图像缺乏必需的地面特征点等的限制，高精度的图像配准难度增大。
[0010](4)较大几何位置差别条件下的配准技术的实现。在待配准图像之间存在较大的尺寸比例变化、旋转及平移，甚至伴随着各自图像的非线性畸变，或存在严重的几何校正残余误差等情况下，实现其配准算法非常困难。在这种假设条件下，目前已有的一些配准算法甚至无法实施。
[0011]由于上述主要方法的存在缺点和图像配准的难点，限制了图像配准的应用，还不能完全达到应用的要求，因此，研究一种行之有效的图像配准方法是本【技术领域】科技人员的当务之急。
【发明内容】
[0012]本发明的目的在于克服上述已有技术的不足，提出一种基于互信息的图像选块和sift特征的遥感图像配准方法，以实现在遥感图像配准中既能得到良好的结果，又能降低特征提取和匹配所需要的数据量。其中sift (scale-1nvariant feature transform,尺度不变特征转换)，是一种检测局部特征的算法，该算法通过求一幅图中的关键点及其与该点有关的尺度和方向的描述子得到特征并进行图像的特征点匹配。
[0013]本发明的技术方案是针对图像处理此类大规模问题，设计采用互信息值作为选块标准，选取子图像块提取sift特征进行部分配准，设计了先进行粗匹配，再细匹配的配准方法，提出了基于互信息值的选块策略解决全局配准计算复杂度高的问题，以选取相似度最高的图像子块进行sift特征提取并匹配，得到新的图像配准方法。
[0014]其具体实现过程如下:
[0015](I)输入参考图像和待配准的图像；
[0016](2)设定迭代次数为I，每次迭代从参考图像和待配准图像中分别随机选取一子图像块，子图像块的大小为Ms，计算这两个子图像块的互信息，并保存随机选取的子图像块在原图像中的位置坐标；
[0017](3)对所有的子图像对的互信息值进行降序排列；
[0018](4)选取互信息最大的前η个子图像对，对每一对选取的子图像块进行下面的处理；
[0019](5)提取其sift特征点，进行粗匹配，得到匹配点对的个数M ;
[0020](6)若匹配点数Μ>500，则对这些匹配点对，剔除错误的匹配点，进行细匹配，否则返回步骤(5)；
[0021](7)采用随机一致抽样(RANSAC)算法和PV插值法分别计算出配准参数和互信息值；
[0022](8)选取互信值最大的子图像块的配准参数作为最终的配准结果，并将该子图像块的配准结果图输出。
[0023]本发明与现有的技术相比具有以下优点:
[0024]1、本发明由于采用图像块进行配准，降低了计算量，提高了运算效率；
[0025]2、本发明由于采用互信息选取参考图像中和待配准图像中相似度最高的块进行配准，减少了由于图像噪声和其它因素的干扰，减少了错误匹配的可能性，提升图像配准算法的精度；
[0026]3、本发明由于选取使得互信息值最大的子图像块的配准结果作为整个图像配准的最终结果，能够得到更准确配准参数，特别是对于那些参考图像和待配准的图像只有部分重叠的图像有着更为有效，能够在保证运算准确的前提下，大大减少错误匹配的可能性，及非重叠部分的干扰。
【专利附图】
【附图说明】
[0027]图1是本发明实现步骤的流程框图；
[0028]图2是本发明sift特征进行粗匹配子流程框图；
[0029]图3是本发明细匹配和计算配准参数与互信息的子流程框图；
[0030]图4是512 X 512的参考图像；
[0031]图5是512 X 512的待配准图像；
[0032]图6是用本发明方法的最终的仿真实验结果图。
【具体实施方式】
[0033]参照图1，本发明的具体实现步骤如下:
[0034]步骤1，输入参考图像和待配准的图像。
[0035]步骤2，随机选取子图像对，计算每对图像的互信息。
[0036]设定迭代次数为I，迭代次数越多，选取的子图像对就越多，获得最相似的子图像对的可能性就越大，相应地，计算量也越大。
[0037]子图像块的尺寸Ms越大，计算量越大，图像对中相互匹配的点也就越多；子图像块的尺寸Ms越小，计算量也越小，相应地，相互匹配的点也越少，因此要选取合适的Ms，在减少运算量的同时，保证有足够的匹配点。
[0038]每次迭代按如下步骤进行:
[0039]2a)从参考图像和待配准图像中分别随机选取一子图像块，子图像块的大小Ms ；
[0040]2b)计算这两个子图像块的互信息，并保存随机选取的子图像块在原图像中的位置坐标。
[0041]步骤3，按照互信息值对获得的子图像对进行降序排列，并使得子图像对与原图像位置坐标保持一致。
[0042]步骤4，选取互信息最大的前η个子图像对。
[0043]步骤5，参照图2，对每一对子图像对进行sift特征提取，并进行粗匹配。
[0044]5a)分别对子图像块进行sift特征提取；
[0045]5b)对参考子图像块的每一个sift特征描述子(128维向量，包含sift特征点的邻域划分成4x4子区域的8个方向信息)进行转置运算，并计算其与待配准子图像块的所有的sift特征描述子的点积，进行反余弦计算并对结果进行排序；
[0046]5c)检验结果，仅仅保留那些最小的矢量角与次小的矢量角之间的比值小于阈值disRat1n的匹配点对。
[0047]在matlab中计算单位向量的点积比计算欧氏距离的计算成本低，更有效,并且对于小角度来说，角度比(单位向量的余弦)是欧氏距离比的一个近似。
[0048]最小的矢量角与次小的矢量角之间的比值越大，说明错误的匹配的可能性越大。因此，应选取合适的阈值disRat1n来剔除那些特别容易匹配错误的特征点对。若disRat1n过小,剔除的点对就会过多,相应地,正确匹配的特征点对数就会过少，从而导致配准精度降低；disRat1n过大，剔除的点对就会过少，相应地，错误的干扰匹配点对就会过多，使得配准精度降低。实际操作过程中，一般可设为0.7-0.9之间。
[0049]步骤6，参照图3，若粗匹配获取的点对数M大于500对，则进行细匹配。否则返回步骤5。
[0050]细匹配的过程为:
[0051]6a)输入粗匹配获得参考图像的特征点集合{R}和待配准图像的特征点集合{S}；
[0052]6b)分别计算参考图像块中的特征点Ri和待配准图像块中的特征点&之间的距
^——RA
离鳥Mj以及与之对应的匹配点Si和Sj之间的距离，其距离比为:;
[0053]6c)计算所有的可能的组合的Du，采用统计的方法生成一个尺度直方图；
[0054]6d)对直方图有贡献的点对，则认为是正确的匹配点，分散的则认为是错误的匹配点，并将其剔除，删除的过程按如下步骤进行:
[0055]I)首先剔除最有可能的错误匹配点，并计算剩余的匹配点对的均方误差RMSE ；
[0056]2)若均方误差RMSE大于等于I或者达到最大的迭代次数，则终止剔除过程，并计算出配准参数和互信息值，否则返回步骤I)。
[0057]步骤7，计算配准参数和互信息值。
[0058]其中计算配准参数用RANSAC算法，按如下步骤进行:
[0059]7a)输入匹配点对集；
[0060]7b)随机选择3个匹配点对，计算变换参数集P并对计数器C清零；
[0061]7c)在余下点对集中选择匹配点对(Vi, Vi ‘)，计算Vi经P映射后的特征点Vi'如果I V^-Vi.I <d,就认为Vi满足误差为d的参数集P，计数器c加I;
[0062]7d)如果计数器C大于某一个阈值N，则算法终止；否则转(7c)中继续执行；
[0063]7e)如果所有的匹配点对都被计算完计数器的值仍没有超出预先设定的阈值N，则选择其中计数器最大时所对应的参数集P作为最终配准参数集。
[0064]其中计算配准后图像和参考图像之间的互信息，采用的是先进行pv插值计算，然后计算互信息，之所以选择PV插值法是因为最近邻插值法的精度较低，而双线性插值法会产生新的灰度值。这对于联合直方图的计算是不利的，因为新的灰度值会使联合直方图中增加新的像素对，或者减少像素对。
[0065]在实际的操作过程中误差d—般可设为1-10，而阈值N—般设为特征匹配点对集的容量的四分之一。
[0066]步骤8，选取互信值最大的子图像块的配准参数作为最终的配准结果，并将该子图像块的配准结果图输出。
[0067]本发明的效果可通过以下仿真进一步说明:
[0068]1.仿真条件及仿真内容:
[0069]本实例在Intel (R) Core (TM) 2 Duo CPU 2.33GHz Windows XP 系统下，Matlab, 2008a运行平台上，完成本发明以及基于sift的图像配准的仿真实验。
[0070]2.仿真实验内容
[0071]A.本发明图像配准方法的仿真
[0072]将本发明应用在如图4和图5所示512X512的图像上，该图像选自一个具有12波段的航拍图像集，图像的内容为山脉，其配准的Ground Truth为[0.9659-0.2588
0.2588-0.9659-7.000 250.000] ?子图像的块的尺寸为原图像的四分之一。
[0073]B.现有基于sift特征的图像配准方法的仿真
[0074]将现有的基于sift特征的图像配准方法应用在如图4和图5所示512X 512的图像上。
[0075]3.仿真实验结果
[0076]在仿真实验中，本发明得到的仿真实验结果有较好的主观视觉效果，错误匹配出现较少，只需要对原图像的四分之一的进行匹配，计算量小，而且选取的子图像块包含了两幅图像的大部分重叠区域，减少了非重叠区域错误匹配点的干扰，配准结果精度高其最终的配准参数矩阵为[0.9659-0.2587 0.2587 0.9658-7.0070 249.9999]，图 6 为配准棋盘镶嵌结果。本发明对图4和图5的仿真实验用时仅为30.0564秒。而现有基于sift特征得到的仿真实验结果主观视觉效果较差，错误匹配点较多，且需要对整幅图像进行配准，计算量大(提取的特征点多，从而使得相应的干扰点也多)，配准精度也不高。其最终的配准参数矩阵为[0.9658-0.2577 0.2580 0.9639-7.0431 251.5630]，与 Ground Truth 相差较大，仿真实验用时多达88.4281秒。
[0077]由以上的仿真实验可以说明，针对遥感图像的配准，本发明存在一定的优势，克服了现有基于sift特征的全局图像配准技术应用在遥感图像上的不足，不论是视觉效果还是分割时间，本发明均优于现有基于sift特征的全局图像配准技术。
[0078]综上所述，本发明针对遥感图像的配准效果明显优于现有的基于sift特征的全局图像配准技术对遥感图像的配准效果。
【权利要求】
1.一种基于互信息的图像选块和Sift特征的遥感图像配准方法，包括如下步骤: 步骤1，输入参考图像和待配准的图像； 步骤2，设定迭代次数为I，每次迭代从参考图像和待配准图像中分别随机选取一子图像块，计算这两个子图像块的互信息，并保存随机选取的子图像块在原图像中的位置坐标； 步骤3，按照互信息值对获得的子图像对进行降序排列，并使得子图像对与原图像位置坐标保持一致； 步骤4，选取互信息最大的前η个子图像对； 步骤5，提取其sift特征点，进行粗匹配，得到匹配点对的个数M ; 步骤6，若匹配点数Μ>500，则对这些匹配点对，剔除错误的匹配点，进行细匹配，否则返回步骤5; 步骤7，采用随机一致抽样(RANSAC)算法和PV插值法分别计算出配准参数和互信息值； 步骤8，选取互信值最大的子图像块的配准参数作为最终的配准结果，并将该子图像块的配准结果图输出。
2.根据权利要求1所述的基于互信息的图像选块和sift特征的遥感图像配准方法，其中，剔除错误匹配点进行细匹配具体包括: 6a)输入粗匹配获得参考图像的特征点集合{R}和待配准图像的特征点集合{S}； 6b)参考图像块中的特征点Ri和待配准图像块中的特征点Rj之间的距离W以及与
—--之对应的匹配点Si和S」之间的距离S1Si ,其距离比为:I 6c)计算所有的可能的组合的Du，采用统计的方法生成一个尺度直方图； 6d)对直方图有贡献的点对，则认为是正确的匹配点，分散的则认为是错误的匹配点，并将其副除。
3.根据权利要求1所述的基于互信息的图像选块和sift特征的遥感图像配准方法，其中，随机一致抽样(RANSAC)算法计算配准参数具体包括: 7a)输入匹配点对集； 7b)随机选择3个匹配点对，计算变换参数集P并对计数器C清零； 7c)在余下点对集中选择匹配点对(Vi, Vi')，计算映射后的特征点Vi'如果I Vi^vi.I <d,就认为Vi满足误差为d的参数集P，计数器c加I; 7d)如果计数器C大于某一个阈值N，则算法终止；否则转6c)中继续执行； 7e)如果所有的匹配点对都被计算完计数器的值仍没有超出预先设定的阈值N，则选择其中计数器最大时所对应的参数集P作为最终配准参数集。
【文档编号】G06T7/00GK104200461SQ201410379927
【公开日】2014年12月10日 申请日期:2014年8月4日 优先权日:2014年8月4日
【发明者】公茂果, 马晶晶, 钟佩, 焦李成, 马文萍, 李豪, 刘嘉, 赵晨阳, 武越 申请人:西安电子科技大学