一种图像配准方法
【专利摘要】一种图像配准方法。针对梯度法配准在具有高精度亚像素结果优点的同时不能适应大角度情形的缺点，以及相位相关法在具有较强抗噪声性优点的同时在亚像素精度方面相对欠缺的问题，本发明提供了一种结合相位相关法与梯度法的图像配准方法。本发明针对旋转-平移模型，梯度法使用Keren算法，且不需要使用复杂的金字塔处理。本方法首先使用相位相关法进行粗估计，然后对目标图像进行逆补偿，之后使用Keren算法进行精细估计，最后使用合成公式进行两步结果合成。本方明可以在大角度情形下获得高精度亚像素配准结果，并具有较好的计算效率及处理速度。
【专利说明】一种图像配准方法
【技术领域】
[0001]本发明涉及一种图像配准(image registration)方法。
【背景技术】
[0002]图像配准是把两幅或多幅同一目标的不同图像对齐到一个坐标系的过程，其中，不同的图像可能从不同时间、不同角度或不同相机拍摄得到。图像配准是图像处理研究与应用中的一个重要方向，它是许多图像应用的基础，比如，超分辨率图像重构(super-resolution image reconstruction)、图像拼接(image mosaicing)及图像融合(image fusion)。在众多性能指标中，配准精度(accuracy)是最为重要的，而且,亚像素(sub-pixel)精度是许多应用的基本要求，或可以明显提高图像处理应用的性能。一般可以把图像配准方法分为两大类:基于区域(area-based)的图像配准方法与基于特征(feature-based)的图像配准方法。其中，基于区域的图像配准直接对图像灰度值进行处理，而基于特征的图像配准则从图像中提取出一些特征点然后进行匹配。
[0003]在基于区域的图像配准方法中，基于梯度(gradient-based)的配准方法和相位相关(phase correlation)法是两种典型的配准方法,它们分别在时(空)域及频域中实现。而且，前者的最显著优点是可以提供高精度的亚像素结果，但其缺点是不能估计大旋转角度情形；后者的最大优点是对噪声具有强的鲁棒性，但在亚像素精度方面存在一定程度的缺陷。
[0004]针对上述问题，本发明提出一种结合相位相关法与基于梯度法的配准方法，它可以结合两者的优点而避开各自的缺点，即可以在大角度情形下获得高精度的亚像素配准结果O
[0005]参考文献:
B.Zitova and J.Flusserj "Image registration methods: A survey，" Image andVision Computing, Vol.21, N0.11，pp.977—1000 (2003).B.D.Lucasand T.Kanadej 〃An iterative image registration technique withan application to stereo vision,〃 in Imaging Understanding Workshop, pp.121-130(1981).D.Keren, S.Pelegj and R.Bradaj "Image sequence enhancement usingsub-pixel displacement，" in CVPRi 88, pp.742-746 (1988).C.D.Kuglin and D.C.Hines, 〃The phase correlation image alignment method，"in IEEE International Conference on Cybernetics and Society, pp.163-165 (1975).B.S.Reddy and B.N.Chatterji，〃An FFT-based technique for translation,rotation, and scale-1nvariant image registration,〃 IEEE Transactions on ImageProcessing, Vol.5，N0.8，pp.1266—1271 (1996).
【发明内容】
[0006]本发明提供一种结合相位相关法与基于梯度法的图像配准方法，由于该方法结合了两种方法的优点而避开了各自的缺点，因而可以在获得大角度配准的同时保持高精度亚像素结果。该配准方法基于旋转-平移(rotation-translation:RT)模型，即包括二个参数:水平方向平移.ι1、垂直方向平移》及旋转角度良；因此，具体来讲，本发明中的相位相关法使用基于傅里叶-梅林(Fourier-Mellin)变换的相位相关法,而基于梯度法为Keren方法(见D.Keren, S.Pelegj and R.Bradaj "Image sequence enhancement using sub-pixel displacement, 〃in CVPRi 88, pp.742-746)。
[0007]假定对两幅相同大小的图像/(I #)与.4r.W)进行配准，且假定/(,M/)为参考图像， 为目标图像，它们可表示为g（x，y) = f{xIX^On - ySiin ft, -- m) 0
[0008]本方法共由如下四个步骤组成:
步骤I)使用基于傅里叶-梅林(Fourier-Mellin)变换的相位相关法进行第一步粗配准，它由如下步骤组成:(1)对两幅图像分别进行加窗处理，以消除快速傅里叶变换(FFT)计算时的边界效应；⑵使用FFT计算两幅图像/?:Μ/)与咖'.W丨的频谱，假设分别为即和(?M- +")，并得到两者的幅度谱Mi(?.V)和Me(V) ;(3)对Mf(?.,V)和M91:i*.r)进行正交坐标-极坐标转换，得到M山?和Λ.Ο肩;(4)对W办肩和应用相位相关法，得到角度电的粗估计电1:.; (5)分别使用和r —祀1对进行角度补偿得到两幅图像和ι?,然后分别使用相位相关法计算它们与/(a m的相位相关,峰值大者对应正确角度值，即假如供# y/)和/U.?)的相位相关峰值大于flwp.和/U.//J的相位相关峰值，则r — ξ1:ι为正确角度估计值，并用r十4"给疼11重新赋值，并求得对应的平移估计值411和C4。
[0009]步骤2)对进行逆补偿:首先使用步骤I)的正确角度估计值进行角度补偿，然后再使用步骤I)的41:1和.※1进行平移补偿，假设得到图像
[0010]步骤3)对/(:<>-.?+)与W)使用Keren方法进行第二步精细估计(Keren方法详细介绍见“【具体实施方式】”部分)，此处Keren方法不使用复杂的金字塔处理，假设估计结果分别为#和#。
[0011]步骤4)结果合成:假定及Λ的最终估计结果分别为.及毛，则使用(I = f 4- C1求得4,;假定使用向量形式表示平移参数:4U = [4U:#]3+, xf = [if if iIr及知=[1-<, A, F,其中的r为矩阵转置操作，则使用知=Xoi +求得知=[Al Λ,其中RU为逆时针旋转矩阵。
【专利附图】
【附图说明】
[0012]图1是图像配准示意图，其中(11)为参考图像，(12)为目标图像，(13)表示配准过程，(14)为(11)和(12)配准后叠加示意图。
[0013]图2是本专利配准方法流程图，其中，(21)表示读入待配准图像数据，(22)表示对图像数据进行预处理，(23)表示第一步图像配准，(24)表示对目标图像进行逆补偿，(25)表示第二步图像配准，(26)表示两步结果的最后合成。
[0014]图3是相位相关法的流程图，其中，(30)为读入待配准数据与(31)为对读入的数据进行加窗预处理，(32)对/k!?与ill计算频谱得到FiiI「)和6’1>*— V.), (33)为从频谱中得到幅度谱叫和M?1:h.r), (34)把正交坐标系的幅度谱卜.V)和V)转换为极坐标系Mf <jl 0)和Μ(?(ρ.(η, (35)对Mf (p.#)和M9 (/λ _用相位相关得到角度％的估计I11, (361)使用对.φ..?/)进行角度补偿得到(362)使用进行角度补偿得到.fA丨(371)对/(Π)与；(夂?/)计算相位相关,(372)对/U.//:丨与计算相位相关，(38)比较(371)与(372)的相关峰值，(39)根据(38)的值，得到％的正确估计ξη，并求得对应的平移估计值if和5^。
[0015]图4是Keren配准方法流程图，其中，(40)为读入待配准数据/U-//)与//!夂《I,
(41)对读入的数据进行低通预处理，(42)计算/(Π)的梯度(与/:,以及i? = y/X,
(43)计算所示的系数矩阵CM及右边向量b,计算出初始估计值Clr = (CM)-￡b
，且[:?f.1t Cl7.与[.C 4Ρ €Ψ—初始值等于 W #.CT, (44)对C1Ib < t或迭代次数 > 斤进行判断，若为“是”则结束，否则执行(45), (45)对进行逆补偿得到(J:- W?, (46 )对fij:— u、与V ?进行估计，系数矩阵CM保持不变，更新= EΣ.(/.-4m; E(.fi;,>mT 并求得啞gwr - (CM)，并
更新丨fit Chr = it €Ψ+ 141 i1 ξκ17'，然后转入(44)进行下一次终止判断。
[0016]图5是对一组4幅低分辨率图像进行配准后进行超分辨率重构处理结果，其中，(5.1)为其中一幅低分辨率图像的局部放大图，(5.2)为本方法配准后的超分辨率重构结果的局部放大图，(5.3)为 Va·ndewalle 方法(见 P.Vandewallej S.Siisstrunkj and Μ.Vetterlij 〃A frequency domain approach to registration of aliased images withapplication to super-resolution，〃 EURASIP Journal on Applied Signal Processing,Vol.2006，pp.1-14)配准后的超分辨率重构结果的局部放大图，(5.4)为Keren方法(见D.Keren, S.Pelegj and R.Bradaj "Image sequence enhancement using sub-pixeldisplacement，" in CVPRi 88, pp.742-746)配准后的超分辨率重构结果的局部放大图。
[0017]图6是对另一组4幅低分辨率图像进行配准后进行超分辨率重构处理结果，其中，(6.1)为其中一幅低分辨率图像的局部放大图，(6.2)为本方法配准后的超分辨率重构结果的局部放大图，(6.3)为 Vandewalle 方法(见 P.Vandewallej S.Siisstrunkj and Μ.Vetterlij 〃A frequency domain approach to registration of aliased images withapplication to super-resolution, 〃 EURASIP Journal on Applied Signal Processing,Vol.2006，pp.1-14)配准后的超分辨率重构结果的局部放大图，(6.4)为Keren方法(见
D.Keren, S.Pelegj and R.Bradaj "Image sequence enhancement using sub-pixeldisplacement，" in CVPRi 88, pp.742-746)配准后的超分辨率重构结果的局部放大图。
【具体实施方式】
[0018]下面结合附图对本发明进行详细说明。[0019]本发明提供一种结合相位相关法与基于梯度法的图像配准方法，属于一种由粗到精的“两步法”。如前所述，该配准方法的假定模型是旋转-平移(rotation-translation ：RT)模型，即包括三个参数：水平方向平移:11、垂直方向平移衡及旋转角度％,且假定参考图像./V. //)与目标图像：'?)之间的关系为
【权利要求】
1.一种图像配准方法，其特征在于: 基于旋转-平移(rotation-translation:RT)模型；定义iV* ?/)为参考图像，
2.根据权利要求1所述的读入待配准图像数据，其特征在于:把参考图像/(~’/)和目标图像.4"，//)读入内存的和ti'i的长与宽尺寸大小相等。
3.根据权利要求1所述的对图像数据进行预处理，其特征在于:若/ix.W和均为灰度图像，则不需处理；若/U.//)或//(.『、//)为彩色图像，则将彩色图像数据转化为灰度图像数据；若/^?/)和//(I//)的维数相同且其第三维数值不等于I或3，则分别取各自的第一个二维数组代替原先数据。
4.根据权利要求1所述的进行第一步图像粗配准，其特征在于:读入待配准图像数据/(Ay/)和.#r.w:K30)且进行权利要求3所述预处理后，对这两幅图像数据使用图基(Tukey)窗函数进行加窗预处理(31)，图基窗参数》’经验值取0.25 ;进行边界补零处理，补零的尺寸大小根据图像尺寸自适应确定；然后使用二维快速傅里叶变换(FFT)计算两幅图像/(夂//.)与/心'.+ //)的频谱,7i,- r)和G(v.V) (32 ),其中_和》分别为水平方向频率和垂直方向频率，并得到两者的幅度谱场(《』)和(33);然后对和Mtfl'"..〃)进行正交坐标系-极坐标系转换，得到MHp.的和:Wf,(/χ?Ι) (34)，其中P和ff分别为极坐标系的极径和极角；然后对肩和:w?(w)应用相位相关法，得到角度M勺粗估计I/+1 (35);然后分别使用Iil和^ -T (?'1对丨进行角度逆补偿，分别得到两幅图像W:丨(361)和册丨._1’.//)(362);然后分别使用相位相关法计算/(jW/)与?/?(..:ν:Ι的相位相关(371)以及/U..?/)与flU.f’.W) (372)的相位相关，然后比较两者的峰值系数大小(38)，峰值大者对应正确的角度值并对ξ11赋予正确值，并求得对应的平移估计值.^和#1 (39)，并记作= [4" ?Ψ。
5.根据权利要求1所述的对目标图像进行逆补偿，其特征在于:首先使用权利要求4中的角度估计值希"对//?..,//.)进行角度逆补偿，然后再使用权利要求4中的Jf和德η进行平移逆补偿，最后得到图像及其向量表不.(Α:χ),其中f/1:x) = ffi+Ri—f);+/ hifx +私1.1}.)。
6.根据权利要求1所述的进行第二步图像精细配准，其特征在于:不使用金字塔处理结构；读入待配准数据/?:Μ/)与//“.,v:K40);然后对读入的数据使用高斯滤波器进行低通滤波处理(41);然后计算/U.1/丨的梯度与/〗，梯度计算使用一阶差分运算，并计算R = y/.l-:r/；(42);然后计算系数矩阵CM与右边向量I?:
7.根据权利要求1所述的两步结果的合成，其特征在于:定义_、/A及如的最终估计结果分别为.?、如及4,并定义知=[i'd a,；使用4 = 41'丄f求得％,使用知=if + R(If)C1求得知。
【文档编号】G06T7/00GK103544710SQ201310550092
【公开日】2014年1月29日 申请日期:2013年11月8日 优先权日:2013年11月8日
【发明者】李相国 申请人:河南工业大学