本发明属于图像处理
技术领域：
，涉及一种电气设备红外与可见光图像的配准方法。
背景技术：
：随着社会的发展，为了满足各行各业对电力大量的需求，必须要保证电网供电的稳定性以及安全性。而电力设备是电力电网系统的重要组成部分，电力设备安全稳定的运行可以保证电网可靠地供电。但是因为电力设备长期处于运行状态同时非常容易受到环境变化的影响，经常会造成各种各样故障的发生，一般的表现形式有设备整体或者局部的异常发热，如设备绝缘性能劣化或绝缘故障导致介质损耗增大而引起的发热、接头接触不良引起的局部过热等。所以对电力设备的热状态进行定期的检测，并通过设备的热状态进行分析和诊断，是保障电力设备和电网可靠运行的重要手段之一。由于电力设备的分布比较广、数目种类繁多而且运行时具有高温、高电压等特殊性，难以采用常规的检测方式确定电力设备的热状态。多传感器的协作运行可以互相弥补各自的局限性，如为了更加可靠的保证电气设备的正常运行，可以采用红外与可见光传感器结合的方法对电气设备进行异常发热区域的检测和精准定位。由于采用红外成像的电力设备检测技术是对设备的表面进行非接触、远距离成像检测，不会受到崎岖地形、设备运行状态的制约，具有直观安全、应用范围广等特点，已经成为电力设备健康状态检测和故障诊断的重要手段。所谓图像配准(ImageRegistration)就是寻找图像之间一种空间变换关系，将图像变换到统一的坐标系下,使得两幅图像中同一目标具有相同坐标位置的过程，其中两幅图像在不同的视角、传感器、时间下获得。它也是解决图像融合、目标检测和识别的前提，在遥感、军事、计算机视觉等众多场合得到了比较广泛的应用和发展。由于来源于不同的传感器拍摄，多源图像之间的融合可以获得比单模态图像更多的细节信息，而此时多源图像之间的配准则显得尤为重要。本发明所研究的红外与可见光图像的配准则属于比较常见的多源图像配准问题，红外图像是基于温差的，其反映的被测物体的辐射信息，无法分辨出相同温度区域目标的特征，而可见光图像反映了被测目标的反射信息。对这两种模态的电气设备图像进行融合，既可以通过红外图像得到电气设备的热状态信息，及时发现设备异常发热问题，又可以通过可见光图像对设备温度异常区域进行精确定位，当设备出现故障时，这两种模态的优势互补可以快速对故障进行精确定位，确保设备可靠运行。红外与可见光两种图像拍摄设备在对同一目标取景时难免会出现一定程度的旋转、平移、缩放，导致两幅图像在同一坐标下存在空间位置的差异，使得多源图像的配准成为图像融合的必要步骤。而快速、精准度高、算法鲁棒性好成为红外和可见光图像的配准方法所追求的一个目标。目前图像的配准方法可以分为：基于区域灰度的配准方法和基于特征的配准方法。其中基于区域灰度的配准方法大都是先定义一种基于灰度信息的相似性准则函数，然后选取图像某一区域去搜索最优的变换参数值，如果相似性准则函数的值最大，那么所对应的求解参数值即为最优值。其中以互信息为测度的图像配准具有鲁棒性强、精度高等特点，得到了广泛的应用，但是其计算量比较大，从而导致配准过程花费较长时间。而基于特征的配准方法由于具有计算速度快、鲁棒性好、对几何形变不敏感等特点逐渐被广泛运用，其核心是：对于多源图像数据，选择共有的特征和适用于该特征的匹配策略。典型的检测子包括：Harris角点检测子、Hessan_Laplace、SIFT算法、SURF算法等，其中Bay于2006年5月提出的SURF算法在性能上优于SIFT算法，且在运算速度上也有很大的优势。基于现有技术，本发明研究了一种基于数学形态学的边缘检测算法以及一种新的SURF特征点匹配方法用于电气设备红外与可见光图像的配准，保证了配准的精度，同时也提高了特征点的匹配速度。技术实现要素：本发明所要解决的技术问题是，提供一种电气设备红外与可见光图像的配准方法，可以实现电气设备红外图像与可见光图像的高精度配准。为解决上述技术问题，本发明提供一种基于SURF算子的电气设备红外与可见光图像的配准方法，其特征在于：包括以下步骤：1)获取同一场景下电气设备的红外图像与可见光图像，并且红外图像与可见光图像尺寸相同；2)采用基于多方向、不同权值的形态学边缘检测方法分别提取电气设备红外图像与可见光图像的边缘；3)通过SURF(SpeededUpRobustFeatures)算子得到红外边缘图像和可见光边缘图像的特征点；4)采用特征点匹配算法对特征点进行匹配，筛选出正确的匹配点对，计算出仿射变换模型的各系数值；5)根据仿射变换模型通过插值运算对待配准图像进行空间坐标变换，得到最终的配准图像。本发明所达到的有益效果：本发明解决了电气设备同一场景的红外与可见光图像间一致特征难以提取和匹配的问题，有效提高了匹配点对的正确率，能够对电气设备红外和可见光图像实现高精度的配准。附图说明图1是本发明基于SURF算子的电气设备红外与可见光图像的配准方法的流程图。图2是本发明结构元素S的四个方向上的不同结构。图3是本发明采用的双线性插值法的示意图。具体实施方式本发明的实施示意图如图1所示，本发明的基于SURF算子的电气设备红外与可见光图像的配准方法，具体步骤包括：1)获取同一场景下电气设备的红外图像与可见光图像，并且红外图像与可见光图像具有相同的尺寸；2)对电气设备红外图像与可见光图像进行灰度化处理，采用基于多方向、不同权值的形态学边缘检测方法分别提取灰度图像的边缘，具体步骤包括：21)采用如下滤波器对图像进行去噪处理，滤波器公式如下：22)确定边缘检测算子Ek如下式：其中，f代表含有噪声的图像，Sk表示方向结构元素，C为用于滤波的结构元素，D表示去噪后的平滑图像，·表示形态学的闭运算，表示形态学的闭运算，Θ表示腐蚀运算；23)用于滤波的结构元素C值为[010；111；010]，方向结构元素Sk包括4个方向，分别为：S1＝[010；010；010]；S2＝[100；010；001]；S3＝[000；111；000]；S4＝[001；010；100]；同时在尺寸为3×3的图像子块中，a1,a2,···,a9分别代表子块中各像素点的灰度值，其中a1为中间像素点的灰度值，a2,···,a9为其邻域像素点的灰度值；通过比较结构元素和图像边缘方向之间的关系，可以发现，如果所选结构元素的方向和边缘梯度方向一致，那么此时能够正确地检测到细节信息，降低错检、漏检等现象发生的概率。本发明通过计算图像子块中4个方向上像素的变化值来判断边缘梯度走向，并对应到四种结构元素的一种。令坐标点(x,y)表示红外图像和可见光图像中任意一像素点，红外图像和可见光图像中每个子块内的邻域间差值的绝对值和各方向结构元素的对应匹配关系为：方向结构元素S1、S2、S3、S4分别对应的邻域间差值的绝对值分别为：Fe1(x,y)=|Σh=35ah-Σh=79ah|,Fe2(x,y)=|Σh=46ah-Σh=89ah-a2|,]]>Fe3(x,y)=|Σh=57ah-Σh=23ah-a9|,Fe4(x,y)=|Σh=68ah-Σh=24ah|;]]>方向结构元素S1、S2、S3、S4分别对应的计数值Count为：Count1、Count2、Count3、Count4；在3×3图像子块遍历整幅图像的过程中，每次计算四个邻域间差值的绝对值参数值：Fe1(x,y)、Fe2(x,y)、Fe3(x,y)、Fe4(x,y)，然后比较四个邻域间差值的绝对值的大小，对最大邻域间差值的绝对值所对应的方向结构元素所对应的计数值Count加1，最后由计数值Count来确定方向结构元素在四个方向上的权值，公式如下所示：wk=Countk/Σk=14Countk,k=1,2,3,4]]>其中w1,w2,w3,w4分别为4个方向结构元素S1、S2、S3、S4所占的比例系数；把4个方向结构元素依次代入边缘检测算子Ek，再根据所计算的4个比例系数w1,w2,w3,w4对边缘检测算子Ek进行叠加，公式如下所示，获得边缘图像E，E=Σk=14wkEk,k=1,2,3,4;]]>24)设置阈值系数α，将步骤23)得到的边缘图像E中灰度值大于α的点的灰度值置为255，灰度值小于或等于α的点的灰度值置0，得到最终边缘图像。3)通过SURF算子得到红外图像与可见光图像的边缘图像的特征点。下面将从特征点的检测、描述两个方面来详细介绍SURF理论。31)检测特征点：在SURF算法中，通过计算近似的Hessian矩阵行列式的值来定位特征点。当某点处Hessian行列式的值局部最大时，所检测出来的就是特征点。特征点一般比周围邻域点更亮或更暗一些。SURF方法提取特征点过程仅使用原始图像。将不同尺寸的方形滤波器作用在原始图像上，由于使用了积分图像，尽管方形滤波器的尺寸有所不同，但处理速度可保持不变。SURF尺度空间包括若干组(Octave)，每一组内包含了若干层。每一层为不同尺度的图像。不同尺度的图像为原始图像与不同尺寸的方形滤波器高斯卷积后得到的结果图像。各组之间的区别为最底层方形滤波器的窗口尺寸及组内各层的方形滤波器的窗口大小步进。第一组最底层使用边长为9的方形滤波器，之后每一组最底层将使用前一组第二层方形滤波器的尺寸。比如第一组各层方形滤波器的尺寸分别为9，15，21，27；第二组各层方形滤波器的尺寸分别为15，27，39，51；第三组各层方形滤波器的尺寸分别为27，51，75，99。为了保证SURF特征点的尺度不变性，SURF算法中特征点的选取是基于Hessian矩阵，具体方法为：计算某点处Hessian矩阵行列式的值，当该点处Hessian矩阵行列式的值为局部区域最大值时，认为该点为特征点的候选点。同时为了除去非区域内Hessian矩阵行列式最大值的点，引入非最大值抑制的方法。若某点通过了非最大值抑制，并且其Hessian矩阵行列式的值大于阈值，则对其进行三维邻域最大值验证，将与该点同尺度下的8个3×3邻域内的点及上下两层相邻尺度的18个3×3邻域的点进行比较，以保证该点确为尺度空间的极值点。32)特征点的描述为了实现SURF特征的旋转不变性，需要为每个SURF特征点分配唯一的主方向。SURF特征点主方向是由特征点圆形邻域内其它点的信息所确定。其主方向通过计算Haar小波响应来确定。使用以特征点为顶点、圆心角为60°的扇形扫描特征点圆形邻域。在扫描过程中，每扫描1°，计算扇形覆盖的图像区域内的Haar小波响应在x、y方向上的累加和，x、y方向就是水平和竖直方向，扇形区域内的Haar小波响应累加和应为一个矢量。当扇形旋转一周后，将得到360个矢量，其中，长度最长的矢量所对应的方向即为该特征点的主方向。SURF描述子的生成过程中，参与运算的区域为以特征点为中心的，边长为20倍特征点尺度值得正方形区域。该正方形区域的y轴方向与特征点主方向重合。将参与运算的正方形区域分割成4×4的子区域，每个区域大小为5×5像素点。对每一个子区域，使用尺寸为2倍特征点尺度的Haar小波模板进行运算。设dx为x方向子区域的Haar小波响应值，dy为y方向子区域的Haar小波响应值。对所有得到的dx和dy，以特征点为中心，使用标准差为3.3倍特征点尺度的高斯函数进行加权运算。最后，将4×4个子区域的4维向量组合v＝(∑dx,∑|dx|,∑dy,∑|dy|)，即得到了一个64维的向量。为了使SURF描述子具备光照不变性，对得到的64维向量进行归一化处理，即得到了包含64维信息的SURF特征点描述子。4)采用特征点匹配算法对特征点进行匹配，筛选出正确的匹配点对，计算出仿射变换模型的各系数值。本发明的特征点匹配方法，步骤如下：假设参考图像用I1表示，待配准图像用I2表示，尺寸均为M×N，并将参考图像和待配准图像水平依次放置于同一坐标轴下，形成尺寸为M×2N的图像，M代表图像的行数，N代表图像的列数；参考图像I1、待配准图像I2通过SURF方法检测到的特征点集合分别表示成：Pos1＝{(x1',y1'),(x'2,y'2),···,(x′i,y′i),···,(x'm,y'm)},1≤i≤m，Pos2＝{(x1,y1),(x2,y2),···,(xj,yj),···,(xn,yn)},1≤j≤n，其中m,n分别表示参考图像I1和待配准图像I2特征点的数量；根据最后正确匹配点对之间的斜率方向一致性的先验知识，匹配方法的步骤为：41)对参考图像I1的特征点集合Pos1中的每个点i，计算其与待配准图像I2的特征点集合Pos2中所有的点之间的欧氏距离，选择最小欧氏距离对应的点作为点i的粗匹配点；42)计算所有粗匹配点对之间的欧氏距离，并按照欧式距离由小到大的顺序对匹配点对排序，然后遍历所有的点对，删除其中多点对一点的点对，此时修正后参考图像I1的特征点集合和修正后待配准图像I2中的特征点集合分别用Pos1'和Pos2'表示；43)选择修正后参考图像的特征点集合Pos1'和修正后待配准图像的特征点集合Pos2'中前K1对匹配点，记作称为集合1；选择修正后参考图像的特征点集合Pos1'和修正后待配准图像的特征点集合Pos2'中前K2对匹配点，用Pos_K2表示，其中称为集合2，其中K1＜K2；44)对于集合2中所有的点对，计算两点间的斜率，公式如下所示，形成斜率集合一k，并对斜率集合一k四舍五入取整，形成斜率集合二：k'＝{k1,k2,···,kp}；kp=yp+N-yp′xp-xp′,1≤p≤K2]]>45)计算斜率集合二中每个斜率出现的频数，筛选频数大于等于2的斜率，形成新的斜率集合三k_new＝{k1',k'2,···,k'q}，其中q是得到的特征点的总数量，理论上斜率集合三k_new1中元素个数小于等于斜率集合二k'中元素个数；如果斜率集合二中的每个斜率出现的频数都为1，则选择前2K2/3对的斜率构成新的斜率集合三k_new；46)遍历计算考图像的特征点集合二Pos1'和待配准图像的特征点集合二Pos2'中所有的点对的斜率，筛选出斜率在区间[k'p-0.5,k'p+0.5]内的所有的点对，形成点对集合Pos_K3，其中k'p∈k_new；47)从集合1中按照排列组合的方法依次选出3组不同的点对代入仿射变换模型计算出模型参数G，共有种情况；然后将点对集合Pos_K3中的点逐个对代入仿射变换模型，并设定阈值delta，当满足下式时，确认该点对集合符合仿射变换模型，称为内点对，|G×(xi；yi；1)-(x′i；y′i；1)|＜delta其中，(xi,yi),(x′i,y′i)是一对粗匹配点，且满足{(xi,yi),(x′i,y′i)}∈Pos_K3；仿射变换模型的数学模型表示为：x′y′=a11a12a21a22xy+ΔxΔy]]>其中，(x,y)和(x',y')分别是变换前的坐标和变换后的坐标点，Δx和Δy分别是水平和竖直方向上的平移量；a11、a12、a21、a22均为仿射变换模型里的参数，G为仿射变换模型里各参数用矩阵表示的形式，最后可以用表示，delta值为[1；1；0]；48)根据不同的仿射变换模型参数计算符合仿射变换模型的点对的数量，选出数量最大时的情况得到最佳模型参数,其中K1的值一般设为10，K2的值一般设为20，delta值设为[1；1；0]。5)根据仿射变换模型通过插值运算对待配准图像进行空间坐标变换，得到最终的配准图像。具体步骤为：首先为待配准图像建立一个和原图像大小相同的空矩阵，然后根据仿射变换模型对于空矩阵中的每个点进行坐标逆变换，得到空矩阵中的每个点在待配准图像上的对应点，再通过双线性插值法得到该点的像素值，作为待配准图像上对应点的像素值，其中，插值运算采用双线性插值法，如图3所示，原理如下：假设f(x,y)是所要求的灰度值，f(u,v)，f(u+1,v)，f(u,v+1)，f(u+1,v+1)分别代表采样点f(x,y)周围四个像素点的灰度值大小，其中(u,v)是整数的坐标点，(x,y)是小数的坐标点。则点(x,y)的像素灰度值的计算如式所示：Q1=f(u,v)+(y-v)[f(u,v+1)-f(u,v)]Q2=f(u+1,v)+(y-v)[f(u+1,v+1)-f(u+1,v)]f(x,y)=Q1+(x-u)(Q2-Q1),]]>其中，Q1，Q2均为中间变量。以上对本发明提出的一种基于SURF算子的电气设备红外与可见光图像的配准方法进行了详细介绍，可广泛应用于电力设备健康状态检测和故障诊断领域。当前第1页1 2 3