一种风机叶片图像拼接方法及装置与流程

1.本发明涉及图像处理领域，具体涉及一种风机叶片图像拼接方法及装置。


背景技术：

2.随着我国风电事业日益成熟，无人机智能巡检风场风机的研究也逐步深入，无人机采集的图片为风机叶片局部图像，为了对叶片状态、缺陷位置进行准确分析与判断，需要获得叶片的完整图像，因此有必要对无人机采集视频进行图像分割和叶片拼接。风机叶片拼接作为智能巡检的首要条件，叶片拼接结果的好坏直接决定了风机缺陷检测结果。
3.采用现有的图像拼接算法应用于叶片拼接中存在以下问题：(1)基于尺度不变特征变换(sift、surf、fast)的图像配准拼接方法，存在特征点少、配准率低难以完成叶片拼接的问题；(2)基于无人机参数及飞行速度的方法，无法精确获取飞行速度与像素位移的对应关系，存在像素重复、丢失的问题。


技术实现要素：

4.为解决背景技术中现有的图像拼接算法存在的问题，本发明提供了一种风机叶片图像拼接方法，具体技术方案如下。
5.一种风机叶片图像拼接方法，该方法包括如下步骤：
6.s1、对初始帧风机叶片图像进行特征点提取，将提取得到的特征点作为初始点集p；
7.s2、对初始点集p进行跟踪，得到下一帧风机叶片图像的跟踪点集q；所述下一帧风机叶片图像为所述初始帧风机叶片图像的相邻帧或间隔帧；
8.s3、通过旋转变换矩阵m将p和q进行旋转，得到p
′
和q
′
；其中，m为将风机叶片图像中的风机叶片旋转为指定方向所对应的旋转变换矩阵；
9.s4、根据如下公式计算得到p
′
和q
′
的单应性矩阵h:q
′
＝h
·
p
′
；
10.s5、根据单应性矩阵h，采用基于特征点的图像配准方法，完成初始帧和下一帧风机叶片图像的图像配准和拼接；
11.s6、以拼接后的图像作为初始帧风机叶片图像，重复步骤s1－s5，直至完成完整风机叶片图像的拼接。
12.优选地,步骤s2和s3之间还包括如下步骤：采用ransac算法对跟踪点集q中的异常点进行剔除，并相应剔除初始点集p中与所述异常点对应的特征点。
13.优选地,当跟踪点集q中的特征点小于预设数值时，停止跟踪。
14.优选地,步骤s5和s6之间还包括如下步骤：采用多波段融合方法消除将拼接后图像中的拼接线。
15.具体地,所述旋转变换矩阵m通过如下方法获取：
16.获取风机叶片图像中风机叶片上、下边缘的像素坐标；
17.根据上、下边缘的像素坐标计算出风机叶片的倾斜斜率，得到旋转角度；
18.根据旋转角度、指定角度和风机叶片图像的图像旋转中心得到旋转变换矩阵m。
19.基于相同的发明构思,本发明还提供一种风机叶片图像拼接装置，包括：
20.特征点提取单元，用于对初始帧风机叶片图像进行特征点提取，将提取得到的特征点作为初始点集p；
21.跟踪单元，用于对初始点集p进行跟踪，得到下一帧风机叶片图像的跟踪点集q；所述下一帧风机叶片图像为所述初始帧风机叶片图像的相邻帧或间隔帧；
22.旋转单元，用于通过旋转变换矩阵m将p和q进行旋转，得到p
′
和q
′
；其中，m为将风机叶片图像中的风机叶片旋转为指定方向所对应的旋转变换矩阵；
23.计算单元，用于根据如下公式计算得到p
′
和q
′
的单应性矩阵h:q
′
＝h
·
p
′
；
24.拼接单元，用于根据单应性矩阵h，采用基于特征点的图像配准方法，完成初始帧和下一帧风机叶片图像的图像配准和拼接。
25.优选地,还包括异常点剔除单元，用于采用ransac算法对跟踪点集q中的异常点进行剔除，并相应剔除初始点集p中与所述异常点对应的特征点。
26.优选地,所述异常的剔除单元在跟踪点集q中的特征点小于预设数值时停止跟踪。
27.优选地,还包括拼接线消除单元，用于采用多波段融合方法消除将拼接后图像中的拼接线。
28.优选地,还包括旋转变换矩阵计算单元，用于：
29.获取风机叶片图像中风机叶片上、下边缘的像素坐标；
30.根据上、下边缘的像素坐标计算出风机叶片的倾斜斜率，得到旋转角度；
31.根据旋转角度、指定角度和风机叶片图像的图像旋转中心得到旋转变换矩阵m。
32.优选地，采用orb算法对图像进行特征点提取。
33.优选地，采用稀疏光流跟踪算法对初始点集p进行跟踪。
34.由于采用了以上技术方案，与现有技术相比较，本发明利用图像序列的连续性，使用稀疏光流跟踪算法实现图像匹配，克服了经典图像拼接方法不足，有效解决了特征点少、匹配率低的问题。实验表明，该方法对于风电叶片拼接具有较强的鲁棒性，够提高风机叶片图像拼接精度，进而提高后续风机叶片缺陷检测精度。本发明利用稀疏光流跟踪的方法解决图片特征纹理稀少、局部相似性高、明暗程度差异小的风机叶片拼接问题。
附图说明
35.图1为本发明的流程示意图；
36.图2为特征点提取后的初始帧图像；
37.图3为图2的叶片多边形轮廓；
38.图4为剔除边缘点后的初始帧图像；
39.图5为剔除异常点后的初始帧图像；
40.图6为剔除异常点后的第二间隔帧图像；
41.图7为旋转为水平后的初始帧图像；
42.图8为旋转为水平后的第二间隔帧图像；
43.图9为初始帧图像与第二间隔帧图像完成拼接后的图像；
44.图10为完整风机叶片图像的拼接图。
具体实施方式
45.下面结合附图对本发明作进一步详细描述。
46.参见图1，一种风机叶片图像拼接方法，该方法包括如下步骤：
47.s1、采用orb算法对初始帧风机叶片图像进行特征点提取，将提取得到的特征点作为初始点集p。
48.图2为采用orb算法对初始帧图像进行特征点提取后的图像，一共提取出922个特征点。然后采用图像腐蚀、边界提取，得到叶片多边形轮廓(如图3所示)，并根据多边形框剔除后的特征点展示，剔除边缘点后共得到330个点，如图4所示。
49.s2、采用稀疏光流跟踪算法对初始点集p进行跟踪，得到下一帧风机叶片图像的跟踪点集q；所述下一帧风机叶片图像为所述初始帧风机叶片图像的相邻帧或间隔帧。所述两帧风机叶片图像为间隔帧。由于相邻帧图像的变化很小，因此本实施例中优选采用间隔帧，具体地，本实施例中无人机采集视频帧率为每秒30帧，间隔帧为15帧。稀疏光流跟踪算法过程中去除跟踪异常点：稀疏光流跟踪算法得到的结果为跟踪点集、匹配状态、测量误差，根据匹配状态(匹配状态是一个列表，范围值为0和1状态，0为跟踪失败，1为跟踪成功)以及测量误差(本实施例中设置测量误差阈值为2，大于2的部分进行剔除)对跟踪点集进行剔除。
50.本实施例中，无人机采集视频帧率为每秒30帧，为保证跟踪的准确性，采用指定帧拼接条件为15帧或跟踪点集小于15个时停止跟踪(因为继续跟踪的话，跟踪过程中会一直剔除点，跟踪点会越来越少，所以在点小于一定情况下就停止跟踪)。
51.s21、采用ransac算法对跟踪点集q中的异常点进行剔除，并相应剔除初始点集p中与所述异常点对应的特征点。跟踪。图5(初始帧图像)和图6(第二间隔帧图像)为剔除异常点后的点集，初始点和跟踪点均为27个。
52.s3、通过旋转变换矩阵m将p和q进行旋转，得到p
′
和q
′
；其中，m为将风机叶片图像中的风机叶片旋转为指定方向所对应的旋转变换矩阵；
53.具体地，旋转变换矩阵m通过如下方法获取：
54.获取风机叶片图像中风机叶片上、下边缘的像素坐标；
55.根据上、下边缘的像素坐标计算出风机叶片的倾斜斜率，得到旋转角度；
56.根据旋转角度、指定角度和风机叶片图像的图像旋转中心得到旋转变换矩阵m。
57.根据叶片边缘计算得到:
58.初始帧图片的旋转矩阵为
[0059][0060]
第二间隔帧图片的旋转矩阵为
[0061][0062]
初始帧图片使用旋转矩阵m1旋转后结果为
[0063]
旋转点集举例：
[0064]
旋转前点集：[[1099.,558.],[1298.,718.],[1216.,679.]]
[0065]
旋转后点集：[[972.5782111974022,1024.8839681620411],[719.0319180038418,994.6304194808515],[809.2395229369383,984.2579553457306]]
[0066]
第二间隔帧图片使用旋转矩阵m2旋转后结果为
[0067]
旋转点集举例：
[0068]
旋转前点集：[[1184.109,628.28723],[1386.0071,791.116],[1302.1696,751.0744]]
[0069]
旋转后点集：[[863.1770171653434,1010.4813353365977],[605.6593729016595,979.485996721354],[697.9723153904574,968.9796672107524]]
[0070]
具体地，本实施例中的指定角度为0
°
，即将风机叶片图像中的风机叶片统一旋转为水平方向，以方便后续的拼接。初始帧图片旋转后图片如图7所示，第二间隔帧图片旋转后图片如图8所示。
[0071]
s4、根据如下公式计算得到p
′
和q
′
的单应性矩阵h:q
′
＝h
·
p
′
；
[0072]
根据旋转后点集得到单应性矩阵：
[0073][0074]
s5、根据单应性矩阵h，采用基于特征点的图像配准方法，完成初始帧和下一帧风机叶片图像的图像配准和拼接；拼接后的图片如图9所示。
[0075]
s6、采用多波段融合方法消除将拼接后图像中的拼接线；
[0076]
s7、以消除拼接线后的拼接图像为当初始帧风机叶片图像，重复步骤s1－s6，直至完成完整风机叶片图像的拼接。具体地，当视频的第1帧与第15帧按照上述方法完成拼接后，再将拼接后的图像按照上述方法与第30帧进行拼接，如此反复，直至完成完整风机叶片图像的拼接。完整风机叶片图像的拼接图如图10所示。
[0077]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。