基于图像处理的风电机组叶片多类型损伤检测方法及装置

本发明属于风力发电，具体涉及基于图像处理的风电机组叶片多类型损伤检测方法及装置。

背景技术：

1、截至2022年10月底，我国风电装机容量约为3.5亿千瓦，同比增长16.6％，保持快速增长趋势。然而，我国自本世纪初开始大力发展风电行业至今，首批风电机组已经接近寿命极限，甚至部分风电机组已经超出质保期，这便造成风电机组的故障层出不穷。其中，叶片的造价成本在风电机组中所占比例高，并且叶片损伤是风电机组故障类型中发生概率及维护成本均较高的部件损伤类型，这就更加凸显了对叶片进行损伤检测的重要性和必要性。

2、目前传统的风电机组叶片损伤检测方法主要包括高倍望远镜检查、叶片维修平台检查以及绳索垂降检查(蜘蛛人)，上述检测方式虽然能够对叶片进行不同程度的损伤检测，但需要运维人员架设高倍望远镜、升降台等设备对叶片进行环视检测，存在不同程度的检测盲区、成本高、效率低、作业强度大、停机周期长并且伴有人员安全风险等问题。与此同时，随着计算机视觉技术的快速发展，使得基于无人机巡检和图像处理的损伤检测技术应用于风电机组叶片检测成为研究的热点，其优势主要体现在：(1)检测成本投入更低；(2)检测巡检效率更高；(3)巡检内容更加系统全面。

3、因此，为实现对风电机组叶片多种表面损伤的自动、精确检测，减少由于叶片损伤带来的成本丢失，本发明提出了一种基于图像处理的风电机组叶片多类型损伤检测方法及装置。

技术实现思路

1、针对上述传统的风电机组叶片损伤检测方法存在的不足，本发明提供了基于图像处理的风电机组叶片多类型损伤检测方法及装置，具体方案如下：

2、一种基于图像处理的风电机组叶片多类型损伤检测方法，包括以下步骤：

3、步骤一、按照既定巡检路线，对风电机组叶片图像进行采集，构建风电机组叶片图像集；

4、步骤二、对风电机组叶片图像进行灰度化处理；

5、步骤三、对灰度化图像进行滤波增强处理；

6、步骤四、对滤波增强后的叶片图像进行分割处理，实现前景损伤区域与背景区域的分割；

7、步骤五、消除分割图像中的杂点像素、填充细小空洞，提取出完善的叶片损伤区域，完成叶片损伤区域的识别工作；

8、步骤六、获取叶片损伤区域的几何特征和灰度特征参数信息；

9、步骤七、根据提取到的几何特征和灰度特征参数信息设计风电机组叶片损伤类型识别方法，判定叶片损伤类型，完成叶片损伤类型的判断工作。

10、为优化上述技术方案，采取的具体措施还包括：

11、步骤一中，既定巡检路线具体为：待检叶片成倒“y”字型锁定，自最上方叶片叶尖处至叶根处完成单支叶片图像采集，然后按照逆时针顺序依次完成全部叶片图像采集任务，在采集过程中，对光线条件低于阈值的背景区域进行照明。

12、步骤二中，对风电机组叶片图像进行灰度化处理的具体步骤为：采用平均值灰度化方法，计算彩色图像r、g、b三个颜色通道像素值的平均值，并将其设定为灰度图的灰度值，像素计算公式为：

13、gray(i,j)＝[r(i,j)+g(i,j)+b(i,j)]/3 (1)

14、式中：r(i,j)、g(i,j)、b(i,j)分别代表r、g、b三个颜色通道的像素值，gray(i,j)为转换后所得灰度图像的灰度值，i和j分别代表像素点在图像中的行、列位置。

15、步骤三中，对灰度化图像进行滤波增强处理的具体方法采用中值滤波和限制对比度的自适应直方图均衡化增强算法，其中，中值滤波是用滤波器范围内所有像素值的中值来替代滤波器中心位置的像素值，限制对比度的自适应直方图均衡化增强算法是以自适应直方图均衡化算法为基础，在灰度直方图上预先设定阈值，将超过阈值的部分剪切掉，并均匀分配在其他灰度级上，中值滤波的表达式为：

16、g(x,y)＝median{f(x-i,y-j),(i,j)∈g} (2)

17、式中：f(x-i,y-j)表示滤波模板平移i行、j列位置后的像素值，g(x,y)表示滤波后的像素值，g表示二维滤波模板，通常为3×3、5×5区域。

18、步骤四中，采用图像分割方法对滤波增强后的叶片图像进行分割处理，图像分割方法为k-means算法与otsu算法相结合的方式对增强后的图像进行分割，其中，k-means聚类算法包括以下步骤：

19、(1)将图像中的像素点聚类成k个类簇，并随机生成k个数据中心；

20、(2)计算每个像素点到每个数据中心的的距离，并将其划分至距离最短的数据中心所对应的类簇中；

21、(3)计算每个类簇的均值，并将均值作为新的数据中心；

22、(4)重复步骤(2)和步骤(3)，直至满足迭代算法终止条件，输出聚类结果；

23、将聚类结果作为otsu阈值分割算法的输入，得出能使分割后目标区域与背景区域之间的数值方差达到最大的最佳阈值，按此最佳阈值输出完整的图像分割图。

24、步骤五中，采用图像形态学处理方法来消除分割图像中的杂点像素、填充细小空洞，图像形态学处理方法具体为：采用闭运算对分割图像先进行膨胀运算，然后进行腐蚀运算，填充分割图像内部微小空洞，连接相近区域，再设定最小连通域面积阈值，若小于该阈值则将其判定为杂点像素，予以消除，从而提取出完善的叶片损伤区域，完成叶片损伤区域的识别工作，闭运算的表达式为：

25、

26、式中：a为待处理的目标图像；b为用以进行运算的结构元素；·为闭运算符号；θ为腐蚀运算的符号；为膨胀运算的符号。

27、步骤六中，根据图像连通域分析获取叶片损伤区域的几何特征和灰度特征参数信息，具体方法为：将图像中具有相同像素值并且位置相邻的像素组成若干区域，对同一区域内所有像素点用同一个数值或符号进行标记且不同区域的像素点使用的数值或符号不同，根据区域获取叶片损伤区域的几何特征和灰度特征，叶片损伤区域的几何特征为：叶片损伤区域的面积、周长、长度、宽度、最小外接矩形的面积、长短径之比、矩形相似度、形状因子、伸长度以及损伤度，灰度特征为叶片损伤区域的灰度均值和灰度方差。

28、步骤七中，根据提取到的几何特征和灰度特征参数信息设计风电机组叶片损伤类型识别方法，判定叶片损伤类型的具体方法为：设目标图像面积用符号s表示，尺寸为m*n；图像处理结果图为黑色背景白色前景，黑白像素点分别用0和1表示，g(x,y)为(x,y)坐标处灰度值，最小外接矩形即框取损伤区域的最小矩形，设其四个顶点分别为a、b、c、d点，提取到的叶片损伤区域的几何特征和灰度特征参数信息如下：

29、1)面积a1，计算公式为：

30、

31、2)周长c，计算公式为：

32、

33、δc为叶片损伤区域边界上任意两个相邻像素的连线长度；

34、3)长度l，计算公式为：

35、l＝max{lab,lbc}  (6)

36、lab和lbc分别为点a、b之间的长度和点b、c之间的长度；

37、4)宽度w，计算公式为：

38、w＝min{lab,lbc}   (7)

39、5)最小外接矩形面积a2，计算公式为：

40、a2＝l×w  (8)

41、6)长短径之比r，计算公式为：

42、

43、7)矩形相似度d，计算公式为：

44、

45、8)形状因子f，计算公式为：

46、

47、9)伸长度t，计算公式为：

48、

49、10)损伤度ε，计算公式为：

50、

51、11)灰度均值gm，计算公式为：

52、

53、grayi(x,y)代表损伤区域内的灰度值；

54、12)灰度方差gv，计算公式为：

55、

56、提取到的叶片损伤区域的几何特征和灰度特征参数信息后，首先判断形状因子f是否小于形状因子阈值flim，若小于则判定为砂眼损伤；反之则再次判断最小外接矩形面积a2是否大于最小外接矩形面积阈值a2lim,若大于则判定为表皮脱落损伤；反之则再次判断长短径之比r是否大于长短径之比rlim，若大于则判定为裂纹损伤；反之则再次判定灰度均值gm和灰度方差是否满足以下条件：gmlim1<gm<gmlim2、gvlim1<gv<gvlim2，其中，gmlim1及gmlim2分别代表灰度均值的最小、最大阈值，gvlim1及gvlim2分别代表灰度方差及的最小、最大阈值，若满足上述条件则判定为油污损伤，反之则判定为涂层破损损伤。

57、基于图像处理的风电机组叶片多类型损伤检测装置，包括智能巡检无人机平台、图像灰度化处理模块、滤波增强处理模块、分割处理模块、图像形态学处理模块、图像连通域分析模块以及风电机组叶片损伤类型识别分类模块，智能巡检无人机平台、图像灰度化处理模块、滤波增强处理模块、分割处理模块、图像形态学处理模块、图像连通域分析模块以及风电机组叶片损伤类型识别分类模块依次信号连接，

58、智能巡检无人机平台用于按照既定巡检路线，对风电机组叶片图像进行采集，构建风电机组叶片图像集；

59、图像灰度化处理模块用于对风电机组叶片图像进行灰度化处理；

60、滤波增强处理模块用于对灰度化图像进行滤波增强处理；

61、分割处理模块用于对滤波增强后的叶片图像进行分割处理，实现前景损伤区域与背景区域的分割；

62、图像形态学处理模块用于消除分割图像中的杂点像素、填充细小空洞，提取出完善的叶片损伤区域，完成叶片损伤区域的识别工作；

63、图像连通域分析模块用于获取叶片损伤区域的几何特征和灰度特征参数信息；

64、风电机组叶片损伤类型识别分类模块用于根据提取到的几何特征和灰度特征参数信息判定叶片损伤类型。

65、智能巡检无人机平台包括巡检无人机、高清相机、图像采集卡和增稳云台，增稳云台安装在巡检无人机上，高清相机可转动安装在增稳云台上，图像采集卡安装在高清相机上，

66、巡检无人机上还安装有照明模块，照明模块用于对光线条件低于阈值的背景区域进行照明，

67、照明模块包括相互连接的光源和照明控制器，照明控制器用于控制光源发光。

68、本发明的有益效果为：

69、(1)本发明运用智能巡检无人机平台按照既定巡检路线，执行风电机组叶片图像采集工作，以构建风电机组叶片图像集；运用图像灰度化方法对风电机组叶片图像进行灰度化处理，以降低数据量，提升算法计算效率；运用图像滤波和图像增强方法对灰度化图像进行滤波增强处理，以完成图像降噪并提高损伤区域的可辨识度，增强叶片图像中的细节特征；运用图像分割方法对滤波增强后的叶片图像进行分割处理，以实现前景损伤区域与背景区域的分割；运用图像形态学处理方法来消除分割图像中的杂点像素、填充细小空洞，以提取出完善的叶片损伤区域，即完成叶片损伤区域的识别工作；根据图像连通域分析原理来获取叶片损伤区域的几何特征和灰度特征等参数信息；根据提取到的特征参数信息设计风电机组叶片损伤类型识别分类器以准确判定表皮脱落、涂层破损、砂眼、油污及裂纹等叶片损伤类型，即完成叶片损伤类型的判断工作。本发明以我国风电新能源领域风电机组叶片健康状态智能诊断需求为牵引，研究解决数智赋能新形势下风电机组叶片多类型表面损伤检测问题，既契合了风电行业对于降本增效的需求，也有利于风电场的智慧运维、智慧运营，在风电机组叶片运维方面有很好的应用前景。

70、(2)与传统叶片运维检测方法相比：本发明不再依托升降平台等大型设备以及过高的人力成本消耗；本发明属于一种非接触式损伤检测方法，巧妙借助智能巡检无人机平台自动化程度高、操作简便的特点完成图像采集工作，运用所设计方法即可高效、快速地完成叶片损伤区域的识别和损伤类型的判定；具备风电机组停机耗时更少、自动化程度更高、检测效率更高等优点，具有较强的实用性和广阔的应用前景；

71、(3)与同类型基于图像处理的叶片损伤检测方法相比：本发明将k-means与otsu算法结合提高了图像分割精度，其分割效果图中的杂点及内部空洞现象更少，并且叶片损伤轮廓更为平整；本发明中改进的闭运算操作方法实现了分割图中微小空洞的有效填充以及杂点像素的准确消除，完整地提取出叶片损伤区域，为风电机组叶片损伤特征信息的精确获取打下了基础；本发明不仅仅针对单一损伤类型检测，而是依据提取到的叶片损伤区域的面积、周长、长度、宽度、最小外接矩形的面积、长短径之比、矩形相似度、形状因子、伸长度以及损伤度等几何特征以及叶片损伤区域的灰度均值和灰度方差等灰度特征，设计出了风电机组叶片损伤类型识别分类器，实现了对表皮脱落、涂层破损、砂眼、油污及裂纹等叶片损伤的判断，为风电机组叶片的故障检测与维修提供了及时准确的参考依据。