一种大型风电机组叶片状态评估视觉优化方法与流程

1.本发明涉及风电机组状态评估的技术领域，尤其是指一种大型风电机组叶片状态评估视觉优化方法。


背景技术：

2.叶片作为风力发电机组的核心部件,其运行状态的好坏直接影响机组的可利用率,进而影响整个风场的投资收益。而对于叶片运行状态的监控，通常采用视频监控方案。但是当遭遇到暴风雪或者冻雨天气时，叶片开始结冰，严重时甚至冻结负责视频监控的云台相机。当云台相机被冻住后，其无法运动到指定工作位进行叶片监控，也就无法进行叶片结冰判断。另外，叶片运行状态属于全天候监控，若固定工作角度进行拍摄，总会遇到逆光拍摄的情况，导致叶片表面纹理拍摄不清晰，从而影响结冰与损伤状态的判别。
3.当前针对叶片运行状态监控的云台相机控制方法主要有：1)基于单角度固定监控拍摄；2)基于多角度固定监控拍摄；3)基于人工观察拍摄。即目前无专门针对叶片运行状态视频监控控制进行分析的方案，会造成以下问题：1)在冰雪融化的阶段，天气条件转好，阳光可能较强，当摄像头正对着阳光时，无法拍清楚叶片表明纹理；2)云台的运动方式和路线固定，不能与机组的状态结合；3)市面上的云台相机没有开发云台量化位姿的闭环反馈端口，无法将云台量化的俯仰角和偏航角传递给上位机，只能反馈控与显示指令值。云台相机不能返回量化的位姿值，当被冰雪冻住时，无法获取到真实角度或报出云台自身结冰状态。


技术实现要素：

4.本发明的目的在于为解决现有技术中的不足，提供了一种大型风电机组叶片状态评估视觉优化方法，采用云台相机，通过离线规划确定云台运动路径，制定叶片跟踪算法，使云台相机与叶片运动同步，保证叶片处于云台相机拍摄画面的中心。
5.本发明通过下述技术方案实现：一种大型风电机组叶片状态评估视觉优化方法，包括以下步骤：
6.s1、对大型风电机组配置有云台相机以及用于控制云台相机的中央控制器；
7.s2、对云台相机进行运动路径规划；
8.s3、根据规划的运动路径生成叶片跟踪算法，从而计算云台相机的运动信息并控制云台相机的运动；
9.s4、根据云台相机的运动信息，利用深度学习方法评估云台相机的结冰状态，从而评估大型风电机组叶片的结冰状态。
10.进一步，所述步骤s1包括以下步骤：
11.所述云台相机安装在大型风电机组的机舱顶部，用于录制大型风电机组叶片运行状态视频，所述中央控制器包括gpu和神经计算单元，所述中央控制器与云台相机通讯连接，用于控制云台相机跟踪叶片运动、截取视频流并进行详细的视频分析。
12.进一步，所述步骤s2包括以下步骤：
13.对云台相机进行运动路径规划，将云台相机的运动路径划分为以下四段：
14.a段：按预设路径扫描机舱顶部各部件，进行离线规划；
15.b段：锁定叶片的叶根部，云台相机按预设顺序依次跟随各根叶片的叶根部的运动进行拍摄；
16.c段：锁定叶片的叶中部，云台相机按预设顺序依次跟随各根叶片的叶中部的运动进行拍摄；
17.d段：锁定叶片的叶尖部，云台相机按预设顺序依次跟随各根叶片的叶尖部的运动进行拍摄。
18.进一步，所述a段的规划包括以下步骤：
19.根据叶片的长度对云台相机设置俯仰角后，使云台相机对机舱顶部进行扫描，按0-360
°
的扫描角度进行偏航往复运动。
20.进一步，所述b段的规划包括以下步骤：
21.b1、控制云台相机偏航运动，偏航方向指向叶根区域的中间位置；
22.b2、利用光流法确定叶片扫过云台相机视场的时间间隔t，并与叶轮转速编码器的测量结果进行匹配；
23.b3、根据叶轮转速规划云台相机对叶片的跟踪路径，规划约束为云台相机的视线中心指向叶根部的中心点；
24.b4、重复以上步骤b1至b3，依次对大型风电机组的其它叶片进行跟踪。
25.进一步，所述c段的规划包括以下步骤：
26.c1、控制云台相机偏航运动，偏航方向指向叶中区域的中间位置；
27.c2、利用光流法确定叶片扫过云台相机视场的时间间隔t，并与叶轮转速编码器的测量结果进行匹配；
28.c3、根据叶轮转速规划云台相机对叶片的跟踪路径，规划约束为云台相机的视线中心指向叶中部的中心点；
29.c4、重复以上步骤c1至c3，依次对大型风电机组的其它叶片进行跟踪。
30.进一步，所述d段的规划包括以下步骤：
31.d1、控制云台相机偏航运动，偏航方向指向叶尖区域的中间位置；
32.d2、利用光流法确定叶片扫过云台相机视场的时间间隔t，并与叶轮转速编码器的测量结果进行匹配；
33.d3、根据叶轮转速规划云台相机对叶片的跟踪路径，规划约束为云台相机的视线中心指向叶尖部的中心点；
34.d4、重复以上步骤d1至d3，依次对大型风电机组的其它叶片进行跟踪。
35.进一步，所述步骤s3包括以下步骤：
36.根据规划的运动路径生成叶片跟踪算法，记云台相机中心距离叶轮中心的高度为h，水平距离为d，待跟踪点轨迹半径为r，叶片待跟踪的角度为φ，φ∈(-90
°
,90
°
)，其中顺叶片运行方向为正，逆叶片运行方向为负；设定叶轮方位角为γ，γ∈(0
°
,360
°
)，叶片待跟踪的角度为：
[0037][0038]
当叶片角度为φ时，云台相机中心对准待跟踪的点，云台相机的偏航角需为：
[0039][0040]
云台相机的俯仰角为：
[0041][0042]
根据叶轮转速及叶轮方位角，预测出φ(γ)的轨迹，进而快速规划α(γ)和β(γ)。
[0043]
进一步，所述步骤s4包括以下步骤：
[0044]
当获取到云台相机的运动信息，即云台相机真实角度信息时，计算中央控制器对云台相机的控制指令与云台相机的实际角度之间的差值，判断云台相机是否存在结冰情况；当中央控制器无法获取到云台相机的真实角度信息时，利用卷积神经网络cnn判断云台相机所拍摄的视频中叶片跟踪效果。
[0045]
进一步，所述卷积神经网络cnn中加入下、上、右、左4种方向的卷积；所述卷积神经网络cnn的输出包含分支1和分支2，其中，所述分支1输出叶片边缘的mask，所述分支2为线条存在的概率；所述分支1的标注信息为叶片轮廓图，所述分支2的标注信息为叶片上下边缘是否存在的概率，当边缘存在时分支2的值为1，不存在时分支2的值为0；所述分支1采用smooth_l1损失，所述分支2采用交叉熵损失。
[0046]
本发明与现有技术相比，具有如下优点与有益效果：
[0047]
1、本发明能够在光线充足的情况下，利用云台相机的追踪控制拍摄，避免了逆光拍摄的问题，能够拍摄清楚叶片表面纹理；
[0048]
2、云台相机的运动路线与风电机组的状态结合，使拍摄效果更好；
[0049]
3、本发明对云台相机具有量化位姿的闭环反馈端口，能够将云台相机量化的俯仰角和偏航角传递给中央控制器，当被冰雪冻住时，能够获取到真实角度或结合深度学习方法评估云台相机自身结冰状态，进而评估叶片结冰状态。
附图说明
[0050]
图1为云台相机的偏航运动方向示意图。
[0051]
图2为云台相机的俯仰运动方向示意图。
[0052]
图3为离线规划的扫描预设路径示意图。
[0053]
图4为云台相机跟踪叶根部的初始位置示意图。
[0054]
图5为云台相机跟踪叶中部的初始位置示意图。
[0055]
图6为云台相机跟踪叶尖部的初始位置示意图。
[0056]
图7为云台相机与待跟踪点的几何关系图。
具体实施方式
[0057]
下面结合具体实施例对本发明作进一步说明。
[0058]
参见图1至图7所示，为本实施例所提供的大型风电机组叶片状态评估视觉优化方法，包括以下步骤：
[0059]
s1、对大型风电机组配置有云台相机1以及用于控制云台相机的中央控制器(图中未画出)，包括以下步骤：
[0060]
所述云台相机安装在大型风电机组的机舱2顶部，用于录制大型风电机组叶片3运行状态视频，所述中央控制器包括gpu和神经计算单元，所述中央控制器与云台相机1通讯连接，用于控制云台相机1跟踪叶片3运动、截取视频流并进行详细的视频分析。
[0061]
s2、对云台相机进行运动路径规划，包括以下步骤：
[0062]
对云台相机进行运动路径规划，将云台相机的运动路径划分为以下四段：
[0063]
a段：按预设路径扫描机舱顶部各部件，进行离线规划，包括以下步骤：
[0064]
根据叶片的长度对云台相机设置俯仰角后，使云台相机对机舱顶部进行扫描，按0-360
°
的扫描角度进行偏航往复运动。
[0065]
b段：锁定叶片的叶根部301，云台相机按预设顺序依次跟随各根叶片的叶根部的运动进行拍摄，包括以下步骤：
[0066]
b1、控制云台相机偏航运动，偏航方向指向叶根区域的中间位置；
[0067]
b2、利用光流法确定叶片扫过云台相机视场的时间间隔t，并与叶轮转速编码器的测量结果进行匹配；
[0068]
b3、根据叶轮转速规划云台相机对叶片的跟踪路径，规划约束为云台相机的视线中心指向叶根部301的中心点；
[0069]
b4、重复以上步骤b1至b3，依次对大型风电机组的其它叶片进行跟踪。
[0070]
c段：锁定叶片的叶中部302，云台相机按预设顺序依次跟随各根叶片的叶中部的运动进行拍摄，包括以下步骤：
[0071]
c1、控制云台相机偏航运动，偏航方向指向叶中区域的中间位置；
[0072]
c2、利用光流法确定叶片扫过云台相机视场的时间间隔t，并与叶轮转速编码器的测量结果进行匹配；
[0073]
c3、根据叶轮转速规划云台相机对叶片的跟踪路径，规划约束为云台相机的视线中心指向叶中部302的中心点；
[0074]
c4、重复以上步骤c1至c3，依次对大型风电机组的其它叶片进行跟踪。
[0075]
d段：锁定叶片的叶尖部303，云台相机按预设顺序依次跟随各根叶片的叶尖部的运动进行拍摄，包括以下步骤：
[0076]
d1、控制云台相机偏航运动，偏航方向指向叶尖区域的中间位置；
[0077]
d2、利用光流法确定叶片扫过云台相机视场的时间间隔t，并与叶轮转速编码器的测量结果进行匹配；
[0078]
d3、根据叶轮转速规划云台相机对叶片的跟踪路径，规划约束为云台相机的视线中心指向叶尖部303的中心点；
[0079]
d4、重复以上步骤d1至d3，依次对大型风电机组的其它叶片进行跟踪。
[0080]
s3、根据规划的运动路径生成叶片跟踪算法，从而计算云台相机的运动信息并控
制云台相机的运动，包括以下步骤：
[0081]
根据规划的运动路径生成叶片跟踪算法，记云台相机中心距离叶轮中心的高度为h，水平距离为d，待跟踪点轨迹半径为r，叶片待跟踪的角度为φ，φ∈(-90
°
,90
°
)，其中顺叶片运行方向为正，逆叶片运行方向为负；设定叶轮方位角为γ，γ∈(0
°
,360
°
)，叶片待跟踪的角度为：
[0082][0083]
当叶片角度为φ时，云台相机中心对准待跟踪的点，云台相机的偏航角需为：
[0084][0085]
云台相机的俯仰角为：
[0086][0087]
根据叶轮转速及叶轮方位角，预测出φ(γ)的轨迹，进而快速规划α(γ)和β(γ)。
[0088]
s4、根据云台相机的运动信息，利用深度学习方法评估云台相机的结冰状态，从而评估大型风电机组叶片的结冰状态，包括以下步骤：
[0089]
当获取到云台相机的运动信息，即云台相机真实角度信息时，计算中央控制器对云台相机的控制指令与云台相机的实际角度之间的差值，判断云台相机是否存在结冰情况；当中央控制器无法获取到云台相机的真实角度信息时，利用卷积神经网络cnn判断云台相机所拍摄的视频中叶片跟踪效果。
[0090]
所述卷积神经网络cnn中加入下、上、右、左4种方向的卷积；所述卷积神经网络cnn的输出包含分支1和分支2，其中，所述分支1输出叶片边缘的mask，所述分支2为线条存在的概率；所述分支1的标注信息为叶片轮廓图，所述分支2的标注信息为叶片上下边缘是否存在的概率，当边缘存在时分支2的值为1，不存在时分支2的值为0；所述分支1采用smooth_l1损失，所述分支2采用交叉熵损失。
[0091]
以上所述之实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。