基于纯视觉的叶片巡检方法与流程

本公开涉及视觉检验技术领域，具体来说，是用于检验风机叶片的视觉检验方法。

背景技术：

现有技术中，利用无人机对风机叶片进行巡检时，为了准确追踪叶片，实现无人机的自动巡检，通常需要借助激光雷达进行辅助调整无人机的飞行方向和角度，以此才能保证无人机始终处于正确的飞行路线中。

公开内容

本公开的目的是提供一种基于纯视觉的叶片巡检方法，实现了基于纯视觉来控制无人机及其相机自动巡检风机叶片的目的。

本公开的目的是这样实现的：一种基于纯视觉的叶片巡检方法，包括如下步骤：

s1、获取目标叶片的图像信息；

s2、利用预先训练好的图像分割模型获取图像信息中目标叶片的特征数据；

s3、基于目标叶片的特征数据实时调控无人机的飞行路径和携带的相机拍摄角度，以使无人机沿叶片的长度方向飞行，并与叶片之间保持在预设距离，且使叶片区域处于相机的画幅中间。

优选地，在s2步骤中，所述目标叶片的特征数据中至少含有叶片的边缘数据，在s3步骤中，利用叶片的边缘数据调整拍摄云台的角度和无人机的飞行路径，以使叶片始终处于相机画幅的中间位置。

优选地，在拍摄过程中，叶片图像占据整个拍摄画幅至少一半以上的区域。

优选地，在拍摄过程中，为了使叶片始终处于相机画幅的中间位置，按照如下流程操作：

根据获取的叶片的两长边缘数据，在两长边缘线上找出各自的中点；

获取两条长边缘线中点连线的中间位置；

将上述两条长边缘线中点连线的中间位置与拍摄画幅的中间位置重合；

其中，上述流程随无人机的位置变化重复进行。

优选地，在s2步骤中，所述目标叶片的特征数据中至少含有叶片的亮度数据，s3步骤中，利用叶片的亮度数据控制无人机的相机的曝光参数，以使相机拍摄的叶片图像符合预设亮度值。

优选地，在拍摄过程中，无人机的相机以预设的频次不断拍摄叶片，根据至少一张照片的亮度判断实际拍摄的叶片图像的亮度是否符合设定的亮度阈值，如过高或过低，则将相机的曝光参数进行适应性调整，使照片的亮度符合设定的亮度阈值。

优选地，在s2步骤中，所述目标叶片的特征数据中至少含有区域类别数据，所述区域类别数据包括叶尖区域数据、叶根区域数据，以及除叶尖区域数据和叶跟区域数据之外的叶中区域数据；

在s3步骤中，无人机的飞行路径始于叶尖，并终于叶根，并在叶根位置停止拍摄。

优选地，在s2步骤中，所述目标叶片的特征数据中至少含有停机角度数据，所述停机角度数据被定义为在面向风机上的轮毂的风轮面时，位于塔柱右侧的叶片于塔柱之间的夹角；

在s3步骤中，无人机按照预设的与停机角度数据匹配的路径进行切换。

优选地，在拍摄过程中，调控无人机在巡检至叶尖和/或叶根处的路径切换方式和拍摄云台的摆动角度，以使无人机按照预设的与停机角度数据匹配的路径进行切换，并使无人机的拍摄云台按照预设的与停机角度数据匹配的摆动角度进行角度调整。

优选地，在s2步骤中，所述目标叶片的特征数据中至少含有深度距离估算数据，所述深度距离估算数据被定义为无人机与叶片之间的间距；

在s3步骤中，基于深度距离估算数据调控无人机与叶片之间的实际间距，以使无人机与叶片之间的实际间距始终保持在预设值。

本公开的有益效果在于：

1、在整个无人机巡检过程中，通过不断地拍照，对图形进行数据提取，进而依据这些信息进行相应控制处理，最终实现无人机基于纯视觉的自动巡检风机叶片的目的；

2、无需在无人机上搭载诸如激光雷达之类的硬件设备，减轻了无人机的重量，能更好地控制无人机的飞行方向和角度，保证无人机始终处于正确的飞行路线上。

附图说明

图1是本公开的主要步骤图。

具体实施方式

目前，利用无人机对风机叶片进行自动巡检时，为了准确追踪叶片，通常需要借助激光雷达进行辅助调整无人机的飞行方向和角度，以此才能保证无人机始终处于正确的飞行路线中；但是，激光雷达的费用高昂、功耗较高，占用无人机电源供应的比例较大，不利于无人机长时间的有效飞行，而且由于在无人机上安装了激光雷达，导致无人机的载重较高，使得功耗、成本增大。

下面结合附图1和具体实施例进行进一步说明。

图1是本公开的主要步骤图，如图1所示，为了解决现有技术中在无人机上安装激光雷达带来的种种问题，本实施例提供了一种基于纯视觉的叶片巡检方法，包括如下步骤：

步骤1、获取目标叶片的图像信息；

步骤2、利用预先训练好的图像分割模型获取图像信息中目标叶片的特征数据；

步骤3、驱使无人机沿叶片长度方向飞行，并利用无人机的相机拍摄、巡检目标叶片，在拍摄过程中根据目标叶片的特征数据实时调控无人机的飞行路径，并通过实时调节无人机的拍摄云台的角度来调节无人机的相机的拍摄端朝向。

其中，在步骤2中，上述目标叶片的特征数据中至少含有叶片的边缘数据，在步骤3中，利用叶片的边缘数据调整拍摄云台的角度和无人机的飞行路径，以使叶片始终处于相机画幅的中间位置。

在拍摄过程中，叶片图像占据整个拍摄画幅至少一半以上的区域，本实施例中，叶片图像占据整个拍摄画幅约80％。

在拍摄过程中，为了使叶片始终处于相机画幅的中间位置，按照如下流程操作：

根据获取的叶片的两长边缘数据，在两长边缘线上找出各自的中点；

获取两条长边缘线中点连线的中间位置；

将上述两条长边缘线中点连线的中间位置与拍摄画幅的中间位置重合；

其中，上述流程随无人机的位置变化重复进行。

在步骤2中，上述目标叶片的特征数据中至少含有叶片的亮度数据，步骤3中，利用叶片的亮度数据控制无人机的相机的曝光参数，以使相机拍摄的叶片图像符合预设亮度值。

在拍摄过程中，无人机的相机以预设的频次不断拍摄叶片，根据至少一张照片的亮度判断实际拍摄的叶片图像的亮度是否符合设定的亮度阈值，如过高或过低，则将相机的曝光参数进行适应性调整，使照片的亮度符合设定的亮度阈值。

在步骤2中，上述目标叶片的特征数据中至少含有区域类别数据，区域类别数据包括叶尖区域数据、叶根区域数据，以及除叶尖区域数据和叶跟区域数据之外的叶中区域数据。

在步骤3中，无人机的飞行路径始于叶尖，并终于叶根，并在叶根位置停止拍摄。

在步骤2中，上述目标叶片的特征数据中至少含有停机角度数据，停机角度数据被定义为在面向风机上的轮毂的风轮面时，位于塔柱右侧的叶片于塔柱之间的夹角。

在步骤3中，无人机按照预设的与停机角度数据匹配的路径进行切换。

在拍摄过程中，调控无人机在巡检至叶尖和/或叶根处的路径切换方式和拍摄云台的摆动角度，以使无人机按照预设的与停机角度数据匹配的路径进行切换，并使无人机的拍摄云台按照预设的与停机角度数据匹配的摆动角度进行角度调整。

不同的停机角度数据对应不同的切换路径，同时为了使相机始终能够拍摄到带有叶片的照片，所以在切换路径时(路径切换后，无人机的位姿可能发生了较大变化，于叶片的相对位置、角度等也发生了变化)，还得适当调整云台，进而调整相机的拍摄角度，使相机仍然能够拍摄到叶片。

在步骤2中，上述目标叶片的特征数据中至少含有深度距离估算数据，所述深度距离估算数据被定义为无人机与叶片之间的间距。

在步骤3中，基于深度距离估算数据调控无人机与叶片之间的实际间距，以使无人机与叶片之间的实际间距始终保持在预设值，从而保持拍摄图像大小的稳定性。

以上是本公开的优选实施例，本领域普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本公开总的构思的前提下，这些变换或改进都应当属于本公开要求保护范围之内。