一种基于无人机视觉的光伏面板缺陷检测方法

本发明属于机器视觉和缺陷检测技术领域，具体涉及一种基于无人机视觉的光伏面板缺陷检测方法。

背景技术：

光伏发电是利用半导体界面的光生伏特效应而将光能直接转变为电能的一种技术。主要由太阳电池板(组件)、控制器和逆变器三大部分组成，主要部件由电子元器件构成。太阳能电池经过串联后进行封装保护可形成大面积的太阳电池组件，再配合上功率控制器等部件就形成了光伏发电装置。

太阳能作为一种来源广泛的清洁能源，近年来在国内得到了充分的重视，光伏发电产业已经达到了一定的规模，成为了国家能源结构性调整的重要组成部分。截至2018年底，全国光伏发电装机达到1.74亿千瓦，较上年新增4426万千瓦，同比增长34％。其中，集中式电站12384万千瓦，较上年新增2330万千瓦，同比增长23％；分布式光伏5061万千瓦，较上年新增2096万千瓦，同比增长71％。

随着光伏电站规模的日益增长，光伏面板的运维工作也出现了很大困难。光伏面板作为光伏发电系统的核心组成部分，在日常的运行中长期暴露在自然环境下，不可避免会产生各种缺陷，如隐裂、遮挡、碎裂等等，及时发现面板缺陷并进行人工干预对保障电站的发电效率有重要意义。

传统的光伏面板巡检方式为人工目视巡检，光伏电站多建立在水上或者山上等等恶劣地形以提高环境利用率，且光伏电站规模巨大，这给人工巡检带来了更大的挑战。人工巡检检测效率低，所需劳动量大。因此出现了一些利用无人机巡检的方法，但是大部分无人机巡检的方法在数据处理阶段漏检率较高，且在缺陷定位阶段无法实现精确定位，这又给光伏面板的维护工作增加了难度。

因此，发明一种基于无人机视觉的光伏面板缺陷检测方法，能够在不拆卸光伏面板的情况下准确检出光伏面板缺陷并实现精确定位具有重大意义。

技术实现要素：

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于无人机视觉的光伏面板缺陷检测方法，可以在光伏面板使用和维护过程中识别其碎裂、阴影、异物遮挡及eva脱落等缺陷，不受光伏电站地面环境影响，可以有效解决渔光互补、山地光伏电站检测难的问题，能直观地在三维模型上显示缺陷位置，很大程度上提高了光伏面板的维护效率。

为实现上述技术目的，本发明采取的技术方案为：

一种基于无人机视觉的光伏面板缺陷检测方法，包括以下步骤：

s1、检测区域无人机航线规划；

s2、无人机进行光伏面板数据采集，获得红外和可见光图像；

s3、红外与可见光图像配准；

s4、红外图像热斑检测及分类；

s5、缺陷定位。

为优化上述技术方案，采取的具体措施还包括：

上述的s1中，检测区域无人机航线规划，包括：

根据光伏电站覆盖区域使用手动地图框选的方法进行检测区域航线规划，根据镜头参数、飞行高度、拍摄重叠率生成无人机可以自动执行的格式的文件。

上述的s2中，无人机进行光伏面板数据采集，获得红外和可见光图像，包括：

由无人机搭载的已标定的红外相机和变焦相机进行光伏面板数据采集，同时获得红外图像和可见光图像。

上述的s3中，构建图像配准模型，进行红外图像与可见光图像配准，具体包括：

s3-1、将红外与可见光图像转化为二值图像，包括图像的灰度化和二值化；

s3-2、对二值图像进行图形学开闭运算，消除噪声、平滑边界；

s3-3、检测二值图像中的角点，并将形成所述角点的两条边作为目标三角形，目标三角形第三条边中线的方向作为所述角点的主方向；

s3-4、角点描述符提取，提取各角点的surf描述符，筛选匹配点，再根据红外图像与可见光图像角点的主方向差值的是否集中在其峰值区域进一步筛选，得出最终匹配点；

s3-5、获取配准图像，利用最小二乘法计算红外图像与可见光图像的最优变换矩阵，原可见光图像与变换矩阵相乘，得到与红外图像配准后的可见光图像。

上述的s4中，红外图像热斑检测及分类，包括：

搭建热斑缺陷检测深度学习模型，将步骤s2采集到的一部分数据进行标注后送入深度学习模型进行训练，得到训练好的完整模型，进行红外图像热斑检测及分类。

上述的步骤s4中，搭建热斑缺陷检测深度学习模型，进行红外图像热斑检测及分类流程如下：

s4-1、输入一张红外图像和一张与其配准完成的可见光图像；

s4-2、提取红外图像热斑候选区域，采用锚框的方法和三种不同长宽比对红外图像特征图进行预测，其中融入特征金字塔结构；

s4-3、将候选区域按照空间位置关系映射到可见光图像特征图上，将可见光图像特征图与红外图像特征图做通道拼接操作；

s4-4、将拼接后的特征图输入后续卷积层与全连接层，进行类别回归和位置回归；

s4-5、采用非极大值抑制的方法对回归后的预测框进行筛选，完成检测与分类。

上述的步骤s5，具体为：

利用红外图像的pos数据和无人机数据采集过程中的视锥模型解算缺陷的经纬坐标，结合光伏电站的带坐标的三维模型快速直观地显示缺陷位置。

本发明具有以下有益效果：

本发明可以自动化检测光伏面板的缺陷并分类，降低人为主观性的干扰，并进行精确定位。这对于改善光伏面板日常维护，保证光伏电站生产可靠性，提高维护过程中的智能化检测水平，减少劳动人员强度会有很大贡献。

附图说明

图1是一种基于无人机视觉的光伏面板缺陷检测方法流程图。

图2是一种基于无人机视觉的光伏面板缺陷检测方法所构建的图像配准模型实施流程图。

图3是一种基于无人机视觉的光伏面板缺陷检测方法所述角点主方向的示意图。

图4是一种基于无人机视觉的光伏面板缺陷检测方法实施例所采集的数据及处理方法。

图5是一种基于无人机视觉的光伏面板缺陷检测方法所搭建的深度学习模型结构图。

图6是一种基于无人机视觉的光伏面板缺陷检测方法实施例所产生的检测及分类结果。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

参见图1-3，本发明一种基于无人机5视觉的光伏面板缺陷检测方法，包括以下步骤：

s1、检测区域无人机航线规划；

实施例中，根据光伏电站覆盖区域使用手动地图框选的方法进行航线规划，根据镜头参数、飞行高度、拍摄重叠率等生成无人机可以自动执行的格式的文件。

无人机飞行平台采用大疆经纬m300rtk，搭载大疆禅思h20t云台相机，同时具有红外镜头和变焦镜头，变焦相机采用2倍焦距，飞行高度30米，生成的航线文件扩展名为.kml。

s2、无人机进行光伏面板数据采集，获得红外和可见光图像；

由无人机搭载的已标定的红外相机和变焦相机进行光伏面板数据采集，可同时获得红外图像和可见光图像；

s3、红外与可见光图像配准；

构建图像配准模型，进行红外图像与可见光图像配准，为后续深度学习模型的数据输入做准备；

s4、红外图像热斑检测及分类；

搭建热斑缺陷检测深度学习模型，将步骤s2采集到的一部分数据进行标注后送入深度学习模型进行训练，得到训练好的完整模型，进行红外图像热斑检测及分类；

s5、缺陷定位。

实施例中，所述s2中，无人机进行光伏面板数据采集，获得红外和可见光图像，包括：

由无人机搭载的已标定的红外相机和变焦相机进行光伏面板数据采集，同时获得红外图像和可见光图像。

实施例中，所述s3中，构建图像配准模型，进行红外图像与可见光图像配准，为后续深度学习模型的数据输入做准备，具体包括：

s3-1、将红外与可见光图像转化为二值图像，包括图像的灰度化和二值化，二值化阈值为根据灰度分布自适应阈值，在本实施例中大多数在125-150范围内；

s3-2、对二值图像进行图形学开闭运算，消除噪声、平滑边界，其中开运算的核大小为3×3，闭运算的核为5×5；

s3-3、利用css角点检测方法检测二值图像中的角点，并将形成所述角点的两条边作为目标三角形，目标三角形第三条边中线的方向作为所述角点的主方向，如图3；

s3-4、角点描述符提取，提取各角点的surf描述符，筛选匹配点，再根据红外图像与可见光图像角点的主方向差值的是否集中在其峰值区域进一步筛选，得出最终匹配点；

s3-5、获取配准图像，利用最小二乘法计算红外图像与可见光图像的最优变换矩阵，原可见光图像与变换矩阵相乘，得到与红外图像配准后的可见光图像，结果如图4。

实施例中，所述步骤s4中，搭建热斑缺陷检测深度学习模型，进行红外图像热斑检测及分类流程如下：

s4-1、输入一张红外图像和一张与其配准完成的可见光图像，即s3-5中得到的结果；

s4-2、提取红外图像热斑候选区域，采用锚框的方法和3种不同长宽比对红外图像特征图进行预测，长宽比分别为2:1、1:1、1:2，其中融入特征金字塔结构；

s4-3、将候选区域按照空间位置关系映射到可见光图像特征图上，将可见光图像特征图与红外图像特征图做通道拼接操作，即图5中concat；

s4-4、将拼接后的特征图输入后续卷积层与全连接层，进行类别回归和位置回归；

s4-5、采用非极大值抑制的方法对回归后的预测框进行筛选，完成检测与分类。

实施例中，所述步骤s5，具体为：

利用红外图像的pos数据和无人机数据采集过程中的视锥模型解算缺陷的经纬坐标，结合光伏电站的带坐标的三维模型快速直观地显示缺陷位置。

实施例所产生的检测及分类结果如图6所示。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。