基于VGG网络的光伏板异物检测方法、系统、装置及介质与流程

基于vgg网络的光伏板异物检测方法、系统、装置及介质
技术领域
1.本发明属于图像处理技术领域，涉及一种基于vgg网络的光伏板异物检测方法、系统、装置及介质。


背景技术：

2.在光伏电站运行期间，需要对光伏板进行定期维护。光伏组件作为光伏电站最核心的发电部件，其是否存在异常将直接影响整个光伏电站，光伏板表面的灰尘、落叶等，会遮盖光伏板，影响发电效率，更会形成热斑，产生安全隐患，甚至会对整个光伏电站的安全造成影响。而每个光伏电站都会存在上述情况，因此，如何快速找出运行中的光伏电站内存在的异常，对于光伏电站的运维尤为重要。现阶段，对于光伏面板的维护主要靠工作人员的巡检，对于大面积的光伏电站或分布式光伏来说，需要耗费大量时间、人力。人工检测方法存在很多的人为因素制约，人工检测不仅会存在漏检、错检的可能，同时对工作人员存在一定的安全隐患，工作效率低，人工成本大。因此，亟需一种能够实时检测太阳能光伏异物的方法。


技术实现要素：

3.本发明的目的在于解决现有技术中的问题，提供一种基于vgg网络的光伏板异物检测方法、系统、装置及介质，能够节约大量时间、人力成本，提高检测的准确性和高效性。
4.为达到上述目的，本发明采用以下技术方案予以实现：
5.基于vgg网络的光伏板异物检测方法，包括：
6.采集现场光伏板图像，并对光伏板图像进行预处理，划分训练集和测试集；
7.基于训练集和测试集对vgg网络进行训练测试，以自动归纳硅片作为训练目标，得到最优化的vgg网络；
8.再次采集现场光伏板图像，并对再次采集光伏板图像进行预处理，获取增强图像信息后的图像；
9.基于最优化的vgg网络，对增强图像信息后的图像进行处理，确定光伏板上异物的尺寸和类型特征；
10.对增强图像信息后的图像进行可视化处理，绘制图像热力图，标注光伏板上异物的位置。
11.本发明的进一步改进在于：
12.对光伏板图像进行预处理，具体为：
13.对图像进行翻转、裁剪、调节亮度，扩充数据集；将图像裁剪为256
×
256像素的分辨率，增强图像信息。
14.基于训练集和测试集对vgg网络进行训练测试，以自动归纳硅片作为训练目标，得到最优化的vgg网络；具体为：
15.基于训练集对vgg网络进行训练，将训练后的vgg网络通过测试集进行测试；判断
vgg网络的损失函数是否低于所设定的阈值；若是，输出最优化的vgg网络，若否，再次进行循环迭代，直至损失函数低于所设定的阈值；所述阈值为人工设定。
16.vgg网络包括：三个卷积核、全局平均池化层、全连接层、softmax层；所述每个卷积核均包括两个卷积层和最大迟化层；所述最大迟化层对邻域内特征点取最大，所述全局平均迟化层为对邻域内特征点求平均值；所述卷积层进行特征提取，所述全连接层将卷积输出的二维特征图转化成一维的一个向量，实现端到端的学习过程；所述softmax层的输入值是一个向量，向量中元素为任意实数的评分值，输出一个向量，其中每个元素值在0到1之间，且所有元素之和为1。
17.基于最优化的vgg网络，对增强图像信息后的图像进行处理，具体为：
[0018][0019]
其中z(u,v)为输出，x
i,j
为输入，k
u-i,v-j
为权重；
[0020]
在卷积层，数据以三维形式存在的，在输入层，如果是灰度图像，只有1个特征，如果是彩色图像，一般有3个特征图，上一层的特征与对应的卷积核进行卷积运算，输出新的特征，假定输入层是第l-1层，它的输入特征图是x
l-1
(m
×
m)，特征对应的卷积核是k
l
(n
×
n)，给每一个输出加上一个偏置单元b
(l)
，卷积层的输出z
l
((m-n+1)
×
(m-n+1))为：
[0021][0022]
确定光伏板上异物的尺寸和类型特征，具体为：
[0023]
全连接层基于softmax损失函数判断异物种类，如公式(3)所示：
[0024][0025]
其中zi为第i个节点的输出值，c为输出节点的个数，即分类类别个数。
[0026]
对增强图像信息后的图像进行可视化处理，绘制图片热力图，标注光伏板上异物的位置，具体为：
[0027]
基于梯度加权类激活图对图片进行可视化处理，为获得任一类别c的宽度u和高度v的定位图grad-cam针对任一类别c的逻辑，yc的梯度相对于最后一个卷积层的特征图ak进行计算；并全局平均化回流的梯度，获得神经元的重要性权重捕获目标类别c的特征图k；
[0028][0029]
其中，z为特征图尺寸；i和j分别为特征图的横纵坐标；k为特征图通道；ak为特征图的激活值；
[0030]
前向激活图的加权组合加上relu，得到gradcam，如公式(5)所示：
[0031][0032]
其中，为特征图权重。
[0033]
基于vgg网络的光伏板异物检测系统，包括：
[0034]
第一采集模块，所述第一采集模块用于采集现场光伏板图像，并对光伏板图像进行预处理，划分训练集和测试集；
[0035]
最优化模块，所述最优化模块基于训练集和测试集对vgg网络进行训练测试，以自动归纳硅片作为训练目标，得到最优化的vgg网络；
[0036]
第二采集模块，所述第二采集模块用于再次采集现场光伏板图像，并对再次采集光伏板图像进行预处理，获取增强图像信息后的图像；
[0037]
处理模块，所述处理模块基于最优化的vgg网络，对增强图像信息后的图像进行处理，确定光伏板上异物的尺寸和类型特征；
[0038]
可视化模块，所述可视化模块用于对增强图像信息后的图像进行可视化处理，绘制图片热力图，标注光伏板上异物的位置。
[0039]
一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0040]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
[0041]
与现有技术相比，本发明具有以下有益效果：
[0042]
本发明通过采集太阳能光伏板图片，并对图片进行预处理，训练vgg网络，基于训练后的vgg网络对太阳能光伏板图片进行处理，基于处理结果评估光伏板健康状态，解决了目前光伏巡检作业主观性强、实时性差、效率低下的运维难题，较传统的人工巡检作业，有效的避免了传统人工巡检过程中的主观干扰，基于热力图从异物种类、异物分布双重角度开展检测，将光伏板上灰尘、鸟粪、落叶等异物分门别类标注清楚，精确描述异物分布区域，有助于指导后续针对性的光伏板清扫维护工作。
附图说明
[0043]
为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0044]
图1为基于vgg网络的光伏板异物检测方法一种流程图；
[0045]
图2为基于vgg网络的光伏板异物检测方法另一种流程图；
[0046]
图3为vgg网络结构图；
[0047]
图4为基于vgg网络的光伏板异物检测系统结构图。
具体实施方式
[0048]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0049]
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0050]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0051]
在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0052]
此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
[0053]
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0054]
下面结合附图对本发明做进一步详细描述：
[0055]
参见图1和图2，本发明公布了一种基于vgg网络的光伏板异物检测方法，包括：
[0056]
s101，采集现场光伏板图像，并对光伏板图像进行预处理，划分训练集和测试集。
[0057]
通过无人机拍摄现场光伏板图片，对光伏板图像进行预处理。
[0058]
对光伏板图像进行预处理，具体为：
[0059]
对图像进行翻转、裁剪、调节亮度，扩充数据集；将图像裁剪为256
×
256像素的分辨率。对图像进行归一化处理，划分训练集和验证集。
[0060]
s102，基于训练集和测试集对vgg网络进行训练测试，以自动归纳硅片作为训练目标，得到最优化的vgg网络。
[0061]
基于训练集对vgg网络进行训练，将训练后的vgg网络通过测试集进行测试；判断vgg网络的损失函数是否低于所设定的阈值；若是，输出最优化的vgg网络，若否，再次进行循环迭代，直至损失函数低于所设定的阈值；所述阈值为人工设定。
[0062]
参见图3，vgg网络包括：三个卷积核、全局平均池化层、全连接层、softmax层；所述每个卷积核均包括两个卷积层和最大迟化层；所述最大迟化层对邻域内特征点取最大，所述全局平均迟化层为对邻域内特征点求平均值；所述卷积层进行特征提取，所述全连接层将卷积输出的二维特征图转化成一维的一个向量，实现端到端的学习过程；所述softmax层的输入值是一个向量，向量中元素为任意实数的评分值，输出一个向量，其中每个元素值在0到1之间，且所有元素之和为1。
[0063]
输入的特征图通过卷积层后得到了它的特征图，利用这些特征图来训练分类器，理论上，这可以用所有提取到的特征图去训练。为了解决这个问题，可以使用聚合统计的方法，这种聚合的操作就叫做池化。池化分为平均池化和最大池化。通常在连续的卷积层之间会周期性地插入一个池化层。它的作用是逐渐降低数据体的空间尺寸，这样的话就能减少网络中参数的数量，使得计算资源耗费变少，也能有效控制过拟合。汇聚层使用最大池化操作，对输入数据体的每一个深度切片独立进行操作，改变它的空间尺寸。当具体数据输入尺寸w1·
h1·
d1，两个超参数：空间大小f和步长s，输出数据的具体尺寸为w2·
h2·
d2时：
[0064]
w2＝(w
1-f)/s+1
[0065]
h2＝(h
1-f)/s+1
[0066]
d2＝d1[0067]
s103，再次采集现场光伏板图像，并对再次采集光伏板图像进行预处理，获取增强图像信息后的图像。
[0068]
对图像进行翻转、裁剪、调节亮度，扩充数据集；将图像裁剪为256
×
256像素的分辨率，增强图像信息。
[0069]
s104，基于最优化的vgg网络，对增强图像信息后的图像进行处理，确定光伏板上异物的尺寸和类型特征。
[0070]
基于最优化的vgg网络，对增强图像信息后的图像进行处理，具体为：
[0071][0072]
其中z(u,v)为输出，x
i,j
为输入，k
u-i,v-j
为权重；
[0073]
在卷积层，数据以三维形式存在的，在输入层，如果是灰度图像，只有1个特征，如果是彩色图像，一般有3个特征图，上一层的特征与对应的卷积核进行卷积运算，输出新的特征，假定x是m
×
m阶矩阵，k是n
×
n阶矩阵，k
rot
是由k旋转180度得到；输入层是第l-1层，它的输入特征图是x
l-1
(m
×
m)，特征对应的卷积核是k
l
(n
×
n)，给每一个输出加上一个偏置单元b
(l)
，卷积层的输出为：
[0074][0075]
其中，z(u,v)为卷积层的输出，u和v表示图片的长度和宽度，x
i,j
为输入，k
u-i,v-j
为权重；表示如果卷积核下标超出卷积核范围，那么设置为得到的值恒为0；f()为激活函数，作用是提供网络的非线性建模能力；如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。
[0076]
确定图片上异物的尺寸和类型特征，具体为：
[0077]
全连接层基于softmax损失函数判断异物种类，如公式(3)所示：
[0078][0079]
其中zi为第i个节点的输出值，c为输出节点的个数，即分类类别个数。
[0080]
异物种类类别可以为灰尘、落叶、鸟粪等。
[0081]
s105，对增强图像信息后的图像进行可视化处理，绘制图片热力图，标注光伏板上异物的位置。
[0082]
在实际使用中，获取到的图像被处理后输入到网络当中，如果网络预测图像所展示的光伏板上存在异物，则会通过grad-cam进行深度可视化操作，通过热力图的形式，对图像进行处理，标注异物所在位置，快速定位。将这些网络分解为直观和可理解的组件的方法展现出来。
[0083]
梯度加权类激活图(grad-cam)提供粗略的定位图，突出图像中的重要区域，用于特定的预测。grad-cam使得现有的最先进的深度模型可以在不改变其架构的情况下进行解释，因此适用于各种卷积神经网络。
[0084]
基于梯度加权类激活图对图片进行可视化处理，为获得任一类别c的宽度u和高度v的定位图grad-cam针对任一类别c的逻辑，yc的梯度相对于最后一个卷积层的特征图ak进行计算；并全局平均化回流的梯度，获得神经元的重要性权重捕获目标类别c的特征图k；
[0085]
grad-cam利用反向传播的梯度计算权重，为了获得类别判别图grad-cam，记为高度为h、宽度为w、类别为c。首先利用yc计算目标类别c的梯度，这些回流的梯度在宽度和高度维度上全局平均池化，以获得神经元重要性权重其中，宽度和高度维度分别由i和j索引。
[0086][0087]
其中，z为特征图尺寸；i和j分别为特征图的横纵坐标；k为特征图；ak为特征图的激活值；
[0088]
前向激活图的加权组合加上relu，得到gradcam，如公式(5)所示：
[0089][0090]
其中，为神经元重要性权重。
[0091]
这一过程相当于求特征图上梯度的均值，等价于一个全局平均池化操作。在计算的同时，相对于激活反向传播梯度，精确的计算等于权重矩阵和梯度相对于激活函数的连续矩阵乘积，直到将梯度传播到的最终卷积层为止。因此，该权重代表ak下游的深层网络的部分线性化，并捕获了特征图k对于目标类别c的“重要性”。得到权重后将feature map的通道线性加权融合在一起即得到热力图。
[0092]
参见图4，本发明公布了一种基于vgg网络的光伏板异物检测系统，包括：
[0093]
第一采集模块，所述第一采集模块用于采集现场光伏板图像，并对光伏板图像进行预处理，划分训练集和测试集；
[0094]
最优化模块，所述最优化模块基于训练集和测试集对vgg网络进行训练测试，以自动归纳硅片作为训练目标，得到最优化的vgg网络；
[0095]
第二采集模块，所述第二采集模块用于再次采集现场光伏板图像，并对再次采集光伏板图像进行预处理，获取增强图像信息后的图像；
[0096]
处理模块，所述处理模块基于最优化的vgg网络，对增强图像信息后的图像进行处理，确定光伏板上异物的尺寸和类型特征；
[0097]
可视化模块，所述可视化模块用于对增强图像信息后的图像进行可视化处理，绘制图片热力图，标注光伏板上异物的位置。
[0098]
本发明一实施例提供的终端设备。该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
[0099]
所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。
[0100]
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
[0101]
所述处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
[0102]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。
[0103]
所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0104]
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。