基于VGG-16剪枝模型的变压器放电碳痕检测方法与流程

基于vgg-16剪枝模型的变压器放电碳痕检测方法
技术领域
1.本发明属于输电设备检测技术领域，尤其是基于vgg-16剪枝模型的变压器放电碳痕检测方法。


背景技术：

2.大型的电力变压器通常采用油浸纸板作为内部绝缘材料，在使用过程中局部放电会导致绝缘板上产生碳痕，从而减小有效绝缘距离，严重威胁到变压器的使用安全。变压器金属外壳封闭，常规局部放电信号的监测装置对油箱内部的放电碳痕不易检测。针对上述问题，通过采集变压器内部绕组、绝缘纸板等部件的表面图像，察验放电碳痕的多少，直观地确定绝缘故障位置以及绝缘劣化程度十分必要。对所采集的变压器内部图像进行碳痕识别，能为判断变压器的绝缘状态提供有效的数据支持。


技术实现要素：

3.本发明的目的在于克服现有技术的不足，提出基于vgg-16剪枝模型的变压器放电碳痕检测方法，借助机器视觉和深度学习进行变压器内部放电碳痕的检测识别，分别采用l1-norm算法和fpgm算法对vgg-16进行了网络剪枝试验，从中优选出模型对变压器进行碳痕检测，本发明在满足实际变压器碳痕检测的精度要求的基础上，符合工业场景中对硬件资源占用较少、运行速度快的要求。
4.本发明解决其技术问题是采取以下技术方案实现的：
5.基于vgg-16剪枝模型的变压器放电碳痕检测方法，包括以下步骤：
6.步骤1、获取微型机器人在油浸式变压器油箱内沿规划路径拍摄变压器的原始内部图像，并传输回控制平台；
7.步骤2、控制平台采用图像增强和数据增强对步骤1获取图像构建的数据集进行处理，对原始数据集进行图像增强，然后对图像增强后的数据集进行数量的扩充得到实验所用数据集；
8.步骤3、建立vgg-16网络模型，进行不同剪枝率设定下的l
1-norm剪枝算法和fpgm剪枝算法的剪枝对比实验，根据实验结果最终确定适合变压器内部碳痕检测的剪枝算法模型，并对变压器内部进行碳痕检测。
9.而且，所述步骤2中图像增强的具体实现方法为：通过改进直方图均衡化算法对图像进行增强，所述步骤2中对数据增强具体实现方法为：采用高斯模糊处理、水平和垂直翻转、尺度缩放以及水平和竖直平移4种方式对图像增强后的数据集进行扩充，同时根据mosaic算法进行图像融合的数据增强。
10.而且，所述改进直方图均衡化算法对图像进行增强包括以下步骤：
11.步骤2.1、将步骤1中获取的图像水平方向分成8份，垂直方向分成4份；
12.步骤2.2、计算每个子块的直方图，确定每个直方图的动态范围和着重因数；
13.新的灰度值动态范围ri的计算方法为：
[0014][0015][0016]ci
＝s
max-s
min
[0017]
其中，ci为每个子块直方图的灰度级范围，wi为每个子块直方图的着重因数，ni为每个子块中像素总数，mi为每个子块中像素种类数，wk为第k个灰度级的着重因子，t为全部灰度值级别，l为划分子块的个数，s
max
为每个子块直方图中灰度最大值；s
min
为每个子块直方图中灰度最小值；
[0018]
步骤2.3、对步骤2.1中每个子直方图进行独立的灰度级均衡；
[0019]
对每个子块进行直方图均衡化处理，其映射函数为:
[0020][0021]
其中，si为映射后图像的灰度值；n为子块中的像素总数；nk为子块中k灰度级的像素数。
[0022]
而且，所述同时根据mosaic算法进行图像融合的数据增强的具体实现方法为：在有碳痕标签组随机选择1张图片进行尺寸压缩，在整个数据集中随机选择另外3张图片进行随机剪裁，将4张图片拼接成一张图片，其分类标签为有碳痕。利用这种方式生成若干张碳痕标签的图片，丰富图片背景，并将大的碳痕尺度缩小。
[0023]
而且，所述步骤3的具体实现方法为：建立vgg-16网络模型，对步骤2得到的实验所用数据集分别基于l1-norm剪枝算法和fpgm剪枝算法进行不同剪枝率的网络剪枝，通过对比得到最优剪枝算法，并通过最优剪枝算法对变压器内部进行碳痕检测。
[0024]
而且，所述步骤3中l1-norm剪枝算法的具体计算方法为：
[0025]
l1范数正则项的目标函数为：
[0026][0027][0028]
其中，j(w)为原目标函数；w为每层之间传递的权值矩阵，xi为输入向量；yi为期望输出；α为权衡正则项对目标函数j相对贡献的超参数，其范围为α∈[0,∞)；m为第m个参数。
[0029]
目标梯度函数为：
[0030][0031]
其中，w*为由正则项引起的权值矩阵；h为j(w)在w*处的hessian矩阵；hessian矩阵是对角阵，h＝diag([h
1,1
,...,h
n,n
])，对角线每个元素为正数；目标函数的二次近似分解为：
[0032]
[0033][0034]
其中，h
i,i
为hessian矩阵对角线第i个元素；wi为函数权重。
[0035]
当时，在第i维卷积的原目标函数j(w)对的贡献受到抑制，l1正则化项将wi推向0，wi的最优值为0；当时，l1正则化项不会将将wi推向0，在原基础上移动
[0036]
l1-norm剪枝算法设定剪枝率后，对每一层剪枝过程，到达设定值后停止剪枝，对修剪后的模型进行微调操作，补偿潜在的暂时退化。
[0037]
而且，所述步骤3中fpgm剪枝算法的具体方法为：更新网络权值参数，设定epoch值和剪枝率；从第1个epoch开始，在训练过程中根据每层的几何中位数和剪枝率，将冗余的卷积核置零；置零的卷积核，在下一个epoch重新接受参数更新，直到epoch执行完成设定值，反复迭代，最终冗余的滤波器趋于稀疏化。
[0038]
本发明的优点和积极效果是：
[0039]
1、本发明通过微型机器人在油浸式变压器油箱内沿规划路径拍摄变压器的原始内部图像，在对图像进行图像增强和数据增强后，建立vgg-16网络模型，分别采用l1-norm剪枝算法和fpgm剪枝算法对vgg-16进行了网络剪枝对比实验，根据实验结果最终确定适合变压器内部碳痕检测的剪枝算法模型，并对变压器内部进行碳痕检测。本发明在满足实际变压器碳痕检测的精度要求的基础上，符合工业场景中对硬件资源占用较少、运行速度快的要求，并适合部署在实际的嵌入式设备。
[0040]
2、本发明针对微型机器人采集的原始图像对比度低、目标特征不易提取等问题，采用改进的直方图均衡化算法对数据集进行了图像增强，有效提高了图像的对比度和清晰度，同时保留了目标的细节和抑制了噪声，使得图像特征更加明显和易于提取。同时图像增强后又采用了mosaic算法进行了数据增强，增加了样本数量，丰富了数据集的多样性。
附图说明
[0041]
图1为本发明的流程图；
[0042]
图2为l1-norm算法剪枝示意图。
具体实施方式
[0043]
以下结合附图对本发明做进一步详述。
[0044]
基于vgg-16剪枝模型的变压器放电碳痕检测方法，如图1所示，包括以下步骤：
[0045]
步骤1、获取微型机器人在油浸式变压器油箱内沿规划路径拍摄变压器的原始内部图像，并传输回控制平台。
[0046]
本步骤的具体实现方法为：使用微型仿生鱼在油浸式变压器油箱内沿规划路径进行自主巡视，仿生鱼头部装有led光源和工业相机，沿途拍摄变压器内部原始数据图像并传
输回控制平台。
[0047]
步骤2、控制平台采用图像增强和数据增强对步骤1获取图像构建的数据集进行处理，对原始数据集进行图像增强，然后对图像增强后的数据集进行数量的扩充得到实验所用数据集。
[0048]
步骤1获取图像具有以下2个特点：拍摄距离和角度不同时，图像补光度不同，部分拍摄距离较远的图像存在对比度低、整体较暗的问题，给特征的提取造成了困难；数据量偏小且正负样本不平衡，容易造成模型过拟合和泛化能力差。所以需要进行进一步处理才能得到符合本发明要求的数据集。因此本发明利用改进直方图均衡化的图像增强和根据mosaic思想进行了图像融合方式的数据增强对数据集进行了处理。
[0049]
直方图均衡化算法是以图像各灰度级概率的累积分布函数作为变换函数，对原始图像进行映射变换，使原来过于集中的灰度级均匀分布。本发明在此基础上提出一种改进的直方图均衡化算法，改进直方图均衡化算法对图像进行增强包括以下步骤：
[0050]
步骤2.1、将步骤1中获取的图像水平方向分成8份，垂直方向分成4份，即原图将被划分成4
×
8＝32个子块；
[0051]
步骤2.2、计算每个子块的直方图，确定每个直方图的动态范围和着重因数；
[0052]
计算每个子块直方图的灰度级范围ci：
[0053]ci
＝s
max-s
min
[0054]
其中，s
max
为每个子块直方图中灰度最大值；s
min
为每个子块直方图中灰度最小值；
[0055]
根据每个子块直方图的着重因数wi，计算新的灰度值动态范围ri[0056][0057][0058]
其中，ni为每个子块中像素总数，mi为每个子块中像素种类数，wk为第k个灰度级的着重因子，t为全部灰度值级别，l为划分子块的个数；
[0059]
步骤2.3、对步骤2.1中每个子直方图进行独立的灰度级均衡；
[0060]
对每个子块进行直方图均衡化处理，其映射函数为:
[0061][0062]
其中，si为映射后图像的灰度值；n为子块中的像素总数；nk为子块中k灰度级的像素数。
[0063]
图像增强为对原图像分别使用同态滤波、直方图均衡化及本文算法进行图像增强，对比可知：原图像整体亮度低、灰度值动态范围狭窄，碳痕轮廓和颜色几乎无法辨别；经同态滤波处理后的图像，有效提高了原图像的亮度，使图像中央的碳痕得以区分，但整体灰度值较高，碳痕目标不明显；直方图均衡化和本发明方法处理后的图像均有效的增加了图像灰度级的动态范围，使图像亮度和对比度方面有显著改进，碳痕区域与周围背景有显著区别；但直方图均衡化中碳痕区域有细节丢失问题，光圈区存在噪声增强问题，这是由于直方图均衡化算法会使某些低频率的灰度级被突出的灰度级合并导，而本发明方法处理后的
图像局部和细节的处理更加细致，补光区域亮度均匀，较好的保留了目标区域的细节和特征。可见本发明采用的改进直方图均衡化算法，不仅有效的增加了图像灰度级的动态范围，使图像的平均灰度及对比度方面有显著改进，对局部的噪声也有很好的抑制，使得图像特征更加明显和易于提取。
[0064]
数据增强是在图像增强后的数据集上进行，数据增强具体实现方法为：采用高斯模糊处理、水平和垂直翻转、尺度缩放以及水平和竖直平移4种方式对图像增强后的数据集进行扩充，将数据集总数增加至2700张，主要作用是增加数据集样本数量，防止过拟合。同时为了增加样本的丰富性，本发明根据mosaic算法进行图像融合的数据增强。
[0065]
数据增强的具体事项方法为：在有碳痕标签组随机选择一张图片进行尺寸压缩，在整个数据集中随机选择另外3张图片进行随机剪裁，然后将4张图片拼接成一张图片，其分类标签为有碳痕。利用这种方式生成1600张碳痕标签的图片，起到了丰富图片背景的作用，并将大的碳痕尺度缩小，进而更好地权衡训练数据的尺度分布，使得模型能够有效提高小目标的检测精度。
[0066]
步骤3、建立vgg-16网络模型，进行不同剪枝率设定下的l
1-norm剪枝算法和fpgm剪枝算法的剪枝对比实验，根据实验结果最终确定适合变压器内部碳痕检测的剪枝算法模型，并对变压器内部进行碳痕检测。
[0067]
建立的vgg-16网络模型为：vgg-16模型输入为224
×
224
×
3的图像，首先经过64通道的2个卷积层和最大池化层提取图像的细节特征；再经过128通道的2个卷积层和最大池化层进一步提取中度特征；之后连接3个卷积层+最大池化层逐级提取出分类特征。该模型最大的特点是卷积核均采用了3
×
3的小卷积核，通过卷积层与池化层的反复加深来实现特征的提取，小卷积核对于细节的提取更加细腻，有助提高小尺寸目标的识别率。但由于层数的加深，其参数量达到138.4m，识别一张图片需要约554m的内存量和150亿浮点型计算次数。
[0068]
为缩减模型参数量和保证分类的实时性，分别采用l
1-norm剪枝算法和fpgm剪枝算法的剪枝对比实验对vgg-16网络模型进行剪枝对比实验：
[0069]
其中l
1-norm算法根据l1范数来对卷积核的重要性进行排序，移除对于模型精度影响较小的卷积核，通过删除网络中的整个卷积核及其连接特征图，达到模型的系数正则化。l1-norm剪枝算法的具体计算方法为：
[0070]
l1范数是指向量中各个元素绝对值之和，也称为“稀疏规则算子”。引入了l1范数正则项的目标函数为：
[0071][0072][0073]
其中，j(w)为原目标函数；w为每层之间传递的权值矩阵，xi为输入向量；yi为期望输出；α为权衡正则项对目标函数j相对贡献的超参数，其范围为α∈[0,∞)；m为第m个参数。
[0074]
目标梯度函数为：
[0075]
[0076]
其中，w*为由正则项引起的权值矩阵；h为j(w)在w*处的hessian矩阵；为了简化推导步骤而不失一般性，设定hessian矩阵是对角阵，h＝diag([h
1,1
,...,h
n,n
])，对角线每个元素为正数；目标函数的二次近似分解为：
[0077][0078]
其中，每个wi计算方法为：
[0079][0080]
其中，h
i,i
为hessian矩阵对角线第i个元素；wi为函数权重。
[0081]
当时，在第i维卷积的原目标函数j(w)对的贡献受到抑制，l1正则化项将wi推向0，wi的最优值为0；当时，l1正则化项不会将将wi推向0，在原基础上移动
[0082]
如图2所示，l1-norm剪枝算法对从第i个卷积层移除掉m个卷积核的剪枝时，将m个权重wi为0的卷积核以及对应的特征图剪掉，下一个卷积层中与剪掉特征图相关的卷积核也同时移除；然后重新创建由第i层到第i+1层的权值矩阵，并将剩下的权重参数复制到新模型中。第i+1层的卷积核被剪掉以后，该层保留的卷积核参数不仅在卷积核个数的维度上有效缩减，还与第i层剪掉的卷积核有关，因此每个卷积层在通道维度也是缩减的，设定剪枝率后，对每一层重复以上剪枝过程，到达设定值后停止剪枝，对修剪后的模型进行微调操作，补偿潜在的暂时退化。
[0083]
其中fpgm(filter pruning via geometric median)算法是基于几何中位数的评价准则对卷积核的重要程度进行排序，剔除信息冗余滤波器以减少模型参数量。
[0084]
若网络共有k层卷积层，第j层神经网络有n个卷积核，将每一层所有卷积核看做一个多维欧式空间，每个滤波器都是欧式空间中的一个点fi。以2
×
2的滤波器为例，任意两个滤波器的欧氏距离为：
[0085][0086]
其中，a(i,j)为滤波器中的参数坐标；则滤波器的几何中位数f
*
为：
[0087][0088]
其中，f
x
为待定几何中位数；i为滤波器序号；j为conv卷积层对应值。
[0089]
几何中位数是欧式空间的一个中心点，即到所有点欧式距离最小的点，越靠近中心的点越容易被距离中心远的点所表示。如果一个滤波器接近中心点，可以认为这个滤波器的信息与其他滤波器是重合的，其功能可以被其他滤波器代替，剪去后对网络的总体性能影响极小。
[0090]
fpgm剪枝算法的具体实现方法为：
[0091]
首先更新网络权值参数，设定epoch值和剪枝率；
[0092]
从第1个epoch开始，在训练过程中根据每层的几何中位数和剪枝率，将冗余的卷积核置零；
[0093]
置零的卷积核，在下一个epoch重新接受参数更新，直到epoch执行完成设定值，反复迭代，最终冗余的滤波器将趋于稀疏化。
[0094]
对vgg-16网络模型分别基于l
1-norm剪枝算法和fpgm剪枝算法进行不同剪枝率的网络剪枝，各模型使用步骤2实验所用数据集进行训练，随机划分数据集中的70％用于训练，30％用于验证。采用批量训练的方法将训练集与验证集分为多个批次(batch)，batch size设置为16，epoch设置为100，初始学习率lr设置为0.001，损失函数为交叉熵误差，选用adam优化方式。
[0095]
剪枝率设定在10％～50％的条件下，fpgm剪枝算法的精度评价指标高于l
1-norm剪枝算法；设定剪枝率超过70％时，由于部分较重要参数被剪枝，模型准确率开始明显下降，剪枝率为90％时，准确率分别下降到52.0％和77.0％。在剪枝率为50％时，fpgm剪枝算法剪枝准确率为96.8％，比原网络下降了1.2％，f1值与原网络相同，各精度评价指标与l
1-norm剪枝算法相差甚微；但参数量为原网络的26％、平均帧耗时为原网络的78.3％，均优于l
1-norm剪枝算法剪枝。综合考虑模型参数量、识别快速性和精度指标，fpgm_prune0.5模型的总体性能最优，通过fpgm_prune0.5模型对变压器内部进行碳痕检测。
[0096]
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。