基于USRNet和YOLOv3的配电线路鸟巢检测方法

基于usrnet和yolov3的配电线路鸟巢检测方法
技术领域
1.本发明涉及配电线路设备图像识别技术领域，具体涉及一种基于usrnet和yolov3的配电线路鸟巢检测方法。


背景技术：

2.随着我国配电线路的不断增多及生态环境的逐步改善，鸟害事故明显上升，其造成的损失也明显增加，这对电网的安全稳定运行带来了严重的威胁。鸟害防治是配电线路日常运维的重点工作之一，由于鸟类筑巢选择杆塔位置的顽固性，固定杆塔存在鸟巢重复搭建现象，仅依靠传统人工清除鸟巢的方式工作量大、重复性强，检测效率较低，容易因疲劳出现漏检，且采集环境具有不确定度，采集图像异常，存在难以辨识而误检的情况。随着科学技术的发展，无人机得到的航拍图像越来越清晰，图像包含的信息也越来越丰富。传统人工巡检方式逐渐被无人机巡检方式所代替，实现了更高的智能化与自动化。近年来，图像识别技术发展迅速，该技术解决了使用人工处理无人机搜集的配电线路数据效率低的问题，因此图像识别技术与无人机相结合进行配电线路巡检方式成为了当今的热门研究方向。
3.目前，配电线路的缺陷检测主要分为基于人为特征设计的检测方法和基于深度学习模型的检测方法。前者集中于手工特征的设计，手工设计特征不仅繁杂，还存在鲁棒性不高的问题，无法实现端对端的缺陷检测。于是有人提出了基于深度学习算法的缺陷检测，大多方式采用卷积神经网络提取图像样本特征并加以学习，并对网络结构进行改进，实现了对配电线路缺陷的识别。然而，航拍巡检过程中受拍摄尺度和角度影响，鸟巢图像区域可能处于复杂环境背景中，上述方法将难以达到预期检测效果。


技术实现要素：

4.针对上述技术问题，本发明提供一种基于usrnet和yolov3的配电线路鸟巢检测方法，该方法提出一种深度展开超分辨率网络及gaussianyolov3模型，原始的待检测配电线路鸟巢图像数据作为训练样本，usrnet作为训练算法对模型进行训练，将检测图像数据通过训练好的usrnet生成重构的图像数据集；最后，通过训练好的gaussianyolov3模型来检测图像是否存在鸟巢缺陷。该方法可以增强配电线路鸟巢图像局部纹理、边缘等细节信息，以改善图像质量，并结合目标检测算法提取准确的特征，以实现鸟巢缺陷的智能检测。
5.本发明采取的技术方案为：
6.基于usrnet和yolov3的配电线路鸟巢检测方法，其特征在于包括以下步骤：
7.步骤1：收集配电线路的鸟巢图像，并在鸟巢图像数据上人工标记，构建训练样本集；
8.步骤2：搭建网络结构，包括深度展开超分辨率网络usrnet、gaussianyolov3；
9.步骤3：获取配电线路鸟巢检测模型；
10.步骤4：将待检测图像输入到深度展开超分辨率网络usrnet，输出重构的鸟巢图
像；然后，通过训练好的gaussianyolov3完成故障的识别。
11.所述步骤1中，原始鸟巢图像由无人机巡检采集获得，对鸟巢图像数据集进行人工标注，对鸟巢图像数据进行裁剪，构建相应的训练样本集。
12.所述步骤2中，搭建网络结构：
13.第一个网络结构为深度展开超分辨率网络usrnet，usrnet是首个采用单个端到端模型解决经典降质问题的算法，相较于传统超分辨率重建算法，usrnet在保证了性能前提下具有高效性和灵活性方面的优势；
14.第二个网络结构为gaussianyolov3，基于传统深度学习的目标检测算法被检测对象类别的可靠性是已知的，预测框回归的可靠性是未知的。gaussianyolov3没有改变yolov3内部的网络结构，而是通过增加输出量，利用gaussian参数对预测框坐标参数进行建模，重新定义损失函数，使最终得到的回归框更精确，预测定位的可靠性更高。
15.所述步骤3包括如下步骤：
16.s3.1:首先，使用深度展开超分辨率网络usrnet对原始图像进行处理，去除原始图像中的模糊和噪音，提高图片质量；
17.s3.2:然后，通过增加yolov3网络的输出和改进网络的损失函数输出预测框，并结合gaussian分布的策略，输出对应预测框坐标的均值和方差；
18.s3.3：最后，根据获取的训练样本集，进行gaussianyolov3检测模型训练。得到配电线路鸟巢检测模型。
19.所述步骤3具体如下：
20.广义的降质过程可以由以下公式描述：
[0021][0022]
y表示lr图像、x表示hr图像、k表示模糊核、n表示叠加数量、s表示采样倍数；
[0023]
↓
分别表示卷积操作、下采样操作。
[0024]
该问题传统的求解方法多为双三次插值与数据驱动相结合的方式：
[0025][0026]
表示尺度因子s下的双三次插值核；
[0027]
arg表示尺度因子s下的复数辐角、
[0028]
表示尺度因子s下的最小重建误差。
[0029]
usrnet使用半二次拆分(half-quadratic spliting,hqs)算法引入辅助变量z，对map框架下的hr图像最小化目标函数进行求解，如式(3)，可以将式(3)等价为式(4)。
[0030][0031]
e(x)、σ、λ、φ(x)分别表示能量函数、数据项参数、权衡参数、先验项。
[0032][0033]eμ
(x,z)、μ、x、y、z分别表示改进后能量函数、惩罚参数、sr图像、lr图像、辅助变
量。
[0034]
接着通过迭代求解x，z进行求解，如式(5)：
[0035][0036]
zk表示k次迭代后的辅助变量、x
k-1
表示(k-1)次迭代后的sr图像、xk表示k次迭代后的sr图像、min
x
表示受x决定的min函数、minz表示受z决定的min函数。
[0037]
对于式(5)中的zk的求解，利用利用快速傅里叶变换，可得下式：
[0038][0039]
式(6)中，f和f-1
表示傅里叶变换函数和傅里叶变换函数的反函数，为傅里叶变换函数的共轭复数，
⊙s为区分不同模块处理的运算符号，为不同模块的下采样处理，αk为权衡超参数。
[0040]
式(6)中，d可被定义为下式：
[0041][0042]
其中，
↑s表示s倍上采样过程。
[0043]
对于式(5)中xk的求解，从贝叶斯方面可以看作是一个去噪问题，表达式如下：
[0044][0045]
其中，βk为超参数。
[0046]
usrnet网络分为三部分：
[0047]
第一部分为data module d，用于计算zk；
[0048]
第二部分为priormodule p，用于计算xk；
[0049]
由于计算过程中还涉及到超参，所以第三部分引入hyper-parameter module h，用于计算每一次迭代时所需要的αk、βk；
[0050]
其中，αk由σ、μk决定；σ、μk分别表示噪声等级、k次迭代后的惩罚参数；
[0051]
βk由λ、μk决定；λ表示权衡参数；
[0052]
在yolov3中，每个网格可预测三个真实框，每个真实框由三部分构成，分别为预测框坐标、物体检测得分以及类别可靠性得分。
[0053]
考虑到边界框坐标的不确定度，gaussianyolov3不再使用既定的真实框坐标，而是通过真实框坐标对应的gaussian模型进行建模。给予一个测试输入x，其对应的输出y由gaussian参数构成。将预测框坐标输入gaussian模型后，得到gaussianyolov3回归框坐标的输出，均能获得各个真实框坐标所对应的均值和方差，均值表示预测回归框的坐标范围，方差可表示坐标的不确定度。
[0054]
为使每个网格对应的物体中心落在当前网格范围内，需将均值和方差调整至0到1之间，0代表可靠，1代表不可靠；
[0055]
此外，gaussianyolov3还设置了新的损失函数，yolov3坐标使用的是平均误差损失之和，类别为二元交叉熵损失和。gaussianyolov3的类别损失函数保持不变，其坐标则为通过gaussian模型输出的gaussian参数，gaussian模型为负对数似然损失函数。
[0056]
步骤3：通过结合图像超分辨网络usrnet和目标检测算法gaussianyolov3，得到配电线路鸟巢检测模型；首先，利用usrnet网络将原始鸟巢图像数据进行超分辨重建，组成重建后的图像数据集，再利用目标检测算法对重建后的图像数据进行检测，从而完成鸟巢故障检测流程。
[0057]
所述步骤4中，将整个数据集中的图像打乱，按照8:2的比例划分为训练验证集和测试集，将训练验证集按照9:1的比例划分为训练集和验证集。
[0058]
本发明一种基于usrnet和yolov3的配电线路鸟巢检测方法，技术效果如下：
[0059]
1)本发明首先使用深度展开超分辨率网络对原始图片进行处理，去除原始图像中的模糊和噪音，提高图片质量，然后对预测框的坐标进行gaussian模型评估，然后设计了新的损失函数；最后，用多阶段迁移学习减小训练损失。通过实验对比，本发明在测试集中的检测速率和精度更高，可应用于电力巡检系统中配电线路鸟巢的实时监测。
[0060]
2)针对航拍鸟巢图像存在模糊、噪音以及所处环境复杂等问题，提出使用深度展开超分辨率网络(deepunfoldingsuper-resolutionnetwork，usrnet)对待检测图像进行质量提升。针对深度学习算法在复杂场景中的检测精度较低问题，提出了一种基于gaussianyolov3的鸟巢检测算法，该算法在测试集中的检测速率和精度更高，可应用于电力巡检系统中配电线路鸟巢缺陷的实时监测。
[0061]
3)采用深度展开超分辨率网络模型对配电线路图像进行重构，提升分辨率，保证用于鸟巢检测的图像质量，大幅缩减有效信息的损失，从而保证像素信息的完整性。
[0062]
4)基于传统深度学习的目标检测算法被检测对象类别的可靠性是已知的，预测框回归的可靠性是未知的。gaussianyolov3没有改变yolov3内部的网络结构，而是通过增加输出量，利用gaussian参数对预测框坐标参数进行建模，重新设计损失函数，使最终得到的回归框更为精确，预测定位的可靠性更高。
附图说明
[0063]
图1是配电线路鸟巢检测模型结构图。
[0064]
图2是深度展开超分辨网络结构示意图。
[0065]
图3是yolov3输出量示意图。
[0066]
图4是gaussianyolov3输出量示意图。
[0067]
图5(1)是配电线路鸟巢图像超分辨率重建结果细节示意图(bicubic)；
[0068]
图5(2)是配电线路鸟巢图像超分辨率重建结果细节示意图(vdsr)；
[0069]
图5(3)是配电线路鸟巢图像超分辨率重建结果细节示意图(esrgan)；
[0070]
图5(4)是采用本发明方法配电线路鸟巢图像超分辨率重建结果细节示意图。
[0071]
图6(1)是配电线路鸟巢检测结果示意图一；
[0072]
图6(2)是配电线路鸟巢检测结果示意图二。
具体实施方式
[0073]
如图1所示，基于usrnet和yolov3的配电线路鸟巢检测方法，该方法提出一种深度展开超分辨率网络及gaussianyolov3模型，原始的待检测配电线路鸟巢图像数据作为训练样本,usrnet作为训练算法对模型进行训练，将检测图像数据通过训练好的usrnet生成重构的鸟巢图像数据集；最后，通过训练好的gaussianyolov3模型来检测图像是否存在鸟巢缺陷。
[0074]
本发明方法包括以下步骤：
[0075]
步骤一、数据获取：
[0076]
利用无人机巡检采集图像数据，并传送至终端。根据无人机巡检获取的图像数据，通过专家检查结合实地考察确认后进行故障标记，标注格式为voc，将原始图像数据划分为正常(good)和缺陷(nest)两类，无鸟巢的情况下标注(good),其余情况均标注为缺陷(nest)，以此构成训练样本集。
[0077]
步骤二、搭建网络结构：
[0078]
1：深度展开超分辨网络usrnet：
[0079]
广义的降质过程可以由以下公式描述：
[0080][0081]
该问题传统的求解方法多为双三次插值与数据驱动相结合的方式：
[0082][0083]
基于深度展开网络的图像超分辨率方法使用半二次拆分(half-quadratic spliting,hqs)算法引入辅助变量z，对map框架下的hr图像最小化目标函数进行求解，如式(3)可以将式(3)等价为式(4)。
[0084][0085][0086]
接着通过迭代求解x，z进行求解，如式(5)：
[0087][0088]
如图2所示，该网络分为三部分：
[0089]
第一部分为data module d，用于计算zk；
[0090]
第二部分为priormodule p，用于计算xk；
[0091]
由于计算过程中还涉及到超参，所以第三部分引入hyper-parameter module h，用于计算每一次迭代时所需要的的αk，βk。其中，αk由σ、μk决定，βk由λ、μk决定。
[0092]
2：gaussianyolov3：
[0093]
在真实场景下，使用无人机所拍摄的鸟巢图像易有遮挡、重叠等情况，且存在大量
的噪声数据使yolov3模型训练出的回归框没有全部包围物体，同时产生标框重复包围、置信度较低等实际问题。
[0094]
基于传统深度学习的目标检测算法被检测对象类别的可靠性是已知的，对预测框回归可靠性的评判是未知的。gaussianyolov3没有更改yolov3内部的网络结构，而是通过增加输出量，使用gaussian参数对预测框坐标参数进行建模，然后重新定义损失函数，使最终得到的回归框更精准，预测定位的可靠性更高。
[0095]
yolov3和gaussianyolov3的输出分别如图3和图4所示。从图3和图4可以发现，在yolov3中，每个鸟巢网格负责预测三个真实框，每个框由三部分组成，其中，回归框的坐标t
x
、ty是预测框横纵坐标的偏移量，tw、th为图像宽高的缩放量，confidence为鸟巢检测得分，insulator和defect对应两个类别的可靠性信息。因考虑到边界框坐标的不确定度，gaussianyolov3不使用已定的真实框坐标，而是通过t
x
、ty、tw、th对应的gaussian模型进行建模。
[0096]
给定一个测试输入x，其对应的输出y由gaussian参数组成的单高斯模型如下：
[0097]
p(y|x)＝n[y；μ(x),∑(x)]
[0098]
式中，μ(x)、∑(x)分别为对应输入x的均值和方差函数，n为正态分布下的概率密度函数，p(y|x)为x的概率密度。
[0099]
将预测框坐标加入gaussian模型后，得到gaussianyolov3回归框坐标的输出，t
x
、ty、tw、th对应的均值为和方差为和
[0100]
均值可表示预测回归框的坐标范围，方差可表示坐标的不确定度。
[0101]
为使每个网格对应的物体中心落在当前网格内，需使用sigmoid函数将均值和方差处理至0到1之间，0表示可靠，1表示不可靠，可表示为：
[0102][0103][0104]
μ
tx
、μ
ty
、μ
tw
、μ
th
分别为处理后的t
x
、ty、tw、th对应的均值，对应的均值，分别表示对各均值进行sigmoid处理。
[0105][0106]
σ(x)、exp(-x)分别表示sigmoid函数和指数函数；
[0107][0108][0109]
∑
th
分别表示处理后的t
x
、ty、tw、th对应的方差；
[0110]
分别表示对各方差进行sigmoid处理；
[0111]
除此之外，gaussianyolov3还重新设置了损失函数，yolov3坐标使用的是平方误差损失之和，类别为二元交叉熵损失和。gaussianyolov3的类别损失函数不变，其坐标则为使用gaussian模型输出的高斯参数，高斯模型为负对数似然损失函数nll，可表示为：
[0112][0113]
式中，l
x
为坐标t
x
的损失函数，w、h为宽和高的网格数，k为anchor数量，∑t
x
(x
ijk
)分别为网格(i，j)中第k个anchor处的t
x
均值和方差(检测层的输出)，为t
x
的真值gt，ε＝10-9
为防止对数函数失效的常数；
[0114]
i、j、k代表任意数字；
[0115]
γ
ijk
、n、∑t
x
(x
ijk
)分别表示惩罚系数、高斯分布、t
x
的值、不确定性；gt编码计算方式可表示为：
[0116][0117][0118]
式中，xg、yg、ωg、hg为预测框的中心点坐标、宽、高与真实框的比值，i为gt框的缩放比例，iw、ih为调整后图像的宽和高，为通过聚类得到第k个anchor的宽度和高度。ωg、分别表示t
x
的gt值、tw的gt值、预测框的宽与真实框的宽比值、th的gt值。
[0119]
此外，在设计损失函数时，相应地加入惩罚系数γ
ijk
，可表示为：
[0120][0121]
式中，为一个参数，但前对象中存在最大时，该参数被指定为值1，否则为0。
[0122]
比例ω
scale
可由ωg、hg表示为：
[0123]
ω
scale
＝2-ωg×
hg[0124]
可以发现，重新设计的损失函数对于预测回归框的鲁棒性更强，可以更好地解决待检测数据噪声数量大的问题。通过这种损失衰减，可以有效提高算法精度。
[0125]
3、多阶段迁移学习：
[0126]
从网络训练开始到结束，往往会有耗时长且容易出现过拟合等问题，因此，实验采用多阶段迁移学习方法，该训练方法得到的参数效果优于随机初始化参数，且适合鸟巢图像较少的情况，不仅能防止过拟合，还能提高训练效率。多阶段迁移学习的具体步骤如下。
[0127]
步骤
①
：加载gaussianyolov3在数据集上训练得到的权重，冻结gaussianyolov3后半部分的网络结构，以得到特征图；设定的学习速率lr＝e-3
，迭代次数为100。
[0128]
步骤
②
：加载步骤
①
得到的权重，冻结gaussianyolov3前半部分的darknet网络层，设定学习速率lr＝e-4
开始训练。
[0129]
步骤
③
：加载步骤
②
得到的权重，不冻结gaussianyolov3，设定学习速率lr＝e-5
开始训练直到训练结束，通过结合图像超分辨网络usrnet和目标检测算法gaussianyolov3，得到配电线路鸟巢检测模型。
[0130]
步骤三、验证实施例：
[0131]
为了验证本发明方法的有效性，将本发明方法超分辨重建结果与双三次插值(bicubic)、深度超分辨率(very deep super-resolution,vdsr)算法、增强型超分辨率生
成对抗网络(enhanced super-resolution generative adversarial networks,esrgan)等常用方法重建结果进行了对比。bicubic、vdsr、esrgan样本设置与本发明方法保持一致。表1为各方法对测试样本进行图像超分辨率重建后，重建效果评价指标计算结果平均值。
[0132]
表1重建效果评价指标计算结果平均值
[0133][0134]
由表1结果可知，本发明方法重建结果的psnr和ssim指标分别达到27.87db和0.8285，明显较高。且由图5(1)～图5(4)结果可知，采用本发明方法对配电线路图像超分辨率重建，图像中鸟巢边缘处更加清晰，且重建图像清晰度更高。
[0135]
综上所述，本发明方法配电线路图像超分辨率重建效果明显优于其他方法。
[0136]
将超分辨重建后的配电线路数据集按照8:2的比例划分为训练验证集和测试集，得到迁移学习步骤
③
的训练权重后，在测试集上进行测试，并计算不同算法的map和xfps，结果如表2所示。可以发现，相比fasterr-cnn和yolov3算法，同等条件下gaussianyolov3算法对鸟巢的检测精度分别提高了2.3和0.3个百分点，缺陷的检测精度分别提高了11.5和9.5个百分点，这表明使用多阶段迁移学习的gaussianyolov3算法能明显提高对小目标的检测精度；gaussianyolov3算法的检测速率虽然略低于yolov3算法，但仍能保持较好的实时性；且gaussianyolov3算法的pi和pd也远高于其他算法。
[0137]
表2不同算法的map和xfps
[0138][0139]
gaussianyolov3算法的检测结果如图6(1)、图6(2)所示，可以发现，该算法对鸟巢缺陷的检测效果较好，且定位准确，回归框能完整包裹鸟巢缺陷部位，也不存在重复标框和置信度低的情况，有利于巡检人员准确定位缺陷并排查故障，验证了gaussianyolov3算法对鸟巢坐标建模的合理性。