基于改进YOLOv3的输电线缺陷多目标检测方法

基于改进yolov3的输电线缺陷多目标检测方法
技术领域
1.本发明涉及目标检测与识别技术领域，特别涉及一种基于改进yolov3 的输电线缺陷多目标检测方法。


背景技术：

2.输电线路分为架空输电线路和电缆线路，架空输电线路由线路杆塔、导 线、线路金具、绝缘子、拉线、接地装置等构成，分布广阔，遍布田野、城 区、沙漠、湖泊等各种地形。由于长期运行在野外，经历狂风暴雨曝晒等极 端天气的冲击，导线、金具、绝缘子等部件容易出现锈蚀、破损、断股等缺 陷，同时，部件安装不规范也为输电线路安全运行带来隐患。
3.随着输电线路结合无人机目标缺陷识别方案的发展和应用，通过无人机 巡检方式获取的图片数据量呈指数式增长，传统的人工巡检方式弊端逐渐显 露。而利用计算机对巡检图片进行缺陷智能识别，对人员的专业素质要求进 一步提高。目前，无人机在电力巡检作业中所占比例愈来愈高，随着无人机 巡检越来越智能化、自动化，未来电力巡检发展方向应是实现可无人机巡检 作业场景全覆盖。
4.电力计算机视觉(power cv)作为电力人工智能的一个子领域，是一种 利用机器学习、模式识别、数字图像处理等技术并结合电力专业领域知识解 决电力系统各环节中视觉问题的电力人工智能技术，涉及整个电力系统的“发 输变配用”各个环节。线路安装各种摄像头监控设备，利用无人机进行巡检 工作，对线路巡视内容进行拍照，产生大量视频和图像，需要结合电力系统 相关知识，才能更好的对其进行分析处理。在海量图像自动识别缺陷方面， 由于输电线路拍摄图像具有显著的多尺度结构特征，一方面近距离无人机拍 摄的图像背景复杂，受光线的影响会造成较高的误判；另一方面，无人机是 在不同的拍摄角度拍摄可能存在大量的遮挡情况，分离其局部轮廓结构是一 件困难的任务。
5.直升机巡检方法，起初利用超红色法，对用直升机在空中人为拍摄的图 像运用最小二乘拟合和几何特识别锈蚀部件。但该方法识别精度有限，检测 速度较慢。后来借助直升机搭载红外热像仪拍摄的实时红外视频序列，利用 hough变换、otsu自适应阈值算法和sift特征匹配等方法来确定图像中的缺 陷区域。随着科技不断提升，直升机巡检这种半人工的巡检方式并不能满足 智能电网发展需求。
6.近年来，依靠以深度学习为代表的新一代人工智能技术，巡检图像缺陷 识别算法不断创新，并逐步在架空输电线路无人机智能巡检项目中应用。随 着rcnn、fater
‑
rcnn和yolo等基于cnn的目标检测算法应用越来越成熟， 以及硬件运算水平的进一步提高，其在电力计算机视觉领域也发挥着特有的 优势。有人提出改进的fater
‑
rcnn算法，使用自建的设备样本库进行模型训 练，对电力巡检图像进行目标检测，提高了模型的检测精度和检测速度，但 对小目标的识别准确率不高，实时性得不到保证。
7.相比较于上述的方法，以基于深度学习中卷积神经网络(convolutionalneural networks,cnn)的yolo算法为代表的one
‑
stage目标检测算法在保 持较高识别准确率的前提下，其检测速度明显快于fater
‑
rcnn等基于roi (region of interest)的two
‑
stage目
标检测算法，能够满足系统实时性 需求，因此更适合在工业现场中应用。


技术实现要素：

8.针对现有技术中存在的不足，本发明提供了一种基于改进yolov3的输 电线缺陷多目标检测方法，采用注意力机制
‑
融合(attention
‑
fusion)的方式 改进原有fpn特征融合方式，训练中使用余弦学习率和同步归一化技术等一 些特殊的神经网络训练技巧，在不改变神经网络架构的前提下，不引入额外 的推理计算成本，显著提高yolov3的性能；用改进的算法来对自制的数据 集来进行训练学习，以此来实现输电线路缺陷多目标识别。
9.本发明的目的是这样实现的：一种基于改进yolov3的输电线缺陷多目 标检测方法，包括以下步骤：
10.步骤一：数据集图像筛选，获取的原始图片进行有目的的筛检，图片至 少包含导地线、防震锤、鸟巢、标识牌、导地线线夹和间隔棒六类之一，初 步选择符合要求的目标图片；
11.步骤二：对步骤一得到的图片进行图像增广，将筛选后的图片使用数据 增广方式进行处理，包括平移、旋转、翻转、缩放裁剪和旋转平移组合变换， 在处理过程中随机选择平移的距离和旋转的角度，得到目标数据集；
12.步骤三：步骤二完成数据增广后需要对目标数据集的部分照片进行图像 预处理操作，使用分段线性变换灰度变换方法、直方图均衡化方法、同态滤 波方法以及平滑去噪方法对图像进行处理；
13.步骤四：对步骤三预处理过的目标数据集进行整理与标注，批量修改图 片名称，批量化标注目标数据集；
14.步骤五：将特征注意力机制和融合两者“结合”对yolov3进行改进， 得到改进后的算法；
15.步骤六：使用前面标注好的目标数据集在改进后的算法中进行训练，训 练完成对待检测图片进行检测。
16.优选的，步骤五中算法改进具体包括：
17.注意力机制
‑
融合对于任何给定的变换，将输入特征图x1和x2分别经 过1
×
1卷积，得到t1和t2，其中，为尺 度空间表示一个空间结构，h代表特征图的高度，w代表特征图的宽度，c1 及c2表示通道数；
18.将t1，t2特征传递给最大平均池化操作，将其特征压缩到h
×
w空间 维度上，此时的特征变成某种意义上具有全局的感受野的向量，同时输出的 维度与输入的特征通道数相匹配，如以下两个公式：
[0019][0020]
[0021]
其中
[0022]
接着进行一个全连接层操作，使用卷积核大小为1
×
1，步长为1的卷积 代替传统意义上的全连接操作，经过全连接操作后，得到s1,s2；
[0023]
将s1,s2相加得到p，此时通道维度上原始特征重聚合，如公式所示：
[0024]
p＝s1+s2#(4.19)
[0025]
其中
[0026]
p经过sigmoid函数，输出的权重视为每个融合特征通道的重要性，再 经过矩阵运算把每个通道加权到x1和x2特征上，实现在通道维度上的对原 始特征的重标定融合，得到新的特征y；过程如下公式：
[0027]
y＝(x1+x2)*sigmoid(p)。
[0028]
优选的，步骤六中在训练的过程中使用余弦学习率和同步归一化技术进 行处理；
[0029]
余弦学习率处理具体为：
[0030]
使用梯度下降算法优化目标函数时，使用余弦函数来配合降低学习率， 学习率随迭代次数的变化规律如以下两个公式所示：
[0031][0032][0033]
其中η
min
，η
max
表示为学习率的范围，t
cur
表示为当前执行了多少个 epoch，t
max
表示为总的epoch数；训练过程中再做出如下修改：
[0034][0035]
在实际训练时，当轮到相应的epoch时，重置优化器的totalieration和初始 化t
cur
即可。
[0036]
与现有技术相比，本发明的优点在于：
[0037]
1、通过图像增广手段，扩大数据集样本数量，可以减少网络过拟合现象 的发生，提高检测算法的鲁棒性和检测精度；
[0038]
2、对部分样本图片进行图像预处理，分段线性变换灰度变换方法突出了 图片中感兴趣区域的灰度区间；直方图均衡化方法解决了图片中存在的过度 曝光或曝光不足问题；同态滤波消除了图片中存在的不均匀光照问题；平滑 去噪消除了外界因素导致的图像噪声；四种方法相结合使图像更清晰，特征 更明显，提高了图像使用价值；显著增强了检测小目标在背景中的特征，使 得检测小目标特征更加清楚，提升小目标的检测精度
[0039]
3、使用余弦学习率和同步归一化神经网络训练技巧，以余弦函数来配合 降低学习率，使学习率更加接近loss的全局最小值；使用同步归一化的方法 来解决多显卡训练时bn层失效的问题；改进后显著提升了网络的特征提取 能力，增强了检测结果；同时减少了网络训练时间。
[0040]
4、使用attention
‑
fusion代替concat融合方式改进原有的特征融合方式， 借助注意力机制思想建立特征通道间的联系，进一步提高网络的非线性能力， 突出重点信息，
抑制不相关信息，减少信息冗余，进一步加强融合后特征图 的特征表达能力，解决样本重叠带来的问题。
附图说明
[0041]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0042]
图1是本发明的开发环境配置。
[0043]
图2是本发明的网络部分参数设置。
[0044]
图3是本发明的输电线缺陷多目标检测方法识别流程图。
[0045]
图4是数据集示例图。
[0046]
图5是图像数据增广方式示例图。
[0047]
图6是图像预处理中分段线性变换的结果图。
[0048]
图7是图像预处理中直方图均衡化的结果图。
[0049]
图8是图像预处理中平滑处理的结果图。
[0050]
图9是数据集种类示例图。
[0051]
图10是labelimg操作界面图。
[0052]
图11是数据集标注结果图。
[0053]
图12是改进的yolov3结构图。
[0054]
图13是算法改进中注意力机制融合结构图。
[0055]
图14是不同算法的识别情况。
[0056]
图15是输电线路多类缺陷目标检测结果。
具体实施方式
[0057]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0058]
本发明使用的深度学习训练平台配置如图1所示，网络部分参数设置如 图2所示。
[0059]
图3是本发明输电线缺陷多目标检测方法识别流程图，其包含以下步骤：
[0060]
步骤一：数据集图像筛选
[0061]
研究的输电线路数据集包括间隔棒、防震锤、鸟窝、标识牌、导地线、 导地线线夹六类样本组成。这六类部件是输电线路重要的组成部分，也是电 力巡检中极为重要的一环。所以对所有图像进行筛查，选择包含这六类部件 的图片来作为数据集，如图4所示。
[0062]
步骤二：图像增广
[0063]
借助matlab软件平台对样本图片进行移、旋转、翻转、缩放裁剪和 旋转平移组合变换的这五种处理方式，在处理过程中随机选择平移的距离和 旋转的角度，增加样本的多样性，得到大批量样本数据集，图像数据增广案 例如图5所示。
[0064]
所使用的数据增广方法在实际操作时默认是以图像为中心点进行的。从 数学的角度，具体可以分为如下几个步骤：
[0065]
1.将旋转点移动到原点处；
[0066]
2.绕原点进行旋转；
[0067]
3.再将旋转点移回到原来的位置。
[0068]
假设图像的原始坐标为[x0,y0,1]
t
，平移后的坐标为[x,y,1]
t
，则平移前 和平移后的坐标关系为：
[0069][0070]
图像平移是指所有的像素在x和y方向上的平移和，平移对应的数学矩阵 为：
[0071][0072]
其中d
x
，d
y
，分别表示水平和垂直方向移动的距离。
[0073]
图像旋转主要是通过指定的旋转中心点(默认为图像中心点)进行任意 角度的旋转，数学矩阵表示为：
[0074][0075]
其中θ为旋转的角度(非弧度制)。
[0076]
图像翻转包括水平翻转和垂直翻转，水平翻转数学矩阵表示为：
[0077][0078]
垂直翻转数学矩阵表示为：
[0079][0080]
深度学习任务中使用图像裁剪常用的做法是将原图缩放原图的某一倍 (本系统为1.1倍)，然后在缩放后图片上进行裁剪操作，缩放数学矩阵表示 为：
[0081][0082]
在深度学习任务中数据增广一般会采用多种组合的数据增广方式，由矩 阵运算知识可知，不同的组合顺序结果是不一样的。为了更直观的解释这个 过程，假定平移变换矩阵为h
shift
，旋转变换矩阵为h
rotate
。主要使用平移 旋转组合数据增广方式，则存在两种不同的组合变换。
[0083]
一是先平移再旋转，则其变换结果数学矩阵可表示为:
[0084][0085]
二是先旋转再平移，则其变换结果数学矩阵可表示为:
[0086][0087]
步骤三：图像预处理
[0088]
1)使用分段线性变换灰度变换方法
[0089]
突出感兴趣区域的灰度区间，相对抑制那些不感兴趣的灰度区间，处理 结果如图6所示。
[0090]
分段线性变换的数学表达式为：
[0091][0092]
式中对灰度区间[a,b]进行线性拉伸，则灰度区间[0,a]和[b,f
max
]被压缩。
[0093]
2)使用直方图均衡化方法
[0094]
如图7所示，使用直方图均衡化方法，可使得图像的灰度均匀分布或灰 度间距拉开，从而达到增大对比度，使图片变得清晰的目的。
[0095]
设原始图像在(x,y)处的灰度为f，取值范围为[0,l
‑
1]，f＝0时表示黑 色，f＝l
‑
1时表示白色，均衡化后的灰度为j，则该变换过程可描述为：
[0096]
j(x,y)＝t[f(x,y)],0≤f≤l
‑1[0097]
其中变换t需满足条件：t(r)在灰度区间[0,l
‑
1]上严格递增；当 0≤f≤l
‑
1时，0≤t(r)≤l
‑
1，其中l≤256。
[0098]
累计分布函数(cdf)正好满足上述两个条件，其数学表达式为：
[0099][0100]
其中ω是形式积分变量；
[0101]
为寻找变换后随机变量s的概率密度函数p
s
(s)：
[0102][0103][0104]
进一步可得
[0105][0106]
所以图像均衡变换t(r)取决于p
r
(r)，但p
s
(s)始终满足均匀分布，和p
r
(r) 的形式不存在关联。由于图像像素分布是离散的，则累计分布函数的离散形 式表达式为：
[0107][0108]
其中0≤k≤l
‑
1，mn为图像像素总数，n
k
表示灰度为r
k
的像素个数， 可见，均衡后各像素的灰度值s(k)可直接由原图像的直方图算出。
[0109]
3)采用同态滤波的方法
[0110]
在拍摄过程中，一类图像由于部件受到不均匀的光照，导致其灰度级动 态范围较大，黑色与白色形成较为强烈的反差，看不清细节，这时候采用一 般的分段灰度线性变换无法解决这类问题。而同态滤波则可以消除不均匀光 照带来的不利影响，增强图像细节。
[0111]
4)使用平滑去噪处理图像
[0112]
考虑到检测现场环境的复杂性和图像采集过程中引入的图像噪声，会严 重影响图像的质量，需要使用适当的方法消除此类影响。经过调研发现大部 分噪声属于随机信号，对图像的影响是独立的，使用低通滤波对图像进行平 滑去噪处理，处理效果如图8所示。
[0113]
设待处理像素为f(x,y)，处理后的图像为g(x,y)，则平滑处理过程可描 述为：
[0114][0115]
式中，t≥0，q为邻域s中像素的个数。
[0116]
步骤四：数据集整理与标注
[0117]
1)编写python脚本批量修改图片名称，以六位数字命(000000～999999)。
[0118]
2)数据集划分为目标检测和故障异物识别两大类，包括导地线、防震锤、 鸟巢、标识牌、导地线线夹和间隔棒六大类，如图9所示。按比例随机划分 为训练集、测试集和验证集。
[0119]
3)使用labelimg标注工具批量化标注数据集，如图10、图11所示。生 成xml文件；
[0120]
4)对数据集及xml文件进行整理，打包成数据集文件夹。
[0121]
步骤五：算法改进
[0122]
改进后的yolov3结构如图12所示
[0123]
注意力机制
‑
融合(attention
‑
fusion)方法:
[0124]
attention
‑
fusion通过注意力机制建立增强不同特征图之间的联系来缓解 不一致问题，其结构如图13所示。
[0125]
与采用逐元素相加和逐行相加两种特征融合方式不同，本发明的关键思 想是利用注意力机制建立特征通道间的联系。它包括两个主要步骤：特征注 意力提取和特征融
合。
[0126]
旨在通过建模不同特征图之间其卷积特征的通道间的相互依赖关系，达 到提高网络表达能力的目的，学习利用不同特征图之间的全局信息，选择地 强调关键信息，抑制无用的信息。
[0127]
attention
‑
fusion对于任何给定的变换，将输入特征图x1和x2分别经 过1
×
1卷积，得到t1和t2。其中
[0128]
将t1，t2特征传递给最大平均池化操作，将其特征压缩到h
×
w空间 维度上，此时的特征变成某种意义上具有全局的感受野的向量，同时输出的 维度与输入的特征通道数相匹配。如下以下两个公式：
[0129][0130][0131]
其中
[0132]
接着就是一个全连接层操作，这里依旧使用卷积核大小为1
×
1，步长为 1的卷积代替传统意义上的全连接操作，来减少信息冗余，降低计算量。经 过全连接操作后，得到s1,s2。
[0133]
将s1,s2相加得到p，此时通道维度上原始特征重聚合，如公式所示：
[0134]
p＝s1+s2#(4.19)
[0135]
其中
[0136]
p经过sigmoid函数，输出的权重视为每个融合特征通道的重要性，再 经过矩阵运算把每个通道加权到x1和x2特征上，实现在通道维度上的对原 始特征的重标定融合。过程如下公式：
[0137]
y＝(x1+x2)*sigmoid(p)；
[0138]
步骤六：模型训练改进
[0139]
1)余弦学习率
[0140]
使用梯度下降(gradient descent)算法优化目标函数时，使用余弦函数 来配合降低学习率。学习率随迭代次数的变化规律如以下两个公式所示：
[0141][0142][0143]
其中η
min
，η
max
表示为学习率的范围，t
cur
表示为当前执行了多少个 epoch，t
max
表示为总的epoch数。
[0144]
本发明为了实现方便，做出如下修改：
[0145][0146]
这样在实际训练时，当轮到相应的epoch时，重置(reset)优化器的 totalieration和初始化t
cur
即可。
[0147]
2)同步归一化技术 同步归一化，即把bn参数融合至conv层中，其原理如下：
[0148][0149][0150]
y
bn
＝w
merge
x+b
merge
[0151]
其中w
merge
为融合后的权重，w为融合前的权重，var[x]为输入特征x的 方差，e[x]为输入特征x的数据集统计均值，b
merge
为融合后的偏置，b为融 合前的偏置，γ，ε和β为学习参数，y
bn
为融合后的输出。
[0152]
下面对设计的算法进行实验测试。
[0153]
为了验证改进算法的是否真实有效，是否达到预期目的，首先使用通用 的目标检测数据集voc2014数据集，保证实验环境的一致的情况下，对改 进算法进行验证。
[0154]
图14为不同算法识别情况的对比，从图中可以看出本发明提出的改进算 法在识别准确率方面优于其他经典的目标检测算法，检测的map为81.6％。
[0155]
部分图片检测结果如图15所示。本发明算法对于鸟巢、间隔棒、接地线 松股、杆号牌褪色识别效果良好，但对于防震锤容易出现漏检情况，原因可 能是背景颜色较暗，目标颜色与背景相近导致特征不明显。
[0156]
并且由于目前没有一个确切标准来区分防震锤正常和滑移之间的精确关 系，对在对此缺陷进行标注时存在疑虑，故此处不对防震锤滑移缺陷做过多 关注。
[0157]
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当 指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下， 还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要 求的保护范围内。