一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法与流程

本发明涉及输电线路上悬垂线夹缺陷监测的技术领域，尤其是指一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法。

背景技术：

输电线路的安全关系到整个输电网络的安全运行，有效、准确、及时地监控输电线路上关键组件的状态能够保障电力人员对输电线路故障做出及时反应或是及早预防控制。而悬垂线夹是输电线路上连接和组合电力系统中的各类装置，起到传递机械负荷、电气负荷作用的一种金属附件，因悬垂线夹腐蚀或悬垂角过大容易导致连接线路的松动或是易受外力破坏。

本方法旨在发明一种基于机器视觉的悬垂线夹缺陷检测方法，该方法采用深度学习网络对无人机拍摄的室外输电线路场景图片进行分割，精准定位悬垂线夹以及四个关键点坐标，并基于关键点坐标位置计算悬垂线夹倾角，基于hsv颜色模型定位悬垂线夹腐蚀区域。该方法能够精确计算输电线路上的悬垂线夹的倾角以及腐蚀面积，以提醒电力工作人员注意及时应对故障问题。

综合以上论述，发明一种基于机器视觉的悬垂线夹缺陷检测方法具有较高的实际应用价值。

技术实现要素：

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法，能够精准计算输电线路上的悬垂线夹的倾角以及腐蚀面积。

为实现上述目的，本发明所提供的技术方案为：一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法，包括以下步骤：

1)通过无人机采集输电线路上的图像，并通过网络传输到远程的服务器端；

2)采用mask-keypointsr-cnn网络对无人机图像进行分割和关键点检测，分割获得悬垂线夹的矩形区域图像、二值化掩膜及上、下、左、右四个关键点坐标；

3)通过悬垂线夹上、下、左、右四个关键点坐标，计算上下两关键点的直线方程以及左右两关键点的直线方程，基于两直线方程的斜率计算两直线的夹角，并将90度与该夹角的差的绝对值作为悬垂线夹倾角；

4)对悬垂线夹的矩形区域图像通过同态滤波算法进行数据增强，降低光照对于后续腐蚀检测的干扰，而通过数据增强后的悬垂线夹的矩形区域图像结合二值化掩膜计算获得悬垂线夹的精准分割图像，即提取精准的悬垂线夹图像；

5)将提取的悬垂线夹轮廓图像转到hsv颜色空间下，提取其h分量值，定位h分量值中满足设定区间的像素点的位置，并统计二值化掩膜数量以及h分量中满足设定区间的像素点的数量，计算腐蚀面积和评估腐蚀程度。

在步骤2)中，采用pytorch构建mask-keypointsr-cnn网络，该mask-keypointsr-cnn网络主要由基网络、区域建议网络rpn、roialign模块、分类分支、坐标回归分支、mask分支、keypoints分支组成；该mask-keypointsr-cnn网络推导包括以下步骤：

2.1)输入图像先通过基网络提取特征，获得不同尺度的特征图；

2.2)rpn进行区域建议，其在特征图上每个点生成不同尺度的候选框，并通过网络进行粗分类和粗定位，基于置信度和非极大抑制思想筛除大量候选框，将剩余候选框送入后续网络中；

2.3)将不同大小和尺度的候选框所在的特征图区域通过roialign模块输出得到固定尺寸的特征图，roialign先将候选框分割成固定个数个单元，每个单元的边界不进行量化，在每个单元中计算固定四个坐标位置，然后采用双线性内插的方法计算这四个位置的值，并基于这四个位置的值进行最大池化操作；

2.4)将固定大小的特征图作为分类分支、坐标回归分支、mask分支、keypoints分支的输入；其中，分类分支是以热编码形式输出特征图类别，坐标回归分支为预测候选框与真实目标区域的坐标、宽高偏差值，mask分支输出以0、1值表述的目标的二值化掩膜图像，keypoints分支输出以0、1值表示的目标关键点坐标的二值化掩膜图像；

将预测模型的权值写入网络中，输入测试图片进行前向计算，在网络输出端中，从分类分支得到悬垂线夹的类别置信度，坐标回归分支获得悬垂线夹的矩形框坐标，mask分支获得悬垂线夹的二值化掩膜图像，keypoints分支获得悬垂线夹的上、下、左、右四个关键点的二值化掩膜图像，从而通过分割获得悬垂线夹的矩形区域图像、二值化掩膜图像以及关键点坐标。

在步骤4)中，采用同态滤波算法对悬垂线夹矩形区域图像进行数据增强，通过在频域内分别处理照度和反射度对像元灰度值的影响，丰富图像的暗区表现，增强暗区的图像细节，而不损失亮区的图像细节，即在丰富暗区的图像细节又不损失亮区图像表现，从频域上消除光照不均匀的影响，从而降低因光照变化导致的阴影部分对于后续腐蚀判断的影响；

对于图像f(x,y)，其中x表示像素点的横坐标值，y表示像素点的纵坐标值，f(x,y)表示像素点的三色值，将f(x,y)表示为照射分量i(x,y)和反射分量r(x,y)的乘积，如下式所示：

f(x,y)＝i(x,y)·r(x,y)

其中，0＜i(x,y)＜∞，0＜r(x,y)＜1；

对式两边取对数，并做傅里叶变化，得到线性组合的频率域，如下式所示：

lnf(x,y)＝lni(x,y)+lnr(x,y)

fft(lnf(x,y))＝fft(lni(x,y))+fft(lnr(x,y))

式中，ln代表取对数操作，fft代表傅里叶变换操作；

然后使用高斯高通滤波器对照射分量和反射分量进行调整，增强高频r(x,y)分量，加强对比度，同时衰减低频i(x,y)分量，降低动态范围，经过滤波之后再进行傅里叶反变换以及取反对数，最终得到变换之后的效果图，即进行同态滤波后与二值化掩膜计算得到的悬垂线夹的精准分割图像。

在步骤5)中，将图像转到hsv颜色空间中，将色相、饱和度、亮度分量分离，由色相来对腐蚀点进行判断，进一步降低光照对腐蚀算法的影响，且采用h分量值能精准定位腐蚀点，并结合二值化掩膜能够计算出腐蚀比例，更有效地评估当前悬垂线夹的腐蚀程度。

本发明与现有技术相比，具有如下优点与有益效果：

1、采用深度学习实例分割算法和关键点检测算法对悬垂线夹进行精准分割和关键点定位，提高了算法的鲁棒性，保证算法在复杂场景、复杂天气以及目标多样的情况下均具有较好的表现效果。

2、采用关键点检测思路来进行悬垂线夹倾角计算，相比图像方式检测倾角缺陷，该方法能够更加精确地计算悬垂线夹的倾斜角度并进行量化，使得结果更加可信。

3、采用同态滤波对局部图像进行数据增强，降低光照对于腐蚀检测的影响。局部图像数据增强降低了算法的处理时长，并保证了算法在不同光照或是悬垂线夹存在阴影遮挡情况下的表现。

4、基于hsv颜色空间模型进行腐蚀检测并计算腐蚀面积。hsv颜色空间由色调(h)、饱和度(s)、明度(v)组成，相对于rgb空间更能直观表达色彩的明暗、色调以及鲜艳程度，便于腐蚀与正常区域分量值的对比。

附图说明

图1为本发明逻辑流程示意图。

图2为本发明的无人机采集的输电线路图像。

图3为mask-keypointsr-cnn的网络结构图。

图4为resnet-50网络结构图。

图5为网络模块a所示。

图6为idblock结构图。

图7为convblock结构图。

图8为mask预测分支网络结构图

图9为keypoints预测分支网络结构图

图10为分割得到的矩形区域图像。

图11为mask分支输出的二值化掩膜图像。

图12为关键点在矩形区域图像上的结果图。

图13为夹角示意图。

图14为分割图像。

图15为三分量结果图(从左至右依次为h分量图、s分量图、v分量图)。

图16为腐蚀区域效果图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的基于机器视觉的输电线路上悬垂线夹缺陷检测方法，其具体情况如下：

步骤1：无人机对输电线路进行固定线路巡检，并在杆塔附近拍摄高压杆塔现场图像，如图2所示，并通过4g网络远距离传输到远程服务器端。

步骤2：将无人机采集的现场图像按比例划分训练数据集和测试数据集，采用labelme软件对训练数据集中的悬垂线夹的边缘进行点集标注，同时对悬垂线夹上、下、左、右四个关键点进行点标注，获得对应图像的json格式的标签文件，标注文件包括图像中导线目标的矩形坐标数据、掩膜点集数据、类别信息以及关键点位置信息，并将图片和标签制作成训练数据集。

步骤3：采用pytorch库构建mask-keypointsr-cnn网络，mask-keypointsr-cnn网络结构如图3所示，主要由基网络resnet-50、区域建议网络(rpn)和区域特征聚集模块(roialign)、分类分支、坐标回归分支、mask分支、keypoints分支组成。图中，conv为传统卷积层，softmax为用于分类输出层，fc为全连接层。整体网络其主要结构介绍如下：

基网络resnet-50整体结构如图4所示，主要由idblock和convblock组成，idblock和convblock主要由非线性激活函数relu和网络模块a组成，模块a结构如图5所示，idblock结构如图6所示，convblock结构如图7所示。图中conv2d为传统卷积层，batchnorm为批归一化层，relu为非线性激活函数，maxpool为最大池化层，avgpool为平均池化层，fc为全连接层。

区域建议网络rpn由1个3×3、两个1×1卷积层和非线性函数softmax构成，主要用于对基网络中最后特征图上生成的先验的候选框进行粗分类和坐标回归，并基于分类置信度和矩形框的重叠度进行筛选，得到一定数量的潜在候选框，用于后续处理。

roialign主要是将候选框所在的特征图进行池化得到固定大小的特征图。即将每个候选框中的特征图先平均划分为14×14的单元格，对每个单元的边界不进行量化操作，然后在每个单元中计算固定四个坐标位置，双线性插值计算四个坐标的值，基于四个坐标的值进行最大池化操作；

预测输出分支包括分类分支、坐标回归分支、mask分支和keypoints分支。分类分支由3×3、1×1卷积层和输出层softmax组成，输出候选框中的目标类别以及置信度。坐标回归分支同样由3×3、1×1卷积层和输出层softmax组成，输出候选框与真实框之间的坐标、宽高偏差值。mask分支用于预测目标的二值化掩膜，为一个全卷积的网络结构，同样采用resnet-50网络结构，中间网络层的通道数channel均为256，其最后一层的通道数为类别数量，此处为2，结构示意图如图8所示。keypoints分支用于检测目标的关键点位置，同样采用resnet-50网络结构，中间网络层的通道数channel均为512，其最后一层的通道数为关键点数量，此处为4，网络结构图如图9所示，与mask分支区别在于在训练中，mask分支预测的标签为二值化掩膜图像而keypoints分支的标签为关键点的掩膜图像，在预测过程中，mask分支预测输出目标的二值化掩膜，keypoints分支预测输出关键点的掩膜图像。

输入图像先通过resnet-50提取特征，rpn进行区域建议，获得大量潜在候选框，然后每个候选框所在特征图区域通过roialign得到固定尺寸的特征图，将该特征图作为分类分支、坐标回归分支、mask分支和keypoints分支的输入，在mask分支获得目标的二值化掩膜，在分类分支获得目标的类别结果，在坐标回归分支获得目标定位偏差值用于坐标校正，在keypoints分支获得目标的四个关键点的掩膜图像。

步骤4：将实例分割和关键点检测训练数据集作为输入输入mask-keypointsr-cnn网络中，构建分类损失、坐标损失、掩膜损失和关键点损失之和的损失函数作为网络训练监督信号。设置超参数，batch设置为4，初始学习率设置为0.001，采用adam优化方法进行训练，当网络收敛时终止网络训练，获得实例分割和关键点检测预测模型。测试时，无人机采集的现场图像进行缩放处理，缩放到800×800大小，然后采用mask-keypointsr-cnn预测模型对缩放后的图像进行预测。在分类分支获得悬垂线夹的置信度，在坐标回归分支获得悬垂线夹定位偏差值用于坐标校正，通过分类和坐标回归分支的输出得到悬垂线夹的矩形框的左上角和右下角的坐标。根据矩形框坐标将悬垂线夹从现场图中裁剪出来。在mask分支获得悬垂线夹的二值化掩膜图，在keypoints分支获得悬垂线夹四个关键点的二值化掩膜图像。图10为mask-keypointsr-cnn预测模型分类和回归分支得到的矩形区域图像。图11为mask-keypointsr-cnn预测模型的mask分支输出的二值化掩膜图像。图12为mask-keypointsr-cnn预测模型keypoints分支输出的关键点在矩形区域图像上的结果图。

步骤5：根据上、下、左、右四个关键点坐标，计算上、下两关键点的倾角θ1，计算左右两关键点倾角θ2，倾角的值域范围为[0°,180°]，计算上、下两关键点构成的直线方程与左、右两关键点构成的直线方程之间的夹角θ＝|θ1-θ2|，最后计算该夹角与直角之间的绝对值差γ＝|90°-θ|作为悬垂线夹的倾斜角度，夹角图如图13所示。

步骤6：根据关键点计算的倾角γ与设定倾角阈值γthresh的大下关系，判断该悬垂线夹的倾角是否满足安全需求，通常设倾角阈值γthresh为7°。当γ＞γthresh，则表示该悬垂线夹存在倾角过大的异常，当γ＜＝γthresh，则表示当前悬垂线夹的倾角处于正常状态。

步骤7：将mask-keypointsr-cnn预测模型分类和回归分支得到的矩形区域图10进行同态滤波数据增强处理。图像的同态滤波属于图像频率域处理范畴，目的是对像素灰度范围进行调整，从而消除图像上照明不均的问题，能够增强暗区的图像细节，而不损失亮区的图像细节。具体为设图像f(x,y)，其中x表示像素点的横坐标值，y表示像素点的纵坐标值，f(x,y)表示像素点的三色值。将f(x,y)表示为照射分量i(x,y)和反射分量r(x,y)的乘积。如式所示：

f(x,y)＝i(x,y)·r(x,y)

其中，0＜i(x,y)＜∞，0＜r(x,y)＜1。

对式两边取对数，并做傅里叶变化，得到线性组合的频率域，如下式所示：

lnf(x,y)＝lni(x,y)+lnr(x,y)

fft(lnf(x,y))＝fft(lni(x,y))+fft(lnr(x,y))

式中，ln代表取对数操作，fft代表傅里叶变换操作。

然后使用高斯高通滤波器对照射分量和反射分量进行调整，增强高频r(x,y)分量，加强对比度，同时衰减低频i(x,y)分量，降低动态范围。经过滤波之后再进行傅里叶反变换以及取反对数，最终得到变换之后的效果图。图14为对图10进行同态滤波后与二值化掩膜计算得到的悬垂线夹的精准分割图像。

步骤8：将分割图像由rgb色彩空间转到hsv颜色空间下，hsv颜色空间由色调(h)、饱和度(s)、明度(v)组成组成，其中h的范围是[0,360°)，代表色彩信息，即所处光谱颜色。s的范围是[0,1]，表示所选颜色的纯度与该颜色最大纯度之间的比例。v的范围是[0,1]，表示色彩的明亮程度。由rgb图像中像素点转hsv图像像素点的计算公式如下式所示：

max＝max(r,g,b)

min＝min(r,g,b)

s＝(max-min)/max/255

v＝max/255

其中，r,g,b分别表示当前像素点在rgb颜色空间中r,g,b分量值，表示红色、绿色、蓝色三原色的值。max表示r,g,b中的最大值，min表示r,g,b中的最小值。h表示当前像素点在hsv空间下的h分量值，s表示当前像素点在hsv空间下的s分量值，v表示当前像素点在hsv空间下的v分量值。图12转到hsv空间后其h、s、v三通道分量结果图如图15所示。

步骤9：遍历分割图的h分量图的所有像素点，若某像素点的h分量值满足设定的缺陷区间值，则标注该点为腐蚀点。在此处设置的缺陷区间为(0,14]，将腐蚀区域采用二值化图像表示，如图16所示。并统计腐蚀点的个数numserosion。同时统计二值化掩膜中1的个数numstotal作为悬垂线夹总体面积，以ratio＝numserosion/numstotal作为腐蚀面积比例。

步骤10：根据ratio以及设置的腐蚀等级区间，判定该悬垂线夹的腐蚀程度。腐蚀等级区域设置如下式所示：

综合步骤5的倾角结果判断该悬垂线夹的状态。

综上所述，在采用以上方案，本发明为检测悬垂线夹倾角缺陷和腐蚀缺陷提供了新的方法，采用深度学习、传统图像处理算法实现了对悬垂线夹倾角的精准计算以及腐蚀区域精准定位和腐蚀程度的精确评估，具有实际推广价值，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。