一种电力设备导体插接位置的X射线影像自动检测方法与流程

本申请涉及影像检测领域，尤其涉及一种电力设备导体插接位置的x射线影像自动检测方法。

背景技术：

随着科技发展，智能电网建设目前备受关注，电力设备的状态检测及性能评价向着精细化及智能化的方向发展。气体绝缘金属全封闭开关gis设备、罐式断路器、开关及输电线缆等封闭式设备，是电力系统的重要枢纽设备，承担着变电及输电的重任。对于gis类设备，其内部结构复杂，不易拆卸，导体、触头等连接件被密封在金属外壳中，插接位置的有效接触深度是否满足要求无法用肉眼监测到，其他检测手段也很难直观的定性及定量分析，如果导体插接深度不够而虚接触，导致导体温度过高，从而使得导体表面氧化加速加剧接触电阻增大，如此循环，最后导致拉弧，甚至电力设备发生爆炸导致火灾造成大范围损失。对于架空线路的压接部位，铝压接管及钢锚的压接位置，决定了导线连接的承力范围，压接位置错误将导致线路承载力下降，发生断线停电事故，综上所述，导体插接位置能否准确检测对电网安全运行至关重要。

为了能够确切的知道导体插入的位置，以保证设备安全稳定地运行。x射线数字成像技术是目前针对gis设备内部情况判断最直接的方法，它可以通过透视成像及计算检测出导体插接深度。相比其他判断方法，它的结果能在刀闸位置处于临界值时为设备可否继续安全运行提供有力依据。同医疗行业x射线检测图像需要专业医生诊断一样，电力设备结构及材质的复杂性，对检测及诊断人员的技术水平要求更高，专业技术人员的短缺与x射线检测工作量日益增长的矛盾越来越突出，由于工作人员技术水平不足或人工x射线检测劳动强度大而产生视觉疲劳等情况，设备内部连接件插接位置的判断可能会出现错误，导致不必要的事故发生。

为此，提出电力设备x射线图像的自动检测方法，提高图像诊断的效率及可靠性。本申请提供了一种基于retinanet目标检测技术的电力设备连接件插接位置x射线影像自动检测方法，该方法能够准确、快速的识别出导体、触头、连接件的插入深度或相对位置，提高x射线获取检测结果的诊断效率及准确性，并实现电力设备x射线图像的智能诊断及数字化应用，保障电力设备的安全稳定运行。

技术实现要素：

本申请提供了一种电力设备导体插接位置的x射线影像自动检测方法，以解决电力设备结构及材质的复杂性对检测及诊断人员的技术水平要求更高，专业技术人员的短缺与x射线检测工作量日益增长的矛盾越来越突出，由于工作人员技术水平不足或人工x射线检测劳动强度大而产生视觉疲劳等情况，设备内部连接件插接位置的判断可能会出现错误，导致不必要的事故发生的问题。

本申请提供一种电力设备导体插接位置的x射线影像自动检测方法，包括：

x射线成像，利用x射线数字成像技术获取gis设备导体插接或装配位置的x射线照片；

图像去噪及特征增强，通过线性降噪方法中的滤波算法对x射线导体插接位置原始图像去噪，清晰显现弹簧的具体位置及特征；

图像尺寸格式标准化，按照卷积神经网络对输入图像尺寸和格式的要求统一去噪后图像的尺寸和格式；

无监督数据增强-gan方法，通过基于生成对抗网络gan方法对标准图像进行x射线样本图像增强，生成训练数据图像；

数据标注，通过标注工具标注训练数据图像；

retinanet目标检测技术，基于retinanet目标检测技术自动检测训练数据图像的x射线导体插接边框位置；

获取检测结果，已标注的训练数据图像按比例分为训练集、验证集和测试集，训练集送入检测网络模型中训练，经深度网络resnet初步提取特征，特征重组生成不同尺度的特征图，送入分类和回归子网络得出导体插接的具体位置并给出相应类别。

可选的，所述图像去噪及特征增强的步骤包括：

通过3×3的边界增强卷积核、锐化卷积核和平滑卷积核对x射线导体插接位置原始图像进行滤波操作，对原始图像像素进行卷积遍历，截取和卷积核同等大小的像素矩阵进行卷积运算，对输入图像灰度值进行非线性操作，使输出图像灰度值和输入图像灰度值呈指数关系，其公式如下所示：

公式中的指数为γ，其中vin的取值范围为0到1，因此需要进行归一化操作再取指数。

可选的，所述图像尺寸格式标准化的步骤包括：

所述去噪后图像的尺寸设定为256×256，格式统一为jpg格式。

可选的，所述无监督数据增强-gan方法的步骤包括：

采用基于生成对抗网络gan方法进行x射线样本图像增强，其中生成对抗网络由一个生成器g和一个判别器d组成，生成器不断训练输入其中的随机噪声使其拟合原始图像数据集的空间分布，从无到有生成与原始图像相似的样本并混淆判别器，判别器对于输入其中的伪造样本的输出接近于0，对于真实样本的输出接近于1；生成对抗网络的生成模型g的输入为二维高斯模型中一个随机的向量z，生成模型的输出是一张伪造的导体插接位置的合成图像g(z)，通过索引获取原始图像数据集中的导体插接位置的真实图像x，将导体插接位置的合成图像g(z)和真实图像x同步传给判别模型d，判别模型给出判别结果,使得生成模型生成的图片质量提高，优化目标函数如下所示：

可选的，所述数据标注的步骤包括：

数据扩充后通过标注工具对图片数据进行标注，插入到一根弹簧位置的标注为“one_abnormal”,插入到两根弹簧位置的标注为“two_abnormal”，插入到三根弹簧位置的标注为“three_normal”，图片与标签放在同一文件夹中，已插入的标签存放在一个.json文件中，文件内容包括文件夹名称、图片名、文件路径、图片大小、目标的类别名称和边框坐标。

可选的，所述retinanet目标检测技术的步骤包括：

所述基于retinanet目标检测技术的电力设备导体插接位置x射线影像自动检测方法所搭建的深度网络模型包括骨干网络resnet+fcn和2个特定任务的子网络，输入图像经resnet特征提取，得到p3～p7特征图金字塔，其中下标l表示特征金字塔的层数，得到的特征金字塔每层256通道；随着卷积深入导致空间分辨率减少，空间信息丢失，检测到高级语义信息，构建出具有高分辨率和丰富语义的层，但由于不断上下采样，目标位置发生改变，故在重新构建的层和相应的特征图之间构建横向连接，即concatenate操作；

retinanet的损失函数分为3项，第一项为边框回归损失，第二项为置信度损失，第三项为分类损失，其中：

a.边框回归损失:

ciou损失是一种改进的iou损失计算方法，其中lciou表示边框回归损失，iou(bt,bp)表示真实框b^t与预测框b^p之间的交并比，rciou是惩罚项，其第一项中，表示真实框中心点与预测框中心点之间的欧式距离平方，c表示真实框b^t与预测框b^p的最小包围框的对角线长度；其第二项中，α是一个正数，ν用来测量长宽比的一致性，αν的作用是控制预测框的宽高与真实框的宽高接近，w^t、h^t表示真实框的宽高，w^p、h^p表示预测框的宽高；

b.置信度损失:

置信度损失衡量预测框内是否存在目标，采用二分类交叉熵损失；

上式中，分别表示置信度分数的标签和预测值；和的取值分2种情况:

②表示在网格i中有目标；

②表示在网格i中无目标；

c.类别损失:

由于x射线影像中导体插接的位置在整张图片占比很小，包含导体的候选区域少于不包含导体的候选区域，故使用分类损失函数focalloss替换原有的交叉熵损失(crossentropy,ce)来解决，模型预测某个网格中有目标，则依上式进行计算，其中和分别表示当前目标的类别标签和预测概率，训练初始阶段由于正样本和负样本的分类概率基本一致，无法抑制easyexample，故对最后一层卷积的偏置微小改动，将其初始化为一个特殊值b＝-log((1-π)/π)，π取0.01，提高训练初始阶段正样本的分类概率。

可选的，所述获取检测结果的步骤包括：

将已标注的导体插接位置图像按7:2:1的比例分为训练集、验证集和测试集，其中训练集被送入检测网络模型中训练，经深度网络resnet初步提取特征，在fpn(特征金字塔网络)中重组生成不同尺度的特征图，送入分类和回归子网络得出导体插接的具体位置并给出相应的类别，其中fpn中每一层的锚点比率为{1:2,1:1,2:1}；训练过程中，优化器选择adam(adaptivemomentestimation)算法，学习率在10000次迭代以前为0.001，之后为0.0001，总迭代次数20000次，网络输出多个候选框，根据nms算法筛选后为最终的检测边框输出；为了评估模型的性能，输入一张测试用导体插接位置图像，通过训练好的图像检测模型判断图像中导体插入的具体位置及缺陷的具体类型。

由以上技术方案可知，本申请提供一种电力设备导体插接位置的x射线影像自动检测方法，所述方法包括x射线成像，利用x射线数字成像技术获取gis设备导体插接或装配位置的x射线照片；图像去噪及特征增强，通过线性降噪方法中的滤波算法对x射线导体插接位置原始图像去噪，清晰显现弹簧的具体位置及特征；图像尺寸格式标准化，按照卷积神经网络对输入图像尺寸和格式的要求统一去噪后图像的尺寸和格式；无监督数据增强-gan方法，通过基于生成对抗网络gan方法对标准图像进行x射线样本图像增强，生成训练数据图像；数据标注，通过标注工具标注训练数据图像；retinanet目标检测技术，基于retinanet目标检测技术自动检测训练数据图像的x射线导体插接边框位置；获取检测结果，已标注的训练数据图像按比例分为训练集、验证集和测试集，训练集送入检测网络模型中训练，经深度网络resnet初步提取特征，特征重组生成不同尺度的特征图，送入分类和回归子网络得出导体插接的具体位置并给出相应类别。

本申请提供的一种电力设备导体插接位置的x射线影像自动检测方法具有检测速度快、精度高、可靠性强的优点，解决了gis、断路器、导线、电缆等电力封闭式设备装配及动作位置x射线图像诊断效率低、可靠性差、x射线自动化检测设备智能化水平低的问题，在实现gis、断路器、输电线缆压接部位等x射线数字成像的基础上，利用深度学习的智能识别方法快速准确的检测出图像中导体及触头插接位置是否正常，实现电力设备内部相对位置的自动检测，提高x射线检测图像的诊断效率及可靠性，并提升机器人等自动化检测设备的智能化水平。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要通过的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的一种电力设备导体插接位置的x射线影像自动检测方法的整体流程示意图；

图2为本申请提供的一种电力设备导体插接位置的x射线影像自动检测方法中图像预处理的流程示意图；

图3为本申请提供的一种电力设备导体插接位置的x射线影像自动检测方法中基于生成对抗网络的导体插接位置数据增强流程示意图；

图4为本申请提供的一种电力设备导体插接位置的x射线影像自动检测方法中基于retinanet目标检测方法的导体插接位置检测方法示意图；

图5为本申请提供的一种电力设备导体插接位置的x射线影像自动检测方法中导体插接位置的测试样例示意图。

具体实施方式

下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。

鉴于电力设备x射线图像样本少的原因，本申请提出了基于深度生成对抗网络gan进行扩充缺陷样本，从而解决样本量不足的问题，深度网络模型retinanet负责预测出导体插接的精准位置，以及判断插接是否正常。首先对gis设备导体插接或装配位置利用x射线数字成像技术获取x射线照片，然后对所拍摄的原始照片做预处理；对预处理之后的图片利用传统的数据增强方式进行数据扩充，再利用生成对抗网络对数据做进一步的扩充；对扩充后的图像中导体插接的位置做标注并用标注完成的数据训练检测网络，并且用新的测试数据评估训练好的模型的性能。

参见图1，为本申请提供的一种电力设备导体插接位置的x射线影像自动检测方法的整体流程示意图，包括：

x射线成像，利用x射线数字成像技术获取gis设备导体插接或装配位置的x射线照片；

图像去噪及特征增强，通过线性降噪方法中的滤波算法对x射线导体插接位置原始图像去噪，清晰显现弹簧的具体位置及特征；

图像尺寸格式标准化，按照卷积神经网络对输入图像尺寸和格式的要求统一去噪后图像的尺寸和格式；

无监督数据增强-gan方法，通过基于生成对抗网络gan方法对标准图像进行x射线样本图像增强，生成训练数据图像；

数据标注，通过标注工具标注训练数据图像；

retinanet目标检测技术，基于retinanet目标检测技术自动检测训练数据图像的x射线导体插接边框位置；

获取检测结果，已标注的训练数据图像按比例分为训练集、验证集和测试集，训练集送入检测网络模型中训练，经深度网络resnet初步提取特征，特征重组生成不同尺度的特征图，送入分类和回归子网络得出导体插接的具体位置并给出相应类别。

在实际应用中，所述图像去噪及特征增强的步骤包括：

通过3×3的边界增强卷积核、锐化卷积核和平滑卷积核对x射线导体插接位置原始图像进行滤波操作，对原始图像像素进行卷积遍历，截取和卷积核同等大小的像素矩阵进行卷积运算，对输入图像灰度值进行非线性操作，使输出图像灰度值和输入图像灰度值呈指数关系，其公式如下所示：

公式中的指数为γ，其中vin的取值范围为0到1，因此需要进行归一化操作再取指数。

由于导体中弹簧的特征受到周围噪声的影响，使得屏蔽罩和里面的弹簧无法区分清楚，从而影响获取检测结果，所以需要通过线性降噪方法中的滤波算法对原始图像去噪，使得弹簧的具体位置及特征能够清晰地显现出来。

参见图2，为本申请提供的一种电力设备导体插接位置的x射线影像自动检测方法中图像预处理的流程示意图，在实际应用中，所述图像尺寸格式标准化的步骤包括：

所述去噪后图像的尺寸设定为256×256，格式统一为jpg格式。

由于卷积神经网络对输入图像的尺寸和格式有一定的要求，所以需要对导体插接位置的图像尺寸和格式进行统一。经过上述的预处理之后，x射线导体插接位置的图像数据集的尺寸及图像质量已经符合模型训练的要求，但是深度学习对于数据集中图像的数量要求较大，而目前所采集到的图像数据集数量大概只有不到50张，与模型训练所需的数据量相差甚远，不足以满足模型训练的要求。因此，对这些数据在拍摄角度、拍摄距离、对比度变换、旋转、平移、裁剪、翻转和亮度变换等方面做出多种变换，进行传统方法的数据增强，以形成更多的训练数据。由于传统方法生成的数据量有限，本申请采用基于生成对抗网络gan方法进行x射线样本图像增强，以生成更多接近真实数据分布的导体插接位置的图像。

参见图3，为本申请提供的一种电力设备导体插接位置的x射线影像自动检测方法中基于生成对抗网络的导体插接位置数据增强流程示意图，在实际应用中，所述无监督数据增强-gan方法的步骤包括：

采用基于生成对抗网络gan方法进行x射线样本图像增强，其中生成对抗网络由一个生成器g和一个判别器d组成，生成器不断训练输入其中的随机噪声使其拟合原始图像数据集的空间分布，从无到有生成与原始图像相似的样本并混淆判别器，判别器对于输入其中的伪造样本的输出接近于0，对于真实样本的输出接近于1；生成对抗网络的生成模型g的输入为二维高斯模型中一个随机的向量z，生成模型的输出是一张伪造的导体插接位置的合成图像g(z)，通过索引获取原始图像数据集中的导体插接位置的真实图像x，将导体插接位置的合成图像g(z)和真实图像x同步传给判别模型d，判别模型给出判别结果,使得生成模型生成的图片质量提高，优化目标函数如下所示：

所述判别器本质上属于分类器，其主要工作是区分真实样本和伪造样本。

在实际应用中，所述数据标注的步骤包括：

数据扩充后通过标注工具对图片数据进行标注，插入到一根弹簧位置的标注为“one_abnormal”,插入到两根弹簧位置的标注为“two_abnormal”，插入到三根弹簧位置的标注为“three_normal”，图片与标签放在同一文件夹中，已插入的标签存放在一个.json文件中，文件内容包括文件夹名称、图片名、文件路径、图片大小、目标的类别名称和边框坐标。

参见图4，为本申请提供的一种电力设备导体插接位置的x射线影像自动检测方法中基于retinanet目标检测方法的导体插接位置检测方法示意图，在实际应用中，所述retinanet目标检测技术的步骤包括：

所述基于retinanet目标检测技术的电力设备导体插接位置x射线影像自动检测方法所搭建的深度网络模型包括骨干网络resnet+fcn和2个特定任务的子网络，输入图像经resnet特征提取，得到p3～p7特征图金字塔，其中下标l表示特征金字塔的层数，得到的特征金字塔每层256通道；随着卷积深入导致空间分辨率减少，空间信息丢失，检测到高级语义信息，构建出具有高分辨率和丰富语义的层，但由于不断上下采样，目标位置发生改变，故在重新构建的层和相应的特征图之间构建横向连接，即concatenate操作；

retinanet的损失函数分为3项，第一项为边框回归损失，第二项为置信度损失，第三项为分类损失，其中：

a.边框回归损失:

ciou损失是一种改进的iou损失计算方法，其中lciou表示边框回归损失，iou(bt,bp)表示真实框b^t与预测框b^p之间的交并比，rciou是惩罚项，其第一项中，表示真实框中心点与预测框中心点之间的欧式距离平方，c表示真实框b^t与预测框b^p的最小包围框的对角线长度；其第二项中，α是一个正数，ν用来测量长宽比的一致性，αν的作用是控制预测框的宽高与真实框的宽高接近，w^t、h^t表示真实框的宽高，w^p、h^p表示预测框的宽高；

b.置信度损失:

置信度损失衡量预测框内是否存在目标，采用二分类交叉熵损失；

上式中，分别表示置信度分数的标签和预测值；和的取值分2种情况:

③表示在网格i中有目标；

②表示在网格i中无目标；

c.类别损失:

由于x射线影像中导体插接的位置在整张图片占比很小，包含导体的候选区域少于不包含导体的候选区域，故使用分类损失函数focalloss替换原有的交叉熵损失(crossentropy,ce)来解决，模型预测某个网格中有目标，则依上式进行计算，其中和分别表示当前目标的类别标签和预测概率，训练初始阶段由于正样本和负样本的分类概率基本一致，无法抑制easyexample，故对最后一层卷积的偏置微小改动，将其初始化为一个特殊值b＝-log((1-π)/π)，π取0.01，提高训练初始阶段正样本的分类概率。

深度学习目标检测方法中非常重要的一环是特征提取网络，它在目标检测框架中一般称为骨干网络。许多经典的卷积神经网络，如vgg、inception、densenet、resnet等多种网络结构在不同应用领域可供选择。另外，许多路径聚合网络如fpn，pan，bifpn，asff等往往能辅助加强卷积神经网络的特征提取能力。

检测网络主要包括：利用深度残差网络提取特征，然后通过特征金字塔网络将高层语义信息和低层细节信息进行融合，提取出的近距离拍摄的大导体插接位置和远距离拍摄的小导体插接位置特征，针对每个尺度的导体插接的位置特征做分类和坐标回归，以便准确检测出导体插入的精准位置并给出缺陷的具体类型。

参见图5，为本申请提供的一种电力设备导体插接位置的x射线影像自动检测方法中导体插接位置的测试样例示意图，在实际应用中，所述获取检测结果的步骤包括：

将已标注的导体插接位置图像按7:2:1的比例分为训练集、验证集和测试集，其中训练集被送入检测网络模型中训练，经深度网络resnet初步提取特征，在fpn(特征金字塔网络)中重组生成不同尺度的特征图，送入分类和回归子网络得出导体插接的具体位置并给出相应的类别，其中fpn中每一层的锚点比率为{1:2,1:1,2:1}；训练过程中，优化器选择adam(adaptivemomentestimation)算法，学习率在10000次迭代以前为0.001，之后为0.0001，总迭代次数20000次，网络输出多个候选框，根据nms算法筛选后为最终的检测边框输出；为了评估模型的性能，输入一张测试用导体插接位置图像，通过训练好的图像检测模型判断图像中导体插入的具体位置及缺陷的具体类型。

本申请提出的一种电力设备导体插接位置的x射线影像自动检测方法打破了传统电力系统巡检方式的弊端，无需大量专业人员寻找图片中的缺陷部位，考虑到实际情况中导体插接位置的缺陷样本不足引起的类别不平衡给导体插接位置检测造成的影响，本申请提出用focalloss来代替原有的交叉熵损失。目标检测算法在训练过程中将更多的注意力放在困难、分类错误的样本上，该方法无论在检测实时性还是检测精度方面均优于传统检测方法，具有以下优点：

(1)检测效率高。该方法是基于回归的目标检测算法采用单一卷积神经网络直接输出获取检测结果，实现了端到端的检测，提高检测效率。

(2)召回率高。该方法中多尺度特征提取加入了fpn特征金字塔网络，将低层细节信息和高层语义信息融合，从而提高了小目标物体的召回率。

(3)精确度高。考虑到在图片中，目标比例通常小于背景比例，所以样本中负样本所占比例远远大于正样本，导致损失值太大，从而淹没了正样本的损失，鉴于此提出focalloss来减少负样本对损失值的贡献，提高目标的检测精度。

本申请提供的一种电力设备导体插接位置的x射线影像自动检测方法包括x射线成像，利用x射线数字成像技术获取gis设备导体插接或装配位置的x射线照片；图像去噪及特征增强，通过线性降噪方法中的滤波算法对x射线导体插接位置原始图像去噪，清晰显现弹簧的具体位置及特征；图像尺寸格式标准化，按照卷积神经网络对输入图像尺寸和格式的要求统一去噪后图像的尺寸和格式；无监督数据增强-gan方法，通过基于生成对抗网络gan方法对标准图像进行x射线样本图像增强，生成训练数据图像；数据标注，通过标注工具标注训练数据图像；retinanet目标检测技术，基于retinanet目标检测技术自动检测训练数据图像的x射线导体插接边框位置；获取检测结果，已标注的训练数据图像按比例分为训练集、验证集和测试集，训练集送入检测网络模型中训练，经深度网络resnet初步提取特征，特征重组生成不同尺度的特征图，送入分类和回归子网络得出导体插接的具体位置并给出相应类别。本申请具有检测速度快、精度高、可靠性强的优点，解决了gis、断路器、导线、电缆等电力封闭式设备装配及动作位置x射线图像诊断效率低、可靠性差、x射线自动化检测设备智能化水平低的问题，在实现gis、断路器、输电线缆压接部位等x射线数字成像的基础上，利用深度学习的智能识别方法快速准确的检测出图像中导体及触头插接位置是否正常，实现电力设备内部相对位置的自动检测，提高x射线检测图像的诊断效率及可靠性，并提升机器人等自动化检测设备的智能化水平。

以上显示和描述了本申请的基本原理和主要特征以及本申请的优点，对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。