配网绝缘导线剥皮操作的视觉识别与控制方法与流程

1.本发明涉及计算机视觉技术和控制的技术领域，尤其涉及一种配网绝缘导线剥皮操作的视觉识别与控制方法。


背景技术：

2.随着国家经济的发展，配网绝缘导线的应用越来越广泛，继而在配网带电检修作业过程中有大量绝缘导线需要剥皮操作，以往手动式剥皮器应用较为普遍，手动剥皮器操作对于人员技能水平要求较高，作业效率较低，且该操作方式导线易被划伤，影响作业质量和电缆安全运行。
3.本技术在现有手动剥皮器基础上，提出了一种配网绝缘导线剥皮的视觉识别与控制方法，可实现自动剥皮操作，提高作业效率。


技术实现要素：

4.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
5.鉴于上述现有存在的问题，提出了本发明。
6.因此，本发明解决的技术问题是：现有技术需要人员具有较高的技术水平，且作业效率和质量较低的问题。
7.为解决上述技术问题，本发明提供如下技术方案：一种配网绝缘导线剥皮操作的视觉识别与控制方法，包括：
8.基于yolox-s目标检测算法建立绝缘导线识别模型；
9.获取配网架空绝缘导线剥皮时的高清图像，并将其输入至绝缘导线识别模型获得所述绝缘导线形态特征；
10.基于所述绝缘导线形态特征对剥皮机刀片的进给量进行调整。
11.作为本发明所述的配网绝缘导线剥皮操作的视觉识别与控制方法的一种优选方案，其中：所述绝缘导线识别模型采用改进yolox-s目标检测算法对绝缘导线高清图像进行剥皮过程形态检测，包括：
12.在原yolox-s网络基础上，对颈部使用小型双向特征金字塔网络进行改进，并采用giou-loss作为边界框损失函数。对于yolox-s主干网络部分，对其原有网络结构的中间层、中下层和底层这三个特征层进行特征提取，然后传入双向特征金字塔加强特征提取网络。但由于双向特征金字塔网络有5个输入特征层，所以将双向特征金字塔网络简化为3个输入特征层(记为小型双向特征金字塔网络)，以减少计算量和适用yolox网络。
13.作为本发明所述的配网绝缘导线剥皮操作的视觉识别与控制方法的一种优选方案，其中：所述小型双向特征金字塔网络，包括：
14.当输入大小为(640，640，3)时，小型双向特征金字塔网络的三个输入特征层分别
为为小型双向特征金字塔网络的每个特征融合节点都会给每个输入特征分别加权ωi，同时使用快速归一化公式训练这些权重。各融合节点输出的计算公式如下：
[0015][0016][0017][0018][0019]
其中，conv表示卷积操作，resize表示对输入进行上采样或下采样操作，ωi≥0是可学习的权重，ε＝0.0001是一个保证数值稳定的小量。
[0020]
作为本发明所述的配网绝缘导线剥皮操作的视觉识别与控制方法的一种优选方案，其中：所述小型双向特征金字塔网络输出三个加强特征提取后的特征层，其形状大小分别为别为经过解耦头预测后，每个特征层获得三个预测结果，分别是目标框的坐标、目标框前景背景判断、目标框的类别。
[0021]
作为本发明所述的配网绝缘导线剥皮操作的视觉识别与控制方法的一种优选方案，其中：所述giou-loss边界框损失函数表示为：
[0022][0023][0024]
其中，a是预测矩形框，b是真实矩形框，i是a与b交集面积，u是a与b并集面积，ac表示a与b的最小外接矩形面积。
[0025]
作为本发明所述的配网绝缘导线剥皮操作的视觉识别与控制方法的一种优选方案，其中：所述绝缘导线的形态特征，包括绝缘层、金属导线层和金属导线刮痕。
[0026]
作为本发明所述的配网绝缘导线剥皮操作的视觉识别与控制方法的一种优选方案，其中：所述绝缘导线识别模型将不同形态的绝缘导线作为感兴趣区域，进行不同的标注和框定所述感兴趣区域的位置信息，然后将感兴趣区域与架空绝缘线数据库进行匹配，确定感兴趣区域存在哪种形态的绝缘导线图像。
[0027]
作为本发明所述的配网绝缘导线剥皮操作的视觉识别与控制方法的一种优选方
案，其中：还包括一种金属导线刮痕检测方法：
[0028]
所述金属导线刮痕检测方法使用黑帽算法将灰度图像转换成二值化图像后，提取刮痕的图像特征，再使用blob检测对刮痕的特征进行有无检测。
[0029]
作为本发明所述的配网绝缘导线剥皮操作的视觉识别与控制方法的一种优选方案，其中：所述剥皮机包括四个电机，分别控制线夹、刀头进退、刀头切割和切割结束后的收尾工作。
[0030]
作为本发明所述的配网绝缘导线剥皮操作的视觉识别与控制方法的一种优选方案，其中：所述剥皮机的电机速度采用pid控制算法，所述控制算法表示为：
[0031][0032]
其中，e(t)为速度差的函数，k
p
为比例系数，ki为积分系数，kd为微分系数。由于作业过程中，对电机的控制性能上有极高的要求，所以使用pid算法其目的是为了让电机编码器的值，即电机的速度稳定在一个值。
[0033]
本发明的有益效果：本发明提供的一种配网绝缘导线剥皮操作的视觉识别与控制方法，通过神经网络识别模型与pid控制方法的结合应用，获取剥皮过程的绝缘导线图像，并框定出其在图像中的位置信息，根据绝缘导线的不同形态来调整刀片，从而精准完成对绝缘导线的剥皮操作，缩短了剥皮时间，提高了剥皮质量。
附图说明
[0034]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0035]
图1为本发明一个实施例所述的配网绝缘导线剥皮操作的视觉识别与控制方法的整体流程图；
[0036]
图2为本发明一个实施例所述的配网绝缘导线剥皮操作的视觉识别与控制方法的剥皮器示意图；
[0037]
图3为本发明一个实施例所述的配网绝缘导线剥皮操作的视觉识别与控制方法的小型双向特征金字塔网络结构图；
[0038]
图4为本发明一个实施例所述的配网绝缘导线剥皮操作的视觉识别与控制方法的改进yolox-s网络整体结构图；
[0039]
图5为本发明一个实施例所述的配网绝缘导线剥皮操作的视觉识别与控制方法的剥皮电机pid控制方框图。
具体实施方式
[0040]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下
所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0041]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0042]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0043]
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0044]
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0045]
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0046]
实施例1
[0047]
参照图1—5，为本发明的一个实施例，该实施例提供了一种配网绝缘导线剥皮操作的视觉识别与控制方法，包括：
[0048]
s1：基于yolox-s目标检测算法建立绝缘导线识别模型；
[0049]
更进一步的，绝缘导线识别模型采用改进yolox-s目标检测算法对绝缘导线高清图像进行剥皮过程形态检测，包括在原yolox-s网络基础上，对颈部使用小型双向特征金字塔网络进行改进，并采用giou-loss作为边界框损失函数。
[0050]
应说明的是，对于yolox-s主干网络部分，本技术保留原有的网络结构，也同样对中间层、中下层和底层这三个特征层进行特征提取，然后传入双向特征金字塔加强特征提取网络。但由于双向特征金字塔网络有5个输入特征层，所以将双向特征金字塔网络简化为3个输入特征层(记为小型双向特征金字塔网络)，以减少计算量和适用yolox网络，小型双向特征金字塔网络如图3所示。
[0051]
更进一步的，小型双向特征金字塔网络，包括：当输入大小为(640，640，3)时，小型双向特征金字塔网络的三个输入特征层分别为双向特征金字塔网络的三个输入特征层分别为各融合节点输出的计算公式如下：
[0052]
[0053][0054][0055][0056]
其中，conv表示卷积操作，resize表示对输入进行上采样或下采样操作，ωi≥0是可学习的权重，ε＝0.0001是一个保证数值稳定的小量。
[0057]
应说明的是，小型双向特征金字塔网络的每个特征融合节点都会给每个输入特征分别加权ωi。
[0058]
更进一步的，改进后的yolox-s整体结构如图4所示，小型双向特征金字塔网络输出三个加强特征提取后的特征层，其形状大小分别为出三个加强特征提取后的特征层，其形状大小分别为经过解耦头预测后，每个特征层获得三个预测结果，分别是目标框的坐标、目标框前景背景判断、目标框的类别。
[0059]
更进一步的，giou-loss边界框损失函数表示为：
[0060][0061][0062]
其中，a是预测矩形框，b是真实矩形框，i是a与b交集面积，u是a与b并集面积，ac表示a与b的最小外接矩形面积。
[0063]
应说明的是，对于预测目标框前景背景和目标框类别用到的损失函数，都采用原yolox网络中的二分类交叉损失函数(bce_loss)，但对于预测目标框坐标的边界框损失函数，本技术采用广义交并比损失函数(giou_loss)，与交并比(iou)相比，广义交并比(giou)具有四个特点：
①
与iou一样，具有非负性、尺度不变性等特征；
②
giou对尺度不敏感；
③
giou是iou的下界，取值为[-1,1]，由于惩罚项的引入，在不重叠的情况下，预测框会向目标框移动；
④
giou除了关注重叠区域不同，还关注了非重叠区域，能够更好地反映重合度。由此可见，只有当预测框和真实框重合时，giou_loss才会为0，相比iou_loss，giou_loss在任意情况下都可以进行训练
[0064]
s2：获取配网架空绝缘导线剥皮时的高清图像，并将其输入至绝缘导线识别模型获得所述绝缘导线形态特征；
[0065]
更进一步的，绝缘导线的形态特征，包括绝缘层、金属导线层和金属导线刮痕。绝缘导线识别模型将不同形态的绝缘导线作为感兴趣区域，进行不同的标注和框定所述感兴趣区域的位置信息，然后将感兴趣区域与架空绝缘线数据库进行匹配，确定感兴趣区域存在哪种形态的绝缘导线图像。
[0066]
更进一步的，由于导线刮痕是随机出现且不具有固定形态的特征，因此无法使用匹配等定位功能检测判断刮痕。这时就需要用到形态学处理提取刮痕特征，再配合blob检测判断刮痕有无。因为金属导线的刮痕偏暗，本技术采用的刮痕检测是使用黑帽算法将灰度图像转换成二值化图像后，提取刮痕的图像特征，再使用blob检测对刮痕的特征进行有无检测。
[0067]
应说明的是，黑帽算法是将闭运算图像(逐像素)减去原始的图像，得到闭运算中消除的小面积的局部暗像素区域的一种形态学处理方法。闭运算是先进行膨胀，再进行腐蚀的一种形态学处理方法。闭运算可以去除一些孤立的、细小的暗区域，同时原区域的面积不会发生明显变化。闭运算还可以填充小面积的亮区域的空洞，使分离的亮边缘相连接。由于导线的刮痕偏暗，因此本技术采用黑帽算法对金属导线进行刮痕检测。
[0068]
blob是图像中具有某些共同属性(如灰度值、圆度等如下图所示属性)的一组连通像素。simpleblobdetector从图像中提取blob的算法流程如下：
[0069]
1、根据阈值步距“thresholdstep”递增，从最小阈值minthreshold(包含)到最大阈值maxthreshold(排除)计算几个阈值，第一个阈值minthreshold，第二个是minthreshold+thresholdstep，
…
以此类推。将这些阈值分别应用于源图像转换为几张二值图像。
[0070]
2、通过findcontours算子从每幅二值图像中提取连通分量并计算它们中心位置。
[0071]
3、由团块之间的最小距离mindistbetweenblobs参数控制。将几个二值图像的团块中心坐标进行分组，闭合中心形成一组。
[0072]
4、从组中估计斑点的最终中心和它们的半径，并返回点的位置和大小。
[0073]
5、最后对返回的blob执行特征过滤：
[0074]
(1)颜色过滤：使用blobcolor＝0提取亮色斑点，使用blobcolor＝255提取暗色斑点。将二值化图像斑点中心的灰度值和blobcolor比较。如果它们不一致，则将该斑点过滤掉。
[0075]
(2)面积过滤：提取面积在minarea(包含)和maxarea(不包含)之间的blob。
[0076]
(3)圆度过滤：提取的圆度介于mincircularity(包含)和maxcircularity(不包含)之间的blob。
[0077]
(4)惯性比过滤：提取惯量介于mininertiaratio(包含)和maxinertiaratio(不包含)之间的blob。
[0078]
(5)凸性过滤：提取凸性介于minconvexity(包含)和maxconvexity(不包含)之间的blob。
[0079]
s3：基于所述绝缘导线形态特征对剥皮机刀片的进给量进行调整。
[0080]
更进一步的，剥皮机包括四个电机，分别控制线夹、刀头进退、刀头切割和切割结束后的收尾工作。
[0081]
更进一步的，剥皮机的电机速度采用pid控制算法，如图5所示，pid调节器的运算为对速度差的比例、积分、微分的和，所述控制算法表示为：
[0082]
[0083]
其中，e(t)为速度差的函数，k
p
为比例系数，ki为积分系数，kd为微分系数。由于作业过程中，对电机的控制性能上有极高的要求，所以使用pid算法其目的是为了让电机编码器的值，即电机的速度稳定在一个值。
[0084]
实施例2
[0085]
参照图3和4，为本发明的一个实施例，该实施例提供了一种，包括，一种配网绝缘导线剥皮操作的视觉识别与控制方法，为了验证本发明的有益效果，通过具体的实验数据进行科学论证。
[0086]
本技术实施例采集1083张不同形态架空绝缘线图像作为数据集，标签包括insulation_and_wires、insulation分别代表绝缘层和金属导线同时出现的情况、只有绝缘层出现的情况。为满足数据在多样性方面的要求，对现有数据集进行数据预处理，扩充数据集的广度和深度，从而提高模型的鲁棒性。本技术实施例选取三种图像处理措施，随机对原图的纹理结构和几何学特征进行改变：(1)对图像进行水平镜像翻转，增加整个网络在方向上的不变性；(2)对图像添加一定范围的随机椒盐噪声或高斯噪声，提高网络对摄像头失真的不变性；(3)对图像随机改变亮度，模拟同一地点不同亮度下的架空绝缘导线情况。预处理扩充后的数据集共有7581张。本技术实施例使用基于yolox-s卷积神经网络的tensorflow框架，将数据库中90％的图像作为训练集，10％的图像作为测试集。采取冻结训练方法，以提高训练效率，加速收敛。阈值设为0.5，迭代次数为500，在前90％的迭代过程中采取马赛克数据增强方法训练，全程使用adam优化器。冻结阶段迭代100次，批量样本训练数(batch_size)设为32，学习率为0.0001。解冻阶段迭代400次，batch_size设为8，学习率为0.00001。训练结束后，系统会自动保存检测到的神经网络的参数。
[0087]
在本技术的实施例中，对所有预测帧执行非最大抑制，并根据置信度选择预测帧作为最终预测结果，用测试集中的500张图片进行模型性能的测试。改进的yolox-s目标检测模型可以准确出不同形态的架空绝缘导线，并输出这些目标在图像中的坐标信息(即边界框的左上顶点坐标和右下顶点坐标)和类别信息。
[0088]
与现有技术相比，本技术实施例能够明显提高配网架空绝缘导线剥皮过程不同形态的自动识别精度，且运用改进的yolox-s卷积神经网络提高自动识别速度。
[0089]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。