基于深度学习的自动识别人员进入电力危险区的检测方法

1.本发明属于电力作业安全控制领域，具体涉及一种基于深度学习的自动识别人员进入电力危险区的检测方法。


背景技术：

2.近年来，随着人工智能技术的快速发展和人工智能技术的不断升级，为目标检测、动作识别等技术的发展提供了重要的动力和支撑，随着人工智能的到来，它已经出现在了我们的生活中并且发挥着巨大的作用，例如各种门禁系统刷脸进入，以及口罩佩戴识别，同样人工智能技术也可以运用在电力行业中。
3.在电力生产过程中，现场作业中存在很多的安全隐患，例如高压变电站附近存在很多的危险区域，工作人员可能会发生触电的风险，传统的电力现场安全控制都是由人工监督方式进行的，人工的监督方式存在无法记录以及没有办法做到实时监督的缺点，现场电力作业人员容易在维修过程中误入危险区域，从而引发灾难，不仅是对人生安全的威胁，更是会造成电力设施的损坏，严重的可能会造成作业人员伤亡以及社会经济财产的直接损失。
4.公开号为cn113781741a的中国专利“基于网关的电力越界行为告警方法、装置、设备和介质”利用红外感知技术确定作业人员的轨迹，实现作业人员进入危险区域的识别判断，但该方法容易出现误判的情况，如树叶都有可能引发红外警报，从而引起误警报的发生。


技术实现要素：

5.本发明的技术问题是人工监督识别电力作业人员是否进入危险区的方法不可靠，现有的利用红外感知技术自动识别判断作业人员是否进入危险区的方法抗干扰能力差，容易出现误判、假警报。
6.本发明的目的是针对上述问题，提供一种基于深度学习的自动识别人员进入电力危险区的检测方法，利用深度残差网络、特融合网络、多尺度识别网络构建作业人员现场位置检测网络，实现对电力现场图像中作业人员位置坐标的实时检测，再将得到的作业人员位置坐标与图像中危险区的坐标数据进行比对，实时检测判断作业人员是否进入危险区，提高检测的实时性和准确率，保障现场作业人员的人身安全。
7.本发明的技术方案是基于深度学习的自动识别人员进入电力危险区的检测方法，利用作业人员现场位置检测网络对电力现场的视频图像进行实时检测，识别人员的位置坐标，判断人员是否进入电力危险区。所述作业人员现场位置检测网络包括深度残差网络、浅层特征融合网络、深层特征融合网络和多尺度识别网络；所述深度残差网络包括多个残差瓶颈结构，用于从视频图像中提取多个层次的浅层、深层图像特征；所述浅层特征融合网络用于对深度残差网络提取的不同层次的浅层图像特征进行融合；所述深层特征融合网络用于对深度残差网络提取的不同层次的深层图像特征进行融合；所述多尺度识别网络包含多3×
3的空洞率为4的空洞卷积，最后将4个分支的输出进行自适应特征融合。
23.所述自适应特征融合，是将多尺度感知模块中4个分支输出的不同感受野大小的特征图进行融合，对4个分支分别设置不同的权重进行加权求和，得到最终的特征图y，具体表达式如下：
24.y＝α
×
x1+β
×
x2+χ
×
x3+ε
×
x4[0025][0026]
α+β+χ+ε＝1
[0027]
式中xi,i＝1,2,3,4表示第i分支输出的特征图；α,β,χ,ε分别表示第一分支、第二分支、第三分支、第四分支的权重；λ
α
,λb,λ
χ
,λ
ε
分别表示对输入特征图xi,i＝1,2,3,4进行1
×
1卷积降维后的单通道特征图。
[0028]
步骤3中，所述划定电力现场图像中的危险区，基于像素坐标系，采用人工方式确定危险区对应的图像块的坐标数据ld，
[0029]
ld＝(ud,vd,wd,hd)
[0030]
式中ud是危险区范围在u轴上的值，vd是危险区范围在v轴上的值，wd是危险区范围的长度，hd是危险区范围的高度。
[0031]
步骤4中，所述确定作业人员的坐标，得到图像中作业人员的坐标数据l
p
， l
p
＝(u
p
,v
p
,w
p
,h
p
)
[0032]
式中u
p
是作业人员的坐标在u轴上的值，v
p
是作业人员的坐标在v轴上的值，w
p
是作业人员的坐标的长度，h
p
是作业人员的坐标的高度。
[0033]
步骤5采用危险区域判定法判断作业人员是否位于危险区。所述危险区域判定法将人工划定的危险区域ld＝(ud,vd,wd,hd)和人员现场位置检测网络中得到作业人员的位置 l
p
＝(u
p
,v
p
,w
p
,h
p
)进行实时对比，具体计算式如下：
[0034][0035]
当式(1)(2)(3)(4)全部成立时，判定作业人员正在危险区内，则发出实时警报，提醒作业人员。
[0036]
相比现有技术，本发明的有益效果包括：
[0037]
1)本发明利用深度残差网络、特融合网络、多尺度识别网络构建作业人员现场位置检测网络，对电力现场图像中作业人员位置坐标的实时检测，通过对比作业人员位置坐标和图像中危险区，实现了人员进入电力危险区的自动识别检测，代替人工监督，提高了人员危险检测的可靠性。
[0038]
2)本发明的人员现场位置检测网络能得到图像中作业人员的准确坐标，对于作业人员的识别准确率达到94.3％以上。
[0039]
3)本发明通过将图像中作业人员的位置信息与划定的电力现场危险区的坐标数据进行实时对比，判断作业人员是否进入危险区域，及时对作业人员进入危险区的情形发出警报，实时性好，可有效保障电力现场作业人员的人身安全，且避免影响电力设施的正常
运行。
[0040]
4)本发明采用计算作业人员的图像块和电力现场危险区重合程度的方式，检测作业人员是否进入危险区，检测结果准确率高，抗干扰能力强，有效防止出现假警报。
[0041]
5)本发明分别利用浅层特征融合网络、深层特征融合网络对深度残差网络的不同层次的残差瓶颈结构提取的浅层、深层图像特征进行特征融合后，送入多尺度识别网络进行目标检测，提高了目标检测的精度。
[0042]
6)本发明的人员现场位置检测网络的多尺度感知模块将多个分支输出的不同感受野大小的特征图融合后进行大、小目标的检测，进一步提高了目标检测识别的精度。
[0043]
7)本发明的残差瓶颈结构利用批归一化让每一特征层都满足一定的分布规律，得到不同大小分辨率的特征图进行特征融合，并使用残差边使得输入的特征值与输出的特征值融合保留了初始的特征信息。防止深度残差网络出现退化、梯度消失等问题。
附图说明
[0044]
下面结合附图和实施例对本发明作进一步说明。
[0045]
图1为本发明实施例的自动识别人员进入电力危险区的检测方法的流程示意图。
[0046]
图2为本发明实施例的人员现场位置检测网络的示意图。
[0047]
图3为本发明实施例的深度残差网络的残差瓶颈结构的示意图。
[0048]
图4为本发明实施例的多尺度感知模块的示意图。
[0049]
图5为本发明实施例的实时对比作业人员的坐标与危险区的坐标的示意图。
[0050]
图6为本发明实施例的作业人员是否位于危险区的检测结果的示意图。
具体实施方式
[0051]
实施例的作业人员现场位置检测网络包括深度残差网络、浅层特征融合网络、深层特征融合网络和多尺度识别网络，如图2所示。
[0052]
如图1所示，基于深度学习的自动识别人员进入电力危险区的检测方法，包括以下步骤：
[0053]
步骤1：固定相机位置，拍摄一张电力现场图像。
[0054]
步骤2：以图像左上角为坐标原点，建立以u为横坐标，v为纵坐标的直角坐标系。该坐标系就是将步骤1中得到的现场电力图像进行像素的划分，确定平面参考系。
[0055]
步骤3：根据危险区域划定法确定危险区域的坐标信息。
[0056]
其中危险区域划定法是根据步骤1中拍摄的电力现场图像和步骤2中的坐标系，基于人工方式确定危险区域的四个坐标值，可表示为ld＝(ud,vd,wd,hd)，其中ld是指危险区域在坐标系中的坐标。ud是危险区域范围在u轴上的值，vd是危险区域范围在v轴上的值，wd是危险区域范围的长度，hd是危险区域范围的高度。
[0057]
步骤4：将电力现场作业实时场景的视频流输入作业人员现场位置检测网络中进行检测，确定工作人员的在像素坐标中的位置信息l
p
＝(u
p
,v
p
,w
p
,h
p
)。
[0058]
作业人员现场位置检测网络对作业人员的检测过程分为3个阶段：
[0059]
第一阶段，对于深度残差网络而言，是由五个残差瓶颈结构串行构成的，具体的网络结构图如图3所示，每个残差瓶颈结构中都会有一个3
×
3的卷积层与relu激活函数用于
调整下一层残差瓶颈结构输入的特征图大小。其中每个残差瓶颈结构的输入先经过批归一化进行处理，在进行relu激活函数后对其进行卷积为1
×
1通道数的升维，在进行批归一化处理后，再进行3
×
3的卷积、relu激活函数的激活处理，最后进行卷积为1
×
1的处理，使得通道数与原始输入的图像的通道数一致与输入的特征图进行特征融合。
[0060]
第二阶段，分为浅层特征融合网络和深层特征融合网络，浅层特征融合网络是将深度残差网络的前两个残差瓶颈结构低层模块进行了特征融合后得到一个特征图，再将特征图分别送入两个并行的卷积中，其中这里两边的卷积分别进行对称卷积操作，分别使用卷积核为1
×
3 和3
×
1的卷积核进行对称卷积，再将并行的两边进行特征拼接后进行卷积核为1
×
1的升维操作，再送入激活函数中激活处理，最后输出浅层特征融合网络的特征图。深层特征融合网络是将深度残差网络中最后三个高层的残差瓶颈结构进行了特征融合后得到一个特征图，进行全局池化，再进入两个全连接层，最后经过激活函数处理，并于网络最开始的输入特征进行加权操作，最后输出特征图。
[0061]
第三阶段，多尺度识别网络包括4层的卷积层，分别取这4层中的两种不同尺寸的特征图经过多尺度感知模块后通过融合不同的感受野特征图融合得到输出的特征图进行分类以及定位。
[0062]
在上述的网络结构中分别有浅层特征融合网络和深层特征融合网络。对于浅层特征融合网络是两个低层特征图进行特征融合，将融合生成的特征图通过两个并行的非对称卷积层，可以有效的提升网络空间中的感受野大小，降低参数的运算量。然后将两个非对称卷积层的输出沿着通道方向进行相加操作进行特征融合，最后通过sigmoid函数映射到[0,1]的范围之间，具体的表达式为：
[0063]
s＝σ1((conv2(conv1(y,w1),w1))+conv1(conv2(y,w2),w2))
[0064]
式中w1,w2均为卷积核的参数，conv1,conv2分别是指非对称卷积层，y为深度残差网络两个低层特征融合输出的特征图，σ1是激活函数操作，s是指对非对称卷积层特征融合后得到的特征图。
[0065]
对于深层特征融合网络是三个高层特征图进行特征融合，将融合特征图表示为送入深层特征融合网络中，然后使用全局池化对其进行压缩生成d维特征向量，再使用两个全连接 fc∈δc×h×w层对其处理，最后通过一个sigmoid函数将特征向量中的值映射到[0,1]范围，最后将此特征向量与输入特征图沿通道维度相乘进行加权。具体表达式如下。
[0066]
c＝f(v,w2)＝σ2(fc(δ(fc(v,w2)),w2))
[0067][0068]
式中w2表示网络中需要更新的权重参数，v是深度残差网络三个高层特征融合输出的特征图的维度，σ2表示sigmoid激活操作，fc表示全连接层，其中c是特征图的通道数，h表示特征图的高度，w表示特征图的宽度，δ表示relu激活函数，q表示加权后输出的特征图。
[0069]
如图4所示，多尺度识别网络的自适应特征融合，是将多尺度感知模块中四个分支的不同感受野大小的输出特征图xi(i＝1,2,3,4)进行融合，可以将不同分支上对应的权重α,β,χ,ε进行相乘，并输出最终的特征图y，具体表达式如下。
[0070]
y＝α
×
x1+β
×
x2+χ
×
x3+ε
×
x4[0071]
[0072]
通过上式，使得α保持在[0,1]范围之间。分别对β,χ,ε进行同等计算，可以得到α+β+χ+ε＝1，其中λa,λ
β
,λ
χ
,λe是对输入特征图xi进行1
×
1卷积降维后的单通道特征图。
[0073]
根据上述危险区域识别网络可以得到最终作业人员在图像中的位置坐标 l
p
＝(u
p
,v
p
,w
p
,h
p
)。
[0074]
步骤5：根据危险区域判定法将危险区域与作业人员的坐标信息实时对比，判断作业人员是否进入危险区域，若进入则发出警报。
[0075]
危险区域判定法，是将人工划定的危险区域ld＝(ud,vd,wd,hd)和危险区域识别网络中得到作业人员的位置l
p
＝(u
p
,v
p
,w
p
,h
p
)进行实时对比。对比的计算如下式。
[0076][0077]
当式(1)(2)(3)(4)全部成立时，即判定作业人员正在危险区域内，则发出实时警报，提醒作业人员，如图5所示。
[0078]
图6所示是实施例的电力现场图像，利用本发明的作业人员现场位置检测网络对图像中作业人员进入识别、定位，矩形框是电力作业人员的位置坐标的检测结果，根据后台工作人员标记的图像中的危险区域，实现了判断作业人员当前是否进入危险区的有效识别判断。实施结果表明，本发明的人员现场位置检测网络能得到图像中作业人员的准确坐标，对于作业人员的识别准确率达到94.3％以上。
[0079]
本发明实现了对现场电力作业的实时监督，可看到电力作业人员的工作状态是否有进入危险区域的情况，极大地保障了电力作业的安全进行。
[0080]
显然，本领域技术人员可对本发明申请进行各种改动和变型而不脱离本发明申请的精神和范围。倘若本发明申请的这些修改和变型属于本发明申请的权利要求及其等同技术的范围，则本发明申请也意图包含这些改动、变型。