一种基于智能图像识别的变电作业区域管控方法与流程

1.本技术涉及变电站管控技术领域，具体为一种基于智能图像识别的变电作业区域管控方法。


背景技术：

2.随着电力系统的不断发展，变电站内一次设备与二次设备之间、各类二次设备之间的电气回路连接、通道信息交互等关联需求不断增加，设备间的联系日渐密切，因此检修工作呈现出高复杂性和高风险性，如新建、改建、扩建工程、大修技改、线路融冰、直流单阀组、单极或双极停电综合检修，均涉及到跨专业协作、多单位协同以及多地点协同。
3.对于变电站施工采用视频监控的方法，仅能在人工复查作业情况时对图像逐帧观察，视频监控虽然具有图像直观、易于处理等特点，但采用人力二十四小时连续监视既不科学也不实用，效率低也不可靠。


技术实现要素：

4.针对现有技术的不足，本技术提供了一种基于智能图像识别的变电作业区域管控方法，解决了采用人力对变电站作业区域进行管控而导致管控效率低的问题。
5.为实现上述目的，本技术提供如下技术方案：一种基于智能图像识别的变电作业区域管控方法，其特征在于，依如下步骤实施：
6.s1：采集工作班组成员头像，以工作班组成员头像为样本训练深度学习算法，并且生成工作班组成员的特征词典；
7.s2：利用深度学习算法，对现场作业区域的围栏图像进行识别，判断施工的类型；
8.s3：调取施工现场监控视频，对比现场工作班组成员图像与特征词典，判断现场工作班组成员是否为对应工作票的工作班成员，若现场工作班组成员有不是对应工作票的作业人员则发出警告；
9.s4：利用深度学习算法，识别施工班组成员所在的位置，并且根据施工的类型，判断施工班组成员是否在施工范围内，若施工班组成员不在施工范围内则发出警告。
10.优选的，步骤s1包括如下步骤：
11.s11：采集工作班成员的头像图片和非头像图片作为样本；
12.s12：利用样本图片训练深度学习自动编码机模型；
13.s13：利用训练后的自动编码机模型对样本图片进行降维压缩，从自动编码机模型的中间层提取压缩后的头像和非头像图片的特征进行记录和保存；
14.s14：针对头像样本图片，对每个工作班成员的头像图片进行特征提取后和每个成员的姓名一起存入工作班成员的特征字典。
15.优选的，步骤s2包括：
16.s21：利用残差神经网络(resnet)对提前准备和标注好的大批量文字图片和标签进行预训练，使残差神经网络(resnet)输出文本框的位置信息；
17.s22：采用从提前准备和标注好的大批量文字图片和标签中提取文本框图片作为样本进行文字识别，完成卷积神经网络(cnn)的训练；
18.s23：调取作业区域监控视频，将视频逐帧进行相似性采样分解为视频图片；
19.s24：使用训练的卷积神经网络(cnn)对采集到的视频图片进行文本框定位和文字识别，输出检测结果；
20.s25：如果检测到“止步，高压危险”的标识，并发现该标识位于围栏之内，则判定为高压试验作业，当检测到“止步，高压危险”的标识位于围栏之外，则判定为一般检修作业。
21.优选的，步骤s21包括：
22.s211：使用残差神经网络(resnet)对提前准备和标注好的大批量文字图片和标签进行预训练并且得到第一特征提取图；
23.s212：对标注好的大批量文字图片和标签输入到残差神经网络的卷积层中，进行多个阶段的卷积，在每一阶段卷积层都抽取特征，以形成卷积特征提取图；
24.s213：将第一特征提取图输入到残差神经网络的上池化层进行扩展，随后将完成拓展的第一特征提取图与卷积特征提取图进行融合，得到融合特征提取图；
25.s214：将融合特征提取图继续输入到残差神经网络的卷积层中，得到新的卷积特征提取图，并且将新的卷积特征提取图与完成拓展的第一特征提取图进行融合，得到新的融合特征提取图；
26.s215：重复步骤s214多次，将最终得到的融合特征提取图输入到残差神经网络的输出层以获得文本框的位置信息。
27.优选的，文本框包括旋转矩形(rbox)和任意四边形(quad)；
28.对于检测形状为旋转矩形的文本框，文本框位置信息包括预测框的置信度、文本框的(x,y,z,w)位置参数以及文本框的旋转角度θ；
29.对于检测形状为任意四边形的文本框，文本框位置信息包括预测框的置信度和四边形四个顶点的坐标。
30.优选的，所述卷积神经网络(cnn)包括全连接层、回归层、多个池化层和多个卷积层；
31.所述卷积神经网络的激活函数为f(x)＝max(0,x)；
32.所述卷积神经网络的分类器为
[0033][0034]
其中，zi为第i个节点的输出值，c为输出节点的个数及分类的类别个数。
[0035]
优选的，采用自适应矩估计(adam)和传统sgd(随机梯度下降)方法相结合的训练方式对卷积神经网络(cnn)进行训练，adam方法的公式为：
[0036]mt
＝β1*m
t-1
+(1-β1)*g
t
[0037][0038]
[0039][0040][0041]
式中，m
t
、n
t
分别是对g
t
的一阶矩估计和二阶矩估计，β1、β2表示对应的指数衰减因子，取值范围为[0,1)区间，是对m
t
，n
t
的校正；δθ
t
表示参数的更新量；η表示学习速率；ε则是接近0的极小正值，为了避免除以0的情况。
[0042]
优选的，步骤s3包括：
[0043]
s31：调用现场摄像头，采集现场作业视频，对视频进行逐帧分解；
[0044]
s32：将分解视频得到的图像分割成小块样本图片；
[0045]
s33：通过调用集成分类回归决策树的机器学习方法对小块样本图片进行判定，判定图片是否为人脸；
[0046]
s34：对于判定为人脸的照片，针对该图片的特征与特征词典进行比对和余弦相似性搜索，输出相似性最高的名字为当前的工作班成员；
[0047]
s35：在两票系统对比该工作班成员是否在对应的工作票进行作业，如果该工作班成员不是该工作票的工作班成员，则发出告警弹框告知运行人员。
[0048]
优选的，所述集成分类回归决策树包括多个分类回归决策树，所述集成分类回归决策树基于多个决策树的分类回归结果对每一类做出多数投票判决。
[0049]
优选的，步骤s4包括：
[0050]
s41：对采集到的工作班组成员头像进行空间定位，并且与围栏进行位置盘判定；
[0051]
s42：若工作班组成员在围栏内，并且施工类型识别为高压试验作业，则发出“高压试验区域有作业人员进入”的告警弹框；
[0052]
s43：若工作班组成员在围栏外，并且施工类型识别为一般检修作业，则发出“作业人员误入间隔”告警弹框，以便运行人员采取相应的管控措施。
[0053]
本技术提供了一种基于智能图像识别的变电作业区域管控方法，具备以下有益效果：
[0054]
通过采用图像识别技术，识别作业人员是否为对应工作票的作业人员，然后通过识别出该作业区域是否为高压试验作业或是一般变电检修作业，根据作业的性质识别该工作班人员是否扩大工作区域或者是否误入间隔，通过建立相应的判决准则，捕捉异常现象，最后发出报警信号，节省了人力，解决了采用人力对变电站作业区域进行管控而导致管控效率低的问题。
附图说明
[0055]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0056]
图1为本技术实施例中作业区域管控方法的流程示意图。
[0057]
图2为本技术实施例中自动编码机原理示意图。
[0058]
图3为本技术实施例中深度学习训练模型示意图。
[0059]
图4为本技术实施例中作业区域识别示意图。
具体实施方式
[0060]
为使得本技术的申请目的、特征、优点能够更加的明显和易懂，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本技术一部分实施例，而非全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
[0061]
在本技术的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
[0062]
下面结合附图并通过具体实施方式来进一步说明本技术的技术方案。
[0063]
本技术提供一种技术方案：一种基于智能图像识别的变电作业区域管控方法，依如下步骤实施：
[0064]
s1：采集工作班组成员头像，以工作班组成员头像为样本训练深度学习算法，并且生成工作班组成员的特征词典；
[0065]
s2：利用深度学习算法，对现场作业区域的围栏图像进行识别，判断施工的类型；
[0066]
s3：调取施工现场监控视频，对比现场工作班组成员图像与特征词典，判断现场工作班组成员是否为对应工作票的工作班成员，若现场工作班组成员有不是对应工作票的作业人员则发出警告；
[0067]
s4：利用深度学习算法，识别施工班组成员所在的位置，并且根据施工的类型，判断施工班组成员是否在施工范围内，若施工班组成员不在施工范围内则发出警告。
[0068]
工作票为对施工或者试验人员的许可凭证，工作票的许可类型和许可权限依据施工或者试验类型的而改变，工作班组成员应当在进场施工或者试验之前取得对应的工作票。
[0069]
步骤s1包括如下步骤：
[0070]
s11：采集工作班成员的头像图片和非头像图片作为样本；
[0071]
s12：利用样本图片训练深度学习自动编码机模型；
[0072]
s13：利用训练后的自动编码机模型对样本图片进行降维压缩，从自动编码机模型的中间层提取压缩后的头像和非头像图片的特征进行记录和保存；
[0073]
s14：针对头像样本图片，对每个工作班成员的头像图片进行特征提取后和每个成员的姓名一起存入工作班成员的特征字典。
[0074]
自动编码机模型(autoencoder，ae)属于无监督学习，不需要对训练样本进行标记。ae由三层网络组成，其中输入层神经元数量与输出层神经元数量相等，中间层神经元数量少于输入层和输出层。在网络训练期间，每个训练样本在经过网络后，会在输出层产生一
个新的信号。ae学习的目的就是使输出信号与输入信号尽量相似。ae训练结束之后，共包括两部分，输入层和中间层，用以对信号进行压缩；其次是中间层和输出层，用以对压缩的信号进行还原。
[0075]
参照图2，自动编码机原理如下：假设输入一个n维的信号，经由输入层到达中间层，信号变为y，如式子(1)表示：
[0076]
y＝s(wx+b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0077]
以上式子中的s是非线性函数，如sigmoid。w是输入层到中间层的权值， b为中间层的偏置(bias)，压缩后的信号y可通过中间层进行解码，之后输出到与输入相同数量的n个神经元所构成的输出层。假设重构之后的信号为 z，则如公式(2)所示：
[0078]
z＝s(w
′
x+b
′
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0079]
s为非线性函数，例如sigmoid函数。w'代表中间层到输出层的链接权值。 b'代表中间层的偏置(bias)。公式结果z被认为是通过网络解析后对x的一个预测。一般认为，权重矩阵w'被设定为w的转置。
[0080]
经过训练拟合后的自动编码机模型对样本图片进行降维压缩，从自动编码机模型的中间层提取压缩后的头像和非头像图片的特征进行记录和保存。针对头像样本图片，对每个工作班成员的头像图片进行特征提取后和每个成员的姓名一起存入工作班成员的特征数据库，形成特征词典。
[0081]
步骤s3包括：
[0082]
s31：调用现场摄像头，采集现场作业视频，对视频进行逐帧分解；
[0083]
s32：将分解视频得到的图像分割成小块样本图片；
[0084]
s33：通过调用集成分类回归决策树的机器学习方法对小块样本图片进行判定，判定图片是否为人脸；
[0085]
s34：对于判定为人脸的照片，针对该图片的特征与特征词典进行比对和余弦相似性搜索，输出相似性最高的名字为当前的工作班成员；
[0086]
s35：在两票系统对比该工作班成员是否在对应的工作票进行作业，如果该工作班成员不是该工作票的工作班成员，则发出告警弹框告知运行人员。
[0087]
通过调用现场摄像头，采集现场作业视频，对视频进行逐帧分解，并将每张图像(256x256)分割成小块样本图片(64x64)。接着，通过调用集成分类回归决策树的机器学习方法对每个小块样本图片进行分类判定，这样能够尽可能地检测出所有的人脸，但是同时也会有非常多的不是人脸的图像(包括现场的设备和动物的脸)被检测出来。于是，检测出来的框框们被分成了两类：是人脸和不是人脸。
[0088]
集成分类回归决策树由任意个分类回归决策树组成，基于多个决策树的分类回归结果对每一类做出多数投票判决。
[0089]
假设第k个决策树为fk，对第i个编码机网络特征xi∈(x1,
…
,xn)，梯度提升模型的预测结果为极限梯度提升模型可以表示为：
[0090][0091]
式子中k是决策树的数量，表示用来参与到预测中的决策树的合集。
[0092]
用来优化的目标函数可以表示为：
[0093][0094]
其中yi是在第i个编码机网络特征下的预测标签，l(
·
)表示模型的损失函数，ω(
·
)是模型的正则函数。极限梯度提升模型采用二值交叉熵损失函数，通过增量训练完成模型的优化目标，在模型迭代收敛到t个决策树时，目标函数可以表示为：
[0095][0096]
其中gi和hi可以表示为：
[0097][0098][0099]
针对样本图片分类结果为人脸的图片，进一步针对该图片的特征在特征字典中进行比对和余弦相似性搜索，输出相似性最高的名字为当前的工作班成员。在两票系统对比该工作班成员是否在对应的工作票进行作业，如果该工作班成员不是该工作票的工作班成员，则发出告警弹框告知运行人员。
[0100]
步骤s2包括：
[0101]
s21：利用残差神经网络(resnet)对提前准备和标注好的大批量文字图片和标签进行预训练，使残差神经网络(resnet)输出文本框的位置信息；
[0102]
s22：采用从提前准备和标注好的大批量文字图片和标签中提取文本框图片作为样本进行文字识别，完成卷积神经网络(cnn)的训练；
[0103]
s23：调取作业区域监控视频，将视频逐帧进行相似性采样分解为视频图片；
[0104]
s24：使用训练的卷积神经网络(cnn)对采集到的视频图片进行文本框定位和文字识别，输出检测结果；
[0105]
s25：如果检测到“止步，高压危险”的标识，并发现该标识位于围栏之内，则判定为高压试验作业，当检测到“止步，高压危险”的标识位于围栏之外，则判定为一般检修作业。
[0106]
步骤s21包括：
[0107]
s211：使用残差神经网络(resnet)对提前准备和标注好的大批量文字图片和标签进行预训练并且得到第一特征提取图；
[0108]
s212：对标注好的大批量文字图片和标签输入到残差神经网络的卷积层中，进行四个阶段的卷积，卷积核尺寸依次递减，分别为输入图像的1/32、 1/16、1/8、1/4，数量依次递增，在每一阶段卷积层都抽取特征，以形成卷积特征提取图；
[0109]
s213：将第一特征提取图输入到残差神经网络的上池化层进行扩展，随后将完成拓展的第一特征提取图与卷积特征提取图进行融合，得到融合特征提取图；
[0110]
s214：将融合特征提取图继续输入到残差神经网络的卷积层中，以减少通道数和计算量，得到新的卷积特征提取图，并且将新的卷积特征提取图与完成拓展的第一特征提取图进行融合，得到新的融合特征提取图；
[0111]
s215：重复步骤s214多次，将最终得到的融合特征提取图输入到残差神经网络的输出层以获得文本框的位置信息。
[0112]
最后输出rbox(rotate box，旋转矩形)和quad(quadrangle，任意四边形)，针对检测形状为rbox的文本框，输出内容包括预测框的置信度，和文本框的(x,y,z,w)位置参数，以及文本框的旋转角度θ。对于检测形状为quad 的文本框，输出内容包括预测框的置信度和文本的位置信息，即四边形四个顶点的坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)。
[0113]
在对文本框定位完成后，从原始图片中提取文本框图片作为样本进行文字识别。识别模型采用密集卷积神经网络(desnet)和循环神经网络(rnn) 对文本框文字进行局部编码和全局编码，主要由3个卷积层、2个池化层、1 个全连接层和一个softmax回归层组成。其中，网络的前6层用于特征提取，最后一层用于分类。在训练中使用连接时序分类损失对文字进行分类和输出文本框中的文字结果。
[0114]
激活函数采用了修正线性单元relu函数如式子(3)所示，
[0115]
f(x)＝max(0,x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0116]
输出采用非线性分类能力强、分类速度快的softmax回归作为分类器，
[0117][0118]
其中，zi为第i个节点的输出值，c为输出节点的个数，及分类的类别个数。通过softmax函数将多分类的输出值转换为范围在[0,1]和为1的概率分布。
[0119]
以交叉熵(cross-entropy)来衡量训练的损失作为目标函数，对于有k类，每类有m个样本的数据集合，其损失函数为
[0120][0121]
以代价函数最小化为目标，通过不断调整权值、学习率等参数，以达到深度模型训练，为提高学习率、避免初始权值等参数的选取会在很大程度上影响训练速度和分类效果，本专利提出了一种新式的优化方法自适应矩估计 (adam)和传统sgd(随机梯度下降)方法相结合的训练方式：采用adam 方法自适应调整学习率，避免手工调参，使网络快速收敛；sgd方法以极小的学习率在训练好的模型上进一步精调，最终达到最优的分类效果。adam利用梯度的一阶矩估计和二阶距估计动态调整每个参数的学习率，经过偏置校正后，将每一次的迭代学习率限定在确定范围内，从而使得参数比较平稳，加快训练速度。adam方法的公式为：
[0122][0123][0124][0125]
[0126][0127]
式中，m
t
、n
t
分别是对g
t
的一阶矩估计和二阶矩估计，β1、β2表示对应的指数衰减因子，取值范围为[0,1)区间，是对m
t
，n
t
的校正；δθ
t
表示参数的更新量；η表示学习速率；ε则是接近0的极小正值，为了避免除以0 的情况。通过对学习率进行了动态约束，使其有明确的范围以提高学习效率。
[0128]
通过对深度学习模型进行训练后如图3所示，调取作业区域监控视频，将视频逐帧进行相似性采样分解为视频图片，使用上述预训练的神经网络对采集到的视频图片进行文本框定位和文字识别，输出检测结果，如果检测到“止步，高压危险”的标识，并发现该标识位于围栏之内，则判定为高压试验作业，当检测到“止步，高压危险”的标识位于围栏之外，则判定为一般检修作业。
[0129]
步骤s4包括：
[0130]
s41：对采集到的工作班组成员头像进行空间定位，并且与围栏进行位置盘判定；
[0131]
s42：若工作班组成员在围栏内，并且施工类型识别为高压试验作业，则发出“高压试验区域有作业人员进入”的告警弹框；
[0132]
s43：若工作班组成员在围栏外，并且施工类型识别为一般检修作业，则发出“作业人员误入间隔”告警弹框，以便运行人员采取相应的管控措施。
[0133]
综上所述，通过采用图像识别技术，识别作业人员是否为对应工作票的作业人员，然后通过识别出该作业区域是否为高压试验作业或是一般变电检修作业，根据作业的性质识别该工作班人员是否扩大工作区域或者是否误入间隔，通过建立相应的判决准则，捕捉异常现象，最后发出报警信号，节省了人力，解决了采用人力对变电站作业区域进行管控而导致管控效率低的问题。
[0134]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0135]
尽管已经示出和描述了本技术的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本技术的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本技术的范围由所附权利要求及其等同物限定。
[0136]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。