复杂场景下基于人工智能的变电站内异常行为识别与检测方法与流程

本发明公开一种复杂场景下基于人工智能的变电站内异常行为识别与检测方法，属于智能电网检测的技术领域。

背景技术：

变电站是高压带电操作的工作场所，易发生事故，而许多事故是由于人为责任引起的，例如工作人员误进入带电工作区，误触碰带电体造成触电；以及当检修人员还在维修操作时，却人为误送电造成触电死亡的事故。为了保证变电站中工作人员的人身安全以及设备的安全，视频监控已经广泛应用到该领域。

现有技术也公开了诸多相关专利文献，例如：

中国专利文献cn107666594a公开了一种视频监控实时监测违章作业的方法，通过收集施工人员现场施工图片作为样本并对样本进行标记、处理、归类，然后建立违章行为检测识别模型，并将违章行为检测识别模型应用在施工现场摄像头并进行监测，最后对违章作业行为进行记录并通知安监管理人员，实现对违规作业行为进行自动记录，节省人力物力。该专利文献只是通过对施工人员身上的物体进行检测，例如通过检测安全帽来判断施工人员是否佩戴安全帽，不能有效的对行为进行检测。

中国专利文献cn110163143a公开一种适用于图像处理技术领域，提供一种违规行为识别方法、装置及终端设备。该违规行为识别方法包括：获取待识别图像；采用阈值分割法对所述待识别图像进行预处理；利用违规行为样本集对卷积神经网络模型进行训练；基于训练完成的卷积神经网络模型对预处理后的待识别图像进行识别，判断是否存在违规行为。利用所述违规行为识别方法对变电站现场进行检测，可及时发现变电站现场工作人员的违规行为，及时采取措施，排除安全隐患，提高了检测效率及准确度。此专利文献所记载的方法是通过输入图像对违规行为进行识别，而图像中会有许多干扰因素，会对识别结果产生影响。

中国专利文献cn108256489a公开了一种基于深度强化学习的行为预测方法及装置，其中，方法包括：通过视频图像的帧提取人体骨架信息的动作特征；将动作特征根据人体机构化信息进行特征编码；通过深度强化学习对人体行为过程中有效的部位进行筛选，以预测人的行为。该方法通过在人体的重要位置提取局部图像块，利用图像块的特征的有序排列，从而在预测过程用有效地利用人体的结构化信息，有效地提升了行为预测的精度和性能。该专利文献是为了预测人的行为，并不适用于识别人的行为。

中国专利文献cn104850846a提供了一种基于深度神经网络的人体行为识别方法，包括：获取行为人的原始深度数据流；通过行为人的原始深度数据流提取人体的骨架关节点数据；利用提取到的人体骨架关节点数据所对应的三维坐标，来对整个人体建模；通过对整个人体建模来进行特征提取，将特征数据送入限制波尔兹曼机网络进行预处理，将得到的权值初始化bp神经网络参数，训练出深度神经网络模型，并据此对特征提取的结果进行行为识别；采用多线程并行处理，将提取到的人体骨架关节点数据与实际人体进行重合，并将识别到的行为进行实时显示；建立异常行为模板库并对检测到的异常行为进行报警。但是针对电力特殊场景下的行为识别，并不是简单通过骨骼关键点所能准确识别的，还需要考虑过滤掉不必要的干扰。

综上，传统的异常行为检测方法主要依赖于各种手工特征的构造，如运动轨迹特征，光流矢量特征，时空体积特征，局部二值化特征等。这些特征多针对普通的行为识别设计，未针对变电站中的种种异常行为作专门的优化。因此此类方法在该领域的误检率较高，容易将普通的行为误判为异常行为，且此类方法的实时性和鲁棒性较差，易受噪声的干扰影响。

技术实现要素：

针对现有技术的不足，本发明公开一种复杂场景下基于人工智能的变电站内异常行为识别与检测方法。

发明概述：

本发明旨在对变电站工作区域内的异常行为进行识别与检测。利用计算机视觉技术和深度学习相结合的方法，对工作人员进行定位与行为识别。并针对实际应用存在的遮挡以及不可见情形，加入多级别特征检测模块以提升识别效果。本发明实现了在复杂场景下对变电站工作区域的异常行为的自动检测和识别任务，并具有良好的准确率、稳定性与实时性，可满足变电站实际应用需求。

专业术语解释：

深度神经网络、弱监督学习、小样本学习、图像二值化、roipooling、roialign、lstm网络。

1)深度神经网络：深度神经网络是在输入层和输出层之间具有多个隐藏层的人工神经网络。神经网络由许多相互关联的概念化的人造神经元组成，这些人造神经元之间可以互相传递数据，并且根据网络调整相关权重。

2)弱监督学习：介于有监督和无监督之间的一种学习方式。针对监督信息不完整或不明确对象的学习问题统称为弱监督学习。

3)小样本学习：人类非常擅长通过极少量的样本识别一个新物体。在人类的快速学习能力的启发下，研究人员希望机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，这就是小样本学习(few-shotlearning)要解决的问题。

4)图像二值化：就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。

5)roipooling：在fasterrcnn中提出的使生成的候选框映射产生固定大小的特征图。

6)roialign:在maskrcnn中提出的使生成的候选框映射产生固定大小的特征图。

7)lstm网络(longshort-termmemory)是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。

本发明的技术方案如下：

一种复杂场景下基于人工智能的变电站内异常行为识别与检测方法，其特征在于，该检测方法包括以下步骤：

s1：对监控视频进行预处理，得到静态图；

s2：使用基于深度学习的目标检测算法fpn网络检测人体区域：利用候选框将人体区域标识出来，并对原图像进行裁剪处理作为待识别图像；

s3：将待识别图像进行预处理操作，产生二值化图像；此优势在于将视频按每帧图像提取出来，可以更好的识别和检测连续动作；

s4：将所述二值化图像作为cpn网络的输入进行人体骨架的关键点检测：生成人体骨架关键点图像；

s5：将人体骨架关键点图像与步骤s1得到rgb单帧静态图融合，输入到lstm网络进行分类识别，判断是否为异常行为。

根据本发明优选的，所述步骤s1对视频预处理的过程具体包括：提取视频中的每帧图像，得到rgb单帧静态图。将视频按每帧图像提取出来，可以更好的识别和检测连续动作。

根据本发明优选的，在所述步骤s2对人体检测之前还包括对网络进行训练：

使用coco人体检测的数据集，并过滤重复、模糊数据后作为fpn网络的训练集。

根据本发明优选的，所述步骤s2对人体检测的过程具体包括：

s21：使用maskrcnn中的roialign替换fpn的roipooling，将roipooling的反向传播公式

替换为roialign的反向传播公式

在公式(i)中，xi表示池化前特征图上的像素点，yrj表示池化后的第r个候选区域的第j个点，i^*(r,j)表示点yrj像素值的来源；

在公式(ii)中，表示一个浮点数的坐标，表示两点xi与之间的距离，δh和δw表示xi与横、纵坐标的差值，这里作为双线性内插的系数乘在原始的梯度上；

s22：训练fpn网络；

s23：将图像输入fpn网络检测人体区域；

s24：网络将带有候选框的图像输出，按照候选框切割图像，得到只有人体区域的待识别图像。去除周围无关因素的干扰。

根据本发明优选的，所述步骤s3对待识别图像预处理方法包括：

s31：对待识别图像灰度化处理：从rgb颜色空间转变为gray颜色空间转变公式为：

gray(i,j)＝0.299*r(i,j)+0.587*g(i,j)+0.114*b(i,j)(iii)

公式(iii)中r、g、b代表相应的红绿蓝色彩空间的值；

s32：使用otsu二值化处理图像。以更好的去除无关因素。

根据本发明优选的，所述步骤s4对人体骨架关键点检测包括：

其中，包括cpn网络，所述cpn网络包括两个子模块——globalnet和refinenet；

s41：globalnet基于resnet网络结构，分为四层通道对图像进行特征提取，并在上采样后，两层特征相加之前，再进行一次1*1的卷积操作，用于对易检测部位进行识别成可见容易关键点，采用的损失函数为l2loss，即：

其中，n表示关键点的个数，y(x)表示预测值，a^l(x)表示真实值；

s42：基于globalnet生成的特征金字塔表示，refinenet利用不同层的特征信息，并通过采用hypernet的思想进行上采样和链接，整合不同层的特征信息：

对于难以辨识的关键点(如图3所示)：利用之前globalnet检测出的可见容易关键点，放大该区域，使用增大感受野来估计关键点位置；

对于未检测出的不可见关键点(如图4所示)：使用上下文内容，即各个已知点进行预测。该部分采用的损失函数为l2loss^*，即计算网络输出和标签中所有关键点的loss，然后对loss进行从大到小排序，最后选择top-k个loss用于网络的反向传播。

根据本发明优选的，所述步骤s5对异常行为识别的过程还包括：

s51：首先将违规行为、危险行为进行分类：在步骤s1得到的图像中中每类至少标记一组连续动作或单独动作，为其打上标签；

s52：将步骤s1的大量图像数据和步骤s51中得到的少量标注数据与人体骨架关键点图像进行融合，利用弱监督学习和小样本学习的方法训练该融合后的数据用到的lstm网络；所述融合是指使用opencv的函数对两张图像进行简单的叠加融合；

s53：利用lstm网络的记忆性将连续的图片串联起来形成一个可识别的连续动作，能更好地对行为进行识别；

s54：最后用softmax分类器进行分类，辨别正常行为与异常行为。

本发明的有益效果：

本发明可以根据变电站员工行为准则标准，针对变电站这一特定场景内的违规行为、危险行为进行检测与识别。

1)解决在实际应用场景下存在遮挡、不可见等情况时，难以精确定位的问题。

2)由于视频来源为变电站工作区域内的摄像头，存在目标与摄像头距离较远导致图像模糊难以识别的挑战。

3)由于该领域下的公开数据集很少，只有大量未标签的监控视频数据，属于弱监督学习和小样本学习。

本发明使用了基于深度学习的目标检测算法来检测人体，在fpn网络的基础上，将其中池化层的roipooling替换为maskrcnn中的roialign，提升了目标检测率，减少了漏检率和错检率。

本发明综合利用了人体骨架和深度神经网络学习的方法来进行异常行为的检测，在人体骨架关键点检测中采用了cpn算法，充分的协调了速度与准确率，相较于之前的技术在效果上有了显著的提高，能够在实验测试集上取得69.4％的准确率，鲁棒性强，可以实现实时输出和更新检测结果。本发明还能够同时对图像中多个人员的行为进行识别。

附图说明

图1是本发明的流程图；

图2是常规情况下cpn算法流程图；

图3是难以辨识情况下cpn算法流程图；

图4是不可见情况下cpn算法流程图；

图5是应用本发明所述方法在电力场景(室内)时识别的效果图；

图6是应用本发明所述方法在电力场景(室外施工)时识别的效果图。

在图2、3、4中，所述“常规”、”“难以辨识”、“不可见”指的是关键点而不是指场景，一般来说在检测一个人的关键点时这三种关键点都会遇到，因此，算法只是对不同检测难度的关键点有不同的检测和识别方法，图2、3、4所列的三种方法是一种递进关系，即先使用如图2的第一种算法，若关键点没有全部检测再使用如图3的第二种算法，最后使用如图4的第三种算法。

具体实施方式

现结合实施例和说明书附图对本发明做详细的说明，但不限于此。

实施例、

如图1、2、3、4所示。

一种复杂场景下基于人工智能的变电站内异常行为识别与检测方法，包括以下步骤：

s1：对监控视频进行预处理，得到静态图；

s2：使用基于深度学习的目标检测算法fpn网络检测人体区域：利用候选框将人体区域标识出来，并对原图像进行裁剪处理作为待识别图像；

s3：将待识别图像进行预处理操作，产生二值化图像；

s4：将所述二值化图像作为cpn网络的输入进行人体骨架的关键点检测：生成人体骨架关键点图像；

s5：将人体骨架关键点图像与步骤s1得到rgb单帧静态图融合，输入到lstm网络进行分类识别，判断是否为异常行为。

所述步骤s1对视频预处理的过程具体包括：提取视频中的每帧图像，得到rgb单帧静态图。

在所述步骤s2对人体检测之前还包括对网络进行训练：

使用coco人体检测的数据集，并过滤重复、模糊数据后作为fpn网络的训练集。

所述步骤s2对人体检测的过程具体包括：

s21：使用maskrcnn中的roialign替换fpn的roipooling，将roipooling的反向传播公式

替换为roialign的反向传播公式

在公式(i)中，xi表示池化前特征图上的像素点，yrj表示池化后的第r个候选区域的第j个点，i^*(r,j)表示点yrj像素值的来源；

在公式(ii)中，表示一个浮点数的坐标，表示两点xi与之间的距离，δh和δw表示xi与横、纵坐标的差值，这里作为双线性内插的系数乘在原始的梯度上；

s22：训练fpn网络；

s23：将图像输入fpn网络检测人体区域；

s24：网络将带有候选框的图像输出，按照候选框切割图像，得到只有人体区域的待识别图像。

所述步骤s3对待识别图像预处理方法包括：

s31：对待识别图像灰度化处理：从rgb颜色空间转变为gray颜色空间转变公式为：

gray(i,j)＝0.299*r(i,j)+0.587*g(i,j)+0.114*b(i,j)(iii)

公式(iii)中r、g、b代表相应的红绿蓝色彩空间的值；

s32：使用otsu二值化处理图像。

所述步骤s4对人体骨架关键点检测包括：

其中，包括cpn网络，所述cpn网络包括两个子模块——globalnet和refinenet；

s41：globalnet基于resnet网络结构，分为四层通道对图像进行特征提取，并在上采样后，两层特征相加之前，再进行一次1*1的卷积操作，用于对易检测部位进行识别成可见容易关键点，采用的损失函数为l2loss，即：

其中，n表示关键点的个数，y(x)表示预测值，a^l(x)表示真实值；

s42：基于globalnet生成的特征金字塔表示，refinenet利用不同层的特征信息，并通过采用hypernet的思想进行上采样和链接，整合不同层的特征信息：

对于难以辨识的关键点(如图3所示)：利用之前globalnet检测出的可见容易关键点，放大该区域，使用增大感受野来估计关键点位置；

对于未检测出的不可见关键点(如图4所示)：使用上下文内容，即各个已知点进行预测。该部分采用的损失函数为l2loss^*，即计算网络输出和标签中所有关键点的loss，然后对loss进行从大到小排序，最后选择top-k个loss用于网络的反向传播。

所述步骤s5对异常行为识别的过程还包括：

s51：首先将违规行为、危险行为进行分类：在步骤s1得到的图像中中每类至少标记一组连续动作或单独动作，为其打上标签；

s52：将步骤s1的大量图像数据和步骤s51中得到的少量标注数据与人体骨架关键点图像进行融合，利用弱监督学习和小样本学习的方法训练该融合后的数据用到的lstm网络；

s53：利用lstm网络的记忆性将连续的图片串联起来形成一个可识别的连续动作，能更好地对行为进行识别；

s54：最后用softmax分类器进行分类，辨别正常行为与异常行为。

图5是应用本发明所述方法在电力场景(室内)时识别的效果图，识别到电力场景(室内)的人员动作状态为stand(站立)；

图6是应用本发明所述方法在电力场景(室外施工)时识别的效果图，识别到电力场景(室外施工)的人员动作状态分别为sit(蹲)和stand(站立)。