一种配网现场作业人员穿衣规范的识别方法与流程

本发明涉及配网作业人员规范领域，尤其涉及一种配网现场作业人员穿衣规范的识别方法。

背景技术：

配电是电力生产到电力应用的重要环节。配电作业风险高，配电作业过程中电源的放电不完全、反送电、带电作业、误碰带电设备等都极易造成作业人员的触电事故。

为避免触电，作业人员在作业过程中需要做好相应的绝缘防护，按照要求规范穿着特定的绝缘工作服。为监督现场一线的作业人员规范穿着工作服进行配电作业，保障配网作业人员的生命安全，监控中心人员需对配网现场人员的作业记录进行视频监控并从记录的视频中筛查违的违规操作。通过违规记录建立相应的奖惩制度约束作业人员规范作业。监督配网人员规范穿着工作服作业，能有效降低作业人员的触电事故，保障作业人员生命安全，但是监控中心工作人员以人工的方式进行视频违规操作筛查，其工作量繁重，不能全量筛查，只能部分抽查。人工抽查的方式实时性差、工作量繁重、覆盖面不全，为解决人工抽查的弊端和缺点，需要使用计算机图像技术对配网现场作业人员的工作服穿着规范进行识别，监督配网现场作业人员规范穿着工作服，预防意外触电，保障作业人员的生命安全。

技术实现要素：

本发明的目的在于提供了一种基于mask-rcnn和mobilenet-v2的配网现场作业人员规范穿着工作服的图像检测、图像分割和图像识别方法，能准确识别配网现场作业人员在配网作业过程中是否正确穿着工作服，监督配网现场作业人员规范着装，预防触电，保障作业人员的生命安全。

为了实现上述目的，本发明通过以下技术手段予以实现。

一种配网现场作业人员穿衣规范的识别方法，包括以下步骤：

图像分类：截取配网现场作业视频，作为图像本集，将图像本集按照比例分为验证集和训练集；

训练数据集的形成：利用mask-rcnn算法训练目标检测和图像实例分割模型，并利用验证集对训练后的模型进行验证，获得检测、识别、分割模型；使用mask-rcnn推理得到的人员位置坐标、工作服类别、工作服像素分割图从原图中截取图像，形成图像识别的训练数据集；

构建分类模型：基于mobilenet-v2算法，构建图像识别模型，识别作业人员穿着工作服是否规范；

穿衣规范的识别：是级联采用mask-rcnn和mobilenet-v2算法构建的目标检测、图像实例分割模型和图像识别模型，实现作业人员穿着工作服是否规范的检测、识别和分割。

作为本发明的进一步改进，所述步骤1)图像分类步骤中，还包括图像样本的处理和标注，所述处理为，将图像本集缩放到固定尺寸。

作为本发明的进一步改进，所述处理具体为：将图像样本利用双线性插值算法进行图像缩放，使得图像本集缩放到固定尺寸。

作为本发明的进一步改进，所述双线性插值算法具体为，f函数

p＝(x，y)是需要求解的插值坐标点，已知p点以田字型的周围的四个坐标点q11＝(x1，y1)，q12＝(x1，y2)，q21＝(x2，y1)，q22＝(x1，2y2)的值，使用双线性插值如下：

在x方向上进行插值，得到：

由此得到r1＝(x，y1)，r2＝(x，y2)；

在y方向上进行插值，得到：

由此得到f(x，y)即p的坐标如下：

作为本发明的进一步改进，根据mask-rcnn得到的作业人员工作服mask掩码图实现图像膨胀，保留工作服周围的图像信息。

作为本发明的进一步改进，所述图像膨胀具体为：mask-rcnn生成的mask掩码图边缘的坐标值为x1(x1，y1)，x2(x2，y2)，对图像膨胀n个像素点，得到x1(x1-n，y1-n)，x2(x2+n，y2+n)，根据新得到的坐标点和人员位置坐标进行裁剪，再对数据清洗、类别分类得到mobilenet-v2的训练数据集。

作为本发明的进一步改进，所述构建分类模型具体为：引入mobilenet-v2模型对图像进行分类，同时引入残差结构，实现模型的先升维再降维的处理。

作为本发明的进一步改进，所述步骤穿衣规范的识别具体为：级联采用mask-rcnn和mobilenet-v2模型，mask-rcnn负责检测作业人员的位置坐标、是否穿工作服、工作服掩码分割图，mobilenet-v2负责识别作业人员是否规范穿工作服，mask-rcnn的识别结果和mobilenet-v2的识别结果映射到原图上并标注出识别结果。

本发明的有益效果如下：

本发明首先通过mask-rcnn对配网现场作业人员进行检测定位、工作服识别、工作服掩码分割，然后将定位到的作业人员从原图像中截取出来；再通过mobilenet-v2对配网现场作业人员穿着工作服是否规范进行分类识别，获得配网现场作业人员是否穿工作服、不规范穿工作服和规范穿工作服的识别结果，为实现图像识别结果的可视化，采用类激活映射对系安全带的配网作业人员图像进行标注定位。

本发明替代了监控中心工作人员人工抽查配网现场作业人员是否穿工作服和规范穿着工作服，通过对配网现场作业的业务场景测试结果表明，该识别方法的准确率达到98.5％，可应用于配网现场作业人员是否穿着工作服和规范穿着工作服的识别。

附图说明

图1为本发明提供的mask-rcnn检测、识别、分割模型的训练过程。

图2为本发明提供的mobilenet-v2分类模型的训练过程。

图3为本发明提供的mask-rcnn算法网络结构图。

图4为本发明提供的级联模型使用流程。

图5为本发明提供的配网现场作业人员是否规范穿着工作服的识别结果。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

实施例1

本发明的技术方案包括以下步骤：

图像分类：截取配网现场作业视频，作为图像本集，将图像本集按照比例分为验证集和训练集；

图像分类步骤中，还包括图像样本的处理和标注，所述处理为，将图像本集缩放到固定尺寸。

具体为：将图像样本利用双线性插值算法进行图像缩放，使得图像本集缩放到固定尺寸。

进一步地，双线性插值算法具体为，f函数p＝(x，y)是需要求解的插值坐标点，已知p点以田字型的周围的四个坐标点q11＝(x1，y1，)，

q12＝(x1y2)，q21＝(x2，y1)，q22＝(x1，2y2)的值，使用双线性插值如下：

在x方向上进行插值，得到：

由此得到r1＝(x，y1)，r2＝(x，y2)；

在y方向上进行插值，得到：

由此得到f(x，y)即p的坐标如下：

训练数据集的形成：利用mask-rcnn算法训练目标检测和图像实例分割模型，并利用验证集对训练后的模型进行验证，获得检测、识别、分割模型；使用mask-rcnn推理得到的人员位置坐标、工作服类别、工作服像素分割图从原图中截取图像，形成图像识别的训练数据集；

根据mask-rcnn得到的作业人员工作服mask掩码图实现图像膨胀，保留工作服周围的图像信息。

进一步地，所述图像膨胀具体为：mask-rcnn生成的mask掩码图边缘的坐标值为x1(x1，y1)，x2(x2，y2)，对图像膨胀n个像素点，得到

x1(x1-n，y1-n)，x2(x2+n，y2+n)，根据新得到的坐标点和人员位置坐标进行裁剪，再对数据清洗、类别分类得到mobilenet-v2的训练数据集。

构建分类模型：基于mobilenet-v2算法，构建图像识别模型，识别作业人员穿着工作服是否规范；

具体为；引入mobilenet-v2模型对图像进行分类，同时引入残差结构，实现模型的先升维再降维的处理。

穿衣规范的识别：是级联采用mask-rcnn和mobilenet-v2算法构建的目标检测、图像实例分割模型和图像识别模型，实现作业人员穿着工作服是否规范的检测、识别和分割。

进一步地，级联采用mask-rcnn和mobilenet-v2模型，mask-rcnn负责检测作业人员的位置坐标、是否穿工作服、工作服掩码分割图，mobilenet-v2负责识别作业人员是否规范穿工作服，mask-rcnn的识别结果和mobilenet-v2的识别结果映射到原图上并标注出识别结果。

本方法首先通过mask-rcnn对配网现场作业人员进行检测定位、工作服识别、工作服掩码分割，然后将定位到的作业人员从原图像中截取出来；再通过mobilenet-v2对配网现场作业人员穿着工作服是否规范进行分类识别，获得配网现场作业人员是否穿工作服、不规范穿工作服和规范穿工作服的识别结果，为实现图像识别结果的可视化，采用类激活映射对系安全带的配网作业人员图像进行标注定位。

本方法替代了监控中心工作人员人工抽查配网现场作业人员是否穿工作服和规范穿着工作服，通过对配网现场作业的业务场景测试结果表明，该识别方法的准确率达到98.5％，可应用于配网现场作业人员是否穿着工作服和规范穿着工作服的识别。

实施例2

本实施例中，参照具体实际使用进行介绍。

参照附图1-5所示，按照本发明内容完整的方法实施例及其实施过程如下：

1)通过工作记录仪采集到配网现场作业人员的检修工作视频，并上传到监控中心，将监控中心的视频按帧截取成图片。截取的图片标注为不穿工作服和穿工作两类，一张图像中可以有多个目标和两个类别。截取12000张图片作为训练数据集，穿工作服图片为6000张，不穿工作服图片为6000张。

2)对标注的图像做尺寸缩放，使用双线性插值算法将图像缩放到固定的样本数据集。

3)使用标注工具进行标注，标注样本数据集中的作业人员是否穿着工作服，获得对应的标签文件，使用标注的文件生成mask文件，标签文件与原始的图像、mask文件共同组成图像数据集，随机从12000张图片中抽取20％作为验证集。

4)使用训练数据集训练mask-rcnn得到模型，并使用验证集对训练后的mask-rcnn模型进行验证，获得模型mask-rcnn(流程如图1所示)。

5)通过mask-rcnn模型获取配网作业人员位置坐标、工作服类别、工作服掩码图，通过坐标值和掩码图分割截取配网作业人员的工作服图像样本集，对截取的样本做清洗和重分类，分为规范穿着工作服和不规范穿着工作服两类，规范穿着工作服的训练样本为5000张，不规范穿着工作服的训练样本为5000张，分别抽取20％作为验证集。

6)使用步骤5)中得到的数据集训练mobilenet-v2模型，并使用验证集对mobilenet-v2进行验证测试(流程图如图2所示)。

7)模型的使用推理过程以视频的形式进行目标检测和识别，将mask-rcnn和mobilenet-v2进行级联，直接将视频输入mask-rcnn模型，mask-rcnn的输出结果级联预处理模块，预处理模块连接mobilenet-v2模型进行是否规范穿着工作服分(流程如图4所示)。

8)根据mask-rcnn的坐标检测结果、工作服识别结果和mobilenet-v2的分类结果，通过类激活映射展示违规的图像(映射结果如图5所示)。

使用从视频中截取的图像数据进行测试，识别结果如下表：

是否穿工作服测试：

是否规范穿着工作服测试：

从表中可以得到各个参数指标如下：

是否穿工作服

是否规范穿工作服：

通过上述评估参数标明，模型可以应用于业务场景。

识别结果：一边的图片为从视频中截取的不规范穿着工作服识别结果，另一边为规范穿着工作服的识别结果。通过测试结果，本发明能够实现配网现场作业人员是否穿工作服和是否规范穿着工作服的自动识别，在gtx1080上识别速度达到了实时，并具有通用性高，准确率高，稳定性好等优点，能够应用于配网现场作业人员着装的检测识别。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。