一种基于融合检测和精细分类的未规范着装识别算法的制作方法

1.本发明涉及计算机图像处理技术领域，具体为一种基于融合检测和精细分类的未规范着装识别算法。


背景技术：

2.电力系统的正常运转关系着国计民生。采用人工巡检的方式，成本比较高昂，而且无法时候全天候24小时的精细监控，因此，将人工智能技术引入到电力系统行业，能够实现更加全面更加有效的场景监控和安全监督。变电站是电力系统的核心场所，因此变电站场景监控是保证电力系统正常运作的重要方面。由于变电站场景的特殊性，对站内施工作业人员的规范作业和规范着装要求较高。其中，涉及到作业人员肢体细节的工作人员未规范着装识别，是变电站作业人员安全监督的一个难点功能。
3.目前变电站工作人员未规范着装识别算法可以分为以下几种：第一，采用简单直接的目标检测算法，例如yolo、ssd；第二，采用人体关键点检测方法，识别出手臂、脚部、躯干等关键区域，然后对每个区域进行是否着装识别；第三，采用传统的图像处理方法，例如图像匹配等。
4.在现有的变电站工作人员未规范着装识别算法中，存在以下问题：采用简单直接的目标检测算法，由于未规范着装区域远小于着装区域，因此容易将未规范着装识别为规范着装，出现漏检的现象；采用人体关键点检测结合目标识别方法，由于摄像头离工作人员距离较远，无法准确有效地对人体关键点进行检测，而且关键点检测完成后，各关键点对应区域面积太小，识别准确率低；采用传统的图像处理方法，在复杂场景尤其是人体着装、天气、光照等发生变化的情况下，无法进行有效的识别。


技术实现要素：

5.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
6.鉴于上述存在的问题，提出了本发明。
7.因此，本发明解决的技术问题是：在现有的变电站工作人员未规范着装识别方法中存在无法进行有效的识别、出现漏检的现象、识别准确率低的问题。
8.为解决上述技术问题，本发明提供如下技术方案：一种基于融合检测和精细分类的未规范着装识别算法，包括：
9.对多尺度目标检测算法和分类器进行训练；
10.实际测试图片输入后，使用多尺度目标检测算法获得候选项；
11.根据获得的候选标签和坐标位置、宽高从实际测试图片中扣取子图像进行超分辨率重建；
12.将超分辨率重建以后的图片送入到分类器中进行分类，输出结果判断是否规范着
装。
13.作为本发明所述的基于融合检测和精细分类的未规范着装识别算法的一种优选方案，其中：所述对多尺度目标检测算法进行训练包括：
14.采集未规范着装图片，对人员、工作服及未规范着装区域进行标注，采用标注的人体区域和未规范着装区域，对多尺度目标检测算法进行训练。
15.作为本发明所述的基于融合检测和精细分类的未规范着装识别算法的一种优选方案，其中：所述对多尺度目标检测算法进行训练还包括：
16.训练rpn网络，定义锚点边框区域与真实的标定区域的交集区域iou，iou大于0.7，则为正样本，iou小于0.3，则为负样本，需要排除正负样本以外的锚点则对一个图像的函数定义为：
[0017][0018]
其中，i表示一个锚点区域在一个批次里的索引序号；pi为锚点预测为目标的概率，对于标签如果该锚点区域为正样本则为1，负样本则为0；ti是一个向量表示的是4个代表预测区域位置的参数，分别为角点坐标和长宽，表示正样本目标的真实区域位置；表示只有正样本需要计算边框回归损失；cls层和reg层的输出分别由{pi}和{ui}组成，参数n
cls
和n
reg
用来归一化函数，参数λ用来平衡分类和回归损失；
[0019]
对于回归的损失函数
[0020]
其中，r是robust损失函数
[0021]
由于背景回归框没有对应的标签框，σ需要人工设定。
[0022]
作为本发明所述的基于融合检测和精细分类的未规范着装识别算法的一种优选方案，其中：所述对分类器进行训练包括：
[0023]
选取人体关键点清晰的训练图片，截取规范着装和未规范着装的子图像，训练efficientv2分类器。
[0024]
作为本发明所述的基于融合检测和精细分类的未规范着装识别算法的一种优选方案，其中：所述多尺度目标检测算法包括：采用faster rcnn+fpn多尺度目标检测算法使得原始图像通过一系列的卷积层，提取出高层语义信息的特征图，挑选出不同维度的特征图，构造一个特征金字塔，接着对于特征金字塔每一个尺度的特征图上通过rpn提取不同大小候选区域，之后通过roi池化输出固定维度的特征向量，分别通过分类和回归两条分支进行目标类别的判定以及候选框位置的修正。
[0025]
作为本发明所述的基于融合检测和精细分类的未规范着装识别算法的一种优选方案，其中：所述使用多尺度目标检测算法获得候选项包括：
[0026]
实际测试图片输入后，使用多尺度目标检测算法faster rcnn+fpn获得候选标签naked或no-naked，并获取图像中的坐标位置和宽高。
[0027]
作为本发明所述的基于融合检测和精细分类的未规范着装识别算法的一种优选
方案，其中：所述从实际测试图片中扣取子图像进行超分辨率重建包括：
[0028]
根据获得的候选标签和坐标位置、宽高，从实际测试图片中扣取子图像进行超分辨率重建，得到更清晰的人体区域图像，超分辨率重建算法采用basicvsr++算法。
[0029]
作为本发明所述的基于融合检测和精细分类的未规范着装识别算法的一种优选方案，其中：所述扣取子图像包括：
[0030]
扣取局部的人体区域包括手腕和脚踝部位。
[0031]
作为本发明所述的基于融合检测和精细分类的未规范着装识别算法的一种优选方案，其中：所述规范着装和未规范着装的子图像包括：
[0032]
扣取局部的人体区域中手腕和脚踝部位有工作服覆盖的为规范着装的子图像；手腕和脚踝部位没有工作服覆盖的则为未规范着装的子图像。
[0033]
作为本发明所述的基于融合检测和精细分类的未规范着装识别算法的一种优选方案，其中：所述将超分辨率重建以后的图片送入到分类器中进行分类包括：
[0034]
当图片中人员着装符合规范着装的训练结果时，则输出规范着装；
[0035]
当图片中人员着装不符合规范着装的训练结果时，则输出未规范着装。
[0036]
本发明的有益效果：本发明提供的基于融合检测和精细分类的未规范着装识别算法采用对多尺度目标检测能力强的检测算法和超分辨率重建算法结合，能够更好地对人体、工作服以及未规范着装区域进行检测，对涉及到人体局部小区域进行超分辨率重建，能够得到更清晰的人体区域图像，将超分辨率重建后的精细图像进行目标检测和图像识别，能够更准确更快速地检测出未规范着装区域，并且对未规范着装的人体区域进行识别，采用融合检测和精细分类的方法，大大提高了工作人员未规范着装识别的召回率和准确率，减少了虚警和漏检。
附图说明
[0037]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0038]
图1为本发明一个实施例提供的一种基于融合检测和精细分类的未规范着装识别算法的算法训练流程图；
[0039]
图2为本发明第一个实施例提供的一种基于融合检测和精细分类的未规范着装识别算法的推理流程图。
具体实施方式
[0040]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0041]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的
情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0042]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0043]
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0044]
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0045]
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0046]
实施例1
[0047]
参照图1-2，为本发明的一个实施例，提供了一种基于融合检测和精细分类的未规范着装识别算法，包括：
[0048]
对多尺度目标检测算法和分类器进行训练；
[0049]
更进一步的，采集未规范着装图片，对人员、工作服及着装区域进行标注；
[0050]
更进一步的，采用标注的人体区域和着装区域，对检测算法进行训练；
[0051]
更进一步的，训练rpn网络，定义锚点边框区域与真实的标定区域的交集区域iou，iou大于0.7，则为正样本，iou小于0.3，则为负样本，需要排除正负样本以外的锚点则对一个图像的函数定义为：
[0052][0053]
其中，i表示一个锚点区域在一个批次里的索引序号；pi为锚点预测为目标的概率，对于标签如果该锚点区域为正样本则为1，负样本则为0；ti是一个向量表示的是4个代表预测区域位置的参数，分别为角点坐标和长宽，表示正样本目标的真实区域位置；表示只有正样本需要计算边框回归损失；cls层和reg层的输出分别由{pi}和{ui}组成，参数n
cls
和n
reg
用来归一化函数，参数λ用来平衡分类和回归损失；
[0054]
对于回归的损失函数
[0055]
其中，r是robust损失函数
[0056]
由于背景回归框没有对应的标签框，σ需要人工设定，此处设置为3；
[0057]
应说明的是，faster rcnn是由rpn来产生锚点的，通过定义损失函数计算丢弃掉无用的样本，会大大提高图片的检测效率；
[0058]
更进一步的，人员穿有工作服的图片算法输出候选标签no-naked；人员未穿有工作服的图片算法输出候选标签naked；
[0059]
更进一步的，选取人体关键点清晰的训练图片，截取规范着装和未规范着装的子图像，训练efficientv2分类器；
[0060]
应说明的是，在训练和实际测试阶段重复以上过程，不断地采集、标注图片数据，并进行再训练，从而提升算法对变电站工作人员未规范着装的召回率和准确率；
[0061]
同时，现场采集的图片和标注完成的训练样本图片格式均为jpg图片格式；
[0062]
更进一步的，训练结果分为规范着装和未规范着装两种；
[0063]
若多尺度目标检测算法中获得候选标签no-naked并且扣取子图像中手腕和脚踝部位都有工作服覆盖，则训练结果为规范着装；
[0064]
若多尺度目标检测算法中获得候选标签no-naked但扣取子图像中手腕和脚踝部位只要有一处没有工作服覆盖，则训练结果未规范着装；
[0065]
若多尺度目标检测算法中获得候选标签naked无论扣取子图像中手腕和脚踝部位是否有工作服覆盖，训练结果均为未规范着装。
[0066]
输入实际测试图片，进行faster rcnn+fpn推理；
[0067]
更进一步的，实际测试图片输入后，对实际测试图片通过一系列的卷积层，提取出高层语义信息的特征图，挑选出不同维度的特征图，构造一个特征金字塔，接着对于特征金字塔每一个尺度的特征图上通过rpn提取不同大小候选区域，之后通过roi池化输出固定维度的特征向量，分别通过分类和回归两条分支进行目标类别的判定以及候选框位置的修正，获得候选项“naked”或“nonaked”；
[0068]
更进一步的，获得图像的坐标位置和宽高；
[0069]
应说明的是，采用对多尺度目标检测能力强的faster rcnn+fpn检测算法，能够更好地对人体、工作服以及未规范着装区域进行检测。
[0070]
从实际测试图片中扣取子图像进行超分辨率重建；
[0071]
更进一步的据获得的候选标签和坐标位置、宽高从实际测试图片中扣取子图像采用basicvsr++超分辨率重建算法；
[0072]
更进一步的，扣取的子图像为局部的人体区域包括手腕和脚踝部位；
[0073]
应说明的是，图像的超分辨率重建技术指的是将给定的低分辨率图像通过特定的算法恢复成相应的高分辨率图像，采用basicvsr++算法，对涉及到人体局部小区域进行超分辨率重建，从给定的低分辨率图像中重建出高分辨率图像，能够得到更清晰的人体区域图像。
[0074]
将超分辨率重建以后的图片送入到分类器中进行分类，输出结果判断是否规范着装；
[0075]
更进一步的，将超分辨率重建以后的图片送入到分类器efficientv2中进行分类，当图片中人员着装符合规范着装的训练结果时，则输出规范着装；当图片中人员着装不符合规范着装的训练结果时，则输出未规范着装。
[0076]
应说明的是，采用faster rcnn+fpn检测算法和basicvsr++超分辨率重建算法结
合，能够得到更清晰的人体区域图像，可以更准确更快速地检测出未规范着装区域，大大提高工作人员未规范着装识别的召回率和准确率。
[0077]
实施例2
[0078]
为对本方法中采用的技术效果加以验证说明，本实施例采用传统的识别算法与本发明所提供的基于融合检测和精细分类的未规范着装识别算法进行对比测试，以科学论证的手段对比试验结果，以验证本发明方法所具有的真实有益效果。
[0079]
传统的识别算法：采用人体关键点检测结合目标识别方法，由于摄像头离工作人员距离较远，无法准确有效地对人体关键点进行检测，而且关键点检测完成后，各关键点对应区域面积太小，识别准确率低。
[0080]
本发明的技术方案：采用对多尺度目标检测能力更强的faster rcnn+fpn检测算法和basicvsr++超分辨率重建算法结合，能够更好地对人体、工作服以及未规范着装区域进行检测，对涉及到局部小区域的人体区域进行超分辨率重建，得到更清晰的人体区域图像，将超分辨率重建后的精细图像进行目标检测和图像识别，能够更准确更有效地检测出未规范着装区域，并且对未规范着装的人体区域进行识别。
[0081]
测试环境：对变电站内施工作业人员肢体细节的未规范着装识别，分别利用传统的识别算法和本发明的识别算法对站内随机100个工作人员着装进行识别，统计识别精确率以及召回率。
[0082]
测试结果如下表所示：
[0083]
方法召回率精确率传统识别算法69％72％本发明方法86％91％
[0084]
由上表测试结果可以看出，本发明提供的基于融合检测和精细分类的未规范着装识别算法相较于传统识别算法相比召回率和准确率大大提高。
[0085]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。