一种基于元学习的变电站改扩建违章行为智能化识别方法

1.本发明属于智能识别的技术领域，具体涉及一种基于元学习的变电站改扩建违章行为智能化识别方法。


背景技术：

2.变电站场地环境复杂，存在着威胁人身的众多因素。在变电站施工的过程中,需要对即将误入危险区域的作业人员进行快速准确地检测并及时预警，减少生命和财产的损失。但现有的危险区域检测方法大多数基于传感器的方法，需要布置大量的传感器，实际操作复杂，而且在工人身上附着传感器，会干扰工人的施工操作，而人工观察耗时费力，容易受观察者的精神状态影响。随着人工智能的发展，不少研究人员开始把深度学习技术和危险区域检测问题结合起来。然而现有的技术主要依赖于大量的标记数据进行模型的训练，进而在后端进行检测识别，没有充分利用前端的计算资源，在数据的传输上消耗太大，也降低了适用性。
3.传统视频监控系统主要为人工监控，事后观察视频取证；而且视频监控系统的架构设计比较单一，不能对视频图像进实时智能分析，不能实现远程监控，并且无法进行异常事件及时报警。智能视频监控系统区别于传统视频监控，将被动监控改为主动监控，可以进行自动检测，对检测目标进行定位跟踪，不仅用摄像头代替人眼而且用计算机代替人、协助人来完成监视或控制任务，从而减轻工作人员工作负担。


技术实现要素：

4.发明目的：针对现有技术存在的技术问题，本发明公开一种基于元学习的变电站改扩建违章行为智能化识别方法，不仅能有效识别地面违章行为，还能识别高空越界违章行为，且部署灵活，操作简单，实时性强，可重用性好。
5.发明内容：本发明提出一种基于元学习的变电站改扩建违章行为智能化识别方法，具体包括以下步骤：
6.(1)采集作业人员、设备、危险区域标志物图片，并构造难样本，完成场景的标注，形成小样本数据集；
7.(2)在imagenet数据集上利用元学习方法预训练yolov5模型；
8.(3)在步骤1采集的小样本数据集上精调得到最终的yolov5模型；
9.(4)将训练好的yolov5模型部署到移动端，完成对作业人员、施工机具、送变电设备等检测物的识别；
10.(5)根据施工作业要求自适应设置虚拟电子围栏，进行地面作业区域越界检测和高空作业区域越界检测，基于所设置的虚拟围栏进行人员机具的越界违章行为智能化识别并告警。
11.进一步地，所述步骤(1)包括以下步骤：
12.(11)采集的数据集来自实际变电站改扩建工作场景，针对不同远近距离下目标尺
寸差异大的问题，构造数据集时考虑不同尺度下的人员、机具、送变电设备和标志物图片，使近、中、远距离图片数量相近；
13.(12)采集到的的图片数据集用图形图像注释工具labelimg打标签，将图片中的人员、机具、送变电设备、危险区域标志物标注出来，获得目标物体的坐标与宽高信息，制作数据集的标签，生成xml文件。
14.进一步地，所述步骤(2)包括以下步骤：
15.(21)在开源数据集imagenet上反复随机抽取训练任务，形成一个由若干个任务组成的任务池，作为maml的训练集；每个任务都有n个类别的样本，每个类别的样本数量相同，任务中包含支持集与查询集，支持集与查询集均包含样本数据与标签；
16.(22)随机初始化yolov5模型的参数；
17.(23)随机采样k次任务进行训练；
18.(24)随机采样n个任务，形成一个batch；
19.(25)利用batch中的每一个任务中的支持集，分别对模型的参数进行更新，得到n个模型；
20.(26)利用batch中的每一个任务中的查询集，基于在各自支持集上训练得到的模型计算损失，计算一个batch的损失总和，在原模型上进行随机梯度下降，返回(24)；
21.(27)k次训练结束，得到元模型yolov5
meta
。
22.进一步地，所述步骤(3)包括以下步骤：
23.(31)将采集到的变电站改扩建工作场景数据分为支持集与查询集；
24.(32)导入训练好的yolov5
meta
的初始化参数；
25.(33)利用支持集，对模型的参数进行更新；
26.(34)得到最终的模型yolov5
fine
‑
tune
，利用查询集测试模型性能。
27.进一步地，所述步骤(4)包括以下步骤：
28.(41)将pytorch框架下训练好的yolov5模型转为onnx模型，再将onnx模型转为ncnn模型即移动端的yolov5模型；
29.(42)用c++的代码重构违章检测代码；
30.(43)对移动端拍摄的视频进行处理，将每帧图片送入移动端的yolov5模型；
31.(44)将yolov5模型的输出送入解码函数中进行解码，得到检测物的类别信息、置信度信息和坐标宽高信息。
32.进一步地，步骤(5)所述的地面作业区域越界检测实现过程如下：
33.通过yolov5模型获取人员、机具和作业区域边界标志物检测框的坐标宽高信息；通过判断各边界标志物的几何约束，在场景中划分出多个作业区域，将属于同一区域的边界标志物所组成的多边形标定为一个作业区域；分别计算出距人员与机具最近的作业区域，根据射线法判断人员和机具是否在作业区域内。
34.进一步地，步骤(5)所述的高空作业区域越界检测实现过程如下：
35.获取变电站高空可作业高度h，测量人员标志物的宽度w
标
，测量人员的安全帽直径w
帽
，计算可作业高度h与标志物的宽度w
标
的比例k
高
＝h/w
标
，计算人员标志物的宽度w
标
与人员的安全帽直径w
帽
的比例k
人
＝w
标
/w
帽
；
36.通过yolov5模型获取作业人员佩戴的安全帽检测框的坐标宽高信息，根据人员标
志物的宽度与安全帽的直径比例k
人
计算该作业人员所属的人员标志物，根据可作业高度与标志物的宽度的比例k
高
计算该作业人员的最大可至高度；根据作业人员与所属的人员标志物检测框的坐标计算图片中作业人员距离地面的高度，并与最大可至高度进行比较，判断作业人员是否越界。
37.有益效果：与现有技术相比，本发明的有益效果：本发明在深度学习模型yolov5上进行图片的检测，并使用元学习方法在小样本数据上取得较好的训练效果，训练好的模型可移植到移动端，使移动端的性能在其允许的范围内得到最好的发挥，无论是在视频还是图片的检测上都能达到较高的效率和准确率；本发明还区别于传统的物理围栏及其他类型的虚拟电子围栏技术，不仅能有效识别地面违章行为，还能识别高空越界违章行为，且部署灵活，操作简单，实时性强，可重用性好。
附图说明
38.图1为本发明的流程图；
39.图2为本发明地面工作区域人员越界检测示例图；
40.图3为本发明高空工作区域人员越界检测示例图。
具体实施方式
41.下面结合附图，对本发明的技术方案进行清晰、完整地描述。
42.本发明提出一种基于元学习的变电站改扩建违章行为智能化识别方法，如图1所示具体包括以下步骤：
43.步骤1：采集作业人员、设备、危险区域标志物图片，并构造难样本，完成场景的标注，形成小样本数据集，在imagenet数据集上利用元学习方法预训练yolov5模型，并在采集的小样本数据集上精调得到最终的yolov5模型。
44.s11：采集的数据集来自实际变电站改扩建工作场景，针对不同远近距离下目标尺寸差异大的问题，构造数据集时考虑不同尺度下的人员、机具、送变电设备和标志物图片，使近、中、远距离图片数量相近；
45.s12：采集到的的图片数据集用图形图像注释工具labelimg打标签，将图片中的人员、机具、送变电设备、危险区域标志物标注出来，获得目标物体的坐标与宽高信息，制作数据集的标签，生成xml文件；
46.s13：在开源数据集imagenet上利用元学习方法maml训练得到元模型yolov5
meta
，具体流程如下：
47.1)在开源数据集imagenet上反复随机抽取训练任务，形成一个由若干个任务组成的任务池，作为maml的训练集；每个任务都有n个类别的样本，每个类别的样本数量相同，任务中包含支持集与查询集，支持集与查询集均包含样本数据与标签；
48.2)随机初始化yolov5模型的参数；
49.3)随机采样k次任务进行训练；
50.4)随机采样n个任务，形成一个batch；
51.5)利用batch中的每一个任务中的支持集，分别对模型的参数进行更新，得到n个模型；
52.6)利用batch中的每一个任务中的查询集，基于在各自支持集上训练得到的模型计算损失，计算一个batch的损失总和，在原模型上进行随机梯度下降，返回4)重复上述步骤；
53.7)k次训练结束，得到元模型yolov5
meta
。
54.s14：在采集的小样本数据集上精调得到最终的模型yolov5
fine
‑
tune
，具体流程如下：
55.1)将采集到的变电站改扩建工作场景数据分为支持集与查询集；
56.2)导入训练好的yolov5
meta
的初始化参数；
57.3)利用支持集，对模型的参数进行更新；
58.4)得到最终的模型yolov5
fine
‑
tune
，利用查询集测试模型性能。
59.步骤2：将训练好的yolov5模型部署到移动端，完成对作业人员、施工机具、送变电设备等检测物的识别。
60.s21：将pytorch框架下训练好的yolov5模型转为onnx模型，再将onnx模型转为ncnn模型即移动端的yolov5模型；
61.s22：用c++的代码重构违章检测代码；
62.s23：对移动端拍摄的视频进行处理，将每帧图片送入移动端的yolov5模型；
63.s24：将yolov5模型的输出送入解码函数中进行解码，得到检测物的类别信息、置信度信息和坐标宽高信息。
64.步骤3：根据施工作业要求自适应设置虚拟电子围栏，基于所设置的虚拟围栏进行人员机具的越界违章行为智能化识别并告警。
65.s31：地面作业区域越界检测场景如图2所示，具体流程如下：
66.1)通过yolov5模型获取地面作业区域标志物检测框的坐标信息，用白方块表示检测到的区域边界标志物，其中第n个区域边界标志物的左上角坐标和宽高组成集合为图中n＝1，2，3
……
16，表示检测框的左上角横坐标，表示检测框的左上角纵坐标，表示检测框的宽，表示检测框的高。
67.2)用黑方块表示检测到的区域划分标志物，其中第m个区域划分标志物的左上角坐标和宽高组成集合为图中m＝1，2，3，4，表示检测框的左上角横坐标，表示检测框的左上角纵坐标，表示检测框的宽，表示检测框的高。
68.3)通过yolov5模型获取作业人员和机具的坐标信息，用黑圆圈表示检测到的人员或机具，其中第l个人员或机具的左上角坐标和宽高组成集合为图中l＝1，2，3，具体字母表示同上。
69.4)判断各区域边界标志物满足哪些区域划分标志物的几何约束，这里的几何约束为区域划分标志物在区域边界标志物画面下方，即对每一个区域边界标志物，计算它到图中所有满足几何约束的区域划分标志物的距离，记录距它最近的区域划分标志物的序号。
70.5)将距离同一个区域划分标志物最近的区域边界标志物连成一个不交叉的多边形，则得到了一个作业区域。在图中，区域边界标志物1,2,3,4组成作业区域1，区域边界标
志物9，10,11，12组成作业区域3，因为几何约束的存在使得3,4,9,10不会被识别成一个区域。按此方法可将场景划分为多个作业区域。
71.6)分别计算出距作业人员与机具最近的作业区域,这里的距离指人或机具检测框下方的中心点的距离与作业区域中心点的距离，第l号人员或机具检测框下方中心的点坐标为图中第2个作业区域中心点坐标为在图中我们可以计算得到第1号人员或机具距离1号区域最近，第2号人员机具距离2号区域最近，第3号人员机具距离4号区域最近。
72.7)根据射线法判断人员和机具是否越界，射线法描述如下：从这个点做一条射线，计算它跟多边形边界的交点个数，如果交点个数为奇数，那么点在多边形内部，否则点在多边形外。在图中通过射线法判断人员或机具1的检测框下方两点都在作业区域1内，在判断人员或机具1处于区域中；通过射线法判断人员或机具2一个点在区域2内一个点在区域2外，则人员或机具2处于正在越界状态；通过射线法判断人员或机具3检测框下方两个点均在区域4外，也没有位于任意区域内，故人员或机具3处于越界状态。
73.s32：高空作业区域越界检测场景如图3所示，具体流程如下：
74.1)获取变电站高空可作业高度h＝600cm，测量人员标志物的宽度w
标
＝60cm，测量人员的安全帽直径w
帽
＝30cm，计算可作业高度h与标志物的宽度w
标
的比例k
高
＝h/w
标
＝10，计算标志物的宽度w
标
与人员的安全帽直径w
帽
的比例k
人
＝w
标
/w
帽
＝2。
75.2)通过yolov5模型获取作业人员佩戴的安全帽检测框的坐标宽高信息，两个人员标志物宽度分别为0.6cm与0.8cm，当前检测的安全帽直径为0.2cm，根据人员标志物的宽度与安全帽的直径比例k
人
＝2判断该作业人员所属的人员标志物宽度应为0.8cm，因为视觉检测过程中可能存在误差，宽度在0.75cm
–
0.85cm范围的标志物即是该人员所属的标志物，根据可作业高度与人员标志物的实际宽度的比例k
高
＝10计算该作业人员的最大可至高度应为8cm。
76.3)根据作业人员与所属的人员标志物检测框的坐标计算图片中作业人员距离地面的高度为9cm，与最大可至高度8cm进行比较，判断作业人员已经越界。
77.综上，本发明更符合未来电力行业发展的趋势：一方面增加了设备的适应能力，在没有后端支持时也可以独立地在移动端完成检测报警任务；另外一方面本发明还区别于传统的物理围栏及其他类型的虚拟电子围栏技术，不仅能有效识别地面违章行为，还能识别高空越界违章行为，且部署灵活，操作简单，实时性强，可重用。