基于无人机视觉分析的施工人员跨越围栏检测系统的制作方法

本发明涉及施工现场安全防护技术领域，尤其涉及一种基于无人机视觉分析的施工人员跨越围栏检测系统。

背景技术：

随着我国电力事业的快速发展，变电站数量的迅速增加，在变电站施工已经常态化，每天都会有大量施工人员工作在变电站中。而在施工过程中，尤其是高压试验工作中，如何保证安全是大家一直探讨的问题。在一些涉及用电安全或高压试验的工作中，为了提高安全性，一般采用安全围栏将工作区域隔离开来，传统的安全围栏一般采用安全警示带、安全网、硬质围栏等。

传统的安全围栏能够实现工作区域的物理隔离，但是也存在以下弊端。首先，现用于变电站施工现场的隔离围栏多为钢管与铁丝网焊接，固定在地面上，做工粗糙，笨重、功能单一、拆、装时间长且运输、存放不便。有些安全围栏需要借助于周边设备进行设置，在周围比较空旷的情况下几乎无法设置。其次，带有专用绝缘杆的围栏在设置过程中，工作量比较大，需要耗费较大的时间和精力，而且这种围栏所用的绝缘杆数量较多，比较占用空间。最后，传统的安全围栏都是出于物理隔离阶段，只能限制施工现场工作人员的活动范围，当人员跨越或强行解除时，由于无警示报警功能，不能对其及时提示告警。在实际生产现场施工时，习惯性违章很难杜绝，擅自跨越、钻越、解除围栏进入带电区的现象时有发生，这样就会使生产现场的安全措施出现漏洞，给人身安全造成了隐患，已不适合电力施工场所的要求。若是专门进行值班巡逻又会浪费巨大的人力物力，且效果不太好。

技术实现要素：

针对现有技术存在的不足，本发明目的是提供基于无人机视觉分析的施工人员跨越围栏检测系统。

本发明所要解决的技术问题为：如何通过无人机在施工现场上空拍取图片，构建目标检测训练样本，得到检测模型m，通过检测模型m与实时获取的施工现场视频流来判断跟踪队列中的施工人员运动轨迹和临时围栏是否有交叉；无需安排人员专门进行值班巡逻；

本发明首先利用轻量级的yolov3目标检测网络检测施工人员和围栏，然后通过跟踪施工人员的运动轨迹和围栏是否存在交点来判断施工人员是否存在跨越围栏违章行为，实现了在无人机上进行违章检测，提升了施工违章行为智能监测能力。

本发明的目的可以通过以下技术方案实现：基于无人机视觉分析的施工人员跨越围栏检测系统，包括数据采集模块、数据整理模块、数据分析模块、控制器、图像监测模块、报警模块以及存储模块；

所述数据采集模块包括无人机，所述无人机用于在施工现场上空拍取图片，从中选取1000张包含施工人员和围栏的样本图片，并人工标注出其中的施工人员和围栏位置，所述数据采集模块还用于将样本图片信息传输到数据整理模块，所述数据整理模块接收样本图片信息并对样本图片信息进行整理，构建目标检测训练样本，训练基于yolov3的轻量级施工人员和围栏检测器，得到检测模型m，具体步骤如下：

s1：将1000张包含施工人员和围栏的样本图片构成样本集s0；

s2：对样本集s0中的每一张样本图片si进行特征标准化操作，得到新的数据s1；

s3：对样本集s0中的每一张样本图片si，以si的中心坐标为旋转中心，随机旋转±30°，得到新的数据集s2；

s4：对样本集s0中的每一张样本图片si进行水平翻转，得到新的数据集s3；

s5：将集合{s0，s1，s2，s3}标记成数据样本集s；

s6：从样本集s中随机选取3200张图片作为训练集，其余800张作为测试集，输入yolov3网络，得到检测模型m；

所述数据整理模块还用于将检测模型m传输到数据分析模块，所述图像监测模块为飞行在施工现场上空的无人机，所述图像监测模块用于实时获取施工现场的视频流并将视频流传输到数据分析模块，所述数据分析模块接收检测模型m和视频流并对检测模型m和视频流作出分析和处理，具体步骤如下：

步骤一：读取无人机实时视频流，获取当前图像帧fi；

步骤二：调用模型m处理图像帧fi，如同时检测到施工人员和临时围栏，则执行步骤三，否则继续执行步骤一；

步骤三：根据步骤二得到的检测结果更新跟踪队列，具体方法如下：

ss1：计算施工人员检测矩形框图像的hsv直方图h1和siltp直方图h2，令h＝{h1，h2}表示该人员的表观特征；

ss2：遍历施工人员跟踪队列，获取队列中每一个施工人员的最新状态{pj1，pj2，pj3，pj4，hj}，其中下标j表示第j个施工人员，p表示该施工人员的矩形框四个坐标点，h表示其表观特征；

ss3：令d1＝δp，d2＝δh，δp表示当前帧施工人员和其最新状态矩形框的重合面积占比，δh表示表观特征之间的余弦距离；

ss4：令d＝αd1+(1-α)d2，当d小于预设值时，则将当前状态加入到施工人员队列；队列中连续n帧未得到更新的剔除跟踪队列；将匹配的当前帧作为初始队列；其中，α为系数因子；

步骤四：判断跟踪队列中的施工人员运动轨迹和临时围栏是否有交叉，具体过程如下：

x1：遍历施工人员跟踪队列，定义施工人员矩形框左下角坐标和右下角坐标分别为(x0，y0)和(x1，y0)，取其中点坐标作为施工人员轨迹点，连接施工人员轨迹点得到轨迹线t；

x2：将围栏矩形框左下角坐标记为(x1，y1)，右下角坐标记为(x2，y2)，(x1，y1)和(x2，y2)构成线段判断与施工人员运动轨迹是否有交点，如存在交点，则生成报警信号，同时所述数据分析模块将该施工人员该轨迹图片传输到控制器并将该施工人员跟踪状态剔除跟踪队列，所述控制器接收该施工人员该轨迹图片并将该施工人员该轨迹图片传输到存储模块进行存储，否则，返回步骤三；

所述数据分析模块还用于将报警信号传输到控制器，所述控制器接收报警信号并将报警信号传输到报警模块，报警模块接收到报警信号发出警报。

本发明的有益效果是：

1、本发明首先利用轻量级的yolov3目标检测网络检测施工人员和围栏，将1000张包含施工人员和围栏的样本图片构成样本集s0，对样本集s0中的每一张样本图片si进行特征标准化操作、旋转以及水平翻转，得到检测模型m，检测范围更广，更精确；

2、本发明通过图像监测模块实时获取施工现场的视频流，所述数据分析模块接收检测模型m和视频流并对检测模型m和视频流作出分析和处理，更新跟踪队列，通过相应的检测方法判断跟踪队列中的施工人员运动轨迹和临时围栏是否有交叉，如存在交点，则生成报警信号，所述数据分析模块将该施工人员该轨迹图片传输到存储模块进行保存并将该施工人员跟踪状态剔除跟踪队列，所述数据分析模块还用于将报警信号传输到控制器，所述控制器接收报警信号并将报警信号传输到报警模块，报警模块接收到报警信号发出警报，实现了在无人机上进行违章检测，提升了施工违章行为智能监测能力。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明的系统框图。

具体实施方式

如图1所示，基于无人机视觉分析的施工人员跨越围栏检测系统，包括数据采集模块、数据整理模块、数据分析模块、控制器、图像监测模块、报警模块以及存储模块；

所述数据采集模块包括无人机，所述无人机用于在施工现场上空拍取图片，从中选取1000张包含施工人员和围栏的样本图片，并人工标注出其中的施工人员和围栏位置，所述数据采集模块还用于将样本图片信息传输到数据整理模块，所述数据整理模块接收样本图片信息并对样本图片信息进行整理，构建目标检测训练样本，训练基于yolov3的轻量级施工人员和围栏检测器，得到检测模型m，具体步骤如下：

s1：将1000张包含施工人员和围栏的样本图片构成样本集s0；

s2：对样本集s0中的每一张样本图片si进行特征标准化操作，得到新的数据s1；

s3：对样本集s0中的每一张样本图片si，以si的中心坐标为旋转中心，随机旋转±30°，得到新的数据集s2；

s4：对样本集s0中的每一张样本图片si进行水平翻转，得到新的数据集s3；

s5：将集合{s0，s1，s2，s3}标记成数据样本集s；

s6：从样本集s中随机选取3200张图片作为训练集，其余800张作为测试集，输入yolov3网络，得到检测模型m；

所述数据整理模块还用于将检测模型m传输到数据分析模块，所述图像监测模块为飞行在施工现场上空的无人机，所述图像监测模块用于实时获取施工现场的视频流并将视频流传输到数据分析模块，所述数据分析模块接收检测模型m和视频流并对检测模型m和视频流作出分析和处理，具体步骤如下：

步骤一：读取无人机实时视频流，获取当前图像帧fi；

步骤二：调用模型m处理图像帧fi，如同时检测到施工人员和临时围栏，则执行步骤三，否则继续执行步骤一；

步骤三：根据步骤二得到的检测结果更新跟踪队列，具体方法如下：

ss1：计算施工人员检测矩形框图像的hsv直方图h1和siltp直方图h2，令h＝{h1，h2}表示该人员的表观特征；

ss2：遍历施工人员跟踪队列，获取队列中每一个施工人员的最新状态{pj1，pj2，pj3，pj4，hj}，其中下标j表示第j个施工人员，p表示该施工人员的矩形框四个坐标点，h表示其表观特征；

ss3：令d1＝δp，d2＝δh，δp表示当前帧施工人员和其最新状态矩形框的重合面积占比，δh表示表观特征之间的余弦距离；

ss4：令d＝αd1+(1-α)d2，当d小于预设值时，则将当前状态加入到施工人员队列；队列中连续n帧未得到更新的剔除跟踪队列；将匹配的当前帧作为初始队列；其中，α为系数因子；

步骤四：判断跟踪队列中的施工人员运动轨迹和临时围栏是否有交叉，具体过程如下：

x1：遍历施工人员跟踪队列，定义施工人员矩形框左下角坐标和右下角坐标分别为(x0，y0)和(x1，y0)，取其中点坐标作为施工人员轨迹点，连接施工人员轨迹点得到轨迹线t；

x2：将围栏矩形框左下角坐标记为(x1，y1)，右下角坐标记为(x2，y2)，(x1，y1)和(x2，y2)构成线段判断与施工人员运动轨迹是否有交点，如存在交点，则生成报警信号，同时所述数据分析模块将该施工人员该轨迹图片传输到控制器并将该施工人员跟踪状态剔除跟踪队列，所述控制器接收该施工人员该轨迹图片并将该施工人员该轨迹图片传输到存储模块进行存储，否则，返回步骤三；

所述数据分析模块还用于将报警信号传输到控制器，所述控制器接收报警信号并将报警信号传输到报警模块，报警模块接收到报警信号发出警报。

基于无人机视觉分析的施工人员跨越围栏检测系统，在工作时，所述数据采集模块包括无人机，控制无人机在施工现场上空拍取图片，从中选取1000张包含施工人员和围栏的样本图片构成样本集s0，并人工标注出其中的施工人员和围栏位置，所述数据采集模块还用于将样本图片信息传输到数据整理模块，所述数据整理模块接收样本图片信息并对样本图片信息进行整理，构建目标检测训练样本，训练基于yolov3的轻量级施工人员和围栏检测器，得到检测模型m；

所述数据整理模块还用于将检测模型m传输到数据分析模块，所述图像监测模块为飞行在施工现场上空的无人机，所述图像监测模块用于实时获取施工现场的视频流并将视频流传输到数据分析模块，所述数据分析模块接收检测模型m和视频流并对检测模型m和视频流作出分析和处理，调用模型m处理图像帧fi，如同时检测到施工人员和临时围栏，则更新跟踪队列；

利用公式d＝αd1+(1-α)d2，当d小于预设值时，则将当前状态加入到施工人员队列；队列中连续n帧未得到更新的剔除跟踪队列；将匹配的当前帧作为初始队列，再判断跟踪队列中的施工人员运动轨迹和临时围栏是否有交叉，如存在交点，则生成报警信号，所述数据分析模块将该施工人员该轨迹图片传输到存储模块进行保存并将该施工人员跟踪状态剔除跟踪队列，所述数据分析模块还用于将报警信号传输到控制器，所述控制器接收报警信号并将报警信号传输到报警模块，报警模块接收到报警信号发出警报。

本发明的工作原理：本发明首先利用轻量级的yolov3目标检测网络检测施工人员和围栏，构建目标检测训练样本，得到检测模型m，然后数据分析模块接收检测模型m和视频流并对检测模型m和视频流作出分析和处理，如同时检测到施工人员和临时围栏，则更新跟踪队列，然后通过跟踪施工人员的运动轨迹和围栏是否存在交点来判断施工人员是否存在跨越围栏违章行为，实现了在无人机上进行违章检测，提升了施工违章行为智能监测能力。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。