一种基于卷积神经网络检测值班人员睡觉行为的方法与流程

本发明涉及人员行为分析技术领域，具体涉及一种基于卷积神经网络检测值班人员睡觉行为的方法。

背景技术：

在石油化工行业，安全生产直接关系到每一位员工的生命财产，关系到企业的存亡和发展。目前，各相关企业已经实现了厂区视频监控的全方位覆盖，同时，设置值班室，配备相应的值班人员，力图通过人防结合技防的方式，建立有效的安全生产机制。在大型厂区，由于区域面积大，值班人员负责的视频监控设备数量多，增加了工作强度。尤其是夜间，值班人员很难保证一直处于正常的工作状态，基于侥幸心理，在岗睡觉，疏于职守，可能会带来巨大的安全隐患。

目前常见的做法是安排巡查人员，不定期检查各个值班室内的工作情况。这种方式耗时费力，不但造成人力浪费，而且效率非常低，无法彻底杜绝意外情况。

因此，需要一种高效的值班人员状态监测系统，能够替代人工监察的方式，对值班人员睡岗情况进行实时监测，当发现有睡岗行为发生时，自动报警，提高管理人员及时处理，防止意外发生。

技术实现要素：

本发明的目的在于提供一种基于卷积神经网络检测值班人员睡觉行为的方法，用于自动监测化工园区值班人员是否存在睡岗行为。目前，基于卷积神经网络进行行人检测的技术已经相当成熟，不过在人员行为分析技术领域，由于人类行为的多样性和环境的复杂性，依靠卷积神经网络还很难满足实际需求。本发明针对睡觉这类特定行为，创新性地融合了已有的目标检测技术和卷积神经网络在行为识别领域的优势，从而能够通过视频监控设备迅速准确地识别睡岗人员。

为实现上述目的，本发明提供了一种基于卷积神经网络检测值班人员睡觉行为的方法，具体包含以下步骤：

步骤(1)、收集睡觉的人物照片，包括不同俯视角度下的趴在桌上睡觉、背靠椅子睡觉等各种睡姿，作为正样本图片集；收集没有睡觉的人物图片，包括不同俯视角度下的站姿、坐姿等，作为负样本图片集。

步骤(2)、使用yolov3算法便利正负样本图片集，获取人物区域，提取出只包含人物区域的图片，形成正负样本数据集。

步骤(3)、将正负样本数据集划分为训练数据集和测试数据集。

步骤(4)、基于shufflenetv2模型构建卷积神经网络。

步骤(5)、使用训练数据集训练卷积神经网络模型，输入正样本，该网络的输出为1，输入为负样本，则该网络的输出应为0。训练过程中，每当完成一次对整个样本集的迭代，即用测试数据集对卷积神经网络模型进行测试，当检测准确率达到精度要求时，则训练完成。

步骤(6)、将训练好的卷积神经网络模型部署在视觉分析系统中，分析视频监控设备采集的视频流数据，检测值班人员睡岗情况。具体包括如下：

步骤(6-1)、获取值班室监控设备的实时视频流数据，对数据解码得到序列帧数据。

步骤(6-2)、对帧数据进行图像处理，输入到yolov3算法，检测出画面中的人物及坐标信息。

步骤(6-3)、根据yolov3的检测结果，提取人物区域所在图像，输入到训练好的卷积神经网络模型中，检测该人物姿态是否为睡姿。如果识别为睡姿，则记录下人物在画面中的坐标和当前系统时间，并标记为pi。当检测到多个人，依次记为pi+1，pi+2......。将所有的检测结果存入列表中，记为sleep_list，列表中的每个元素代表一个正在睡觉的人员。

步骤(6-4)、重复步骤(6-1)到(6-3)，继续分析新的帧数据，并得到新的检测结果pi+n，pi+n+1,pi+n+2......。将sleep_list中的每个元素依次和新的检测结果进行比对，根据坐标信息计算重合面积，当两个区域的重合度超过50％，则认定为同一人，根据系统时间更新该人员的睡觉时长。当sleep_list中的某个元素无法和新检测结果匹配，表明该人员的睡觉行为已经结束。如果新的检测结果没有和sleep_list中的任一结果匹配成功，表明这是一个新开始的睡觉行为。

步骤(6-5)、重复以上步骤，当发现值班人员持续睡觉时间大于预设的时间阈值，即可发出告警通知。

在本发明上涉及的专业名词进行如下解释说明：

yolo：一个开源的深度学习目标检测算法，特点是检测速度快且准确率较高。最新版本为2018年3月推出的v3版本，与老版本相比，速度和准确率有大幅提升。

shufflenet：由旷视科技推出的一种设计精巧的卷积神经网络模型，2017年推出了v1版本。2018年7月发布v2版本。和其他的卷积神经网络模型相比，shufflenetv2版本在运行速度、资源占用等方面有显著改进，适合用于生产环境中。

与现有技术相比，本发明的有益效果是：

综上所述，睡觉行为的持续时间长，且处于睡觉中的人移动范围小。上述技术方案针对睡觉行为的特性，融合了目标检测技术和基于卷积神经网络的行为识别技术，通过多次检测确认的方式，保证了分析结果的准确有效，同时能够分析出人员的睡觉时长，具备很强的说服力。

附图说明

图1为本发明实施例中提供的基于卷积神经网络检测值班人员睡觉行为的方法的流程图；

图2为本发明实施例中提供的基于卷积神经网络分析实时视频流检测值班人员睡觉行为的流程图；

图3为本发明实施例中新的检测结果列表与已有检测结果列表之间对应计算重合面积的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。本发明实施例中提供的卷积神经网络检测值班人员睡觉行为的流程图。如图1～3所示，一种基于卷积神经网络检测值班人员睡觉行为的方法，其主要包括如下步骤：

步骤(1)：收集俯视角度下的不同睡姿的人物图片，数量为3000张，作为正样本图。收集俯视角度下没有睡觉的人物图片，包括行走、站立、坐等不同姿态的人物，数量为6000张，作为负样本图片集。

步骤(2)：对正负样本图片集进行预处理，截取出只包括人物的区域，形成正负样本数据集。

步骤(2.1)依次遍历正样本图片集，对图片作直方图均衡化处理，减少不同光照环境的影响，然后使用yolov3目标检测算法检测每张图片；

步骤(2.2)依据检测结果中的类别和坐标信息，截取出人物区域并保存为图片，作为正样本数据集；

步骤(2.3)按照上面两个步骤，对负样本图片集进行相同的操作，得到负样本数据集。

步骤(3)：将正负样本集划分为训练数据集和测试数据集。其中测试数据集的正样本占整体正样本的10％，测试集的负样本占整体负样本的10％。

步骤(4)：基于shufflenetv2模型构建卷积神经网络，分类数量为2(即睡觉和非睡觉)。

步骤(5)：训练卷积神经网络模型，使用测试数据集对训练后的模型进行测试，当测试结果满足精度要求，则训练完成。

步骤(5.1)、将训练集中样本分批次输入到卷积神经网络模型。

步骤(5.2)、训练时，输入正样本，输出结果应该为1；输入负样本，输出结果应为0。采用交叉熵损失函数计算输出结果和期望值的差，通过随机梯度下降法不断调整卷积神经网络模型的参数。

步骤(5.3)、经过一段数量的迭代后，卷积神经网络模型的输出结果和期望值的差不断变小，趋向稳定。每完成一次迭代，在测试数据集上对该网络模型进行测试。若测试精度没有达到要求(正确率小于95％)，则回到步骤(5.1)，重新训练。若测试精度达到要求，则完成了整个训练过程。

步骤(6)：将训练后的卷积神经网络模型部署在视觉分析系统中，分析视频监控设备输出的实时视频流数据，检测睡岗情况，具体流程如图2所示：

步骤(6.1)、使用国标gb28181协议，获取视频监控设备的实时视频流。

步骤(6.2)、对接收到的视频数据进行封包解码，得到序列帧数据。由于传输的图像颜色空间是yuv，通过标准yuv转换公式，将帧数据转换到rgb颜色空间下，并对rgb三个颜色通道的数据进行直方图均衡化处理，以适应强光和弱光环境，然后将rgb三个颜色通道的数据进行归一化处理转换为0～1之间的浮点型数据。

步骤(6.3)、将预处理后的帧数据输入到yolov3算法，检测出画面中的人物及坐标信息。

步骤(6.4)、根据yolov3的检测结果，提取人物区域所在图像，输入到训练好的卷积神经网络模型中，检测该人物姿态是否为睡姿。如果识别为睡姿，则记录下人物在画面中的坐标和当前系统时间，并标记为pi。当检测到多个人，依次记为pi+1，pi+2......。将所有的检测结果存入列表sleep_list中，列表中的每个元素代表一个正在睡觉的人员，如下所示：

步骤(6.5)、重复步骤(6.2)到(6.3)，继续分析新的帧数据，并得到新的检测结果pi+n，pi+n+1,pi+n+2......。将sleep_list中的每个元素依次和新的检测结果进行匹配，根据坐标信息计算重合面积，当两个区域的重合度超过50％，则认定为同一人，表明该人员仍然处于睡觉状态。过程如3图所示。

当sleep_list中的某个元素无法和所有的新检测结果匹配，表明该人员的睡觉行为已经结束，从列表移除。如果新的检测结果和sleep_list中的所有元素都没有匹配，表明这是一个新开始的睡觉行为，需要把该结果加入到sleep_list中。

步骤(6-6)、每完成一次分析动作后，计算sleep_list列表中每个对象的睡觉时长，一旦发现某个人员的睡觉时长大于预设的时间阈值，将视频画面保存为图片，作为检测依据，同时发送告警，通知管理人员进行处理。