一种检察领域值班人员睡觉行为识别方法与流程

本发明涉及一种检察领域值班人员睡觉行为识别方法，属于计算机视觉和图像处理领域。

背景技术：

在检察领域，监狱安防是行政管理单位最为重要的工作之一，一旦发生越狱、暴狱、自杀等非正常突发事件，相关责任人就要受到刑事责任追究。因此，通过计算机视觉处理相关技术进行监狱视频监控信息的采集挖掘分析，实现监狱执法业务的自动化、智能化对于提升检察领域监狱远程执法监督工作的信息化水平具有重要意义。

睡觉行为是监狱执法过程中值班干警常见的行为之一，尤其是夜间，值班干警很难确保一直处于正常的工作状态。睡觉行为的发生很可能导致无法及时处理非正常突发事件，从而造成巨大的安全隐患。因此，为了有效地监控和监督值班干警睡觉行为，利用深度学习视频行为检测、目标跟踪等方法，对值班干警睡觉行为进行准确识别和预警，并实现对睡觉行为视频片段进行自动保存和记录，有助检察督查人员进行进一步的审查和判断，从而降低值班人员的违规情况，提升监狱执法安全管理效率。

现有的睡觉行为识别方法，存在以下问题：

(1)可识别的睡姿如俯睡、仰睡等类型不够丰富。

(2)仅能够识别视频数据中为单人时的睡觉行为，不能够处理多人时的睡觉行为。

技术实现要素：

为解决上述技术问题，本发明提供了一种检察领域值班人员睡觉行为识别方法，该检察领域值班人员睡觉行为识别方法是睡觉行为识别的有效技术手段，能够为监狱执法中的异常行为分析、监督管理提供有力支撑与保障。

本发明通过以下技术方案得以实现。

本发明提供的一种检察领域值班人员睡觉行为识别方法，包括以下步骤：

①数据采集：采集检察领域值班人员工作时间的视频监控数据；

②数据标注与处理：从采集到的视频监控数据获取帧率大小间隔的帧信息，使用labelimg图像标注工具完成值班人员人体目标的yolo格式标注，并将数据集划分为训练集和验证集；

③模型训练与验证：基于步骤②的标注数据和yolov5目标检测预训练模型，获取值班干警人体目标检测模型；

④模型加载与信息获取：加载值班干警人体目标检测模型、目标跟踪模型以及人脸识别模型，进行目标标识；

⑤自定义睡觉行为研判规则：基于步骤④的模型标识的结果，通过阈值设置的方式自定义值班人员睡觉行为规则，判断是否存在睡觉行为；

⑥睡觉行为视频截取：若确定存在睡觉行为时，对睡觉中的具体人体进行标识并进行睡觉行为预警，并截取视频睡觉片段并留存，方便后期进行睡觉行为人工审核和督查。

基于值班干警人体目标检测模型检测出值班人员人体的矩形区域坐标。

基于deep_sort，对目标跟踪模型进行值班人员身份标签的标识。

在检测到帧中有人体目标的情况下，基于retinaface，对人脸识别模型进行预训练，对每一个人体目标，检测是否存在人脸，若存在人脸，则标记为1并存储人脸矩形区域坐标；若不存在人脸，则标记为0，人脸坐标信息存储为空。

睡觉状态下，值班人员人体的最大宽度移动阈值为a_wp，最大高度移动阈值为b_wp；值班人员人脸的最大宽度移动阈值为a_wf，最大高度移动阈值为b_w。

当人体/人脸坐标在连续若干帧的前后两帧变化幅度均小于移动阈值，且满足该条件的连续帧数大于阈值c，则值班人员发生了睡觉行为。

当视频监控数据中连续若干帧中某一人体、人脸坐标信息与人体坐标信息均存在时，任意连续两帧人体宽度和高度变化均小于a_wp阈值、b_wp阈值，同时人脸连续两帧宽度和高度变化均小于a_wf阈值与b_wf阈值，且连续帧数目人体与人脸统计个数均大于c阈值时，则表明睡觉姿势为仰睡、托睡状态。

连续若干帧中仅存在人体信息，任意连续两帧人体宽度和高度变化均小于a_wp阈值、b_wp阈值，且连续帧数目人体统计个数大于c阈值时，则表明睡觉姿势为趴睡或俯睡状态。

本发明的有益效果在于：通过基于retinaface模型的人脸识别、基于yolov5的目标检测、基于deep_sort目标跟踪多种计算机视觉手段的融合分析，结合自定义的睡觉行为规则，能够有效识别在正常工作时间段内多名工作人员存在的趴睡、仰睡等不同睡姿状态，并实现监控视频中睡觉片段的自动截取与保存，睡觉行为识别准确率高。

附图说明

图1是本发明的执行流程图。

具体实施方式

下面进一步描述本发明的技术方案，但要求保护的范围并不局限于所述。

实施例1

如图1所示，一种检察领域值班人员睡觉行为识别方法，包括以下步骤：

①数据采集：采集检察领域值班人员工作时间的视频监控数据；

②数据标注与处理：从采集到的视频监控数据获取帧率大小间隔的帧信息，使用labelimg图像标注工具完成值班人员人体目标的yolo格式标注，并将数据集划分为训练集和验证集；

③模型训练与验证：基于步骤②的标注数据和yolov5目标检测预训练模型，获取值班干警人体目标检测模型；

④模型加载与信息获取：加载值班干警人体目标检测模型、目标跟踪模型以及人脸识别模型，进行目标标识；

⑤自定义睡觉行为研判规则：基于步骤④的模型标识的结果，通过阈值设置的方式自定义值班人员睡觉行为规则，判断是否存在睡觉行为；

⑥睡觉行为视频截取：若确定存在睡觉行为时，对睡觉中的具体人体进行标识并进行睡觉行为预警，并截取视频睡觉片段并留存，方便后期进行睡觉行为人工审核和督查。

基于值班干警人体目标检测模型检测出值班人员人体的矩形区域坐标。

基于deep_sort，对目标跟踪模型进行值班人员身份标签的标识。

在检测到帧中有人体目标的情况下，基于retinaface，对人脸识别模型进行预训练，对每一个人体目标，检测是否存在人脸，若存在人脸，则标记为1并存储人脸矩形区域坐标；若不存在人脸，则标记为0，人脸坐标信息存储为空。

睡觉状态下，值班人员人体的最大宽度移动阈值为a_wp，最大高度移动阈值为b_wp；值班人员人脸的最大宽度移动阈值为a_wf，最大高度移动阈值为b_w。

当人体/人脸坐标在连续若干帧的前后两帧变化幅度均小于移动阈值，且满足该条件的连续帧数大于阈值c，则值班人员发生了睡觉行为。

当视频监控数据中连续若干帧中某一人体、人脸坐标信息与人体坐标信息均存在时，任意连续两帧人体宽度和高度变化均小于a_wp阈值、b_wp阈值，同时人脸连续两帧宽度和高度变化均小于a_wf阈值与b_wf阈值，且连续帧数目人体与人脸统计个数均大于c阈值时，则表明睡觉姿势为仰睡、托睡状态。

连续若干帧中仅存在人体信息，任意连续两帧人体宽度和高度变化均小于a_wp阈值、b_wp阈值，且连续帧数目人体统计个数大于c阈值时，则表明睡觉姿势为趴睡或俯睡状态。

实施例2

一种检察领域值班人员睡觉行为识别方法，包括以下步骤：

s1：数据采集，采集检察领域值班人员工作时间的视频监控数据；

s2：数据标注与处理，从采集到的视频监控数据获取帧率大小间隔的帧信息，使用labelimg图像标注工具完成值班人员人体目标的yolo格式标注，并将数据集按照一定比例划分为训练集和验证集；

s3：模型训练与验证，基于上述标记的数据，在yolov5目标检测预训练模型的基础上进行模型微调，获得值班干警人体目标检测模型；

s4：模型加载与信息获取，加载值班干警人体目标检测模型、目标跟踪模型以及人脸识别模型进行目识别、标识；

s5：睡觉行为规则自定义，基于上述模型标识的结果，通过阈值设置的方式自定义值班人员睡觉行为规则，判断是否存在睡觉行为；

s6：睡觉行为判断与审核，当确定存在睡觉行为时，对睡觉中的具体人体进行标识并进行睡觉行为预警，并截取视频睡觉片段并留存，方便后期进行睡觉行为人工审核和督查。

具体地，所述的步骤s4：还包括以下子步骤：

(s4.1)首先，加载基于yolov5基础模型微调后的值班干警人体目标检测模型以及基于deep_sort目标跟踪模型，其中前者用于确定帧中的人体目标，后者目标跟踪模型进行人体唯一标识标记，人体标记编号分别为1,2,3…,记录每帧中人体的唯一标识和坐标信息。

(s4.2)在检测到人体目标的情况下，加载基于retinaface模型的人脸识别模型，针对每一个人体，检测是否存在人脸，若存在人脸，则标记为1并存储人脸坐标信息，若不存在人脸，则标记为0，人脸信息存储为空。

具体地，所述的步骤s5涉及的阈值设置包括：(a)睡觉状态下，值班人员人体的最大宽度移动阈值为a_wp，最大高度移动阈值为b_wp；(b)睡觉状态下，值班人员人脸的最大宽度移动阈值为a_wf，最大高度移动阈值为b_wf；(c)当人体/人脸坐标在连续若干帧的前后两帧变化幅度均小于上述移动阈值，且满足该条件的连续帧数大于阈值c，确定发生了睡觉行为。

(s5.1)当视频监控数据中连续若干帧中某一人体，人脸信息与人体信息均存在，任意连续两帧变化均小于a阈值，且连续帧数目大于b阈值时，则判定为该人体为“有人脸有人体(仰睡或托睡)”状态。

(s5.2)当视频监控数据中连续若干帧中某一个体，仅存在人体信息，任意连续两帧变化均小于a阈值，且连续帧数目大于b阈值时，则判定该人体为“无人脸有人体(趴睡)”状态。

实施例3

如图1所示，一种检察领域值班人员睡觉行为识别方法，包括以下步骤：

执行s1步骤，获取检察领域值班人员值班时的离线视频监控数据，这些数据包括不同值班干警，不同监控角度以及不同时间段的值班情况，数据格式为mp4。

执行s2步骤，将采集到的视频监控数据按照帧率25fps间隔，获取帧信息。使用labelimg图像标注工具完成值班人员人体目标的yolo格式标注，标注标签为“officer”。将数据集按照8:2的比例划分为训练集和验证集；

执行s3步骤，进行模型训练与验证，加载yolov5的基础预训练模型yolov5m.pt，针对标注好的值班人员数据，进行模型的微调训练，得到符合值班干警特征的人体目标检测模型yolov5m-officer.pt。

执行s4步骤，模型加载与信息获取。加载值班人员的人体目标检测模型、目标跟踪模型以及人脸识别模型进行目标识别。

具体地，所述的步骤s4，还包括以下子步骤：

(s4.1)首先，加载基于yolov5基础模型微调后的人体目标检测模型yolov5m-officer.pt以及基于deep_sort目标跟踪模型ckpt.t7，运用前者检测出值班人员人体，得到值班人员人体的矩形区域坐标(xp,yp,wp,hp),其中xp，yp为矩形中心点坐标，wp,hp为该矩形区域的宽和高，并运用deep_sort模型进行值班人员身份标签的标识，用于值班人员的人体追踪，记录每帧中人体的唯一标识和坐标信息。

(s4.2)在检测到帧中人体目标的情况下，加载retinaface人脸识别预训练模型mobilenet0.25_final.pth，针对每一个人体目标，检测是否存在人脸，若存在人脸，则标记为1并存储人脸矩形区域坐标(xf,yf,wf,hf)，其中xf，yf为矩形中心点坐标，wf,hf为该矩形区域的宽和高；若不存在人脸，则标记为0，人脸坐标信息存储为空。该人脸检测算法针对小目标检测的精度目前处于国际前沿水平。

执行s5步骤，睡觉行为规则自定义，基于上述多个模型检测的结果，通过阈值设置的方式自定义值班人员睡觉行为规则，判断是否存在睡觉行为；其中阈值设置如下：(a)睡觉状态下，值班人员人体的最大宽度移动阈值为a_wp＝wp*0.05，最大高度移动阈值为b_wp＝hp*0.05；(b)睡觉状态下，值班人员人脸的最大宽度移动阈值为a_wf＝wf*0.1，最大高度移动阈值为b_wf＝hp*0.1；(c)当人体/人脸坐标在连续若干帧的前后两帧变化幅度均小于上述移动阈值，且满足该条件的连续帧数大于阈值c，c设置为500时，确定值班人员发生了睡觉行为。

(s5.1)当视频监控数据中连续若干帧中某一人体，人脸坐标信息与人体坐标信息均存在时，任意连续两帧人体宽度和高度变化均小于a_wp阈值、b_wp阈值，同时人脸连续两帧宽度和高度变化均小于a_wf阈值与b_wf阈值，且连续帧数目人体与人脸统计个数均大于c阈值500时，则表明该人体处于露出人脸的睡觉模式，睡觉姿势可能为仰睡、托睡状态；

(s5.2)当视频监控数据中连续若干帧中某一个体，仅存在人体信息，任意连续两帧人体宽度和高度变化均小于a_wp阈值、b_wp阈值，且连续帧数目人体统计个数大于c阈值500时，则表明该人体处理不露出人脸的睡觉模型，睡觉姿势可能为趴睡或俯睡状态。

执行s6状态，睡觉行为判断与审核，当确定存在睡觉行为时，对睡觉中的具体人体进行框图标识并注明睡觉文字警示标识，并截取视频睡觉片段并留存，保存的格式为mp4格式，便于后期督查人员进行睡觉行为人工审核和取证。

综上所述，本发明的有益效果在于：

(1)使用人脸识别、自训练的目标检测及目标跟踪等多种融合方法，结合自定义的睡觉规则，能够实现对多人情况下的趴睡、仰睡等睡觉行为识别，模型的成熟度高，检测和识别精度高，从而提高了睡觉识别的准确性；

(2)通过对睡觉行为的识别，能够有效地规范值班人员的值班行为，降低违规风险。对识别的结果进行保存和记录，有利于监管人员的人工取证和审查，从而提升远程执法监督业务的智能化水平。

以上显示和描述了本发明的基本原理和主要特征以及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。