人员睡觉行为检测方法及系统与流程

本发明涉及目标识别，具体涉及一种人员睡觉行为检测方法及系统。

背景技术：

1、值班场景下，工作人员存在多姿态睡觉的非工作行为，例如：俯睡、躺睡、仰睡、侧睡。现有的目标检测方法在检测工作人员时，存在识别错误或漏检情况，例如，当工作人员进行俯睡或者侧睡时，存在人脸较大面积遮挡的情况，同时由于衣物、发型、装饰等外在特征的影响，识别算法容易发生识别为其目标或无法识别的情况。

技术实现思路

1、本发明提供一种人员睡觉行为检测方法及系统，以准确识别工作人员的睡觉行为。

2、为此，本发明提供如下技术方案：

3、一种人员睡觉行为检测方法，所述方法包括：

4、获取待检测人员的视频帧；

5、利用事物检测模型对所述视频帧进行检测，并利用目标关联决策模型对所述事物检测模型输出的检测结果进行决策，确定所述视频帧中是否有人体；

6、在检测到有人体的情况下，利用所述事物检测模型确定对应所述人体的人体坐标信息，利用目标跟踪模型确定对应所述人体的唯一身份标识，并利用人脸识别模型确定对应所述人体的人脸坐标信息；

7、根据连续多帧确定的人体坐标信息和人脸坐标信息，确定所述待检测人员的行为。

8、可选地，所述方法还包括:预先采集办公场所值班人员值班时的视频监控数据，并利用所述视频监控数据构建所述事物检测模型和所述目标关联决策模型，包括以下过程：

9、采集办公场所值班人员值班时的视频监控数据，对所述视频监控数据截取得到视频帧数据；

10、对所述视频帧数据进行事物标记，得到标记后的视频帧数据，所述事物包括人体及非人体目标；

11、对标记后的视频帧数据进行数据增强处理，生成训练数据集；

12、基于目标检测模型及所述训练数据集，训练得到事物检测模型，所述事物检测模型用于识别人体及非人体目标；

13、利用所述事物检测模型对所述训练数据集中的视频帧数据进行检测，得到各检测结果；

14、根据所述检测结果构建目标关联决策模型。

15、可选地，所述视频监控数据包括：离线视频监控数据、和/或在线视频监控数据。

16、可选地，所述对所述视频帧数据进行事物标记包括：使用labelimg图像标注工具对所述视频帧数据中的事物进行yolo格式标记。

17、可选地，所述数据增强处理包括以下任意一种或多种：高斯模糊、水平翻转、垂直翻转、随机平移、随机剪裁、非等比例缩放。

18、可选地，所述基于目标检测模型及所述训练数据，训练得到事物检测模型包括：利用所述训练数据集对所述目标检测模型进行微调，得到事物检测模型。

19、可选地，所述检测结果中包括人体及非人体目标的识别概率；所述根据所述检测结果构建目标关联决策模型包括：

20、根据所述检测结果确定各非人体目标与人体的关联度；

21、根据所述关联度计算基于人体关联的辅助目标概率值；

22、根据所述检测结果、所述基于人体关联的辅助目标概率值、以及设定的检测结果更新策略构建目标关联决策模型。

23、可选地，所述检测结果更新策略包括：

24、如果所述检测结果中人体的识别概率x0低于设定值，则将人体的识别概率更新为：s×(1+x0)，s为所述基于人体关联的辅助目标概率值；

25、如果所述检测结果中未识别到人体，但识别到特定目标，并且同时识别到人体关联目标，计算人体关联的辅助目标概率值s,更新人体的识别概率x0为s。

26、可选地，所述根据连续多帧确定的人体坐标信息和人脸坐标信息，确定所述待检测人员的行为包括：如果连续多帧中存在人体，并且存在对应所述人体的人体坐标信息，并且任意连续两帧中人体宽度和高度的变化均小于设定的变化阈值，且所述连续多帧中所述人体的数量大于设定的数量阈值，则确定所述待检测人员存在睡觉行为。

27、可选地，所述方法还包括：如果确定所述待检测人员存在睡觉行为，则对所述视频帧中的睡觉人体进行框图标识，并截取睡觉片段留存。

28、一种人员睡觉行为检测系统，所述系统包括：

29、视频帧获取模块，用于获取待检测人员的视频帧；

30、人体检测模块，用于利用事物检测模型对所述视频帧进行检测，并利用目标关联决策模型对所述事物检测模型输出的检测结果进行决策，确定所述视频帧中是否有人体；

31、位置信息确定模块，用于在所述人体检测模块检测到有人体的情况下，利用所述事物检测模型确定对应所述人体的人体坐标信息，利用目标跟踪模型确定对应所述人体的唯一身份标识，并利用人脸识别模型确定对应所述人体的人脸坐标信息；

32、行为确定模块，用于根据连续多帧确定的人体坐标信息和人脸坐标信息，确定所述待检测人员的行为。

33、可选地，所述系统还包括：

34、模型构建模块，用于预先采集办公场所值班人员值班时的视频监控数据，并利用所述视频监控数据构建所述事物检测模型和所述目标关联决策模型；所述模型构建模块包括：

35、数据获取单元，用于采集办公场所值班人员值班时的视频监控数据，对所述视频监控数据截取得到视频帧数据；

36、标记单元，用于对所述视频帧数据进行事物标记，得到标记后的视频帧数据，所述事物包括人体及非人体目标；

37、数据处理单元，用于对标记后的视频帧数据进行数据增强处理，生成训练数据集；

38、事物检测模型构建单元，用于基于目标检测模型及所述训练数据集，训练得到事物检测模型，所述事物检测模型用于识别人体及非人体目标；

39、检测单元，用于利用所述事物检测模型对所述训练数据集中的视频帧数据进行检测，得到各检测结果；

40、目标关联决策模型建立单元，用于根据所述检测结果构建目标关联决策模型。

41、可选地，所述系统还包括：行为处理模块，用于在所述行为确定模块确定所述待检测人员存在睡觉行为的情况下，对所述视频帧中的睡觉人体进行框图标识，并截取睡觉片段留存。

42、本发明提供的人员睡觉行为检测方法及系统，综合利用多种模型对人员的行为进行检测，首先利用事物检测模型对待检测人员的视频帧进行检测，并利用目标关联决策模型对所述事物检测模型输出的检测结果进行决策，确定视频帧中是否有人体，在检测到有人体的情况下，利用目标跟踪模型确定对应相应人体的人体坐标信息，并利用人脸识别模型确定相应人体的人脸坐标信息；然后根据连续多帧确定的人体坐标信息和人脸坐标信息，确定所述待检测人员的行为。本发明方案，基于识别的多目标事物，建立多目标事物与人体事物的关联模型，即目标关联决策模型，实现人体目标的准确识别；而且融合基于人脸和人体的识别结果，实现人体睡觉行为的有效识别，降低了识别错误和漏检情况，大大提高了人体睡觉行为的检测精度。

技术特征：

1.一种人员睡觉行为检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的人员睡觉行为检测方法，其特征在于，所述视频监控数据包括：离线视频监控数据、和/或在线视频监控数据。

3.根据权利要求1所述的人员睡觉行为检测方法，其特征在于，所述对所述视频帧数据进行事物标记包括：

4.根据权利要求1所述的人员睡觉行为检测方法，其特征在于，所述数据增强处理包括以下任意一种或多种：高斯模糊、水平翻转、垂直翻转、随机平移、随机剪裁、非等比例缩放。

5.根据权利要求1所述的人员睡觉行为检测方法，其特征在于，所述基于目标检测模型及所述训练数据，训练得到事物检测模型包括：

6.根据权利要求1所述的人员睡觉行为检测方法，其特征在于，所述检测结果中包括人体及非人体目标的识别概率；所述根据所述检测结果构建目标关联决策模型包括：

7.根据权利要求6所述的人员睡觉行为检测方法，其特征在于，所述检测结果更新策略包括：

8.根据权利要求1至7任一项所述的人员睡觉行为检测方法，其特征在于，所述根据连续多帧确定的人体坐标信息和人脸坐标信息，确定所述待检测人员的行为包括：

9.根据权利要求8所述的人员睡觉行为检测方法，其特征在于，所述方法还包括：

10.一种人员睡觉行为检测系统，其特征在于，所述系统包括：

11.根据权利要求10所述的人员睡觉行为检测系统，其特征在于，所述系统还包括：

技术总结
本发明公开了一种人员睡觉行为检测方法及系统该方法包括：获取待检测人员的视频帧；利用事物检测模型对所述视频帧进行检测，并利用目标关联决策模型对所述事物检测模型输出的检测结果进行决策，确定所述视频帧中是否有人体；在检测到有人体的情况下，利用事物检测模型确定对应所述人体的人体坐标信息，利用目标跟踪模型确定对应所述人体的唯一身份标识，并利用人脸识别模型确定对应所述人体的人脸坐标信息；根据连续多帧确定的人体坐标信息和人脸坐标信息，确定所述待检测人员的行为。利用本发明方案，可以准确识别工作人员的睡觉行为，提高人体睡觉行为的检测精度。

技术研发人员：闫盈盈,支婷,蔡惠民,洒科进,谢红韬
受保护的技术使用者：中电科大数据研究院有限公司
技术研发日：
技术公布日：2024/1/16