一种使用终端设备的行为的检测方法及装置与流程

本发明涉及计算机视觉，尤其涉及一种使用终端设备的行为的检测方法及装置。

背景技术：

1、使用终端设备(如玩手机、玩ipad等)是常见的一种生活方式。然而，长时间玩手机容易导致疲劳和眼睛疲劳等问题，特别是在工作时间中玩手机，容易降低工作效率，甚至对身体健康造成损害。

2、目前，基于图像识别的检测方法可以检测出处于使用终端设备的行为的目标对象，比如基于终端设备识别的检测和目标对象的人体姿态的检测。但是当目标对象手持终端设备的角度、距离等发生变化时，会影响检测的准确率；当目标对象的手部或者头部受到遮挡等因素，也会影响检测的准确率，导致检测目标对象使用终端设备的行为的准确率较低。

3、因此，现亟需一种使用终端设备的行为的检测方法，来提高检测目标对象使用终端设备的行为的准确率。

技术实现思路

1、本发明实施例提供一种使用终端设备的行为的检测方法及装置，用于实现基于有监督模型检测使用终端设备的行为，提高检测使用终端设备的行为的准确率。

2、第一方面，本发明实施例提供一种使用终端设备的行为的检测方法，包括：

3、获取视频流中的图像帧；

4、若确定所述图像帧中具有至少一个使用终端设备的目标对象，则在所述图像帧中确定任一目标对象对应的第一图像；所述第一图像包括所述目标对象的检测目标；

5、将所述第一图像输入行为检测模型，根据所述行为检测模型输出的所述检测目标的检测结果，确定所述目标对象处于使用终端设备的行为；所述行为检测模型是基于自监督预训练模型根据具有标签的图像数据训练后得到的；所述标签表征使用终端设备的行为。

6、上述技术方案中，视频流可以是监控摄像头实时监控的视频数据，图像帧是按照预设频率对该视频流进行截图或者图像转换得到的，目标对象为人物对象。行为检测模型是以表征使用终端设备的行为的标签的图像数据为基础进行有监督训练得到的，即行为检测模型为有监督模型，以此保证行为检测模型的检测准确度。因此根据检测模型输出的目标对象的检测目标的检测结果确定目标对象是否处于使用终端设备的行为，进而实现基于有监督模型检测使用终端设备的行为，提高检测使用终端设备的行为的准确率。

7、可选的，所述行为检测模型是基于自监督预训练模型根据具有标签的图像数据训练后得到的，包括：

8、从历史视频流中提取图像数据；

9、将所述图像数据进行预处理，得到训练集；所述训练集包括具有无标签的第一数据集和有标签的第二数据集，所述第二数据集包括正样本和负样本，所述正样本为正常使用终端设备的行为的图像，所述负样本为非正常使用终端设备的行为的图像；

10、根据所述第一数据集进行自监督训练，确定自监督预训练模型；

11、基于所述自监督预训练模型，根据所述正样本和所述负样本进行有监督训练，确定行为检测模型。

12、上述技术方案中，正样本和负样本的标签可以是通过人工标注方式，基于终端设备标注的标签，表征使用终端设备的行为以及该行为是否为正常行为，比如标签表征目标对象手持终端设备的行为正常、目标对象观看终端设备的行为非正常等。自监督预训练模型可以是使用mae方式进行自监督训练得到的，用于学习图像中的终端设备特征，以此保证根据自监督预训练模型和正样本、负样本训练出的行为检测模型的检测准确性。

13、可选的，将所述图像数据进行预处理，包括：

14、从所述图像数据中确定具有人物对象的图像；

15、从所述具有人物对象的图像中确定相似度小于预设阈值的图像；

16、从所述相似度小于预设阈值的图像中确定满足预设图像参数的图像；所述预设图像参数包括图像的亮度、编码参数和/或分辨率。

17、上述技术方案中，从图像数据中确定具有人物对象的图像，可以避免无人物对象的空镜头图像参与行为检测模型的训练，保证行为检测模型的训练的准确性。从具有人物对象的图像中确定相似度小于预设阈值的图像，以此减少相似度较高的冗余图像数据，提高行为检测模型的训练的效率。从相似度小于预设阈值的图像中确定满足预设图像参数的图像，以此保证训练集的图像质量，保证行为检测模型的训练的准确性和可靠性。

18、可选的，确定所述图像帧中具有至少一个使用终端设备的目标对象，包括：

19、将所述图像帧输入所述行为检测模型，得到所述图像帧的检测结果；所述图像帧的检测结果表征所述图像帧具有目标对象和终端设备的可能性；

20、若所述图像帧的检测结果大于第一阈值，则确定所述图像帧中具有至少一个使用终端设备的目标对象。

21、上述技术方案中，行为检测模型的检测结果是以数值形式表示的置信度，图像帧的置信度越高，表示该图像帧中具有目标对象和终端设备的可能性越大。第一阈值可以根据经验预设的值，第一阈值越大，图像帧中具有目标对象和终端设备的准确性越大；第一阈值越小，确定具有目标对象和终端设备的图像帧的漏检率越小，进而提高确定具有至少一个使用终端设备的目标对象的图像帧的准确性。

22、可选的，在所述图像帧中确定任一目标对象对应的第一图像，包括：

23、针对任一目标对象，根据所述目标对象在所述图像帧的位置坐标从所述图像帧中裁剪出所述目标对象对应的第一图像；所述目标对象在所述图像帧的位置坐标是根据所述行为检测模型得到的。

24、上述技术方案中，通过在图像帧中确定目标对象对应的第一图像，以此实现对目标对象针对性的检测，提高行为检测模型对目标对象的检测的准确性。

25、可选的，所述检测目标包括所述第一图像中的终端设备和所述目标对象的肢体特征；所述检测目标的检测结果表征所述目标对象处于使用终端设备的行为的可能性；

26、根据所述行为检测模型输出的所述检测目标的检测结果，确定所述目标对象处于使用终端设备的行为，包括：

27、若所述第一图像中的终端设备的检测结果和所述目标对象的肢体特征的检测结果均大于第二阈值，则确定所述目标对象处于使用终端设备的状态；

28、若在当前时刻之后的预设时间段内，所述目标对象处于使用终端设备的状态的时间大于时间阈值，则确定所述目标对象处于使用终端设备的行为。

29、上述技术方案中，检测目标的检测结果表征目标对象处于使用终端设备的行为的可能性。同理，检测目标的检测结果表征目标对象处于使用终端设备的状态的可能性，所以检测目标的检测结果越高，表示目标对象处于使用终端设备的行为的可能性越大，因此可以根据检测目标的检测结果确定目标对象是否处于使用终端设备的行为。第二阈值可以根据经验预设的值，第二阈值越大，确定目标对象处于使用终端设备的状态的准确性越大；第二阈值越小，确定目标对象处于使用终端设备的状态的漏检率越小，进而提高确定目标对象处于使用终端设备的行为的准确性。

30、可选的，确定所述目标对象处于使用终端设备的行为之后，还包括：

31、触发告警信息，所述告警信息包括所述目标对象的位置信息和/或身份信息。

32、上述技术方案中，告警信息包括目标对象的所在位置和/或身份信息，能够提高对需要提醒的目标对象的定位的效率，以便对目标对象进行提醒。

33、第二方面，本发明实施例提供一种使用终端设备的行为的检测装置，包括：

34、获取模块，用于获取视频流中的图像帧；

35、处理模块，用于若确定所述图像帧中具有至少一个使用终端设备的目标对象，则在所述图像帧中确定任一目标对象对应的第一图像；所述第一图像包括所述目标对象的检测目标；

36、将所述第一图像输入行为检测模型，根据所述行为检测模型输出的所述检测目标的检测结果，确定所述目标对象处于使用终端设备的行为；所述行为检测模型是基于自监督预训练模型根据具有标签的图像数据训练后得到的；所述标签表征使用终端设备的行为。

37、可选的，所述处理模块具体用于：

38、从历史视频流中提取图像数据；

39、将所述图像数据进行预处理，得到训练集；所述训练集包括具有无标签的第一数据集和有标签的第二数据集，所述第二数据集包括正样本和负样本，所述正样本为正常使用终端设备的行为的图像，所述负样本为非正常使用终端设备的行为的图像；

40、根据所述第一数据集进行自监督训练，确定自监督预训练模型；

41、基于所述自监督预训练模型，根据所述正样本和所述负样本进行有监督训练，确定行为检测模型。

42、可选的，所述处理模块具体用于：

43、从所述图像数据中确定具有人物对象的图像；

44、从所述具有人物对象的图像中确定相似度小于预设阈值的图像；

45、从所述相似度小于预设阈值的图像中确定满足预设图像参数的图像；所述预设图像参数包括图像的亮度、编码参数和/或分辨率。

46、可选的，所述处理模块具体用于：

47、将所述图像帧输入所述行为检测模型，得到所述图像帧的检测结果；所述图像帧的检测结果表征所述图像帧具有目标对象和终端设备的可能性；

48、若所述图像帧的检测结果大于第一阈值，则确定所述图像帧中具有至少一个使用终端设备的目标对象。

49、可选的，所述处理模块具体用于：

50、针对任一目标对象，根据所述目标对象在所述图像帧的位置坐标从所述图像帧中裁剪出所述目标对象对应的第一图像；所述目标对象在所述图像帧的位置坐标是根据所述行为检测模型得到的。

51、可选的，所述检测目标包括所述第一图像中的终端设备和所述目标对象的肢体特征；所述检测目标的检测结果表征所述目标对象处于使用终端设备的行为的可能性；

52、所述处理模块具体用于：

53、若所述第一图像中的终端设备的检测结果和所述目标对象的肢体特征的检测结果均大于第二阈值，则确定所述目标对象处于使用终端设备的状态；

54、若在当前时刻之后的预设时间段内，所述目标对象处于使用终端设备的状态的时间大于时间阈值，则确定所述目标对象处于使用终端设备的行为。

55、可选的，所述处理模块还用于：

56、确定所述目标对象处于使用终端设备的行为之后，触发告警信息，所述告警信息包括所述目标对象的位置信息和/或身份信息。

57、第三方面，本发明实施例还提供一种计算机设备，包括：

58、存储器，用于存储程序指令；

59、处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述使用终端设备的行为的检测方法。

60、第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述使用终端设备的行为的检测方法。