电子产品使用行为检测方法、装置、系统及介质与流程

1.本技术涉及监控视频处理技术领域，尤其涉及电子产品使用行为检测方法、装置、设备及介质。


背景技术：

2.在传统的视频监控系统中，操作人员盯着屏幕电视墙过长时间，会遗漏视频信息，且耗费人力资源。随着智能视频分析系统的发展，用户可以设置某些特定的规则，智能识别出不同的物体，同时识别目标对象的行为是否符合这些规则，一旦发现监控画面中的异常情况，系统能够发出警报并提供有用信息，从而有效的协助处理安全危机。
3.但是，目前的通用智能监控视频分析方法，在许多特殊检测场景不能直接使用，因为直接使用通用视频分析方法会导致检测结果的准确度较低，例如前台人员监控管理应用场景下。


技术实现要素：

4.鉴于现有技术中的上述缺陷或不足，期望提供一种电子产品使用行为检测方法、装置、设备及介质，来解决如何准确地对目标监控对象使用电子产品的行为进行监测的问题。
5.一方面，本技术实施例提供了一种电子产品使用行为检测方法，该方法包括：
6.获取待检测视频中每一帧视频图像所包含的感兴趣区域；
7.在每一帧视频图像所包含的感兴趣区域内检测到目标对象时，获取目标对象在每一帧视频图像中的目标位置信息，该目标对象为电子产品；
8.在每一帧视频图像所包含的感兴趣区域内依次检测人头信息、人手信息和人脸朝向信息，得到人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果；
9.根据目标位置信息、人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果和可调整的告警阈值条件，确定目标监控对象使用电子产品的行为满足告警阈值条件。
10.一方面，本技术实施例提供了一种电子产品使用行为检测装置，该装置包括：
11.区域获取单元，用于获取待检测视频中每一帧视频图像所包含的感兴趣区域；
12.数据检测单元，用于在每一帧视频图像所包含的感兴趣区域内检测到目标对象时，获取目标对象在每一帧视频图像中的目标位置信息，该目标对象为电子产品；在每一帧视频图像所包含的感兴趣区域内依次检测人头信息、人手信息和人脸朝向信息，得到人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果；
13.数据分析单元，用于根据目标位置信息、人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果和可调整的告警阈值条件，确定目
标监控对象使用电子产品的行为满足告警阈值条件。
14.一方面，本技术实施例提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行所述程序时实现如本技术实施例描述的方法。
15.第六方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序用于实现本技术实施例描述的方法。
16.本技术实施例提供了一种电子产品使用行为检测方法、装置、设备及介质，该方法通过获取待检测视频中每一帧视频图像所包含的感兴趣区域；先在每一帧视频图像所包含的感兴趣区域内检测到目标对象时，获取目标对象在每一帧视频图像中的目标位置信息，目标对象为电子产品；然后，在每一帧视频图像所包含的感兴趣区域内依次检测人头信息、人手信息和人脸朝向信息，得到人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果；最后，根据目标位置信息、人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果和可调整的告警阈值条件，确定目标监控对象使用电子产品的行为满足告警阈值条件。本技术实施例，通过按照特定的检测顺序对感兴趣区域的目标监控对象和目标对象进行检测，可以提高检测效率，并降低图像处理器的资源消耗。
附图说明
17.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
18.图1示出了本技术实施例提供的电子产品使用行为检测方法的应用场景示意图；
19.图2示出了本技术实施例提出的电子产品使用行为检测方法的流程示意图；
20.图3示出了本技术实施例提供的又一电子产品使用行为检测方法的流程示意图；
21.图4示出了本技术实施例提供的另一电子产品使用行为检测方法的流程示意图；
22.图5示出了本技术实施例提供的前台人员与手机状态数据检测方法的流程示意图；
23.图6示出了本技术实施例提出的针对前台人员与手机检测结果的分析方法的流程示意图；
24.图7示出了本技术实施例提出的人脸朝向检测结果的示意图；
25.图8示出了本技术实施例提供的电子产品使用行为检测装置的结构示意图；
26.图9示出了本技术实施例提供的又一电子产品使用行为检测装置的结构示意图；
27.图10示出了本技术实施例提供的计算机设备的处理系统的结构示意图。
具体实施方式
28.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关公开，而非对该公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与公开相关的部分。
29.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
30.下面先对本技术实施例提供的电子产品使用行为检测方法所涉及的实施环境进行介绍。请参考图1，图1示出了本技术实施例提供的电子产品使用行为检测方法的应用场景示意图。
31.如图1所示，该实施环境中包括图像采集设备1以及服务器2。其中，图像采集设备1可以是圆形摄像头等，本技术实施例对此不进行具体限定。
32.在本技术实施例中，图像采集设备1用于采集指定范围内的图像数据，并将图像数据通过网络3发送给服务器2，而服务器2用于根据图像采集设备1发送的图像数据进行分析处理，以实现对指定范围内的目标监控对象的监控，例如，指定范围为企业的前台区域，目标监控对象为前台人员。
33.上述服务器可以是一台独立的服务器、或由若干台服务器组成的服务器集群、或云计算中心。
34.本技术实施例提供的电子产品使用行为检测方法，可以由电子产品使用行为检测装置作为执行主体来执行。电子产品使用行为检测装置可以集成服务器等计算机设备中，电子产品使用行为检测装置可以是硬件也可以是软件模块。也可以由单一服务器执行，或者若干服务器器配合起来执行。
35.在相关技术中，对于电子产品的使用情况的检测方法，存在可操作性差，检测结果精确度低等问题。并没有针对具体应用场景的高效检测方法，例如针对前台人员使用手机状态的检测方法。如果采用通用的电子产品使用情况的检测方法，则存在检测结果精确度不高的问题，还导致图像处理器的资源消耗过大，不能有效地对前台人员使用手机状态进行监管。
36.本技术为了解决该问题，提出了一种电子产品使用行为检测方法，可以有效地针对目标监控对象使用电子产品的情况进行监管，提高监控管理的效率，节省人力成本。
37.下面请参考图2，图2示出了本技术实施例提出的电子产品使用行为检测方法的流程示意图。如图2所示，该方法可以电子产品使用行为检测装置执行，该电子产品使用行为检测装置可以配置在服务器中。该方法包括：
38.步骤201，获取待检测视频中每一帧视频图像所包含的感兴趣区域。
39.步骤202，在每一帧视频图像所包含的感兴趣区域内检测到目标对象时，获取目标对象在每一帧视频图像中的目标位置信息，该目标对象为电子产品。
40.步骤203，在每一帧视频图像所包含的感兴趣区域内依次检测人头信息、人手信息和人脸朝向信息，得到人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果。
41.步骤204，根据目标位置信息、人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果和可调整的告警阈值条件，确定目标监控对象使用电子产品的行为满足告警阈值条件。
42.在上述步骤中，待检测视频是指针对指定范围内的固定目标监控对象采集得到的视频数据。例如，指定范围是企业的前台范围，目标监控对象是前台人员。或者类似的固定工作场景。待检测视频可以通过预先安装在指定范围内的检测位置上，例如可以采用圆形摄像头用于采集待检测视频。
43.待检测视频中每一帧视频图像所包含的感兴趣区域(region of interest，简称
roi)是指根据检测目标预先设置的检测区域。为了保证检测的准确率，只对感兴趣区域内的图像进行处理，其他区域的图像不做处理。
44.在获取待检测视频中每一帧视频图像所包含的感兴趣区域后，针对感兴趣区域先进行目标对象检测。例如可以通过目标对象检测模型对roi区域内存在的目标对象进行检测。如果存在目标对象，则获取目标对象在视频图像中的目标位置信息。目标对象包括但不限于电子产品。例如电子产品可以是手机等移动终端电子设备。
45.在检测到感兴趣区域内存在目标对象时，在感兴趣区域内继续检测人头信息、人手信息和人脸朝向信息。例如可以通过预先构建的检测模型对人头、人手、人脸朝向进行检测。
46.在检测到感兴趣区域内不存在目标对象时，则结束对当前视频图像的检测。
47.例如，在检测到感兴趣区域内存在目标对象时，通过人头检测模型对感兴趣区域内是否存在人头进行检测。相对于人体检测模型，本技术采用人头检测模型可以有效地降低图像处理器的资源消耗。
48.在检测到感兴趣区域内不存在人头时，则认为感兴趣区域内不存在目标监控对象，结束对视频图像的处理。
49.在检测到感兴趣区域内存在人头时，再继续检测感兴趣区域内是否存在人手，若在感兴趣区域内在存在人手时，则获取人手位置，计算人手位置与目标对象位置之间的关系。
50.根据人手位置和目标对象位置之间的关系，可以确定目标监控对象是否手持目标对象。在确定目标监控对象未手持目标对象时，或者在感兴趣区域内未检测到人手时，可以对感兴趣区域内人脸朝向进行检测，得到人脸朝向信息检测结果。人脸朝向信息检测结果包括：人脸朝左、人脸朝右、人脸朝下、人脸超前等。
51.在得到人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、以及人脸朝向信息检测结果之后，根据目标位置信息、人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果和可调整的告警阈值条件，确定目标监控对象使用电子产品的行为满足告警阈值条件。其中，监测时间阈值是用于触发告警的时间阈值。告警阈值条件是指用于确定用户使用电子产品的行为是否超过预设时间长度的条件。即在满足告警阈值条件时，确定用户使用电子产品的时间过长，被认为该使用电子产品的行为不符合使用电子产品的相关规定。该告警阈值条件至少包括：第一统计阈值与状态持续时间阈值，或者第二统计阈值与状态持续时间阈值。
52.本技术实施例中，通过针对预先设置感兴趣区域，按照特定的检测处理顺序，来实现对指定区域的目标监控对象使用电子产品的行为进行监测，可以有效地提高检测效率。通过特定的检测顺序可以提高目标监控对象使用电子产品的定位的检测准确率，针对感兴趣区域内的人头、人手、人脸等关键部位的检测，可以降低图像处理器的资源消耗。
53.在上述实施例基础上，本技术实施例还提供了一种电子产品使用行为检测方法。如图3所示，图3示出了本技术实施例提供的又一电子产品使用行为检测方法的流程示意图。该方法可以由电子产品使用行为检测装置执行，该电子产品使用行为检测装置可以配置在服务器中。该方法包括：
54.步骤201，获取待检测视频中每一帧视频图像所包含的感兴趣区域。
55.步骤202，在每一帧视频图像所包含的感兴趣区域内检测到目标对象时，获取目标对象在每一帧视频图像中的目标位置信息，该目标对象为电子产品。
56.步骤203，在每一帧视频图像所包含的感兴趣区域内依次检测人头信息、人手信息和人脸朝向信息，得到人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果。
57.步骤2041，在人头信息检测结果表示在感兴趣区域内存在人头时，根据人手信息检测结果和目标位置信息之间的关联关系，确定目标监控对象与目标对象之间的第一状态标识；
58.步骤2042，根据人脸朝向信息检测结果和目标位置信息之间的关联关系，确定目标监控对象与目标对象之间的第二状态标识；
59.步骤2043，根据第一状态标识和第二状态标识得到用户状态标识；
60.步骤2044，在用户状态标识表示目标监控对象与目标对象之间存在关联关系时，对用户状态标识进行累计统计，得到第一状态标识统计次数；
61.步骤2045，在第一状态标识统计次数达到第一统计阈值时，触发设置开始时间戳，该开始时间戳为状态持续时间的起点；
62.步骤2046，在状态持续时间大于等于监测时间阈值时，确定目标监控对象在长期使用电子产品。
63.步骤2047，在用户状态标识表示目标监控对象与目标对象之间不存在关联关系时，对用户状态标识进行累计统计，得到第二状态标识统计次数；
64.步骤2048，在第二状态标识统计次数达到第二统计阈值时，清除状态持续时间的开始时间戳。
65.在上述步骤中，在每一帧视频图像所包含的感兴趣区域内依次检测人头信息、人手信息和人脸朝向信息，得到人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果，可以将感兴趣区域依次输入与检测目标对应的检测模型，从而依次得到目标位置信息、人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果。
66.本技术实施例通过预先设置的检测顺序，可以有效地提高图像的检测效率，并保证检测结果的准确性。例如在在检测到目标对象时，才触发后续针对人头、人手、人脸朝向的检测，可以有效地提高图像处理器的处理效率，并能够在硬件成本较低的硬件终端上进行。
67.在通过预先设置的检测顺序检测得到目标位置信息、人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系和人脸朝向信息检测结果之后，通过可调整的监测时间阈值，对这些状态的持续时间进行分析判断，可以准确地确定目标监控对象是否存在长期使用电子产品的行为，即本技术实施例，可以有效地提高检测结果的精准度。
68.在上述步骤中，人手信息检测结果包括人手位置信息，则根据人手信息检测结果和目标位置信息之间的关联关系，确定目标监控对象与目标对象之间的第一状态标识，可以包括：
69.确定人手位置信息和目标位置信息之间的重叠区域；
70.在重叠区域大于等于预设重叠阈值时，对第一状态标识赋予第一状态值，第一状
态值用于表示目标监控对象手持所述目标对象；
71.在重叠区域小于预设重叠阈值时，对第一状态标识赋予第二状态值，第二状态值用于表示目标监控对象未手持所述目标对象。
72.本技术实施例中，在当前视频图像中感兴趣区域检测到目标对象时，将感兴趣区域输入到预先构建的人头检测模型，输出得到感兴趣区域内是否存在人头，若不存在人头，则直接结束对当前视频图像的检测，更新视频图像的帧号，返回对更新帧号的视频图像进行感兴趣区域处理，针对更新帧号的视频图像的感兴趣区域进行目标对象检测，然后再根据检测结果确定是否继续后续操作，本技术实施例中针对指定范围内图像区域的处理，可以缩小图像处理的范围，减少图像处理器的资源消耗，同时还能提高图像处理结果的精度。
73.若存在人头，则将感兴趣区域的图像数据输入到预先构建的人手检测模型，得到是否存在人手的检测结果。在确定存在人手时，获取人手对应的人手位置信息，根据人手位置信息和目标位置信息计算交并比，(intersection over union，英文简称iou)，即人手位置对应的边框与目标对象对应的边框之间的交集和并集的比值。本技术通过设置第一状态标识来识别人手与目标对象之间的关系。即第一状态标识用于指示人手与目标对象之间是否存在关联关系。
74.若iou大于等于预设重叠阈值，则认为人手手持目标对象，对第一状态标识赋予第一状态值，该第一状态值用于表示目标监控对象手持目标对象。例如该第一状态值可以用二进制数值中的1表示，或者其他可以数值标识来指示。
75.若iou小于预设重叠阈值，则认为人手未手持目标对象。对第一状态标识赋予第二状态值，该第二状态值用于表示目标监控对象未手持目标对象。例如该第二状态值可以用二进制数值中的0表示，或者其他可以数值标识来指示。例如在第一状态值为1时，第二状态值为0。
76.上述预设重叠阈值可以预先设置，也可以根据目标监控对象的注视数据按照人工智能处理方法得到
77.在人手检测模型的输出结果表示不存在人手时，或者在人手未手持目标对象时，将感兴趣区域的图像数据输入到预先构建的人脸朝向检测模型，得到是否人脸朝向的检测结果。
78.然后，将针对每一帧视频图像检测得到的目标位置信息、第一状态标识和人脸朝向检测结果，以与每一帧视频图像对应的时间戳信息，输入到数据分析模块，数据分析模块根据这些信息进行累计判断来产生告警，可以有效地提高告警的准确率。
79.在数据分析分析过程中，通过目标位置信息和人脸朝向检测结果确定人脸朝向与目标位置信息之间夹角，通过夹角判断人的视线是否指向目标对象。即根据人脸朝向信息检测结果和目标位置信息之间的关联关系，确定目标监控对象与目标对象之间的第二状态标识，包括：
80.根据人脸朝向信息检测结果和目标位置信息，确定人脸朝向信息检测结果与目标位置信息之间的夹角；
81.在夹角小于等于预设角度阈值时，对第二状态标识赋予第三状态值，第三状态值用于表示目标监控对象注视目标对象；
82.在夹角小于等于预设角度阈值时，对第二状态标识赋予第四状态值，第四状态值
用于表示目标监控对象未注视目标对象。
83.上述预设角度阈值可以预先设置，也可以根据目标监控对象的注视数据按照人工智能处理方法得到。
84.在上述实施例基础上，获得第一状态标识和第二状态标识之后，根据第一状态标识和第二状态标识之间的逻辑关系，进一步地确定用户状态标识，根据用户状态标识来识别目标监控对象与目标对象之间是否存在关联关系，并且通过对用户状态标识进行累计统计，来触发是否开始对目标监控对象使用电子产品的行为产生告警数据。本技术实施例通过动态调整统计阈值和监控时间阈值，来减少因固定阈值导致人为躲避检测的行为。
85.上述用户状态标识可以采用预先设置的状态值来标识，例如状态值为1，表示目标监控对象与目标对象之间存在关联关系，状态值为0标识目标监控对象与所述目标对象之间不存在关联关系。
86.在用户状态标识为1时，对用户状态标识进行累计统计，得到第一状态标识统计次数；在第一状态标识统计次数达到第一统计阈值时，触发设置开始时间戳，该开始时间戳为状态持续时间的起点；在状态持续时间大于等于监测时间阈值时，确定目标监控对象在长期使用电子产品。
87.在用户状态标识为0时，对用户状态标识进行累计统计，得到第二状态标识统计次数；在第二状态标识统计次数达到第二统计阈值时，清除状态持续时间的开始时间戳。
88.本技术实施例，通过上述方式对目标监控对象在预设状态持续时间内存在使用电子产品的行为，来触发告警，有效地提升了告警的准确率。
89.进一步地，在上述实施例基础上，本技术还提出了一种动态调整电子产品使用行为的告警阈值的方法，如图4所示，图4示出了本技术实施例提供的另一电子产品使用行为检测方法的流程示意图。该方法可以由电子产品使用行为检测装置执行，该电子产品使用行为检测装置可以配置在服务器中。该方法包括：
90.步骤201，获取待检测视频中每一帧视频图像所包含的感兴趣区域。
91.步骤202，在每一帧视频图像所包含的感兴趣区域内检测到目标对象时，获取目标对象在每一帧视频图像中的目标位置信息，该目标对象为电子产品。
92.步骤203，在每一帧视频图像所包含的感兴趣区域内依次检测人头信息、人手信息和人脸朝向信息，得到人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果。
93.步骤204，根据目标位置信息、人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果和可调整的告警阈值条件，确定目标监控对象使用电子产品的行为满足告警阈值条件。该告警阈值条件至少包括：第一统计阈值与状态持续时间阈值，或者第二统计阈值与状态持续时间阈值。第一统计阈值用于对目标监控对象使用电子产品的状态进行统计。第二统计阈值用于对目标监控对象不使用电子产品的状态进行统计。状态持续时间阈值用于对目标监控对象使用电子产品的持续时间进行监控。
94.步骤205，在确定目标监控对象在长期使用电子产品时，生成告警数据；
95.步骤206，根据状态持续时间对应的视频图像集合对告警数据进行验证，得到验证结果；
96.步骤207，根据验证结果动态调整第一统计阈值和状态持续时间，或者第二统计阈值和状态持续时间。
97.在上述步骤中，确定目标对象监控对象使用电子产品满足告警阈值时，通过用户状态标识的累计统计结果，触发对目标监控对象使用电子产品的时间长度的监测，当目标监控对象使用电子产品的时间长度达到状态持续时间阈值，则产生告警数据。并将状态持续时间阈值内的视频数据保存至预设的存储位置。在产生告警数据之后，被监控的目标监控对象可以主动反馈该告警数据是否正确，如果目标监控对象反馈告警数据不正确，则通过人工核查方式对存储位置的视频数据进行核实，在核实结果表示目标监控对象反馈正确时，设置验证反馈结果，即获取验证反馈结果，该验证反馈结果指示告警数据错误，用于触发调整第一统计阈值和状态持续阈值。
98.在验证结果表示告警数据存在错误时，对存在错误的告警数据进行累计，得到第一告警累计结果；
99.在第一告警累计结果到达第一预设告警阈值时，对状态持续时间阈值的时间范围和第一统计阈值的取值范围进行调整，该第一统计阈值用于触发设置所述状态持续时间的开始时间戳。
100.在验证结果表示告警数据存在遗漏时，对存在遗漏的告警数据进行累计，得到第二告警累计结果；
101.在第二告警累计结果到达第二预设告警阈值时，对状态持续时间阈值的时间范围和第二统计阈值的取值范围进行调整，该第二统计阈值用于清除所述状态持续时间的开始时间戳。
102.本技术实施例通过上述对告警阈值条件进行动态调整，可以有效地提高告警数据产生的准确率。
103.下面以监控前台人员使用手机的行为为例，结合图5和图6进一步展开说明。
104.假设在前台区域设置圆形摄像头，用于采集前台区域的视频。对采集得到的视频进行帧序列化处理得到视频图像。对每一帧视频图像获取其对应的roi区域。
105.首先，手机检测模型检测roi区域中是否存在手机，如果不存在，结束当前帧的检测过程。如果存在手机，获取手机在图像中的位置信息。
106.然后，利用人头检测模型检测roi区域中是否存在人头，如果不存在，则认为当前没有人存在，结束当前帧检测过程。如果存在人头，则继续利用人手检测模型检测roi区域中是否存在人手，如果存在，根据人手位置与手机位置计算iou，如果iou大于iou阈值，则认为前台是手持手机状态。如果没有检测到人手，或者前台没有手持手机状态，则继续利用人脸朝向检测模型对roi区域进行人脸朝向检测，计算前台人员的人脸朝向，其中人脸朝向可以包括朝左，朝右，朝下，朝前四种。
107.在经过上述检测模型的处理之后，得到当前帧的手机位置数据，人脸朝向数据，是否手持手机，当前帧时间戳数据，然后对这些数据进行数据分析处理。上述按照特定的检测顺序对前台人员的检测，可以提高图像检测结果的准确性。
108.上述手机检测模型，人头检测模型，人手检测模型，可以通过训练数据对目标检测模型进行训练得到。该目标检测模型包括但不限于yolo模型，fasterrcnn模型、centernet模型等。
109.人脸朝向检测模型可以包括人脸检测子模型和人脸朝向分类子模型，将待检测的roi区域输入到人脸检测子模型，得到人脸检测结果。然后将人脸检测结果输入到人脸朝向分类子模型。人脸检测子模型包括但不限于dbface模型，人脸朝向分类子模型包括但不限于resnet分类模型等。在构建人脸朝向分类子模型时，可以通过获取大量的四种朝向的人脸数据作为训练数据，输入到待训练的人脸朝向分类模型中，进行训练得到，四种人脸朝向数据，包括朝左，朝右，朝下，朝前人脸数据，如图7所示。
110.接收到手机位置数据、人脸朝向数据、是否手持手机、当前帧时间戳信息后，通过对预设时间段内的这些数据进行累计分析，从而确定是否产生告警。通过累计分析可以有效地提高告警数据产生的准确性。
111.根据手机位置数据和人脸朝向数据判断是否前台人员的视线是否一直在看手机，例如，可以通过人脸朝向检测结果，计算人脸朝向与手机连线之间的夹角，如果与某个方向的夹角小于等于夹角阈值，则当前时刻认为前台人员的视线在注视着手机。
112.如果人脸朝向是注视手机状态，则用1来表示该状态，否则为0。
113.根据接收到手持手机状态，采用相应的数值标识来表示，例如检测结果标识前台人员手持手机状态，则用于1来表示该状态，否则用0表示该状态。这些状态的表示结果，如下表(1)所示：
114.注视手机状态手持手机状态当前帧时间戳11t101t2
115.为了更清楚地表示前台人员与手机之间关联关系，将注视手机状态与手持手机状态做或操作，得到用户状态标识。例如第一时间戳t1对应的注视手机状态的数值为1，手持手机状态的数值为1，则二者相或操作的结果为1。用户状态标识根据相或操作得到的结果是0或者1。
116.如果用户状态标识连续m帧都为1，则认为触发状态持续时间的开始统计，并标记此时的时间戳start。m为第一统计阈值，用于对用户使用手机的状态进行统计。m取值为自然数。例如5次。
117.如果用户状态标识连续n帧为0，则消除状态持续时间的start时间戳。n为第二统计阈值，用于对用户未使用手机的状态进行统计。n取值为自然数。例如2次。
118.在标记时间戳start之后，统计状态持续时间，如果状态持续时间达到状态持续时间阈值t，则分析认为前台人员在长时间玩手机。
119.将状态持续时间内的视频数据保存至预先设置的存储区域，然后根据存储视频数据对告警数据进行验证，确定告警数据是否正确。
120.如果告警数据错误，则动态修正数据分析模块的告警阈值条件。本技术实施例中通过动态修正告警阈值条件可以提升告警准确率。
121.在确定告警数据存在错误时，对错误的告警数据进行统计，如果统计结果表明告警数据错误告警的次数比较多，则增加状态持续时间阈值t，同时增加第一统计阈值m的取值。
122.在确定告警数据存在漏告警时，则对漏告警数据进行统计，如果统计结果表明告警数据漏告警的次数比较多，则减少状态持续时间阈值t，同时减少第二统计阈值n的取值。
123.本技术实施例通过上述动态修改告警阈值条件，可以有效地规避掉用户短暂玩手机，但次数频繁的问题，其有效地提高了告警的准确率。
124.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
125.下面请参考图8，图8示出了本技术实施例提供的电子产品使用行为检测装置的结构示意图。该装置可以配置服务器中。该装置包括：
126.区域获取单元401，用于获取待检测视频中每一帧视频图像所包含的感兴趣区域；
127.数据检测单元402，用于在每一帧视频图像所包含的感兴趣区域内检测到目标对象时，获取目标对象在所述每一帧视频图像中的目标位置信息，该目标对象为电子产品；以及在每一帧视频图像所包含的感兴趣区域内依次检测人头信息、人手信息和人脸朝向信息，得到人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果；
128.数据分析单元403，用于根据目标位置信息、人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果和可调整的告警阈值条件，确定目标监控对象存在长期使用电子产品的行为。
129.其中，数据检测单元还用于：
130.在每一帧视频图像所包含的感兴趣区域内检测人头信息；
131.在人头信息检测结果表示存在人头信息时，在感兴趣区域内继续检测所述人手信息；
132.在人手信息检测结果表示存在人手信息时，获取人手位置信息，并根据人手位置信息与目标位置信息确定人手和目标对象之间的关联关系；
133.在人手信息检测结果表示不存在人手信息时，继续在感兴趣区域内检测人脸朝向信息。
134.其中，数据分析单元还用于：
135.在人头信息检测结果表示在感兴趣区域内存在人头时，根据人手信息检测结果和目标位置信息之间的关联关系，确定目标监控对象与目标对象之间的第一状态标识；
136.根据人脸朝向信息检测结果和目标位置信息之间的关联关系，确定目标监控对象与目标对象之间的第二状态标识；
137.根据第一状态标识和第二状态标识得到用户状态标识；
138.在用户状态标识表示目标监控对象与目标对象之间存在关联关系时，对用户状态标识进行累计统计，得到第一状态标识统计次数；
139.在第一状态标识统计次数达到第一统计阈值时，触发设置开始时间戳，该开始时
间戳为状态持续时间的起点；
140.在状态持续时间大于等于监测时间阈值时，确定目标监控对象在长期使用电子产品。
141.人手信息检测结果包括人手位置信息，数据分析单元还用于：
142.确定人手位置信息和目标位置信息之间的重叠区域；
143.在重叠区域大于等于预设重叠阈值时，对第一状态标识赋予第一状态值，第一状态值用于表示目标监控对象手持目标对象；
144.在重叠区域小于预设重叠阈值时，对第一状态标识赋予第二状态值，第二状态值用于表示目标监控对象未手持目标对象。
145.数据分析单元还用于：
146.根据人脸朝向信息检测结果和目标位置信息，确定人脸朝向信息检测结果与目标位置信息之间的夹角；
147.在夹角小于等于预设角度阈值时，对第二状态标识赋予第三状态值，该第三状态值用于表示目标监控对象注视目标对象；
148.在夹角小于等于预设角度阈值时，对第二状态标识赋予第四状态值，该第四状态值用于表示目标监控对象未注视目标对象。
149.数据分析单元还用于：
150.在用户状态标识表示目标监控对象与目标对象之间不存在关联关系时，对用户状态标识进行累计统计，得到第二状态标识统计次数；
151.在第二状态标识统计次数达到第二统计阈值时，清除状态持续时间的开始时间戳。
152.本技术实施例通过预先设置的检测顺序，可以有效地提高图像的检测效率，并保证检测结果的准确性。例如在在检测到目标对象时，才触发后续针对人头、人手、人脸朝向的检测，可以有效地提高图像处理器的处理效率，并能够在硬件成本较低的硬件终端上进行。
153.在上述实施例基础上，本技术实施例还提出了一种电子产品使用行为检测装置的结构示意图。请参考图9，图9示出了本技术实施例提供的又一电子产品使用行为检测装置的结构示意图。该装置可以配置服务器中。该装置包括：
154.数据检测单元501，用于获取待检测视频中每一帧视频图像所包含的感兴趣区域；在每一帧视频图像所包含的感兴趣区域内检测到目标对象时，获取所述目标对象在每一帧视频图像中的目标位置信息，所述目标对象为电子产品；在每一帧视频图像所包含的感兴趣区域内依次检测人头信息、人手信息和人脸朝向信息，得到人头信息检测结果、人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果。
155.上述数据检测单元的功能与图8中的功能相似。
156.数据分析单元502，用于根据目标位置信息、人头信息检测结果、所述人手信息检测结果和目标位置信息之间的关联关系、人脸朝向信息检测结果和可调整的告警阈值条件，确定目标监控对象存在长期使用电子产品的行为。该告警阈值条件包括：第一统计阈值和状态持续时间阈值，或者第二统计阈值和状态持续阈值。数据分析单元与图8中的数据分析单元功能相同。
157.告警生成单元503，用于在确定目标监控对象存在长期使用电子产品的行为生成告警数据。
158.验证处理单元504，用于根据状态持续时间对应的视频图像集合对告警数据进行验证，得到验证结果。
159.反馈修正单元505，用于根据验证结果动态调整第一统计阈值和状态持续时间阈值，或者第二统计阈值和状态持续时间阈值。
160.其中反馈修正单元506，还用于在验证结果表示告警数据存在错误时，对存在错误的告警数据进行累计，得到第一告警累计结果；在第一告警累计结果到达第一预设告警阈值时，对状态持续时间阈值的时间范围和第一统计阈值的取值范围进行调整，其中，第一统计阈值用于触发设置状态持续时间的开始时间戳；
161.其中，反馈修正单元505，还用于在验证结果表示告警数据存在遗漏时，对存在遗漏的告警数据进行累计，得到第二告警累计结果；在第二告警累计结果到达第二预设告警阈值时，对状态持续时间阈值的时间范围和第二统计阈值的取值范围进行调整，该第二统计阈值用于清除状态持续时间的开始时间戳。
162.反馈修正单元505将经过修正的告警阈值条件反馈至数据分析模块502，数据分析模块502根据修正后的告警阈值条件对数据生成单元的检测结果进行分析，可以提高告警数据的准确度，降低人力管理成本。
163.在上述实施例中，电子产品使用行为检测装置还可以包括视频保存模块，用于将告警阈值条件中状态持续时间对应的视频图像进行保存，以便对告警数据进行验证，从而保证告警数据的准确性。
164.本技术实施例通过上述动态修改告警阈值条件，可以有效地规避掉用户短暂玩手机，但次数频繁的问题，其有效地提高了告警的准确率。
165.应当理解，上述装置中记载的诸单元或模块与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于上述装置及其中包含的单元，在此不再赘述。上述装置可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。上述装置中的相应单元可以与电子设备中的单元相互配合以实现本技术实施例的方案。
166.在上文详细描述中提及的若干模块或者单元，这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
167.下面参考图10，图10示出了本技术实施例提供计算机设备的处理系统的结构示意图。
168.如图10所示，计算机系统包括中央处理单元(cpu)901，其可以根据存储在只读存储器(rom)902中的程序或者从存储部分908加载到随机访问存储器(ram)903中的程序而执行各种适当的动作和处理。在ram903中，还存储有操作所需的各种程序和数据。cpu901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
169.以下部件连接至i/o接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；
以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至i/o接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
170.特别地，根据本公开的实施例，上文参考流程图图2-5描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(cpu)901执行时，执行本技术的系统中限定的上述功能。
171.需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
172.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
173.描述于本技术实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括区域获取单元、第一目标检测单元和第二目标检测单元，行为确定单元等。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，区域获取单元还可以被描述为“用于获取待检测视频中每一帧视频图像所包含的感兴趣区域
的单元”。
174.作为另一方面，本技术还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本技术的电子产品使用行为检测生成方法。
175.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。