一种行为检测方法、装置、计算机设备及存储介质与流程

文档序号:31786695发布日期:2022-10-12 13:52阅读:76来源:国知局
一种行为检测方法、装置、计算机设备及存储介质与流程

1.本技术涉及检测技术领域,具体涉及一种行为检测方法、装置、计算机设备及存储介质。


背景技术:

2.随着社会的发展,银行提供了越来越多的银行业务,以供人们办理,例如销售理财产品、银行代理保险公司销售保险产品等销售类型的银行业务。
3.而在银行业务办理过程中,需要明确待办理的银行业务是客户自愿主动进行办理,而禁止业务人员为快速办理该银行业务,而主动帮客户进行办理,因此,在银行业务办理过程中的某些关键环节,需由客户进行自主选择,例如产品的选择、金额的选择、签名确认办理等环节。
4.针对上述现象,现有的技术需由工作人员实时监控整个银行业务办理过程,以人工判断业务人员是否存在违规行为的现象,但这无疑会耗费大量的人力成本,且对业务人员的违规行为的检测效率较低。


技术实现要素:

5.本技术实施例提供一种可用于金融科技或其他相关领域的行为检测方法、装置、计算机设备及存储介质,可以提高对业务人员的违规行为的检测效率。
6.本技术实施例提供了一种行为检测方法,包括:在当前业务场景中若处于客户操作业务办理装置的阶段,则获取拍摄范围包括上述业务办理装置的视频;根据上述视频进行人手识别,确定上述视频中上述业务场景的业务人员的目标人手位置;根据上述视频识别上述业务办理装置在上述视频中的装置位置;计算相同视频帧中上述目标人手位置和装置位置的相对位置;根据上述相对位置确定上述业务人员是否在上述客户操作业务办理装置的阶段存在预设的违规行为。
7.相应的,本技术实施例还提供了一种行为检测装置,包括:视频获取模块,用于在当前业务场景中若处于客户操作业务办理装置的阶段,则获取拍摄范围包括上述业务办理装置的视频;位置确定模块,用于根据上述视频进行人手识别,确定上述视频中上述业务场景的业务人员的目标人手位置;位置识别模块,用于根据上述视频识别上述业务办理装置在上述视频中的装置位置;计算模块,用于计算相同视频帧中上述目标人手位置和装置位置的相对位置;行为确定模块,用于根据上述相对位置确定上述业务人员是否在上述客户操作业
务办理装置的阶段存在预设的违规行为。
8.在一些实施例中,上述行为检测装置还包括:人脸识别模块,用于对上述视频中的人员进行人脸识别,确定上述业务人员和客户之间的人员相对位置;相应地,上述位置确定模块,具体用于:根据上述视频进行人手识别,确定上述视频中上述业务人员和上述客户之间的人手相对位置;根据上述视频中上述业务人员和上述客户之间的人手相对位置,确定出存在人手相对位置与上述人员相对位置不匹配现象的连续帧数;当上述连续帧数大于预设的帧数阈值时,对上述视频的当前视频帧中的上述业务人员进行人体姿态估计,得到上述业务人员的人体姿态估计结果;基于上述业务人员的人体姿态估计结果,确定上述视频中上述业务场景的业务人员的目标人手位置。
9.在一些实施例中,上述行为检测装置还包括:人员识别模块,用于对上述视频中的人员进行检测,确定上述业务场景的人员数量;相应地,上述位置确定模块,具体用于:根据上述视频进行人手识别,确定上述视频的当前视频帧中的人手数量;当上述人手数量与上述人员数量不匹配时,对上述视频的当前视频帧中的上述业务人员进行人体姿态估计,得到上述业务人员的人体姿态估计结果;基于上述业务人员的人体姿态估计结果,确定上述视频中上述业务场景的业务人员的目标人手位置。
10.在一些实施例中,上述行为确定模块,具体用于:当上述相对位置之间的距离小于第一预设距离时,确定上述业务人员在上述客户操作业务办理装置的阶段存在预设的违规行为;当上述相对位置之间的距离大于第一预设距离,且小于第二预设距离时,获取上述业务人员对应的人手姿态;若上述人手姿态符合预设姿态,则确定上述业务人员在上述客户操作业务办理装置的阶段存在预设的违规行为。
11.在一些实施例中,上述行为检测装置还包括:信息识别模块,用于对上述视频中的声音信息进行识别,得到客户声音信息;意愿识别模块,用于对上述客户声音信息进行意愿识别,得到客户处于上述客户操作业务办理装置的阶段时的意愿类别;上述行为确定模块,还用于当上述意愿类别属于求助类别时,确定上述业务人员在上述客户操作业务办理装置的阶段不存在预设的违规行为。
12.在一些实施例中,上述行为检测装置还包括:上述行为确定模块,还用于当上述意愿类别属于求助类别时,根据上述相对位置确定上述业务人员是否在上述客户操作业务办理装置的阶段存在预设的辅助行为;指令发送模块,用于当存在上述辅助行为时,向控制中心发送阻断指令,以使上述
控制中心根据上述阻断指令不响应上述业务办理装置发送的业务确认提交信息。
13.在一些实施例中,上述行为检测装置还包括:告警模块,用于若上述业务人员在上述客户操作业务办理装置的阶段存在预设的违规行为,则通过预设的告警装置对上述业务人员进行告警提醒。
14.相应的,本技术实施例还提供了一种计算机设备,包括存储器,处理器及存储在储存器上并可在处理器上运行的计算机程序,其中,处理器执行本技术实施例任一提供的行为检测方法。
15.相应的,本技术实施例还提供了一种存储介质,存储介质存储有多条指令,指令适于处理器进行加载,以执行如上的行为检测方法。
16.本技术实施例在当前业务场景中若处于客户操作业务办理装置的阶段,则获取拍摄范围包括所述业务办理装置的视频,然后根据所述视频进行人手识别,确定所述视频中所述业务场景的业务人员的目标人手位置,并根据所述视频识别所述业务办理装置在所述视频中的装置位置,再计算相同视频帧中所述目标人手位置和装置位置的相对位置,以根据所述相对位置确定所述业务人员是否在所述客户操作业务办理装置的阶段存在预设的违规行为,从而提高对业务人员的违规行为的检测效率。
附图说明
17.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
18.图1为本技术实施例提供的一种行为检测方法的流程示意图。
19.图2为本技术实施例提供的一种行为检测装置的结构框图。
20.图3为本技术实施例提供的计算机设备的结构示意图。
具体实施方式
21.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术的一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
22.本技术实施例提供一种行为检测方法、装置、存储介质及计算机设备。具体地,本技术实施例的行为检测方法可以由计算机设备执行,其中,该计算机设备可以为服务器,也可以为终端等设备。其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、台式计算机、笔记本电脑、平板电脑等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本技术在此不做限制。
23.例如,该计算机设备可以是终端,该终端可以在当前业务场景中若处于客户操作
业务办理装置的阶段,则获取拍摄范围包括业务办理装置的视频;根据视频进行人手识别,确定视频中业务场景的业务人员的目标人手位置;根据视频识别业务办理装置在视频中的装置位置;计算相同视频帧中目标人手位置和装置位置的相对位置;根据相对位置确定业务人员是否在客户操作业务办理装置的阶段存在预设的违规行为。
24.基于上述问题,本技术实施例提供第一种行为检测方法、装置、计算机设备及存储介质,可以提高对业务人员的违规行为的检测效率。
25.以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
26.本技术实施例提供一种行为检测方法,该方法可以由终端或服务器执行,本技术实施例以行为检测方法由终端执行为例来进行说明。
27.请参阅图1,图1为本技术实施例提供的一种行为检测方法的流程示意图。该行为检测方法的具体流程可以如下:101、在当前业务场景中若处于客户操作业务办理装置的阶段,则获取拍摄范围包括业务办理装置的视频。
28.其中,客户操作业务办理装置的阶段为银行业务办理过程中需用户自主选择的关键环节所处的阶段,例如产品的选择、金额的选择、签名确认办理等阶段。
29.可以理解的是,在银行业务办理过程中,每个阶段都需在业务办理装置上点击确认按钮,才能将该阶段对应的业务确认提交信息发送给控制中心,又或者是进入相邻的下一阶段。因此,终端会接收业务办理装置发送的当前所处阶段的阶段信息,并对该当前所处阶段的阶段信息进行判断,即判断该当前所处阶段的阶段信息是否符合预设的客户操作业务办理装置的阶段信息,若符合,则确认当前业务场景中处于客户操作业务办理装置的阶段。
30.在本实施例中,终端在检测出当前业务场景所处的银行业务办理的阶段为客户操作业务办理装置的阶段时,通过拍摄该业务场景的视频,来实现对业务人员的行为进行检测。
31.其中,可通过拍摄装置拍摄视频,该拍摄装置包括但不限于是摄像机、电脑、手机、ipad等,上述视频的拍摄范围应包括业务办理装置,还可包括业务人员和客户中的至少一种,例如,倘若在业务办理装置范围内未存在业务人员的人手,则说明业务人员不存在违规行为。
32.102、根据视频进行人手识别,确定视频中业务场景的业务人员的目标人手位置。
33.在本实施例中,终端通过实时的持续的获取业务场景的视频,以对该视频进行人手识别,从而确定出视频中业务场景的业务人员的目标人手位置,该目标人手位置即为业务人员的人手所处位置,其中,该各个人手包括但不限于是客户的人手、业务人员的人手。
34.在一些实施例中,终端可采用mediapipe中的手部姿态估计算法来得到视频中各个人员的人手位置,通过该算法还可得到视频中各个人员的人手姿态,进而采用bytetrack算法对人手进行跟踪,以得到视频中各个人员在各个视频帧中的人手位置,例如,在视频第一帧中业务人员的人手id为a1、a2,上述a1在视频第一帧中对应(x1,y1,z1),上述a2在视频第一帧中对应(x2,y2,z2),在视频第二帧中跟踪业务人员的人手id为a1、a2,上述a1在视频第二帧中对应(x3,y3,z3),上述a2在视频第二帧中对应(x4,y4,z4)。
35.在一些实施例中,有时由于长时间跟踪,又或者是其他因素而导致在进行人手识别时,人手识别结果不准确,从而导致业务人员的行为判断出错,由此,可预先设置先验条件,并在进行人手识别时,基于预设的先验条件对人手识别结果进行验证,倘若人手识别结果与该先验条件并不匹配,则说明视频的当前帧所对应的当前人手识别结果不准确,进而需以预设的识别方式对视频的当前帧中的人手重新进行识别,以得到准确的目标人手位置。
36.在一些实施例中,上述以预设的识别方式对视频的当前帧中的人手重新进行识别,以得到准确的目标人手位置,可以包括:终端对视频的当前视频帧中的业务人员进行人体姿态估计,得到业务人员的人体姿态估计结果;基于业务人员的人体姿态估计结果,确定视频中业务场景的业务人员的目标人手位置,提高了人手被遮挡时的跟踪精度。
37.在本实施例中,终端可从业务人员的人体姿态估计结果中得到业务人员的手腕关键点位置;再根据当前视频帧中出现的各个人手的人手位置,将距离手腕关键点位置最近的人手确定为业务人员对应的目标人手,再确定该业务人员对应的目标人手的目标人手位置。
38.其中,可基于与当前视频帧相邻的上一视频帧中人手的人手位置,对当前视频帧中各个人手的位置进行修正,得到修正后的各个人手的人手位置,将修正后的各个人手的人手位置确定为当前视频帧中最终与手腕关键点位置进行对比的人手位置。
39.可以理解的是,由于人手的运动轨迹相对快速且比较随机,可通过计算当前人手在当前视频帧的检测框以及上一视频帧所有人手检测框之间的iou,并根据其大小来确定当前视频帧中出现的人手的id,当确定出当前视频帧和上一视频帧为同一人手时,再基于上一视频帧中人手的位置,对当前视频帧中相同人手的位置进行修正。例如,在视频第一帧中业务人员的人手id为a1、a2,通过计算当前人手在视频第二帧的检测框以及视频第一帧所有人手a1、a2对应的检测框之间的iou,并根据其大小来确定当前视频帧中出现的人手的id,例如当前人手对应的id为a1。
40.具体地,上述基于与当前视频帧相邻的上一视频帧中人手的人手位置,对当前视频帧中各个人手的位置进行修正,可以包括:基于与当前视频帧相邻的上一视频帧中人手的人手位置和当前视频帧中各个人手的位置,以递推预测滤波(kalman filter)算法进行预测,得到kalman filter预测位置。
41.在一些实施例中,终端可采用yolox目标检测模型对视频的当前视频帧中的人员进行人员检测,得到各个人员的检测框,然后采用mediapipe中的人体姿态估计算法对当前视频帧中的人员进行人体姿态估计。
42.在一些实施例中,上述先验条件可基于视频中的人员相对位置来设定,也可基于视频中的人员数量来设定,具体可根据需求进行设置,在此不做限定。
43.可选地,可设置先验条件为人员相对位置是否匹配人手相对位置,而且为避免当前是因为某些环境因素,导致人员相对位置和人手相对位置不匹配,例如,业务人员的人手越过客户去拿一些资料,会导致人员相对位置和人手相对位置不匹配,基于上述考虑,在先验条件的位置匹配的基础上,再进一步增加连续帧数,即倘若视频的连续几帧的人手相对位置和人员相对位置均不匹配,则认为当前人手识别结果不准确。
44.具体地,在获取拍摄范围包括业务办理装置的视频之后,还可以包括:对视频中的
人员进行人脸识别,确定业务人员和客户之间的人员相对位置;其中,终端可以仅对视频的前几帧进行人脸识别,而后基于前几帧的人脸识别结果来确定出业务人员和客户之间的人员相对位置,从而提高了业务场景的业务人员的目标人手位置的确定速度。
45.相应地,上述根据视频进行人手识别,确定视频中业务场景的业务人员的目标人手位置,可以包括:终端根据视频进行人手识别,确定视频中业务人员和客户之间的人手相对位置,并根据视频中业务人员和客户之间的人手相对位置,确定出存在人手相对位置与人员相对位置不匹配现象的连续帧数,再根据预设的帧数阈值对连续帧数进行判断,当连续帧数大于预设的帧数阈值时,说明当前人手识别结果不准确,则对视频的当前视频帧中的业务人员进行人体姿态估计,得到业务人员的人体姿态估计结果。再基于业务人员的人体姿态估计结果,确定视频中业务场景的业务人员的目标人手位置。
46.可选地,可设置先验条件为人员数量是否匹配人手数量,即倘若视频中的人员数量和人手数量不匹配,则认为当前人手识别结果不准确。
47.具体地,在获取拍摄范围包括业务办理装置的视频之后,还可以包括:对视频中的人员进行检测,确定业务场景的人员数量,例如,业务场景中只有一个业务人员和一个客户,则人员数量是2,那么视频中可以出现的人手数量则小于等于4。
48.相应地,上述根据视频进行人手识别,确定视频中业务场景的业务人员的目标人手位置,可以包括:终端根据视频进行人手识别,确定视频的当前视频帧中的人手数量,再根据人员数量对人手数量进行判断,当人手数量与人员数量不匹配时,例如,视频中只有2个人,但当前人手识别结果是5个手,那么说明当前人手识别结果不准确,则对视频的当前视频帧中的业务人员进行人体姿态估计,得到业务人员的人体姿态估计结果。再基于业务人员的人体姿态估计结果,确定视频中业务场景的业务人员的目标人手位置。
49.103、根据视频识别业务办理装置在视频中的装置位置。
50.在本实施例中,终端需对视频中的业务办理装置一直进行跟踪识别,得到每一帧的业务办理装置的装置位置,以便于基于该装置位置对业务人员的违规行为进行判断。其中,上述业务办理装置包括但不限于是移动装置、银行办理业务的相关机器等,该移动装置可以为手机、ipad、电脑等电子产品。
51.在一些实施例中,上述对视频中的业务办理装置进行跟踪识别,可以包括:首先,初始化业务办理装置的关键点位置和关键点顺序,有效排除了其他物体的干扰,其中,该关键点位置可以根据精度需求以及业务办理装置的类型来确定,例如ipad可以以其四个角为关键点;然后,实时追踪业务办理装置的关键点位置。
52.其中,终端可以利用基于aruco marker检测算法检测出业务办理装置的关键点的初始位置;终端可以利用lucas-kanade算法对业务办理装置进行粗略追踪,并根据粗略的业务办理装置的区域找到业务办理装置的边缘信息,例如, ipad的四边,再利用业务办理装置的局部边缘信息以及摄影变换后业务办理装置的形状特征,来找到业务办理装置的关键点位置,例如,利用局部ipad边线信息以及摄影变换后ipad的矩形特征来找到精确ipad四角坐标。
53.具体地,上述实时追踪业务办理装置的关键点位置可以包括:根据关键点位置和关键点顺序,以及业务办理装置的形状特征,通过lucas-kanade算法进行光流估计来获得业务办理装置的粗略位置,利用业务办理装置的粗略位置分割出业务办理装置的局部区
域,再检测局部区域中的所有的边,然后用测霍夫变换算法检测业务办理装置的边线,结合边线上的点,通过射影变换进行映射,得到业务办理装置的点集合,再根据业务办理装置的点集合利用最小误差法得到满足业务办理装置的形状特征的业务办理装置的目标形状,基于业务办理装置的目标形状得到业务办理装置的位置。
54.104、计算相同视频帧中目标人手位置和装置位置的相对位置。
55.其中,上述相对位置包括但不限于是目标人手位置和装置位置之间相对位置的距离,或目标人手位置和装置位置之间相对位置的位置关系等。
56.105、根据相对位置确定业务人员是否在客户操作业务办理装置的阶段存在预设的违规行为。
57.其中,上述违规行为客户操作业务办理装置的阶段的代客行为。
58.在本实施例中,终端可以根据相对位置之间的距离来确定业务人员是否在客户操作业务办理装置的阶段存在预设的违规行为,也可以通过相对位置之间的位置关系来确定业务人员是否在客户操作业务办理装置的阶段存在预设的违规行为,从而通过位置判断,来提高对业务人员的违规行为的检测效率。
59.在一些实施例中,上述根据相对位置确定业务人员是否在客户操作业务办理装置的阶段存在预设的违规行为,可以包括:当相对位置之间的距离小于第一预设距离时,说明当前目标人手位置和装置位置之间的距离过小,即可确定业务人员在客户操作业务办理装置的阶段存在预设的违规行为。
60.进一步地,当目标人手位置和装置位置之间存在一定距离时,也并不能说明业务人员完全没有违规行为,例如业务人员可以采取指点的方式,促使客户选择某一商品,所以,可对人手姿态进行识别,以通过人手姿态的识别结果确定业务人员是否在客户操作业务办理装置的阶段存在预设的违规行为。
61.具体地,上述根据相对位置确定业务人员是否在客户操作业务办理装置的阶段存在预设的违规行为,可以包括:当相对位置之间的距离大于第一预设距离,且小于第二预设距离时,获取业务人员对应的人手姿态;若业务人员的人手姿态符合预设姿态,说明该业务人员存在指点客户进行办理的违规行为,则确定业务人员在客户操作业务办理装置的阶段存在预设的违规行为。
62.本发明实施例中,“第一”、“第二”仅仅是为区别预设距离,无其他特殊含义。
63.在一些实施例中,若业务人员在客户操作业务办理装置的阶段存在预设的违规行为,则通过预设的告警装置对业务人员进行告警提醒。
64.其中,上述告警装置可与上述拍摄装置集成在一起,或者与业务办理装置集成在一起,又或者与上述拍摄装置、业务办理装置分别设置,该告警装置需设置在业务人员视线可以达到的范围内,以便于在进行告警提醒时,及时通知到业务人员。
65.其中,上述告警提醒的方式包括但不限于是文字提醒、语音提醒等。
66.在一些实施例中,在获取拍摄范围包括所述业务办理装置的视频之后,还可以包括:对视频中的声音信息进行识别,得到客户声音信息;并对客户声音信息进行意愿识别,得到客户处于客户操作业务办理装置的阶段时的意愿类别,以根据该意愿类别及时判断客户当前需求;当意愿类别属于求助类别时,说明客户当前可能需求助业务人员辅助操作,而
此时确定业务人员在客户操作业务办理装置的阶段不存在预设的违规行为,即就算业务人员在业务办理装置上进行相应操作,也不认为业务人员在客户操作业务办理装置的阶段存在预设的违规行为。
67.在一些实施例中,业务人员在面对客户求助需求时,虽然可帮助客户进行演示,但由于当前业务场景处于客户操作业务办理装置的阶段,所以应禁止业务人员在业务办理装置上点击确认按钮,因此,当意愿类别属于求助类别时,根据相对位置确定业务人员是否在客户操作业务办理装置的阶段存在预设的辅助行为;当存在辅助行为时,向控制中心发送阻断指令,以使控制中心根据阻断指令不响应业务办理装置发送的业务确认提交信息,直至终端检测业务人员完成辅助行为之后,即根据上述相对位置确定业务人员在客户操作业务办理装置的阶段不存在预设的辅助行为,向控制中心发送接受指令,以使控制中心根据该接受指令响应业务办理装置发送的业务确认提交信息。
68.其中,确定业务人员是否在客户操作业务办理装置的阶段存在预设的辅助行为的判断机制可参考上述违规行为的判断机制。
69.本技术实施例公开了一种行为检测方法,该方法包括:在当前业务场景中若处于客户操作业务办理装置的阶段,则获取拍摄范围包括业务办理装置的视频;根据视频进行人手识别,确定视频中业务场景的业务人员的目标人手位置;根据视频识别业务办理装置在视频中的装置位置;计算相同视频帧中目标人手位置和装置位置的相对位置;根据相对位置确定业务人员是否在客户操作业务办理装置的阶段存在预设的违规行为,以此,可以提高对业务人员的违规行为的检测效率。
70.为便于更好的实施本技术实施例提供的行为检测方法,本技术实施例还提供一种基于上述行为检测方法的行为检测装置。其中名词的含义与上述行为检测方法中相同,具体实现细节可以参考方法实施例中的说明。
71.请参阅图2,图2为本技术实施例提供的一种行为检测装置的结构框图,该装置包括:视频获取模块201,用于在当前业务场景中若处于客户操作业务办理装置的阶段,则获取拍摄范围包括业务办理装置的视频;位置确定模块202,用于根据视频进行人手识别,确定视频中业务场景的业务人员的目标人手位置;位置识别模块203,用于根据视频识别业务办理装置在视频中的装置位置;计算模块204,用于计算相同视频帧中目标人手位置和装置位置的相对位置;行为确定模块205,用于根据相对位置确定业务人员是否在客户操作业务办理装置的阶段存在预设的违规行为。
72.在一些实施例中,行为检测装置还包括:人脸识别模块,用于对视频中的人员进行人脸识别,确定业务人员和客户之间的人员相对位置;相应地,位置确定模块202,具体用于:根据视频进行人手识别,确定视频中业务人员和客户之间的人手相对位置;根据视频中业务人员和客户之间的人手相对位置,确定出存在人手相对位置与人员相对位置不匹配现象的连续帧数;
当连续帧数大于预设的帧数阈值时,对视频的当前视频帧中的业务人员进行人体姿态估计,得到业务人员的人体姿态估计结果;基于业务人员的人体姿态估计结果,确定视频中业务场景的业务人员的目标人手位置。
73.在一些实施例中,行为检测装置还包括:人员识别模块,用于对视频中的人员进行检测,确定业务场景的人员数量;相应地,位置确定模块202,具体用于:根据视频进行人手识别,确定视频的当前视频帧中的人手数量;当人手数量与人员数量不匹配时,对视频的当前视频帧中的业务人员进行人体姿态估计,得到业务人员的人体姿态估计结果;基于业务人员的人体姿态估计结果,确定视频中业务场景的业务人员的目标人手位置。
74.在一些实施例中,行为确定模块205,具体用于:当相对位置之间的距离小于第一预设距离时,确定业务人员在客户操作业务办理装置的阶段存在预设的违规行为;当相对位置之间的距离大于第一预设距离,且小于第二预设距离时,获取业务人员对应的人手姿态;若人手姿态符合预设姿态,则确定业务人员在客户操作业务办理装置的阶段存在预设的违规行为。
75.在一些实施例中,行为检测装置还包括:信息识别模块,用于对视频中的声音信息进行识别,得到客户声音信息;意愿识别模块,用于对客户声音信息进行意愿识别,得到客户处于客户操作业务办理装置的阶段时的意愿类别;行为确定模块205,还用于当意愿类别属于求助类别时,确定业务人员在客户操作业务办理装置的阶段不存在预设的违规行为。
76.在一些实施例中,行为检测装置还包括:行为确定模块205,还用于当意愿类别属于求助类别时,根据相对位置确定业务人员是否在客户操作业务办理装置的阶段存在预设的辅助行为;指令发送模块,用于当存在辅助行为时,向控制中心发送阻断指令,以使控制中心根据阻断指令不响应业务办理装置发送的业务确认提交信息。
77.在一些实施例中,行为检测装置还包括:告警模块,用于若业务人员在客户操作业务办理装置的阶段存在预设的违规行为,则通过预设的告警装置对业务人员进行告警提醒。
78.本技术实施例公开了一种行为检测装置,通过视频获取模块201,用于在当前业务场景中若处于客户操作业务办理装置的阶段,则获取拍摄范围包括业务办理装置的视频;位置确定模块202,用于根据视频进行人手识别,确定视频中业务场景的业务人员的目标人手位置;位置识别模块203,用于根据视频识别业务办理装置在视频中的装置位置;计算模块204,用于计算相同视频帧中目标人手位置和装置位置的相对位置;行为确定模块205,用于根据相对位置确定业务人员是否在客户操作业务办理装置的阶段存在预设的违规行为。
以此,提高对业务人员的违规行为的检测效率。
79.相应的,本技术实施例还提供一种计算机设备,该计算机设备可以为终端。如图3所示,图3为本技术实施例提供的计算机设备的结构示意图。该计算机设备300包括有一个或者一个以上处理核心的处理器301、有一个或一个以上计算机可读存储介质的存储器302及存储在存储器302上并可在处理器上运行的计算机程序。其中,处理器301与存储器302电性连接。本领域技术人员可以理解,图中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
80.处理器301是计算机设备300的控制中心,利用各种接口和线路连接整个计算机设备300的各个部分,通过运行或加载存储在存储器302内的软件程序和/或模块,以及调用存储在存储器302内的数据,执行计算机设备300的各种功能和处理数据,从而对计算机设备300进行整体监控。
81.在本技术实施例中,计算机设备300中的处理器301会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器302中,并由处理器301来运行存储在存储器302中的应用程序,从而实现各种功能:在当前业务场景中若处于客户操作业务办理装置的阶段,则获取拍摄范围包括业务办理装置的视频;根据视频进行人手识别,确定视频中业务场景的业务人员的目标人手位置;根据视频识别业务办理装置在视频中的装置位置;计算相同视频帧中目标人手位置和装置位置的相对位置;根据相对位置确定业务人员是否在客户操作业务办理装置的阶段存在预设的违规行为。
82.以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
83.可选的,如图3所示,计算机设备300还包括:触控显示屏303、射频电路304、音频电路305、输入单元306以及电源307。其中,处理器301分别与触控显示屏303、射频电路304、音频电路305、输入单元306以及电源307电性连接。本领域技术人员可以理解,图3中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
84.触控显示屏303可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏303可以包括显示面板和触控面板。其中,显示面板可用于显示由用户输入的消息或提供给用户的消息以及计算机设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的,可以采用液晶显示器(lcd,liquid cryst客户端账户l displ客户端账户y)、有机发光二极管(oled,org客户端账户nic light-emitting diode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并生成相应的操作指令,且操作指令执行对应程序。可选的,触控面板可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸消息,并将它转换成触点坐标,再送给处理器301,并能接收处理器301发来的命令并加以执行。触控面板可覆盖显示面板,当触控面板检测到在其上或附近的触摸操作后,传
送给处理器301以确定触摸事件的类型,随后处理器301根据触摸事件的类型在显示面板上提供相应的视觉输出。在本技术实施例中,可以将触控面板与显示面板集成到触控显示屏303而实现输入和输出功能。但是在某些实施例中,触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏303也可以作为输入单元306的一部分实现输入功能。
85.射频电路304可用于收发射频信号,以通过无线通信与网络设备或其他计算机设备建立无线通讯,与网络设备或其他计算机设备之间收发信号。
86.音频电路305可以用于通过扬声器、传声器提供用户与计算机设备之间的音频接口。音频电路305可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路305接收后转换为音频数据,再将音频数据输出处理器301处理后,经射频电路304以发送给比如另一计算机设备,或者将音频数据输出至存储器302以便进一步处理。音频电路305还可能包括耳塞插孔,以提供外设耳机与计算机设备的通信。
87.输入单元306可用于接收输入的数字、字符消息或用户特征消息(例如指纹、虹膜、面部消息等),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
88.电源307用于给计算机设备300的各个部件供电。可选的,电源307可以通过电源管理系统与处理器301逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源307还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
89.尽管图3中未示出,计算机设备300还可以包括摄像头、传感器、无线保真模块、蓝牙模块等,在此不再赘述。
90.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
91.由上可知,本实施例提供的计算机设备,通过在当前业务场景中若处于客户操作业务办理装置的阶段,则获取拍摄范围包括业务办理装置的视频;根据视频进行人手识别,确定视频中业务场景的业务人员的目标人手位置;根据视频识别业务办理装置在视频中的装置位置;计算相同视频帧中目标人手位置和装置位置的相对位置;根据相对位置确定业务人员是否在客户操作业务办理装置的阶段存在预设的违规行为。
92.本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
93.为此,本技术实施例提供一种计算机可读存储介质,其中存储有多条计算机程序,该计算机程序能够被处理器进行加载,以执行本技术实施例所提供的任一种行为检测方法中的步骤。例如,该计算机程序可以执行如下步骤:在当前业务场景中若处于客户操作业务办理装置的阶段,则获取拍摄范围包括业务办理装置的视频;根据视频进行人手识别,确定视频中业务场景的业务人员的目标人手位置;根据视频识别业务办理装置在视频中的装置位置;
计算相同视频帧中目标人手位置和装置位置的相对位置;根据相对位置确定业务人员是否在客户操作业务办理装置的阶段存在预设的违规行为。
94.以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
95.其中,该存储介质可以包括:只读存储器(rom,re客户端账户d only memory)、随机存取记忆体(r客户端账户m,r客户端账户ndom客户端账户ccess memory)、磁盘或光盘等。
96.由于该存储介质中所存储的计算机程序,可以执行本技术实施例所提供的任一种行为检测方法中的步骤,因此,可以实现本技术实施例所提供的任一种行为检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
97.以上对本技术实施例所提供的一种行为检测方法、装置、存储介质及计算机设备进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1