基于动作识别的异常行为监管方法、装置及存储介质与流程

1.本发明涉及人员监控技术领域，具体涉及基于动作识别的异常行为监管方法、装置及存储介质。


背景技术：

2.随着社会的发展和城市智能化的推进，视频监控的应用也越来越普及，逐渐被应用到家庭、商场、交通路口、银行、车站和学校等场所，以保障所监管区域中人员的人身与财产安全。
3.对监管区域进行视频监控的主要目的之一是利用相关视频对监管区域中发生的事件进行实时展现及事后的追溯查看，确定所监管区域中的人员是否存在异常行为。目前，对监管区域的监控视频大都还是通过人工值守的方式进行实时异常监管，并通过回溯查看来追溯异常，这样的方式监管效率极低，且非常容易出现监管不到位的情况。
4.随着机器视觉技术的发展，针对监控视频开始出现相应的异常行为智能检测技术，以在监控视频内发现异常行为时及时给出提示信息。但是目前常用的异常行为检测主要为越界、入侵禁区的行为检测，检测准确率较，且无法对人员异常动作进行检测。而在一些特定的场合需要对人员的行为动作进行异常检测，如搬家时，需要对搬家人员的动作进行检测，以判断是否有盗窃、破坏财务的行为。在这样的需求下，现有技术还无法满足要求。


技术实现要素：

5.针对现有技术存在的不足，本发明提供了基于动作识别的异常行为监管方法、装置及存储介质，其应用时，可以替代人工监测方式，高效监测到人员在目标场景下的异常行为，并及时发出相应预警提示信息。
6.第一方面，本发明提供基于动作识别的异常行为监管方法，包括：
7.获取目标人员在目标场景下的监控视频流；
8.将监控视频流逐帧输入异常行为检测神经网络模型，通过异常行为检测神经网络模型对目标人员在目标场景下的动作进行识别检测，并输出检测结果；
9.根据检测结果判定目标人员在目标场景下是否有异常行为；
10.在判定目标人员在目标场景下有异常行为时，根据检测结果确定异常行为开始帧及异常行为结束帧，并截取从异常行为开始帧到异常行为结束帧的监控视频作为异常行为视频；
11.生成异常行为预警指令，并将异常行为预警指令与异常行为视频同步发送至客户移动终端。
12.基于上述发明内容，通过将目标人员在目标场景下的监控视频流输入相应的异常行为检测神经网络模型，然后通过异常行为检测神经网络模型来对监控视频进行动作识别检测，以智能、高效地检测出目标人员是否有异常行为，在检测到目标人员有异常行为时，截取异常行为从开始到结束的监控视频作为异常行为视频，通过生成异常行为预警指令来
与异常行为视频同步发送至客户移动终端，便于客户自行查看并做出应对。通过这样的方法可以替代人工监测方式，高效监测到人员在目标场景下的异常行为，并及时发出相应预警提示信息。
13.在一个可能的设计中，所述异常行为检测神经网络模型采用vgg深度神经网络模型，其损失函数采用交叉熵损失函数。
14.在一个可能的设计中，所述方法还包括对异常行为检测神经网络模型进行训练，训练过程包括：
15.获取目标场景下的人员异常行为动作训练样本；
16.对训练样本进行图像预处理，调整图像大小；
17.将预处理后的训练样本输入异常行为检测神经网络模型进行训练，直至异常行为检测神经网络模型对目标场景下的人员异常行为动作检测准确率达到第一设定阈值，召回率达到第二设定阈值。
18.在一个可能的设计中，所述将预处理后的训练样本输入异常行为检测神经网络模型进行训练，包括：采用批量梯度下降算法和反向传播算法训练异常行为检测神经网络模型。
19.在一个可能的设计中，所述异常行为检测神经网络模型对目标人员在目标场景下的动作进行识别检测过程包括：
20.对帧图像进行特征提取，获得目标人员的关节点及关节点对应的图像坐标；
21.根据关节点对应的图像坐标计算各关节点之间的距离；
22.计算相邻帧图像相同关节点之间的位移差，以及各关节点之间的距离变化值；
23.根据相邻帧图像相同关节点之间的位移差以及各关节点之间的距离变化值判定目标人员的动作是否为异常行为。
24.在一个可能的设计中，所述获取目标人员在目标场景下的监控视频流，包括：
25.接收客户移动终端发送的目标人员在目标场景下的原始监控视频；
26.对原始监控视频进行关键帧提取；
27.将提取出的关键帧按时间顺序整合成监控视频流。
28.在一个可能的设计中，所述将异常行为预警指令与异常行为视频同步发送至客户移动终端，包括：
29.将异常行为视频进行密钥加密，生成加密视频包；
30.将预警指令转换成二进制代码，并以转换后的二进制代码命名加密视频包；
31.将命名后的加密视频包通过加密通道传输至客户移动终端。
32.第二方面，本发明提供基于动作识别的异常行为监管装置，包括：
33.获取单元，用于获取目标人员在目标场景下的监控视频流；
34.检测单元，用于将监控视频流逐帧输入异常行为检测神经网络模型，通过异常行为检测神经网络模型对目标人员在目标场景下的动作进行识别检测，并输出检测结果；
35.判定单元，根据检测结果判定目标人员在目标场景下是否有异常行为；
36.截取单元，用于在判定目标人员在目标场景下有异常行为时，根据检测结果确定异常行为开始帧及异常行为结束帧，并截取从异常行为开始帧到异常行为结束帧的监控视频作为异常行为视频；
37.发送单元，用于生成异常行为预警指令，并将异常行为预警指令与异常行为视频同步发送至客户移动终端。
38.第三方面，本发明提供基于动作识别的异常行为监管装置，所述装置包括：
39.存储器，用于存储指令；
40.处理器，用于读取所述存储器中存储的指令，并根据指令执行上述第一方面中任意一种所述的方法。
41.第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行上述第一方面中任意一种所述的方法。
42.第五方面，本发明提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行上述第一方面中任意一种所述的方法。
43.本发明的有益效果为：
44.本发明通过将目标人员在目标场景下的监控视频流输入相应的异常行为检测神经网络模型，然后通过异常行为检测神经网络模型来对监控视频进行动作识别检测，以智能、高效地检测出目标人员是否有异常行为，在检测到目标人员有异常行为时，截取异常行为从开始到结束的监控视频作为异常行为视频，通过生成异常行为预警指令来与异常行为视频同步发送至客户移动终端，便于客户自行查看并做出应对。通过这样的方法可以替代人工监测方式，高效监测到人员在目标场景下的异常行为，并及时发出相应预警提示信息。
附图说明
45.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1为本发明的方法流程示意图；
47.图2为本发明第一种装置的结构示意图；
48.图3为本发明第二种装置的结构示意图。
具体实施方式
49.下面结合附图及具体实施例对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
50.应当理解，术语第一、第二等仅用于区分描述，而不能理解为指示或暗示相对重要性。尽管本文可以使用术语第一、第二等等来描述各种单元，这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元，并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
51.应当理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，单独存在b，同时存在a和b三种情况，
本文中术语“/和”是描述另一种关联对象关系，表示可以存在两种关系，例如，a/和b，可以表示：单独存在a，单独存在a和b两种情况，另外，本文中字符“/”，一般表示前后关联对象是一种“或”关系。
52.应当理解，在本发明的描述中，术语“上”、“竖直”、“内”、“外”等指示的方位或位置关系，是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
53.应当理解，当将单元称作与另一个单元“连接”、“相连”或“耦合”时，它可以与另一个单元直相连接或耦合，或中间单元可以存在。相对地，当将单元称作与另一个单元“直接相连”或“直接耦合”时，不存在中间单元。应当以类似方式来解释用于描述单元之间的关系的其他单词(例如，“在
……
之间”对“直接在
……
之间”，“相邻”对“直接相邻”等等)。
54.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
55.本文使用的术语仅用于描述特定实施例，并且不意在限制本发明的示例实施例。如本文所使用的，单数形式“一”、“一个”以及“该”意在包括复数形式，除非上下文明确指示相反意思。还应当理解术语“包括”、“包括了”、“包含”、和/或“包含了”当在本文中使用时，指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性，并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。
56.还应当注意到在一些备选实施例中，所出现的功能/动作可能与附图出现的顺序不同。例如，取决于所涉及的功能/动作，实际上可以实质上并发地执行，或者有时可以以相反的顺序来执行连续示出的两个图。
57.在下面的描述中提供了特定的细节，以便于对示例实施例的完全理解。然而，本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实施例中，可以不以非必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清楚。
58.实施例1：
59.本实施例提供基于动作识别的异常行为监管方法，如图1所示，包括以下步骤：
60.s101.获取目标人员在目标场景下的监控视频流。
61.具体实施时，可通过客户移动终端来线上发送目标人员在目标场景下的原始监控视频，在接收到客户移动终端发送的原始监控视频后，对原始监控视频进行关键帧提取，再将提取出的关键帧按时间顺序整合成监控视频流。通过对原始监控视频进行关键帧提取，可以减少后续需要处理的帧数，以提高检测效率。
62.s102.将监控视频流逐帧输入异常行为检测神经网络模型，通过异常行为检测神经网络模型对目标人员在目标场景下的动作进行识别检测，并输出检测结果。
63.具体实施时，所述异常行为检测神经网络模型可采用vgg深度神经网络模型，其损失函数采用交叉熵损失函数。vgg深度神经网络模型可选vggnet
‑
16网络结构模型，可输入
224*224像素的rgb图片，共设置八个网络层：第一层使用3*3的卷积核，卷积2次，每次输出64个特征图，并进行最大池化max pooling；第二层使用3*3的卷积核，卷积2次，每次输出128个特征图，并进行最大池化max pooling；第三层使用3*3的卷积核，卷积3次，每次输出256个特征图，并进行最大池化max pooling；第四层使用3*3的卷积核，卷积3次，每次输出512个特征图，并进行最大池化max pooling；第五层使用3*3的卷积核，卷积3次，每次输出512个特征图，并进行最大池化max pooling；第六层、第七层、第八层使用全连接层，分别包含4096、4096、1000个隐层。也就是说，到全连接层只剩下1000个特征值；最后经过softmax激活函数，得到最终结果。
64.在获得异常行为检测神经网络模型后还需要对异常行为检测神经网络模型进行训练，训练过程包括：获取目标场景下的人员异常行为动作训练样本，训练样本包括正样本和负样本，正样本包含若干附带人员异常行为动作的图片或者视频帧，负样本为若干人员正常状态的图片或者视频帧，正负样本比率为一比一。对训练样本进行图像预处理，调整图像大小，截取224*224像素的rgb图像。将预处理后的训练样本输入异常行为检测神经网络模型进行训练，直至异常行为检测神经网络模型对目标场景下的人员异常行为动作检测准确率达到第一设定阈值，召回率达到第二设定阈值；训练过程可采用批量梯度下降算法和反向传播算法训练异常行为检测神经网络模型，批量梯度下降算法和反向传播算法采用整体的训练算法，具体为：(1)随机输入一定数量的训练样本图像；(2)前向传播网络并计算损失函数和误差响应；(3)反向传播网络；(4)更新所有参数；(5)重复步骤(1)
‑
(4)直到损失函数的结果不再下降为止。
65.异常行为检测神经网络模型对目标人员在目标场景下的动作进行识别检测过程包括：对帧图像进行特征提取，获得目标人员的关节点及关节点对应的图像坐标；根据关节点对应的图像坐标计算各关节点之间的距离；计算相邻帧图像相同关节点之间的位移差，以及各关节点之间的距离变化值；根据相邻帧图像相同关节点之间的位移差以及各关节点之间的距离变化值判定目标人员的动作是否为异常行为。
66.s103.根据检测结果判定目标人员在目标场景下是否有异常行为。
67.具体实施时，通过对异常行为检测神经网络模型输出检测结果进行编译解析，就可以直接判定出目标人员在目标场景下是否有异常行为。
68.s104.在判定目标人员在目标场景下有异常行为时，根据检测结果确定异常行为开始帧及异常行为结束帧，并截取从异常行为开始帧到异常行为结束帧的监控视频作为异常行为视频。
69.具体实施时，如果判定目标人员在目标场景下有异常行为，就可以根据解析检测结果确定异常行为开始帧及异常行为结束帧，然后截取从异常行为开始帧到异常行为结束帧的监控视频作为异常行为视频，以供客户查看参考。
70.s105.生成异常行为预警指令，并将异常行为预警指令与异常行为视频同步发送至客户移动终端。
71.具体实施时，将异常行为预警指令与异常行为视频同步发送至客户移动终端的过程包括：将异常行为视频进行密钥加密，生成加密视频包，；将预警指令转换成二进制代码，并以转换后的二进制代码命名加密视频包；将命名后的加密视频包通过加密通道传输至客户移动终端。密钥加密算法可采用对称加密算法，如des、3des、aes、blowfish等；非对称加
密算法，如rsa、dsa、dss、elgamal等；单向加密算法，如md5、sha1、sha224等。
72.实施例2：
73.本实施例提供基于动作识别的异常行为监管装置，如图2所示，包括：
74.获取单元，用于获取目标人员在目标场景下的监控视频流；
75.检测单元，用于将监控视频流逐帧输入异常行为检测神经网络模型，通过异常行为检测神经网络模型对目标人员在目标场景下的动作进行识别检测，并输出检测结果；
76.判定单元，根据检测结果判定目标人员在目标场景下是否有异常行为；
77.截取单元，用于在判定目标人员在目标场景下有异常行为时，根据检测结果确定异常行为开始帧及异常行为结束帧，并截取从异常行为开始帧到异常行为结束帧的监控视频作为异常行为视频；
78.发送单元，用于生成异常行为预警指令，并将异常行为预警指令与异常行为视频同步发送至客户移动终端。
79.实施例3：
80.本实施例提供基于动作识别的异常行为监管装置，如图3所示，包括：
81.存储器，用于存储指令；
82.处理器，用于读取所述存储器中存储的指令，并根据指令执行实施例1中所述的基于动作识别的异常行为监管方法。
83.所述存储器可以但不限于包括随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)、闪存(flash memory)、先进先出存储器(first input first output，fifo)和/或先进后出存储器(first in last out，filo)等；所述处理器可以但不限于包括单片机、arm处理器等。
84.实施例4：
85.本实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行实施例1中所述的基于动作识别的异常行为监管方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(memory stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
86.实施例5：
87.本实施例提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行实施例1中所述的基于动作识别的异常行为监管方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
88.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤，而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
89.本发明是参照实施例的方法和装置的流程图和/或方框图来描述的。应理解可由
计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
90.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
91.本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。