一种自动响应恶性的行为的方法、装置及系统与流程

1.本技术涉及图像识别技术领域，特别是涉及一种自动响应恶性的行为的方法、装置及系统。


背景技术：

2.随着信息化时代的到来，人们对于安全的需求越来越来高，视频监控作为保证人民生命、财产安全的重要手段，在银行、商场等重要场所正发挥着举足轻重的作用。
3.视频监控需要工作人员长时间精神高度集中的观察，以便在视频监控画面中出现恶性的行为时能够及时处理，但是在银行、商场等重要场所，视频监控画面往往是海量的，如果要保证每一个视频监控画面都有工作人员长时间精神高度集中的观察，需要配备众多工作人员，这样会耗费大量人力资源。因此，在实际生活中，大多数场所布置的摄像头仅仅能够起到给人以警示的作用，或者仅可以在恶性的行为发生之后的调查过程中提供线索，而并不能在恶性的行为发生时及时响应，以及时制止恶性的行为的进行并减少人们生命财产损失。如何及时响应恶性的行为的发生，成为亟待解决的问题。


技术实现要素：

4.基于上述问题，本技术提供了一种自动响应恶性的行为的方法、装置及系统，能够在恶性的行为发生时及时响应，以制止恶性的行为的进行并减少人们的生命财产损失。
5.本技术实施例公开了如下技术方案：
6.本技术提供了一种自动响应恶性的行为的方法，包括：
7.获取视频画面；
8.利用yolo模型对所述视频画面中的人体进行框取；
9.利用循环神经网络模型判断框取出的人体是否正在进行恶性的行为；
10.在所述框取出的人体正在进行恶性的行为时，自动响应所述恶性的行为。
11.可选的，所述利用循环神经网络模型判断框取出的人体是否正在进行恶性的行为包括：
12.利用循环神经网络模型根据框取出的人体构建人体各关节点的拓扑结构；
13.根据所述拓扑结构获取人体姿态；
14.根据多帧视频画面中获取到的人体姿态确定人体姿态的变化；
15.根据人体姿态的变化，判断框取出的人体是否正在进行恶性的行为。
16.可选的，所述yolo模型为依据多幅包含人体的视频画面训练而成，用于对人体进行标记框取。
17.可选的，所述循环神经网络模型为自底向上的循环神经网络模型；
18.所述自底向上的循环神经网络模型为依据已完成人体框取以及恶性的行为标记的视频画面训练而成，用于判断视频画面中是否存在恶性的行为。
19.可选的，所述自动响应所述恶性的行为包括以下至少一项：
20.启动警报器、发送信号至安保人员、报警或启动自动灭火系统。
21.本技术提供了一种自动响应恶性的行为的装置，包括：视频获取模块、人体框取模块、判断模块和响应模块；
22.所述视频获取模块，用于获取视频画面；
23.所述人体框取模块，用于利用yolo模型对所述视频画面中的人体进行框取；
24.所述判断模块，用于利用循环神经网络模型判断框取出的人体是否正在进行恶性的行为；
25.所述响应模块，用于在所述框取出的人体正在进行恶性的行为时，自动响应所述恶性的行为。
26.可选的，所述判断模块包括：
27.构建模块，用于利用循环神经网络模型根据框取出的人体构建人体各关节点的拓扑结构；
28.姿态获取模块，用于根据所述拓扑结构获取人体姿态；
29.确定模块，用于根据多帧视频画面中获取到的人体姿态确定人体姿态的变化；
30.姿态判断模块，用于根据人体姿态的变化，判断框取出的人体是否正在进行恶性的行为。
31.可选的，所述yolo模型为依据多幅包含人体的视频画面训练而成，用于对人体进行标记框取。
32.可选的，所述循环神经网络模型为自底向上的循环神经网络模型；
33.所述自底向上的循环神经网络模型为依据已完成人体框取以及恶性的行为标记的视频画面训练而成，用于判断视频画面中是否存在恶性的行为。
34.本技术提供了一种自动响应恶性的行为的系统，包括：视频存储模块、yolo模型、循环神经网络模型、自动响应模块；
35.所述yolo模型从所述视频存储模块中获取视频画面，对所述视频画面中的人体进行框取，将框取后的视频画面发送给所述循环神经网络模型；
36.所述循环神经网络模型判断所述框取后的视频画面中的人体是否正在进行恶性行为；
37.在所述框取出的人体正在进行恶性的行为时，所述自动响应模块自动响应所述恶性的行为。
38.相较于现有技术，本技术具有以下有益效果：
39.本技术通过获取视频画面；利用yolo模型对所述视频画面中的人体进行框取；利用循环神经网络模型判断框取出的人体是否正在进行恶性的行为；在所述框取出的人体正在进行恶性的行为时，自动响应所述恶性的行为。本技术通过训练得到能够框取人体的yolo模型，以及能够在框取出人体的视频画面中判断框取出的人体是否正在进行恶性的行为的循环神经网络模型，综合利用yolo模型以及循环神经网络模型，可以自动检测视频中是否存在恶性的行为，如果存在，则自动响应恶性的行为，从而在恶性的行为发生时及时响应，以制止恶性的行为的进行并减少人们的生命财产损失。
附图说明
40.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
41.图1为本技术实施例提供的一种自动响应恶性的行为的方法流程图；
42.图2为本技术实施例提供的一种利用循环神经网络模型判断框取出的人体是否正在进行恶性的行为的方法流程图；
43.图3为本技术实施例提供的一种自动响应恶性的行为的装置结构示意图；
44.图4为本技术实施例提供的一种自动响应恶性的行为的系统结构示意图。
具体实施方式
45.正如前文描述，目前的视频监控画面需要工作人员长时间精神高度集中的观察，才能在视频监控画面中出现恶性的行为时及时响应，这样会耗费大量人力资源。例如在银行场景中，顾客之间可能会出现言语争执，从而导致斗殴行为的发生，如果没有及时发现并采取相应措施，可能会产生及其恶劣的影响。
46.发明人经过研究，发明了一种自动响应恶性的行为的方法、装置及系统，能够在恶性的行为发生时及时响应，以及时制止恶性的行为的进行并减少人们的生命财产损失。
47.需要说明的是，本技术提供的一种自动响应恶性的行为的方法、装置及系统可用于人工智能领域或金融领域。上述仅为示例，并不对本技术提供的一种自动响应恶性的行为的方法、装置及系统的应用领域进行限定。
48.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
49.方法实施例
50.参见图1，该图为本技术提供的一种自动响应恶性的行为的方法流程图，包括：
51.s101，获取视频画面。
52.在本技术提供的实施例中，对于获取视频画面的方式不进行具体限定，例如可以直接从监控设备获取视频画面，也可以从存储监控设备所拍摄的视频画面的设备获取视频画面，还可以通过网络实时获取视频画面。
53.s102，利用yolo模型对所述视频画面中的人体进行框取。
54.需要说明的是，yolo模型是利用yolo算法所构建的模型，yolo算法是一种高效的图像识别和目标检测算法，能够快速地处理图像从而找到目标物的边界框。
55.利用yolo算法所构建的yolo模型直接对所述视频画面中的人体进行框取的准确性可能不是很高，因此可以依据多幅包含人体的视频画面对所述yolo模型进行训练，可以在所述多幅包含人体的视频画面中对人体进行标记，使yolo模型进行充分学习，并且利用多幅包含人体的视频画面对yolo模型进行训练，直至yolo模型可以准确对视频画面中的人体进行框取，此时的yolo模型能够更准确地对所述视频画面中的人体进行框取。
56.s103，利用循环神经网络模型判断框取出的人体是否正在进行恶性的行为。
57.需要说明的是，在前述步骤s102中，已经利用yolo模型对所述视频画面中的人体进行了框取，所以此时视频画面中的人体已经被框取出来，以便于循环神经网络模型更好地判断人体是否正在进行恶性的行为。
58.需要说明的是，所述恶性的行为可以进行统一设定，也可以根据实际场景进行特殊设定，还可以将二者相结合，部分采用统一设定，部分根据实际场景进行特殊设定。例如，统一设定打人的动作为恶性的行为；当视频画面所拍摄的是加油站周围时，将点火的动作设定为恶性的行为，这是根据实际场景进行的特殊设定。
59.循环神经网络模型为依据循环神经网络构建的模型，循环神经网络是一类以序列数据为输入，在序列的演进方向进行递归却所有节点(循环单元)按链式连接的递归神经网络。利用循环神经网络模型直接判断框取出的人体是否正在进行恶性的行为的准确性可能不是很高，因此可以依据已完成人体框取以及恶性的行为标记的视频画面对所述循环神经网络模型进行训练，经过训练可以得到能够准确判断框取出的人体是否正在进行恶性的行为。在此基础之上，还可以使用自底向上的循环神经网络判断框取出的人体是否正在进行恶性的行为。自底向上算法的运行时间不随人数的增加而线性增加，更有利于实时多人恶性的行为的判断。
60.s104，在所述框取出的人体正在进行恶性的行为时，自动响应所述恶性的行为。
61.需要说明的是，本技术提供的实施例对于如何响应所述恶性的行为不进行限定，例如可以在所述框取出的人体正在进行恶性的行为时，进行报警、发送信号至保安人员、启动警报器或启动自动灭火系统。
62.本技术提供的实施例通过训练得到能够框取人体的yolo模型，以及能够在框取出人体的视频画面中判断框取出的人体是否正在进行恶性的行为的循环神经网络模型，综合利用yolo模型以及循环神经网络模型，可以自动检测视频中是否存在恶性的行为，如果存在，则自动响应恶性的行为，从而在恶性的行为发生时及时响应，以制止恶性的行为的进行并减少人们的生命财产损失。
63.参见图2，该图为本技术实施例提供的一种利用循环神经网络模型判断框取出的人体是否正在进行恶性的行为的方法流程图。
64.s201，利用循环神经网络模型根据框取出的人体构建人体各关节点的拓扑结构。
65.需要说明的是，在已经对视频画面中的人体进行了框取的基础之上，循环神经网络模型可以检测出人体的关节点，也就是骨点，将其连接形成人体的拓扑结构，并且还可以通过图优化的方式对骨点的错误连接进行剔除，从而形成更为准确地拓扑结构。
66.s202，根据所述拓扑结构获取人体姿态。
67.在步骤s201已对人体骨关节点的拓扑结构进行构建的基础上，可以根据所述拓扑结构获取人体姿态。例如可以获取人体目前是站立或是蹲姿，以及手是放下状态或是抬起状态。
68.s203，根据多帧视频画面中获取到的人体姿态确定人体姿态的变化。
69.需要说明的是，在本技术提供的实施例中，所述多帧视频画面为连续的多帧视频画面。在已经获取连续的多帧视频画面中的人体姿态的基础上，可以得到人体姿态在这段时间内发生了何种变化。例如，由蹲姿变为站立、手由放下状态变为抬起状态等。
70.需要说明的是，确定的人体姿态的变化为同一个人体姿态的变化，可以同时确定多个人体姿态的变化。
71.s204，根据人体姿态的变化，判断框取出的人体是否正在进行恶性的行为。
72.具体地，判断框取出的人体是否正在进行恶性的行为需要结合对于恶性的行为的设定以及人体姿态的变化，例如，设定“站起来”这个动作为恶性的行为，那么在人体姿态变化为“站起来”时，则判断框取出的人体正在进行恶性的行为；没有设定“蹲下”这个动作为恶性的行为，那么在人体姿态变化为“蹲下”时，则判断框取出的人体没有进行恶性的行为。
73.需要说明的是，在视频画面中存在多个人体时，可以结合单个人体姿态的变化以及多个人体姿态的变化，判断是否正在进行恶性的行为。例如，设定“打人”为恶性的行为时，如果框取出的人体姿态变化为“挥拳”，但其周围并不存在其他人体，则可以判断框取出的人体没有正在进行恶性的行为，如果周围存在其他人体，其姿态变化为“摔倒”，则可以判断框取出的姿态变化为“挥拳”的人体正在进行恶性的行为。
74.本技术提供的实施例通过结合人体关节点所构建的拓扑结构，获取人体姿态变化，结合对恶性的行为的设定，能够准确判断框取出的人体是否正在进行恶性的行为，从而能够及时响应正在进行的恶性的行为，以制止恶性的行为以及减少人们的生命财产损失。
75.参见图3，该图为本技术实施例提供的一种自动响应恶性的行为的装置结构示意图，包括：视频获取模块301、人体框取模块302、判断模块303、响应模块304。
76.视频获取模块301，用于获取视频画面。
77.人体框取模块302，用于利用yolo模型对所述视频画面中的人体进行框取。
78.判断模块303，用于利用循环神经网络模型判断框取出的人体是否正在进行恶性的行为。
79.响应模块304，用于在所述框取出的人体正在进行恶性的行为时，自动响应所述恶性的行为。
80.可选的，所述判断模块303可以包括：
81.构建模块，用于利用循环神经网络模型根据框取出的人体构建人体各关节点的拓扑结构。
82.姿态获取模块，用于根据所述拓扑结构获取人体姿态。
83.确定模块，用于根据多帧视频画面中获取到的人体姿态确定人体姿态的变化。
84.姿态判断模块，用于根据人体姿态的变化，判断框取出的人体是否正在进行恶性的行为。
85.可选的，所述yolo模型为依据多幅包含人体的视频画面训练而出，用于对人体进行标记框取。
86.可选的，所述循环神经网络模型为自底向上的循环神经网络模型；
87.所述自底向上的循环神经网络模型为依据已完成人体框取以及恶性的行为标记的视频画面训练而成，用于判断视频画面中是否存在恶性的行为。
88.可选的，所述自动响应所述恶性的行为包括：
89.启动警报器、发送信号至安保人员、报警或启动自动灭火系统中的至少一项。
90.本技术实施例提供的一种自动响应恶性的行为的装置，通过训练得到能够框取人体的yolo模型，以及能够在框取出人体的视频画面中判断框取出的人体是否正在进行恶性
的行为的循环神经网络模型，综合利用yolo模型以及循环神经网络模型，可以自动检测视频中是否存在恶性的行为，如果存在，则自动响应恶性的行为，从而在恶性的行为发生时及时响应，以制止恶性的行为的进行并减少人们的生命财产损失。
91.参见图4，该图为本技术实施例提供的一种自动响应恶性的行为的系统，包括：视频存储模块401、yolo模型402、循环神经网络模型403、自动响应模块404；
92.所述yolo模型402从所述视频存储模块401中获取视频画面，对所述视频画面中的人体进行框取，将框取后的视频画面发送给所述循环神经网络模型403；
93.所述循环神经网络模型403判断所述框取后的视频画面中的人体是否正在进行恶性行为；
94.在所述框取出的人体正在进行恶性的行为时，所述自动响应模块404自动响应所述恶性的行为。
95.具体地，所述循环神经网络模型403可以通过以下方式判断所述框取后的视频画面中的人体是否正在进行恶性行为：
96.循环神经网络模型403根据框取出的人体构建人体各关节点的拓扑结构，根据所述拓扑结构获取人体姿态，根据多帧视频画面中获取到的人体姿态确定人体姿态的变化，根据人体姿态的变化，判断框取出的人体是否正在进行恶性的行为。
97.具体地，所述yolo模型402可以依据多幅包含人体的视频画面训练而成，用于对人体进行标记框取；
98.所述循环神经网络模型403可以为自底向上的循环神经网络模型；
99.所述自底向上的循环神经网络模型为依据已完成人体框取以及恶性的行为标记的视频画面训练而成，用于判断视频画面中是否存在恶性的行为。
100.需要说明的是，所述自动响应模块404可以与警报器、安保人员的通信设备、公安系统或自动灭火系统中的任意一项或任意组合相连接，以在正在进行恶性的行为时，及时采取响应措施进行响应，例如正在进行的恶性的行为为点火时，自动响应模块404可以启动警报器、发送信号给安保人员、报警并启动自动灭火系统。
101.本技术实施例提供的一种自动响应恶性的行为的系统，通过训练得到能够框取人体的yolo模型，以及能够在框取出人体的视频画面中判断框取出的人体是否正在进行恶性的行为的循环神经网络模型，综合利用yolo模型以及循环神经网络模型，可以自动检测视频中是否存在恶性的行为，如果存在，则自动响应恶性的行为，从而在恶性的行为发生时及时响应，以制止恶性的行为的进行并减少人们的生命财产损失。
102.需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
103.以上所述，仅为本技术的一种具体实施方式，但本技术的保护范围并不局限于此，
任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。