行为检测方法、装置和系统与流程

1.本公开涉及人工智能领域，特别涉及一种基于视频的行为检测方法、装置和系统。


背景技术：

2.在一些业务中，需要检测对象是否发生预设行为，例如，检测行人是否摔倒。在一些相关技术中，可以利用被看护对象佩戴的传感器的传感数据检测摔倒行为。


技术实现要素：

3.发明人发现，相关技术需要检测对象佩戴额外设备(如传感器)才能检测是否发生预设行为，有一定的使用局限性。
4.本公开利用多个训练视频及其对应的预设行为是否发生的标注信息对循环神经网络进行训练得到预设行为检测模型，然后获取待检测视频的待检测视频帧序列，根据每个待检测视频帧中相应检测对象的待检测骨骼关键点坐标，确定待检测视频帧序列相应检测对象的骨骼关键点坐标序列，将检测对象的骨骼关键点坐标序列输入预设行为检测模型并输出检测对象的预设行为是否发生的检测结果，不需要检测对象佩戴额外设备，使用范围更广。
5.本公开的一些实施例提出一种行为检测方法，包括：
6.获取待检测视频的待检测视频帧序列；
7.根据每个待检测视频帧中相应检测对象的待检测骨骼关键点坐标，确定待检测视频帧序列相应检测对象的骨骼关键点坐标序列；
8.将检测对象的骨骼关键点坐标序列输入预设行为检测模型并输出检测对象的预设行为是否发生的检测结果，所述预设行为检测模型利用多个训练视频及其对应的预设行为是否发生的标注信息对循环神经网络进行训练得到，所述多个训练视频包括预设行为训练视频和非预设行为训练视频。
9.在一些实施例中，所述预设行为检测模型的训练方法包括：
10.针对每个训练视频，获取训练视频的训练视频帧序列，根据每个训练视频帧中相应训练对象的骨骼关键点坐标，确定训练视频帧序列相应训练对象的骨骼关键点坐标序列，并将训练对象的骨骼关键点坐标序列输入循环神经网络并输出训练对象的预设行为是否发生的检测结果；
11.当所述多个训练视频的预设行为是否发生的检测结果与其预设行为是否发生的标注信息的匹配程度符合预设条件时，停止训练，将训练完成的循环神经网络作为预设行为检测模型。
12.在一些实施例中，骨骼关键点坐标的获取方法包括：将视频帧输入骨骼关键点检测模型并输出相应的骨骼关键点坐标，所述骨骼关键点检测模型利用多个视频帧及其对应的骨骼关键点的标注信息对卷积神经网络进行训练得到。
13.在一些实施例中，所述预设行为包括摔倒行为，相应的所述多个训练视频包括摔
倒行为训练视频和非摔倒行为训练视频。
14.在一些实施例中，骨骼关键点包括头、颈、肩、肘、手、臀、膝、以及脚。
15.本公开的一些实施例提出一种行为检测装置，包括：
16.视频帧序列获取模块，被配置为获取待检测视频的待检测视频帧序列；
17.骨骼关键点坐标序列确定模块，被配置为根据每个待检测视频帧中相应检测对象的待检测骨骼关键点坐标，确定待检测视频帧序列相应检测对象的骨骼关键点坐标序列；
18.预设行为检测模块，被配置为将检测对象的骨骼关键点坐标序列输入预设行为检测模型并输出检测对象的预设行为是否发生的检测结果，所述预设行为检测模型利用多个训练视频及其对应的预设行为是否发生的标注信息对循环神经网络进行训练得到，所述多个训练视频包括预设行为训练视频和非预设行为训练视频。
19.在一些实施例中，还包括：预设行为检测模型训练模块，被配置为：
20.针对每个训练视频，获取训练视频的训练视频帧序列，根据每个训练视频帧中相应训练对象的骨骼关键点坐标，确定训练视频帧序列相应训练对象的骨骼关键点坐标序列，并将训练对象的骨骼关键点坐标序列输入循环神经网络并输出训练对象的预设行为是否发生的检测结果；
21.当所述多个训练视频的预设行为是否发生的检测结果与其预设行为是否发生的标注信息的匹配程度符合预设条件时，停止训练，将训练完成的循环神经网络作为预设行为检测模型。
22.在一些实施例中，还包括：骨骼关键点坐标确定模块，被配置为将视频帧输入骨骼关键点检测模型并输出相应的骨骼关键点坐标，所述骨骼关键点检测模型利用多个视频帧及其对应的骨骼关键点的标注信息对卷积神经网络进行训练得到。
23.本公开的一些实施例提出一种行为检测装置，包括：
24.存储器；以及
25.耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行任一个实施例所述的行为检测方法。
26.本公开的一些实施例提出一种行为检测系统，包括：
27.摄像装置，
28.以及
29.对所述摄像装置形成的视频进行行为检测的任一个实施例所述的行为检测装置。
30.本公开的一些实施例提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一个实施例所述的行为检测方法的步骤。
附图说明
31.下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开，
32.显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
33.图1为本公开一些实施例中基于骨骼关键点检测模型(如训练完成的cnn)生成人体的骨骼关键点坐标序列的示意图。
34.图2为本公开一些实施例中基于训练对象的骨骼关键点坐标序列对循环神经网络进行训练的示意图。
35.图3为本公开一些实施例的行为检测方法的流程示意图。
36.图4为本公开一些实施例的摔倒行为检测方法的流程示意图。
37.图5为本公开一些实施例的行为检测装置的结构示意图。
38.图6为本公开一些实施例的行为检测装置的结构示意图。
39.图7为本公开一些实施例的行为检测系统的结构示意图。
具体实施方式
40.下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
41.本公开的预设行为(如摔倒行为)检测是检测对象(如行人)的骨骼关键点，利用预设行为检测模型，结合行人的一系列动作行为，判断预设行为是否发生(如行人是否摔倒)的检测方法。预设行为检测模型采用训练完成的循环神经网络(recurrent neural network，rnn)。循环神经网络是一类以序列数据为输入，在序列的演进方向进行递归(recursion)且所有节点(也即循环单元)按链式连接的递归神经网络(recursive neural network)。行人的一系列动作行为组成一个序列数据。由于循环神经网络具有记忆性，循环单元之间参数共享，可以很好地学习序列数据的特征，因此，在对行人进行骨骼关键点检测的基础上，采用循环神经网络基于行人的一系列动作行为进行预设行为(如摔倒行为)检测，可以提高预设行为检测的准确性，并且不需要检测对象佩戴额外设备，使用范围更广。
42.本公开提出一种骨骼关键点检测模型的确定方法，该方法包括：利用多个视频帧及其对应的骨骼关键点的标注信息对卷积神经网络(convolutional neural networks，cnn)进行训练，即将多个视频帧及其对应的骨骼关键点的标注信息输入循环神经网络并输出相关对象的骨骼关键点的检测信息，当多个视频帧的骨骼关键点的检测信息与骨骼关键点的标注信息的匹配程度符合预设条件时，停止训练，将训练完成的卷积神经网络作为骨骼关键点检测模型。其中，骨骼关键点包括头、颈、肩、肘、手、臀、膝、以及脚等。
43.卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(feedforward neural networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)。
44.本公开提出一种预设行为检测模型的确定方法，该方法包括：
45.获取多个训练视频，多个训练视频包括预设行为训练视频和非预设行为训练视频；
46.针对每个训练视频，获取训练视频的训练视频帧序列，根据每个训练视频帧中相应训练对象的骨骼关键点坐标，确定训练视频帧序列相应训练对象的骨骼关键点坐标序列(如图1所所示)；
47.然后将训练对象的骨骼关键点坐标序列输入循环神经网络(如图2所示)，并输出训练对象的预设行为是否发生的检测结果；
48.当多个训练视频的预设行为是否发生的检测结果与其预设行为是否发生的标注
信息的匹配程度符合预设条件时，停止训练，将训练完成的循环神经网络作为预设行为检测模型。
49.图1为本公开一些实施例中基于骨骼关键点检测模型(如训练完成的cnn)生成人体的骨骼关键点坐标序列的示意图。如图1所示，输入含有相关对象的视频帧序列到cnn，cnn输出该相关对象的骨骼关键点(如头、颈、肩、肘、手、臀、膝、以及脚等)序列。图1中国示例性地示出两组训练视频帧序列，一组是非摔倒行为类型的训练视频帧序列，另一组是摔倒行为类型的训练视频帧序列。实际训练时，每种行为类型的训练视频帧序列通常都有多组。
50.图2为本公开一些实施例中基于训练对象的骨骼关键点坐标序列对循环神经网络进行训练的示意图。如图2所示，将非摔倒行为类型的骨骼关键点坐标序列和摔倒行为类型的骨骼关键点坐标序列输入循环神经网络对其进行训练。
51.基于上述骨骼关键点检测模型以及预设行为检测模型，可以对目标对象进行预设行为检测。
52.图3为本公开一些实施例的行为检测方法的流程示意图。
53.如图3所示，该实施例的行为检测方法包括：
54.在步骤31，获取待检测视频的待检测视频帧序列。
55.其中，视频中的各个帧组成该视频的视频帧序列。
56.在步骤32，根据每个待检测视频帧中相应检测对象的待检测骨骼关键点坐标，确定待检测视频帧序列相应检测对象的骨骼关键点坐标序列。
57.其中，将视频帧输入骨骼关键点检测模型，输出得到相应的骨骼关键点坐标。
58.如前所述，骨骼关键点检测模型利用多个视频帧及其对应的骨骼关键点的标注信息对卷积神经网络进行训练得到。
59.在步骤33，将检测对象的骨骼关键点坐标序列输入预设行为检测模型，并输出检测对象的预设行为是否发生的检测结果。
60.如前所述，预设行为检测模型利用多个训练视频及其对应的预设行为是否发生的标注信息对循环神经网络进行训练得到，多个训练视频包括预设行为训练视频和非预设行为训练视频。
61.其中，预设行为例如包括但不限于摔倒行为，相应的多个训练视频包括摔倒行为训练视频和非摔倒行为训练视频。此外，预设行为还可以是其他行为，例如，坐下行为等，相应的多个训练视频包括坐下行为训练视频和非坐下行为训练视频。
62.图4为本公开一些实施例的摔倒行为检测方法的流程示意图。如图4所示，摔倒行为检测方法包括：待检测视频的待检测视频帧序列输入骨骼关键点检测模型(如训练完成的cnn)，输出得到相应检测对象的骨骼关键点坐标序列；将检测对象的骨骼关键点坐标序列输入摔倒行为检测模型(如训练完成的rnn)，输出得到检测对象的摔倒行为是否发生的检测结果，如输出未摔倒的检测结果。
63.图5为本公开一些实施例的行为检测装置的结构示意图。
64.如图5所示，该实施例的行为检测装置50包括：
65.视频帧序列获取模块51，被配置为获取待检测视频的待检测视频帧序列；
66.骨骼关键点坐标序列确定模块52，被配置为根据每个待检测视频帧中相应检测对
象的待检测骨骼关键点坐标，确定待检测视频帧序列相应检测对象的骨骼关键点坐标序列；
67.预设行为检测模块53，被配置为将检测对象的骨骼关键点坐标序列输入预设行为检测模型并输出检测对象的预设行为是否发生的检测结果，所述预设行为检测模型利用多个训练视频及其对应的预设行为是否发生的标注信息对循环神经网络进行训练得到，所述多个训练视频包括预设行为训练视频和非预设行为训练视频。
68.在一些实施例中，行为检测装置50还包括：预设行为检测模型训练模块54，被配置为：针对每个训练视频，获取训练视频的训练视频帧序列，根据每个训练视频帧中相应训练对象的骨骼关键点坐标，确定训练视频帧序列相应训练对象的骨骼关键点坐标序列，并将训练对象的骨骼关键点坐标序列输入循环神经网络并输出训练对象的预设行为是否发生的检测结果；当所述多个训练视频的预设行为是否发生的检测结果与其预设行为是否发生的标注信息的匹配程度符合预设条件时，停止训练，将训练完成的循环神经网络作为预设行为检测模型。
69.在一些实施例中，行为检测装置50还包括：骨骼关键点坐标确定模块55，被配置为将视频帧输入骨骼关键点检测模型并输出相应的骨骼关键点坐标，所述骨骼关键点检测模型利用多个视频帧及其对应的骨骼关键点的标注信息对卷积神经网络进行训练得到。
70.图6为本公开一些实施例的行为检测装置的结构示意图。
71.如图6所示，该实施例的行为检测装置60包括：
72.存储器61；以及
73.耦接至所述存储器61的处理器62，所述处理器62被配置为基于存储在所述存储器中的指令，执行任一个实施例的行为检测方法。
74.其中，存储器61例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(boot loader)以及其他程序等。
75.图7为本公开一些实施例的行为检测系统的结构示意图。
76.如图7所示，该实施例的行为检测系统70包括：
77.摄像装置71，
78.以及
79.对摄像装置71形成的视频进行行为检测的行为检测装置50，60。
80.本公开还提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一个实施例的行为检测方法的步骤。
81.本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
82.本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以
产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
83.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
84.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
85.以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。