人体动作识别方法、装置、计算机设备和存储介质与流程

1.本发明涉及视频行为识别方法技术领域，尤其涉及一种人体动作识别方法、装置、计算机设备和存储介质。


背景技术：

2.视频行为识别是通过算法来让计算机学会理解人类行为的一类任务，区别于图片分类任务，其主要关注的是在一段时间内的视频帧构成的时空语义上的行为的分类问题。自深度学习在图像领域的蓬勃发展以来，视频行为识别更多的被用于安防监控领域，其本身的算法研究也经历了传统算法到深度学习方法的发展历程。
3.传统算法(idt算法)通过计算前后两帧图像之间的密集(稠密)光流信息，进而计算出一系列的连续视频帧的光流场，再从光流场中得到物体的运动轨迹信息，然后在运动轨迹信息上进一步提取更高层的hog(梯度直方图)、hof(光流直方图)、mbh(运动边界直方图)等特征信息编码，并将这些特征信息编码送进svm(支持向量机)中进行分类训练。该类算法以光流信息为基础，通常计算复杂度较高，且对于长视频片段而言，采样策略成了一个影响算法速度和精度的至关重要的因素，同时由于相机运动带来的背景光流噪音，导致其在实际的工程场景中鲁棒性并不是很理想。
4.相比较于传统基于光流的动作识别算法，基于深度卷积神经网络的动作识别算法借助于卷积神经网络的强大的建模能力，吸收借鉴了传统的光流方法，在对于光流信息的提取上，采用cnn建模方式得到光流信息，进而送进下一个网络进行高级信息抽取分类。常见的基于卷积神经网络的动作识别算法大体可分为两类：一类是基于3d卷积神经网络的算法架构，3d卷积相比于2d卷积，增加了时间维度，其可以直接处理一系列的视频帧序列；另一类是基于2d卷积神经网络的算法架构，该类算法模型架构可分为2d+1d的3d卷积分解架构和双流网络架构，前者将3d卷积分解为空间上的2d卷积和时间维度上的1d卷积，后者网络的输入有两个分支，一个是图像序列输入分支，该分支主要提取空间信息，另一个分支则是光流序列输入，主要提取帧序列时空信息，两个分支最后进行特征级别融合送进分类器进行分类。
5.无论是3d卷积架构还是2d卷积双流架构，光流的计算均依赖于提前训练的神经网络，由于数据缺陷原因(训练数据的背景单一原因，其对于复杂背景以及噪声较大情况下，光流的提取并不是很理想)，光流提取并不能针对特定场景进行适配，即光流提取器很难进行工程场景适配。同时，上述方案大多是基于rgb-d(rgb图像-深度图像)或者rgb数据输入模式，rgb-d数据域到tof相机的ir-d(近红外图像-深度图像)数据域迁移存在大量的不确定因素，不利于工程实践应用。此外，目前还没有一个基于tof的完整算法框架实现。
6.为此，本技术人经过有益的探索和研究，找到了解决上述问题的方法，下面将要介绍的技术方案便是在这种背景下产生的。


技术实现要素：

7.本发明所要解决的技术问题之一在于：针对现有技术的不足而提供一种提高工程场景适配性能、降低光流计算误差扰动、提高识别精度的人体动作识别方法。
8.本发明所要解决的技术问题之二在于：提供一种实现上述人体动作识别方法的装置。
9.本发明所要解决的技术问题之三在于：提供一种实现上述人体动作识别方法的计算机设备。
10.本发明所要解决的技术问题之四在于：提供一种实现上述人体动作识别方法的计算机可读存储介质。
11.作为本发明第一方面的一种人体动作识别方法，包括：
12.从tof设备模组或tof视频中获取含有深度图像和近红外图像的视频流；
13.对获取到的视频流进行离散采样处理，并对离散采样处理得到的图像数据进行缓存；
14.对缓存内的图像数据进行检测，并将符合检测要求的图像数据进行空间计算处理和数据打包处理，得到场景空间信息、深度图像数据包和近红外图像数据包；
15.对所述深度图像数据包进行无监督聚类处理，得到背景遮罩序列，并根据背景遮罩序列分别对所述深度图像数据数据包、近红外图像数据包进行除背景处理，得到去除背景的深度图像序列和近红外图像序列；
16.分别对所述深度图像序列、近红外图像序列进行时间顺序配对处理，得到深度图像配对序列、近红外图像配对序列，并将深度图像配对序列和近红外图像配对序列进行拼接后提取光流信息；
17.将所述光流信息进行时空特征表示处理，得到时空特征表示信息；以及
18.将所述时空特征表示信息与场景空间信息进行拼接后计算类别分数激活结果，并根据类别分数激活结果得到当前采样批次的动作识别分类结果。
19.在本发明的一个优选实施例中，所述对获取到的视频流进行离散采样处理，并对离散采样处理得到的图像数据进行缓存，包括：
20.通过第一图像采集器、第二图像采集器分别对获取到的视频流进行离散采样处理，所述第一图像采样器的采样步长为l1，所述第二图像采样器的采样步长为l2，l1＞l2且l1、l2为整数；
21.分别对所述第一图像采集器、第二图像采集器所采集到的图像数据进行取均值和方差处理；以及
22.将处理后的图像数据分别存入第一数据缓存器、第二数据缓存器进行缓存。
23.在本发明的一个优选实施例中，所述对缓存内的图像数据进行检测，并将符合检测要求的图像数据进行空间计算处理和数据打包处理，得到场景空间信息、深度图像数据包和近红外图像数据包，包括：
24.判断所述第一数据缓存器内的大小是否大于等于n，n≥2且为整数，若判断为是，则从所述第一数据缓存器内取出n个第一ir-d图像数据，并将所述第一数据缓存器内的大小设置为0；
25.判断所述第二数据缓存器内的大小是否大于等于(n-1)l1/l2，(n-1)l1/l2为整数，
若判断为是，则从所述第二数据缓存器内取出(n-1)l1/l2个第二ir-d图像数据，并将所述第二数据缓存器内的大小设置为0；
26.获取n个第一ir-d图像数据中的ir图像数据，并对获取到的所有的ir图像数据进行数据打包处理，得到ir图像数据包，再将所述ir图像数据包发送至慢分支网络sscnn进行空间计算处理，得到场景空间信息；
27.获取(n-1)l1/l2个第二ir-d图像数据中的depth图像数据，并对获取到的所有的depth图像数据进行数据打包处理，得到深度图像数据包；以及
28.获取(n-1)l1/l2个第二ir-d图像数据中的ir图像数据，并对获取到的所有的ir图像数据进行数据打包处理，得到近红外图像数据包。
29.在本发明的一个优选实施例中，利用k近邻算法对所述深度图像数据包中的每一张深度图像进行无监督聚类处理，以得到背景遮罩序列。
30.在本发明的一个优选实施例中，所述根据背景遮罩序列分别对所述深度图像数据数据包、近红外图像数据包进行除背景处理，具体为将所述深度图像数据数据包、近红外图像数据包分别与所述背景遮罩序列中对应位置序号的mask值相乘，以得到去除背景的深度图像序列和近红外图像序列。
31.在本发明的一个优选实施例中，所述分别对所述深度图像序列、近红外图像序列进行时间顺序配对处理，具体为分别对所述深度图像序列、近红外图像序列进行时间顺序上的两两配对，以得到深度图像配对序列、近红外图像配对序列。
32.在本发明的一个优选实施例中，通过光流提取器对拼接后的深度图像配对序列和近红外图像配对序列进行光流信息提取处理，以得到光流信息。
33.在本发明的一个优选实施例中，通过快分支光流网络fofcnn对所述光流信息进行时空特征表示处理，以得到时空特征表示信息。
34.在本发明的一个优选实施例中，通过特征融合网络fusionmlp将拼接后的时空特征表示信息和场景空间信息进行类别分数激活计算处理。
35.作为本发明第二方面的一种人体动作识别方法装置，包括：
36.视频流获取模块，所述视频流获取模块用于从tof设备模组或tof视频中获取含有深度图像和近红外图像的视频流；
37.离散采样处理模块，所述离散采样处理模块用于对获取到的视频流进行离散采样处理，并对离散采样处理得到的图像数据进行缓存；
38.图像检测处理模块，所述图像检测处理模块用于对缓存内的图像数据进行检测，并将符合检测要求的图像数据进行空间计算处理和数据打包处理，得到场景空间信息、深度图像数据包和近红外图像数据包；
39.图像背景处理模块，所述图像背景处理模块用于对所述深度图像数据包进行无监督聚类处理，得到背景遮罩序列，并根据背景遮罩序列分别对所述深度图像数据数据包、近红外图像数据包进行除背景处理，得到去除背景的深度图像序列和近红外图像序列；
40.光流信息提取模块，所述光流信息提取模块用于分别对所述深度图像序列、近红外图像序列进行时间顺序配对处理，得到深度图像配对序列、近红外图像配对序列，并将深度图像配对序列和近红外图像配对序列进行拼接后提取光流信息；
41.时空特征表示模块，所述时空特征表示模块用于将所述光流信息进行时空特征表
示处理，得到时空特征表示信息；以及
42.动作识别分类处理模块，所述动作识别分类处理模块用于将所述时空特征表示信息与场景空间信息进行拼接后计算类别分数激活结果，并根据类别分数激活结果得到当前采样批次的动作识别分类结果。
43.作为本发明第三方面的一种用于实现上述人体动作识别方法的计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
44.从tof设备模组或tof视频中获取含有深度图像和近红外图像的视频流；
45.对获取到的视频流进行离散采样处理，并对离散采样处理得到的图像数据进行缓存；
46.对缓存内的图像数据进行检测，并将符合检测要求的图像数据进行空间计算处理和数据打包处理，得到场景空间信息、深度图像数据包和近红外图像数据包；
47.对所述深度图像数据包进行无监督聚类处理，得到背景遮罩序列，并根据背景遮罩序列分别对所述深度图像数据数据包、近红外图像数据包进行除背景处理，得到去除背景的深度图像序列和近红外图像序列；
48.分别对所述深度图像序列、近红外图像序列进行时间顺序配对处理，得到深度图像配对序列、近红外图像配对序列，并将深度图像配对序列和近红外图像配对序列进行拼接后提取光流信息；
49.将所述光流信息进行时空特征表示处理，得到时空特征表示信息；以及
50.将所述时空特征表示信息与场景空间信息进行拼接后计算类别分数激活结果，并根据类别分数激活结果得到当前采样批次的动作识别分类结果。
51.作为本发明第四方面的一种用于实现上述人体动作识别方法的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
52.从tof设备模组或tof视频中获取含有深度图像和近红外图像的视频流；
53.对获取到的视频流进行离散采样处理，并对离散采样处理得到的图像数据进行缓存；
54.对缓存内的图像数据进行检测，并将符合检测要求的图像数据进行空间计算处理和数据打包处理，得到场景空间信息、深度图像数据包和近红外图像数据包；
55.对所述深度图像数据包进行无监督聚类处理，得到背景遮罩序列，并根据背景遮罩序列分别对所述深度图像数据数据包、近红外图像数据包进行除背景处理，得到去除背景的深度图像序列和近红外图像序列；
56.分别对所述深度图像序列、近红外图像序列进行时间顺序配对处理，得到深度图像配对序列、近红外图像配对序列，并将深度图像配对序列和近红外图像配对序列进行拼接后提取光流信息；
57.将所述光流信息进行时空特征表示处理，得到时空特征表示信息；以及
58.将所述时空特征表示信息与场景空间信息进行拼接后计算类别分数激活结果，并根据类别分数激活结果得到当前采样批次的动作识别分类结果。
59.由于采用了如上技术方案，本发明的有益效果在于：
60.1.本发明利用上层任务来监督训练双流分类器和光流提取器，将光流提取器纳入
到双流分类器的训练任务框架中，能得到更为适配工程场景的光流提取器，提高了工程场景适配性能以及稳定鲁棒性；
61.2.利用自监督聚类算法(k近邻)对输入光流提取器的进行聚类，得到背景类mask，进而去除图像序列中的背景元素，能有效地避免相机相对运动以及背景噪声带来的光流计算误差扰动；
62.3.本发明不仅包含ir近红外图像的2d光流信息，还包含了来自深度距离的2d光流信息，深度距离的2d光流信息可以理解为人体在三维空间中z轴的运动轨迹，而ir近红外图像的2d光流信息则可以理解为三维空间中人体在x轴和y轴上的运动轨迹，相比较于rgb-d方案中基于rgb的光流2d信息，能够得到更为全面的人体运动时空信息，提高了动作识别精度。
附图说明
63.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
64.图1是本发明的人体动作识别方法的流程示意图。
65.图2是本发明的人体动作识别方法的一种应用实施例的示意图。
66.图3是本发明实现人体动作识别方法的装置的结构示意图。
67.图4是本发明的计算机设备的内部结构图。
具体实施方式
68.为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
69.参见图1，图中给出的是一种人体动作识别方法，包括以下步骤：
70.步骤s10，从tof设备模组或tof视频中获取含有深度图像和近红外图像的视频流。
71.步骤s20，对获取到的视频流进行离散采样处理，并对离散采样处理得到的图像数据进行缓存。
72.步骤s30，对缓存内的图像数据进行检测，并将符合检测要求的图像数据进行空间计算处理和数据打包处理，得到场景空间信息、深度图像数据包和近红外图像数据包。
73.步骤s40，对深度图像数据包进行无监督聚类处理，得到背景遮罩序列，并根据背景遮罩序列分别对深度图像数据数据包、近红外图像数据包进行除背景处理，得到去除背景的深度图像序列和近红外图像序列。在步骤s40中，利用k近邻算法对深度图像数据包中的每一张深度图像进行无监督聚类处理，以得到背景遮罩序列。根据背景遮罩序列分别对深度图像数据数据包、近红外图像数据包进行除背景处理，具体为将深度图像数据数据包、近红外图像数据包分别与背景遮罩序列中对应位置序号的mask值相乘，以得到去除背景的深度图像序列和近红外图像序列。
74.步骤s50，分别对深度图像序列、近红外图像序列进行时间顺序配对处理，得到深度图像配对序列、近红外图像配对序列，并将深度图像配对序列和近红外图像配对序列进
行拼接后提取光流信息。在步骤s50中，分别对深度图像序列、近红外图像序列进行时间顺序配对处理，具体为分别对深度图像序列、近红外图像序列进行时间顺序上的两两配对，以得到深度图像配对序列、近红外图像配对序列。通过光流提取器对拼接后的深度图像配对序列和近红外图像配对序列进行光流信息提取处理，以得到光流信息。
75.步骤s60，将光流信息进行时空特征表示处理，得到时空特征表示信息。在步骤s60中，通过快分支光流网络fofcnn对光流信息进行时空特征表示处理，以得到时空特征表示信息。
76.步骤s70，将时空特征表示信息与场景空间信息进行拼接后计算类别分数激活结果，并根据类别分数激活结果得到当前采样批次的动作识别分类结果。在步骤s70中，通过特征融合网络fusionmlp将拼接后的时空特征表示信息和场景空间信息进行类别分数激活计算处理。
77.在步骤s20中，对获取到的视频流进行离散采样处理，并对离散采样处理得到的图像数据进行缓存，包括以下步骤：
78.步骤s21，通过第一图像采集器、第二图像采集器分别对获取到的视频流进行离散采样处理；其中，第一图像采样器的采样步长为l1，第二图像采样器的采样步长为l2，l1＞l2且l1、l2为整数。
79.步骤s22，分别对第一图像采集器、第二图像采集器所采集到的图像数据进行取均值和方差处理。
80.步骤s23，将处理后的图像数据分别存入第一数据缓存器、第二数据缓存器进行缓存。
81.在步骤s30中，对缓存内的图像数据进行检测，并将符合检测要求的图像数据进行空间计算处理和数据打包处理，得到场景空间信息、深度图像数据包和近红外图像数据包，包括以下步骤：
82.步骤s31，判断第一数据缓存器内的大小是否大于等于n，n≥2且为整数，若判断为是，则从第一数据缓存器内取出n个第一ir-d图像数据，并将第一数据缓存器内的大小设置为0。
83.步骤s32，判断第二数据缓存器内的大小是否大于等于(n-1)l1/l2，(n-1)l1/l2为整数，若判断为是，则从第二数据缓存器内取出(n-1)l1/l2个第二ir-d图像数据，并将第二数据缓存器内的大小设置为0。
84.步骤s33，获取n个第一ir-d图像数据中的ir图像数据，并对获取到的所有的ir图像数据进行数据打包处理，得到ir图像数据包，再将ir图像数据包发送至慢分支网络sscnn进行空间计算处理，得到场景空间信息。
85.步骤s34，获取(n-1)l1/l2个第二ir-d图像数据中的depth图像数据，并对获取到的所有的depth图像数据进行数据打包处理，得到深度图像数据包。
86.步骤s35，获取(n-1)l1/l2个第二ir-d图像数据中的ir图像数据，并对获取到的所有的ir图像数据进行数据打包处理，得到近红外图像数据包。
87.参见图2，图中给出的是本发明的人体动作识别方法的一种应用实施例，其是基于tof实现的，包含光流提取器-双流分类器联合训练架构和背景分离联合光流计算方法的实现，具体包括步骤：
88.步骤1，从tof设备模组或者tof视频中获取含有深度图像(depth)和近红外图像(ir)的视频流；
89.步骤2，对获取到的视频流进行离散采样处理，并对离散采样处理得到的图像数据进行缓存。具体地，slow图像采集器的采样步长为16，即每16帧采集一次；fast图像采集器采样步长为2，即每2帧采集一次；每次采集的数据为ir-d数据对；再将图像采集器采集的图像(ir-d)分别进行区均值和方差操作，并将处理后的图像对分别存入slow-stack和fast-stack；
90.步骤3，对缓存的图像数据进行检测，当slow-stack的大小大于等于2(slow采集器采集两次，采集间隔步长为16)时，取出slow-stack中的两对缓存数据(ir-d)，记为irds2，此时slow-stack的size重新置为0；当fast-stack的大小大于等于8(slow采集器采集步长是fast采集器采集步长的8倍，理论上slow采集器采集完2次时，fast采集器已经完成8次采集)时，取出fast-stack中的8对(ir-d)数据,记为irdf8，此时fast-stack的size重新置为0；如果两个数据缓存器(slow-stack/fast-stack)的大小都满足判定条件时，取irds2中的ir数据打包形成一个数据包irs2送进sscnn网络计算空间信息，将得到的空间信息表示记为sso；取irdf8的ir打包形成数据包irf8,同理取irdf8中的depth打包形成数据包df8,此时irf8和df8分别包含8张ir图像和8张depth图像；
91.步骤4，计算背景mask，利用k近邻算法对df8每张图像进行无监督聚类，得到背景mask序列mdf8；将df8和irf8分别与mdf8中对应位置序号的mask值相乘，得到去除背景的深度图序列与近红外序列，并分别记为dmf8和irmf8；
92.步骤5，对irmf8和dmf8分别进行时间顺序上的两两配对(例如：第0帧于第1帧配对，第1帧和第2帧配对等等)得到配对后的序列irp7(ir-ir)和dp7(d-d)(7表示配对数量，8张图像两两配对后有7对图像)，最后将irp7和dp7进行拼接送进oeu光流提取器提取光流信息(oeu光流提取器本质上也是一个cnn网络)，将得到的光流信息记为pof；
93.步骤6，pof送进fofcnn网络得到基于光流的时空特征表示，记为fof；
94.步骤7，将fof和sso拼接送进fusionmlp计算最后的类别分数激活，根据分数激活得到当前采样批次的动作识别分类结果；
95.本发明利用上层任务来监督训练双流分类器和光流提取器，将光流提取器纳入到双流分类器的训练中，能得到更为适配工程场景的光流提取器，提高了工程场景适配性能。
96.本发明利用自监督聚类算法(k近邻)对输入光流提取器的进行聚类，得到背景类mask，进而去除图像序列中的背景元素，能有效避免相机相对运动以及背景噪声带来的光流计算误差扰动。
97.本发明的光流提取器输入不仅包含ir近红外图像的2d光流信息，还包含了来自深度距离的2d光流信息，深度距离的2d光流信息可以理解为人体在三维空间中z轴的运动轨迹，而ir近红外图像的2d光流信息则可以理解为三维空间中人体在x轴和y轴上的运动轨迹，相比较于rgb-d方案中基于rgb的光流2d信息，能够得到更为全面的人体运动时空信息，提高了动作识别精度。
98.参见图3，图中给出的是一种人体动作识别装置，包括视频流获取模块100、离散采样处理模块200、图像检测处理模块300、图像背景处理模块400、光流信息提取模块500、时空特征表示模块600以及动作识别分类处理模块700。
99.视频流获取模块100用于从tof设备模组或tof视频中获取含有深度图像和近红外图像的视频流。
100.离散采样处理模块200用于对获取到的视频流进行离散采样处理，并对离散采样处理得到的图像数据进行缓存。
101.图像检测处理模块300用于对缓存内的图像数据进行检测，并将符合检测要求的图像数据进行空间计算处理和数据打包处理，得到场景空间信息、深度图像数据包和近红外图像数据包。
102.图像背景处理模块400用于对深度图像数据包进行无监督聚类处理，得到背景遮罩序列，并根据背景遮罩序列分别对深度图像数据数据包、近红外图像数据包进行除背景处理，得到去除背景的深度图像序列和近红外图像序列。
103.光流信息提取模块500用于分别对深度图像序列、近红外图像序列进行时间顺序配对处理，得到深度图像配对序列、近红外图像配对序列，并将深度图像配对序列和近红外图像配对序列进行拼接后提取光流信息。
104.时空特征表示模块600用于将光流信息进行时空特征表示处理，得到时空特征表示信息。
105.动作识别分类处理模块700用于将时空特征表示信息与场景空间信息进行拼接后计算类别分数激活结果，并根据类别分数激活结果得到当前采样批次的动作识别分类结果。
106.本发明的人体动作识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
107.本发明还提供了一种用于实现上述人体动作识别方法的计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储用户信息、记录信息和文件等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种上述的人体动作识别方法。
108.本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
109.具体地，本发明的计算机设备包括存储器和处理器，该存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
110.步骤s10，从tof设备模组或tof视频中获取含有深度图像和近红外图像的视频流；
111.步骤s20，对获取到的视频流进行离散采样处理，并对离散采样处理得到的图像数据进行缓存；
112.步骤s30，对缓存内的图像数据进行检测，并将符合检测要求的图像数据进行空间
计算处理和数据打包处理，得到场景空间信息、深度图像数据包和近红外图像数据包；
113.步骤s40，对深度图像数据包进行无监督聚类处理，得到背景遮罩序列，并根据背景遮罩序列分别对深度图像数据数据包、近红外图像数据包进行除背景处理，得到去除背景的深度图像序列和近红外图像序列；
114.步骤s50，分别对深度图像序列、近红外图像序列进行时间顺序配对处理，得到深度图像配对序列、近红外图像配对序列，并将深度图像配对序列和近红外图像配对序列进行拼接后提取光流信息；
115.步骤s60，将光流信息进行时空特征表示处理，得到时空特征表示信息；
116.步骤s70，将时空特征表示信息与场景空间信息进行拼接后计算类别分数激活结果，并根据类别分数激活结果得到当前采样批次的动作识别分类结果。
117.本发明还提供了一种用于实现上述人体动作识别方法的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
118.步骤s10，从tof设备模组或tof视频中获取含有深度图像和近红外图像的视频流；
119.步骤s20，对获取到的视频流进行离散采样处理，并对离散采样处理得到的图像数据进行缓存；
120.步骤s30，对缓存内的图像数据进行检测，并将符合检测要求的图像数据进行空间计算处理和数据打包处理，得到场景空间信息、深度图像数据包和近红外图像数据包；
121.步骤s40，对深度图像数据包进行无监督聚类处理，得到背景遮罩序列，并根据背景遮罩序列分别对深度图像数据数据包、近红外图像数据包进行除背景处理，得到去除背景的深度图像序列和近红外图像序列；
122.步骤s50，分别对深度图像序列、近红外图像序列进行时间顺序配对处理，得到深度图像配对序列、近红外图像配对序列，并将深度图像配对序列和近红外图像配对序列进行拼接后提取光流信息；
123.步骤s60，将光流信息进行时空特征表示处理，得到时空特征表示信息；
124.步骤s70，将时空特征表示信息与场景空间信息进行拼接后计算类别分数激活结果，并根据类别分数激活结果得到当前采样批次的动作识别分类结果。
125.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
126.以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变
化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。