基于深度图像序列的人体动作识别的方法及系统的制作方法
【技术领域】
[0001] 本发明属于模式识别技术领域，尤其涉及基于深度图像序列的人体动作识别的方 法及系统。
【背景技术】
[0002] 人体动作识别在现实生活中有着广泛的应用，比如人机交互、视频监控和家庭监 护等。随着成像技术的不断发展，深度摄像头引起越来越多研究人员的关注。与传统的可 见光图像相比，深度图像具有以下的优点：1)提供空间丰富的结构信息；2)在区域分割中 对物体的颜色和纹理特征不敏感；3)对光照变化有很好的鲁棒性，有利于在比较黑暗环境 下的应用。
[0003] 现有基于深度图像的人体动作识别方法主要基于骨骼关节点信息以及三维点云 信息等。骨骼关节点信息可以获得比较高的识别率，但很难适用于人机交互等骨骼信息无 法获取的场合。相比骨骼关节点信息，三维点云信息也可以获得比较高的识别率，而且对噪 声和遮挡问题更加鲁棒。
[0004] 现有技术虽然都可以获得比较高的识别率，但由于所抽取特征的维数较高，在特 征检测方面耗费了大量的时间，从而使得现有技术很难应用到实际当中去。此外，在高维特 征中，数据之间往往包含大量的冗余信息，隐藏了重要关系的相关性，导致无法表达数据真 实内在结构。
【发明内容】
[0005] 鉴于此，本发明实施例提供一种基于深度图像序列的人体动作识别的方法及系 统，以在保证识别精确度的情况下，大幅度缩减算法的时间复杂度。
[0006] 第一方面，本发明实施例提供了一种基于深度图像序列的人体动作识别的方法， 所述方法包括：
[0007] 对所述深度图像序列中的深度图像数据提取四维超曲面法向量；
[0008] 采用局部均值时空立方体对所述四维超曲面法向量进行特征提取；
[0009] 采用稀疏编码对提取的所述特征进行预处理；
[0010] 采用时空金字塔对预处理后的特征进行池化，获得池化后的特征；
[0011] 使用支持向量机对所述池化后的特征进行分类，以识别人体动作。
[0012] 第二方面，本发明实施例提供了一种基于深度图像序列的人体动作识别的系统， 所述系统包括：
[0013] 超曲面法向量提取单元，用于对所述深度图像序列中的深度图像数据提取四维超 曲面法向量；
[0014] 特征提取单元，用于采用局部均值时空立方体对所述四维超曲面法向量进行特征 提取；
[0015] 预处理单元，用于采用稀疏编码对提取的所述特征进行预处理；
[0016] 特征池化单元，用于采用时空金字塔对预处理后的特征进行池化，获得池化后的 特征；
[0017] 分类单元，用于使用支持向量机对所述池化后的特征进行分类，以识别人体动作。
[0018] 本发明实施例与现有技术相比存在的有益效果是：本发明实施例通过局部均值时 空立方体对深度图像中的四维超曲面法向量做特征描述，并通过稀疏编码去除特征中的冗 余向量，通过时空金字塔对冗余处理后的特征进行池化，以获取特征的空间信息和时间信 息。与现有技术相比，本发明实施例可以在保证识别精确度的情况下，大幅度缩减算法的时 间复杂度，具有较强的易用性和实用性。
【附图说明】
[0019] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述 中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些 实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些 附图获得其他的附图。
[0020] 图1是本发明实施例提供的基于深度图像序列的人体动作识别方法的实现流程 示意图；
[0021] 图2是本发明实施例提供的局部时空立方体的示意图；
[0022] 图3是本发明实施例提供的时空金字塔划分的示意图；
[0023] 图4是本发明实施例提供的基于深度图像序列的人体动作识别的示意图；
[0024] 图5是本发明实施例提供的基于深度图像序列的人体动作识别系统的组成结构 示意图。
【具体实施方式】
[0025] 以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具 体细节，以便透切理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体 细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电 路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
[0026] 为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
[0027] 请参阅图1，为本发明实施例提供的基于深度图像序列的人体动作识别方法的实 现流程，该方法可适用于各类终端设备，如个人计算机、平板电脑、手机等。该方法主要包括 以下步骤：
[0028] 步骤S101，对所述深度图像序列中的深度图像数据提取四维超曲面法向量。
[0029] 在本发明实施例中，所述深度图像序列为人体深度图像序列，所述人体深度图像 序列为四维数据，而现有基于三维点云的方法会丢失时间这一维度的信息。
[0030] 对所述深度图像序列中的深度图像数据采用以下公式计算获得四维超曲面法向 量n，
[0032] 其中，（x，y，z)表示第t帧中点数据的坐标，深度图像序列中的每个点数据 (X，y, t, z)满足S(x, y, t, z) = f (X，y, t)-z = 0, S表示四维超曲面，T表示转置。
[0033] 需要说明的是，与现有的三维点云的梯度方向相比，在上式中多出的标量维度 (-1)可以保留物体在时空中的几何信息。
[0034] 在步骤S102中，采用局部均值时空立方体对所述四维超曲面法向量进行特征提 取。
[0035] 具体的可以是，1)对所述四维超曲面法向量提取局部时空立方体；示例性的，该 局部时空立方体的大小为3X3X3,相邻局部时空立方体在时空上有3X3X2个点向量的 重叠区域；
[0036] 对每个所述局部时空立方体中的法向量，分别按行、列、帧三个方向分为三层，如 图2所示；
[0037] 分别对每层的nXm(例如3X3)个法向量求均值，得到局部均值时空立方体的特 征表达，其中n、m均为大于零的整数。示例性的，每个局部均值时空立方体的特征长度为 (3+3+3) X4 = 36。假设深度图像序列分辨率为320X 240,共50帧，则所抽取的均值法向量 的特征维度为 36 X (320-2) X (240-2) X (50-2) = 36X3632832。
[0038] 在步骤S103中，采用稀疏编码对提取的所述特征进行预处理。
[0039] 在本发明实施例中，所述预处理包括冗余处理。
[0040] 具体的可以是，通过以下稀疏编码代价函数对提取的所述特征进行字典学习，获 取字典D e rmxk和相应的稀疏系数a e rkxn:
[0043] 其中，输入样本RMX1属于训练数据集合x = {χ χ2, . . .，XN}，M为输入向量Xi 的长度，N为输入样本的个数，是重构项，λ I I α」I为惩罚项，dk是字典D中的一 个词，K是字典D中词的个数，〇1是α的第i个系数，λ是一个变换量，控制上述公式重 构项和惩罚项的相对重要性；
[0044] 通过以下公式获得输入样本对应的稀疏系数a e RKXP:
[0046] 其中，输入样本y# RMX1属于测试数据集合Y = {y y2, . . .，yp}，M为输入向量y; 的长度，P为输入样本的个数。
[0047] 在步骤S104中，采用时空金字塔对预处理后的特征进行池化，获得池化后的特 征。
[0048] 具体的可以是，依次将总帧数为T的深度图像序列划分为4X3的空间网格Gt，再 将每一个空间网格划分为{FJ，{F2，F3}，{F4，F5，F 6，F7}的三层共七段的时域金字塔，时空金 字塔的划分如图3所示；
[0049] 对落在每个空间网格Gt内的均值法向量采用以下公式进行空间均匀池化：
[0051] 其中，t = 1，2，···，Τ，akl表示a i的第k个词，uk(t)表示第t帧的网