基于深度映射的人体活动识别特征表达方法
【技术领域】
[0001] 本发明涉及模式识别技术领域，更具体而言，涉及一种基于深度映射的人体活动 识别特征表达方法。 技术背景
[0002] 人体活动理解在运动训练、康复工程、人机工效学、游戏与动画制作、安全监控等 方面得到了广泛应用。人体活动理解的核心技术主要是目标识别算法。目前为止，基于2D彩 色信息和3D深度信息的活动识别算法都取得了一定的成功。但是基于2D彩色信息的算法易 受到光照变化、复杂背景等的挑战，基于3D深度信息的算法受限于深度图噪声和骨骼点提 取的准确性。公布号为CN104091167A、名称为基于体感摄像机的人体活动识别的特征提取 方法的发明专利公开了利用体感摄像机的特征提取方法，但是其LDP生成比较复杂，计算量 比较大，因此，有必要对其进行改进。
【发明内容】
[0003] 为了克服现有技术中所存在的不足，提供一种基于深度映射的人体活动识别特征 表达方法，该方法易于实现，并提升了动作识别的准确性。
[0004] 为了解决上述技术问题，本发明所采用的技术方案为：
[0005] 基于深度映射的人体活动识别特征表达方法，按照以下步骤进行：
[0006] S1:从体感摄像机的彩色图像序列中，提取人体活动时空兴趣点p，其坐标为(X，y， t)；
[0007] S2:以人体活动时空兴趣点p为中心，计算彩色图像序列中光流特征和梯度特征；
[0008] S3:从体感摄像机的深度图像序列中，找到对应的人体活动时空兴趣点p'，并得到 P'的深度值；
[0009] S4:基于高斯混合体模型，根据p'的深度值将p分成N层，构建基于深度映射的多通 道表达，然后对每层的时空兴趣点通过聚类算法聚类，并用词袋模型来表达，得到直方图向 量Hi;
[0010] S5:将每层特征表达连接起来，组成特征S=(a，...，Hi，...，Hn)。
[0011] 所述彩色图像序列中光流特征和梯度特征以及深度值的表达为：设Χ={Χ\ X2,.......，Xm}S所有训练样本，其中={；Γ);Ι?是从训练样本的第m种活动行为中提取 的时空兴趣点特征，则乂1^="^，以，!106，!10?}'其中^^，以山，〇1分别代表三维时空点 (X，y，z )、时间信息和特征尺度空间，HOG、H0F分别为梯度特征直方图和光流特征直方图特 征向量。
[0012] 所述构建基于深度映射的多通道表达的方法为，设Ζι?Ζ^Ζ2,.......，Ze}，其中 = 上式中，Z代表整幅深度图上所有像素点的深度值集合，C代表通道数，即分层 数，z代表每个像素点的深度值;通过高斯混合体模型在所有人体活动动作上建立学习活动 深度信息映射关系，高斯混合体模型的每一部分对应一个活动的深度结构，通过最大期望 算法估计高斯混合体参数，获得高斯混合体的参数后，剔除掉权值非常小的高斯混合体，由 动作深度映射的高斯混合体模型，可以根据时空兴趣点的深度值Z把它分到不同高斯混合 体部分。
[0013]与现有技术相比本发明所具有的有益效果为：
[0014]本发明的特征生成方法同样利用了 H0G/H0F的特征描述，重点通过研究深度图中 所有像素点深度值的分布，利用高斯混合体对其映射，将深度图分层后进行多通道表达，操 作简单，计算量小，可以达到较高的准确率。
[0015] 本发明有效结合彩色信息和深度信息，并利用深度信息，将时空兴趣点在空间上 进行分层处理，避免了骨骼信息不稳定的缺陷，克服了现有深度图像活动特征提取方法不 准确的问题，合成的特征提升了动作识别的准确性和鲁棒性。
【附图说明】
[0016] 下面通过附图对本发明的【具体实施方式】作进一步详细的说明。
[0017] 图1为本发明的流程图。
【具体实施方式】
[0018] 下面实施例结合附图对本发明作进一步的描述。
[0019] 如图1所示，一种基于体感摄像机的人体活动识别的特征表达方法，包括以下步 骤：
[0020] S1:从体感摄像机的彩色图像序列中，提取人体活动时空兴趣点p，其坐标为(x，y， t)；
[0021] S2:以人体活动时空兴趣点p为中心，计算彩色图像序列中光流直方图HOF特征和 梯度直方图H0G特征；
[0022] S3:从体感摄像机的深度图像序列中，找到对应的人体活动时空兴趣点p'，得到p' 的深度值；
[0023] S4:基于高斯混合体模型，根据p'的深度值将p分成N层，构建基于深度映射的多通 道表达，然后对每层的时空兴趣点通过聚类算法聚类，并用词袋模型来表达，得到每层的直 方图Hi;
[0024] S5:将每层特征表达连接起来，组成特征S=(Hi，. . .，Hi，. . .，Hn)。
[0025] 进一步地，所述计算图像序列中光流特征和梯度特征和深度值的表达为，设X = {Χ',χ2,.......，Xm}为所有训练样本，其中是从训练样本的第m种活动行为中 提取的时空兴趣点特征，乂1^=&1^，以，!106，!10?}'其中^^，以山，〇1分别代表三维时空 点（X，y，z)，时间信息和特征尺度空间。H0G/H0F分别为梯度特征直方图和光流特征直方图 特征向量。
[0026] 进一步地，构建基于深度映射的多通道表达的方法为，设Ζζ?Ζ^Ζ2,.......,ZC], 其中= 然后通过高斯混合体模型在所有人体活动动作上建立学习活动深度信息 映射关系：
。其中N(z |uk，〇k)是高斯混合体模型中第k个高斯体， uk，oJPwK表示深度方差，深度均值和高斯混合体模型中的混合权重。具体的说，udPok表示 高斯混合体模型中第k个高斯体的深度位置和方差，WK为权重，用来衡量当前高斯混合体模 型的重要性。高斯混合体模型的每一部分对应一个活动的深度结构。通过最大期望算法估 计高斯混合体参数。设 Ω ={wi，W2,......,WK} ,U= {ui,U2,......,Uk} , Σ ={〇i,〇2,......, σκ}。实验中一般选取K = 8_10。获得高斯混合体的参数后，剔除掉权值非常小的高斯混合 体。由动作深度映射的高斯混合体模型，可以根据时空兴趣点的深度值z把它分到不同高斯 混合体部分。Z的计算方法如下：
[0027]进一步地，设{X^X2,.....，Xe}为训练样本，通过对特征进行无监督聚类，可以学 习得到各种运动下的大小为Μ的码书。定义每个视频剪辑的时空兴趣点特征集合为V={Xl， X2，.......，ΧΝ}，其中Χη = {Xn，yn，ζη，HOG，HOF}τ。在构建码书时，计算ζη与高斯混合体模型中 各高斯体间的距离来指定是一个ΚΧΜ维向量。其中第k(M-l)到(k+l)(M-l)元素 为1，其余元素都为0。通过使用特征池的方法汇总局部时空兴趣点来得到视频每层的直方
图向量： 将每层特征表达连接起来，组成全局直方图特征3=(出，...， 〇 Hi，· · ·，Hn)〇
【主权项】
1. 基于深度映射的人体活动识别特征表达方法，其特征在于，按照W下步骤进行： Sl:从体感摄像机的彩色图像序列中，提取人体活动时空兴趣点P，其坐标为(X，y，t); S2: W人体活动时空兴趣点P为中屯、，计算彩色图像序列中光流特征和梯度特征； S3:从体感摄像机的深度图像序列中，找到对应的人体活动时空兴趣点P'，并得到P'的 深度值； S4:基于高斯混合体模型，根据P '的深度值将P分成N层，构建基于深度映射的多通道表 达，然后对每层的时空兴趣点通过聚类算法聚类，并用词袋模型来表达，得到直方图向量 出； S5:将每层特征表达连接起来，组成特征S=化1，...，出，...，Hn)。2. 根据权利要求1所述的一种基于深度映射的人体活动识别特征表达方法，其特征在 于，所述彩色图像序列中光流特征和梯度特征W及深度值的表达为:设X={Xi，X2,.......， X"}为所有训练样本，其中JT" 告是从训练样本的第m种活动行为中提取的时空兴趣 点特征，则X"= {xi，yi，Zi，册G，册F}T，其中Xi，yi，Zi，ti，Oi分别代表；维时空点（X，y，Z)、时 间信息和特征尺度空间，册G、册F分别为梯度特征直方图和光流特征直方图特征向量。3. 根据权利要求1所述的一种基于深度映射的人体活动识别特征表达方法，其特征在 于，所述构建基于深度映射的多通道表达的方法为：设Z= {Zi ,Z2，.......，ZE}，其中 二括诘,>上式中，Z代表整幅深度图上所有像素点的深度值集合，C代表通道数，即分层 数，Z代表每个像素点的深度值;通过高斯混合体模型在所有人体活动动作上建立学习活动 深度信息映射关系，高斯混合体模型的每一部分对应一个活动的深度结构，通过最大期望 算法估计高斯混合体参数，获得高斯混合体的参数后，剔除掉权值非常小的高斯混合体，由 动作深度映射的高斯混合体模型，可W根据时空兴趣点的深度值Z把它分到不同高斯混合 体部分。
【专利摘要】本发明涉及模式识别技术领域，具体涉及一种基于深度映射的人体活动识别特征表达方法；提供一种基于深度映射的人体活动识别特征表达方法，该方法易于实现，并提升了动作识别的准确性；从体感摄像机的彩色图像序列中，提取人体活动时空兴趣点p，以人体活动时空兴趣点p为中心，计算彩色图像序列中光流特征和梯度特征，从体感摄像机的深度图像序列中，找到对应的人体活动时空兴趣点p’，并得到p’的深度值，基于高斯混合体模型，根据p’的深度值将p分成N层，构建基于深度映射的多通道表达，然后对每层的时空兴趣点通过聚类算法聚类，并用词袋模型来表达，得到直方图向量，将每层特征表达连接起来，组成特征S＝(H1,...,Hi,...,Hn)；本发明主要应用在人体活动识别方面。
【IPC分类】G06K9/46, G06K9/00
【公开号】CN105590096
【申请号】CN201510952118
【发明人】赵润林, 赵洋
【申请人】运城学院
【公开日】2016年5月18日
【申请日】2015年12月18日