基于体感摄像机的人体活动识别的特征提取方法
【专利摘要】一种基于体感摄像机的人体活动识别的特征提取方法，包括S1：从体感摄像机的彩色图像序列中，提取人体活动时空兴趣点；S2：以兴趣点为中心，计算彩色图像序列中光流直方图特征和梯度直方图特征；S3：从体感摄像机的深度图像序列中，找到对应的人体活动时空兴趣点，以兴趣点为中心，计算局部深度特征；S4：将光流直方图特征、梯度直方图特征和局部深度特征连接起来，组成特征。本发明的有益效果在于，避免了骨骼信息不稳定的缺陷，克服了现有深度图像活动特征提取方法不准确的问题，有效结合彩色信息和深度信息，提取的特征提升了动作识别的准确性和鲁棒性。
【专利说明】基于体感摄像机的人体活动识别的特征提取方法
【技术领域】
[0001] 本发明涉及模式识别【技术领域】，具体而言是一种基于体感摄像机的人体活动识别 的特征提取方法。
【背景技术】
[0002] 人体活动理解在运动训练、康复工程、人机工效学、游戏与动画制作、安全监控等 方面得到了广泛应用。人体活动是人体肢体语言的主要部分，通过身体和四肢活动既可以 表达人的思想实现沟通，也可以反馈身体的健康状态，还可以捕获生物的运动规律。
[0003] 人体活动理解的核心技术主要是目标识别算法。目前为止，理论上的有益探索使 得基于传统2D亮度信息的活动识别算法取得了一定的成功。然而，真实世界的活动仍然受 到多视点、尺度变化、平移变换、外貌变化、光照变化、复杂背景等的挑战。基于RGB图像的 方法在复杂背景中感知人体的关节姿势的形状方面遇到巨大的障碍。当目标颜色和纹理不 一致时，深度信息有别于RGB外貌信息成为人类识别活动的重要线索。其主要原因是深度 信息对于光照和颜色改变较为鲁棒，且表述简单。然而，早期的深度传感器昂贵且由于使用 激光而不便于在人的环境中使用。从2010年起，微软公司提供的商品化、廉价的且便于使 用的Kinect，使得利用3D深度数据直接广泛应用在人体活动识别中成为可能。然而，由于 人体的非刚性、运动方式的多样性、位移的随意性，实时、鲁棒地识别人体仍面临着很多挑 战。
[0004] 现有技术中，基于体感摄像机的动作特征提取主要有两类方法：一类利用体感摄 像机SDK (Software Development Kit,软件开发包）获取骨豁信息作为特征；另外一类从 原始深度图像数据中提取图像特征。前者主要受限于骨架提取的准确性，后者仅利用深度 信息，受限于深度信息的低分辨率和不准确性。
【发明内容】
[0005] 本发明的目的是提供一种基于体感摄像机的人体活动识别的特征提取方法，用于 提升动作识别的准确性和鲁棒性。
[0006] 实现本发明目的的技术方案如下：一种基于体感摄像机的人体活动识别的特征提 取方法，包括
[0007] S1 :从体感摄像机的彩色图像序列中，提取人体活动时空兴趣点p，其坐标为 (χ, y, t)；
[0008] S2 :以人体活动时空兴趣点p为中心，计算彩色图像序列中光流直方图HOF特征和 梯度直方图H0G特征；
[0009] S3 :从体感摄像机的深度图像序列中，找到对应的人体活动时空兴趣点p，以人体 活动时空兴趣点P为中心，计算局部深度特征LDP ;
[0010] S4 :将人体活动时空兴趣点p的光流直方图H0F特征、梯度直方图H0G特征和局部 深度特征LDP连接起来，组成特征Sp = (X，y，t，H0G，H0F，LDP)。
[0011] 进一步地，所述计算彩色图像序列中光流直方图HOF特征的方法为：以人体活动 时空兴趣点P为中心，将局部时空小块按X，y，t方向均分成3 X 3 X 2共18个小格，将0度至 360度的光流方向划分成0度至90度、90度至180度、180度至270度和270度至360度这 四个主方向，外加一个光流量为零的方向；计算每个像素位置所得光流，之后在这五个方向 做量化和直方图统计，得到每个小格的统计结果为一个五维向量，18个小格按X，y，t的顺 序顺次连接可得到一个90维的光流直方图HOF特征；所述计算彩色图像序列中梯度直方图 H0G特征的方法为：以人体活动时空兴趣点p为中心，将局部时空小块按X，y，t方向均分成 3 X 3 X 2共18个小格，将0度至360度的梯度方向划分成0度至90度、90度至180度、180 度至270度和270度至360度这四个主方向；计算每个像素位置所得梯度，之后在这四个方 向做量化和直方图统计，得到每个小格的统计结果为一个四维向量，18个小格按X，y，t的 顺序顺次连接可得到一个72维的梯度直方图HOG特征。
[0012] 进一步地，所述计算局部深度特征LDP的方法为：以人体活动时空兴趣点p为中 心，选取NXN个像素的方格，把方格分成MXM个区块，其中每个区块包含N 2/M2个像素；计 算每个区块里的像素深度值的平均值；计算任意两个区块平均值的差；将差值组合，并做 归一化处理，生成局部深度特征LDP。
[0013] 本发明的有益效果在于，基于体感摄像机的人体活动识别的特征提取方法，避免 了骨骼信息不稳定的缺陷，克服了现有深度图像活动特征提取方法不准确的问题，有效结 合彩色信息和深度信息，提取的特征提升了动作识别的准确性和鲁棒性。
【专利附图】
【附图说明】
[0014] 图1是本发明的流程图。
【具体实施方式】
[0015] 如图1所示，一种基于体感摄像机的人体活动识别的特征提取方法，包括以下步 骤
[0016] S1 :从体感摄像机的彩色图像序列中，提取人体活动时空兴趣点p，其坐标为 (x，y，t);本步骤中，Harris兴趣点是检测空间图像f sp上在两个方向上显著变化的像素点 的位置。对于一个给定的观测尺度W，这样的兴趣点可以从观测尺度为
【权利要求】
1. 一种基于体感摄像机的人体活动识别的特征提取方法，其特征在于，包括 51 :从体感摄像机的彩色图像序列中，提取人体活动时空兴趣点P，其坐标为（x，y，t); 52 :以人体活动时空兴趣点p为中心，计算彩色图像序列中光流直方图HOF特征和梯度 直方图HOG特征； 53 :从体感摄像机的深度图像序列中，找到对应的人体活动时空兴趣点p，以人体活动 时空兴趣点P为中心，计算局部深度特征LDP ; 54 :将人体活动时空兴趣点p的光流直方图H0F特征、梯度直方图HOG特征和局部深度 特征LDP连接起来，组成特征S p = (X，y，t，HOG, HOF, LDP)。
2. 如权利要求1所述的基于体感摄像机的人体活动识别的特征提取方法，其特征在 于，所述计算彩色图像序列中光流直方图H0F特征的方法为：以人体活动时空兴趣点p为中 心，将局部时空小块按X，y，t方向均分成3X3X2共18个小格，将0度至360度的光流方 向划分成〇度至90度、90度至180度、180度至270度和270度至360度这四个主方向，夕卜 加一个光流量为零的方向；计算每个像素位置所得光流，之后在这五个方向做量化和直方 图统计，得到每个小格的统计结果为一个五维向量，18个小格按X，y，t的顺序顺次连接可 得到一个90维的光流直方图H0F特征； 所述计算彩色图像序列中梯度直方图HOG特征的方法为：以人体活动时空兴趣点p为 中心，将局部时空小块按X，y，t方向均分成3X3X2共18个小格，将0度至360度的梯度 方向划分成〇度至90度、90度至180度、180度至270度和270度至360度这四个主方向； 计算每个像素位置所得梯度，之后在这四个方向做量化和直方图统计，得到每个小格的统 计结果为一个四维向量，18个小格按X，y，t的顺序顺次连接可得到一个72维的梯度直方图 HOG特征。
3. 如权利要求1所述的基于体感摄像机的人体活动识别的特征提取方法，其特征在 于，所述计算局部深度特征LDP的方法为：以人体活动时空兴趣点p为中心，选取NXN个像 素的方格，把方格分成MXM个区块，其中每个区块包含N 2/M2个像素；计算每个区块里的像 素深度值的平均值；计算任意两个区块平均值的差；将差值组合，并做归一化处理，生成局 部深度特征LDP。
【文档编号】G06K9/62GK104091167SQ201410330879
【公开日】2014年10月8日 申请日期:2014年7月11日 优先权日:2014年7月11日
【发明者】程洪, 赵洋, 杨路 申请人:电子科技大学