专利名称：一种基于深度信息的轮廓跟踪方法
技术领域：
本发明涉及图像处理技术，尤其涉及一种基于深度信息的轮廓跟踪方法。
背景技术：
图像处理(image processing)是用计算机对图像进行分析，以达到所需结果的技 术。又称影像处理。图像处理技术的主要内容包括图像压缩，图像增强和复原，图像匹配、 描述和识别等三大部分。常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析 等，图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和 数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。虽 然某些处理也可以用光学方法或模拟技术实现，但它们远不及数字图像处理那样灵活和方 便，因而数字图像处理成为图像处理的主要方面。目前普通的图像主要由二维的像素点组成的平面图像，这种二维平面图像只能 反映图像场景的X、Y的位置坐标信息，而无法反映图像场景的深度位置信息Z坐标，随着 技术的进步，越来越多的出现了能够采集深度位置信息的装置设备，这些能够采集深度图 (Depth Map)的装置设备，将图像处理技术从二维图像X、Y坐标带入到三维图像X、Y、Z坐 标新时代。获取场景中各点相对于摄象机的距离是计算机视觉系统的重要任务之一，场景中 各点相对于摄象机的距离可以用深度图D印th Map来表示，深度图D印thMap生成的技术目 前主要有三种方法，结构光测距方法、激光测距雷达方法、变焦测距方法，通过各种方法获 取真实场景的深度信息并生成深度图，能够应用于各种技术领域的图像处理需求。目前市场上已经开始出现能够实时输出深度图的设备，如何使用这些设备，来开 发出各种人机交互的应用，已经成为未来人机交互技术发展方向之一，在深度Z方向上，人 的肢体动作识别、跟踪和二维图像的处理存在很大差别，而且深度图能够感知动作前后运 动的变化，使得我们能够更加真实获取人机交互的控制信息，在基于深度信息的条件下，实 时跟踪人手轮廓并输出相关的运动轨迹信息，已经成为深度信息图像处理技术领域，需要 进行研究解决的问题。
发明内容
本发明方法提供一种图像轮廓运动检测系统和方法，能够在基于深度信息的条件 下，实时跟踪人手轮廓并输出相关的运动信息。本发明的技术方案如下一种基于深度信息的轮廓跟踪方法，包括以下步骤A.连续获取场景区域的深度帧；B.判断在当前深度帧之前是否已出现启动动作，如有则进入步骤F，无则进入步 骤C;
3
C.判断当前深度帧中是否出现启动动作，是则进入步骤D，否则返回步骤A ；D.发现启动动作后在当前深度帧中场景区域的深度变化区域中提取启动轮廓面 积；E.在启动轮廓内对所有的深度值求算术平均值作为轮廓跟踪参考信息；F.在深度帧中根据参考信息提取归一化灰度图；G.在归一化灰度图中找到轮廓的顶点；H.输出顶点的运动轨迹信息并重新获取轮廓跟踪参考信息。所述的基于深度信息的轮廓跟踪方法，其中，在上述步骤D中，在获得启动轮廓面 积后还判断启动轮廓面积是否符合预设的面积范围，符合则进入步骤E，不符合则返回步骤 A0所述的基于深度信息的轮廓跟踪方法，其中，在上述步骤F中，在获得归一化灰度 图后还判断归一化灰度图中的轮廓面积是否符合预设的面积范围，符合则进入步骤G，不符 合则返回步骤A。所述的基于深度信息的轮廓跟踪方法，其中，所述步骤C具体包括步骤Cl.设定启动条件集合；C2.将当前深度帧与前一深度帧进行深度值变化比较获得深度变化值；C3.判断深度变化值是否属于启动条件集合，属于则判定出现启动动作，否则判定 未出现启动动作。所述的基于深度信息的轮廓跟踪方法，其中，在所述步骤D中提取启动轮廓面积 具体为根据启动条件提取启动轮廓。所述的基于深度信息的轮廓跟踪方法，其中，在所述步骤F中，在根据参考信息提 取归一化灰度图时，若在当前深度帧之前未出现启动动作，则根据由当前深度帧获取的轮 廓跟踪参考信息提取当前深度帧的归一化灰度图；若在当前帧之前已出现启动动作，则根 据已有的轮廓跟踪参考信息提取当前深度帧的归一化灰度图。所述的基于深度信息的轮廓跟踪方法，其中，所述步骤G具体包括步骤Gl.在归一化灰度图中，依此在上下左右四个方向寻找灰度轮廓的第一个点；G2.在对应的深度图中以上述四个点的坐标为中心，分别向上下左右四个方向寻 找深度相似点；G3.上述四点中满足只有一个方向上存在深度相似点的即为轮廓的预点，有多个 点满足只有一个方向上存在深度相似点的条件时，在其中任选一个作为轮廓的顶点。所述的基于深度信息的轮廓跟踪方法，其中，所述步骤H中的顶点的轨迹信息包 括顶点的位置信息和深度信息。本发明通过对对目标轮廓的判定，在深度场景下根据人体的特征，运用顶点法对 人手轮廓进行识别、分析和跟踪，能够实时跟踪人手轮廓并输出相关的运动轨迹信息供其 它设备使用。
图1为本发明基于深度信息的轮廓跟踪方法较佳实施方式的流程图；图2为本发明中场景区域的深度图示意图3为本发明中归一化灰度图示意图；图如 4d为本发明中在归一化灰度图中用顶点法确定轮廓边缘的示意图；图5为本发明中在深度图和归一化灰度图中确认顶点的示意图；图6为本发明中轮廓跟踪的运动轨迹示意图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。参考图1，本发明基于深度信息的轮廓跟踪方法较佳实施方式包括步骤Si、启动深度图采集设备，实时监测场景区域获取深度图序列，该序列中每张深度 图即为深度帧，如图2所示；S2、在获取当前深度帧之后，判断之前获取的深度帧中是否已经出现过启动动作， 若之前的深度帧中已经出现过启动动作则进入步骤S7，若之前的深度帧中未出现启动动作 则进入步骤S3判断当前深度帧中是否出现启动动作；S3、在当前深度帧中判断是否出现启动动作，将当前深度帧与前一帧的深度帧进 行深度值变化比较，当变化状态满足预先设定的阈值条件时，则认为在当前深度帧中发现 了启动动作，若不满足预设的阈值条件则返回步骤Sl继续获取深度帧以监测启动动作，具 体包括设定启用条件集合SARTUP(D)，启动动作是以深度前帧DEPTHxl (z，x, y)作为参考 帧，其中，ζ为深度值，x、y是在置信息，以深度后帧(当前深度帧)DEPTHx2(z，x，y)作为比 较帧，通过计算获取深度帧变化值DEPTH。(ζ，χ，y)，其中DEPTHc(ζ, χ, y) = DEPTHx2 (ζ, χ, y) -DEPTHxl (ζ，χ，y)，深度帧变化值 DEPTHc(ζ， X，y)有正负值区分，正值表示产生启动动作的目标向后运动，负值则表示产生启动动作 的目标向前运动，当深度帧变化值满足深度值变化阈值范围时，表达式为DEPTH。(z，χ, y) e SARTUP(D)，表示发现目标的启动动作，反之则不是启动动作，继续对下一帧进行监 测；S4、发现启动动作后，在场景区域的深度变化区域提取变化轮廓区域面积作为启 动轮廓面积，具体包括在发现启动动作后，根据启动条件对深度帧变化值DEPTH。(z，χ, y) 进行判断，提取变化轮廓区域f (ζ，χ，y)，例如在向前运动作为启动条件情况下，需要满足条 件2 < 0，表达式为^V ) = ^
I 、U其中ζ值为相邻深度帧中每个深度像素点的变化值；S5、判断启动轮廓面积是否符合设定的面积范围，当启动轮廓面积满足面积范围 值区间时，则认为满足启动条件，反之则返回步骤Sl继续获取深度帧以监测启动动作，具 体包括提取变化轮廓区域f(z，X，y)后，通过对变化轮廓区域f(Z，X, y)的面积判断是否 满足Mmmin <f(z,x,y) < areafflax,当满足该条件代表该运动轮廓面积大小满足启动条件， 其中arm.和arm.为设定的面积范围最小值和最大值；S6、判定启动轮廓面积符合后，对启动轮廓区域内的所有深度值求算术平均值，将该算术平均值作为轮廓跟踪参考信息进行记录，具体包括对该启动轮廓进行锁定操作，在 当前深度帧DEPTHx2 (z，x，y)中提取f(z，x，y)区域内，满足ζ < 0条件的ζ深度值集合S (z， ^7)，通过计算获得3(2，^7)中ζ深度算术平均值zavCT，并且记录f(z，x，y)区域的深度 算术平均值zavCT作为参考信息； S7、在获得的深度帧中，以获得的深度算术平均值zavCT作为参考信息，提取二维的 归一化灰度图，具体包括在记录参考信息之后，进入轮廓的跟踪运算步骤，如果之前没有 发现启动动作，则根据当前深度帧的深度算术平均值zavCT生成归一化灰度图，提取归一化 灰度图时深度算术平均值zavCT满足条件^llin < Zaver < Zfflax的对应像素点置为1，反之则为 0，生成的归一化灰度图如图3所示，其中^in、Zfflax为设定提取轮廓区间阈值；若之前已经 发现启动动作，即已经有在先获得的zavCT，则将后面跟踪的深度帧定义为DEPTH^z，χ, y)，
DEPTH1(Hy)，.........DEPTHn (ζ，χ，y)，在深度图中的采集区域内，按照阈值条件获取归
一化灰度图K，例如获取轮廓Ktl表达式为
权利要求
1.一种基于深度信息的轮廓跟踪方法，包括以下步骤A.连续获取场景区域的深度帧；B.判断在当前深度帧之前是否已出现启动动作，如有则进入步骤F，无则进入步骤C；C.判断当前深度帧中是否出现启动动作，是则进入步骤D，否则返回步骤A；D.发现启动动作后在当前深度帧中场景区域的深度变化区域中提取启动轮廓面积；E.在启动轮廓内对所有的深度值求算术平均值作为轮廓跟踪参考信息；F.在深度帧中根据参考信息提取归一化灰度图；G.在归一化灰度图中找到轮廓的顶点；H.输出顶点的运动轨迹信息并重新获取轮廓跟踪参考信息。
2.根据权利要求1所述的基于深度信息的轮廓跟踪方法，其特征在于在上述步骤D 中，在获得启动轮廓面积后还判断启动轮廓面积是否符合预设的面积范围，符合则进入步 骤E，不符合则返回步骤A。
3.根据权利要求1所述的基于深度信息的轮廓跟踪方法，其特征在于在上述步骤F 中，在获得归一化灰度图后还判断归一化灰度图中的轮廓面积是否符合预设的面积范围， 符合则进入步骤G，不符合则返回步骤A。
4.根据权利要求1至3中任一权利要求所述的基于深度信息的轮廓跟踪方法，其特征 在于所述步骤C具体包括步骤Cl.设定启动条件集合；C2.将当前深度帧与前一深度帧进行深度值变化比较获得深度变化值；C3.判断深度变化值是否属于启动条件集合，属于则判定出现启动动作，否则判定未出 现启动动作。
5.根据权利要求4所述的基于深度信息的轮廓跟踪方法，其特征在于在所述步骤D 中提取启动轮廓面积具体为根据启动条件提取启动轮廓。
6.根据权利要求1至3中任一权利要求所述的基于深度信息的轮廓跟踪方法，其特 征在于在所述步骤F中，在根据参考信息提取归一化灰度图时，若在当前深度帧之前未出 现启动动作，则根据由当前深度帧获取的轮廓跟踪参考信息提取当前深度帧的归一化灰度 图；若在当前帧之前已出现启动动作，则根据已有的轮廓跟踪参考信息提取当前深度帧的 归一化灰度图。
7.根据权利要求1至3中任一权利要求所述的基于深度信息的轮廓跟踪方法，其特征 在于所述步骤G具体包括步骤Gl.在归一化灰度图中，依此在上下左右四个方向寻找灰度轮廓的第一个点；G2.在对应的深度图中以上述四个点的坐标为中心，分别向上下左右四个方向寻找深 度相似点；G3.上述四点中满足只有一个方向上存在深度相似点的即为轮廓的顶点，有多个点满 足只有一个方向上存在深度相似点的条件时，在其中任选一个作为轮廓的顶点。
8.根据权利要求1所述的基于深度信息的轮廓跟踪方法，其特征在于所述步骤H中 的顶点的轨迹信息包括顶点的位置信息和深度信息。
全文摘要
本发明提供一种基于深度信息的轮廓跟踪方法，包括以下步骤A.连续获取场景区域的深度帧；B.判断在当前深度帧之前是否已出现启动动作，如有则进入步骤F，无则进入步骤C；C.判断当前深度帧中是否出现启动动作，是则进入步骤D，否则返回步骤A；D.发现启动动作后在当前深度帧中场景区域的深度变化区域中提取启动轮廓面积；E.在启动轮廓内对所有的深度值求算术平均值作为轮廓跟踪参考信息；F.在深度帧中根据参考信息提取归一化灰度图；G在归一化灰度图中找到轮廓的顶点；H.输出顶点的运动轨迹信息并重新获取轮廓跟踪参考信息。本发明通过对对目标轮廓的判定，能够实时跟踪人手轮廓并输出相关的运动轨迹信息。
文档编号G06T7/20GK102074018SQ20101060159
公开日2011年5月25日 申请日期2010年12月22日 优先权日2010年12月22日
发明者付东, 刘纹高, 邵诗强, 黄卫东 申请人:Tcl集团股份有限公司