基于深度图像的手定位方法和设备的制作方法
【专利摘要】提供了一种基于深度图像的手定位方法和设备。所述方法包括：确定基于深度图像获取的手候选区域的主方向；沿所述主方向查找手的顶端边缘点；基于各个所述顶端边缘点确定手的位置点。所述手定位方法和设备能够准确地定位手的位置，而不受光照条件、手的形状的影响。
【专利说明】基于深度图像的手定位方法和设备
【技术领域】
[0001] 本发明总体地涉及手的跟踪定位，更具体地涉及基于深度图像的手定位方法和设 备。
【背景技术】
[0002] 手跟踪定位是手势识别系统中非常重要且关键的一部分。为了方便用户操作，手 跟踪定位系统不应该要求用户穿戴任何特殊的设备，如特殊手套，彩色标志物等；另外，手 是非刚性物体，具有运动快、易变形、自遮挡等特点。因此手跟踪定位是一项非常有难度的 工作。
[0003] 以往，很多研究者采用手的颜色特征作为手的表观特征来跟踪并定位手。然而，该 方法很容易受到光照条件的影响。考虑到深度图像受光照影响较小，目前越来越多的研究 者基于深度图像进行手的跟踪定位。但是，深度图像上的信息较少，因此如何从深度图像提 取出有效信息来进行手跟踪定位是一个需要解决的问题。一些研究者采用深度阈值分割出 候选的手区域，并通过形状特征、边缘特征或直方图统计特征来检查该区域是否为手。但如 果手的候选区域定位不准确，或者如果手在候选区域范围外，这种方法将无法确定手位置。
[0004] 美国专利US7372977b2公开了一项采用深度相机进行实时视觉跟踪的技术。在该 技术中，首先从深度图像中获取到跟踪目标的边缘信息，然后采用数学形式的轮廓表观模 型表示该跟踪目标，最后根据深度数据对跟踪目标的边缘信息与轮廓模型进行匹配，以找 到所跟踪的位置点。在这一发明中主要采用轮廓信息进行手的跟踪，因此对手的轮廓要求 较严格。
[0005] 文章"3D hand tracking using kalman filter in depth space，'提出了一种米 用运动历史图像信息进行实时的3D手跟踪的方法。在该方法中，基于由3D深度传感器产生 的图像信息，通过运动聚类，检测手的候选区域，然后通过kalman滤波器实现手的跟踪与 定位。该技术在手运动时能够较好的确定手的位置，实现手的跟踪，但在手静止的情况下， 容易受噪声影响而产生误跟。
【发明内容】
[0006] 根据本发明的实施例，提供了一种基于深度图像的手定位方法，包括：确定基于深 度图像获取的手候选区域的主方向；沿所述主方向查找手的顶端边缘点；基于各个所述顶 端边缘点确定手的位置点。
[0007] 根据本发明的另一实施例，提供了一种基于深度图像的手定位设备，包括：主方 向确定装置，用于确定基于深度图像预测的手候选区域的主方向；边缘点查找装置，用于沿 所述主方向查找手的顶端边缘点；位置点确定装置，用于基于各个所述顶端边缘点确定手 的位置点。
[0008] 根据本发明实施例的基于深度图像的手定位技术能够准确地定位手的位置，而不 受光照条件、手的形状的影响。
【专利附图】
【附图说明】
[0009] 图1示意性地示出了应用根据本发明实施例的手跟踪定位技术的场景。
[0010] 图2示出了根据本发明实施例的基于深度图像的手定位方法的流程图。
[0011] 图3 (a)和3 (b)分别示意性地示出了基于深度图像确定的候选区域块和手候选 区域。
[0012] 图4 (a)和（b)示出了手候选区域的主方向的示意图。
[0013] 图5示出了根据本发明实施例的沿主方向查找手的顶端边缘点的流程图。
[0014] 图6 (a)到6(d)示出了根据本发明实施例的沿主方向查找手的顶端边缘点的示例 过程。
[0015] 图7示出根据本发明实施例的基于各个顶端边缘点确定手的位置点的流程图。
[0016] 图8示出了根据本发明实施例的基于深度图像的手定位设备的功能配置框图。
[0017] 图9示出了根据本发明实施例的基于深度图像的手定位系统的总体硬件框图。
【具体实施方式】
[0018] 为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。
[0019] 图1示意性地示出了应用根据本发明实施例的手定位技术的场景。如图1所示， 用户站在诸如双目摄像机的立体摄像机的摄像范围内，该立体摄像机对用户进行拍摄。当 用户在摄像机范围内移动他/她的手时，诸如计算机的处理设备能够基于根据立体相机拍 摄的图像获得的深度图像，确定用户的手的位置信息，从而实现对手的跟踪。例如，图1中 的黑色圆点示出了手的移动轨迹。
[0020] 如本领域技术人员公知的，深度图像是图像中每一像素点的值表示场景中某一点 与摄像机之间的距离的图像。相比于灰度图像，深度图像具有物体的深度(距离)信息，因此 适合于需要立体信息的各种应用。
[0021] 图2示出了根据本发明实施例的基于深度图像的手定位方法的流程图。
[0022] 如图2所示，在步骤S210,确定基于深度图像获取的手候选区域的主方向。
[0023] 如前文所述，基于深度图像来获取手候选区域在本领域中已经有很多研究，其并 非是本发明的关键所在，本领域技术人员可以利用任何现有的适当方式从深度图像获取手 候选区域。此处，为了说明的完整，对本实施例中使用的获取方式进行简单的描述。
[0024] 首先，基于历史信息预测手的候选位置点。
[0025] 由于手的运动具有连续性，因此在该步骤中将基于手先前的运动状态和运动参数 来预测手当前可能出现的位置。手的位置点是用来代表的手的位置的点，其可以是例如手 的中心点、重心点等等。
[0026] 该步骤可以利用例如kalman滤波、粒子滤波等任何适当的点跟踪方法来实现。， 由于在局部范围内，手的运动可以近似为线性运动，因此最简单的预测方法可以根据前一 帧中手的位置点和手的运动速度来预测得到当前帧中手可能出现的位置，如下式所示：
[0027]
【权利要求】
1. 一种基于深度图像的手定位方法，包括： 确定基于深度图像获取的手候选区域的主方向； 沿所述主方向查找手的顶端边缘点； 基于各个所述顶端边缘点确定手的位置点。
2. 根据权利要求1的手定位方法，还包括： 基于历史信息预测手的候选位置点； 基于所述候选位置点和历史深度值信息确定候选区域块； 从所述候选区域块中分割出所述手候选区域。
3. 如权利要求1或2所述的手定位方法，其中所述确定基于深度图像获取的手候选区 域的主方向包括： 计算所述手候选区域的主方向； 确定该主方向与前一帧图像中手的主方向的差异值； 在所述差异值大于预定阈值的情况下，基于前预定帧图像中手的主方向对所述手候选 区域的主方向进行调整。
4. 如权利要求2所述的手定位方法，其中沿所述主方向查找手的顶端边缘点包括： 确定与所述主方向垂直的第一直线； 在以该第一直线的预定范围内的多个预定点为各自的起始点、沿所述主方向延伸的多 条直线中的每一条直线上，查找一个所述顶端边缘点。
5. 如权利要求4所述的手定位方法，其中所述第一直线经过所述候选位置点，所述预 定范围为第一直线上位于所述候选区域块中的部分。
6. 如权利要求4或5所述的手定位方法，其中所述查找一个所述顶端边缘点包括： 从所述起始点开始，计算该直线上每两个相邻像素点之间的深度值差异，并且将所述 深度值差异大于预定阈值的两个相邻像素点中距所述起始点较近的像素点作为顶端边缘 点。
7. 如权利要求6所述的手定位方法，其中所述查找一个所述顶端边缘点还包括： 计算所述顶端边缘点与上一帧图像的位置点之间的空间距离，并且在该空间距离超出 预定阈值范围的情况下，将该顶端边缘点作为噪声边缘点。
8. 如权利要求1或2所述的手定位方法，其中所述基于各个所述顶端边缘点确定手的 位置点包括： 计算各个所述顶端边缘点的均值位置点； 基于该均值位置点和所述主方向，确定手的位置点。
9. 如权利要求1所述的手定位方法，还包括基于所述手的位置点确定以下的至少一 项：手当前的运动速度、手当前的运动加速度、手的面积、所述位置点的深度值。
10. -种基于深度图像的手定位设备，包括： 主方向确定装置，用于确定基于深度图像预测的手候选区域的主方向； 边缘点查找装置，用于沿所述主方向查找手的顶端边缘点； 位置点确定装置，用于基于各个所述顶端边缘点确定手的位置点。
【文档编号】G06K9/00GK104217192SQ201310217305
【公开日】2014年12月17日 申请日期:2013年6月3日 优先权日:2013年6月3日
【发明者】梁玲燕, 刘丽艳, 赵颖 申请人:株式会社理光