一种基于手指分割的实时手势识别方法
【专利摘要】本发明公开了一种基于手指分割的实时手势识别方法。手势识别技术是人机交互领域中非常热门的话题之一。在本发明中，我们提出了一种新的手势识别技术。首先，我们利用背景减除方法将整个手部区域提取出来，针对提取出来的手部区域，我们再进行手掌和手指部分的分割；根据手指的位置、角度等多种信息判断手指类型；最后通过一个规则分类器来对整个手势进行手势识别。我们通过大量实验图像进行相关手势识别测试，结果表明，我们的识别方法速度快，效率高，可以达到实时的效果。
【专利说明】一种基于手指分割的实时手势识别方法
【技术领域】
[0001] 本发明主要涉及手势识别技术，具体涉及一种基于手指分割的实时手势识别方 法。
【背景技术】
[0002] 基于视觉的手势识别技术是人机交互（HCI)中非常重要的内容。十几年来，键盘 和鼠标是人机交互的重要媒介。但是，随着硬件和软件的快速发展，对HCI方法也有了更高 的要求。特别地，语音识别和动作识别技术在HCI领域中得到了非常多的关注。
[0003] 动作是身体的行为或情绪的表达。这包括身体姿势和手势。它可以分为两类：静 态动作和动态动作。对前者来讲，身体的姿势或手势表示是一个符号。对后者来讲，身体或 手的动作表达了一些重要信息。手势可以作为人机交互中的重要通信工具。这与传统的基 于硬件的HCI方法有很大的不同。手势识别是通过识别姿势或动作的一部分来确定用户的 意图。在过去的十年里，研究者人员一直致力于改进手势识别技术。手势识别在许多应用 中具有很大价值。例如手语识别、增强现实（虚拟现实）、手语翻译、机器人控制等。
[0004] 一般的手势识别流程如下：
[0005] (1)利用输入设备（摄像头）得到手势图像。
[0006] (2)提取手势的某些主要特征。
[0007] (3)通过测量特征数据与匹配数据的相似度来完成手势识别。
[0008] 输入设备用来提供原始图像信息。包括一般的相机，双目相机和T0F(Time of Flight)相机。双目相机和T0F相机同时还提供深度信息，在复杂背景的情况下也很容易 检测到手部区域。一般的单目相机对肤色的光照和背景颜色很敏感，所以一般要结合多种 特征进行手部区域的检测。检出R〇I(Regionof Interest)以后，从R0I区域提取有用的特 征。颜色，亮度和梯度是广泛使用的特征。
[0009] 除了颜色、形状、亮度等一般特征外，还有很多其他比较复杂的特征，比如Gabor filter，H0G，SIFT，BRIEF和ORB等特征。这些特征都可以被各个复杂分类器，如SVM，HMM，CRF 和adapted boosting分类器等用来训练从而进行手势识别。上面提到的复杂分类器虽然识 另IJ性能良好，但是时间成本过高，达不到实时识别的目的。
【发明内容】
[0010] 本发明的目的在于提出一种基于手指分割的实时手势识别方法，以解决现有技术 中存在的缺陷。在该发明中，用户不必佩戴任何穿戴装置或任何标记物；并且避开使用复杂 分类器。所以该方法具有很好的高效性和实时性。
[0011] 本发明的技术方案如下：
[0012] (1)手部区域检测：利用一般的网络摄像机作为输入设备，进行手势图像采集。由 于背景单一，所以利用背景减除的方法进行手部区域检测。为防治背景中噪声干扰，利用 HSV色彩空间的肤色信息。确定手部区域，同时将图像大小调整为200*200。
[0013] (2)手掌手指分割：首先利用距离变换找到手掌中心点；以手掌中心点为圆心找 到手部区域内的内切圆，为了有效分割手掌，将内切圆的半径扩大1.2倍，得到最后的掌心 圆；根据掌心圆上的点继续检测手指指根连接点和手腕两端的腕点，从而得到手掌部分； 手部区域减去手掌区域得到手指部分。
[0014] (3)手指识别：根据步骤（2)，得到分割后的手指。用Labeling算法确定手指个 数；找到手指尖、手指中心、指根；扫描找到手掌线，将手掌线四等分；结合位置信息和角度 信息进行那个手指识别。
[0015] (4)手势识别：使用简单规则的分类器，根据上面得到的手部特征进行手势识别。
[0016] 本发明的优势在于，用户可以不用佩戴任何穿戴式设备，并且对检测的手部区域 具有旋转不变形和缩放性，计算简单，可以很好的满足实时的要求。
【专利附图】
【附图说明】
[0017] 图1为本发明中手势识别方法的概要图
[0018] 图2为手部区域检测图
[0019] 图3为分割手部区域的二值图
[0020] 图4为距离变换矩阵示意图
[0021] 图5为距离变换图
[0022] 图6为计算掌心和手掌分割示意图
[0023] 图7为手掌分割图
[0024] 图8为手部区域旋转后的分割二值图
[0025] 图9为手指分割图
[0026] 图10为手指区域的外切矩形示意图
[0027] 图11为手掌线示意图
[0028] 图12为手指识别示意图
【具体实施方式】
[0029] 如图1所示，基于手指分割的实时手势识别方法的步骤如下：
[0030] 步骤1:手部区域检测
[0031] 如图2所示，利用一般的网络摄像机作为输入设备，进行手势图像采集由于背景 单一，利用背景减除的方法进行手部区域检测。为了防治背景中噪声干扰，利用了 HSV色彩 空间的肤色信息，使用的具体空间数值为H:315，S:94，V:37。图3为确定的手部区域，同时 将图像大小调整为200*200。
[0032] 步骤2:手掌手指分割
[0033] 先利用距离变换找到手掌中心点。此处距离变换又可以称为距离映射。在距离变 换图上记录手部区域内各像素点与边界像素的距离。如图4所示，左图表示二值图中像素 点的值，右图表示用距离变换方法计算得到的结果图。距离边界像素越远，所赋予的像素点 的值越大。例如图中像素点的最大值为4,即此像素点为距离边界最远的点，此点为要找的 手掌掌心。对应的手部区域距离变换图如图5所示。
[0034] 如图6所示，以手掌中心点为圆心找到手部区域内的内切圆，为了有效分割手掌， 将内切圆的半径扩大1.2倍，得到最后的掌心圆。令圆心坐标为I)，在掌心圆上以弧 度t为步长取样本点。样本点的坐标由公式如下：
【权利要求】
1. 一种基于手指分割的实时手势识别方法，其特征包括以下步骤： (1) 手部区域检测：利用一般的网络摄像机作为输入设备，进行手势图像采集，由于背 景单一，所以利用背景减除的方法进行手部区域检测，为防止背景中噪声干扰，利用HSV色 彩空间的肤色信息。确定手部区域，同时将图像大小调整为200*200 ; (2) 手掌手指分割：首先利用距离变换找到手掌中心点；以手掌中心点为圆心找到手 部区域内的内切圆，为了有效分割手掌，将内切圆的半径扩大1.2倍，得到最后的掌心圆； 根据掌心圆上的点继续检测手掌周围的目标点和手腕两端的腕点，从而得到手掌部分；手 部区域减去手掌区域得到手指部分； ⑶手指识别：根据步骤⑵，得到分割后的手指；用Labeling算法确定手指个数；找 到手指尖、手指中心、指根；扫描找到手掌线，将手掌线四等分；结合位置信息和角度信息 进行那个手指识别。 (4)手势识别：使用简单规则的分类器，根据上面得到的手部特征进行手势识别。
2. 根据权利要求1所述的一种基于手指分割的实时手势识别方法，其特征在于步骤 (1) 所述手部区域检测：采用背景减除的方法进行初步分割；利用HSV色彩空间中的肤色信 息防止背景中的噪声干扰，具体空间数值为H: 315, S: 94, V: 37。
3. 根据权利要求1所述的一种基于手指分割的实时手势识别方法，其特征在于步骤 (2) 所述手掌手指分割，其具体过程如下： (21) 采用距离变换找到手掌中心，以手掌中心为圆心，找到手部区域内的最大内切圆； 为有效得到手掌区域，将内切圆的半径扩大1.2倍得到掌心圆； (22) 在掌心圆上以弧度t为步长取样本点，坐标如下：
(1) 分别以这些样本点为圆心，画圆，找到距离这些样本点最近的手掌边界点，称之为目标 点；连接所有目标点，得到手掌区域； (33)距离最大的相邻的两个目标点为手腕两端的腕点，利用公式（2)判断两目标点是 否为腕点；
(2) 其中为Pi，pi+1相邻的两个目标点；s为手掌区域边界中目标点集合；连接两腕点，得到 手腕线；将手腕线以下手臂部分去除；手部区域减除手掌区域，得到手指分割区域。
4. 根据权利要求1所述的一种基于手指分割的实时手势识别方法，其特征在于步骤 (3) 所述手指识别，其具体过程如下： (31) 连结手腕线中点和掌心，连线指向掌心。通过旋转连线，使得其指向正北方，将手 势坚直放置； (32) 根据步骤⑵得到的手指分割区域，利用Labeling方法，确定手指区域个数；手 指区域包含的像素个数满足某一阈值，则将此手指区域保留，否则，去除；针对每个手指区 域，找到其最小外切矩形，该矩形的中心标记为手指中心； (33) 拇指检测：计算手指中心和掌心连线与水平方向的夹角，小于50度，则标记为拇 指；若没有，说明此手势中无捣指； (34) 其余手指检测：没有拇指时，从手腕线开始向上扫描，知道扫描线被分成两部分， 停止扫描，得到的扫描线为手掌线；有拇指时，从经过距离手掌中心最近的目标点的扫描线 还是扫描，直到扫描停止，得到手掌线；将手掌线四等分，根据手指中心横坐标和手掌线四 等分信息可以判断手指类型；为准确检测，有时也要计算角度和手指间距离等信息。
5.根据权利要求1所述的一种基于手指分割的实时手势识别方法，其特征在于步骤 (4)所述手势识别中，利用自定义的简单分类器代替复杂分类器，更加快速地进行手势识 另IJ，达到实时要求。
【文档编号】G06K9/62GK104063059SQ201410331833
【公开日】2014年9月24日 申请日期:2014年7月13日 优先权日:2014年7月13日
【发明者】陈志华, 金正泰, 梁建宁, 袁玉波, 张静, 应方立 申请人:华东理工大学