专利名称：三维手势识别系统以及基于视觉的手势识别方法
技术领域：
本发明整体涉及手势识别系统，特别是，涉及以具有较低复杂性的基于视觉地手势识别系统。
背景技术：
人类与计算机之间的友善互动，是娱乐系统开发的关键要素，特别是针对游戏系统。动作分析系统和计算机控制设备的快速发展，导入了与计算机互动的可能新方法。然而，许多现行方案使用通常需要依赖用户手指的感应设备。虽然这种方法可以提供精确的手部检测，但也增加了用户的负担。较佳的方法是将手作为命令设备，换言之，就是用动作将指令输入到计算机操作系统或周边控制设备。然而，目前已知的方法与系统均相当复杂并且不够完善。根据名称为“一种用于快速识别计算机绘图控制手势的系统”的第6，002，808号美国专利，其利用图像矩计算来确定与手势、定位和尺寸对应的总等效矩形，在与手宽有关的实施例中是以尺寸进行判定。在进一步的实施例中，通过食指接触拇指所产生的孔洞，通过对应孔以手的二进制展开式(binary representation)提供受识别的特殊反应刺激。在进一步的实施例中，对物体的图像瞬时进行检测，以控制或导引屏幕上的图像。根据名称为“一种姿势识别系统”的第7，129，927号美国专利，包括检测组件和生成对应对象上许多排列记号的组件，该组件处理来自检测组件的信号，构件则检测信号中记号的位置。记号被分为第一组和第二组，第一组记号构成参考位置，而系统包括检测第二组记号动作、并生成参考位置有效动作信号的组件。所以，需要一种使用户不受约束或能自然地与计算机互动的互动系统，即指用户可不用其它设备、仅用双手即能进行控制。
发明内容
因此，本发明的目的是提供一种3D手势识别系统，基于视觉的手势识别法及其系统，以便降低基于视觉识别的计算复杂性，并达到实时效果。可通过提供一种基于视觉的手势识别方法法来达到本发明的目的，所述方法包括下列步骤接受图像帧；从图像帧中提取手部轮廓图像；计算手部轮廓图像的重心；计算所述重心和多个轮廓点之间的距离；根据所述多个距离的第一特征函数来识别手势。最好，所述手势识别方法还包括下列步骤设置设定参考点；计算重心和参考点之间的第一线；计算重心和每一个轮廓点之间的第二线；计算第一线和第二线之间的角度；将第一特征函数定义为角度和距离的函数。最好，所述手势识别方法还包括下列步骤提供具备记录所述多个预定义手势的第二特征函数的数据库；计算第一特征函数和第二特征函数之间的成本值(cost value)； 并根据成本值，从所述多个预定义手势中选择一个作为手势。最好，所述手势识别方法还包括下列步骤确定第一特征函数中是否存在尖峰；如果第一特征函数中存在至少一个尖峰，则根据第一特征函数的数量和位置来确定手势。如果第一特征函数中不存在尖峰，则确定手势握拳姿势。最好根据尖峰数量来确定手势的伸出的手指数。最好根据尖峰位置来确定手势的手部方向。可通过提供基于视觉的手势识别系统来达到本发明的目的。所述系统包括图像捕捉单元、图像处理单元、数据处理单元和手势识别单元组件。图像捕捉单元可接收图像帧， 然后，图像处理单元从图像帧中提取手部轮廓图像，并计算手部轮廓图像的重心。数据处理单元可取得位于手部轮廓图像的轮廓上的多个轮廓点，并计算重心和所述多个轮廓点之间的多个距离。手势识别单元可根据所述多个距离的第一特征函数来识别手势。最好，数据处理单元进一步计算第一线和多个第二线之间的角度，并将第一特征函数定义为角度与距离的函数，其中，第一线连接重心与参考点，每一个第二线连接重心和每一个轮廓点。最好，所述系统还包括数据库，记录多个预定义手势的第二特征函数。手势识别单元还计算第一特征函数与第二特征函数之间的成本值，并根据成本值，选择多个预先定义手势中的一个作为手势。最好，手势识别单元确定第一特征函数的至少一个尖峰，并根据第一特征函数的尖峰数量和位置来识别手势。如果第一特征函数中不存在尖峰，则最好手势识别单元确定手势为握拳姿势。最好，手势识别单元根据尖峰数确定手势的伸出手指数，并根据尖峰位置确定手势的手部方向。可通过提供3D手势识别系统来达到本发明的目的。所述系统包括第一图像捕捉单元、第二图像捕捉单元、图像处理单元、数据处理单元和手势识别单元。第一图像捕捉单元接收第一图像帧，第二图像捕捉单元接收第二图像帧。图像处理单元可分别从第一图像帧和第二图像帧提取第一手部轮廓图像和第二手部轮廓图像，并计算第一手部轮廓图像的第一重心和第二手部轮廓图像的第二重心。然后，数据处理单元取得位于第一手部轮廓图像的轮廓上的多个第一轮廓点，并取得位于第二手部轮廓图像的轮廓上的多个第二轮廓点，并计算第一重心和多个第一轮廓点之间的多个第一距离，并计算第二重心和多个第二轮廓点之间的多个第二距离。手势识别单元可根据多个第一距离的第一特征函数来识别第一手势，并根据多个第二距离的第二特征函数来识别第二手势，并根据第一手势和第二手势来确定3D手势。最好，手势识别单元根据第一特征函数的数量和至少一个尖峰位置来识别第一手势，并根据第二特征函数的数量和至少一尖峰位置来识别第二手势。
本发明所包含的附图，用于进一步理解发明、说明发明实施例并与说明一起解释发明原理。图1是根据本发明的以基于视觉的手势识别方法的实施例流程图；图2是根据本发明的的手部图像示意图；图3是根据本发明的手部轮廓图像示意图；CN 102236412 A说明书3/5 页图4是根据本发明的与轮廓点对应的距离和夹角的第一示例波形图；图5图是根据本发明的与轮廓点对应的距离和夹角的第二示例波形图；图6是根据本发明的与轮廓点对应的距离和夹角的第三示例波形图；图7是根据本发明的以手势识别系统为基础的视像实施例的方块图；以及图8是根据本发明的3D手势识别系统实施例方块图。
具体实施例方式在下列详细说明中，请配合本申请专利随附图标参照数字，数字的作用在于说明发明的特定实施例。熟悉技术者可应用其它实施例，并在不脱离本发明适用范围的情况下进行结构、电和程序变化。在可能情况下，将在图示中完全使用相同标号来指示相同或相似部分。图1是根据本发明的以手势识别法为基础的视像实施例流程图。此实施例包括下列步骤。在步骤10中，接收图像帧，接着在步骤11中，判定所接收的图像帧里是否存在手部图像。如果接收的图像帧中不存在手部图像，则重复步骤10 ；此外，如果接收的图像帧中存在手部图像，如图2所示的手部图像21，则在步骤12中，从接收的图像帧里提取手部轮廓图像。最好，可以针对手部图像21执行边缘检测，以提取如图2中出示的手部轮廓22的手部轮廓，由于手部轮廓22环绕着图像区域23，所以可以将手部图像21的边缘巍然的区域定义为手部轮廓图像。在步骤13中，计算手部轮廓图像的重心。最好能进行手掌定位计算，以取得手部轮廓图像23的重心。例如，可以根据手的普通2D形状选择力矩函数(moment function) I (x, y)。然后根据所选择的力矩函数，计算一次力矩(first-order moment)和二次力矩 (second-order moment) 的Mqq、M10, Mq1、Mn、M20及Mc^以下为示例函数。
权利要求
1.一种基于视觉的手势识别方法，其特征在于，所述方法包括 接收图像帧；从所述图像帧提取手部轮廓图像； 计算手部轮廓图像的重心； 取得在手部轮廓图像的轮廓上的多个轮廓点； 计算所述重心和所述多个轮廓点之间的距离；以及根据所述多个距离的第一特征函数来识别手势。
2.如权利要求1项所述的基于视觉的手势识别方法，其中，识别手势的步骤进一步包括设置参考点；计算所述重心与所述参考点之间的第一线； 计算所述重心与每个轮廓点之间的第二线； 计算第一线和第二线之间的角度；并将第一特征函数定义为所述角度和所述距离的函数。
3.如权利要求2项所述的基于视觉的手势识别方法，其中，识别手势的步骤进一步包括提供记录多个预定义手势的第二特征函数的数据库； 计算第一特征函数和第二特征函数之间的成本值；并根据成本值，从多个预先定义手势中选择一个做为所述手势。
4.如权利要求2项所述的基于视觉的手势识别方法，其中，识别手势的步骤进一步包括确定第一特征函数中是否存在尖峰；和如果第一特征函数中存在至少一个尖峰，则根据第一特征函数的尖峰的数量和位置来确定所述手势。
5.如权利要求4项所述的基于视觉的手势识别方法，进一步包括 如果第一特征函数中不存在尖峰，则确定所述手势是握拳姿势。
6.如权利要求4项所述的基于视觉的手势识别方法，进一步包括根据尖峰数量来确定所述手势的伸出的手指数量。
7.如权利要求4项所述的基于视觉的手势识别方法，进一步包括根据尖峰位置来确定所述手势的手部方向。
8.一种基于视觉的手势识别系统，所述系统包括 图像捕捉单元，接收图像帧；图像处理单元，从所述图像帧提取手部轮廓图像，并计算手部轮廓图像的重心； 数据处理单元，取得位于手部轮廓图像的轮廓上的多个轮廓点，并计算所述重心和所述多个轮廓点之间的多个距离，以及手势识别单元，根据所述多个距离的第一特征函数来识别手势。
9.如权利要求8所述的基于视觉的手势识别系统，其中，数据处理单元进一步计算第一线和多个第二线之间的角度，并将第一特征函数定义为所述角度和所述多个距离的函数，其中，第一线连接所述重心和参考点，每一个第二线连接所述重心和每一个轮廓点。
10.如权利要求9所述的基于视觉的手势识别系统，进一步包括数据库，记录多个预定义手势的第二特征函数，其中，手势识别单元进一步计算第一特征函数和第二特征函数之间的成本值，并根据所述成本值，将多个预先定义手势中的一个选择为所述手势。
11.如权利要求9所述的基于视觉的手势识别系统，其中，手势识别单元进一步确定第一特征函数中是否存在至少一个尖峰，并根据第一特征函数的尖峰数量和位置来识别所述手势。
12.如权利要求11所述的基于视觉的手势识别系统，其中，如果第一特征函数中不存在尖峰，则手势识别单元确定所述手势是握拳姿势。
13.如权利要求11项所述的基于视觉的手势识别系统，其中，手势识别单元根据尖峰的数量确定伸出的手指数量，并根据尖峰的位置来确定手势的手部方向。
14.一种三维手势识别系统，其特正在于，所述系统包括第一图像捕捉单元，接收第一图像帧；第二图像捕捉单元，接收第二图像帧；图像处理单元，分别从第一图像帧和第二图像帧提取第一手部轮廓图像和第二手部轮廓图像，并计算第一手部轮廓图像的第一重心，以及第二手部轮廓图像的第二重心；数据处理单元，获得位于第一手部轮廓图像的轮廓上的多个第一轮廓点，且取得位于第二手部轮廓图像的轮廓上的多个第二轮廓点，并计算第一重心和多个第一轮廓点之间的多个第一距离，并计算第二重心和所述多个第二轮廓点之间的多个第二距离；手势识别单元，根据所述多个第一距离的第一函数特性识别出第一手势，并根据所述多个第二距离的第二函数特性识别出第二手势，并根据第一手势和第二手势判断三维手势。
15.如权利要求14所述的三维手势识别系统，其中，手势识别单元根据第一特征函数的数量和至少一个尖峰位置识别第一手势，并根据第二特征函数的数量和至少一个尖峰位置识别第二手势。
全文摘要
公开了一种三维手势识别系统以及基于视觉的手势识别方法。所述方法包括接收图像帧；从所述图像帧提取手部的轮廓图像；计算所述手部轮廓图像的重心；在手部轮廓图像的轮廓上取得多个轮廓点；计算重心和所述多个轮廓点之间的多个距离；根据所述多个轮廓点的第一特征函数识别手势。在实施例中，可以根据第一特征函数数量和至少一个尖峰的位置来确定手指数量和手势方向。
文档编号G06F3/01GK102236412SQ20101017420
公开日2011年11月9日 申请日期2010年4月30日 优先权日2010年4月30日
发明者王静炜, 罗仲成 申请人:宏碁股份有限公司