专利名称：基于手部运动变化的指势判别方法
技术领域：
本发明涉及一种基于手部运动变化的指势判别方法，用于视频数字图像分析与理 解，属于智能信息处理技术领域。
背景技术：
人机交互技术一直是计算机研究领域的前沿课题。早期的人机交互主要通过键 盘、鼠标等硬件设备，实现人和计算机之间的交流与通信。随着计算机技术的快速发展，国 内外越来越多的研究者致力于研究更加符合人类自然交流习惯的新颖人机交互技术，即基 于人体生物学特征的人机交互技术。手势是一种自然、直观、易于学习的人机交互模式，它 可以为使用者提供与计算机之间自然的交互手段。但由于人手为非刚体，手势也具有时间 和空间上的多样性和多义性，导致手势识别困难。相对于手势的多样性和多义性，指势易于 理解。指势是人们日常生活中用手指对空间感兴趣目标的反映，是人类语系发展和个体发 生学的重要先驱，可揭示人类社会智力，是一种理想的自然人机交互模式。基于指势进行人 机交互，则可充分利用人类的日常技能，摆脱目前使用常规输入设备(如键盘、鼠标器和触 摸屏等)进行输入的束缚，其中，有效进行指势人机交互的关键是指势判别。目前可采用的指势判别方法主要有(1)模板匹配，该方法简单，易于理解，但由 于指势手与摄像机之间存在角度差异，导致指势具有不同姿态，因此，需要设置多个模板， 且实时性不高；( 神经网络方法，该方法具有强的分类特性及抗干扰特性，但由于其处理 时间序列的能力不强，主要用于静态指势识别；(3)隐马尔科夫模型方法，该方法具有时间 尺度不变性以及可自动分割和分类，但由于其拓扑结构的一般性，导致其在训练和识别时 计算量大，且需计算大量的状态概率密度，难以满足实时性要求。
发明内容
本发明的目的在于针对目前指势判别方法计算复杂、实时性差，提供了一种基于 手部运动变化的指势判别方法，根据指势用户在指向目标时，指势手臂具有明显运动变化 特征，可在多种条件下实现指势判别。为达到上述目的，本发明的构思是采用背景差分法，提取前景对象，运用肤色分 割方法，提取前景对象的手部区域，根据指势用户在指向目标时，指势手臂具有运动明显至 相对静止的变化特征，自动判别指势。根据上述发明构思，本发明采用下述技术方案
一种基于手部运动变化的指势判别方法。它是根据指势中的手臂运动变化特征，自动 判别指势，具体步骤如下
1)启动指势图像采集系统采集视频图像；
2)获取背景图像
连续采集不包含用户的场景图像，当设定时间间隔内两图像差小于设定图像差阈值 时，则将该时间间隔内的一幅图像作为背景图像，否则重新采集，直到满足设定的时间间隔内的两图像差小于设定图像差阈值；
3)前景对象分割
由摄像机采集的当前帧图像与步骤2)获取的背景图像相减，分割出前景对象区域；
4)提取手部区域；
5)指势判别。上述步骤4)提取手部区域的具体操作步骤如下
(1)彩色空间转换，计算色彩值Cr，Cb由RGB彩色空间的红/P、绿仏蓝i 三分量，计算 YCbCr色彩空间的色彩值Cr，Cb ..
Cr = 0. 5X7 - 0. 4187XG - 0. 0813X召 Cb = -0. 1687X7 - 0. 3313XG + 0. 5X^
(2)肤色区域提取分别确定色彩值fr阈值T\、T2’Cb阈值T^VmCr/Cb的比值阈 值T15，将满足下式的所有像素组成的区域，确定为肤色区域S
权利要求
1.一种基于手部运动变化的指势判别方法，其特征在于具体步骤如下1)启动指势图像采集系统采集视频图像；2)获取背景图像连续采集不包含用户的场景图像，当设定时间间隔内两图像差小于设定图像差阈值 时，则将该时间间隔内的一幅图像作为背景图像，否则重新采集，直到满足设定的时间间隔 内的两图像差小于设定图像差阈值；3)前景对象分割由摄像机采集的当前帧图像与步骤幻获取的背景图像相减，分割出前景对象区域；4)提取手部区域；5)指势判别。
2.根据权利要求1所述的基于手部运动变化的指势判别方法，其特征在于所述步骤4) 提取手部区域的具体操作步骤如下(1)彩色空间转换，计算色彩值Cr，Cb由RGB彩色空间的红/P、绿仏蓝i 三分量，计算 YCbCr色彩空间的色彩值Cr，Cb ..Cr = 0. 5X7 - 0. 4187XG - 0. 0813X召Cb = -0. 1687X7 - 0. 3313XG + 0. 5X^(2)肤色区域提取分别确定色彩值fr阈值T\、T2’Cb阈值T^VmCr/Cb的比值阈 值T15，将满足下式的所有像素组成的区域，确定为肤色区域SS= (J\<Cr ( T2) η (r3T1) η {Cr/Cb 彡 T5)其中，η为“逻辑与”操作符；(3)提取可能的指势用户对象的肤色区域将同时满足步骤；3)与步骤( 的图像区域， 作为可能的指势用户对象的肤色区域；(4)提取手部区域对步骤(3)的二值图像进行连通区域搜索，计算连通区域高&与宽 5；的比值4/5；，以及连通区域中的孔洞数//和连通区域大小r，将满足下式的所有像素组成 的区域视为非手部区域，从步骤(3)的二值图像区域中剔除；F 二 ( S1ZSwT1 ) η Q{ >1) η r<r8其中，r6、T1为S1ISv的比值阈值，T8为连通区域大小阈值。
3.根据权利要求1所述的基于手部运动变化的指势判别方法，其特征在于所述步骤5) 指势判别的具体操作步骤如下(1)将平面图像按角度划分为0° 360°；(2)运动手部区域确定对步骤4)的手部区域，统计其连续运动方向在角度小至角度 為范围内的帧数#3，若#3>#。，则判定该手部区域为运动手部区域，其中，#。为帧数阈值；(3)指势动作判别对步骤(2)确定的手部区域，统计其在随后时间内处于连续静止时 的帧数#b，若#b> M1，则判定用户对象发生了指势动作，其中，见为帧数阈值。
全文摘要
本发明涉及一种基于手部运动变化的指势判别方法。它是根据指势中的手臂运动变化特征，自动判别指势。采用背景差分法，提取前景对象，运用肤色分割方法，提取前景对象的手部区域，根据指势用户在指向目标时，指势手臂具有运动明显至相对静止的变化特征，自动判别指势。本发明方法不需要特定的硬件支持以及限定用户活动范围等约束，方法简便、灵活、易实现。
文档编号G06K9/00GK102122345SQ201110042470
公开日2011年7月13日 申请日期2011年2月22日 优先权日2011年2月22日
发明者管业鹏, 贾新丽 申请人:上海大学