多个级别，每个 特征值对应于一个量化的级别，并且量化后的特征向量对应于观测空间中的一观测状态。
[0017] 根据本发明的手掌开合动作识别方法，其中，所述观察量序列的长度由开合手势 图像帧数频率直方图及所指定的置信水平共同决定。
[0018] 根据本发明的手掌开合动作识别方法，其中，所述多个HMM包括至少三个独立手 势HMM，分别为开手势动作HMM、合手势动作HMM以及姿态没变化时的非开非合HMM。
[0019] 根据本发明的手掌开合动作识别方法，其中，所述每个独立手势HMM包含N个隐状 态分别对应于手掌开/合手势动作过程中的N种姿态，包括起始姿态、终止姿态及中间N-2 个的过渡姿态，其中N为大于2的正整数。
[0020] 根据本发明的手掌开合动作识别方法，其中，所述每个独立手势HMM都具有自身 的拓扑结构来表明从一个隐状态到另外隐状态或到自身隐状态的状态转移关系。
[0021] 根据本发明的另一个方面，提供了一种检测手掌开合手势动作起始帧和结束帧的 方法，包括：根据上述手掌开合动作识别方法识别手掌开合动作；根据所述手掌开合动作 的识别结果，解码该手势HMM模型来获得与被识别的观察序列匹配的最优的隐状态序列； 以及从所获得的最优的隐状态序列确定出开合手势的起始帧和结束帧。
[0022] 根据本发明的另一个方面，提供了一种手掌开合动作识别系统，包括：手掌图像分 割单元，接收由图像采集单元输入的连续图像帧，采用滑动窗口沿着输入图像序列移动，依 次选择预定数量的连续图像序列作为一个识别单元，并从所选择的每帧图像中分割出手掌 图像；手掌姿态特征提取单元，从每个所分割的手掌形状图像中抽取出代表手掌姿态的多 个特征以便形成属于对应手掌图像的特征向量，并将属于同一识别单元的手掌形状图像的 所抽取的特征向量的序列作为隐马尔科夫模型HMM的观察量序列；HMM概率评估单元，将所 述观察量序列输入多个HMM中的每个独立手势HMM，计算出所述观察量序列属于对应HMM的 概率；以及手势分类器分类单元1050,将所计算的概率作为特征输入分类器识别手势。
【附图说明】
[0023] 通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本 发明的以上和其他目标、特征、优点和技术及工业重要性。
[0024] 图1示出了本发明实施例的一个典型应用场景示例的示意图；
[0025] 图2示出了根据本发明实施例的手掌开合手势动作的示意说明图；
[0026] 图3示出了根据本发明实施例的基于隐马尔科夫模型（HMM)进行手掌开合动作识 别方法的总体流程图；
[0027] 图4A示出了在一定采样率下手掌"开"或"合"手势周期内图像帧数的分布直方 图的一个实例；
[0028] 图4B示意性示出了是对应于图4A的概率分布图；
[0029] 图5A-5F示意性描述了提取描述手掌姿态的特征量的过程；
[0030] 图6示意性表示了一合手势动作过程为例示意性表示HMM隐状态的定义；
[0031] 图7示意性显示了 3个不同手势HMM模型中隐状态转移的拓扑结构；
[0032] 图8示意性描述了手势识别过程；
[0033] 图9示出了根据本发明一个实施例的手势动作合并判别方法的流程图；
[0034] 图10是示出按照本发明实施例的手掌开合手势识别（人机交互）系统的总体硬件 框图。
【具体实施方式】
[0035] 为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。
[0036] 图1示出了本发明实施例的一个典型应用场景示例的示意图。。在操作者的正前 方正对操作者位置放置一相机（深度相机或传统相机），操作者面对显示设备，运用他的 手进行各种非接触式远程操作，如本发明所关注的手掌开合手势动作。在这个交互过程中， 无需任何诸如鼠标红外笔等特定的外部辅助设备，只是使用手势并结合当前操作上下文信 息即可。
[0037] 图2示出了根据本发明实施例的手掌开合手势动作的示意说明图。此处的手掌开 合手势动作是一个手掌从姿态"开"到姿态"合"或从"合"到"开"的状态变化序列，包括在 这两者最终状态间逐步变化的半开半合中间状态。"开"姿态为五指张开，"合"为五指闭合 为拳头状或五指汇聚为一点呈爪状。在一个手势周期内通常经历的图像帧数不等，这主要 依赖于操作者动作快慢的习惯和相机的采用速率。以正常的操作速度和30帧/秒采样率 计算，完成单个开/合手手势的图像帧数从2帧到6帧不等。
[0038] 图3示出了根据本发明实施例的基于隐马尔科夫模型（HMM)(将在后面进行简单 介绍）进行手掌开合动作识别方法的总体流程图。如图3所示，在采用该方法的系统启动 之后，开始本发明识别方法。首先，在步骤S31处，通过图像采集单元1010 (将在下面参照 图10描述)，诸如摄像机，拍摄手掌所在区域的场景的图像，并将连续拍摄的图像输入到手 掌图像分割单元或模块1020 (将在下面参照图10描述)。这里输入的图像序列，可以是直 接从拍摄图像或拍摄视频的本地摄像机按时间顺序输入的，也可以是远程通过有线或无线 网络输入的等等。另外，这里的图像可以是深度图像也可以是普通彩色图像。
[0039] 随后，要识别图像中手掌的手势，需要先将手掌从图像中分割出来。因此，从所接 收的图像序列里分割出手掌图像是提取特征前须先完成的步骤。因此，在步骤S32处，手掌 图像分割单元或模块1020接收从图像采集单元1010发送来的连续图像序列，并从所接收 的图像序列里分割出手掌图像，并经过一个长度为K的滑动窗口从手掌图像序列里依次取 出K帧图像组成一个手势识别单元输送到手掌姿态特征提取单元1030(将在下面参照图10 描述)。分割出手掌图像可以采用在深度图上基于深度阈值的方法进行前景分割，也可以采 用诸如肤色检测、或连通域分析的方法等诸多技术来实现手掌图像的分割。无论采用何种 分割技术或使用何种类型的图像，经过分割后，背景或非手掌部分的影响能从输入的图上 去除掉，最终得到比较干净的手掌图像(手腕之上的部分)，以便于从中抽取表征手掌姿态 的特征量。作为本发明的示例，采用了在深度图上基于深度阈值的方法从图像中分割出手 掌图像。
[0040] 之所以采用滑动窗口依次在输入的图像序列上移动以选择出几帧图像当作一个 手势识别单元，是因为开合手势动作是个手掌姿态变化序列。具体而言，本发明是为了识别 一个动作过程，而不是一个瞬间姿态，因此，需要每次识别代表一个动作过程的一组图像。 为此，本发明针对连续的图像帧设置了一个滑动窗口来输入待识别的包含多个连续图像的 识别单元。
[0041] 滑动窗口的长度也就是图像观测序列的长度，该长度是根据一个手势周期内图像 帧数分布图和一给定的置信水平来确定。图4A显示了在采样率为30帧/秒下一个手掌 "开"或"合"手势周期内图像帧数的分布直方图的示意图。对于不同采样率，直方图的分布 会有所不同。如图4A所示，其中每个坚直柱下面的数字表示图像帧数，坚直柱的高度表示 一个手掌开合手势动作需要该图像帧数的统计数值，按从左到右的图面顺序，各个坚直柱 分别表示一个手掌"开""合"手势恰好在1帧图像内完成的情况的统计数值、一个手掌开 合手势恰好在2帧图像内完成的情况的统计数值、一个手掌开合手势恰好在3帧图像内完 成的情况的统计数值、一个手掌开合手势恰好在4帧图像内完成的情况的统计数值、一个 手掌开合手势恰好在5帧图像内完成的情况的统计数值、一个手掌开合手势恰好在6帧图 像内完成的