专利名称：基于CamShift算法与手形遮罩的手识别装置及其方法
技术领域：
本发明涉及虚拟现实与计算机图像学领域，特别涉及一种对视频中的人手部位进行连续 识别与跟踪定位的基于CamShift算法与手形遮罩的手识别装置及其方法。
背景技术：
手识别是人机交互、机器人、计算机视觉以及数字图像处理等领域一个重要内容。对手 的位置进行准确测定与跟踪，在人机交互，手势识别等方面具有重要意义。
手识别与跟踪的方法很多，现有的方法包括基于肤色信息、基于运动信息、基于运动模 型等。目前，中科大的顾理、庄镇泉等人利用光照补偿和基于分类搜索的局部阈值手形提取 方法对手形进行提取，提取效果较好，但未能实现在连续视频中的追踪。哈工大的张良国等 提出了基于hausdorff距离的手识别系统并利用其进行手势识别，但对光照与复杂背景等因 素较敏感。哈工大的孙超、姜立利用FSR传感器检测加支持向量机的方式进行检测，效果较 好但对硬件要求较高。
现有的手识别技术或是技术较复杂，在实时性上有一定缺陷，或是主要运用于单帧的静 态图像，不能对连续视频进行准确性较高的跟踪与识别。本系统提出一种利用Camshift算法 与手形遮罩相结合的手识别方法。该方法针对连续视频，以基于CamShift的颜色分析为主， 结合手形模板的形状分析技术，并利用Haar算法等对视频的干扰成分进行处理与去除，能对 视频中手所在部位进行连续与准确性较高的识别与跟踪。
其中的CamShift是"Continuously Adaptive Mean-SHIFT"的縮写，即连续自适应 Mean-SHIFT算法，是一种基于Mean-SHIFT算法，应用于连续视频的跟踪算法。CamShift基 于随机颜色概率模型，与被跟踪对象的具体形状模型无关。CamShift算法采用了 HSV色彩空 间，受光照等环境因素影响较小，且人手肤色在HSV空间色度值分布鲜明。CamShift分为反 向投影(Back Projection) ， MeanShift算法与CamShift算法三部分。
参考文献[1 ]和[2]公开了 Haar算法。 Paul Viola, Michael J. Jones. Robust Real-Time Face Detection[J]. International Journal of Computer Vision, May 2004， 57: 137-154. Friedman, J. H.， Hastie， T. and Tibshirani， R. Additive Logistic Regression:
4a Statistical View of Boosting. Technical Report[R], Dept. of Statistics, Stanford University, 1998.
有鉴于此，本领域发明人针对上述问题，研发了一种对视频中的人手部位进行连续识别 与跟踪定位的基于CamShift算法与手形遮罩的手识别装置及其方法。
发明内容
本发明的目的在于，提供一种基于C柳Shift算法与手形遮罩的手识别装置及其方法，克 服了现有技术的困难，达到对视频中的人手部位进行连续识别与跟踪定位的目的。
本发明采用如下技术方案
本发明的一种基于CamShift算法与手形遮罩的手识别装置，包括干扰区域去除模块、手
部区域初步追踪模块、图像处理模块以及基于手形模板的识别模块；
所述干扰区域去除模块通过Haar算法识别并去除人脸等包含肤色的干扰部位； 所述手部区域初步追踪模块通过CamShift算法对视频中的手区域进行初步的识别与连续
追踪；
所述图像处理模块对经CamShift处理得到的每一帧，进行图像的二值化、腐蚀、膨胀、 划分出各个连通区域等操作，去除图像噪点；
所述基于手形模板的识别模块利用手形模板对图像进行处理，判断每个连通区域是否为 手区域，确定最终的识别与跟踪区域。
进一步地，所述干扰区域去除模块至少包括Haar算法训练模块以及Haar算法识别模块。
进一步地，所述手部区域初步追踪模块至少包括基于CamShift算法的处理模块和识别模块。
进一步地，所述基于手形模板的识别模块中手形遮罩分为左张开，左合并，右张开，右 合并四种。
进一步地，四种所述手形遮罩再分为旋转O度，正负45度，正负90度五种，共20种遮罩。
本发明的一种基于CamShift算法与手形遮罩的手识别方法，采用上述基于CamShift算 法与手形遮罩的手识别装置，包括以下步骤
1) 采用Haar算法识别脸部区域并加于去除；
2) 采用CamShift算法对图像的手部区域进行初步的识别；
3) 对CamShift算法生成的颜色概率分布图进行二值化、腐蚀、膨胀处理；4) 将处理后的图中满足一定大小的连通区域分割出来，分别与每一个手形遮罩进行相似 度对比，式(1)为计算针对某一手形遮罩的相似度值的公式
A =05/&+S/S2)/2 (1)
其中，/v为相似度值，Si为某连通区域面积，S2为手遮罩面积，S为两者重叠面积， 对每一个手形遮罩计算相应的A值，取所有A中最大值^皿为最终相似度值；
5) 判断所述最终相似度值P-是否大于阈值，若是，则判定为手，标出该连通区域；若
否，则输入下一帧，执行步骤l)。
进一步地，所述步骤l)之前还包括预设阈值。
进一步地，所述步骤4)中的手形遮罩分为左张开，左合并，右张开，右合并四种。 进一步地，四种所述手形遮罩再分为旋转O度，正负45度，正负90度五种，共20种遮罩。
进一步地，所述歩骤5)中当判定为手时，将所述连通区域用方框标出，完成手部位的追
相对于己有的其他方法，本发明创造性地将Haar算法，CamShift算法，手形遮罩处理方 法等计算机视觉与数字图像处理算法结合在一起，集中几种算法的优势，先对图像进行干扰 区域去除，再将基于色彩的识别跟踪与基于形状的识别跟踪算法结合起来，可以对视频中的 手所在区域进行连续跟踪，试验证明，该方法执行效率较高，跟踪准确性较高。相比现有技 术还具有能对连续视频进行准确性较高的跟踪与识别，对光照与复杂背景等因素敏感度低， 降低硬件要求的优点。
以下结合附图及实施例进一步说明本发明。
图1为本发明中基于CamShift算法与手形遮罩的手识别装置的结构示意图； 图2为本发明中基于CamShift算法与手形遮罩的手识别方法的流程图； 图3为实施例1中所用到部分手形模板图。
具体实施例方式
下面通过图1至3，来介绍本发明的一种具体实施例。形遮罩的手识别装置，包括通过数据 线相连并交换数据的干扰区域去除模块、手部区域初步追踪模块、图像处理模块以及基于手 形模板的识别模块。
其中，所述干扰区域去除模块通过Haar算法识别并去除人脸等包含肤色的干扰部位，所 述干扰区域去除模块至少包括Haar算法训练模块以及Haar算法识别模块。
所述手部区域初步追踪模块通过CamShift算法对视频中的手区域进行初步的识别与连续 追踪，所述手部区域初步追踪模块至少包括基于CamShift算法的处理模块和识别模块。
所述图像处理模块对经CamShift处理得到的每一帧，进行图像的二值化、腐蚀、膨胀、 划分出各个连通区域等操作，去除图像噪点；
所述基于手形模板的识别模块利用手形模板对图像进行处理，判断每个连通区域是否为 手区域，确定最终的识别与跟踪区域。所述基于手形模板的识别模块中手形遮罩分为左张开， 左合并，右张开，右合并四种，这四种所述手形遮罩再分为旋转0度，正负45度，正负90 度五种，共20种遮罩。
参见图3，列举了其中的8种 (左合并，0度)、(右合并，0度)； (左张开，0度)、(右张开，0度)； (左合并，90度)、(右合并，90度)； (左合并，45度)、(右合并，45度)。 如图2所示，本发明的一种基于CamShift算法与手形遮罩的手识别方法，采用上述基于 CamShift算法与手形遮罩的手识别装置，包括以下步骤 预设阈值。
1) 采用Haar算法识别脸部区域并加于去除；
2) 采用CamShift算法对图像的手部区域进行初步的识别；
3) 对CamShift算法生成的颜色概率分布图进行二值化、腐蚀、膨胀处理；
4) 将处理后的图中满足一定大小的连通区域分割出来，分别与每一个手形遮罩进行相似 度对比，式(1)为计算针对某一手形遮罩的相似度值的公式
+S/S2)/2 (1)
其中，A为相似度值，Si为某连通区域面积，S2为手遮罩面积，S为两者重叠面积， 对每一个手形遮罩计算相应的A值，取所有A中最大值An^为最终相似度值；手形遮罩分为左张开，左合并，右张开，右合并四种，这四种所述手形遮罩再分为旋转0 度，正负45度，正负90度五种，共20种遮罩。 参见图3，列举了其中的8种 (左合并，0度)、(右合并，0度)；
(左张开，0度)、(右张开，0度)；
(左合并，90度)、(右合并，90度)； (左合并，45度)、(右合并，45度)。
5)判断所述最终相似度值^皿是否大于阈值，若是，则判定为手，将所述连通区域用方
框标出，完成手部位的追踪；若否，则输入下一帧，执行步骤l)。
综上可知，本发明创造性地将Haar算法，CamShift算法，手形遮罩处理方法等计算机视 觉与数字图像处理算法结合在一起，集中几种算法的优势，先对图像进行干扰区域去除，再 将基于色彩的识别跟踪与基于形状的识别跟踪算法结合起来，可以对视频中的手所在区域进 行连续跟踪，试验证明，该方法执行效率较高，跟踪准确性较高。
以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术 人员能够了解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡 依本发明所揭示的精祌所作的同等变化或修饰，仍落在本发明的专利范围内。
权利要求
1、一种基于CamShift算法与手形遮罩的手识别装置，其特征在于包括干扰区域去除模块、手部区域初步追踪模块、图像处理模块以及基于手形模板的识别模块；所述干扰区域去除模块通过Haar算法识别并去除人脸等包含肤色的干扰部位；所述手部区域初步追踪模块通过CamShift算法对视频中的手区域进行初步的识别与连续追踪；所述图像处理模块对经CamShift处理得到的每一帧，进行图像的二值化、腐蚀、膨胀、划分出各个连通区域等操作，去除图像噪点；所述基于手形模板的识别模块利用手形模板对图像进行处理，判断每个连通区域是否为手区域，确定最终的识别与跟踪区域。
2、 根据权利要求1所述的基于CamShift算法与手形遮罩的手识别装置，其特征在于所述干扰区域去除模块至少包括Haar算法训练模块以及Haar算法识别模块。
3、 根据权利要求1所述的基于CamShift算法与手形遮罩的手识别装置，其特征在于-所述手部区域初步追踪模块至少包括基于CamShift算法的处理模块和识别模块。
4、 根据权利要求1所述的基于CamShift算法与手形遮罩的手识别装置，其特征在于所述基于手形模板的识别模块中手形遮罩分为左张开，左合并，右张开，右合并四种。
5、 根据权利要求4所述的基于CamShift算法与手形遮罩的手识别装置，其特征在于四种所述手形遮罩再分为旋转O度，正负45度，正负90度五种，共20种遮罩。
6、 一种基于CamShift算法与手形遮罩的手识别方法，采用如所述权利要求1至5中的任意一项基于CamShift算法与手形遮罩的手识别装置，其特征在于包括以下步骤1) 采用Haar算法识别脸部区域并加于去除；2) 采用CamShift算法对图像的手部区域进行初步的识别；3) 对CamShift算法生成的颜色概率分布图进行二值化、腐蚀、膨胀处理；4) 将处理后的图中满足一定大小的连通区域分割出来，分别与每一个手形遮罩进行相似度对比，式(1)为计算针对某一手形遮罩的相似度值的公式<formula>formula see original document page 2</formula>(1)其中，^为相似度值，Si为某连通区域面积，S2为手遮罩面积，S为两者重叠面积，对每一个手形遮罩计算相应的^值，取所有A中最大值^皿为最终相似度值；5) 判断所述最终相似度值A皿是否大于阈值，若是，则判定为手，标出该连通区域；若否，则输入下一帧，执行步骤l)。
7、 根据权利要求6所述的基于CamShift算法与手形遮罩的手识别方法，其特征在于: 所述步骤l)之前还包括预设阈值。
8、 根据权利要求6所述的基于CamShift算法与手形遮罩的手识别方法，其特征在于: 所述步骤4)中的手形遮罩分为左张开，左合并，右张开，右合并四种。
9、 根据权利要求8所述的基于CamShift算法与手形遮罩的手识别方法，其特征在于: 四种所述手形遮罩再分为旋转O度，正负45度，正负90度五种，共20种遮罩。
10、 根据权利要求6所述的基于CamShift算法与手形遮罩的手识别方法，其特征在于.-所述歩骤5)中当判定为手时，将所述连通区域用方框标出，完成手部位的追踪。
全文摘要
本发明揭示了一种基于CamShift算法与手形遮罩的手识别装置及其方法，包括干扰区域去除模块、手部区域初步追踪模块、图像处理模块以及基于手形模板的识别模块；其方法为1)采用Haar算法识别脸部区域并加于去除；2)采用CamShift算法对图像的手部区域进行初步的识别；3)对CamShift算法生成的颜色概率分布图进行二值化、腐蚀、膨胀处理；4)将处理后的图中满足一定大小的连通区域分割出来，分别与每一个手形遮罩进行相似度对比；5)判断所述相似度值中的最大值是否大于阈值，若是，则判定为手，标出该连通区域；若否，则输入下一帧，执行步骤1)；本发明集中几种算法的优势，对视频中的手所在区域进行连续跟踪，方法执行效率较高，跟踪准确性较高。
文档编号G06K9/00GK101667250SQ20091019698
公开日2010年3月10日 申请日期2009年10月10日 优先权日2009年10月10日
发明者周暖云, 季斐翀, 晋 潘, 涛 陆 申请人:上海水晶石信息技术有限公司