专利名称：一种实时手势跟踪方法及跟踪系统的制作方法
技术领域：
本发明涉及视频运动图像数据处理及机器视觉领域，特别涉及一种利用手的皮肤颜色和手势的运动信息混杂实现手势跟踪的方法和实现该方法的系统。
背景技术：
实时的手势跟踪算法一直是图像处理和机器视觉领域研究的热点问题，同时也是难点问题，尽管已经提出了一系列的跟踪算法，并且取得了较好的效果，中国专利公开号 CN102053702A，就公开了一种动态手势控制系统与方法。但这些跟踪方法都存在一定的缺陷，如camshift方法只用于了肤色信息，导致手势的准确跟踪存在问题，因而影响人机交互技术的发展，究其原因是人的手势具有多样性和复杂性，另外各人所处的环境差异很多， 因此，如何在复杂的背景中实现手目标的准确跟踪至关重要。关于手势跟踪算法，主要有光流法、基于肤色信息的跟踪方法和camshifft方法等。光流是空间运动物体在观测成像面上的像素运动的瞬时速度，光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。光流场(optical flow field)是指图像灰度模式的表观运动。它是一个二维矢量场，它包含的信息即是各像点的瞬时运动速度矢量信息，研究光流场的目的就是为了从序列图像中近似计算不能直接得到的运动场。当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜(即图像平面)，好像一种光的“流”，故称之为光流(optical flow) 0 光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。目前手势跟踪算法主要是分成三类，一类是基于肤色信息的手势跟踪算法，基于肤色特征的手势检测方法有三个缺陷，一是光照对肤色影响很大，导致手势检测在一些情况下，完全失效；二是在实际过程中，人脸等也会作为目标进入检测系统中；三是当背景中存在和肤色相关的背景时，背景也会被认为是目标；另一类也是肤色信息的改进型即 camshift方法，由于利用了 meanshift算法，其跟踪性能比第一类要有提高，但当有肤色干扰时，跟踪精度有会明显下降；基于光流场的光流法对目标跟踪有好的效果，对光照变化较鲁棒，同时背景的变化对其影响较少，因此成为了目标跟踪的首选，在实际应用中，由于遮挡性、多光源、透明性和噪声等原因，使得光流场基本方程的灰度守恒假设条件不能满足， 不能求解出正确的光流场，同时大多数的光流计算方法相当复杂，计算量巨大，不能满足实时的要求，因此一般不被对精度和实时性要求比较高的监控系统所采用。
发明内容
本发明通过图像传感器获取图像信息，利用相应的处理单元完成帧间图像信息提取，实时统计不变的背景和运动的物体，减少背景对跟踪的影响，利用肤色信息和人脸检测技术实现对背景的再分离，然后利用快速的KLT跟踪算法完成目标的准确跟踪，从而实现基于肤色和运动信息的混杂实时手势跟踪系统。本发明为实现其目的而采用的技术方案是一种实时手势跟踪方法，包括以下步骤步骤A、利用图像传感器单元获取目标的彩色影像；步骤B、以提高图像质量为目标，对影像进行处理；步骤C、从影像中的每帧图像中区分目标与背景；步骤D、在目标中剔除人脸，目标中剩余部分即为手势；步骤E、利用光流法完成手势跟踪，并对系统的可信度进行评估。进一步的，上述的实时手势跟踪方法中所述的步骤A中，图像传感器为摄像头或者其它网络摄像机。进一步的，上述的实时手势跟踪方法中所述的步骤A中，所述的目标是指人像。进一步的，上述的实时手势跟踪方法中所述的步骤B中对影像处理包括对视频信号进行除噪和放大。进一步的，上述的实时手势跟踪方法中所述的步骤C中利用先验的肤色信息完成背景与人像目标的分离。进一步的，上述的实时手势跟踪方法中所述的步骤C中包括以下分步骤CO1、将步骤B中处理后的影像中的每一帧图像转化到HSV空间；C02、在HSV空间里，利用先验肤色信息，确定每一帧图像中的肤色区域，并将非肤色区域剔除。进一步的，上述的实时手势跟踪方法中所述的步骤E中并对系统的信度进行评估考虑到以下几点肤色特征信息的条件；非人脸；包含运动信息；前一帧跟踪区域与当前帧的区域要具有相似性。本发明还提供一种实时手势跟踪的系统，包括显示影像及图形界面影像显示单元、获取视觉信息的图像感应单元、图像处理单元；运动信息统计单元、人脸检测单元、肤色提取单元、KLT跟踪单元和综合集成单元；所述的图像感应单元的输出接所述的图像处理单元；所述的运动信息统计单元的输入端与所述的图像处理单元的输出端相连利用帧间信息完成运动信息的统计，去除不动的背景；所述的人脸检测单元的输入端与所述的图像处理单元的输出端相连，利用人脸检测技术，实现人脸的提取；所述的肤色提取单元的输入端与所述的图像处理单元的输出端相连，利用肤色特征信息，去除背景；所述的KLT跟踪单元的输入端分别与所述的图像处理单元的输出端、所述的运动信息统计单元的输出端和所述的人脸检测单元的输出端相连，实现目标的跟踪；所述的综合集成单元的输入端分别与所述的图像处理单元的输出端、所述的运动信息统计单元的输出端、所述的人脸检测单元的输出端的和所述的KLT跟踪单元的输出端相连，其输出端与影像及图形界面影像显示单元相连；利用肤色特征信息、人脸检测和运动信息，对跟踪目标进行可信度评估。本发明利用在影像显示设备上的图像传感和处理单元，通过对运动信息统计、肤色提取技术、KLT跟踪技术的综合集成，完成手势的实时跟踪，从而实现基于肤色信息和运动信息的混杂实时手势跟踪系统设计。
图1是本发明系统框图。图2是本发明的流程图。图3是肤色提出流程。图4是KLT跟踪目标流程图。图5是本发明实施例流程图。
具体实施例方式实施例1，本实施例通过图像传感器获取图像信息，利用相应的处理单元完成帧间图像信息提取，实时统计不变的背景和运动的物体，减少背景对跟踪的影响，利用先验的肤色信息和人脸检测技术实现对背景的再分离，然后利用快速的KLT跟踪算法完成目标的准确跟踪，从而实现基于肤色和运动信息的混杂实时手势跟踪系统。本实施例是一种实时手势跟踪系统，其结构方框图如图1所示，的主要构成包括影像显示单元负责显示影像及图形界面，一般可以说是一个显示器，比如电视机或者计算机的显示器。普通图像感应单元负责获取视觉信息，比如摄像机或者网络摄像机等，能够获得目标的影像。图像处理单元负责对上面影像中的每一帧图像进行处理，主要就是滤波和放大， 滤波可以滤除噪声，放大使有用信号增大，图像感应单元摄取的是由一帧帧图像组成的影像，将每一帷幄图像去噪与目标增强，为下一步的目标的有效提取和提取特征信息提供保障。运动信息统计单元利用帧间信息完成运动信息的统计，去除不动的背景，由于不运动的物体在各帧之间的图像是不变的，因此两帧一差分就只有运动的物体存在信息，其他会接近0，统计运动图像的大小，防止噪声对其的影响。人脸检测单元利用人脸检测技术，实现人脸的提取，减少人脸对跟踪系统的影响。本实施例利用Opencv的人脸检测技术，完成人脸的检测，确定人脸在一帧中的位置，以便去除人脸的影响。肤色提取单元利用肤色特征信息，负责部分背景的去除，这里只能去除与肤色不相类似的背景信息，与肤色相似的背景如人脸不能去除，需要人脸检测单元检测出来以后再去除，最后才能留下的是手势，也有一部分类似皮肤的背景是不能去除的。KLT跟踪单元实现目标的跟踪，流程图如图4所示。综合集成单元利用肤色特征信息、人脸检测和运动信息，对跟踪目标进行可信度评估，从而保证跟踪的可靠性。这里评估主要是它必须满足四个条件一是肤色特征信息的条件，二是非人脸，三是包含运动信息，四是前一帧跟踪区域与当前帧的区域要具有相似性。本实施例的主要步骤如图2所示，包括1、图像传感器单元获取视觉信息；2、图像处理单元以提高图像质量为目标，完成图像的降噪和增强，这里增强的目的是突出目标；主要进行滤波和放大。3、运动信息统计单元以提取目标为目的，从而区分目标与背景；这里主要是将运动的目标进行统计。4、人脸检测单元，负责人脸的提取，减少人脸对跟踪的影响；本实施例利用 Opencv的人脸检测技术，完成人脸的检测，确定人脸在一帧中的位置，以便去除人脸的影响。5、肤色提取单元，利用先验的肤色信息完成背景目标的分离，流程图如图3所示， 将彩色图像转化到HSV空间中，利用先验的肤色信息确定肤色的区域，剔除非肤色的区域。6、KLT跟踪单元，利用光流法，完成手势目标的跟踪；这里光流法如 << 宇航学报 2011年第7期中的文章 << 一种基于SIFT和KLT相结合的特征点跟踪方法研究 >> 所介绍的。7、综合集成单元，利用人脸检测信息、肤色信息和运动信息，完成跟踪系统可信度评估。8、用户界面单元用于显示图像处理效果和操作接口。本发明的一个较佳的实施例步骤如图5所示1、显示设备单元显示用户图形界面；2、图像传感单元获取用户所在环境图像信息；3、图像处理单元实现图像的降噪和增强等预处理；4、运动信息统计单元实现动与静目标分离；5、人脸检测单元主要是利用AdaBoost分类器完成人脸检测，减少人脸对手势的影响。因为人脸也被会识认为是人手，为了减少其影响，要进行检测，检测完后，是人脸的部分去除；7、肤色提取单元，主要是利用先验的肤色信息完成背景与目标的分离，减少其运动物体对跟踪的影响；8、KLT跟踪单元主要是通过利用特征信息来实现目标的准确跟踪；9、综合集成单元，通过凭借人脸检测信息、肤色信息和运动信息，完成跟踪系统可信度评估，从而保证跟踪系统的可靠性。
权利要求
1.一种实时手势跟踪方法，其特征在于包括以下步骤步骤A、利用图像传感器单元获取目标的彩色影像； 步骤B、以提高图像质量为目标，对影像进行处理； 步骤C、从影像中的每帧图像中区分目标与背景； 步骤D、在目标中剔除人脸，目标中剩余部分即为手势；步骤E、利用光流法完成手势跟踪，并对系统的信度进行评估。
2.根据权利要求1所述的实时手势跟踪方法，其特征在于所述的步骤A中，图像传感器为摄像头或者其它网络摄像机。
3.根据权利要求1所述的实时手势跟踪方法，其特征在于所述的步骤A中，所述的目标是指人像。
4.根据权利要求1所述的实时手势跟踪方法，其特征在于所述的步骤B中对影像处理包括对视频信号进行除噪和放大。
5.根据权利要求1所述的实时手势跟踪方法，其特征在于所述的步骤C中利用先验的肤色信息完成背景与人像目标的分离。
6.根据权利要求1所述的实时手势跟踪方法，其特征在于所述的步骤C中包括以下分步骤C01、将步骤B中处理后的影像中的每一帧图像转化到HSV空间； C02、在HSV空间里，利用先验肤色信息，确定每一帧图像中的肤色区域，并将非肤色区域剔除。
7.根据权利要求1所述的实时手势跟踪方法，其特征在于所述的步骤E中并对系统的信度进行评估考虑到以下几点肤色特征信息的条件； 非人脸； 包含运动信息；前一帧跟踪区域与当前帧的区域要具有相似性。
8.一种实时手势跟踪的系统，包括显示影像及图形界面影像显示单元、获取视觉信息的图像感应单元、图像处理单元；其特征在于还包括运动信息统计单元、人脸检测单元、肤色提取单元、KLT跟踪单元和综合集成单元；所述的图像感应单元的输出接所述的图像处理单元；所述的运动信息统计单元的输入端与所述的图像处理单元的输出端相连利用帧间信息完成运动信息的统计，去除不动的背景；所述的人脸检测单元的输入端与所述的图像处理单元的输出端相连，利用人脸检测技术，实现人脸的提取；所述的肤色提取单元的输入端与所述的图像处理单元的输出端相连，利用肤色特征信息，去除背景；所述的KLT跟踪单元的输入端分别与所述的图像处理单元的输出端、所述的运动信息统计单元的输出端和所述的人脸检测单元的输出端相连，实现目标的跟踪；所述的综合集成单元的输入端分别与所述的图像处理单元的输出端、所述的运动信息统计单元的输出端、所述的人脸检测单元的输出端的和所述的KLT跟踪单元的输出端相连，其输出端与影像及图形界面影像显示单元相连；利用肤色特征信息、人脸检测和运动信息，对跟踪目标进行可信度评估。
全文摘要
本发明公开了一种实时手势跟踪方法和系统，通过图像传感器获取图像信息，利用相应的处理单元完成帧间图像信息提取，实时统计不变的背景和运动的物体，减少背景对跟踪的影响，利用肤色信息和人脸检测技术实现对背景的再分离，然后利用快速的KLT跟踪算法完成目标的准确跟踪，从而实现基于肤色和运动信息的混杂实时手势跟踪系统。
文档编号G06K9/00GK102509079SQ20111034769
公开日2012年6月20日 申请日期2011年11月4日 优先权日2011年11月4日
发明者刘远民 申请人:康佳集团股份有限公司