专利名称：一种基于计算机视觉的手势操控系统的制作方法
技术领域：
本实用新型涉及一种基于视觉的计算机输入设备，具体地说是一种基于计算机视觉的手势操控系统。
背景技术：
在输入设备领域，传统的鼠标键盘等输入设备很难满操作沉浸感和趣味性。而人们在平时的人际交流过程中，除了使用语言、文字沟通之外，还常常借助手势来完成交流任务。因为人手不仅包含大量的符合人类认知习惯的交互信息，而且由于人手的连续运动，还存在三维空间位置信息，因此完全可以将人手位置和手势结合起来，作为一个不可分割的整体进行研究，从而发现和发掘一种全新的输入方式即手势操控，也就是系统的核心所在。
实用新型内容本实用新型所要解决的技术问题是提供一种基于计算机视觉的手势操控系统，能够通过人的手势操作计算机，设置方便，操作简易。本实用新型为解决上述技术问题所采用的技术方案是一种基于计算机视觉的手势操控系统，由图像采集装置、图像处理装置和交互操作设备组成，所述的图像处理装置由人手定位模块、热点注册模块和手势识别模块组成，图像采集装置由两个高速摄像机、一个红外探测器、图像处理芯片和支架组成，红外探测器和两个高速摄像机的输出端分别与人手定位模块连接，人手定位模块的输出端分别与热点注册模块和手势识别模块连接，图像采集装置中的一个高速摄像机的输出端还与手势识别模块连接，手势识别模块和热点注册模块的输出端分别连接至交互操作设备。所述的两个高速摄像机和一个红外探测器呈三角形设置在支架上，并且两个高速摄像机平行设置。所述的红外探测器由红外发射器和红外接收器组成。所述的交互操作设备为带有显示器的计算机。本实用新型的有益效果是本技术方案提供了一种全新的输入方式，能够实现利用手势操作计算机。不依助于标志物即可达到对手势的定位、识别操作，设置方便，操作简易。本系统采用标准的通信协议进行设计，提供灵活的接口，能够灵活调用自有服务，实现系统内部各模块之间的良好对接。
图1是本实用新型的结构示意图；图2是图像采集装置的结构示意图；图3是图像采集装置中电路连接方式示意图。图中标记1、图像采集装置，2、交互操作设备，3、图像处理装置，4、人手定位模块， 5、热点注册模块，6、手势识别模块，7、高速摄像机，8、红外探测器，9、支架，10、图像处理芯片，11、红外发射器，12、红外接收器。
具体实施方式
如图所示，一种基于计算机视觉 的手势操控系统，由图像采集装置1、图像处理装置3和交互操作设备2组成，所述的图像处理装置3由人手定位模块4、热点注册模块5和手势识别模块6组成，图像采集装置1由两个高速摄像机7、一个红外探测器8、图像处理芯片10和支架9组成，红外探测器8和两个高速摄像机7的输出端分别与人手定位模块4连接，人手定位模块4的输出端分别与热点注册模块5和手势识别模块6连接，图像采集装置 1中的一个高速摄像机7的输出端还与手势识别模块6连接，手势识别模块6和热点注册模块5的输出端分别连接至交互操作设备2。所述的两个高速摄像机7和一个红外探测器8呈三角形设置在支架9上，并且两个高速摄像机7平行设置。两个高速摄像机7均由图像处理芯片10控制，并将拍摄到的图像信息传送至图像处理芯片10，从而得到左右图像对。所述的红外探测器8由红外发射器11和红外接收器12组成，红外发射器11由图像处理芯片10控制负责发出红外信号。红外接收器12由图像处理芯片10控制负责接收红外信号，并将接收到的信号传送至图像处理芯片10，从而得到红外探测图像。所述的交互操作设备2为带有显示器的计算机。在本实用新型中，图像采集装置1用于采集操作者手部的图像信息，人手定位模块4根据采集到的图像信息，利用CamShift算法跟踪人手目标，并获得左右图像中的人手质心的像素坐标，然后根据成像模型和红外探测数据计算出质心点的三维坐标。图像采集装置1中的一个高速摄像机采集到的图像信息传送至手势识别模块6后，先将采集到的RGB 图像转换为HSV图像，然后由面积和人手定位模块4计算出的人手质心点位置两个信息，提取人手轮廓，在轮廓点集中查找凸包，通过计算原始轮廓面积与凸包面积的比值识别手势。 热点注册模块5用于实现图像采集装置1坐标系与交互操作设备2的操作系统坐标系的转换，从而根据手势对操作系统的相应位置进行操作。本实用新型，通过对所要设计的系统功能需求分析，设计出来的系统主要包含六大部分操作者、图像采集装置、人手定位模块、热点注册模块、手势识别模块和交互操作设备。六部分相互作用，构成一个闭合回路。其中(1)操作者真实环境当中的操作者是整个系统的输入端，在系统初始阶段，操作者需要将人手(不需要在手部携带任何标记物的自然手)放入到专用图像采集设备有效成像焦距范围内。根据具体Windows应用的不同，系统在每帧运行中，通过改变专用图像采集设备前方手型和人手的位置来驱动Windows环境当中的热点做相应的变化。由此来达到间接操作Windows环境的作用。(2)图像采集装置主要功能是做为图像采集源，时实捕获摄像头前方的图像。由于在人手定位中要利用到计算机视觉和红外探测的相关原理，所以此模块要提供的不能是一张图片，而应当是同一人手的左右两幅图像对和红外探测深度图。可将两部型号相同的专用图像采集设备和一个红外探测器固定在一个特质的支架上面，并调节好重叠的成像区域。本系统通过接收左右摄像头和红外探测器的图像，进行分析计算，得到左右图像对和红外深度图，为人手定位模块以及手势识别模块提供数据基础。[0021](3)人手定位模块此模块是系统的核心模块之一，主要功能是在每一帧中，都需要分析处理图像采集模块捕捉到的左右图像对和红外探测图像。首先从视频流中跟踪左右图像中的人手目标，然后将左右图像中的人手质心做为目标匹配点运用计算机视觉原理， 以及红外深度探测图，最终计算出人手质心点三维坐标；当然，此阶段还有是个非常重要的任务，那就是要对双目专用图像采集设备进行标定，标定的目的就是要获得每部专用图像采集设备当中的一些必要参数，包括专用图像采集设备的内参数、外参数和镜头的畸变系数等。如果镜头的畸变比较严重，还需要对左右图像对进行立体矫正。标定的精度将直接影响到人手定位的精准度。根据计算机双目视觉原理，结合红外深度探测，通过Camshift算法，精确计算出目标相对于左(右)摄像机镜头光心位置的三维坐标。主要是通过对采集的图片进行处理以恢复原 始图像相应的三维信息。而双目视觉是计算机视觉的一个重要组成部分，它通过固定在不同位置的两台摄像机连续拍摄同一场景，然后计算同一空间点在两幅图像中的视差从而得到该点的三维坐标。最后结合红外探测数据，使用灰度映射自适应增强算法，计算出合适的深度范围，从而减少外界干扰，达到主要有效区域控制。(4)热点注册模块人手定位模块计算出的人手质心点坐标是相对应左(右)专用图像采集设备镜头光心的，要实现与Windows环境的交互，人手质心点三维坐标就需要与 Windows环境当中的某一点有一个对应关系，即需要一个从左(右)专用图像采集设备坐标系到Windows环境坐标系的转化。此步骤为操作者完成真实人手与虚拟世界中的虚拟物体交互提供了坚实的基础。(5)手势识别模块此模块也是系统的核心模块之一，主要功能就是识别镜头前方手势。人手定位模块要用到两部专用图像采集设备，因为需要获取左右图像对中人手质心点信息；而手势识别模块只需要用到一部专用图像采集设备，通过对这一部摄影机抓取的图像运用图像识别的相关理论，从而识别出特定的手势。另外，此模块还需要支持一个可扩展的手势库，这样根据具体应用的不同，可以不断的定义出特定的手势添加到手势库中， 满足不同的应用需求。系统使用了 OpenCV图像库提供的轮廓检测函数cvCanyO (其原理是对Carmy算法的实现)来检测二值图像当中的所有边界，并根据边界区域的不同将他们组合成不同的轮廓。最后将得到的轮廓与手势库进度对比，实现手势的识别。(6)交互操作设备以Windows操作系统为例，为了最终完成与Windows的交互， 还需要在Windows环境中定义多个热点，通过定义操作规则，所有与Windows的交互，包含抓取、移动、释放操作等都将通过热点完成的。热点注册模块和手势识别模块可以得到人手在Windows环境中的位置信息和手势信息，可以完全借助两部分信息来驱动虚拟手实现相应的交互操作。最终，真实环境中的人手就与Windows环境中的热点存在一个对应关系，当真实环境中的人手运动或改变手势，热点也必将做相应的位置和手势的改变。如此，在结合相应的操作规则，就可以实现用真实手驱动热点完成抓取、移动等与Windows的交互操作。本实用新型中的各个功能模块可以采用在计算机中设置相应的程序来实现。本实用新型的手势操控系统考虑了系统在Windows环境下的系统安全，组成系统的各个设备皆采取了有效的措施，并通过创建威胁模型发现和处理潜在安全问题，依据 Windows安全模型，使用安全编码保障系统的稳定性和安全性。本系统在设计、施工和设备选型上都遵循先进性和实用性原则，与其他系统的建设在技术平上保持相对的时代同步性，以保障系统的生命周期尽可能地延长，保证与现有或在可预见的将来可以采用的设备相兼容。系统在结构设计和功能设计方面，都充分采用了先进体制和技术，在安全可靠运行的前提下，扩展更多更丰富的功能。系统设计和设备选型充分注重实用功能、降低总体投资，求得先进性与经济性的完美统一，做到设备性能/价格比的最好综合，一切从管理的实际需求出发。同时利用现有的环境和现有设备进行整合改造。本系统以提高整体运行效率为出发点，根据简便性原则，针对实际的需求 和现有的环境进行设计，安装简单，设置方便， 操作简易。
权利要求1.一种基于计算机视觉的手势操控系统，其特征在于由图像采集装置(1)、图像处理装置(3)和交互操作设备(2)组成，所述的图像处理装置(3)由人手定位模块(4)、热点注册模块(5)和手势识别模块(6)组成，图像采集装置(1)由两个高速摄像机(7)、一个红外探测器(8)、图像处理芯片(10)和支架(9)组成，红外探测器(8)和两个高速摄像机(7)的输出端分别与人手定位模块(4)连接，人手定位模块(4)的输出端分别与热点注册模块(5) 和手势识别模块(6)连接，图像采集装置(1)中的一个高速摄像机(7)的输出端还与手势识别模块(6)连接，手势识别模块(6)和热点注册模块(5)的输出端分别连接至交互操作设备 (2)。
2.如权利要求1所述的一种基于计算机视觉的手势操控系统，其特征在于所述的两个高速摄像机(7 )和一个红外探测器(8 )呈三角形设置在支架(9 )上，并且两个高速摄像机 (7)平行设置。
3.如权利要求1所述的一种基于计算机视觉的手势操控系统，其特征在于所述的红外探测器(8)由红外发射器(11)和红外接收器(12)组成。
4.如权利要求1所述的一种基于计算机视觉的手势操控系统，其特征在于所述的交互操作设备(2)为带有显示器的计算机。
专利摘要一种基于计算机视觉的手势操控系统，由图像采集装置、图像处理装置和交互操作设备组成，图像处理装置由人手定位模块、热点注册模块和手势识别模块组成，图像采集装置由两个高速摄像机、一个红外探测器、图像处理芯片和支架组成，红外探测器和两个高速摄像机的输出端分别与人手定位模块连接，人手定位模块的输出端分别与热点注册模块和手势识别模块连接，一个高速摄像机的输出端还与手势识别模块连接，手势识别模块和热点注册模块的输出端分别连接至交互操作设备。提供了一种全新的输入方式，能够实现利用手势操作计算机。不依助于标志物即可达到对手势的定位、识别操作，设置方便，操作简易。
文档编号G06F3/01GK202110488SQ20112014919
公开日2012年1月11日 申请日期2011年5月12日 优先权日2011年5月12日
发明者郭晓光 申请人:河南安瑞数字科技有限公司