一种虚拟触摸屏的方法、系统及计算设备的制作方法
【专利摘要】本发明适用于计算机处理领域，提供了一种虚拟触摸屏的方法、系统及计算设备。所述方法包括以下步骤：通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手；定位所述人手的指尖位置；根据所述指尖位置判断人手是否接触显示设备屏幕；如果判断出人手接触显示设备屏幕，则模拟触摸事件。本发明不需要使用辅助材料，用手指就可以直接操作计算机，在使用过程中，不受显示器背景画面的影响，也不需要进行复杂的摄像机系统内外参数的标定过程。
【专利说明】一种虚拟触摸屏的方法、系统及计算设备
【技术领域】
[0001]本发明属于计算机处理领域，尤其涉及一种虚拟触摸屏的方法、系统及计算设备。【背景技术】
[0002]随着计算机科学的发展，人机交互的方式更加简单、自然、友好，触摸屏是近些年来新出现的一种电脑输入设备，触摸屏的交互方式十分简单，不用学习，人人都会使用，是触摸屏最大的魔力。常用的触摸屏有电阻式触摸屏和电容式触摸屏。随着计算机视觉技术的发展，也出现了基于视觉的触摸屏。即将目前只具有显示的功能而不具备触摸屏的输入功能的家用电脑的显示器模拟真实的触摸屏，其采用计算机视觉的方法来模拟真实的触摸屏，大致分为两类:一类是使用辅助光进行定位，另一类是用视觉的方法直接寻找手指。
[0003]专利CN200910312205.2公开了一种使用红外光进行辅助定位的虚拟触摸屏系统，使用两组摄像机同时进行拍摄，第一组摄像机设置在目标触摸区域背面，用于采集投射到目标触摸区域的光斑动作信号，第二组摄像机设置在目标触摸区域表面，用于采集触摸动作信号。
[0004]专利CN200510089933.3公开了一种基于视觉的虚拟触摸屏系统，使用两个或多个摄像机从不同视角同时拍摄显示屏，根据人手的肤色和形状跟踪定位人手，并利用多个摄像机获取手指的三维信息判断手指是否接触屏幕，然后模拟触摸屏的功能。
[0005]然而，专利CN200910312205.2公开的使用红外光进行辅助定位的方法，需要将摄像机准确的安装在触摸屏幕的平面，系统的安装过程复杂，并且在进行人机交互时需要特制的红外笔，不符合人们徒手进行交互的习惯。
[0006]另外，专利CN200510089933.3公开的基于徒手的虚拟触摸屏系统，利用人手特定的颜色和形状在捕捉到的图像上定位人手，这种方法容易受到显示器图像的影响，例如显示器的图像上也有一只人手，或者有很接近人手肤色的颜色存在时，这种方法就会出现问题。在立体视觉中，摄像机系统的立体标定过程很繁琐，而且标定的结果直接影响着后面三维重建的精度，这种方法不适宜普通用户使用。
【发明内容】
[0007]本发明的目的在于提供一种不需要使用辅助材料，用手指就可以直接操作计算机，在使用过程中，不受显示器背景画面的影响，也不需要进行复杂的摄像机系统内外参数的标定过程的虚拟触摸屏的方法、系统及计算设备。
[0008]本发明是这样实现的，一种虚拟触摸屏的方法，所述方法包括以下步骤:
[0009]通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手;
[0010]定位所述人手的指尖位置；
[0011]根据所述指尖位置判断人手是否接触显示设备屏幕；
[0012]如果判断出人手接触显示设备屏幕，则模拟触摸事件。[0013]本发明的另一目的在于提供一种虚拟触摸屏的系统，所述系统包括:
[0014]提取模块，用于通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手；
[0015]定位模块，用于定位所述人手的指尖位置；
[0016]判断模块，用于根据所述指尖位置判断人手是否接触显示设备屏幕；
[0017]模拟模块，用于如果判断出人手接触显示设备屏幕，则模拟触摸事件。
[0018]本发明的另一目的在于提供一种包括上面所述的虚拟触摸屏的系统的计算设备。
[0019]在本发明中，将任意一个显示设备变为一个触摸屏，实现方案为:包括两个摄像机、计算设备以及显示设备。两个摄像机同时捕捉显示设备图像，并且两个摄像机的视野范围要完全覆盖整个显示设备。计算设备通过摄像机捕捉到的图像，利用计算设备视觉的方法分析图像上面是否有人手，手指的位置以及判断手指是否接触屏幕，然后根据计算出的指尖位置定位电脑光标位置，模拟触摸屏输入，实现人际交互的目的。本发明不需要使用辅助材料，用手指就可以直接操作计算机，在使用过程中，不受显示器背景画面的影响，也不需要进行复杂的摄像机系统内外参数的标定过程。
【专利附图】
【附图说明】
[0020]图1是本发明实施例提供的虚拟触摸屏的方法的实现流程示意图。
[0021]图2是本发明实施例提供的控制显示设备显示出一个棋盘格图像的示意图。
[0022]图3是本发明实施例提供的虚拟触摸屏的系统的结构示意图。
【具体实施方式】
[0023]为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0024]在本发明实施例中，将任意一个显示设备变为一个触摸屏，实现方案为:包括两个摄像机、计算设备以及显示设备。两个摄像机同时捕捉显示设备图像，并且两个摄像机的视野范围要完全覆盖整个显示设备。计算设备通过摄像机捕捉到的图像，利用计算设备视觉的方法分析图像上面是否有人手，手指的位置以及判断手指是否接触屏幕，然后根据计算出的指尖位置定位电脑光标位置，模拟触摸屏输入，实现人际交互的目的。
[0025]请参阅图1，为本发明实施例提供的虚拟触摸屏的方法的实现流程，其包括以下步骤:
[0026]在步骤SlOl中，通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手；
[0027]在步骤S102中，定位所述人手的指尖位置；
[0028]在本发明实施例中，步骤S102具体为:
[0029]对轮廓图的每一点上分别进行曲率的计算；
[0030]对轮廓图上的所有点进行曲率的计算之后，选择曲率较大的点作为指尖的候选点；其中，曲率较大的点的确定方案为:将所有点进行曲率的计算后得到的值与预设的值进行比较，大于该预设值的点则认为是曲率较大的点。[0031]使用重心抑制条件进行候选点的排除，将距离重心最远的候选点作为指尖所在的位置。
[0032]在步骤S103中，根据所述指尖位置判断人手是否接触显示设备屏幕；
[0033]在步骤S104中，如果判断出人手接触显示设备屏幕，则模拟触摸事件。
[0034]在本发明实施例中，所述通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手的步骤，具体为:
[0035]生成预测图像；具体为:采用几何标定及颜色标定生成预测图像。
[0036]将所述预测图像与两个摄像机同时捕捉到的显示设备图像进行比对；
[0037]提取比对出不一致的区域，所述区域则为人手区域。
[0038]在本发明实施例中，使用两个摄像机同时捕捉显示设备图像，对于计算设备来说，显示设备的画面是已知的，所以计算设备可以预测出显示设备本身显示的图像。当我们用手指在显示设备上与计算机进行交互时，因为人手的遮挡，摄像机捕捉的图像和计算设备预测的图像会有一定的差异，根据这个差异，我们可以精确的找到人手区域。
[0039]下面详细描述几何标定:
[0040]为了生成预测图像，我们需要知道显示设备屏幕上任意一点P在摄像机图像上的位置P’，这就是几何标定的任务。理论上，从一个平面到另一个平面的映射关系，可以使用一个3X3的矩阵H描述。对于显示设备屏幕上任意一点P，我们可以利用公式(I)计算这一点在摄像机图像上的位置`P’
[0041]p’ =Hp(I)
[0042]为了计算矩阵H，本发明实施例采用以下步骤:
[0043]a)控制显示设备显示出一个棋盘格图像，如图2所示。
[0044]b)通过摄像机捕捉显示设备图像，并分别检测显示设备本身显示的图像与摄像机捕捉图像的棋盘格角点。
[0045]c)通过对应的角点，计算转移矩阵H。
[0046]下面详细描述颜色标定:
[0047]对于显示设备上的一点P，可以通过矩阵H计算出该点在摄像机图像上的位置，我们还需要知道该点经过摄像机成像后在摄像机图像上的像素值，这就是颜色标定的任务。由于摄像机感光不均匀、摄像机镜头畸变以及环境光线的影响等原因，即使相同的颜色在摄像机的边缘和中心也表现出不同的像素值。颜色的标定过程，像素值和像素点的位置必须是相关的。我们的任务是求解一个数学模型，通过这个数学模型，可以根据显示设备本身显示的图像，生成一幅预测图像。
[0048]在本发明实施例中，该数学模型可以用公式(2)描述:
[0049]C = A (VP+F) (2)
[0050]其中，
TJ [4 O O]
[0051]C= Cc A= O Jg O F= 4
—rJ, L0 ο 4J, k?，
【权利要求】
1.一种虚拟触摸屏的方法，其特征在于，所述方法包括以下步骤: 通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手； 定位所述人手的指尖位置； 根据所述指尖位置判断人手是否接触显示设备屏幕； 如果判断出人手接触显示设备屏幕，则模拟触摸事件。
2.如权利要求1所述的方法，其特征在于，所述通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手的步骤，具体为: 生成预测图像； 将所述预测图像与两个摄像机同时捕捉到的显示设备图像进行比对； 提取比对出不一致的区域，所述区域则为人手区域。
3.如权利要求2所述的方法，其特征在于，所述生成预测图像的步骤，具体为: 采用几何标定及颜色标定生成预测图像。
4.如权利要求1所述的方法，其特征在于，所述定位所述人手的指尖位置的步骤，具体为: 对轮廓图的每一点上分别进行曲率的计算； 对轮廓图上的所有点进行曲率的计算之后，选择曲率较大的点作为指尖的候选点； 使用重心抑制条件进行候选点的排除，将距离重心最远的候选点作为指尖所在的位置。
5.一种虚拟触摸屏的系统，其特征在于，所述系统包括: 提取模块，用于通过两个摄像机同时捕捉到的显示设备图像，利用视觉的方法提取图像上面的人手； 定位模块，用于定位所述人手的指尖位置； 判断模块，用于根据所述指尖位置判断人手是否接触显示设备屏幕； 模拟模块，用于如果判断出人手接触显示设备屏幕，则模拟触摸事件。
6.如权利要求5所述的系统，其特征在于，所述系统还包括: 生成模块，用于生成预测图像； 比对模块，用于将所述预测图像与两个摄像机同时捕捉到的显示设备图像进行比对； 确认模块，用于提取比对出不一致的区域，所述区域则为人手区域。
7.如权利要求6所述的系统，其特征在于，所述生成模块，具体用于采用几何标定及颜色标定生成预测图像。
8.如权利要求5所述的系统，其特征在于，所述系统还包括: 计算模块，用于对轮廓图的每一点上分别进行曲率的计算； 选择模块，用于对轮廓图上的所有点进行曲率的计算之后，选择曲率较大的点作为指尖的候选点； 指尖确定模块，用于使用重心抑制条件进行候选点的排除，将距离重心最远的候选点作为指尖所在的位置。
9.一种包括权利要求5至8任一项所述的虚拟触摸屏的系统的计算设备。
【文档编号】G06F3/042GK103761011SQ201310218824
【公开日】2014年4月30日 申请日期:2013年6月4日 优先权日:2013年6月4日
【发明者】程俊, 王群, 张子锐, 郭疆, 沈三明 申请人:深圳先进技术研究院