专利名称：一种三维指控操作方法及系统的制作方法
技术领域：
本发明涉及信息技术领域，特别涉及一种三维指控操作方法及系统。
背景技术：
随着信息社会的快速发展，人类对信息处理操作的便捷性提出了更高的要求。与键盘和鼠标相比，触控屏进一步简化了智能手机、平板电脑、笔记本电脑等信息设备结构和操作，为信息处理操作的便捷性提供了新的改进空间。
但是，现有的触控屏需要用手指或触控笔在显示屏上进行触摸操作。当用手指进行触控操作时，会在显示屏上留下污迹，在公共使用的情况下(例如，街头的ATM)，还会将显示屏的污秽和细菌沾染到手指头，传染疾病；另一方面，当用指头触摸时，会遮盖手指下的显示内容，致使眼睛无法看到手指触控点的精确位置及其四周信息，造成后续操作的困惑。使用触控笔操作则不能进行多点触控，触控笔的拾拿和收纳也颇为费事，笔尖还会给屏幕表面带来一定的划伤；尤其是，在同时配备触控屏和实体键盘的电脑(例如MicrosoftSurface)上进行操作时，需要在键盘操作和触控操作之间反复变换，如果使用触控笔进行触控操作，则触控笔的反复拿放会影响工作效率。
为了克服上述现有技术的不足，本发明提供了一种三维指控操作方法及系统，以实现手指操控电脑的精确定位及其可视化，提高电脑操控的精度、效率、可视化，是目前信息技术领域亟待解决的问题之一。发明内容
有鉴于此，本发明实施例提出了一种三维指控操作方法及系统，通过获取显示器件表面及前方指定空间内手指运动的三维信息，接着从三维信息中识别出手指头部中心点的三维坐标值和运动轨迹信息，然后将三维坐标值和运动轨迹通过显示模组进行显示，最终依据三维坐标值和运动轨迹信息执行操作命令，实现了手指操控电脑的精确定位及其可视化程度。
为解决上述技术问题，本发明实施例的目的是通过以下技术方案实现的:
一种三维指控操作方法，包括:
步骤一、获取显示器件表面及前方指定空间内手指头部运动的三维信息；
步骤二、从三维信息中识别出手指头部中心点的三维坐标值和运动轨迹信息；
步骤三、将手指头部三维坐标值和运动轨迹通过显示模组进行显示；
步骤四、依据手指头部三维坐标值和运动轨迹信息执行操作命令。
优选的，上述步骤一中，是通过两个摄像头获取手指头部运动的三维信息。
优选的，上述两个摄像头分别安装在显示屏相邻的两角或两角附近。
优选的，上述两个摄像头光轴相互垂直且与显示屏大致平行地指向对角方向。
优选的，当手指头部进入有效摄像范围内时，所述摄像头将分别从相互垂直方向的带状区域内采集手指运动的二维影像。
优选的，上述步骤二中，是根据人手指的尺寸特征和形状特征从获取的三维信息中识别出手指头部中心点的三维坐标值，并屏蔽三维信息中的其他噪音。
优选的，上述步骤三中，所述显示模组进行显示，是通过光标的形状表示手指头部中心点距离显示面的远近。
优选的，上述步骤四中，依据手指头部三维坐标值和运动轨迹信息执行操作命令可包括:
(I)移动光标:当手指头部一进入有效识别范围内，显示屏幕就出现光标，其中光标形状表示手指头部中心点距离显示面的远近，光标在显示面的位置为手指头部中心点在显示面的法向投影。当手指移动时，光标的形状和位置根据手指头部中心点的坐标值实时发生相应的变化。
(2)按下/弹起:在某些特定场景中(例如按钮的上方)，手指头部进入识别范围内，短时间内与显示面距离缩小/增大一定的尺寸，但在显示面平行方向位置基本未变。
(3)进入/抽出:在某些特定场景中(例如游戏和三维解剖)，手指头部进入识别范围内，短时间内与显示面距离缩小/增大的尺寸超过了 “按下/弹起”的距离，但在显示面平行方向位置基本未变。
(4)划开:在某些特定场景中(例如游戏和三维解剖)，“进入”后，手指头部位置在显示面平行方向变化，而在显示面法向距离几乎不变。
(5)劈开:在某些特定场景中(例如游戏和三维解剖)，手指头部进入识别范围内，手指头部位置在显示面平行方向不断变化，且显示面法向距离短时间内变小。
(6)单击:当“按下”后立即“弹起”。
(7)双击/三击:连续两次/三次“单击”。
(8)确认:手指头部在识别范围内，其运动轨迹在短时间内与显示面平行的平面呈现“V”。
(9)否认:手指头部在识别范围内，其运动轨迹短时间内在与显示面平行的平面呈现“X”。
一种三维指控操作系统，包括三维指控传感模组、三维指控IO处理模组、三维指控显示模组及三维指控主机模组，通过获取显示器件表面及前方指定空间内手指运动的三维信息，接着从三维信息中识别出手指中心点的三维坐标值和运动轨迹信息，然后将三维坐标值和运动轨迹通过显示模组进行显示，最终依据三维坐标值和运动轨迹信息执行操作命令。
优选的，上述三维指控传感模组用于获取显示器件表面及前方指定空间内手指运动的二维信息。
优选的，上述三维指控IO处理模组用于从三维信息中识别出手指头部中心点的三维坐标值和运动轨迹信息。
优选的，上述三维指控显示模组用于将手指头部中心点三维坐标值和运动轨迹通过显示模组进行显示。
优选的，上述三维指控主机模组用于依据手指头部中心点三维坐标值和运动轨迹信息执行操作命令。
优选的，上述三维指控传感模组为安装在显示屏前的框架，框架内四周平行排布两排红外线发射管和红外线接收管，形成两层平行的横竖交叉的红外线矩阵。
综上所述，本发明提供了一种三维指控操作方法及系统，通过获取显示器件表面及前方指定空间内手指运动的三维信息，接着从三维信息中识别出手指中心点的三维坐标值和运动轨迹信息，然后将三维坐标值和运动轨迹通过显示模组进行显示，最终依据三维坐标值和运动轨迹信息执行操作命令，实现了手指操控电脑的精确定位及其可视化程度。
图1为本发明实施例一种三维指控操作方法示意图2为本发明实施例一种三维指控系统逻辑结构示意图3为本发明实施例之摄像头安装位置示意图。
具体实施方式
本发明实施例提供的一种三维指控操作方法及系统，通过获取显示器件表面及前方指定空间内手指运动的三维信息，接着从三维信息中识别出手指中心点的三维坐标值和运动轨迹信息，然后将三维坐标值和运动轨迹通过显示模组进行显示，最终依据三维坐标值和运动轨迹信息执行操作命令，实现了手指操控电脑的精确定位及其可视化程度。
为使本发明的目的、技术方案及优点更加清楚明白，下面参照附图并举实施例，对本发明进一步详细说明。
本发明实施例提供了一种三维指控操作方法，如图1所示，具体步骤包括:
步骤一、获取显示器件表面及前方指定空间内手指运动的三维信息；
具体而言，在本发明实施例中，可通过图像获取设备来获取显示器件表面及前方指定空间内手指运动的三维信息。在本方案中，图像获取设备可通过三维指控传感模组，如两个摄像头及相关器件组成，分别安装在显示屏相邻的两角或两角附近。当电脑启动或唤醒时，两个摄像头打开，光轴相互垂直且与显示屏大致平行地指向对角方向。每一摄像头有效摄像范围都限定在显示屏幕有效显示面接近距离内(例如IOOmm以内)，当手指头部进入有效摄像范围内时，两个摄像头分别从相互垂直方向的带状区域内采集手指运动的二维影像，传递给三维指控IO处理模块以获得手指头部的三维坐标值和运动轨迹信息。当电脑睡眠或关闭时摄像头关闭。
此外，图像获取设备可通过三维指控传感模组，如安装在显示屏前的框架，框架内四周平行排布两排红外线发射管和红外线接收管，形成两层平行的横竖交叉的红外线矩阵。两层平行的红外线矩阵相隔一定间距(例如20mm)，当手指进入红外线矩阵时就会挡住经过该位置的横竖红外线，经过通过两层红外线矩阵扫描可以确定阻隔的红外线的确切位置，据此计算出手指头部的三维坐标值。
步骤二、从三维信息中识别出手指中心点的三维坐标值和运动轨迹信息；
具体而言，在本发明实施例中，可包含有一个三维指控IO处理模组，三维指控IO处理模组根据人手指的尺寸特征和形状特征从三维指控传感模组传送的信息中识别出手指头部中心点的三维坐标值，并屏蔽传感模组传来信息中的其他噪音，然后将手指头部中心点的三维坐标值传送到三维指控显示模组和三维指控主机模组。
步骤三、将手指头部中心点三维坐标值和运动轨迹通过显示模组进行显示；
具体而言，在本发明实施例中，包含一个三维指控显示模组，用于接收从三维指控IO处理模组传送过来的手指头部中心点三维坐标值和运动轨迹信息，并通过显示设备进行显示手指头部三维坐标位置和运动轨迹及其他需显示的信息。
进一步的，在本案中，三维指控显示模组通过光标的形状表示手指头部中心点距离显示面的远近。
步骤四、依据手指头部中心点三维坐标值和运动轨迹信息执行操作命令。
具体而言，在本发明实施例中，包含一个三维指控主机模组，用于根据手指头部三维运行轨迹判断操作者的操作意图、执行相应的操作。
进一步的，在本方案中，可通过如下手指头部三维运行轨迹的识别来进行相应的操作:
(I)移动光标:当手指(或者触控笔，下同)头部进入识别范围内，显示屏幕出现光标，其中光标的形状表示手指头部中心点坐标值z值的大小，光标位置表示手指头部中心点X、y值的大小；当手指移动时，光标的形状和位置根据手指头部中心点的坐标值实时发生相应的变化。
(2)按下/弹起:当手指头部进入识别范围内时，z值短时间内(例如〈0.1s)变小/大(例如z值减少/增加了 5-18mm),但x、y的基本未变(例如变化范围小于±3mm)
(3)进入/抽出:当手指头部在识别范围内，z值短时间内(例如〈0.1s)变小/大(例如z值减少/增加了 18mm以上)，但x、y的基本未变(例如变化范围小于±3mm)，此操作多用于游戏和三维解剖
(4)划开:“进入”后X、y值变化，但z值几乎不变(例如变化范围小于±3mm)，此操作多用于游戏和三维解剖
(5)劈开:手指头部在识别范围内，X、1、z值变化，且z值短时间内(例如〈0.2s)变小(例如z值减少18mm以上)，此操作多用于游戏和三维解剖
(6)单击:当“按下”后立即“弹起”
(7)双击/三击:连续两次/三次“单击”
(8)确认:手指头部在识别范围内，在短时间(例如〈0.1s)内其运动轨迹在x、y平面呈现“ V”
(9)否认:手指头部在识别范围内，在短时间(例如〈0.1s)内其运动轨迹在x、y平面呈现“X”
(10)其它:类同微软公司的“windows”或苹果公司“10S”操作系统的触控操作。
另外，本发明实施例还提供了一种三维指控操作系统。如图2所示，为本发明实施例提供的一种三维指控操作系统示意图。
一种三维指控操作系统，包括三维指控传感模组11、三维指控IO处理模组12、三维指控显示模组13及三维指控主机模组14。
三维指控传感模组11，用于获取显示器件表面及前方指定空间内手指运动的三维信息；
具体而言，在本发明实施例中，可通过图像获取设备来获取显示器件表面及前方指定空间内手指运动的三维信息。在本方案中，图像获取设备可通过三维指控传感模组，如两个摄像头及相关器件组成，分别安装在显示屏相邻的两角或两角附近。当电脑启动或唤醒时，两个摄像头打开，光轴相互垂直且与显示屏大致平行地指向对角方向。每一摄像头有效摄像范围都限定在显示屏幕有效显示面接近距离内(例如IOOmm以内)，当手指头部进入有效摄像范围内时，两个摄像头分别从相互垂直方向的带状区域内采集手指运动的二维影像，传递给三维指控IO处理模块以获得手指头部的三维坐标值和运动轨迹信息。当电脑睡眠或关闭时摄像头关闭。
此外，图像获取设备可通过三维指控传感模组，如安装在显示屏前的框架，框架内四周平行排布两排红外线发射管和红外线接收管，形成两层平行的横竖交叉的红外线矩阵。两层平行的红外线矩阵相隔一定间距(例如20mm)，当手指进入红外线矩阵时就会挡住经过该位置的横竖红外线，经过通过两层红外线矩阵扫描可以确定阻隔的红外线的确切位置，据此计算出手指头部的三维坐标值。
三维指控IO处理模组12，用于从三维信息中识别出手指头部中心点的三维坐标值和运动轨迹信息；
具体而言，在本发明实施例中，可包含有一个三维指控IO处理模组，三维指控IO处理模组根据人手指的尺寸特征和形状特征从三维指控传感模组传送的信息中识别出手指头部中心点的三维坐标值，并屏蔽传感模组传来信息中的其他噪音，然后将手指头部中心点的三维坐标值传送到三维指控显示模组和三维指控主机模组。
三维指控显示模组13，用于将三维坐标值和运动轨迹通过显示模组进行显示；
具体而言，在本发明实施例中，包含一个三维指控显示模组，用于接收从三维指控IO处理模组传送过来的手指头部中心点三维坐标值和运动轨迹信息，并通过显示设备进行显示手指头部三维坐标位置和运动轨迹及其他需显示的信息。
进一步的，在本案中，三维指控显示模组通过光标的形状表示手指头部中心点距离显示面的远近。
三维指控主机模组14，用于依据三维坐标值和运动轨迹信息执行操作命令。
具体而言，在本发明实施例中，包含一个三维指控主机模组，用于根据手指头部三维运行轨迹判断操作者的操作意图执行相应的操作。
进一步的，在本方案中，可通过如下手指头部三维运行轨迹的识别来进行相应的操作:
(I)移动光标:当手指(或者触控笔，下同)头部进入识别范围内，显示屏幕出现光标，其中光标的形状表示手指头部中心点坐标值z值的大小，光标位置表示手指头部中心点X、y值的大小；当手指移动时，光标的形状和位置根据手指头部中心点的坐标值实时发生相应的变化。
(2)按下/弹起:当手指头部进入识别范围内时，z值短时间内(例如〈0.1s)变小/大(例如z值减少/增加了 5-18mm),但x、y的基本未变(例如变化范围小于±3mm)
(3)进入/抽出:当手指头部在识别范围内，z值短时间内(例如〈0.1s)变小/大(例如z值减少/增加了 18mm以上)，但x、y的基本未变(例如变化范围小于±3mm)，此操作多用于游戏和三维解剖
(4)划开:“进入”后X、y值变化，但z值几乎不变(例如变化范围小于±3mm)，此操作多用于游戏和三维解剖
(5)劈开:手指头部在识别范围内，X、1、z值变化，且z值短时间内(例如〈0.2s)变小(例如Z值减少18mm以上)，此操作多用于游戏和三维解剖
(6)单击:当“按下”后立即“弹起”
(7)双击/三击:连续两次/三次“单击”
(8)确认:手指头部在识别范围内，在短时间(例如〈0.1s)内其运动轨迹在x、y平面呈现“ V”
(9)否认:手指头部在识别范围内，在短时间(例如〈0.1s)内其运动轨迹在x、y平面呈现“X”
(10)其它:类同微软公司的“windows”或苹果公司“10S”操作系统的触控操作。
即，根据手指头部中心点的三维运行轨迹判断操作者意图执行相应的操作命令，包含移动光标、进入、划开、劈开等多种操作方法。
在图2所示的一种三维指控系统逻辑结构示意图中，三维指控显示模组13由显示屏幕以及其它显示器件组成，用于显示电脑输出的显示信息和手指头部三维坐标位置。其中，显示屏幕为平面，其有效显示区域在显示屏幕内，用三维直角坐标系(X，y，z)描述有效显示区域及前方空间，其中有效显示区域左上角为坐标原点，原点向右为X轴正向方向，原点向下为y轴正向方向，有效显示区域的前方为z轴正向方向。
所述的三维指控传感模组11由两个摄像头组成，参见图3中的摄像头21、22，分别安装在三维指控显示模块13显示屏幕左上角和右上角。当电脑启动或唤醒时，两个摄像头分别从左、右两角弹出并打开，其光轴24、25相互垂直，分别朝向右下角和左下角，与显示屏大致平行；每一摄像头有效摄像范围都在三维指控显示模块13的显示屏幕有效显示面23前方50mm以内。当手指头部进入识别范围内时，能够同时从相互垂直方向的带状区域采集手指影像二维画面，并传送到三维指控IO处理模组12。当电脑睡眠或关闭时摄像头关闭并收回。
所述的三维指控IO处理模组12主要用于处理电脑输出的显示信息和传感模组11传送来拍摄信息，将处理结果中的显示信息传送到显示模组13，将处理结果中的操作信息传送到主机模组14。由于传感模组11传送来的是两个摄像机从相互垂直方向拍摄的两维画面，IO处理模组12根据人类手指的尺寸特征和形状特征能够从中提取出手指头部中心点的三维坐标值，并屏蔽传感模组11传来信息中的其他噪音，然后把该三维坐标值传送到显示模组13和主机模组14。显示模组13通过光标的形状表示其z值大小，通过光标位置表示其x、y值大小。
所述的三维指控主机模组14根据手指头部中心点三维坐标值的运动轨迹判断操作者的意图执行相应的操作。
在本发明的另一个实施例中，三维指控传感模组为显示屏前的框架，框架里设计有电路板，框架内四周平行排布两排红外线发射管和红外线接收管，形成两层平行的横竖交叉的红外线矩阵，两层红外线矩阵相隔20_。当手指或触控笔进入红外线矩阵内时，手指或触控笔就会挡住经过该位置的横竖红外线，经过红外线矩阵扫描可以确定阻隔的红外线的确切位置，根据人类手指的尺寸和形状特征，经过IO处理模块计算可以判断出触摸点在屏幕上的x、y坐标位置并屏蔽其他噪音；通过两层红外线矩阵可以得到手指头部坐标z值两个离散值。
可见，相比于现有技术，本发明一种三维指控系统通过三维指控传感模组、三维指控IO处理模组、三维指控显示模组以及三维指控主机模组间的相互协作，使得用户能够用手指进行非接触操控电脑，同时实现了手指操控电脑的精确定位及其可视化，并实现了非接触操控以及与触控的联合操作，扩大了操控的应用范围，提高了操控的精度、维度、效率以及可视化程度。
本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
综上所述，本文提供了一种三维指控操作方法及系统，通过获取显示器件表面及前方指定空间内手指运动的三维信息，接着从三维信息中识别出手指中心点的三维坐标值和运动轨迹信息，然后将三维坐标值和运动轨迹通过显示模组进行显示，最终依据三维坐标值和运动轨迹信息执行操作命令，实现了手指操控电脑的精确定位及其可视化程度。
以上对本发明所提供的一种三维指控操作方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方案；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式
及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
权利要求
1.一种三维指控操作方法，其特征在于，所述方法包括: 步骤一、获取显示器件表面及前方指定空间内手指运动的三维信息； 步骤二、从三维信息中识别出手指头部中心点的三维坐标值和运动轨迹信息； 步骤三、将手指头部三维坐标值和运动轨迹通过显示模组进行显示； 步骤四、依据手指头部三维坐标值和运动轨迹信息执行操作命令。
2.根据权利要求1所述的方法，其特征在于，所述步骤一中，是通过摄像头获取手指头部运动的三维信息。
3.根据权利要求2所述的方法，其特征在于，所述摄像头安装在显示屏相邻的两角或两角附近。
4.根据权利要求2所述的方法，其特征在于，所述摄像头光轴相互垂直且与显示屏大致平行地指向对角方向。
5.根据权利要求2所述的方法，其特征在于，当手指头部进入有效摄像范围内时，所述摄像头将分别从相互垂直方向的带状区域内采集手指运动的二维影像。
6.根据权利要求1所述的方法，其特征在于，所述步骤二中，是根据人手指的尺寸特征和形状特征从获取的三维信息中识别出手指头部中心点的三维坐标值，并屏蔽三维信息中的其他噪音。
7.根据权利要求1所述的方法，其特征在于，所述步骤三中，所述显示模组进行显示，是通过光标的形状表示手指头部中心点距离显示面的远近。
8.根据权利要求1所述的方法，其特征在于，所述步骤四中，依据三维坐标值和运动轨迹信息执行操作命令包括: (1)移动光标:当手指头部一进入有效识别范围内，显示屏幕就出现光标，其中光标形状表示手指头部中心点距离显示面的远近，光标在显示面的位置为手指头部中心点在显示面的法向投影。当手指移动时，光标的形状和位置根据手指头部中心点的坐标值实时发生相应的变化； (2)按下/弹起:在某些特定场景中(例如按钮的上方)，手指头部进入识别范围内，短时间内与显示面距离缩小/增大一定的尺寸，但在显示面平行方向位置基本未变； (3)进入/抽出:在某些特定 场景中(例如游戏和三维解剖)，手指头部进入识别范围内，短时间内与显示面距离缩小/增大的尺寸超过了 “按下/弹起”的距离，但在显示面平行方向位置基本未变； (4)划开:在某些特定场景中(例如游戏和三维解剖)，“进入”后，手指头部位置在显示面平行方向变化，而在显示面法向距离几乎不变； (5)劈开:在某些特定场景中(例如游戏和三维解剖)，手指头部进入识别范围内，手指头部位置在显示面平行方向不断变化，且显示面法向距离短时间内变小； (6)单击:当“按下”后立即“弹起”； (7)双击/三击:连续两次/三次“单击”； (8)确认:手指头部在识别范围内，其运动轨迹在短时间内与显示面平行的平面呈现‘‘ V，，； (9)否认:手指头部在识别范围内，其运动轨迹短时间内在与显示面平行的平面呈现“X”。
9.一种三维指控操作系统，其特征在于，所述系统包括三维指控传感模组、三维指控IO处理模组、三维指控显示模组及三维指控主机模组，通过获取显示器件表面及前方指定空间内手指运动的三维信息，接着从三维信息中识别出手指中心点的三维坐标值和运动轨迹信息，然后将三维坐标值和运动轨迹通过显示模组进行显示，最终依据三维坐标值和运动轨迹信息执行操作命令。
10.根据权利要求9所述的系统，其特征在于，所述三维指控传感模组用于获取显示器件表面及前方指定空间内手指运动的三维信息。
11.根据权利要求9所述的系统，其特征在于，所述三维指控IO处理模组用于从三维信息中识别出手指中心点的三维坐标值和运动轨迹信息。
12.根据权利要求9所述的系统，其特征在于，所述三维指控显示模组用于将三维坐标值和运动轨迹通过显示模组进行显示。
13.根据权利要求9所述的系统，其特征在于，所述三维指控主机模组用于依据三维坐标值和运动轨迹信息执行操 作命令。
14.根据权利要求9所述的系统，其特征在于，所述三维指控传感模组为安装在显示屏前的框架，框架内四周平行排布两排红外线发射管和红外线接收管，形成两层平行的横竖交叉的红外线矩阵。
全文摘要
本发明提供了一种三维指控操作方法及系统，通过获取显示器件表面及前方指定空间内手指运动的三维信息，接着从三维信息中识别出手指头部中心点的三维坐标值和运动轨迹信息，然后将三维坐标值和运动轨迹通过显示模组进行显示，最终依据三维坐标值和运动轨迹信息执行操作命令，实现了手指操控电脑的精确定位及其可视化程度。
文档编号G06F3/01GK103150020SQ20131008223
公开日2013年6月12日 申请日期2013年3月14日 优先权日2013年3月14日
发明者赵风景, 赵阳, 计春雷, 范光宇, 迟冬祥, 胡静 申请人:上海电机学院