一种面向层次化信息自然操控的3d手势界面及系统的制作方法
【技术领域】
[0001] 本发明涉及手势交互界面，具体地说是一种面向层次化信息自然操控的3D手势 界面及系统。
【背景技术】
[0002] 随着技术的发展，界面越来越简易化，二维的操作难以提供更好的交互体验，3D技 术是模拟现实生活的环境，3D化的展现形式使用户操作起来更加接近现实，并且让用户减 少学习成本和拥有更好的体验，因此在很多领域中的用户操作界面逐渐转为3D方式实现， 3D技术已得到快速发展。
[0003] 3D技术虽得到了快速发展，但是目前没有一个专门针对计算机中文件系统、菜单 等层次化信息结构展现的方法。Fumas与Card等人指出，用户在交互探索大规模可视信息 时，倾向于在探索局部焦点信息的详细视图的同时能够保持信息整体视图的可见性，并且 能够感知焦点的上下文信息、保持焦点的上下文信息的一致性。与此对应，层次化数据，数 据节点间关系应包括上下层之间的父子节点关系以及同层的兄弟关系两种关系。目前的文 件系统、菜单等层次化信息结构一般都是以平面的形式展现在显示界面上，结构中各项目 排列在显示器上，当点击和调用其中一个项目时，父层目录项目隐藏，下一层次项目弹出， 所以存在只能显示当前目录下的各个项目，而对其父层目录下的项目不能同时显示进行操 作的问题。这种现有显示系统往往仅重视了同层的兄弟关系而忽略上下层之间的父子节点 关系。
[0004] KaiWetzel、王威信以及吕琳等人都提出了一种类似Circular树图可视化方法， 该方法将层次化数据中各个项用圆表示，数据节点的值通过映射函数对应于圆半径大小， 结合圆在平面区域中的布局算法，对层次化数据进行展示，最后都利用实验证明了利用圆 这种几何结构可以有效地解决交互式可视化的上下文感知与上下文一致性问题。但是 Circular树图的可视化方法仅仅局限于平面区域，未扩展到三维空间中进行显示。而为了 有效地同时展现上下层之间的父子节点关系以及同层的兄弟关系方面，较为常见的解决方 式是三维视图。三维视图是将层次化图结构数据的父子节点关系在Z轴方向显示，同时在 X-Y平面上示出指定层级的同层兄弟关系。结合Circular树图可视化方法和三维视图，因 此我们提出了一种基于3D空间的辐射树状显示方法。
[0005] 层次化数据需要用户不断地寻找目标节点或者对目标节点进行相应操作，而针对 这些操作，传统的交互方法往往需要辅助键盘、鼠标和控制笔等硬件设备来实现，用户未能 解放自己的双手，且环境适应性较差。多点触摸技术的引入使得以触摸屏为代表的人机交 互方式更加便利和自然，但多点触摸屏的方式只局限于用户的双手在二维特定平面上进行 操作，用户还是脱离不开硬件设备以及设备的尺寸限制，也没有真正达到自然、自由的人机 交互效果。与此同时，3D化的界面展现形式由于增加一维信息，一方面，真实性和沉浸感都 大大提升；而另一方面，也使得传统的交互方法以及触摸屏方式更加不适用。因此，人们倾 向于寻找更自然更智能的人机界面和更友好的交互接口。
[0006] 当前，体感操作识别技术已经成为3D技术中的重要研宄内容，它作为人类和计算 机之间的交流手段而应用于智能机器人、计算机、游戏机、手机、显示器、自动控制系统、生 产技术等各种领域。例如，随着多媒体技术的普及与发展，人们在对新型人机交互技术进行 不懈的探索。使用肢体、手势等直观的方式完成计算机的操作，已成为一个技术热点。通过 各种高科技手段实现方便、先进、可靠的人机交互系统迎刃而生，很多畅销的电子产品也是 由于出色的人机交互手段而产生巨大的经济效益。比如任天堂的WII游戏机，SONY公司的 PLAYSTATIONIII、微软公司的X-B0X以及Leap公司旗下的LeapMotion，其成功在很大程 度上都是由于其产品的人机交互手段的先进。
[0007] 而针对当前越来越热门的体感操作，手势操作也变得越来越普遍。利用手势控制 计算机的人机交互方式正逐步成为人机交互的发展方向和趋势。使用手势操作的输入方 式，用户不仅可以脱离开硬件设备，不受设备的尺寸限制，还可以完全达到自然、自由的人 机交互目的。因此合理的定义面向辐射树展现方式的手势操纵方法是研发一个基于3D辐 射树的手势交互方法及系统的重要组成。
【发明内容】
[0008] 本发明针对上述现有技术的不足，提供一种针对层次化信息3D辐射树手势交互 方法与系统，旨在结合层次化信息在三维空间中的显示，进而构建一套手势交互方法及系 统，用户可以在屏幕的操纵区域对层次化结构信息中的项目进行手势操作，有助于提升用 户体验。
[0009] 本发明为解决技术问题采用如下技术方案：
[0010] 一种面向层次化信息自然操控的3D手势界面，面向计算机系统中的层次化信息 结构构建一种新颖的3D手势界面，结合层次化信息的3D辐射树显示方式以及手势捕获装 置采集到的手势运动数据，使用参数化虚拟手型定义统一的手势模型，进而构建一套用于 计算机系统层次化信息自然操控的手势指令并实现交互响应。
[0011] 所述层次化信息的3D辐射树显示方式是通过扩展2D辐射树的表示方式构建的动 态3D辐射树表示方式，更加适合3D手势操控层次信息，包括以下步骤：
[0012](2. 1)、计算3D辐射树界面中第k层窗口的大小和位置：
[0013]ffk= 3W/2 (k+1),
[0014]Hk= 3H/2(k+1)，
[0015]Xk,left= 5W/2 (k+2)-ffk/2,
[0016]Yk，left=H/2，
[0017]Zk，left = -2 /Hk(k= 1 时，Zi= 0);
[0018] 其中，k可取1、2、…n，表示层次化信息中依次向屏幕内部延伸的深度层序列号， 最大值n为窗口尺度，表征同时可展示层数目，优选为3 ;Wk，Hk分别为第k深度层的平面宽 度和平面高度，Xtleft，Yk，lrft，Zk，left分别为第k深度层的窗口左上角坐标;W、H为当前计算机 显示屏屏幕的宽度和高度；
[0019] (2. 2)、进行每层窗口中信息子项的展现：通过以辐射方式绕窗口中央项Nodek，Q 旋转绘制球型节点来展现，表示为{Node^，Nodek，2,Nodek，3. . .NodeM. . . };其中，中央项 Nodeiu是为上层结点Nodek+1,j的一个复制映射；第k深度层中央项Node和信息子项的半 径与坐标位置的计算过程如下：
[0020](2. 21)、确定第k深度层中央项的球心坐标（Xk，Yk，Zk) :Xk= 5W/2(k+2)，Yk=H/2， Zk= -2 /Hk(k= 1时，Z1= 0)，球心半径为Rk=HkV(2(k+1)Wk)，Rk为第k深度层中央项的 球心半径；
[0021](2. 22)、确定围绕中央项的各个子项的球心坐标（Xi,y。Zi) :Xi=(Xk+Rk+Nk+r) cos(360/Ck)°，yf(Yk+Rk+Nk+rDsinGeO/Ck)。，Zi=Zk，其中Nk为第k深度层中央项距离 各个子项的距离，Nk= (Rk+ri)/2,ri为围绕中央项的第i子项的球心半径，ri=HkV(2(k+2) Wk);
[0022] (2.23)、确定当前深