一种基于手势识别的虚拟现实交互设备的制造方法
【技术领域】
[0001] 本发明涉及人机交互技术，尤其涉及一种基于手势识别的虚拟现实交互设备。
【背景技术】
[0002] 随着移动计算设备从笔记本电脑到手机、平板电脑的演化，移动计算设备的操控 方式也经历了从键盘、鼠标到手机按键、手写板，再到触摸屏、虚拟键盘的进化，可以看到， 移动设备的操控方式是朝着越来越直观、简便，并且符合人的自然习惯的方向进化的。
[0003] 目前在移动计算设备上广泛使用的基于触摸屏的操控方式，技术上是将一块透明 的触摸感应屏和显示屏贴合在一起，触摸感应屏实质上是一个定位装置，能够捕捉到屏幕 上的触摸动作并获取其位置，同时结合时间轴信息，将动作识别其为点触、长触、滑动等动 作之一。进而将位置和动作信息作为指令传递给移动计算设备，移动计算设备基于该指令 做出相应的操作反应。由于触摸感应屏与显示屏是叠加在一起的，因此带给使用者"所点即 所想"的使用感受，相比鼠标、触控板等定位设备需要通过光标反馈位置的输入方式，屏幕 触控方式带来更好的使用体验。
[0004] 屏幕触控方式相比键盘加鼠标的方式，更加符合人的直观反应、更容易学习，但是 屏幕触控方式毕竟只捕捉到了人体手指的动作，在一些需要更多使用者本体信息输入的场 合，比如运动游戏、模拟训练、复杂操控、远距离操控等，屏幕触控方式就显示出其捕获人体 信息过于单一的局限性了。
[0005] 目前，现有的虚拟现实交互技术通常是利用诸如鼠标、按键等常规输入方式来与 设备进行交互，使得输入方式过于有限，由此导致用户在进行功能选择或执行时，操作较为 繁琐，用户体验较差。
【发明内容】
[0006] 在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本 理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的 关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概 念，以此作为稍后论述的更详细描述的前序。
[0007] 鉴于此，本发明提供了一种基于手势识别的虚拟现实交互设备，以至少解决现有 的虚拟现实交互技术的输入方式有限以及用户在进行功能选择或执行时操作较为繁琐的 问题。
[0008] 根据本发明的一个方面，提供了一种基于手势识别的虚拟现实交互设备，该虚拟 现实交互设备包括3D摄像头接口、头盔式虚拟现实显示器、信号处理组件以及移动设备接 口，所述3D摄像头接口连接至所述信号处理组件；所述信号处理组件连接至所述移动设备 接口，所述移动设备接口连接至所述头盔式虚拟现实显示器；所述3D摄像头接口用于连接 外部的3D摄像头，以通过该3D摄像头来捕获含有深度信息的使用者手部的待测图像序列， 并将所述待测图像序列发送给所述信号处理组件，所述信号处理组件用于基于所述待测图 像序列来获得所述使用者的手势，并根据该手势确定对应的操作指令，以对连接至所述移 动设备接口的移动设备执行该操作指令，所述头盔式虚拟现实显示器用于通过所述移动设 备接口接收所述移动设备的屏幕显示信号，以将所述移动设备的屏幕以虚拟现实显示方式 呈现于预定显示区域。
[0009] 进一步地，所述头盔式虚拟现实显示器包括：佩戴部，所述佩戴部可佩戴在使用者 头部；采集成像部，所述采集成像部设置于所述佩戴部上，并连接至所述移动设备接口以采 集所述移动设备的屏幕显示信号，来将所述屏幕以虚拟现实显示方式呈现于所述预定显示 区域。
[0010] 进一步地，所述采集成像部包括显示屏和两组透镜组，所述显示屏为透明材质，所 述两组镜片组被设置成：当所述虚拟现实交互设备被使用者佩戴于头部时，所述两组镜片 组分别位于使用者对应的视线正前方。
[0011] 进一步地，所述信号处理组件包括：轮廓检测单元，用于根据图像深度信息和图像 颜色信息，在所述待测图像序列的每帧图像中检测出所述使用者的手部轮廓；特征点序列 确定单元，用于针对所述使用者的每只手，利用预设的手部结构模板，在所述待测图像序列 的每帧图像中确定该只手的待测特征点序列；动作识别单元，用于针对所述使用者的每只 手，在多个预设特征点序列中确定该只手的待测特征点序列的匹配序列，以根据所述匹配 序列确定该只手的动作名称和位置；手势识别单元，用于在预设手势表中选择与所述使用 者双手的动作名称和位置相匹配的手势，作为已识别手势；指令确定单元，用于根据预设操 作指令表，确定与所述已识别手势对应的操作指令；执行单元，用于对与确定的操作指令相 关的设备进行与该操作指令对应的操作。
[0012] 进一步地，所述特征点序列确定单元包括：模板存储子单元，用于存储预设的手部 结构模板；模板匹配子单元，用于针对所述使用者的每只手，利用预设的手部结构模板，在 所述待测图像序列的每帧图像的手部轮廓中确定该只手的预定数目个特征点；序列生成子 单元，用于针对所述使用者的每只手，利用该只手在所述待测图像序列的各帧图像中对应 的预定数目个特征点，获得该只手的待测特征点序列。
[0013] 进一步地，所述模板匹配子单元包括：定位基点确定模块，其用于针对所述待测 图像序列的每帧图像，根据该图像中的轮廓线的曲率找到该轮廓线中的指尖点和指根关节 点，以将所述指尖点作为定位基点；缩放基准确定模块，其用于针对所述定位基点确定模块 处理后的每帧图像，基于该帧图像中已找到的所述定位基点，匹配每个单指的指根关节点， 得到各单指的长度来作为尺度缩放的基准；缩放及形变模块，其用于针对所述缩放基准确 定模块处理后的每帧图像，基于已找到的所述指尖点和所述指根关节点的位置以及各单指 的长度来对相应的所述手部结构模板进行缩放和形变，通过匹配得到每只手的各指关节特 征点和手腕中点特征点；其中，所述模板存储子单元存储的所述手部结构模板包括左手结 构模板和右手结构模板，所述左手结构模板和右手结构模板各自包括：各手指的指尖特征 点、各指关节特征点、各指根关节特征点、手腕中点特征点以及各特征点之间的拓扑关系。
[0014] 进一步地，所述动作识别单元包括：分割子单元，用于针对每只手的待测特征点序 列，根据预定时间窗将该待测特征点序列分割为多个子序列，并获得每个子序列对应的平 均位置；匹配序列确定子单元，用于针对每只手对应的每个子序列，将该子序列与所述多个 预设特征点序列中的每一个分别进行匹配，在所述多个预设特征点序列中选择与该子序列 的匹配程度高于预设的匹配阈值、并且最大的预设特征点序列，作为该子序列的匹配序列； 关联子单元，用于将每个子序列对应的平均位置与该子序列的匹配序列对应的动作名称相 关联；动作名称确定子单元，用于针对每只手，将该只手对应的各子序列的匹配序列作为该 只手对应的多个匹配序列，并将该多个匹配序列各自对应的动作名称作为该只手的多个动 作名称。
[0015] 进一步地，所述手势识别单元包括：手势表存储子单元，用于存储如下映射列表来 作为所述预设手势表：该映射列表中的每个映射的左端是一组动作名称对及每个动作名称 对的位置；该映射列表中的每个映射的右端是一个手势；手势表匹配子单元，用于将所述 预设手势表中的每个映射的左端与所述使用者双手的动作名称和位置进行匹配，其中，动 作名称的匹配执行严格匹配，而位置则是通过使用者双手各自的平均位置计算得到相对位 置信息，进而计算该相对位置信息与映射左端的位置之间的相似度来实现的。
[0016] 进一步地，所述信号处理组件还用于：基于所述使用者每只手的位置获得所述使 用者手部的模拟图形，以通过所述移动设备接口将该模拟图形显示在所述移动设备的屏幕 上。
[0017] 进一步地，所述信号处理组件用于：根据所述使用者每只手对应的待测特征点序 列，通过连接骨骼后外延得到该只手的外轮廓图形，作为该只手的模拟图形；通过对所述使 用者双手的相对位置进行平移校准和比例缩放，确定所述使用者的每只手在所述屏幕中的 显示位置；基于所述使用者每只手的模拟图形和显示位置来在所述移动设备的屏幕中显示 所述使用者手部的模拟图形。
[0018] 上述根据本发明实施例的基于手势识别的虚拟现实交互设备，利用外接至3D摄 像头接口头接口的3D摄像头来捕获使用者手部的待测图像序列，以识别使用者的手势，进 而根据已识别手势来进行对移动设备的操控。该虚拟现实交互设备通过移动设备接口采集 移动设备的屏幕显示信号，从而将其屏幕通过虚拟现实显示方式呈现于预定显示区域。当 使用者头戴该虚拟现实交互设备时，能够在位于其视场之内的预定显示区域内看到移动设 备屏幕的虚像，并通过手势识别的方式与移动设备之间进行人机交互，操控该移动设备。与 现有技术不同，本发明的虚拟现实交互设备除了可以利用已有的鼠标、按键等传统输入方 式进行人机交互之外，还可以利用上述手势识别技术来进行人机交互，丰富了输入方式种 类，且操作较为简便。
[0019] 此外，本发明的虚拟现实交互设备在进行手势识别的过程中，采用动作模版匹配 和动作对与手势匹配的方式来实现，识别处理的精度高、速度快。
[0020] 本发明的上述虚拟现实交互设备采用层次化设计算法，算法复杂度低，便于实现。
[0021] 此外，应用本发明的上述虚拟现实交互设备，当需要改变（例如修改、增加或减少 等）对动作和/或手势的定义时，可以仅通过调整模板（即，通过修改预设特征点序列对应 的动作名称来改变动作的定义，通过增加或减少预设特征点序列及其对应动作名称来增、 减动作）以及预设手势表（即，通过修改预设手势表中手势对应的多个动作来改变手势的 定义，通过增加或减少预设手势表中的手势及其对应动作来增、减手势），而不需改变算法 或者重新训练分类器，大大提高了算法的适应性。
[0022] 此外，本发明的上述虚拟现实交互设备的实时性强，能够适合即时交互需求的场 合。
[0023] 通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优 点将更加明显。
【附图说明】
[0024] 本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所 有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的 详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本 发明的优选实施例和解释本发明的原理和