用于增强的基于姿势的交互的系统和方法

用于增强的基于姿势的交互的系统和方法
【专利摘要】本文描述了一种无线远程控制设备(100)，其可被用于用户的手部(150)以提供与基于姿势的控制信号相关联的基于硬件的控制信号以用于增强的姿势识别系统。所述设备(100)包括具有感应单元的外罩(110)，所述感应单元具有至少一个能够产生用于相关联的计算机化系统的控制信号的控制按钮(120、130、140)。计算机化系统使用从所述控制设备(100)得到的信息以及从姿势识别系统得到的信息来消除由诸如执行所述姿势的手部的遮挡或手部位于与所述计算机化系统相关联的成像系统的视野之外之类的原因所导致的任何模糊，并且在基于姿势的交互系统中触发交互。
【专利说明】用于增强的基于姿势的交互的系统和方法

【技术领域】
[0001] 本发明涉及一种用于人机交互的系统和方法，并且更具体地但不排他地涉及一种 无线远程控制设备，所述无线远程控制设备用于增强的基于姿势的与交互式计算机化系统 的交互。

【背景技术】
[0002] 在人机交互领域，设备控制器作为人类用户与硬件平台之间的界面被使用了许多 年。经由这些接口，用户已经能够向计算机化系统提供命令，所述计算机化系统具有用于依 照这些命令来接收、处理以及执行动作的装置。设备控制器可以是有线的或者无线的，并且 包括用于计算机的鼠标设备、计算机键盘、电视（TV)远程控制器、游戏控制器、PAD、虚拟现 实手套等等。所有这些设备控制器系统都具有一个已知传感设备（例如，触发按钮、多向接 头、惯性传感器单元等）所使用的通用规格。
[0003] 此外，随着虚拟现实领域以及消费电子领域中的技术发展，已经开发出了若干使 用这样的设备或者这些设备的组合的系统。特别地，对于用户现已变成强制性的是，将设备 控制器携带在身上，对其进行穿戴或者操作，从而促进沉浸在虚拟现实环境中，或者从而改 善与计算机化系统交互的用户体验。
[0004] 例如，在专利US-A-2010/0304868中描述了用于与计算机化系统的交互的多位置 三维操作控制器。所述控制器在提供直觉式界面从而与二维以及三维场景两者进行交互的 同时，向各个应用和模拟提供控制，所述二维以及三维场景由于计算机程序通过游戏客户 机的计算机化系统执行而产生。这样的游戏客户机可以是专用的游戏控制台，所述专用的 游戏控制台能够执行本地存储的程序或者能够连接到互联网上以便用户能够与位于不同 位置处的另一用户进行交互。所述控制器被配置为用于在多个位置中使用，以便提供与控 制器的操控以及操作相关的灵活性。所述控制器包含具有传感器的手柄，所述传感器探测 输入特征相对于手柄的移动（例如，陀螺仪、加速计、按钮、操纵杆以及轨迹球）。在一实施 例中，所述控制器是手持的并且能够工作在"棒棒糖"模式下，在此模式下，只有用户手部的 动作才会使用遵循IEEE802. 11规范的无线协议来提供用于与相关的游戏控制台交互的无 线信号。在另一实施例中，所述控制器也是手持的，但是与2D摄像头共同工作，所述摄像头 追踪色球以探测姿势并且提供由游戏控制台进行处理的额外的无线信号。在又一实施例 中，所述控制器可以由两只手进行操作。US-A-2010/0304868中描述的控制器的人体工程学 要求用户无需用手握持控制器并且不允许自由的自然移动（尤其包括手指移动），以实现 基于姿势的交互系统中的姿势识别。
[0005] 在专利US-A-2011/0269544中描述了用于与游戏控制台进行交互的手持计算机 输入设备。所述设备包含主体，所述主体上形成有突出，用户手部的手指以及拇指各自占据 所述突出中的一个。每个突出被配置为探测相对于用户手指中的一根或更多根手指的移 动。用户的手部以及其拇指和手指的移动被游戏控制台感知，并且触觉反馈能够被提供给 用户以响应传递到游戏控制台的命令。设备可以成对使用，但是需要对这些设备进行处理 使得仅有一个设备适用于右手且另一设备适用于左手。从适用于用户的手部和手指的角度 看，US-A-2011/0269544中描述的手持交互设备可以被认为是符合人体工程学的，但是它要 求用户紧握设备来进行操作，并且不允许手部和/或手指的自由移动以实现自然的基于姿 势的计算机化系统中的姿势识别。
[0006] 专利US-A-2008/084385描述了计算机定点设备，所述计算机定点设备戴在手上 并且无需接触表面就能够操作。位于所述计算机定点设备中的传感器对用户手部的移动进 行感应并且将这些信号转换为用于主计算机的信号。所述信号能够被用于移动光标或者类 似物，并且提供鼠标右击和左击以及滚轮操作。所述设备能够被激活以及去激活，使得只有 预期的移动被传递到主计算机上。
[0007] Brandon Shrewsbury于2011年10月26日在英国苏格兰的敦提市发表的标题为 "使用体感来提供触觉反馈（Providing Hapic Feedback Using the Kinect)"的文章中提 出具有可穿戴振动触觉反馈系统的手套，所述手套使用蜂鸣电机来就体感系统的视野内的 目标对用户进行警示。所述蜂鸣电机对准手指的每一节，而底端一行在手部的手掌上。
[0008] 专利US-A-2007/279380描述了能够固定在手上的计算机输入设备。所述设备包 括可调节束带，所述可调节束带能够缠绕在手部的手掌部分。设置有由固定有束带的手部 的手指和拇指进行操作的控制按钮和一操纵杆。所述设备以无线方式或者经由固定电缆与 计算机通信。
[0009] 专利US-A-2011/202306描述了沉浸式虚拟现实系统，其中，一个或者更多个身体 传感器单元被用于与系统的交互。身体传感器单元包括手套和背心，所述手套和背心包括 用于确定用户穿戴有手套或者背心的相关部分的位置的感应元件。显示单元被设置为用于 在相对于用户自身的观察点正确的空间关系中观察用户身体各部分的虚拟表示。
[0010] Frati等人在其标题为"将体感应用于手部追踪并且呈现到可穿戴触觉上（Using Kinect for hand tracking and rendering in wearable haptics)，'（世界角生觉大会 (World Haptics Conference，WHC)，2011，IEEE，IEEE，2011 年6 月 21 日，第 317 至 321 页） 中描述了具有电机的可穿戴触觉设备，所述电机用于指身接触点的力反馈，以实现三维成 像系统的视野中的位置感应。手部追踪算法被公开，其中，诸如指尖位置之类的主要手部点 从深度图中计算得到的边界框中被提取出来。然而，为了使所述手部追踪算法正常工作，手 部的最大部分必须是可见的，尤其是多种启发式方法被用于限定手指中每一根的同一性， 并且如果在三维成像系统的视野中一根或者更多根手指的整个或者部分被遮挡，则这些启 发式方法可能会失效。
[0011] 最近，以成像感应信号分析为基础的姿势识别技术已经创建了交互系统，所述交 互系统允许用户仅仅使用预先确定的姿势来提供命令，从而与控制并运行这样的交互系统 的计算机化系统进行交互。这样的姿势识别技术并不使用任何由用户穿戴的设备，并且使 用了全身移动分析或者仅是手部移动分析。
[0012] 然而，当使用独立的基于硬件的控制器或者自然的基于姿势的移动时，能被执行 的预定义的交互的数量存在限制。对于硬件远程控制器设备而言，例如，必须对其进行操作 并且它不支持手指追踪或者可靠的手部姿势识别。类似地，全身自然姿势识别系统不允许 以与一根手指在远程控制器上激活按钮相同的方式来执行一个简单的单击动作，这要求在 其它移动中排他地执行一特定的移动。此外，当使用姿势识别系统的时候，同时执行一简单 的单击动作并将一只手绕着控制屏幕移动是很困难的。一个原因在于，一个单击动作倾向 于通过探测到一只手以静止姿势在特定位置处持续预先确定的时间段，或者探测到在预先 确定的时间段内沿着预定义的轴（例如，Z轴或者深度轴）的向前和向后移动。因此，在同 一时间内使用单手来执行两个动作是不可能的。
[0013] 此外，由于现存的装置必须进行操作而使自然姿势识别系统与现存的远程控制设 备的结合存在限制，从而在能被执行并识别的姿势的种类和数量上引入了很大的限制。


【发明内容】

[0014] 本发明的目的在于提供一种控制设备，所述控制设备符合特定的人体工程学以用 于与姿势分析系统相结合来与计算机化系统进行交互。
[0015] 本发明的另一目的在于提供一种控制设备，所述控制设备能够被用在自然姿势识 别系统中，从而为所述计算机化系统提供额外的功能和/或补充信息。
[0016] 本发明的又一目的在于提供一种控制设备，所述控制设备能够被用于提供额外且 改善的与用户的位置以及移动或者姿势相关的信息或数据，所述用户的位置以及移动或者 姿势能够由与所述计算机化系统相关联的成像系统进行追踪。
[0017] 本发明的另一的目的在于提供一种控制设备，所述控制设备能够被用在自然姿势 识别系统中，从而提供了用户与所述计算机化系统之间信息的双向交换的形式的额外功 能。
[0018] 本发明的又一目的还在于提供一种方法，所述方法为在计算机化系统中控制并使 用所述控制设备以通过允许基于自然姿势以及基于硬件设备与计算机化系统之间的交互 相结合来提供增强的用户体验，同时不会对所述设备本身或者所述姿势识别系统提供的各 个功能进行限制。
[0019] 本申请中使用的术语"控制装置"意在包括按钮、开关、方向板和操纵杆，以及用户 经其能够输入控制信号的任何其它合适的设备。这样的其它合适的设备，即"附加控制"可 以是，包括但并不仅限于，例如，用于向所述计算机化系统提供语音命令的麦克风、加速计、 陀螺仪。
[0020] 根据本发明的第一方面，提供了一种控制具有三维成像系统的交互式计算机化系 统的方法，所述三维成像系统包括三维摄像头，所述三维摄像头用于提供出现在其截锥之 内的用户的至少一个部位的三维信息，所述方法包括以下步骤：a)提供待与所述用户的至 少一个部位相关联的用户操作控制设备，所述用户操作控制设备包括外罩、至少一个感应 模块、至少一个反馈模块、通信模块以及控制器模块，所述至少一个感应模块包括安装在所 述外罩中的至少一个控制装置，每个控制装置都能够在被操作时产生用于所述计算机化系 统的控制信号，所述至少一个反馈模块安装在所述外罩中以根据在所述计算机化系统上运 行的应用来向用户提供情景反馈，所述通信模块位于所述外罩内，各控制信号都通过所述 通信模块发送到所述计算机化系统上并且各反馈信号都通过所述通信模块从所述计算机 化系统上接收，所述控制器模块安装在所述外罩中，所述控制器依照所产生的各控制信号 对所述感应模块、所述通信模块以及所述反馈模块进行控制；b)由所述用户操作控制设备 上的至少一个控制装置产生控制信号；以及c)使用所述产生的控制信号对所述交互式计 算机化系统进行控制；其特征在于，所述方法进一步包括以下步骤：使用由所述用户操作 控制设备所提供的、与用户的与所述用户操作控制设备相关联的部位相关的信息，来消除 所述三维成像系统所测得的信息中的模糊。
[0021] 所述方法进一步可以包括以下步骤：d)依照在所述计算机化系统上运行的应用 向用户提供情景反馈。此外，所述方法包括以下步骤：e)使用所述用户操作控制设备来提 供与用户的与所述控制设备相关联的至少在所述三维摄像头的所述截锥之内的部位相关 的信息。
[0022] 优选地，所述步骤e)包括提供与用户的与所述控制设备相关联的部位的空间-时 间相关信息。所述空间-时间有关信息包括以下各项中的至少一项：用户的与所述控制设 备相关联的部位的状态、加速度、方向以及位置。
[0023] 在本发明的优选实施例中，所述信息用于在因以下原因之一而导致用户的与所述 用户操作控制设备相关联的部位对于所述三维成像摄像头不再可见时，推断出用户的与所 述用户操作控制设备相关联的部位的位置，所述原因包括：被另一物体遮挡、被用户的一部 分所遮挡，以及位于所述三维成像摄像头的所述截锥之外。
[0024] 此外，所提供的关于所述用户部位的信息可以是位置、速度、加速度和/或身份识 另IJ。所述信息能够由所述设备自身提供，或者通过将来自所述设备的数据与姿势分析系统 确定的其它数据相结合来进行改善。在优选实施例中，所提供的与用户的所述部位相关的 信息优选地可以被用于消除所述三维成像系统所测得的信息中的模糊。
[0025] 根据本发明的另一方面，提供了一种基于姿势的交互式计算机化系统，包括：三维 成像系统；姿势识别系统；用户操作控制设备，所述用户操作控制设备包括：外罩、至少一 个感应模块、反馈模块、通信模块以及控制器模块，所述至少一个感应模块包括安装在所述 外罩中的至少一个控制装置，每个控制装置都能够在被操作时产生用于所述计算机化系统 的控制信号，所述反馈模块安装在所述外罩中以根据在所述计算机化系统上运行的应用来 向用户提供情景反馈，所述通信模块位于所述外罩内，各控制信号都通过所述通信模块发 送到所述计算机化系统上并且各反馈信号都通过所述通信模块从所述计算机化系统上接 收，所述控制器模块安装在所述外罩中，所述控制器依照所产生的各控制信号对所述感应 模块、所述通信模块以及所述反馈模块进行控制；以及计算机化系统，其与所述三维成像系 统以及所述姿势识别系统相关联，所述计算机化系统对所述三维成像系统所捕捉的图像以 及所述姿势识别系统所识别的姿势进行处理；其特征在于，所述计算机化系统对来自所述 用户操作控制设备的数据和由所述姿势识别系统所识别的姿势进行结合使用，以消除所述 三维成像系统所测得的信息中的模糊。
[0026] 特别地，此基于姿势的交互系统允许输入使用手部执行的姿势的控制信号以及由 与所述控制设备交互的用户产生的基于硬件的控制信号。此外，所述控制设备还可以用于 提供与预先确定的动作或事件相关的信息，尤其是无法由所述交互式计算机化系统定义的 情景中的自然姿势交互所产生的数据或参数。一个这样的示例为，正如之后要进行详细 说明的，当手部连续滚动显示屏幕上由手控制的光标或者完成拖放操作的时候执行单击动 作。
[0027] 优选地，所述外罩包括可调节束带，所述可调节束带具有限定手掌侧的第一表面。 各控制按钮都被安装在所述可调节带的所述手掌侧上并且由用户的至少一根手指操作。
[0028] 所述可调节束带还具有限定手背侧的第二表面，所述手背侧可具有至少一个待由 用户的某些其它手指操作的控制按钮。应当理解的是，这可以是用户的另一只手的手指。
[0029] 此外，所述第一表面与所述第二表面之间可能限定出一个部分，所述部分包括至 少一个待由用户的拇指操作的控制装置。
[0030] 由于所述用户操作设备包括可调节束带，因此所述设备能够很容易地戴在手足上 或者从手足上去除（例如，用户的手部）。这意味着在多个用户的情况下，每一位用户能够 快速地将所述控制设备转交给下一位用户或者从一只手转移到另一只手。这还意味着所述 控制设备的使用非常简单和直观，并且并不特定用于左手习惯或者右手习惯。
[0031] 所述可调节束带的至少一部分包括柔性材料。在一实施例中，所述束带整体可包 含柔性材料。所述柔性材料可以包括弹性材料。
[0032] 柔性材料的使用使得所述束带能够容易地适配于用户的手部而与用户的手部尺 寸以及性别无关，并且非常舒适且能够调节。
[0033] 在一实施例中，所述束带很容易地套在手部或者从手上滑下，这就允许用户之间 很方便进行传递。
[0034] 在一实施例中，所述束带能够调节以适配手部的不同尺寸，并且包括两件式可调 节紧固件，所述两件式可调节紧固件的每一部件分别位于所述可调节束带的一端。优选的 两件式可调节紧固件包括钩环紧固件紧固件，但是应当理解的是同样可以使用诸如基于磁 力或者机械的锁合部系统之类的其它两件式紧固件。
[0035] 此外，本发明的所述基于姿势的交互式系统具有的优点是，当允许手部以及手指 的自由移动时能够将信息提供给所述计算机化系统，所述信息能够同时用在在合适的姿势 识别系统中。例如，所述用户操作设备被设计用于使得姿势识别系统拟合并且追踪用户手 部的骨骼。
[0036] 此外，具有至少一个控制装置的所述用户操作设备提供了额外的功能，这些功能 在使用姿势识别来与虚拟环境中的物体进行交互的时候是很有用的（例如，通过按下所述 设备上的按钮能够抓握物体，利用姿势能够将物体移动到另一位置，以及通过释放所述按 钮来将物体释放在所述另一位置）。此外，按照姿势识别系统的要求，一个或者更多个控制 按钮的操作同时并不干扰用户使用自然姿势的能力。
[0037] 在一实施例中，所述可调节束带的所述反馈模块还可以包括至少一个振动器元 件。所述振动器元件邻近于所述可调节束带的在被穿戴上时更靠近用户的表面。所述振动 器元件可以位于所述可调节束带的所述手掌侧或者所述可调节束带的另一部分，但是所述 振动器元件优选地位于不会对诸如所述加速计或者所述陀螺仪之类的产生控制信息的任 何其它单元产生干扰的位置。
[0038] 此外，所述反馈模块可以进一步包括以下各项中至少一项：扬声器模块、显示屏 幕、发光二级管装置以及矩阵触摸反馈模块。

【专利附图】

【附图说明】
[0039] 为了更好地理解本发明，现将仅以实例的形式对附图进行参照，其中：
[0040] 图1示出了根据本发明的一个简单实施例的控制设备的示意性后部透视图；
[0041] 图2示出了图1中所示的控制设备的示意性前部透视图；以及
[0042] 图3示出了对图1和2中所示的控制设备的组件以及与该控制设备进行交互的控 制器进行说明的框图。

【具体实施方式】
[0043] 本发明将根据一些具体实施例并且参照特定附图进行说明，但是本发明并不仅限 于此。所描述的附图仅为示意性的而非限定性的。在附图中，某些组成部分的尺寸和确切 位置可能为了进行说明而被夸大并且并未按照比例绘制。
[0044] 本发明涉及人机交互领域，并且尤其涉及使用无线控制设备的系统和方法，所述 无线控制设备被设计用于与自然姿势识别系统相结合以便增强交互过程中的用户体验。特 别地，本发明的控制设备向基于自然姿势识别的计算机化系统提供了额外功能，并且不限 制所述姿势识别系统的功能。此外，它还能够在交互作用时向用户提供反馈信息，以便相较 于只使用姿势识别或者硬件设备控制系统的任意计算机化系统而言增强用户体验。
[0045] 专利US-A-2010/0304868以及US-A-2011/0269544中所述的控制设备要求用户 主动将控制设备把持在一只或者两只手中以操作该控制设备，并且为形成相关的游戏控制 台的一部分的计算机化系统提供控制信号。然而，一些用户并不满意于设备具有单一尺寸 (例如，手部明显较成年人手部更小的儿童）。当然，针对这一不同手部尺寸问题的一个解 决方案就是提供不止一个设备尺寸，使得能够适应不同的手部尺寸，同时伴随着用户成本 的增加。
[0046] 当设计没有标志的基于姿势的交互以用于全身应用时，由于3D摄像头提供的详 细信息的缺乏而使得获得数据通常很有挑战性（例如，对人的身体上最为精确的部分、手 部甚至更复杂的手指的追踪能力）。特别是当用户处于距3D摄像头较远距离处（典型地， 超过3米），并且计算机化系统追踪房间里的用户的各个部分时更加具有挑战性。当对手部 姿势或者手部移动进行追踪时，一个限制在于很难确定该手部是处于主动状态（例如，抓 一物体）还是处于被动状态（例如，仅仅越过该物体）。
[0047] 当对手部姿势或者手部移动进行追踪时，另一个限制是当用户在基于姿势的识别 系统中倾向于以屏幕上的信息显示为基础时对用户反馈的缺乏。在这样的系统中，系统的 用户通常很难估计他的/她的手部的虚拟表示何时与一虚拟目标接触。视觉反馈的使用易 于扰乱显示器或者屏幕，并且并不总是向用户提供足够自然和/或沉浸的感觉。
[0048] 没有标志的姿势识别系统包括的又一限制在于，由于空间分辨率的不足、模糊、遮 挡、又或者由于3D摄像头的视野中的一个物体或一些潜在的自遮挡，或此外当被追踪的目 标位于距3D摄像头较远的距离处（典型地，大于3米）时，无法足够精确地识别手部的方 向。
[0049] 本发明提出了一种远程控制设备，所述远程控制设备克服了上述限制，并且将适 合的功能、人体工程学以及设备的易用性考虑在内。所述远程控制设备提供的主要功能包 括：
[0050] 1、提供与手部情况相关的信息，所述手部情况包括至少两个可靠状态（并且优选 地包括更多可靠状态）；
[0051] 2、提供额外数据以对从3D摄像头得到的基于姿势识别系统确定的数据进行补偿 或者改善；
[0052] 3、将额外的反馈提供给用户，用于平衡系统的透明性和可用性；以及
[0053] 4、提供适于对没有标志的全身自然姿势与应用的交互进行补偿的人体工程学质 量。
[0054] 本发明的设备包含束带，所述束带能够戴在手部并且含有至少一个在手掌侧上的 控制按钮，所述控制按钮能够由同一手部的手指来操作，用户的手指还能够以与不存在控 制设备的情况下其移动方式相同的方式自由地移动。所述设备用在形成游戏控制台中的计 算机化系统一部分的三维（3D)成像系统（包括3D摄像头）中，使得姿势以及来自束带的 直接控制信号都能够由系统进行处理以增强用户体验，同时与正在运行的游戏进行交互并 且由计算机化系统进行控制。
[0055] 在图1和2中示出了根据本发明的控制设备100。设备100包含可调节束带110， 其上安装有三个控制按钮120、130、140,如图2中更清晰地所示。如图所示，束带110安装 在用户的手部150上并且由紧固件160使其处于手部上的适当位置。紧固件160提供了束 带110能够被调整为适合于用户的手部150的一个位置。典型地，紧固件160包含能够被调 整以适合于手部的两件式紧固件，其中，紧固件的一部分被固定在束带的一端170上并且 紧固件的另一部分被固定在束带的另一端180上，使得当两端170、180重叠时束带110绕 着手部150紧缚。一个这样的两件式紧固件是一个诸如VelcroTM(美国新罕布什尔州曼彻 斯特市Velcro的商标）之类的"钩环"紧固件。然而，应当理解的是，诸如风纪扣、磁铁与 金属片、纽扣之类的其它形式的两件式紧固件也能够被使用。束带110包括至少两轴加速 计（优选地包括三轴加速计），以及陀螺仪（由于其嵌入在束带中而未示出），以用于测量 定向角和引力方向，以及任意方向上的移动速度和加速度。此优点是，设备100的尺寸可以 显著小于任何手持控制设备。仅仅通过控制手部150的倾斜和/或摇动倾角，加速计还能 够相当于标准操纵杆设备的两个控制轴。此外，加速计提供了穿戴设备100时手部150的 加速度的可靠且精确的值。此加速度的可靠且精确的值能够被用于验证计算机化系统（未 示出）假定为手部的部分。通过使用基于反向动力学的用户骨骼拟合过程来识别用户的各 个部分（尤其是随时间识别手部的位置）可以得到手部的假定。追踪的手部的空间-时间 特性随后可随后与参照随着时间推移的操作手部的位置而提供的设备数据进行比较，从而 改善数据的识别以及精确度。特别地，当手部被另一物体或者身体的另一部分遮挡，或因为 手部在3D摄像头的视野范围之外而使其对形成计算机化系统的一部分的3D摄像头不再可 见时，设备提供的加速度值可以被用于推断手部的位置。
[0056] 此外，传到计算机化系统上的加速计信息可以与用户的各个部分的识别与追踪相 结合，以能够根据控制设备所在的手部来自动地为每个控制按钮加载功能和/或特征。例 如，在两设备交互应用中，右手中的设备可能已经配置用于特定应用并且左手中的设备也 可以依照从用户左手中的控制设备提供的加速计信息来配置。当使用两个设备时，所述控 制装置，也就是每个设备的按钮可以根据它们位于哪只手来配置。当将设备从左手交换到 右手时，通过将来自设备的加速计和/或陀螺仪数据与由姿势识别系统确定的针对左手和 右手的空间-时间数据进行比较，自动地进行配置。
[0057] 收发单元（同样未示出）也嵌入在束带110中以用于将控制按钮120、130、140所 产生的控制信号传送到相关联的计算机化系统上。此外，信号还可以从计算机化系统进行 接收。在合适频带中的电磁辐射能够被用于在控制设备100以及其相关联的计算机化系统 之间传送信号。
[0058] 如图1中所示，紧固件160优选地位于手部150的背部，并且如图2中所示，控制 按钮120、130、140位于手部150的手掌中。然而，应当理解的是，如果束带110由至少一种 适合的使得束带能够容易且简单地安置在手上并且从手上去除的材料制成，则紧固件160 的存在并不是必须的。除控制按钮120、130、140之外，反馈元件（未示出）还可能位于设 备100的手掌侧，所述反馈元件缓和了由于与3D摄像头交互的无接触本质所导致的触觉缺 乏。反馈元件可以包含振动器，所述振动器根据需要进行蜂鸣或者振动（例如，为了确认在 计算机化系统上运行的游戏的虚拟环境中，物体已经与用户的手部的虚拟表示相接触）。此 夕卜，反馈元件可以包含向用户提供音频反馈信号的声音设备。此外，作为替代或是附加的其 它反馈形式也能够实现。这些形式可包括热、电和/或触点装置。
[0059] 除具有如图2中所示位于束带110的手掌侧上的控制按钮120、130、140之外，其 它控制装置或者按钮（未示出）可以位于束带的背面侧以用于诸如由另一只手来操作。其 它的控制装置或者按钮还可以位于设备的背面与手掌侧之间以用于诸如由拇指来操作。
[0060] 每个控制按钮120、130、140可以是具有多个状态的模拟按钮，所述多个状态由用 户的一根手指施加在按钮上的压力来控制。可替换地，每个控制按钮120、130、140可以包 含双态按钮，所述双态按钮由用户的一根手指按压而在"导通"状态和"断开"状态之间操 作。如下参照图3所述，控制按钮120、130、140还可以提供连续信号，所述连续信号表示压 力和/或距离。此外，生物识别传感器可以被安装在束带上，比如用于监测心率以及皮肤电 反应。作为离散控制按钮的替代，提供了诸如控制板之类的连续感应面。所述控制板位于当 用户为习惯右手或者习惯左手时都能够用拇指控制到的束带上的位置，这样的控制板（未 示出）可以被提供用于由用户拇指进行操作。
[0061] 此外，按钮可以是压力传感器、柔性传感器、电容传感器和/或距离传感器，所述 传感器提供连续数据，而不需要用户操作来提供数据。
[0062] 除了控制装置（也就是，按钮、加速计等）之外，正如以下参照图3将要详细描述 的那样，设备100还包括诸如电池组、微控制器以及无线模块之类的电子部件。所有的并不 直接用于与用户接触的部件优选地位于束带110的背面使得它们不会扰乱用于提供与计 算机化系统的交互的手掌区域。
[0063] 此外，可以设置有输入/输出端口，所述输入/输出端口允许额外的传感器和/或 致动器连接到控制设备上。例如，可以提供一附加的柔性传感器以围绕食指或中指安装，所 述柔性传感器提供了额外的控制数据或者额外的阻抗以提供额外的情景反馈。
[0064] 束带110可以包含硅氧树脂，硅氧树脂具有弹性并且轻易能够符合手部150的形 状。此外，束带110可以被塑形，以使其仅能够在某一特定方向上穿戴，从而当按钮被预定 义时能够在束带位于右手或者左手上的时候进行使用。更普遍地，束带110优选地关于至 少一个平面对称，使得束带能够被戴在右手或左手上以提供任意一只手的使用和/或允许 用户每只手上都戴有束带以完成更加复杂的交互。将一种类型的硅氧树脂材料用于束带的 一个优点在于，硅氧树脂材料使得用户的手能够紧握，使得控制按钮能够保持在手部的手 掌中以使操作更简单。
[0065] 可替换地，束带110可以由任何其它合适的材料制成，所述材料能够封装控制装 置、反馈装置以及用于操作设备100的任何其它必要的电子设备。束带110可以包括不同的 利用其特定性能的材料，譬如，束带110待位于手部150的手掌中的部分可以由硅氧树脂制 成以提供增强的紧握性，束带110邻近硅氧树脂的部分可以是有弹性的以便能够调节适配 性，并且紧固件160可以包含钩环紧固件（Velcro)以便能够调节适配性且便于在束带150 上定位设备100。
[0066] 在使用中，用户将设备100戴在他的/她的手部150上并且使用两件式紧固件160 来调节设备以达到舒适的适配性。理想地，设备100在手部150上的适配性是介于用户握持 设备以及穿戴设备之间的平衡，也就是，用户必须不需要费力将设备100维持在按钮120、 130、140能够被方便地进行操作的位置处。此外，应当理解的是，设备100不是手套并且不 需要手持来操作。此外，设备能够被容易地戴在手部或者从手部去除。
[0067] 当一只手中有设备时，用户可以与关联到姿势识别设备上的计算机化系统进行交 互，所述姿势识别设备包括3D成像系统（诸如，深度感应3D摄像头）以及用于提供情景指 令与反馈信息的应用。在一实施例中，用户能够作为屏幕上的虚拟形象出现在虚拟环境中 间，并且在3D摄像头的截锥当中自由地动作和移动。计算机化系统中运行的软件对用户的 移动和姿势进行识别。反馈被提供给用户，例如，当如屏幕上所显示的用户的手部已触摸到 虚拟环境中的虚拟物体的时候以振动的形式进行指示。
[0068] 在最简单的实施例中，束带包含单一按钮，当用户按下按钮时所述按钮自动将信 号发送到相关联的计算机化系统上。在此特定情况中，可以对按钮相对于用户手掌的位置 进行调节以使用户用诸如食指或中指之类偏爱的手指进行操作。
[0069] 在另一实施例中，可以设置两个长按钮使得能够根据用户的偏好使用不同或者相 同的手指来对两个按钮进行操作。当设备的硬件装配可能是固定的，由于设备采用了人体 工程学，两个按钮可以位于用户移动最常用的三根手指（也就是，食指、中指以及拇指）中 的一根或两根就能够很自然地对按钮进行操作的位置。例如，第一按钮（也就是最接近食 指的按钮）可以由拇指使用并且另一按钮可以由食指或中指使用。在具有多于一个按钮的 更先进的实施例中能够将按钮与用户的手指对齐。在此，应当理解的是，如上参照图1和2 所述，可以设置多于三个按钮。此外，还可以具有多于一行的按钮。
[0070] 应当理解的是，除了对按钮功能进行预定义的最简单实施例之外，每个按钮的功 能都可能不是固定的并且能够由用户或者计算机系统进行定义。在更优选的实施例中，计 算机系统可以包括根据计算机化系统操作的应用或者根据计算机化系统运行的应用中的 一特定情景来自动并且动态地对控制装置，特别是按钮进行预设定的装置。
[0071] 在另一实施例中，加速计能够用于确定由重力产生的坚直方向，并且相应地分配 每个按钮的功能。
[0072] 在一优选实施例中，设备可以用在用户能够由站立在场景中的虚拟形象来表示的 虚拟环境中。用户能够在与计算机化系统相关联的3D摄像头的截锥之内自由行动并移动， 使得他的/她的移动和/或姿势能够被计算机化系统中运行的软件所识别并且追踪，并且 随后依照本发明与控制设备100的输入相关联。为了使虚拟形象在场景内移动并且交互， 用户使用控制设备1〇〇所提供的功能以及姿势识别软件所提供的功能。
[0073] 一些能够由按钮120、130、140执行的功能包括：
[0074] -当第一按钮被按下时，设备100的方向被登记到相关联的计算机化系统上并且 由此就如设备100是用户手中的操纵杆一样，方向的变化对平移、前进或者后退的速度，以 及向左或者向右的旋转速度进行控制。当按钮被释放时，由设备100提供的引导控制被中 断，使得用户的移动被用于与虚拟环境直接交互。
[0075] -当第二按钮被按下时，利用与第一按钮相类似的机制，用户能够控制3D摄像头 围绕虚拟环境中的虚拟形象的旋转。
[0076] -当第三按钮被按下时，"拖放"功能能被实现。在此，距离用户握持设备100的手 最接近的"物理的"物体（也就是，虚拟表示中的最接近的物体）向虚拟物体移动并且抓取 该虚拟物体，只要按钮未被释放则所述虚拟物体就跟随手部的移动和方向。当按钮被释放 时，物体被释放到按钮被释放的那一刻相对于虚拟环境的用户手部的位置处。
[0077] 此特定功能提供了在虚拟环境中对虚拟物体进行拾取、携带、移动以及加载的能 力。
[0078] 当场景中的物体与用户的虚拟形象表示之间发生碰撞时，设备在手掌上的振动器 以一强度振动，该强度可以与虚拟冲击的强度成正比或者与材料的硬度成正比，该物体被 假设为以此硬度进行碰撞。类似地，增强的振动能够被用于向用户传递关于虚拟物体重量 的信息。应当理解的是，其上放置有控制设备100的手部能够在场景中被探测到是至关重 要的。这能够通过使用用户的具有与手部对应的部分的任意骨骼表示来实现。使用来自三 轴加速计的输出以及使用额外的陀螺仪的输出能够改善手部在虚拟空间中的定位。通过图 像处理而不是利用骨骼的表示而得到的任何识别的场景特征的移动，例如骨端、着色物体、 特定形状、身体部位等所有在3D摄像头的截锥内的移动都能够与设备100的加速度进行对 t匕，从而对设备被固定到所识别的特征的概率进行评估。
[0079] 在另一优选实施例中，陀螺仪存在于设备100中并且提供改善戴有设备的身体部 位（特别是手部）的方向探测的信息。
[0080] 在另一优选实施例中，陀螺仪可以被罗盘代替，从而提供绝对方向测量而非相对 方向测量。这些绝对测量的使用同样用于改善戴有设备的身体部位（特别是手部）的方向 探测。这可能是除陀螺仪之外还存在的。
[0081] 此外，多个控制设备能够同时使用。例如，单一用户可以在每个手上都使用控制设 备或者多个用户中的每个用户可以在一只手上使用控制设备。在这些情况中，所使用的通 信协议需要能够在每个控制设备的标识或者各自地址之间进行区分。
[0082] 现在参看图3,用于交互游戏控制台或计算机系统（未示出）的控制系统300的框 图被示出。控制系统300包含计算机化系统310,计算机化系统310被封装在交互式控制台 中并且包含电子模块320。电子模块320包含微控制器330以及收发器340。收发器340工 作在蓝牙（蓝牙技术联盟的商标）、Wi_Fi (Wi-Fi联盟的商标）、ZigBee (无线个域网联盟的 商标）以及其它无线电（RF)频带中的一个或者更多个频带中。蓝牙工作在2. 4至2. 48GHz 的工业、科学与医学（Industrial，Scientific&Medical，ISM)波段；Wi-Fi 按照 IEEE802. 11 标准来工作；同时ZigBee也按照IEEE802标准来工作。收发器340自然可以使用诸如可见 光与红外线之类的其它通信系统工作。应当理解的是，收发器340可以使用不止一种射线 和/或无线电频带来工作。在这种情况中，为每种类型的射线和/或无线电频带均设置专 用的发射和接收模块。
[0083] 收发器340被连接到微控制器330上并且由其进行控制以实现箭头335所指示的 双向通信，并且依照本发明向控制设备350发射信号或者从控制设备350接收信号。控制 设备350相当于以上参照图1和2所述的设备100。
[0084] 控制设备350包含三个单元组，也就是感应单元360、驱动单元370以及反馈单元 380。感应单元360包含控制装置，也就是惯性感应单元400、双态板410、模拟板420、双态 操纵杆430、模拟操纵杆440、双态按钮450以及模拟按钮460。尽管这些元件中仅有一个被 示出，但是应当理解的是，根据特定配置，控制设备350中可能存在不止一个元件。
[0085] 惯性感应单元400可能包括至少一个两轴加速计。在优选实施例中，惯性感应单 元可以包括上述的单一三轴加速计或者三个单独的加速计，其中每一个分别对准X、y和Z 轴中的一个方向。可替代地或者另外，惯性感应单元4〇〇还可以包含分别对准X、y和z轴 的陀螺仪元件。
[0086] 双态板410与模拟板420本质上是在平面上具有诸如北、南、东和西四个方向中至 少一个利用集中按压的敏感方向或者双态的压敏输入设备。这样的板已知为方向板、游戏 版或者D形板。
[0087] 在双态板410的情况下，板可以包含一个连续扁平状的按钮，其中设置的数据值 为数字的并且与用户选择的方向成正比，并且还能够处于"导通"或者"断开"状态。
[0088] 在模拟板420的情况下，板包含一个连续多方向的2D扁平状的按钮，其中设置的 数据值为模拟的并且同样与用户选择的方向成正比；数据值在每个方向上都是连续的，并 且取决于用户的手指与特定方向的中间位置之间的距离大小。
[0089] 此外，双态板410与模拟板420可以是设置有中间状态的交叉推杆或者多向板。
[0090] 双态操纵杆430与模拟操纵杆440以类似于上述板的方式工作，但是每个操纵杆 包含具有突出元件（例如，与其垂直的杆）的表面。如上参照双态板410所述，双态操纵杆 430提供一数据值，所述数据值为数字的且与用户设定的方向成正比。类似地，模拟操纵杆 440提供一数据值，所述数据值为模拟的并且与到达用户设定的特定方向上的中间位置的 距离成正比。
[0091] 双态按钮450包含至少一个按钮，所述按钮能够由用户的手指在"导通"状态与 "断开"状态之间操作。以上参照图2所述的按钮120、130、140中的一个或者更多个可以是 双态按钮。
[0092] 模拟按钮460包含至少一个按钮，所述按钮能够由用户的手指在多个不同状态之 间操作。如前所述，以上参照图2所述的按钮110、120、130中的一个或者更多个可以是模 拟按钮。
[0093] 驱动单元370连接到感应单元360上。驱动单元370包括供电电源470,供电电 源470如箭头475所示连接到电子模块480上。供电电源470如箭头490所示向感应单元 360内的组件提供电力，而且将如下所述，还如箭头495所示向反馈单元380内的组件提供 电力。供电电源470可以是电池或者其它可利用诸如电感现象之类充电的便携式供电装置 (借助于直接连接到合适的交流电源上，或者通过USB接口连接到计算机化系统或其它适 当的计算机设备上）。电池还可以借助用户的移动或者连接到光电池上来充电。在一实施 例中，控制设备350还可以包括光电池（未示出），只要光级度足够高就能够通过所述光电 池给电池充电。
[0094] 电子模块480包括微控制器500、收发器510以及输入/输出（I/O)模块520。微 控制器500按照对应箭头515与525所示连接到收发器510以及I/O模块520两者上。这 些连接是双向连接使得信息能够根据要求从收发器510与I/O模块520传递到微控制器 500上并且从微控制器500传递到收发器510与I/O模块520上。按照箭头365、385所示， 微控制器500还可以经由传感单元与反馈单元360、380内适当的接口（未示出）连接到传 感单元360与反馈单元380。如同以下将要详细说明的那样，每个接口都连接到总线上（同 样未示出）以用于将信号发送到感应单元360内的组件400、410、420、430、440、450、460的 每一个以及反馈单元380内的组件上并且接收来自于这些组件的信号。
[0095] I/O模块520可以包括USB端口以用于将设备350直接连接到计算机化系统310 上。I/O模块还可以包括充电点以用于在供电电源包含可充电电池单元的时候对供电电源 470进行充电。此外，还可以在I/O模块520上安装其它传感器以提供与用户手部的移动和 /或位置相关的其它信息。
[0096] 反馈单元380包含扬声器模块550、振动器模块560、显示屏幕模块570、发光二级 管（LED)模块580以及矩阵接触反馈模块590之中的一个或者更多个模块。应当理解的是， 设备100上所设置的反馈组件的数量取决于所要提供的反馈的类型。如上所述，振动器模 块560是用于向用户提供触觉反馈的优选组件。
[0097] 扬声器模块550包含至少一个扬声器元件以用于向用户提供音频反馈。显示屏幕 模块570与LED模块580为用户提供视觉反馈，显示屏幕模块570相对于LED模块580能 够显示出更加详细的信息。在一优选实施例中，LED可以提供供电电源状态信息，使颜色从 绿色（充满电）变到黄色（譬如，剩余50%电量）再到红色（需要充电）。
[0098] 矩阵接触反馈模块590包含致动器（譬如，振动元件或电极）阵列，所述致动器阵 列提供以触感形式的反馈。在以上参照图1和2所述的控制设备100中，矩阵接触反馈模 块位于能够紧靠用户皮肤的位置以刺激触感。
[〇〇99] 尽管参照具体实施例对本发明的控制设备进行了说明，但是应当理解的是控制设 备的其它实施方式也是可行的。
【权利要求】
1. 一种控制具有三维成像系统的交互式计算机化系统（310)的方法，所述三维成像系 统包括三维摄像头，所述三维摄像头用于提供出现在其截锥之内的用户的至少一个部位的 三维信息，所述方法包括以下步骤： a) 提供待与用户的至少一个部位相关联的用户操作控制设备（100 ;350)，所述用户操 作控制设备包括：外罩（110)、至少一个感应模块（360)、至少一个反馈模块（380、550、560、 570、580、590)、通信模块（510)以及控制器模块（500)，所述至少一个感应模块（360)包 括安装在所述外罩（110)中的至少一个控制装置（120、130、140;410、420、430、440、450、 460)，每个控制按钮（120、130、140;410、420、430、440、450、460)都能够在被操作时产生用 于所述计算机化系统（310)的控制信号，所述至少一个反馈模块（380、550、560、570、580、 590)安装在所述外罩（110)中以根据在所述计算机化系统（310)上运行的应用来向用户提 供情景反馈，所述通信模块（510)位于所述外罩（110)内，各控制信号都通过所述通信模块 (510)发送到所述计算机化系统（310)上并且各反馈信号都通过所述通信模块（510)从所 述计算机化系统（310)上接收，所述控制器模块（500)安装在所述外罩（110)中，所述控制 器（500)依照所产生的各控制信号对所述感应模块（360)、所述通信模块（510)以及所述反 馈模块（380、550、560、570、580、590)进行控制； b) 由所述用户操作控制设备（100 ;350)上的至少一个控制装置（120、130、140 ;410、 420、430、440、450、460)产生控制信号；以及 c) 使用所述产生的控制信号对所述交互式计算机化系统（310)进行控制； 其特征在于，所述方法进一步包括以下步骤：使用由所述用户操作控制设备所提供的、 与用户的与所述用户操作控制设备相关联的部位相关的信息，来消除所述三维成像系统所 测得的信息中的模糊。
2. 根据权利要求1所述的方法，进一步包括以下步骤： d) 依照在所述计算机化系统（310)上运行的应用向用户提供情景反馈。
3. 根据权利要求1或2所述的方法，进一步包括以下步骤： e) 使用所述用户操作控制设备（100 ;350)来提供与用户的与所述控制设备（100 ; 350)相关联的至少在所述三维摄像头的所述截锥之内的部位相关的信息。
4. 根据权利要求3所述的方法，其中，所述步骤e)包括：提供与用户的与所述控制设 备（100 ;350)相关联的部位的空间-时间相关信息。
5. 根据权利要求4所述的方法，其中，所述空间-时间相关信息包括以下各项中的至少 一项：用户的与所述控制设备（100 ;350)相关联的部位的状态、加速度、方向以及位置。
6. 根据前述权利要求中任一项所述的方法，其中，所述信息用于在因以下原因之一而 导致用户的与所述用户操作控制设备相关联的部位对于所述三维成像摄像头不再可见时， 推断出用户的与所述用户操作控制设备相关联的部位的位置，所述原因包括：被另一物体 遮挡、被用户的一部分所遮挡，以及位于所述三维成像摄像头的所述截锥之外。
7. -种基于姿势的交互式计算机化系统，包括： 三维成像系统； 姿势识别系统； 用户操作控制设备（1〇〇 ;350)，包括：外罩（110)、至少一个感应模块（360)、反馈模块 (380、550、560、570、580、590)、通信模块（510)以及控制器模块（500)，所述至少一个感应 模块（360)包括安装在所述外罩（110)中的至少一个控制装置（120、130、140;410、420、 430、440、450、460)，每个控制装置（120、130、140;410、420、430、440、450、460)都能够在被 操作时产生用于所述计算机化系统（310)的控制信号，所述反馈模块（380、550、560、570、 580、590)安装在所述外罩（110)中以根据在所述计算机化系统（310)上运行的应用来向用 户提供情景反馈，所述通信模块（510)位于所述外罩（110)内，各控制信号都通过所述通信 模块发送到所述计算机化系统（310)上并且各反馈信号都通过所述通信模块（510)从所述 计算机化系统（310)上接收，所述控制器模块（500)安装在所述外罩（110)中，所述控制器 (500)依照所产生的各控制信号对所述感应模块（360)、所述通信模块（510)以及所述反馈 模块（380、550、560、570、580、590)进行控制；以及 计算机化系统（310)，其与所述三维成像系统以及所述姿势识别系统相关联，所述计算 机化系统（310)对所述三维成像系统所捕捉的图像以及所述姿势识别系统所识别的姿势 进行处理； 其特征在于，所述计算机化系统（310)对来自所述用户操作控制设备（100 ;350)的数 据和由所述姿势识别系统所识别的姿势进行结合使用，以消除所述三维成像系统所测得的 信息中的模糊。
8. 根据权利要求7所述的基于姿势的交互式计算机化系统，其中，所述外罩包括可调 节束带（110)，所述可调节束带具有限定手掌侧的第一表面，各控制按钮都被安装在所述手 掌侧上并且由用户的至少一根手指操作。
9. 根据权利要求8所述的基于姿势的交互式计算机化系统，其中，所述可调节束带 (110)具有限定手背侧的第二表面，所述手背侧具有至少一个待由用户的其它手指操作的 控制按钮。
10. 根据权利要求9所述的基于姿势的交互式计算机化系统，其中，在所述第一表面与 所述第二表面之间限定出一个部分，所述部分包括至少一个待由用户的拇指操作的控制按 钮。
11. 根据权利要求8-10中任一项所述的基于姿势的交互式计算机化系统，其中，所述 可调节束带（110)的至少一部分包括柔性材料。
12. 根据权利要求11所述的基于姿势的交互式计算机化系统，其中，所述柔性材料包 括弹性材料。
13. 根据权利要求8-12中任一项所述的基于姿势的交互式计算机化系统，其中，所述 可调节束带（110)包括两件式可调节紧固件（160)，所述两件式可调节紧固件（160)的各部 件位于所述可调节束带（110)的相应末端（170、180)。
14. 根据权利要求13所述的基于姿势的交互式计算机化系统，其中，所述两件式可调 节紧固件（160)包括钩环紧固件。
15. 根据权利要求13所述的基于姿势的交互式计算机化系统，其中，所述两部件可调 节紧固件（160)包括以下之一：磁力锁合部或者机械锁合部。
16. 根据权利要求7-15中任一项所述的基于姿势的交互式计算机化系统，其中，所述 反馈模块（380)包括振动器元件（560)。
17. 根据权利要求16所述的基于姿势的交互式计算机化系统，其中，所述振动器元件 邻近于所述可调节束带（110)的在被穿戴上时靠近用户的表面。
18. 根据权利要求16或17所述的基于姿势的交互式计算机化系统，其中，所述反馈模 块（380)进一步包括以下各项中的至少一项：扬声器模块（550)、显示屏幕（570)、发光二级 管装置（580)以及矩阵触摸反馈模块（590)。
19. 根据权利要求7-18中任一项所述的基于姿势的交互式计算机化系统，其中，所述 感应模块（360)进一步包括以下各项中的至少一项：用于向所述计算机化系统提供语音命 令的麦克风、惯性感应单元（400)、双态板（410)、模拟板（420)、双态操纵杆（430)、模拟操 纵杆（440)、双态按钮（450)、模拟按钮（460)、光学传感器以及罗盘。
20. 根据权利要求7-19中任一项所述的基于姿势的交互式计算机化系统，其中，所述 用户操作控制设备符合人体工程学且关于平面对称，并且左右手任意使用时都允许手部姿 势和手指姿势的交互。
21. 根据权利要求20所述的基于姿势的交互式计算机化系统，其中，所述设备的人体 工程学以及设计在依旧允许自由的自然移动的同时无需用手主动和有意地握持该设备。
【文档编号】G06F3/033GK104094196SQ201380004925
【公开日】2014年10月8日 申请日期:2013年1月9日 优先权日:2012年1月9日
【发明者】吉勒·皮诺特 申请人:索夫特克尼特科软件公司