扩增现实中的空间交互的制作方法

相关申请案的交叉参考

本专利申请案主张标题为“扩增现实中的空间交互(spatialinteractioninaugmentedreality)”的第62/080,050号美国临时申请案的权益，所述美国临时申请案在2014年11月14日申请，让渡给本受让人，且明确地以全文引用的方式并入本文中。

本发明的各方面大体上涉及扩增现实，且确切地说，涉及扩增现实环境中的空间交互。

背景技术：

扩增现实是组合现实世界图像与计算机产生的数据(例如图形或文字信息)的新兴技术。扩增现实技术使用高级用户装置(例如平板计算机、智能电话，等等)将图形、音频及其它感觉增强叠加到现实世界上，因此增强现实。扩增现实允许用户实时地与真实对象交互，从而使虚拟图像与现实世界对齐。

然而，现今的扩增现实应用中的一些仍具有挑战。

技术实现要素：

在一个方面中，一种用于在扩增现实(ar)中进行空间交互的方法包含显示包含现实世界场景的图像、虚拟目标对象及虚拟光标的ar场景。所述虚拟光标的位置是根据所述ar场景内的第一坐标系统而提供。用户装置根据第二坐标系统跟踪所述用户装置相对于用户的手的姿势。将所述第二坐标系统映射到所述第一坐标系统以控制所述虚拟光标的移动。在第一映射模式中，控制虚拟光标移动以改变所述虚拟光标与所述虚拟目标对象之间的距离。在第二映射模式中，控制虚拟光标移动以操纵所述虚拟目标对象。检测用户输入以控制使用所述第一映射模式或所述第二映射模式中的哪一者。

在另一方面中，一种设备包含：用于通过用户装置获取现实世界场景的图像的装置；以及用于在所述用户装置上显示包含所述现实世界场景的所述图像、虚拟目标对象及虚拟光标的扩增现实(ar)场景的装置。所述虚拟光标的位置是根据所述ar场景内的第一坐标系统而提供。所述设备进一步包含用于根据界定所述用户装置与用户的手之间的关系的第二坐标系统跟踪所述用户装置相对于所述用户的手的姿势的装置。用于将所述第二坐标系统映射到所述第一坐标系统的装置也包含于所述设备中以响应于所述用户的手的移动而控制所述虚拟光标在所述ar场景中的移动。所述用于将所述第二坐标系统映射到所述第一坐标系统的装置包含第一映射模式及第二映射模式，其中所述第一映射模式经配置以控制所述虚拟光标的移动以改变所述ar场景中的所述虚拟光标与所述虚拟目标对象之间的距离，且其中所述第二映射模式经配置以控制虚拟手的移动以操纵所述ar场景内的所述虚拟目标对象。所述设备还包含用于在所述用户装置处检测用户输入以控制使用所述第一映射模式及所述第二映射模式中的哪一者来控制所述虚拟光标在所述ar场景中的移动的装置。

另一方面是针对一种用户装置，其包含相机、显示器、存储器及处理单元。所述相机经配置以俘获现实世界场景的图像，且所述显示器经配置以显示包含所述现实世界场景的所述图像、虚拟目标对象及虚拟光标的扩增现实(ar)场景。所述虚拟光标的位置是根据所述ar场景内的第一坐标系统而提供。所述存储器经调适以存储程序代码，且所述处理单元耦合到所述存储器以存取且执行包含于所述程序代码中的指令以引导所述用户装置：(i)根据界定所述用户装置与用户的手之间的关系的第二坐标系统跟踪所述用户装置相对于所述用户的手的姿势；(ii)将所述第二坐标系统映射到所述第一坐标系统以响应于所述用户的手的移动而控制所述虚拟光标在所述ar场景中的移动，其中将所述第二坐标系统映射到所述第一坐标系统包含第一映射模式及第二映射模式，其中所述第一映射模式经配置以控制所述虚拟光标的移动以改变所述ar场景中的所述虚拟光标与所述虚拟目标对象之间的距离，且其中所述第二映射模式经配置以控制虚拟光标的移动以操纵所述ar场景内的所述虚拟目标对象；以及(iii)检测用户输入以控制使用所述第一映射模式及所述第二映射模式中的哪一者来控制所述虚拟光标在所述ar场景中的移动。

在又一方面中，一种非暂时性计算机可读媒体包含存储于其上的程序代码。所述程序代码包含在执行时致使用户装置执行以下操作的指令：(i)获取现实世界场景的图像；(ii)显示包含所述现实世界场景的所述图像、虚拟目标对象及虚拟光标的扩增现实(ar)场景，其中所述虚拟光标的位置是根据所述ar场景内的第一坐标系统而提供；(iii)根据界定所述用户装置与用户的手之间的关系的第二坐标系统跟踪所述用户装置相对于所述用户的手的姿势；(iv)将所述第二坐标系统映射到所述第一坐标系统以响应于所述用户的手的移动而控制所述虚拟光标在所述ar场景中的移动，其中所述第二坐标系统映射到所述第一坐标系统的所述映射包含第一映射模式及第二映射模式，其中所述第一映射模式经配置以控制所述虚拟光标的移动以改变所述ar场景中的所述虚拟光标与所述虚拟目标对象之间的距离，且其中所述第二映射模式经配置以控制虚拟光标的移动以操纵所述ar场景内的所述虚拟目标对象；以及(v)检测用户输入以控制使用所述第一映射模式及所述第二映射模式中的哪一者来控制所述虚拟光标在所述ar场景中的移动。

此“发明内容”是在遵守以下理解的情况下提交：其将不会用于解释或限制权利要求的范围或含义。此“发明内容”并不意欲识别所主张的标的物的关键或基本特征，也不意欲用作辅助来确定所主张的标的物的范围。

附图说明

图1说明根据本文中所描述的技术的一或多个实施方案的扩增现实环境。

图2说明供用于根据本文中所描述的技术的实施方案的扩增现实环境中的空间交互机制。

图3说明供用于根据本文中所描述的技术的实施方案的空间交互机制。

图4是操作供用于根据本文中所描述的技术的实施方案的扩增现实环境中的空间交互机制的方法的流程图。

图5a到5c是说明根据本文中所描述的技术的一或多个实施方案的目标与各种姿势的手之间的关系的图画表示。

图6到9是说明供用于根据本文中所描述的技术的替代实施方案的扩增现实环境中的空间交互机制的图画表示。

图10是说明能够执行本文中论述的过程的设备1000的功能框图。

图11是说明可使用于经配置以提供与如本文中所教示的扩增现实场景的空间交互的用户装置中的组件的若干样本方面的简化框图。

具体实施方式参考附图。在图中，参考标号最左边的数字识别所述参考标号在其中首先出现的图。贯穿图式使用相同数字以指代相同特征及组件。

具体实施方式

本文中所描述的技术是针对使用三维(3d)感测装置在手持型装置的屏幕侧上跟踪用户的手以产生用户的手的运动与扩增现实场景中发生的情况之间的更自然连接。在一或多个实施方案中，用户装置具有多个坐标系统：对象到装置坐标系统(用于对象空间)、手到装置坐标系统(用于控制空间)，及虚拟光标坐标系统(用于光标空间)。用户装置获取用户的手的平移及旋转移动及/或用户装置自身的平移及旋转移动以在三个维度(3d)中控制“虚拟手”或“虚拟光标”的移动。虚拟光标可接着与扩增现实(ar)场景交互。因为用户的手可具有二十七个自由度，因此可提供坐标系统之间的更多映射坐标选项以控制虚拟光标的移动。

本文中所描述的实例可实施两个不同映射模式用于响应于用户的手的移动而将手到装置坐标系统映射到虚拟光标坐标系统以控制虚拟手在ar场景中的移动。第一映射模式(在本文中也被称作gogo机制)使用交互式伸长用户的手臂及用于够到并操纵ar场景中的远处的对象的非线性映射的象征来实现对附近对象及远处对象两者的顺畅地直接操纵。第一映射模式允许用户随意地改变其手臂长度以抓取并操纵ar场景中远离以及接近于用户的对象。在一个方面中，根据第一映射模式将手到装置坐标系统映射到虚拟光标坐标系统在控制虚拟光标的移动时考虑到用户的手相对于用户装置的平移及旋转移动以及用户装置相对于虚拟目标对象的平移及旋转移动。

第二映射模式(在本文中也被称作魔法手机制)使得能够精确地操纵包含于ar场景中的虚拟目标对象。在第二映射模式中，用户装置到手坐标系统可直接映射到虚拟光标坐标系统，使得控制空间直接置于对象空间中。这允许非常精确地直接操纵对象。在一个方面中，根据第二映射模式将手到装置坐标系统映射到虚拟光标坐标系统在控制虚拟光标的移动时考虑到用户的手相对于用户装置的平移及旋转移动，而独立于用户装置相对于虚拟目标对象的任何平移及旋转移动。

gogo机制与魔法手机制之间的一个差异为如何解释用户装置的两个坐标系统及/或如何将其组合在一起以产生虚拟光标。在gogo机制中，坐标系统中的平移经归一化，但旋转未经归一化。手检测系统在用户装置中的范围的大小用来使平移数据归一化。旋转是朝向用户装置旋转。接着，执行线性内插以将用户的手在控制空间中的移动转译为虚拟光标在光标空间中的移动。由此，用户可够到用户装置的末端。

在一或多个实施方案中，gogo魔法机制还包含对手势及/或手指姿态检测。对手指姿态的解译允许在gogo机制(打开手)与魔法手机制(食指指向动作)之间切换。对手势及/或手指姿态检测的解译还允许区分开选择与操纵。举例来说，gogo魔法机制可将握拳解译为请求在gogo机制提供的选择与魔法手机制提供的操纵之间进行切换。

在一或多个实施方案中，筷子机制使用筷子的尖端产生在用户装置的一个侧上的点。筷子机制还使用用户装置的中心点作为立方体。用户可接着使用筷子来利用筷子的尖端选择扩增现实场景中的对象。或者，替代使用物理筷子，用户可使用虚拟筷子。

再或者，用户可使用拇指及食指或任何两根手指模拟筷子运动，以实现夹捏手势来放大与缩小筷子的虚拟或实际尖端。其它合适手指姿势及/或手势包含改变手在按钮上的压力，等。其它用户输入也是可能的，包含但不限于语音、触摸，等等。

图1说明根据本文中所描述的技术的一或多个实施方案的扩增现实环境100。所说明的扩增现实环境100包含用户的手102、用户装置104及目标106。包含于用户装置104中的相机俘获或以其它方式获取包含目标106的现实世界场景的图像。用户装置104可接着在显示器112上显现包含所述场景的图像、虚拟目标对象108(例如，虚拟房屋)及虚拟手114(即，虚拟光标)的ar场景。所说明的用户的手102包含食指110。在所说明的环境100中，虚拟手114还包含虚拟食指116。扩增现实环境100还包含第一坐标系统120及第二坐标系统118。在一个方面中，虚拟手114的位置是根据第一坐标系统120而提供于ar场景内。类似地，第二坐标系统118界定用户装置104与用户的手102之间的关系。在一个实例中，用户装置104相对于用户的手102的姿势可使用来自第二坐标系统118的坐标加以表达。扩增现实环境100还包含耦合到用户装置104的传感器122。扩增现实环境100包含虚拟空间124。

在一或多个实施方案中，扩增现实环境100使用基于视觉的跟踪系统，借助于耦合到用户装置104或嵌入于所述用户装置内的相机来跟踪用户装置104相对于虚拟目标对象108的姿势。扩增现实环境100接着可确定虚拟目标对象108与用户装置104之间的三维(3d)关系。扩增现实环境100还使用传感器122参考坐标系统118跟踪用户装置104相对于用户的手102的姿势。坐标系统118接着映射到坐标系统120以响应于用户的手102的移动而控制虚拟手114在ar场景中的移动。

在操作中，扩增现实环境100可俘获现实世界场景的图像，使用场景辨识算法识别场景中的对象，基于所识别对象检索信息，且产生物理场景图像与相关于所识别对象的信息的组合显示，且由此扩增物理场景。在扩增实境系统中，用户对现实世界的视图利用计算机产生的虚拟图形(例如，虚拟目标对象108)加以增强。这些图形在空间上对齐以使得其从检视用户的角度看来与现实世界对准。举例来说，空间对齐可使得虚拟人物看起来站立在真实的桌子上。

在一或多个实施方案中，扩增现实环境100可用于游戏设定、指令设定、工业设计、体育及娱乐、医疗环境或可受益于扩增现实技术的使用的其它适合环境中。

在一或多个实施方案中，用户的手102可为用户装置104的任何人类检视者的部分。由此，用户的手102可使用多种模态与用户装置104交互。当然，用户的手102可为例如机器人等能够在例如人类的控制下与用户装置104交互的任何机械装置的部分。

在一或多个实施方案中，用户装置104可为任何用户装备，例如电话、平板计算机、“平板手机(电话+平板计算机)”计算机、智能电话、膝上型计算机及桌上型计算机，等等。在一或多个实施方案中，用户装置104可包含一或多个定向感测模块、相机、无线收发器、图形引擎、处理器、用户接口(例如，显示器112、小键盘)、眼睛移动检测模块、手移动检测模块、语音检测模块、话音辨识模块、面部表情辨识模块、头部跟踪模块，等等。用户装置104可具有六个自由度。

在一或多个实施方案中，目标106可为场所、对象、大体方向、人员，或其它类似项目。目标106可静止或移动。在一个实例中，目标106为包含例如纹理、形状、图形或大小等区分性可观察特征的对象，所述可观察特征由用户装置104辨识以用于跟踪且辅助用户装置104的姿势估计以产生ar场景中的虚拟目标对象。举例来说，目标106可为可由用户装置104的基于视觉的跟踪系统辨识的先前确定的图形的印刷输出。因此，用户装置104的相机可俘获包含目标106的现实世界场景的一或多个图像，对所述图像执行一或多个辨识算法以检测目标106的存在，接着在后续图像中跟踪目标106，使得可跟踪用户装置104相对于目标106以及相对于关于目标106产生的任何虚拟目标对象(例如，108)的姿势。

所说明的显示器112可为能够显示文字、图像及其类似者的触摸屏显示器、全息显示器，等。

所说明的坐标系统118为用户的手102相对于用户装置104的坐标系统。坐标系统120为用于提供虚拟手114的位置的坐标系统。具有坐标系统118及坐标系统118提供十二个自由度，因为用户的手102可移动，用户的手102可转动，用户装置104可移动，且用户装置104可转动。

所说明的传感器122可为能够感测回转手的任何合适装置，例如红外传感器。或者，传感器122可为能够跟踪及/或检测用户的手的移动、手指姿势、握拳等的磁性传感器、声学传感器、惯性传感器、光学传感器、机械传感器等。此外，传感器122可实施用以确定用户装置104的位置的机制。因此，传感器122可实施包含使用来自网络的数据的机制，包含三角测量、wi-fi定位，等等。

在一或多个实施方案中，传感器122可区分手指、手掌等，且将数据提供到用户装置104。所说明的传感器122可为任何合适的三维(3d)感测装置。

图2说明根据本文中所描述的技术的实施方案的第一映射模式(例如，gogo机制)的实施方案。使用gogo机制200，用户的手102可够到距离大于用户的手臂长度的对象。所说明的gogo机制200可包含控制空间202(包含坐标系统118)、光标空间204(包含坐标系统120)及对象空间206。对象空间206与用户装置104相关联，且可提供用户装置104相对于目标106的姿势。控制空间202横跨在用户装置104与用户的手102(在图1中展示)之间。控制空间202的大小可动态地映射到对象空间206以提供光标空间204。目标106及/或虚拟目标对象108还在光标空间204中对齐。取决于用户距用户装置104的距离，用户的手102可能能够始终够到显示器112的屏幕上的场景。作为实例且参考图1，用户装置104可跟踪用户装置104相对于用户的手102的姿势，以便检测用户的手102的达第一距离130a的平移移动(例如，用户的手102较接近于/朝向用户装置104而移动)。在此实例中，第一映射模式包含将用户的手102的所检测平移移动归一化为虚拟手114在ar场景中达第二距离130b的平移移动(例如，虚拟手102较接近于/朝向虚拟目标对象108而移动)。然而，由于平移移动归一化到坐标系统120中，因此第二距离130b大于第一距离130a。行为另一实例，用户装置104可跟踪用户装置104相对于用户的手102的姿势，以便检测用户的手102的达第一距离132a的平移移动(例如，用户的手102移动远离用户装置104)。在此实例中，第一映射模式还包含将用户的手102的所检测平移移动归一化为虚拟手114在ar场景中达第二距离132b的平移移动(例如，虚拟手102移动远离虚拟目标对象108)。类似地，由于平移移动归一化到坐标系统120中，因此第二距离132b大于第一距离132a。

此外，用户装置可检测用户装置104的平移及/或旋转移动，其中用户装置的所检测平移及旋转移动与用户的手的平移及旋转移动组合以提供虚拟手114的平移及旋转移动。

图3说明根据本文中所描述的技术的实施方案的第二映射模式(例如，魔法手机制300)的实施方案。在所说明的实施方案中，由用户装置104上的传感器122产生的控制空间302映射(例如，直接映射)到与对象空间306相关联的光标空间304。如图3中所示，光标空间304从用户装置104脱离。即，映射可为一对一映射，以使得可精确地操纵对象空间306中的对象(例如，虚拟目标对象108)。因此，魔法手机制可允许精确地操纵用户装置104的显示器112上展示的场景中的对象。对虚拟目标对象108的操纵可包含经由虚拟手114选择、启动、触摸、移动、调整大小、旋转或以其它方式与虚拟目标对象108交互。传感器122可使用红外光学件、相机、深度感测器等等加以实施。在一或多个实施方案中，光标空间304为可在其中操纵对象且虚拟手116在其中四处移动的空间。魔法手机制300允许对对象的精细粒度操纵。作为实例且参考图1，用户装置104可跟踪用户装置104相对于用户的手102的姿势，以便检测用户的手102的达第一距离130a的平移移动(例如，用户的手102较接近于或朝向用户装置104而移动)。在此实例中，第二映射模式包含将用户的手102的所检测平移移动直接映射到虚拟手114在ar场景中达第二距离130b的平移移动(例如，虚拟手102较接近于或朝向虚拟目标对象108而移动)。因此，由于平移移动直接映射到坐标系统120中，因此第二距离130b等于第一距离130a。类似地，用户装置可检测用户的手102的旋转移动，其中所检测旋转移动直接映射到虚拟手114的旋转移动(例如，用户的手102的10度旋转导致虚拟手114的10度旋转)。在一个方面中，用户装置可独立于用户装置104相对于目标106的任何平移及旋转移动而确定虚拟手114的平移及旋转移动。

图4是说明根据一或多个实施方案的操作扩增现实环境100以允许用户选择且操纵虚拟目标对象的过程400的流程图。过程400为由图1的用户装置104执行的一个可能过程。

在过程框402中，用户装置104俘获或以其它方式获取现实世界场景的图像。在过程框404中，显示器112显示包含现实世界场景的图像、虚拟目标对象108及虚拟手114的ar场景。如上文所提及，虚拟手的位置是根据ar场景内的第一坐标系统120而提供。在过程框408中，用户装置104根据第二坐标系统118跟踪用户装置104相对于用户的手102的姿势。在过程框410中，用户装置104检测用户输入。如上文所提及，检测用户输入可借助于传感器122执行以检测用户的手102的手指姿态及/或手势中的至少一者。接下来，在决策框412中，用户装置412确定用户输入是否指示用户装置102应在第一映射模式或第二映射模式中操作以控制虚拟手116在ar场景中的移动。在一个实例中，检测手指指向动作(例如，通过食指110)以便切换到第二映射模式(例如，魔法手机制)。在另一实例中，检测用户的手102的打开手势以便切换到第一映射模式(例如，gogo机制)。此外，可检测用户的手102的握拳姿态以从第一映射模式切换到第二映射模式。因此，实际上，用户的手102可在第一映射模式中借助于打开手势而够到虚拟目标对象108，且接着通过接着将打开手闭合到握拳姿态而在第二映射模式中控制或操纵虚拟目标对象108。

因此，如果用户装置102确定所检测到的用户输入指示第一映射模式，那么过程400进行到过程框414，在所述过程框处，将第二坐标系统118映射到第一坐标系统120以根据例如上文参考图2的gogo机制200所描述的第一映射模式控制虚拟手114的移动。类似地，如果用户装置102确定所检测到的用户输入指示第二映射模式，那么过程400进行到过程框416，在所述过程框处，将第二坐标系统118映射到第一坐标系统120以根据例如上文参考图3的魔法手机制300所描述的第二映射模式控制虚拟手114的移动。

图5a到5c说明根据本文中所描述的技术的一或多个实施方案的扩增现实环境100中的目标106与手102之间的关系。图5a说明根据本文中所描述的技术的一或多个实施方案的食指110指向姿态。图5b说明根据本文中所描述的技术的一或多个实施方案的用户的手102的打开手势。图5c说明根据本文中所描述的技术的一或多个实施方案的握拳姿态502。如上文所提及，用户装置102可将握拳姿态502解译为从gogo机制200提供的虚拟手114移动切换到由魔法手机制300提供的虚拟目标对象108操纵的请求。

图6为说明根据本文中所描述的技术的一或多个实施方案的筷子机制600的图片。筷子机制600包含尖端602以控制扩增现实场景中的目标点。在一个方面中，由筷子机制600控制的目标点为如上文所描述的虚拟光标。在另一方面中，由筷子机制600控制的目标点为如上文所描述的虚拟目标对象。用户可接着使用筷子机制600来利用尖端602选择及/或操纵扩增现实场景中的对象。

图7为说明根据本文中所描述的技术的一或多个实施方案的筷子机制600的操作的立体简图。在一或多个实施方案中，筷子600机制使用包含于用户装置104中的深度相机测量手102距屏幕的距离h及拇指702与食指704的距离d。目标点处于穿过拇指702与食指704之间的中点的线706上。线706的起点可相对于显示器112上的屏幕固定，或可通过利用用户装置104中面向用户的相机跟踪用户708的头部来加以确定。目标点沿着线706的距离p与d及h两者成比例：p＝k*d*h，其中k为常数。在一个方面中，常数k由用户708选择。在另一方面中，常数k由用户装置104预先确定。

图8a及8b是说明根据本文中所描述的技术的一或多个实施方案的筷子机制600的操作的图。使用图8a中所说明的筷子机制600，如果用户708增大拇指702与食指704之间的距离d，那么用户装置104可控制ar场景，使得到目标点的距离p变大。在一个方面中，用户装置104通过移动目标点(例如ar场景内的虚拟手114)来控制距离p。如图8b中所示，如果用户708减小拇指702与食指704的距离d，作为用户装置104控制ar场景，使得到目标点的距离p变小。

图9a及9b是说明根据本文中所描述的技术的一或多个实施方案的筷子机制600的操作的图。使用图9a中所说明的筷子机制600，如果用户708朝向显示器112上的屏幕移动其手102，从而减小距离h，那么用户装置104控制ar场景，使得到目标点的距离p变小。类似地，如图9b中所示，如果用户将其手移动远离屏幕，从而增大距离h，那么用户装置104控制ar场景，使得到目标点的距离p变大。

图10是说明能够执行本文中论述的过程的设备1000的功能框图。在一个实例中，设备1000为能够执行与ar场景的空间交互(例如上文所描述的过程400)的用户装置(例如，用户装置104)。设备100可包含相机1002以及传感器1004。在一个实施方案中，相机1002为后置相机，使得其可俘获目标106所位于的现实世界场景的图像，而传感器1004为前置的，使得其可在设备1000的显示器侧上跟踪设备1000相对于用户的手102的姿势。

传感器1004可包含可检测及/或跟踪用户的手102的移动、手指姿势、握拳等的检测器及/或跟踪器。传感器1004可从惯性测量单元(imu)接收设备1000的惯性信息以确定设备1000是否已移动及如何移动。此外，传感器1004可实施用以确定设备1000的位置的机制。此些机制可包含使用来自网络的数据，包含三角测量、wi-fi定位，等等。

设备1000还包含用户接口1008，所述用户接口包含能够显示由设备1000产生的ar场景的显示器1026。如上文所提及，ar场景包含由相机1002俘获的现实世界场景的图像以及虚拟目标对象108及虚拟手114。用户接口1008还可包含小键盘1028或用户可借以将信息输入到设备1000中的其它输入装置。如果需要，可通过将虚拟小键盘与触摸传感器一起集成到显示器1026中而排除小键盘1028。用户接口1008还可包含麦克风1030及扬声器1032。

设备1000还包含连接到相机1002、传感器1004及用户接口1008且与之通信的控制单元1006。控制单元1006接受并处理从相机1002及/或网络适配器1020接收的图像。控制单元1006还接受并处理从传感器1004接收的数据以跟踪设备1000相对于用户的手102的姿势。控制单元1006可由处理单元1010及相关联存储器1016、硬件1012、固件1014、软件1018及图形引擎1024提供。

控制单元1006可进一步包含扩增现实(ar)引擎1022。ar引擎1022可经配置以执行例如上文参考图4的过程400所描述的一或多个空间交互程序。由相机1002俘获的图像以及由传感器1004提供的数据两者皆可提供到ar引擎1022。ar引擎1022可接着在显示器1026上的图像中显现或以其它方式产生ar场景的视觉元素。

处理单元1010与ar引擎1022为了清楚起见而单独地加以说明，但可为单个单元及/或基于在处理单元1010中运行的软件1018中的指令而实施于处理单元1010中。处理单元1010以及ar引擎1022可但不需要一定包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路(asic)、数字信号处理器(dsp)，等等。术语处理器和处理单元描述通过系统而非特定的硬件实施的功能。此外，如本文中所使用，术语“存储器”指任何类型的计算机存储媒体，包含长期存储器、短期存储器或与设备1000相关联的其它存储器，且不应限于任何特定类型的存储器或特定数目的存储器，或其上存储有存储器的类型的媒体。

取决于应用，本文中所描述的过程可以通过各种装置来实施。举例来说，可在硬件1012、固件1014、硬件1012与软件1018的组合或其任何组合中实施这些过程。对于硬件实施方案，处理单元可实施于一或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理装置(dspd)、可编程逻辑装置(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述功能的其它电子单元，或其组合内。

对于固件及/或硬件与软件组合实施方案，可利用执行本文中所描述的功能的模块(例如，程序、函数，等等)实施所述过程。任何有形地体现指令的计算机可读媒体可用于实施本文所描述的过程。举例来说，程序代码可存储于存储器1016中且通过处理单元1010执行。存储器可在处理单元1010内或外部实施。

如果实施于固件及/或硬件/软件组合中，那么所述功能可存储为计算机可读媒体上的一或多个指令或代码。实例包含编码有数据结构的非暂时性计算机可读媒体，及编码有计算机程序的计算机可读媒体。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。作为实例而非限制，此类计算机可读媒体可包括ram、rom、快闪存储器、eeprom、cd-rom或其他光盘存储装置、磁盘存储装置或其他磁性存储装置，或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体；如本文中所使用，磁盘和光盘包含压缩光盘(cd)、激光光盘、光学光盘、数字多功能光盘(dvd)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。

图11是说明可使用于经配置以提供与如本文中所教示的扩增现实场景的空间交互的用户装置中的组件的若干样本方面的简化框图。用户装置1100为图1的用户装置104及/或图10的设备1000的一个可能实施方案，表示为一系列相关功能模块。

至少在一些方面中，用于获取现实世界场景的图像的模块1110可对应于例如图10的相机1002。至少在一些方面中，用于显示ar场景的模块1120可对应于例如图10的显示器1026。在一些方面中，用于根据第二坐标系统跟踪用户装置相对于用户的手的姿势的模块1140可对应于例如图10的ar引擎1022与传感器1004的组合。在一些方面中，用于将第二坐标系统映射到第一坐标系统以控制虚拟手的移动的模块1150可对应于例如图10的ar引擎1022。在一些方面中，用于检测用户输入以控制模块1150使用第一映射模式及第二映射模式中的哪一者的模块1160可对应于例如图10的ar引擎1022与传感器1004的组合。

图10的模块1110到1160的功能性可以符合本文中的教示的各种方式加以实施。在一些设计中，这些模块1110到1160的功能性可实施为一或多个电组件。在一些设计中，这些模块1110到1160的功能性可实施为包含一或多个处理器组件的处理系统。在一些设计中，这些模块1110到1160的功能性可使用例如一或多个集成电路(例如，asic)的至少一部分加以实施。如本文所论述，集成电路可包含处理器、软件、其它相关组件，或其某一组合。因此，不同模块的功能性可实施为例如集成电路的不同子集、一组软件模块的不同子集，或其组合。而且，将了解，给定子集(例如，集成电路及/或一组软件模块的子集)可提供多于一个模块的功能性的至少一部分。

此外，由图10表示的组件及功能以及本文中所描述的其它组件及功能可使用任何合适装置加以实施。此些装置还可至少部分地使用如本文中教示的对应结构加以实施。举例来说，上文结合图10的“用于...的模块”组件所描述的组件还可对应于类似地命名的“用于...的装置”功能性。因此，在一些方面中，此些装置中的一或多者可使用处理器组件、集成电路或如本文中教示的其它合适结构中的一或多者加以实施。

本文中参考对特定应用的说明描述一或多个实施方案。应理解，所述实施方案并不意欲为限制性的。可获得本文中所提供的教示的所属领域的技术人员将认识到其范围内的额外更改、应用及实施方案以及所述技术可能明显实用的额外领域。在对实例实施方案的以上描述中，出于解释的目的，阐述特定数目、材料、配置及其它细节以便更好地解释所主张的实施方案。然而，所属领域的技术人员将显而易见，可使用不同于本文中所描述的实例的细节来实践权利要求。在其它情况下，省略或简化众所周知的特征以使对实例实施方案的描述清楚。