增强现实设备的制作方法

增强现实设备
1.本技术是申请号为201280048836.8(国际申请号pct/il2012/050376)、申请日为2012年09月19日、发明名称为“增强现实系统的免触摸界面”的发明专利申请的分案申请。
技术领域
2.本发明涉及用于增强现实的方法和系统。
3.相关技术
4.以下列出与本公开主题的背景相关的参考文献：
5.美国专利no.7126558；
6.美国公开专利申请20110221669；
7.美国公开专利申请20110270522；
8.gb2465280(a)；
9.美国公开专利申请20120068913；
10.美国专利no.7,215,322；
11.wo2005/091125；
12.wo 2010/086866
13.crowley,j.l.等人的“finger tracking as an input device for augmented reality”。其发表在1995年6月switzerland的zurich的《international workshop on face and gesture recognition》的会刊上。
14.上述参考文献的确认不应被推断为意指，这些都以任何方式与本公开主题的专利相关。


背景技术：

15.增强现实是物理、现实世界环境的实时、直接或间接视图的术语，所述物理、现实世界环境的元素由计算机生成的信息来增强，例如文本、声音、视频、图形或gps数据。有关环境和其对象的人工信息因此覆盖在现实世界视图或图像上。增强通常实时进行且在环境因素的语义上下文中，使得关于用户的周围现实世界的信息变得互动和数字可操作。
16.用于增强现实的主要硬件组件是处理器、显示器、传感器和输入设备。特别是cpu、显示器、相机和mems传感器(例如加速度计、gps或固态罗盘)的这些元件存在于例如智能手机的便携式设备中，从而允许它们充当增强现实平台。
17.增强现实系统已在娱乐、导航、装配工艺、维修、医疗程序中广泛应用。便携式增强现实系统也已在旅游观光中广泛应用，其中增强现实用以呈现正在观看的现实世界对象和位置对象的信息。
18.使用通常呈护目镜或头盔形式的头戴式显示器来提供身临其境的增强现实体验。在使用头戴式显示器的情况下，虚拟视觉对象被叠加到用户现实世界场景的视图上。头戴显示器用允许系统把虚拟信息与物理世界对齐的传感器来跟踪。例如，跟踪可使用例如数码相机或其它光学传感器、加速度计、gps、陀螺仪、固态罗盘、rfid和无线传感器的技术中
的任一个或多个来执行。头戴式显示器是光透视或视频透视。光透视使用一些解决方案，例如半镀银镜以使图像通过镜片并覆盖将要反映到用户眼睛的信息，和透明lcd投影机，所述透明lcd投影机把数字信息和图像直接或间接显示到用户视网膜。


技术实现要素：

19.本发明提供一种用于增强现实的互动系统。本发明的互动系统包括可例如并入一副眼镜或护目镜的可穿戴数据显示设备。可穿戴显示器具有提供位置提取功能的设备(例如gps)和罗盘。系统也包括允许用户选择计算机生成的数据以增强用户查看的现实世界场景的用户界面。相机获得正被查看的现实世界场景的图像。处理器在相机捕获的现实世界场景的图像中检测预定对象，例如用户手指。当用户指向场景中的元素时，与所述元素有关的数据被显示在数据显示设备上并被叠加到用户的场景查看中。
20.因此，在一个方面，本发明提供一种用于增强现实的方法，其包括：
21.(a)从一个或多个图像传感器获得现实世界场景的图像；
22.(b)从一个或多个状态传感器获得所述图像传感器的方向和位置数据中的一个或两个；
23.(c)在所述一个或多个图像传感器获得的所述现实世界场景的所述图像中识别现实世界对象，预定指向对象在所述现实世界对象上执行预定手势，所述手势检测模块利用所述一个或多个状态传感器提供的数据；和
24.(d)在查看设备的显示器上呈现与所述识别的对象关联的数据。
25.所述图像传感器可选自：相机、光传感器、ir传感器、超声波传感器、接近传感器、cmos图像传感器、短波红外(swir)图像传感器或反射传感器、ir传感器、超声波传感器、接近传感器，和反射传感器。状态传感器中的一个或多个可选自：光学传感器、加速度计、gps、陀螺仪、罗盘、磁传感器、指示所述设备相对于地球磁场的所述方向的传感器、重力传感器和rfid检测器。
26.与所述识别的对象关联的所述数据可通过在存储器中搜索与所述现实世界对象关联的数据来获得。
27.所述预定对象例如可为手、手的一部分、两只手、两只手的部分、手指、手指的一部分或指尖。
28.所述查看设备可被配置以由用户佩戴，例如，眼镜或护目镜。所述查看设备可被被并入移动通信设备。
29.所述在所述一个或多个图像传感器获得的所述现实世界场景的所述图像中识别的步骤可包括：确定所述图像传感器获得的图像中所述预定对象的位置(x,y)；和确定所述传感器提供的所述显示设备的位置和方向中的一个或两个。
30.本发明的方法还可包括：与外部设备或网站通信。所述通信可包括：把消息发送到在所述外部设备上运行的应用程序、在所述外部设备上运行的服务、在所述外部设备上运行的操作系统、在所述外部设备上运行的程序、在所述外部设备的处理器上运行的一个或多个应用程序、在所述外部设备的所述背景中运行的软件程序，或在所述外部设备上运行的一个或多个服务。所述方法还可包括：把消息发送到在所述移动通信设备上运行的应用程序、在所述移动通信设备上运行的服务、在所述移动通信设备上运行的操作系统、在所述
移动通信设备上运行的程序、在所述移动通信设备的处理器上运行的一个或多个应用程序、在所述移动通信设备的所述背景中运行的软件程序，或在所述移动通信设备上运行的一个或多个服务。
31.所述方法还可包括：从在所述外部设备上运行的应用程序、在所述外部设备上运行的服务、在所述外部设备上运行的操作系统、在所述外部设备上运行的程序、在所述外部设备的处理器上运行的一个或多个应用程序、在所述外部设备的所述背景中运行的软件程序发送消息，所述消息请求与图像中识别的现实世界对象有关的数据，或者把所述消息发送到在所述外部设备上运行的一个或多个服务。所述方法还可包括：从在所述移动通信设备上运行的应用程序、在所述移动通信设备上运行的服务、在所述移动通信设备上运行的操作系统、在所述移动通信设备上运行的程序、在所述移动通信设备的处理器上运行的一个或多个应用程序、在所述移动通信设备的所述背景中运行的软件程序发送消息，所述消息请求与图像中识别的现实世界对象有关的数据，或者把所述消息发送到在所述移动通信设备上运行的一个或多个服务。
32.到所述外部设备或网站的所述消息可为命令。所述命令可选自：在所述外部设备或网站上运行应用程序的命令、停止在所述外部设备或网站上运行的应用程序的命令、激活在所述外部设备或网站上运行的服务的命令、停止在所述外部设备或网站上运行的服务的命令，或发送与图像中识别的现实世界对象有关的数据的命令。
33.到所述移动通信设备的所述消息可为命令。所述命令可选自：在所述移动通信设备上运行应用程序的命令、停止在所述移动通信设备或网站上运行的应用程序的命令、激活在所述移动通信设备上运行的服务的命令、停止在所述移动通信设备上运行的服务的命令，或发送与图像中识别的现实世界对象有关的数据的命令。
34.所述方法还可包括：从所述外部设备或网站接收与图像中识别的现实世界对象有关的数据；和把所述接收到的数据呈现给用户。
35.与所述外部设备或网站通信可通过通信网络进行。
36.到所述外部设备的所述命令可选自：按压所述外部设备的显示设备上显示的虚拟键；旋转选择转盘；切换桌面、在所述外部设备上运行预定软件应用程序；关闭所述外部设备上的应用程序；打开或关闭音箱；调高或调低音量；锁定所述外部设备、解锁所述外部设备、跳到媒体播放器的另一个曲目或在iptv频道间转换；控制导航应用程序；发起呼叫、结束通话、呈现出通知、显示通知；浏览照片或音乐专辑图库、滚动网页页面、呈现电子邮件、呈现一个或多个文档或地图、控制游戏中的动作、指着地图、放大或缩小地图或图像、在图像上着色、抓激活图标且从所述显示设备拉出所述激活图标、旋转激活图标、在所述外部设备上模拟触摸命令、执行一个或多个多点触摸命令、触摸手势命令、打字、点击显示视频以暂停或播放、标记帧或从视频捕获帧、呈现传入消息；接听来电、静音或拒绝接听来电、打开来电提醒；呈现从网络社区服务收到的通知；呈现由所述外部设备生成的通知、打开预定应用程序、改变所述外部设备的锁定模式并打开最近通话应用程序、改变所述外部设备的锁定模式并打开在线服务应用程序或浏览器、改变所述外部设备的锁定模式并打开电子邮件应用程序、改变所述外部设备的锁定模式并打开在线服务应用程序或浏览器、改变所述设备的锁定模式并打开日历应用程序、改变所述设备的锁定模式并打开提醒应用程序、改变所述设备的锁定模式并打开用户设置的、所述外部设备的制造商设置的或服务运营商设置
的预定应用程序、激活激活图标、选择菜单项、在显示器上移动指针、操纵显示器上的免触摸鼠标、激活图标、改变显示器上的信息。
37.在本发明的方法中，所述预定手势可选自：翻页手势、两个手指的对捏运动、指向、左到右手势、右到左手势、向上手势、向下手势、按压手势、打开握紧的拳头、打开握紧的拳头并移向所述图像传感器、轻敲手势、挥手手势、鼓掌手势、反向鼓掌手势、手握成拳、对捏手势、反向对捏手势、张开手指的手势、反向张开手指的手势、指着激活图标、保持激活对象预定时间量、点击激活图标、双击激活图标、从右侧点击激活图标、从左侧点击激活图标、从下点击激活图标、从上点击激活图标、抓激活图标即所述对象、从右指着激活图标即所述对象、从左指着激活图标、从左通过激活图标、推对象、鼓掌、在激活图标上方挥手、执行爆炸手势、执行轻敲手势、在激活图标上执行顺时针或反时针手势、滑动图标、用两个手指抓激活图标，和执行点击拖动释放运动。
38.与所述识别的对象关联的所述数据可为视觉数据、音频数据或文本数据中的任一个或多个。与所述识别的对象关联的所述数据可为激活图标。所述激活图标可为2d或3d激活图标。所述激活图标可由用户在所述用户前面的3d空间中感知。
39.本发明的方法可具有两个或更多个操作模式。所述方法可在识别预定手势之后，改变所述系统的所述操作模式。操作模式可由以下中的任一个或多个指定：将要识别的所述手势、在所述手势检测模块上有效的算法；所述图像传感器捕获的图像分辨率，和所述图像传感器捕获的图像捕获率、将要呈现的所述数据的所述详细程度、将要呈现给所述用户的所述激活图标、将要呈现的数据源、将要呈现的所述数据的详细程度、将要在所述显示设备上显示的激活图标、活跃的在线服务。
40.所述操作模式可为选自以下的模式：在识别预定手势之后所述图像传感器视频录制图像的模式；在识别预定手势之后麦克风录制声音并在识别另一预定手势之后停止录制的模式；连续监测视频或声音并在检测到预定手势之后录制从识别所述手势之前预定时间量开始的所述视频或声音且在识别另一预定手势之后停止所述录制的模式；在识别预定手势之后向捕获和实时录制的视频添加标签的模式；在所述相机捕获的所述视场中选择区域并把所述区域复制到所述视场中另一位置且其调整大小的模式；对图像中选择区域使用跟踪器并在所述显示设备上所述调整大小和重新安置区域中实时呈现所述选择区域的模式；在识别预定手势之后捕获图像的模式。
41.本发明的方法还可包括：运行跟踪算法，所述跟踪算法跟踪所述识别的现实世界对象并维持所述显示的相关视觉数据相对于所述识别的现实世界对象处于固定位置。
42.对象识别模块可用以只有当所述显示设备具有低于预定阈值的运动水平时才检测所述预定对象。
43.所述方法还可包括：当已识别到预定手势时提供反馈。所述反馈例如可为视觉反馈、听觉反馈、触觉反馈、定向振动、空气触觉反馈，或超声波反馈。所述反馈可为呈选自以下形式的视觉指示：所述显示设备上显示的激活图标、所述显示设备上显示的激活图标的变化、所述显示设备上显示的激活图标的颜色的变化、所述显示设备上显示的激活图标的大小的变化、所述显示设备上显示的激活图标的动画、指示灯、在显示设备上移动的指示器、在所述显示设备上出现的所有其它图像或视频顶部出现的在所述显示设备上移动的指示器，和所述预定对象周围的辉光的所述外观。所述反馈可为振动、定向振动指示，或空气
触觉指示。
44.在本发明的方法中，所述显示设备上显示的激活图标的部分不在所述预定对象所在的位置呈现，使得所述预定对象似乎在所述激活图标的顶部。
45.当所述显示设备具有高于预定阈值的活动水平时，激活图标可被从所述显示设备删除。例如，当所述显示设备具有低于所述预定阈值的运动水平时，在所述显示设备上的所述删除的图标可被删除。
46.当执行预定动作时，所述方法可被带入所述活动模式。所述预定动作可选自：当用户把所述预定对象放入某一位置或一团时，把所述预定对象从下带入所述视场，例如指着所述相机视场的所述右下角或在所述相机视场中打开手；当显示激活图标且所述用户执行关联到所述激活图标的预定手势时，例如指着所述激活图标时，执行预定手势，例如从右向左移动手穿过所述视场，或在呈现所述激活图标的所述位置执行挥手手势，或通过在所述3d空间中在感知所述激活图标处于的位置执行手势、通过触摸所述设备，或如果所述设备具有加速度计就在所述设备上轻敲，把所述浮动激活图标从一个位置滑动到另一位置。作为另一实例，如果所述设备具有接近传感器或超声波传感器，那么当所述用户的手靠近所述设备时，所述系统可进入所述活动模式。所述系统也可由语音命令激活，或当所述用户把所述预定对象放入所述视场中特定位置时激活。作为另一实例，只有当在所述用户的所述视场中有与所述现实世界关联的相关数据时，所述系统才可进入所述活动模式。此时，所述系统可向所述用户指示何时有将要呈现的相关数据，或何时准备好进行互动。
47.本发明的方法还可包括：把视觉指示附加到现实世界对象，以指示存在与所述现实世界对象相关的数据的存储器。所述视觉指示可被覆盖在所述现实世界对象的图像上。所述视觉可选自激活图标、照片和信封的图像。
48.本发明的方法还可包括：记录所述预定对象的一个或多个物理参数的校准过程。所述校准过程可包括选自以下的任一个或多个步骤：在所述显示器上在3d空间中不同的位置处呈现激活图标；提取所述预定对象的物理特性；和确定所述预定对象的尺寸和它与所述相机的距离之间的相关性。所述校准过程可包括以下步骤：构建三角形，所述三角形的顶点在所述图像传感器中的一个上且在所述预定对象的前端，且所述三角形的边由用户的视线形成。所述现实世界对象与所述相机的所述距离可基于所述校准中提取的信息来估计。
49.所述方法还可包括：显示能够进行文字输入的键盘。所述键盘可在检测到预定手势之后显示，所述预定手势例如从右到左的手势、呈现张开的手、在图像传感器的所述视场的预定区域中呈现两个张开的手。所述键盘可在3d打字区域或感知预定激活图标所处于的位置中执行点击手势之后显示。
50.本发明也提供一种系统，其包括被配置以执行本发明的方法的设备。
51.本发明也提供一种计算机程序，其包括用于当所述程序在计算机上运行时执行本发明的方法的所有步骤的计算机程序代码构件。所述计算机程序可实施在计算机可读介质上。
52.用户可与通常通过眼镜显示的视觉图像互动。因此，用户的现实视图被显示器上呈现的信息增强。增强现实设备的一个问题是用户与设备互动并控制设备的方式。例如鼠标、跟踪球或触摸屏的传统控制设备难以与增强现实设备连用。在增强现实系统中使用手势识别并不简单，因为用户在不断的实时移动因此增强现实设备也在不断的实时移动。
53.本发明因此提供一种计算机程序产品，其包含用于使处理器执行包括以下步骤的方法的指令：
54.从与增强现实设备关联的图像传感器接收与环境关联的图像信息；
55.在与设备关联的显示器上显示与环境有关的增强信息；
56.在图像信息中识别设备用户的手势；
57.把手势与增强信息相关联；和
58.基于关联来改变显示的增强信息。
59.所述增强信息可包括以下中至少一个：与环境中对象关联的信息；与环境关联的图像；和与环境关联的距离。
60.所述关联可包括：确定用户手的至少一部分的三维空间中的参考位置；和确定与参考位置关联的增强信息和图像信息数据中至少一个。
61.所述改变可包括：根据与参考位置关联的数据来改变增强信息。
附图说明
62.为了理解本发明并了解其在实践中如何实施，现在将参照附图仅通过非限制性实例的方式来描述实施方案，在附图中：
63.图1示意性地示出根据本发明的一个实施方案的用于增强现实的系统；
64.图2示出根据本发明的一个实施方案的用于增强现实的系统，所述系统包括一组护目镜；
65.图3a和图3b示出使用中的图2的系统；
66.图4a示出在图2的系统的显示设备上显示的现实世界场景的视图；图4b示出图4a的视图，其中用户手指指向视图中的对象；和图4c示出覆盖在图4b的视图上的与用户手指所指向的对象有关的视觉文本；
67.图5a、图5b示出根据本发明的另一实施方案的与通信设备成一体的用于增强现实的系统；和
68.图6a示出通过用户执行“绘制”区域轮廓的手势来指定图像传感器的视场中的区域；图6b示出通过执行第二手势来调整选择区域的大小；图6c示出调整大小之后的区域；和图6d示出拖到视场中新的位置之后的区域。
具体实施方式
69.图1示意性地示出根据本发明的一个实施方案的用于增强现实的系统30。系统30包括一个或多个图像传感器32，图像传感器32被配置以获得现实世界场景的图像。任何类型的图像传感器可用于本发明的系统，例如相机、光传感器、ir传感器、超声波传感器、接近传感器、cmos图像传感器、短波红外(swir)图像传感器或反射传感器。
70.系统30还包括具有一个或多个显示设备35的查看设备34，显示设备35使得用户能够看到现实世界场景和叠加到现实世界场景上的外部信息，例如图像、视频或音频信号。允许用户看到现实世界场景和显示的数据的任何类型的显示设备可用于本发明的系统中。
71.显示设备35可例如包括视觉材料在其上呈现给用户的表面或直接把图像显示到用户视网膜的一个或多个投影机。处理器36从一个或多个状态传感器38获得系统30的方向
和/或位置数据，状态传感器38例如可为光学传感器、加速度计、gps、陀螺仪、固态罗盘、磁传感器、重力传感器和rfid检测器中的任一个或多个。处理器36例如可为专用处理器、通用处理器、dsp(数字信号处理器)处理器、gpu(可视处理单元)处理器、专用硬件，或者可在外部设备上运行的处理器。系统30可作为软件在查看设备34或并入系统30的其它组件的另一设备37(例如智能手机)上运行。
72.处理器36被配置以运行手势检测模块40，手势检测模块40在图像传感器32获得的现实世界场景的图像中识别预定对象正指向的一个或多个现实世界对象。现实世界对象例如可为建筑物或广告牌。现实世界对象的确定使用状态传感器38提供的数据。预定对象可为用户的手指或例如手写笔或棒的其它对象。
73.当处理器36已识别到预定对象正指向的现实世界对象时，处理器在存储器42中搜索与识别的对象关联的数据。数据例如可为视觉数据、音频数据，或文本数据。视觉数据可为与识别的对象有关的文本信息。处理器然后在查看设备的显示器上显示与识别的对象关联的相关视觉数据。存储器42可与系统30成一体，或可能位于远程并通过例如互联网的通信网络访问。系统30因此可包括通信模块39，通信模块39允许系统30与网络、无线网络、蜂窝网络、外部设备(例如，另一设备30、手机、平板)，或互联网网站等通信。
74.所述数据可为激活图标。如本文所使用，术语“激活图标”代表与用户互动所激活的一个或多个消息或命令关联的图像或视频中的区域。激活图标例如可为2d或3d视觉元素，例如虚拟按钮、虚拟键盘或图标。激活图标借由一个或多个预定对象来激活，所述预定对象可由系统来识别，且例如可为手写笔、用户的手或手的一部分、一个或多个手指或例如指尖的手指的一部分中的一个或多个。预定对象激活激活图标中的一个或多个生成了定位到操作系统、一个或多个服务、一个或多个应用程序、一个或多个设备、一个或多个远程应用程序、一个或多个远程服务，或一个或多个远程设备的消息或命令。
75.处理器36可被配置以把消息或命令发送到设备37或远程设备、在设备上运行的应用程序、在设备37上运行的服务，和在设备上运行的操作系统、在设备上运行的程序、在背景中运行的软件程序和在设备上运行的一个或多个服务，或在设备中运行的过程。消息或命令可通过例如互联网或蜂窝电话网络的通信网络来发送。命令例如可为在设备上运行应用程序的命令、停止在设备上运行的应用程序的命令、激活在设备上运行的服务的命令、停止在设备上运行的服务的命令，或把与处理器36在图像中识别的现实世界对象有关的数据发送到处理器36的命令。
76.所述命令可为到设备37的命令，例如按压设备的显示设备上显示的虚拟键；旋转选择转盘；切换桌面、在设备上运行预定软件应用程序；关闭设备上的应用程序；打开或关闭音箱；调高或调低音量；锁定设备、解锁设备、跳到媒体播放器的另一个曲目或在iptv频道间转换；控制导航应用程序；发起呼叫、结束通话、呈现出通知、显示通知；浏览照片或音乐专辑图库、滚动网页页面、呈现电子邮件、呈现一个或多个文档或地图、控制游戏中的动作、控制互动视频或动画内容、编辑视频或图像、指着地图、放大或缩小地图或图像、在图像上着色、把激活图标从显示设备拉开、抓激活图标且从显示设备拉出激活图标、旋转激活图标、在设备上模拟触摸命令、执行一个或多个多点触摸命令、触摸手势命令、打字、点击显示视频以暂停或播放、编辑视频或音乐命令、标记帧或从视频捕获帧、从视频切割视频的子集、呈现传入消息；接听来电、静音或拒绝接听来电、打开来电提醒；呈现从网络社区服务收
到的通知；呈现由设备生成的通知、改变设备的锁定模式并激活最近通话应用程序、改变设备的锁定模式并激活在线服务应用程序或浏览器、改变设备的锁定模式并激活电子邮件应用程序、改变设备的锁定模式并激活在线服务应用程序或浏览器、改变设备的锁定模式并激活日历应用程序、改变设备的锁定模式并激活提醒应用程序、改变设备的锁定模式并激活用户设置的、设备的制造商设置的或服务运营商设置的预定应用程序、激活激活图标、选择菜单项、在显示器上移动指针、操纵免触摸鼠标、激活显示器上的激活图标，和改变显示器上的信息。
77.通信模块可用以发送例如可被定位到远程设备的消息。消息例如可为到远程设备的命令。命令例如可为在远程设备上运行应用程序的命令、停止在远程设备上运行的应用程序的命令、激活在远程设备上运行的服务的命令、停止在远程设备上运行的服务的命令。消息可为到远程设备的选自以下的命令：按压远程设备的显示设备上显示的虚拟键；旋转选择转盘；切换桌面、在远程设备上运行预定软件应用程序；关闭远程设备上的应用程序；打开或关闭音箱；调高或调低音量；锁定远程设备、解锁远程设备、跳到媒体播放器的另一个曲目或在iptv频道间转换；控制导航应用程序；发起呼叫、结束通话、呈现出通知、显示通知；浏览照片或音乐专辑图库、滚动网页页面、呈现电子邮件、呈现一个或多个文档或地图、控制游戏中的动作、指着地图、放大或缩小地图或图像、在图像上着色、抓激活图标且从显示设备拉出激活图标、旋转激活图标、在远程设备上模拟触摸命令、执行一个或多个多点触摸命令、触摸手势命令、打字、点击显示视频以暂停或播放、标记帧或从视频捕获帧、呈现传入消息；接听来电、静音或拒绝接听来电、打开来电提醒；呈现从网络社区服务收到的通知；呈现由远程设备生成的通知、打开预定应用程序、改变远程设备的锁定模式并打开最近通话应用程序、改变远程设备的锁定模式并打开在线服务应用程序或浏览器、改变远程设备的锁定模式并打开电子邮件应用程序、改变远程设备的锁定模式并打开在线服务应用程序或浏览器、改变设备的锁定模式并打开日历应用程序、改变设备的锁定模式并打开提醒应用程序、改变设备的锁定模式并打开用户设置的、远程设备的制造商设置的或服务运营商设置的预定应用程序、激活激活图标、选择菜单项、在显示器上移动指针、操纵免触摸鼠标、激活显示器上的图标、改变显示器上的信息。
78.消息可为对与识别的对象关联的数据的请求。数据请求消息可被定位到应用程序、服务、过程、在设备上运行的线程，或从应用程序、服务、过程或在外部设备上运行的线程，或在线服务定位。
79.为了减少cpu资源，只有当耳机如从状态传感器获得的信息所确定地并未显著移动时，才可使用检测预定对象的对象识别模块。
80.图2示出根据本发明的一个实施方案的用于增强现实的系统2。系统2包括便携式查看设备，所述查看设备例如可为互动头戴式目镜，例如一副眼镜或护目镜4。护目镜4具有获得现实世界场景8的图像的图像传感器6。场景8例如可包括一个或多个建筑物12，或一个或多个广告牌14。护目镜可具有一个或多个显示设备10，所述显示设备10位于护目镜4中以当用户配戴护目镜4时位于用户眼睛前。显示设备10例如可为通过其查看现实世界场景并呈现外部数据的透视设备，例如透明lcd屏幕。系统2还包括处理器16，处理器16被配置以在图像传感器6捕获的图像中识别预定对象，所述预定对象执行手势或指向现实世界场景8中的现实世界对象或显示给用户的激活图标。系统2也包括一个或多个位置和/或方向传感器
23，例如gps、加速度计、陀螺仪、固态罗盘、磁传感器，或重力传感器。
81.图5a、图5b示出根据本发明的另一实施方案的用于增强现实的系统40。系统40被集成到例如手机、平板或相机的移动通信设备42。图5a示出通信设备42的前视图，而图5b示出通信设备42的后视图。通信设备42的背面上具有获得现实世界场景的图像的图像传感器46，图像传感器46在显示设备对面。通信设备42的正面上也具有显示设备48，当相机46面对现实世界场景时，显示设备48位于用户前面。显示设备48例如可为向用户呈现相机6获得的现实世界场景的图像以及如下文所解释的视觉数据的lcd屏幕。系统40使用相机46、显示设备48，和通信设备42的处理器，且还包括一个或多个状态传感器，所述状态传感器被包含在图5a、图5b中未示出的通信设备42的外壳中。处理器被配置以在图像传感器46捕获的图像中识别指向现实世界场景中现实世界对象的预定对象。
82.图3a示出使用中的系统2。护目镜4被放置在用户18眼睛上方。用户面向现实世界场景8因此查看场景8。图3b示出使用中的系统40。用户18手持通信设备42，通信设备42具有面向现实世界场景8的图像传感器46和面向用户的显示设备48。
83.系统2或40现在执行以下过程。当用户使用系统2或40时将查看到的场景8的视图被显示在显示设备上。图4a示出当用户使用系统2或40查看现实世界场景8时将看到的场景8的视图。处理器36分析图像传感器获得的图像，以确定图像传感器捕获的图像中的预定对象何时执行与现实世界场景8中的现实世界对象相关的预定手势。
84.例如护目镜4或通信设备42的查看设备34在使用中并不固定，这是由于用户走路时发生的移动或用户的头或手的移动。在这种情况下，传感器38生成的信号可能是嘈杂且不准确的。在这种情况下，机器视觉模块37运行跟踪算法，所述跟踪算法跟踪识别的现实世界对象并维持显示的相关视觉数据相对于识别的现实世界对象处于固定位置。
85.与现实世界对象或激活图标有关的预定手势例如可指向现实世界对象或激活图标，或对现实世界对象或激活图标执行翻页手势。激活图标可与现实世界对象相关或不相关。
86.其它可能的预定手势包括翻页手势、两个手指的对捏运动(例如食指和拇指或中指和拇指)、指向、左到右手势、右到左手势、向上手势、向下手势、按压手势、打开握紧的拳头、打开握紧的拳头并移向图像传感器、轻敲手势、挥手手势、鼓掌手势、反向鼓掌手势、手握成拳、对捏手势、反向对捏手势、张开手指的手势、反向张开手指的手势、指着激活图标或现实世界对象、指着激活图标或现实世界对象预定时间量、点击激活图标或现实世界对象、双击激活图标或现实世界对象、食指点击激活图标或现实世界对象、中指点击激活图标或现实世界对象、从下点击激活图标或现实世界对象、从上点击激活图标、抓激活图标或现实世界对象、从右指着激活图标或现实世界对象、从左指着激活图标或现实世界对象、从左通过激活图标或现实世界对象、推激活图标或现实世界对象、鼓掌或在激活图标或现实世界对象上方挥手、执行爆炸手势、执行轻敲手势、在激活图标或现实世界对象上执行顺时针或反时针手势、滑动激活图标或现实世界对象、用两个手指抓激活图标或现实世界对象，或执行点击拖动释放运动。
87.预定对象例如可为用户的手、用户的手的一部分，例如用户的手指20或两个不同手的部分。或者，预定对象可为手写笔或棒。
88.当处理器16确定已执行预定手势时，这可能通过任何类型的反馈指示给用户，例
如视觉反馈、听觉反馈、触觉反馈、定向振动、空气触觉反馈，或超声波反馈。反馈可为呈选自以下形式的视觉指示：显示设备上显示的激活图标、显示设备上显示的激活图标的变化、显示设备上显示的激活图标的颜色的变化、显示设备上显示的激活图标的大小的变化、显示设备上显示的激活图标的动画、指示灯、在显示设备上移动的指示器、振动、定向振动指示、空气触觉指示。指示可由在显示设备上出现的所有其它图像或视频顶部出现的在显示设备上移动的指示器提供。视觉反馈可为当系统识别预定对象时预定对象周围的辉光的外观。
89.手势检测模块40可使用任何用于检测图像传感器32获得的图像中预定对象的方法。例如，手势检测模块可检测如wo2005/091125或wo 2010/086866中所公开的预定对象。
90.处理器16还被配置以确定对其执行预定手势的场景8中的现实世界对象。因此，例如，在图4b示出的图像中，处理器16将通过确定图像中指尖位置(x,y)并把这个信息与来自状态传感器21的用户的位置和护目镜4的方向相组合来确定用户的手指20指向广告牌14。现实世界对象因此被处理器识别，而无需向用户呈现光标或其它标志物来指示用户希望选择的现实世界对象，从而使得能够直接指着现实世界对象以开始互动。处理器16在可能与处理器16成一体或可能位于远程的存储器中搜索与用户的手指20指着的现实世界对象有关的数据。例如，存储器可能已存储了与广告牌14有关的数据。当用户指向数据存储在存储器中或从例如网址的远程服务器提取的场景8中的对象时，数据被显示在显示设备10上叠加到用户的场景的视图。因此，当用户指向广告牌14时(图3a)，与广告牌14有关的视觉数据21被显示在显示设备10上，如图4c示出。
91.视觉数据21可为静态或动态的。视觉数据21可包括一个或多个激活图标，使得当相对于激活图标中的一个激活图标执行预定手势时，执行与激活图标关联的命令。命令例如可为显示与选择的现实世界对象有关的具体视觉材料。激活图标可为2d或3d激活图标且可被呈现给用户，使得用户感知在他前面的3d空间中的图标。如本文所使用，激活图标是与用户互动激活的一个或多个消息关联的2d或3d图像或视频中的区域。激活图标例如可为2d或3d视觉元素。激活图标可为虚拟按钮、虚拟键盘、2d或3d激活图标、图像或视频中的区域。激活图标可包含两个或更多个激活图标。
92.处理器可能不呈现预定对象所处的激活图标的部分，使得预定对象似乎在激活图标的顶部。当用户快速移动他的头时，激活图标可被删除，然后当头部运动低于预定运动速度时，激活图标返回。
93.系统2可具有两个或更多个操作模式，且处理器16可被配置以识别一个或多个预定手势来在操作模式之间变化。因此，手势可用以打开或关闭系统、选择将要呈现的视觉材料源、选择将要呈现的视觉材料的详细程度、选择将要呈现给用户的按钮或激活图标，或激活在线服务，例如关于选择的现实世界对象的在线服务。另一操作模式可为在识别预定手势之后用图像传感器开始视频录制图像且/或用麦克风录制声音，并在识别另一预定手势之后停止录制。另一操作模式是连续监测视频和/或声音，但在检测到预定手势之后，录制从识别手势之前预定时间量开始的视频/声音，且在识别另一预定手势之后停止录制。预定时间可由用户定义。另一操作模式是在识别预定手势之后向捕获和实时录制的视频添加标签。
94.图6a至图6d示出另一操作模式。在图6a中，通过用户执行“绘制”区域轮廓的手势
来指定图像传感器捕获的视场60中的区域62，如图6a至图6d中虚线示出。选择区域然后被通过用户执行第二手势来调整大小，例如如图6b中箭头66所指示地分开两个手指或把两个手指靠得更近，直到选择区域达到所希望的大小(图6c中的67)。区域67然后被拖到视场中新的位置(图6d)并被复制到视场中新的位置。系统然后在选择区域上使用跟踪器，且选择区域被实时呈现在显示设备上用户设置的调整大小且重新安置区域中。
95.为了最小化cpu资源，对于每个显示的激活图标，包含显示的激活图标周围的显示的激活图标边界框的图像区域可被定义为保持不变。系统使用机器视觉跟踪器来跟踪这个边界框。在视频序列的两个帧中的边界框的位置之间的距离小于使用视频跟踪器确定的预定距离，且边界框的跟踪器的相关值低于预定值。
96.当系统处于其中只可激活激活图标而不能激活现实世界对象的操作模式时，cpu可通过只在每个显示的激活图标附近搜索预定对象来最小化。为了进一步减小cpu，只有当如从状态传感器获得的信息确定耳机未显著移动时，才激活对象识别模块。
97.用户可选择不同的过滤器来筛选与现实世界对象相关的数据，例如“显示仅由朋友生成的数据”，或显示来自注册源的数据或过去三个月生成的数据的过滤器。
98.系统2可具有待机模式，其中系统2的耗电量最小。例如，活动模式可能在以下方面与待机模式不同：系统分析的每秒钟的视频帧的数目、分析的图像分辨率、分析的图像帧的部分，和/或激活的检测模块。系统2可被通过任何技术带入活动模式。例如，系统2可通过以下动作而被带入活动模式：当用户把预定对象放入某一位置或一团时把预定对象从下带入视场，例如指着相机视场的右下角或在相机视场中打开手；当显示激活图标且用户执行关联到激活图标的预定手势时，例如指着所述激活图标时，执行预定手势，例如从右向左移动手穿过视场，或在呈现激活图标的位置执行挥手手势，或通过在3d空间中在感知激活图标处于的位置执行手势、通过触摸设备，或如果设备具有加速度计就在设备上轻敲，把浮动激活图标从一个位置滑动到另一位置。作为另一实例，如果设备具有接近传感器或超声波传感器，那么当用户的手靠近设备时，系统可进入活动模式。系统也可由语音命令激活，或当所述用户把预定对象放入视场中特定位置时激活。作为另一实例，只有当在用户的视场中有与现实世界关联的相关数据时，系统才可进入活动模式。此时，系统可向用户指示何时有将要呈现的相关数据，或何时准备好进行互动。
99.视觉指示可被附加到现实世界对象，以让用户知道有与现实世界对象相关的数据。
100.相关数据的指示可覆盖在现实世界对象的位置上，因为例如激活图标“i”的小的视觉指示可指示信息，而“照片”的标志可指示与现实世界对象相关的图像，或者“信封”的标志指示朋友或其它用户留下的与现实世界对象相关的消息。当用户执行与激活图标相关的预定手势时，可呈现数据。
101.系统2可被配置以经过校准过程来记录预定对象的各种物理参数，从而促进处理器2在相机获得的图像中识别预定对象。这可例如通过以下动作进行：在显示器上在3d空间中不同的位置处向用户呈现激活图标；提取预定对象的物理特性，例如预定对象的大小或方向；和确定预定对象的尺寸和它与相机的距离之间的相关性。校准可包括计算相机的三角、用户的视线和预定对象的前端来确定用户的指向。通过基于校准中提取的信息而估计现实世界对象与相机的距离来改善准确性。
102.处理器可被配置以由本发明的系统的用户在相机获得的现实世界场景的图像进行识别。现实世界场景中另一用户的识别可例如通过向远程服务器通知特定地理区域中设备的位置来执行。其它设备的位置可被发送到地理区域中的所有设备。
103.当本发明的两个系统之间存在通信链路时，这两个系统可用以玩游戏。另一用户可被表示为计算机化身，用户可通过手势与其进行互动，例如向另一用户发送例如“喜欢”的消息。
104.处理器可被配置以显示能够使用一个或多个手指或手进行文字输入的键盘。键盘的显示可在检测到预定手势之后开始，所述预定手势例如从右到左的手势，或呈现张开的手，或在相机的视场的预定区域中呈现两个张开的手，所述预定区域例如视场的底部。另一种开始显示键盘的方式是当用户在打字区域或感知激活图标所处于的3d空间中执行点击手势时进行。键盘例如可用以写个便条、进行搜索或通过在虚拟键盘上打字来与在线服务(例如skype或twitter)通信。系统可能不呈现预定对象所处的键盘的部分，使得预定对象似乎在键盘的顶部来创造例如用户的手的预定对象似乎在键盘“上方”的错觉。
105.当系统处于输入模式时，动画手可呈现在键盘上，其位置与用户的手和手指相关。动画手的指尖可位于虚拟按键上方看到按键字符的位置。键盘和动画手最好是不透明的，使得用户不能看到键盘背后的背景。这往往使得键盘对于用户更加清晰。