对由应用产生的共享状态信息进行管理的制作方法
【专利说明】
【背景技术】
[0001]增强现实应用通常提供将从环境捕获的信息与若干类型的补充信息相合并的输出呈现。例如，一种类型的增强现实应用将环境的图像连同在该图像中的对对象进行注释的标签一起呈现。另一种类型的增强现实应用提供了图片，该图片将人类用户的实际运动连同该用户可以与之交互的虚拟对象一起复制。
[0002]用于从周围环境捕获信息的应用引起了隐私问题。例如，上文描述的增强现实应用捕获环境的图像或视频;该信息转而会有可能包括敏感项目，诸如人脸、个人笔迹、账户号码等等。此种私人信息的“所有者”常常会倾向于或坚持要求不将该信息发布给未经授权的各方。这样的不期望的发布会在各种不同的情况下发生。在第一种情形下，未经授权的应用可从其通过计算设备的感测机制(例如，视频摄像机、麦克风等)获取的信息提取私人信息。在第二种情形下，未经授权的应用可从另一增强现实应用获取私人信息。
[0003]在实践中，开发者可以将增强现实应用作为“一次性的(one-off)”自足(self-contained) 代码单元来创建。 同样地 ，计算设备可以将应用作为单独的 (standalone) 功能单元来执行。如果用户希望在相同的计算设备上运行另一增强现实应用，他或她可以关闭第一应用并且启动第二应用。根据此方法，每个开发者都可以以分开(separate)的方式(典型地以自组织(ad hoc)的方式)在应用代码自身以内解决上文描述的隐私问题。
【发明内容】
[0004]在本文中描述了共享清染器(sharedrenderer)，其对共享状态信息进行管理。共享状态信息是由两个或更多个增强现实应用产生的，每个增强现实应用将对象和其它信息贡献给共享状态信息。例如，两个或更多个增强现实应用可以感测相同的环境并创建与该环境内的实体相关联的两组不同的标签。共享渲染器能够将这些标签表示成共享状态信息的部分。输出清染器(output renderer)基于该共享状态信息给出单个输出呈现。
[0005]根据一个示例方面，每个对象可以具有零个、一个或者多个特性。此外，共享渲染器能够将许可信息与每个对象特性相关联。共享渲染器包括这样的机制:任何应用通过该机制都能够基于许可信息来与另一应用共享关于对象特性的信息。
[0006]根据另一示例特征，共享渲染器可以包括物理引擎。物理引擎被配置为基于来自至少一个应用的指令对在共享状态信息中表示的至少一个对象的运动进行仿真。
[0007]根据另一示例特征，共享渲染器可以包括注释引擎。注释引擎被配置为管理对由多个应用产生的注释进行的呈现。
[0008]根据另一示例特征，共享渲染器可以包括遮挡引擎。遮挡引擎被配置为，当由两个或更多个应用产生的两个或更多个对象在输出呈现内交叠时，对该输出呈现的行为进行管理。
[0009]上述功能可以被体现在各种类型的系统、组件、方法、计算机可读存储介质、数据结构、图形用户界面呈现、制品等等中。
[0010]本
【发明内容】
被提供来以简化的形式介绍概念的选集;这些概念在下文在【具体实施方式】中被进一步描述。该
【发明内容】
不旨在识别所要求保护的主题的关键特征或必要特征，也不旨在被用来限制所要求保护的主题的范围。
【附图说明】
[0011]图1示出了示例场景，在其中多个增强现实应用联合地对增强现实体验做贡献。
[0012]图2示出了用于递送图1中示出的增强现实体验的示例现实感测框架的概况。
[0013]图3示出了用于实现图2中的现实感测框架的示例计算功能。
[0014]图4示出了用于管理辨识系统的示例管理模块，其中，该管理模块和辨识系统是图2中的现实感测框架的组件。
[0015]图5示出了图4中的辨识系统的一个示例实施方式。
[0016]图6示出了图5中的辨识系统的一个示例实例化(instantiat1n)。
[0017]图7示出了可以由可视化模块给出的一个示例用户界面呈现。该可视化模块是图4中的管理模块的组件。
[0018]图8示出了可以由可视化模块给出的另一示例用户界面呈现。
[0019]图9示出了可以由可视化模块给出的另一示例用户界面呈现。这里，该呈现展现了应用在其执行期间可以尝试访问的对象。
[0020]图10示出了一个示例纠错机制连同相关联的辨识器。该纠错机制被设计成降低由辨识器生成的误报(false positive)的发生率。
[0021]图11示出了另一示例纠错机制连同其相关联的辨识器。
[0022]图12示出了示例场景，在其中一个增强现实应用可以经由共享渲染器与另一增强现实应用共享信息。
[0023]图13示出了另一个示例场景，在其中一个增强现实应用可以经由共享渲染器与另一增强现实应用共享信息。
[0024]图14示出了可以递送图12和13中的体验的共享渲染器的一个示例实施方式。
[0025]图15是对可以构成如由共享渲染器维护的共享状态信息的不同类型的信息项目进行识别的图表。
[0026]图16示出了一种表现作为共享状态信息的部分的许可信息的方法。
[0027]图17示出了一种用户可以用于检查并设置许可信息的方法。
[0028]图18和19一起示出了用户可以经由小工具的使用来手动检查并设置许可信息的方法。
[0029]图20示出了遮挡引擎可以给出用以指示在输出呈现内两个或更多个对象交叠的可视化指示器。该遮挡弓I擎是共享渲染器的组件。
[0030]图21示出了操控机制的操作。用户可以与操控机制交互，以对发生交叠的对象取得不同的视角(perspective)。
[0031]图22是示出图4的管理模块的一种操作方式的流程图。
[0032]图23是示出图5的辨识系统的一种操作方式的流程图。
[0033]图24是示出设置与特定的对象特性相关联的许可信息的两种方法的流程图。该许可信息管控应用间共享。
[0034]图25是示出图14中的共享渲染器的一种操作方式的流程图。
[0035]图26是示出共享渲染器的各组件可以藉以贡献共享状态信息的一种方式以及输出渲染器可以基于共享状态信息如何产生输出呈现的流程图。
[0036]图27示出了可用以实现前述附图中示出的特征的任何方面的示例计算功能。
[0037]在本申请公开和附图中通篇使用的相同附图标记指代相同的组件和特征。100系列的附图标记指在图1中最初发现的特征，200系列的附图标记指在图2中最初发现的特征，300系列的附图标记指在图3中最初发现的特征等等。
【具体实施方式】
[0038]本申请公开是按如下组织的。第A节提供了现实感测框架的概况，其中多个应用感测来自环境的信息并对共享输出呈现做贡献。这些应用可以对应于增强现实应用和/或若干其它类型的环境感测应用。第B节给出了对第A节中的功能的操作进行解释的示例方法。第C节描述了能被用以实现在第A和B节中描述的特征的任何方面的示例计算功能。
[0039]作为初步事项，一些附图描述了在一个或多个结构组件背景下的概念，其以不同的方式被称为功能、模块、特征、元件等等。在附图中示出的各种组件能以任何方法通过任何物理的和有形的机制(例如，通过在计算机装置(computer equipment)上运行的软件、硬件(例如，以芯片实现的逻辑功能)等和/或其任意组合)来实现。在一种情形下，在附图中将示出的各种组件分成不同的单元，可以反映对应的不同的物理和有形组件在实际的实施方式中的使用。替代地或者另外地，在附图中对任何两个或更多个分开的组件的描绘可以反映由单个实际物理组件执行的不同的功能。如待要依次描述的图27提供了与在附图中示出的功能的一种示例物理实施方式有关的额外细节。
[0040]其它附图描述了在流程图中的概念。以此形式，特定的操作被描述成构成以特定次序执行的不同方框。这样的实施方式是示例性的且是非限定性的。在本文中描述的特定方框能被组合在一起并以单个操作来执行，特定方框能被分裂成多个组件方框，以及特定方框能以本文所例示的次序不同的次序(包括执行方框的并行方法)来执行。在流程图中示出的方框可以以任何方法通过任何物理和有形机制(例如，通过在计算机装置上运行的软件、硬件(例如，以芯片实现的逻辑功能)等和/或其任意组合)来实现。
[0041]关于术语，短语“被配置为”涵盖能被用于构造以执行识别的操作的任何方法的任何类别的物理和有形功能。该功能能被配置为使用例如在计算机装置上运行的软件、硬件(例如，以芯片实现的逻辑功能)等和/或其任意组合来执行操作。
[0042]术语“逻辑”涵盖用于执行任务的任何物理和有形功能。例如，在流程图中示出的每个操作对应用于执行该操作的逻辑组件。一项操作能使用例如在计算机装置上运行的软件、硬件(例如，以芯片实现的逻辑功能)等和/或其任意组合来执行。当被计算装置执行时，逻辑组件表示作为计算系统的一个物理部分的电气组件，无论其是如何被实现的。
[0043]在权利要求书中使用的短语“用于……的单元”旨在援引《美国法典》第35卷第112节第六段落的规定。除了此专用短语之外的其它语言并不是想要援引该法典的那个部分的规定。
[0044]下面的解释可以将一个或多个特征识别为“可选地”。此种类型的声明不是要被解释为对可被视为可选地的特征的排他指示;也即，其它特征也能被视为可选地，即使其在本文中未被明确地识别。最后，术语“例示”或“示例”指在潜在地多种实施方式当中的一个实施方式。
[0045]A.示例现实感测框架
[0046]A.1.该框架的概况
[0047]本节描述了为一个或多个增强现实应用做主机的现实感测框架。如上所示，增强现实应用通过使用一个或多个感测机制以捕获环境的任何方面来运作。该应用然后生成若干种类的补充信息，诸如标签、虚拟对象(例如，头像)等等。然后该应用提供输出呈现，所述输出呈现将关于环境的信息与补充信息合并。
[0048]在其它情形下，现实感测框架可以为一个或多个其它类型的环境感测应用做主机。这些其它类型的环境感测应用捕获环境的各方面，但不会以在上文描述的相同方式将对环境的表示与补充信息合并。不过，为了便于并简化描述，在本文将主要参照增强现实应用来描述现实感测框架。
[0049]从高层次角度，现实感测框架包括用于基于由一个或多个感测机制提供的感知信息来从环境提取不同的对象的辨识系统。不同的增强现实应用订阅并接收由辨识系统产生的不同类型的对象。单个共享渲染器接收并管理由增强现实应用产生的信息。现实感测框架基于由共享渲染器维护的共享状态信息来提供输出呈现。
[0050]然而在探究现实感测框架的示例细节前，考虑在图1中描绘的具体场景，其中现实感测框架被用以提供增强现实体验。该场景将在本申请公开中通篇用作运行例子。
[0051]在图1中示出的真实世界102包括站在白板106前面的第一个人104。第一个人104具有的特性包括但不限于人脸108和证章(badge) 110。此外，第一个人104将其手臂112伸出，好像指向特定方向。白板106包括各种笔迹实例，诸如笔迹114和笔迹116。
[0052]第二个人118使用诸如智能手机等计算设备120捕获上文描述的景象。更具体而言，第二个人118朝向计算设备120，使得其摄像机(未示出)捕获至少第一个人104和白板106的视频呈现。计算设备120还能够包括一个或多个其它环境感测机制，诸如但不限于一个或多个麦克风、一个或多个动作感测设备(诸如加速度计、陀螺仪等)等等。这些其它感测机制可以捕获真实世界102的其它方面。
[0053]计算设备120还可以包括一个或多个输出设备，诸如显示机制122。显示机制122提供由增强现实应用产生的输出呈现。在图1中示出的场景中，显示机制122充当从第二个人118的有利位置(vantage point)到真实世界102的“窗口”。换言之，在显示机制122上给出的内容反映(mirror)出计算设备120前方的真实世界，好像用户通过窗口面对着世界。
[0054]然而，其它设置可以被用以递送增强现实体验。在另一情形下，例如，第二个人118可以在由一个或多个感测机制创建的空间内与增强现实应用交互。例如，第二个人118可以在由多个视频摄像机创建的视野内工作，每个摄像机从不同的有利位置捕获第二个人118。第二个人118可以消费由增强现实应用在诸如位于第二个人118前方的显示监视器之类的任何输出设备上产生的输出呈现。
[0055]在另一情形下，第二个人118可以经由任何类型的可穿戴计算设备来与增强现实应用互动。例如，这种计算设备可以附到眼镜、服装、手表、首饰或其它可穿戴项目。任何类型的感测机制和输出设备可以附到或以其它方式关联于可穿戴项目。例如，附到眼镜的摄像机可以捕获对第二个人118前方的景象的视频表示，而附到眼镜的显示机制可以递送由增强现实应用提供的输出呈现。上文描述的形状要素是通过举例而非限制地提出的；此外