用于提供增强现实对象的信息的本地同步的方法和装置的制造方法
【专利说明】用于提供增强现实对象的信息的本地同步的方法和装置
【背景技术】
[0001] 服务提供者和设备制造商（例如，无线、蜂窝等）不断受到通过例如提供令人信 服的网络服务向消费者递送价值和便利的挑战。一个感兴趣的领域是开发在普及性、功能 性和内容方面大大提高的基于位置的服务（例如，导航服务、地图服务、增强现实应用等）。 增强现实和混合现实应用允许用户实时地看到与虚拟对象（例如，增强现实对象）融合的 物理世界的视图。地图应用进一步允许运样的增强现实对象注释有位置信息和其它用户信 息。过去，运些对象和它们的注释信息存储在中央存储数据库（例如，网络存储）中。然 而，在一些情况下，增强现实对象和/或相关联的注释信息可W包括不适合中央存储和递 送（例如，当数据快速改变、数据只具有本地相关性、数据是敏感的等时）的本地信息（例 如，用户设备而不是网络存储上的信息存储）。据此，服务提供者和设备制造商面临整合本 地存储的信息（例如，信息）与网络服务增强现实信息（例如，地图瓦片（tile)、增强现实 瓦片等）的显著技术挑战，特别是当本地信息跨多个本地设备存储时。
【发明内容】
[0002] 因此，存在对用于提供增强现实对象的信息的本地同步的方法的需要。
[0003] 根据一个实施例，方法包括确定至少一个增强现实信息空间的至少一个增强现实 对象。方法还包括至少部分地基于本地信息与至少一个增强现实对象的相关性，确定来自 至少一个设备、在至少一个设备附近的一个或多个其它设备、或组合的本地信息。方法进一 步包括至少部分地使得将本地信息呈现为描绘至少一个增强现实对象的增强现实用户界 面的一个或多个层。
[0004] 根据另一实施例，装置包括至少一个处理器W及包括一个或多个计算机程序的计 算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为通过至少一 个处理器至少部分地使得装置确定至少一个增强现实信息空间的至少一个增强现实对象。 还使得装置至少部分地基于本地信息与至少一个增强现实对象的相关性，确定来自至少一 个设备、在至少一个设备附近的一个或多个其它设备、或组合的本地信息。装置进一步至少 部分地使得将本地信息呈现为描绘至少一个增强现实对象的增强现实用户界面的一个或 多个层。
[0005] 根据另一实施例，计算机可读存储介质携带一个或多个指令的一个或多个序列， 一个或多个指令的一个或多个序列当由一个或多个处理器执行时至少部分地使得装置确 定至少一个增强现实信息空间的至少一个增强现实对象。还使得装置至少部分地基于本地 信息与至少一个增强现实对象的相关性，确定来自至少一个设备、在至少一个设备附近的 一个或多个其它设备、或组合的本地信息。装置进一步至少部分地使得将本地信息呈现为 描绘至少一个增强现实对象的增强现实用户界面的一个或多个层。
[0006] 根据另一实施例，装置包括用于确定至少一个增强现实信息空间的至少一个增强 现实对象的组件。装置还包括用于至少部分地基于本地信息与至少一个增强现实对象的相 关性，确定来自至少一个设备、在至少一个设备附近的一个或多个其它设备、或组合的本地 信息的组件。装置进一步包括用于至少部分地使得将本地信息呈现为描绘至少一个增强现 实对象的增强现实用户界面的一个或多个层的组件。
[0007] 此外，对于本发明的各种示例实施例，W下是适用的：方法包括便于处理（1)数据 和/或似信息和/或做至少一个信号，（1)数据和/或似信息和/或做至少一个 信号至少部分地基于（或者至少部分地从其得到）与本发明的任何实施例相关的本申请中 公开的方法（或处理）的任何一种或任何组合。
[0008] 对于本发明的各种示例实施例，W下也是适用的：方法包括便于访问至少一个接 口，至少一个接口被配置为允许访问至少一个服务，至少一个服务被配置为执行本申请中 公开的网络或服务提供者方法（或处理）的任何一种或任何组合。
[0009] 对于本发明的各种示例实施例，W下也是适用的：方法包括便于创建和/或便于 修改（1)至少一个设备用户界面元素和/或（2)至少一个设备用户界面功能，（1)至少一 个设备用户界面元素和/或（2)至少一个设备用户界面功能至少部分地基于从与本发明的 任何实施例相关的本申请中公开的方法或处理的一种或任何组合得到的数据和/或信息、 和/或从与本发明的任何实施例相关的本申请中公开的方法（或处理）的一种或任何组合 得到的至少一个信号。
[0010] 对于本发明的各种示例实施例，W下也是适用的：方法包括创建和/或修改（1)至 少一个设备用户界面元素和/或（2)至少一个设备用户界面功能，（1)至少一个设备用户 界面元素和/或（2)至少一个设备用户界面功能至少部分地基于从与本发明的任何实施例 相关的本申请中公开的方法（或处理）的一种或任何组合得到的数据和/或信息、和/或 从与本发明的任何实施例相关的本申请中公开的方法（或处理）的一种或任何组合得到的 至少一个信号。
[0011] 在各种示例实施例中，方法（或处理）可W在服务提供者侧或者在移动设备侧或 者W服务提供者和移动设备之间的任何共享方式（其中动作在两侧执行）来完成。
[0012] 对于各种示例实施例，W下是适用的：装置包括用于执行根据最初提交的权利要 求1-10、21-30和46-48中任一项所述的方法的组件。
[0013] 简单地通过说明若干特定实施例和实施方式（包括用于执行本发明所设想的最 佳模式），仍然有本发明的其它方面、特征和优点容易从W下详细描述中理解。本发明还能 够有其它且不同的实施例，并且其若干细节可W在各种明显的方面进行修改，而全部都不 脱离本发明的精神和范围。据此，附图和描述要被视为本质上说明性的，而不是限制性的。
【附图说明】
[0014] 通过示例的方式，而非通过限制的方式，本发明的实施例图示于附图的示图中：
[0015] 图1是根据一个实施例的能够提供增强现实对象的信息的本地同步的系统的示 图；
[0016] 图2是根据一个实施例的混合现实平台的部件的示图；
[0017] 图3是根据一个实施例的用于提供增强现实对象的信息的本地同步的处理的流 程图；
[001引图4是图示根据一个实施例的与增强现实视图相关联的本地信息的同步的示图；
[0019]图5是图示根据一个实施例的在增强现实叠加层之间共享信息的示图；
[0020] 图6是图示根据一个实施例的擅染不同设备的不同增强现实视图的示图；
[0021] 图7是图示根据一个实施例的通过合成和分解的本地基元的同步的示图；
[0022] 图8A和图8B是图示根据一个实施例的经由单个用户的发射台的本地信息同步的 示图；
[0023] 图9是图示根据一个实施例的经由多个用户的发射台的位置信息同步的示图；
[0024] 图10A至图10B是根据一个实施例的用于处理增强现实环境中的增强现实对象的 处理的流程图；
[0025] 图11A至图11C是根据各种实施例的图1至图12B的处理中利用的用户界面的示 图；
[0026] 图12是其可W用于实现本发明的实施例的硬件的示图；
[0027] 图13是其可W用于实现本发明的实施例的忍片集的示图；并且
[0028] 图14是其可W用于实现本发明的实施例的移动终端（例如，手持机）的示图。
【具体实施方式】
[0029] 公开了用于提供增强现实对象的信息的本地同步的方法、装置和计算机程序的示 例。在W下描述中，出于解释的目的，阐述了众多具体细节W便提供对本发明的实施例的透 彻理解。然而，对于本领域技术人员来说显而易见的是，可W在没有运些具体细节的情况下 或者在等同布置的情况下实践本发明的实施例。在其他实例中，熟知的结构和设备W框图 的形式示出，W便避免不必要地模糊本发明的实施例。
[0030] 如本文中使用的，术语"计算闭包（computationclosure)"标识特定计算过程连 同各种处理之间的关系和通信（包括传递自变量、共享处理结果、选择由备选输入、数据流 和处理结果等的计算提供的结果）。计算闭包（例如，粒度反射指令集、数据和/或有关的 执行上下文或状态）提供对处理的计算进行切片并且在设备、基础设施和信息源之间传输 计算切片的能力。
[0031] 如本文中使用的，术语"云"指的是来自不同源的信息和计算闭包的聚合集。运一 多源化是非常灵活的，因为它考虑和依靠如下观察：相同的信息或计算片段可W来自于不 同源。在一个实施例中，云中的信息和计算使用诸如资源描述框架（RD巧、RDF模式（RDFS)、 OWUWeb本体语言）、F0AF(朋友的朋友本体）、RuleML(规则标记语言）中的规则集等之类 的语义Web标准来表示。此外，如本文中使用的，RDF指的是最初设计为元数据模型的万维 网联盟（W3C)规范家族。它已经被用作用于资源中实现的信息和计算的概念性描述或建模 的通用方法；通过使用各种语法格式。虽然关于云来描述各种实施例，但是设想的是，本文 中描述的方法可W与用于创建信息和计算的分布式模型的其他结构和概念性描述方法一 起使用。
[0032]图1是根据一个实施例的能够提供增强现实对象的信息的本地同步的系统的示 图。如上所述，大体上，用于移动设备和计算设备的基于位置的服务正变得无处不在。例如， 运些服务可W包括增强现实和混合现实服务和应用。在一个实施例中，增强现实是其使得 用户的真实世界视图能够与附加视觉信息叠加的混合现实的特殊情况。混合现实允许真实 和虚拟世界的融合，W产生视觉化和新环境。在混合现实中，物理和增强现实对象可W共存 和实时地交互。因而，混合现实可W是现实、增强现实、虚拟现实或其组合的混合。
[0033] 使用运样的应用的益处允许将内容关联至位置或者位置中的一个或多个结构 (例如，建筑物、道路等），其中结构部分是其可W表示为=维（3D)对象的虚拟世界。内容可 W与其他人共享或为用户保留W向用户提醒信息。通常，结构限定的越精确，内容越有用。
[0034] 传统上，运种用于构造增强现实视图的内容存储在例如云中的中央数据库中。例 如，用户和混合现实之间的无缝交互系统通过自然组合的几个子部件来建立，诸如混合现 实布景（scenery)、移动或游动（nomadic)设备中的若干主屏幕、由某个云基础设施和对应 API扩展提供的后台支持、W及具有相似性能的一些其它游动设备。中央存储的一种方法包 括提供服务器W充当描述AR场景的标记文件的联合器（federator)。然后，通过返回到相 关标记文件的链接，服务器对针对增强现实信息的客户端查询做出响应。然而，依赖于网络 流量和计算资源，客户端查询的服务器响应可能受响应时间和延迟问题的影响。例如，在其 中存在快速改变的动态本地相关信息的情况下，服务器提供的响应时间和延迟可能使得及 时提供最新的本地信息成为挑战。
[0035] 为了解决运一问题，图1的系统100引入了同步本地存储在游动或静止设备内的 信息或数据W在AR或混合现实环境中显示的性能。在一个实施例中，本文中描述的各种实 施例经由AR应用的"发射台"区域来实现本地信息或数据（例如，客户端设备处存储的数 据，而不是网络侧数据存储库上存储的数据）的同步。在一个实施例中，发射台是其使得能 够从增强现实视图或其它混合现实屏幕拖动增强现实对象W便操纵的应用元件。例如，一 旦增强现实对象在发射台区域内，就发生增强现实对象分解的处理。W运种方式，发射台可 W作为针对增强现实对象和有关数据（例如，本地信息或数据）的初级解析器、执行策略使 能器和/或处理映射器而工作。
[0036] 通过示例的方式，用户可W将对动态本地相关信息的访问视为AR或混合现实应 用的重要方面。据此，运种需要有利于本地信息的本地存储和同步（而不是只有全局云存 储）。例如，本地存储实现本地肥107之间、肥107和本地存储之间等的迅速访问和同步。 在一个用例中，信息的本地存储、共享和/或同步可W相关于移动用户瞬时彼此传递和相 交，其中用于W本地混合现实或增强现实来表示传递用户的时间可W是短的或即时的。换 言之，在其中存在快速改变数据的可能性的情形下，可W指示增强现实信息的本地存储、共 享和同步，诸如当AR视图满足时，AR层与诸如AR瓦片、地图瓦片和/或所选本地连接选项 之类的相关位置信息（至少部分地）重叠。
[0037] 在一个实施例中，系统100使得能够同步发射台中分配的本地项或数据，W时间 和/或空间映射到游动或静止设备内保持的AR流和/或消费者指定功能流（例如，完成或 执行对数据的操作的计算闭包链）上。例如，运一处理使本地存储的AR信息进入同步设备 之间的活跃使用。在一个实施例中，本地存储的AR信息的同步与本地运行时环境和数据存 储基础设施一起使用。例如，本地运行时环境和数据存储基础设施可W是分布式的或本地 聚合。在一些实施例中，环境和基础设施可W跨设备与其连接的诸如认知连接基础设施的 共存管理器之类的其它基础设施分布。此外或备选地，在一些实施例中，可W使用经由短程 无线电系统的连接（例如，射频存储器标签系统），W经由向其绑定数据或信息的物理对象 来交换信息。
[0038] 在一个实施例中，如果内容项关联/映射于增强现实视图或本地运行时环境内的 某些增强现实对象，则要交换或同步的本地信息是发射台内容。例如，如果一个用户具有其 他用户想要具有的内容（例如，本地信息），则系统100可W实现共享内容的本地同步。在 一个实施例中，例如经由诸如近场通信（NFC)标签之类的射频存储器标签或其它短程无线 电技术，可W通过使用触摸和信息交换来共享或同步内容。
[0039] 在一个实施例中，与本地信息或内容相关联的发射台、AR视图、AR层等经由系统 发射台来同步。例如，运样的内容包括本地存储的内容W及描述管理同步的本地或区域指 定参数（例如，频率、到期时间、量、许可等）的元数据。在一个实施例中，系统100可W实 现或关联不同AR层或视图的不同同步参数。根据参数，发射台提供更新、合成活动（例如， 用于向AR层或视图发送同步更新）和分解活动（例如，用于更新本地计算闭包基元）。在 一个实施例中，系统100可W限定合成/分解活动W及发射台本身的寿命或其它操作参数。
[0040] 在一个实施例中，本地存储、共享和/或同步的信息可W包括其它设备或用户（如 果例如存在于设备上呈现的AR视图或层中的话）的表示（例如，诸如图形、音频等之类的 媒体表示）。在一些实施例中，表示或本地信息可W包括基于设备处操作的隐私和/或安全 政策可能受限的敏感或个人数据。换言之，是否向用户呈现某些本地信息基于是否允许该 用户查看、访问或W其它方式与信息交互。
[0041] 在一些实施例中，要存储、共享和/或同步的本地信息或数据可W是大尺寸的（例 如，视频或其他二进制内容）。在运种情况下，系统100使用不同方案来实现本地信息到轻 量数据（例如，主要为元数据）和数据的庞大或重部分（例如，二进制数据）中的同步的分 叉W进行同步。例如，轻量数据可W使用射频存储器标签来存储、共享和/或同步，而相关 联的庞大或重数据的同步借助于任何短程和/或中程通信装置来卸载。
[0042] 在一个实施例中，系统100将本地信息的存储、共享和/或同步系于与伪像/增强 现实对象的指定交互。在一个实施例中，交互可W包括被敲击、拖动至用户和/或混合现实 发射台或者与查询结果匹配的伪像/增强现实对象的数目。例如，系统100可W包括作为与 增强现实对象交互的形式的查询输入区域（例如，自由形式查询输入区域、一行捜索区域、 到若干对象的U化链接、或它们的组合）。
[0043] 在一个实施例中，出于增强现