增强现实设备、方法和程序的制作方法
【专利说明】増强现实设备、方法和程序
【背景技术】
[0001] 移动计算装置(移动装置)为用户提供经由无线通信系统对多种信息的接入。一些 移动计算装置可用于增强现实(AR)应用，其中现实世界对象连同例如图像或文字信息等计 算机产生的信息一起在屏幕上成像和显示。AR可用以提供关于例如建筑物或产品等现实世 界对象的图形或文字信息。通常，当再现AR对象时不考虑位置或其它周围对象。
【发明内容】
[0002] 除了用于增强现实应用中之外，移动装置还可使得用户能够开发增强虚拟性 (AV)，其中现实世界对象或事件合并到虚拟世界中。举例来说，移动装置上的位置确定模块 可用以为用户呈现其周围环境(包括虚拟世界)的情境(例如，地图、位置、图像)结合描绘增 强虚拟性对象的相对位置的图形对象。移动装置可经配置以允许用户基于移动装置的位置 以及与对象相关联的特征与增强虚拟性对象交互。增强虚拟性对象可经由网络接入，或先 前存储在移动装置上。增强虚拟性对象可为具有例如的大小、形状、位置、速度和方向等特 征（例如，变量）的虚拟对象。虚拟对象可基于现实世界或幻想对象（例如，球、飞行的优惠 券、洪水、大群臭虫、怪物等…）与图形图像或其它动画对象相关联。虚拟对象可用于商业应 用中，例如销售和广告，以及教育和娱乐应用中，例如训练辅助和游戏。在移动装置上描绘 的虚拟世界中的虚拟对象的行为可基于算法或基于来自在用户的现实世界情境中发生的 事件的输入或其某种组合。
[0003] 根据本发明的一种用于在移动装置上提供增强虚拟性(AV)的方法的实例包含:确 定移动装置的位置;基于所述位置确定情境;获得AV对象信息;相对于所述情境显示所述AV 对象信息;检测与所述情境的交互;基于所述交互修改所述AV对象信息；以及显示所述经修 改AV对象信息。
[0004] 所述方法的实施方案可包含以下特征中的一或多者。所述情境可包含加权信息。 所述加权信息可基于接收信号强度指示RSSI或往返行程时间RTT数据。所述加权信息可与 所述情境中的物理对象的组成相关联。可接收用户手势，且可基于所接收手势信息修改所 述AV对象信息。可向用户提供警报，且可基于反应时间修改AV对象信息，使得所述反应时间 是提供所述警报信号的时间与接收所述手势的时间之间的差。可从增强虚拟性(AV)服务器 接收AV对象信息，且可将经修改AV对象信息提供到AV服务器。
[0005] 根据本发明的一种用于在移动装置上提供增强虚拟性(AV)的方法的实例包含:基 于所述移动装置的位置确定情境;产生AV对象的状态;确定情境交互结果;基于所述情境交 互结果修改所述AV对象的所述状态;确定移动装置交互结果;基于所述移动装置交互结果 修改所述AV对象的所述状态；以及显示所述AV对象。
[0006] 所述方法的实施方案可包含以下特征中的一或多者。AV对象的状态可包含方向变 量。可基于情境交互结果修改AV对象的状态，包含修改所述方向变量。基于所述移动装置交 互结果修改所述AV对象的所述状态可包含修改所述方向变量。AV对象的状态可包含大小变 量。基于所述情境交互结果修改所述AV对象的所述状态可包含修改所述大小变量。可通过 从用户接收手势确定移动装置交互结果。可基于移动装置交互结果修改移动装置的状态。
[0007] 根据本发明的一种在增强虚拟性(AV)应用程序中使用虚拟工具的方法的实例包 含:基于移动装置的位置确定情境;产生虚拟威胁的状态;产生虚拟工具的状态;确定情境 交互结果;确定工具交互结果;基于所述情境交互结果和所述工具交互结果修改所述虚拟 威胁的所述状态；以及显示所述虚拟威胁和所述虚拟工具。
[0008] 所述方法的实施方案可包含以下特征中的一或多者。虚拟工具的状态可包含位置 变量。可基于移动装置的状态修改虚拟工具的状态。可基于虚拟工具的经修改状态确定工 具交互结果。工具交互结果可约束虚拟威胁的状态。
[0009] 根据本发明的一种在增强虚拟性(AV)应用程序中确定交互变量的方法的实例包 含:获得情境;确定对应于所述情境内的一或多个区域的位置数据;确定用于所述一或多个 区域中的每一者的加权信息;基于所述加权信息确定交互变量;以及存储所述交互变量。
[0010] 所述方法的实施方案可包含以下特征中的一或多者。所述加权信息可基于RSSI信 息。所述加权信息可基于RTT信息。
[0011] 根据本发明的一种用于在移动装置上提供增强虚拟性(AV)的方法的实例包含:基 于所述移动装置的位置确定情境;在所述情境内建立控制区域;产生巡回威胁的状态，其中 所述巡回威胁的所述状态受所述情境约束;确定所述巡回威胁的活动区，其中所述活动区 受所述情境约束;确定所述移动装置的状态，其中所述状态包含当前位置；以及基于所述移 动装置的所述状态起始第一小游戏。
[0012] 所述方法的实施方案可包含以下特征中的一或多者。当所述移动装置的所述位置 在所述控制区域内时可起始所述第一小游戏。当所述移动装置的所述位置在所述活动区内 时可起始第二小游戏。所述活动区可为视线变量。所述视线变量可受所述情境约束。
[0013] 根据本发明的用于将增强虚拟性(AV)对象信息提供到一或多个移动装置的方法 的实例包含：向AV服务器登记移动装置;从AV服务器接收AV对象信息和对等位置更新；以及 将位置更新提供到AV服务器。在所述方法的实施方案中，可将手势更新提供到AV服务器。
[0014] 根据本发明的用于将增强虚拟性(AV)对象信息提供到一或多个移动装置的方法 的实例包含：向AV服务器登记移动装置;接收AV对象物理引擎模块；以及将AV对象状态变量 更新提供到AV服务器。
[0015] 根据本发明的一种用于在移动装置上提供增强虚拟性(AV)的设备的实例包含:存 储器模块;处理器，其耦合到所述存储器模块且经配置以：确定移动装置的位置;基于所述 位置确定情境;获得AV对象信息;相对于所述情境显示所述AV对象信息;检测与所述情境的 交互;基于所述交互修改所述AV对象信息；以及显示经修改AV对象信息。
[0016] 根据本发明的一种用于在移动装置上提供增强虚拟性(AV)的设备的实例包含:存 储器模块;处理器，其耦合到所述存储器模块且经配置以：基于所述移动装置的位置确定情 境;产生AV对象的状态;确定情境交互结果;基于所述情境交互结果修改所述AV对象的所述 状态;确定移动装置交互结果;基于所述移动装置交互结果修改所述AV对象的所述状态；以 及显示所述AV对象。
[0017] 根据本发明的一种用于在移动装置上提供增强虚拟性(AV)的设备的实例包含:存 储器模块;处理器，其耦合到所述存储器模块且经配置以：基于所述移动装置的位置确定情 境;产生AV对象的状态;确定情境交互结果;基于所述情境交互结果修改所述AV对象的所述 状态;确定移动装置交互结果;基于所述移动装置交互结果修改所述AV对象的所述状态；以 及显示所述AV对象。
[0018] 根据本发明的一种用于在增强虚拟性(AV)应用程序中使用虚拟工具的设备的实 例包含:存储器模块;处理器，其耦合到所述存储器模块且经配置以：基于移动装置的位置 确定情境;产生虚拟威胁的状态;产生虚拟工具的状态;确定情境交互结果;确定工具交互 结果;基于所述情境交互结果和所述工具交互结果修改所述虚拟威胁的所述状态；以及显 示所述虚拟威胁和所述虚拟工具。
[0019] 根据本发明的一种用于在增强虚拟性(AV)应用程序中确定交互变量的设备的实 例包含:存储器模块;处理器，其耦合到所述存储器模块且经配置以：获得情境;确定对应于 所述情境内的一或多个区域的位置数据;确定用于所述区域中的每一者的加权信息;基于 所述加权信息确定交互变量;以及存储所述交互变量。
[0020] 根据本发明的一种用于为用户提供增强虚拟性(AV)体验的设备的实例包含:存储 器模块;处理器，其耦合到所述存储器模块且经配置以：基于移动装置的位置确定情境;在 所述情境内建立控制区域;产生巡回威胁的状态，其中所述巡回威胁的所述状态受所述情 境约束;确定所述巡回威胁的活动区，其中所述活动区受所述情境约束;确定所述移动装置 的状态，其中所述状态包含当前位置;以及基于所述移动装置的所述状态起始第一小游戏。
[0021] 根据本发明的一种驻留于处理器可执行存储媒体上的计算机程序产品的实例包 含经配置以致使处理器进行以下操作的处理器可执行指令:确定移动装置的位置;基于所 述位置确定情境;获得AV对象信息;相对于所述情境显示所述AV对象信息;检测与所述情境 的交互;基于所述交互修改所述AV对象信息；以及显示经修改AV对象信息。
[0022] 根据本发明的一种驻留于处理器可执行存储媒体上的计算机程序产品的实例包 含经配置以致使处理器进行以下操作的处理器可执行指令:基于移动装置的位置确定情 境;产生AV对象的状态;确定情境交互结果;基于所述情境交互结果修改所述AV对象的所述 状态;确定移动装置交互结果;基于所述移动装置交互结果修改所述AV对象的所述状态；以 及显示所述AV对象。
[0023] 根据本发明的一种驻留于处理器可执行存储媒体上的计算机程序产品的实例包 含经配置以致使处理器进行以下操作的处理器可执行指令:基于移动装置的位置确定情 境;产生虚拟威胁的状态;产生虚拟工具的状态;确定情境交互结果;确定工具交互结果;基 于所述情境交互结果和所述工具交互结果修改所述虚拟威胁的所述状态；以及显示所述虚 拟威胁和所述虚拟工具。
[0024] 根据本发明的一种驻留于处理器可执行存储媒体上的计算机程序产品的实例包 含经配置以致使处理器进行以下操作的处理器可执行指令:获得情境;确定对应于所述情 境内的一或多个区域的位置数据;确定用于所述区域中的每一者的加权信息;基于所述加 权信息确定交互变量;以及存储所述交互变量。
[0025] 根据本发明的一种驻留于处理器可执行存储媒体上的计算机程序产品的实例包 含经配置以致使处理器进行以下操作的处理器可执行指令:基于移动装置的位置确定情 境;在所述情境内建立控制区域;产生巡回威胁的状态，其中所述巡回威胁的所述状态受所 述情境约束;确定所述巡回威胁的活动区，其中所述活动区受所述情境约束;确定所述移动 装置的状态，其中所述状态包含当前位置；以及基于所述移动装置的所述状态起始第一小 游戏。
[0026]本文描述的项目和/或技术可提供以下能力以及未提到的其它能力中的一或多 者。情境可与移动装置的位置相关联。可确定用于情境的加权函数。增强虚拟性(AV)对象是 可在一或多个移动装置上呈现的虚拟对象。AV对象可模型化现实世界对象(例如，球、流水、 野兽、气泡、扩展的气体等…），以及想想的对象(例如，魔术火球、异形机器人、愤怒的巨人、 飞行的优惠券KAV对象可包含状态变量以模型化虚拟和物理属性。用户可经由移动装置中 的传感器与AV对象交互。可基于情境修改或约束一或多个AV对象的状态变量。AV服务器可 托管且操作AV应用程序。设计者可在AV服务器上登记AV应用程序。AV应用程序和相关联AV 对象可提供到移动装置。AV应用程序可在本地和客户端配置中执行。移动装置可经配置以 将位置和AV对象状态信息提供到AV服务器。AV服务器可经配置以将AV对象状态信息传播到 一或多个移动装置。AV对象可表示虚拟工具（即，另一AV对象），且用户可经由移动装置中的 传感器与虚拟工具交互。虚拟工具可包含可基于情境而修改或约束的状态变量。虚拟工具 可用以与AV对象交互。情境可包含一或多个控制区域。移动装置可经配置以基于其对控制 区域的接近而执行一或多个小游戏。可提供其它能力，且不是根据本发明的每个实施方案 都必须提供所论述的能力中的任一者，更不用说全部。AV对象与情境之间的交互的结果可 用于广范围的商业、教育和娱乐应用中。此外，可能通过除了所说明的装置外的装置来实现 上文说明的效果，且所说明的项目/技术可能不一定产生所说明的效果。
【附图说明】
[0027]图1是用于增强虚拟性(AV)系统的示范性网络环境。
[0028]图2是示范性移动装置的示意性框图。
[0029]图3是用于确定情境内的加权函数的示范性配置的俯视图。
[0030]图4是AV服务器与一或多个移动装置之间的示范性数据传送方案的框流程图。
[0031 ]图5是在多个状态中的示范性AV对象的俯视图。
[0032] 图6是行进通过情境的示范性AV对象的俯视图。
[0033] 图7是示范性扩展威胁AV对象的俯视图。
[0034] 图8是具有示范性扩展威胁和虚拟工具AV对象的情境的俯视图。
[0035]图9是具有示范性虚拟训练者AV对象的情境的俯视图。
[0036] 图10是具有多个控制区域和示范性巡回威胁AV对象的情境的俯视图。
[0037] 图11是执行一或多个小游戏的移动装置的俯视图。
[0038]图12是用于显示AV对象的过程的框流程图。
[0039] 图13A是用于确定情境内的区域的交互变量的过程的框流程图。
[0040] 图13B是用于加权信息和交互变量的示范性数据结构。
[0041 ]图14A是用于将位置和手势更新提供到AV服务器的过程的框流程图。
[0042] 图14B是用于将AV对象位置更新提供到AV服务器的过程的框流程图。
[0043] 图15是用于修改AV对象的状态变量的过程的框流程图。
[0044] 图16是用于基于情境或工具交互修改AV对象的状态变量的过程的框流程图。
[0045] 图17是用于在移动装置上起始小游戏的过程的框流程图。
【具体实施方式】
[0046] 本文论述用于基于用户的位置和与位置相关联的情境而对用户提供增强虚拟性 (AV)对象的技术。举例来说，从定位引擎或服务器获得真实位置的地图且提供到移动装置。 所述地图可包含例如热图等额外情境信息，其表示与所述位置中的各种对象和结构特征相 关联的加权函数。所述加权函数也可基于从接入点获得的RSSI (接收信号强度指示符）和 RTT(往返行程时间)数据。举例来说，加权函数可用以确定墙壁和其它障碍物的位置或者AV 对象在所述情境内将移动或变化的方式。情境可包含关于结构元件的信息，例如为房间、墙 壁、门、走廊和其它建筑特征的位置。可基于与情境和用户的交互而修改AV对象的状态变量 (即，状态）。举例来说，在AV服务器或移动装置上执行的物理引擎可用以计算AV对象与情境 之间的交互和/或AV对象与用户之间的交互的结果。AV对象的状态传播到位置内的其它移 动装置或者另外对所述其它移动装置可接入。举例来说，在各种商业、教育和娱乐应用中可 使用一或多个AV对象与情境之间的交互。然而，这些实例不是详尽的。
[0047] 参见图1，展示用于增强虚拟性(AV)系统的示范性网络环境100。网络环境100可包 含任何数目的移动装置，例如移动装置120和130。移动装置120和130可经由网络140与AV月艮 务器110无线通信。移动装置120和130可包括任何合适的移动计算平台，举例来说，包含蜂 窝式电话、智能电话、个人数字助理、低工作循环通信装置、膝上型计算机、便携式媒体播放 器装置、个人导航装置以及包括数码相机的便携式电子装置。网络环境100可进一步包含非 移动计算平台，例如也可经由网络140与AV服务器110通信的计算平台122。在至少一些实施 方案中，移动装置可适于通过借助例如有线或无线通信与计算平台122对接而通信，而不利 用网络140。
[0048] 网络140可包括广域网（例如，因特网）、局域网（例如，内联网）和/或个域网中的一 或多者。举例来说，移动装置120和130可经由任何合适的通信协议与AV服务器110无线通 信，