自动内容滚动的制作方法

自动内容滚动的制作方法
【专利摘要】描述了用于当内容由头戴式显示设备(HMD)的最终用户查看时控制所述内容的显示的方法。在一些实施例中，HMD可以使用用于阅读内容的虚拟内容阅读器来显示内容。所述内容可以包括文本和/或图像，例如与电子书、电子杂志、文字处理文档、网页或电子邮件相关联的文本或图像。虚拟内容阅读器可以基于最终用户阅读在虚拟内容阅读器上所显示的内容的一部分的速率来提供自动内容滚动。在一个实施例中，HMD可以将显示在虚拟内容阅读器上的内容的自动滚动与用户控制的滚动(例如通过HMD的最终用户的头部跟踪)相组合。
【专利说明】自动内容滚动
[0001 ] 背景
[0002] 增强现实(AR)涉及提供经增强的现实世界环境，其中用计算机生成的虚拟数据来 增强或修改对现实世界环境(或表示现实世界环境的数据）的感知。例如，可使用诸如相机 或话筒等传感输入设备实时地捕捉表示现实世界环境的数据，并用包括虚拟图像和虚拟声 音的计算机生成的虚拟数据来增强该数据。虚拟数据还可包括与现实世界环境有关的信 息，诸如与现实世界环境中的现实世界对象相关联的文本描述。一些AR环境内的对象可包 括真实对象（即，存在于特定现实世界环境中的对象)和虚拟对象（即，不存在于该特定现实 世界环境中的对象）。
[0003] 为了将虚拟对象逼真地集成到AR环境中，AR系统通常执行包括映射和本地化的若 干任务。映射涉及生成现实世界环境的映射的过程。本地化涉及相对于现实世界环境的映 射来定位特定视点或姿态的过程。在一些情况下，AR系统可实时本地化在现实世界环境内 移动的移动设备的姿态，以便确定与该移动设备相关联的、需要随该移动设备在现实世界 环境中移动而被增强的特定视图。
[0004] 概述
[0005] 描述了用于当内容由头戴式显示设备(HMD)的最终用户查看时控制所述内容的显 示的技术。在一些实施例中，HMD可以使用用于阅读内容的虚拟内容阅读器来显示内容。所 述内容可以包括文本和/或图像，例如与电子书、电子杂志、文字处理文档、网页或电子邮件 相关联的文本或图像。虚拟内容阅读器可以基于最终用户阅读在虚拟内容阅读器上所显示 的内容的一部分的速率来提供自动内容滚动。在一个实施例中，HMD可以将显示在虚拟内容 阅读器上的内容的自动滚动与用户控制的滚动(例如通过HMD的最终用户的头部跟踪)相组 合。
[0006] 提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本 概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求 保护的主题的范围。
[0007] 附图简述
[0008] 图1是可在其中实施所公开的技术的联网计算环境的一个实施例的框图。
[0009] 图2A描绘了与第二移动设备通信的移动设备的一个实施例。
[0010] 图2B描绘了HMD的一部分的一个实施例。
[0011] 图2C描绘了HMD的一部分的一个实施例，其中延伸到注视点的注视向量用于对准 远瞳距（iro)。
[0012] 图2D描绘了HMD的一部分的一个实施例，其中延伸到注视点的注视向量用于对准 近瞳距（iro)。
[0013] 图3A描绘了HMD的一部分的一个实施例，该HMD具有包括注视检测元件的活动显示 光学系统。
[0014]图3B描绘了HMD的一部分的一个替换实施例，该HMD具有包括注视检测元件的活动 显示光学系统。
[0015] 图4A描绘了查看增强现实环境内的虚拟内容阅读器的最终用户佩戴的HMD的一个 实施例。
[0016] 图4B描绘了查看增强现实环境内的虚拟内容阅读器的最终用户佩戴的HMD的一个 实施例。
[0017] 图4C描绘了查看增强现实环境内的虚拟内容阅读器的最终用户佩戴的HMD的一个 实施例。
[0018] 图5是描述了用于使用HMD显示内容的方法的一个实施例的流程图。
[0019] 图6A是描述了用于使用HMD执行自动内容滚动的方法的一个实施例的流程图。
[0020] 图6B是描述了用于使用HMD执行自动内容滚动的方法的一个替换实施例的流程 图。
[0021] 图7是移动设备的一个实施例的框图。
[0022] 详细描述
[0023]描述了用于当内容由透视显示器的最终用户查看时控制所述内容的显示的技术。 透视显示器可以包括头戴式显示设备(HMD)。在一些实施例中，HMD可以使用用于阅读内容 的虚拟内容阅读器来显示内容。所述内容可以包括文本和/或图像，例如与电子书、电子杂 志、文字处理文档、网页或电子邮件相关联的文本或图像。虚拟内容阅读器可以基于最终用 户阅读在虚拟内容阅读器上所显示的内容的一部分的速率来提供自动内容滚动。在一个示 例中，所显示的内容的滚动速率可以被设置使得HMD的最终用户查看所述内容的在虚拟内 容阅读器的第一区域内正被阅读的一部分(例如使得所述内容的该部分被定位在虚拟内容 阅读器的中部内）。当最终用户的阅读速度增加和/或所述内容正被阅读的该部分接近于虚 拟内容阅读器的底部时，滚动速率可以增加(例如当所述最终用户阅读远离虚拟内容阅读 器的中部的内容时，所述滚动速率可以增加）。
[0024]在一个实施例中，HMD可以将显示在虚拟内容阅读器上的内容的自动滚动与用户 控制的滚动相组合。HMD可以利用眼睛跟踪来确定虚拟内容阅读器的哪个部分正被最终用 户阅读以及最终用户以什么速率阅读虚拟内容阅读器所显示的所述内容的一部分。HMD也 可利用最终用户的头部跟踪以便允许最终用户使用虚拟内容阅读器手动控制滚动操作。在 一个示例中，最终用户可以注视与虚拟内容阅读器相关联的滚动条并随后使用头部移动来 控制该滚动条并调整正在虚拟内容阅读器上所显示的内容。滚动条可以被定位在虚拟内容 阅读器的用于显示内容的区域附近(例如沿显示内容的该区域的一侧）。
[0025]在一个实施例中，要被显示在虚拟内容阅读器上的内容可以从多栏格式转换成单 栏格式。将内容转换成单栏格式可以改进内容的滚动并对于HMD的最终用户而言在内容正 被滚动时可以更容易跟随上该内容。在一个示例中，已经使用三个文本栏格式化的电子文 档可以被转换成仅使用一个文本栏的经格式化文档。为了进一步改进当内容被自动滚动时 的内容跟踪，当最终用户阅读所显示的内容的特定部分，例如单词、句子或段落时，所显示 的内容的先前阅读的部分的颜色可以被改变(例如文本可以从黑色改变为红色或灰色）。 [0026]在一个实施例中，HMD可以包括用于检测在增强现实环境内的真实世界的光照条 件(例如环境光照的程度)的光传感设备，并且可以对虚拟内容阅读器上所显示的内容的字 体大小和/或对比色进行调整。对字体大小和/或对比色的调整可以依赖于光照条件和虚拟 内容阅读器与HMD的最终用户（例如如果最终用户正在查看位于离开该最终用户10米远的 墙上的虚拟内容阅读器时）的距离(或在增强现实环境内的感知距离)这两者。在一个示例 中，如果最终用户是在黑暗的屋子里，那么字体大小可以被增加。在另一个示例中，如果最 终用户是在明亮的环境(例如晴天的室外）中，那么取代在白色背景上显示黑色文本，虚拟 内容阅读器可以使用覆盖橙色背景的蓝色文本来显示内容。
[0027]在一些情况中，HMD可以基于在增强现实环境内的光照条件调整HMD的透明度。例 如，当HMD在明亮环境中时使得透视显示器变暗可以允许使用在白色背景上的黑色文本。 HMD可以包括在其中可以（例如通过施加的电压）调整显示器的透明度、不透明度或其他光 传输属性的显示器。在一个示例中，当特定电压被施加到显示器时，透明度可以被降低使得 透视显示器变暗。在一个实施例中，透视显示器可以包括电致变色(electrochromic)材料。 在另一个实施例中，透视显示器可以包括在其中悬浮有许多微观粒子的电控膜（即悬浮粒 子膜）。
[0028]在一些实施例中，在在虚拟内容阅读器上显示内容之前，HMD可以获取与所述内容 相关联的一组书签。该组书签的每个书签可以与在所述内容内的一个位置对应。所述位置 可以与在内容内的一个单词、一个句子、一个段落或一个章节相关联。该组书签的第一书签 可以与所述内容的由HMD的最终用户所阅读的最后部分(例如最后的阅读句子或段落或最 后查看的图像)相关联。该组书签的第二书签可以与所述内容的由HMD的最终用户所阅读的 最频繁阅读章节(例如最频繁阅读的段落)相关联。
[0029]图1是可在其中实施所公开的技术的联网计算环境100的一个实施例的框图。联网 计算环境100包括通过一个或多个网络180互连的多个计算设备。所述一个或多个网络180 允许一特定计算设备连接到另一计算设备以及与其通信。所描绘的计算设备包括移动设备 11、移动设备12、移动设备19和服务器15。在一些实施例中，所述多个计算设备可以包括未 示出的其他计算设备。在一些实施例中，所述多个计算设备可以包括比图1所示的计算设备 的数目更多或更少的计算设备。所述一个或多个网络180可以包括诸如企业专用网络之类 的安全网络、诸如无线开放式网络之类的不安全网络、局域网（LAN)、广域网(WAN)、以及因 特网。所述一个或多个网络180中的每个网络可以包括集线器、网桥、路由器、交换机、以及 有线传输介质，比如有线网络或直接线连接。
[0030] 可包括补充信息服务器或应用服务器的服务器15可允许客户端从该服务器下载 信息(例如，文本、音频、图像和视频文件)或者执行与存储在该服务器上的特定信息相关的 搜索查询。一般而言，"服务器"可以包括在客户端-服务器关系中充当主机的硬件设备、或 者与一个或多个客户端共享资源或为所述一个或多个客户端执行工作的软件过程。客户 端-服务器关系下的计算设备之间的通信可以通过由客户端向服务器发送要求访问特定资 源或执行特定工作的请求来发起。服务器随后可以执行所请求的动作并且将响应发送回客 户端。
[0031] 服务器15的一个实施例包括网络接口 155、处理器156、存储器157和翻译器158,所 有这些都彼此通信。网络接口 155允许服务器15连接到一个或多个网络180。网络接口 155可 以包括无线网络接口、调制解调器、和/或有线网络接口。处理器156允许服务器15执行存储 在存储器157中的计算机可读指令以执行在此讨论的过程。翻译器158可包括用于将第一文 件格式的第一文件翻译成第二文件格式的对应第二文件的映射逻辑（即，第二文件可以是 经翻译的版本的第一文件）。可使用文件映射指令来配置翻译器158,该文件映射指令提供 用于将第一文件格式的文件(或其部分)映射成第二文件格式的对应文件的指令。
[0032] 移动设备19的一个实施例包括网络接口 145、处理器146、存储器147、相机148、传 感器149、以及显示器150,所有这些都彼此通信。网络接口 145允许移动设备19连接到一个 或多个网络180。网络接口 145可以包括无线网络接口、调制解调器、和/或有线网络接口。处 理器146允许移动设备19执行存储在存储器147中的计算机可读指令以执行在此讨论的过 程。相机148可以捕捉环境的色彩图像和/或深度图像。移动设备19可包括捕捉环境的图像 的面向外的相机以及捕捉移动设备的最终用户的图像的面向内的相机。传感器149可生成 与移动设备19相关联的运动和/或定向信息。在一些情况下，传感器149可包括惯性测量单 元(頂1])。显示器150可显示数字图像和/或视频。显示器150可包括透视显示器。
[0033] 在一些实施例中，包括网络接口 145、处理器146、存储器147、相机148以及传感器 149的移动设备19的各组件可被集成在单芯片基片上。在一示例中，网络接口 145、处理器 146、存储器147、相机148、传感器149可被集成成为片上系统(S0C)。在其他实施例中，网络 接口 145、处理器146、存储器147、相机148、传感器149可被集成在单个封装中。
[0034] 在一些实施例中，通过采用照相机148、传感器149,和运行在处理器146上的姿势 识别软件，移动设备19可提供自然用户界面(NUI)。使用自然用户界面，人的身体部位和移 动可被检测、解释、以及用于控制计算应用的各方面。在一个示例中，利用自然用户界面的 计算设备可推断与计算设备交互的人的意图（例如，最终用户执行了特定姿势来控制该计 算设备）。
[0035]联网计算环境100可以为一个或多个计算设备提供云计算环境。云计算指的是基 于因特网的计算，其中共享的资源、软件和/或信息通过因特网（或其他全局网络)被按需提 供给一个或多个计算设备。基于在计算机网络图中使用的云图来将因特网描绘成对其所表 示的底层基础设施的抽象，术语"云"被用作对因特网的比喻。
[0036]在一个示例中，移动设备19包括向头戴式显示设备(HMD)的最终用户提供增强现 实环境或混合现实环境的头戴式显示设备。HMD可包括视频透视和/或光学透视系统。最终 用户佩戴的光学透视HMD可允许(例如经由透明透镜)对现实世界环境的实际直接查看，并 且同时可将虚拟对象的图像投影到最终用户的视野中，由此用虚拟对象来增强最终用户所 感知的现实世界环境。
[0037] 通过利用HMD，佩戴HMD的最终用户可在现实世界环境(例如，起居室）中四处移动， 并感知覆盖有虚拟对象的图像的现实世界的视图。虚拟对象可以看起来保持与现实世界环 境的相干空间关系（即，当最终用户在现实世界环境中转动他们的头或移动时，显示给该最 终用户的图像将改变，使得虚拟对象看起来像被最终用户感知的那样存在于该现实世界环 境内）。虚拟对象还可看起来相对于最终用户的视点是固定的（例如，无论最终用户如何在 现实世界环境中转动他们的头或移动，总是出现在最终用户视角的右上角的虚拟菜单）。在 一个实施例中，现实世界环境的环境映射可由服务器15 (即，在服务器侧)来执行，而相机本 地化可在移动设备19上（即，在客户端侧)执行。虚拟对象可包括与现实世界对象相关联的 文本描述。
[0038]在一些实施例中，移动设备(诸如移动设备19)可与云中的服务器(诸如服务器15) 通信，并可提供与移动设备相关联的服务器位置信息（例如，经由GPS坐标的移动设备的位 置)和/或图像信息(例如，与在移动设备的视野内检测到的对象有关的信息）。作为响应，月艮 务器可基于提供给该服务器的位置信息和/或图像信息向移动设备传送一个或多个虚拟对 象。在一个实施例中，移动设备19可指定用于接收一个或多个虚拟对象的特定文件格式，并 且服务器15可向移动设备19传送特定文件格式的文件内包含的一个或多个虚拟对象。
[0039] 在一些实施例中，移动设备，例如移动设备19,可以包括提供包括虚拟内容阅读器 的增强现实环境的HMD。虚拟内容阅读器可以包括在增强现实环境内的虚拟对象，在该增强 现实环境内内容可以由HMD的最终用户阅读。在一个实施例中，虚拟内容阅读器可以包括看 起来相对于最终用户的视点固定的虚拟对象（即头部锁定虚拟对象）。例如，无论最终用户 如何转动他们的头，虚拟内容阅读器可以出现在最终用户的视点的左上角。在另一个实施 例中，虚拟内容阅读器可以包括看起来维持在增强现实环境内的相干空间关系的虚拟对象 (即世界锁定虚拟对象）。例如，当最终用户在增强现实环境内转动他们的头或移动时，在 HMD上显示给该最终用户的图像将改变，这样，虚拟内容阅读器看起来存在于增强现实环境 内的特定位置(例如墙上)处。
[0040] 在一个实施例中，HMD可以检测在增强现实环境内的环境光照条件，并且可以对虚 拟内容阅读器上所显示的内容的字体大小和/或对比色进行调整。对字体大小和/或对比色 的调整可以依赖于环境光照条件和虚拟内容阅读器距HMD的最终用户的感知距离这两者。 在一些情况中，如果最终用户在黑暗环境中（例如夜晚的室外），那么如果虚拟内容阅读器 在超过2米远的地方，则字体大小可以被增加。在另一个示例中，如果最终用户是在明亮的 环境(例如晴天的室外）中，如果虚拟内容阅读器在超过2英尺远的地方，那么取代在白色背 景上显示黑色文本，虚拟内容阅读器可以使用覆盖橘色背景的蓝色文本来显示内容。
[0041] 图2A描绘了与第二移动设备5通信的移动设备19的一个实施例。移动设备19可包 括透视HMD。如所描绘的，移动设备19经由有线连接6与移动设备5通信。然而，移动设备19还 可经由无线连接与移动设备5通信。移动设备5可由移动设备19用来卸载计算密集的处理任 务(例如，呈现虚拟对象），并将可被用来提供增强现实环境的虚拟对象信息和其他数据存 储在移动设备19上。移动设备5还可向移动设备19提供与移动设备5相关联的运动和/或定 向信息。在一个示例中，运动信息可包括与移动设备5相关联的速度或加速度，并且定向信 息可包括欧拉角，其提供围绕特定坐标系统或参照系的转动信息。在一些情况中，移动设备 5可包括运动和定向传感器，诸如惯性测量单元(MU)，以便获得与移动设备5相关联的运动 和/或定向信息。
[0042]图2B描绘了HMD(诸如图1的移动设备19)的一部分的一个实施例。仅描绘了HMD 200的右侧。HMD 200包括右镜腿202、鼻梁204、镜片216、以及眼镜框214。右镜腿202包括与 处理单元236通信的捕捉设备213(例如，前置相机和/或话筒）。捕捉设备213可包括用于记 录数字图像和/或视频的一个或多个相机，并可将视觉记录传送到处理单元236。一个或多 个相机可捕捉色彩信息、IR信息、和/或深度信息。捕捉设备213还可包括用于记录声音的一 个或多个话筒，并可将音频记录传送到处理单元236。
[0043] 右镜腿202还包括生物测定传感器220、眼睛跟踪系统221、耳机230、运动和定向传 感器238、GPS接收器232、电源239、以及无线接口 237,所有这些都与处理单元236通信。生物 测定传感器220可包括用于确定与HMD 200的最终用户的脉搏或心率相关联的一个或多个 电极，以及用于确定与HMD 200的最终用户相关联的体温的温度传感器。在一个实施例中， 生物测定传感器220包括压着最终用户太阳穴的脉搏速率测量传感器。运动和定向传感器 238可以包括三轴磁力计、三轴陀螺仪、和/或三轴加速度计。在一个实施例中，运动和定向 传感器238可包括惯性测量单元（MU) APS接收器可确定与HMD 200相关联的GPS位置。处理 单元236可以包括一个或多个处理器和用于存储将要在所述一个或多个处理器上执行的计 算机可读指令。存储器还可存储要在一个或多个处理器上执行的其它类型的数据。
[0044]在一个实施例中，眼睛跟踪系统221可包括一个或多个面向内的相机。在另一实施 例中，眼睛跟踪系统221可包括眼睛跟踪照明源和相关联的眼睛跟踪图像传感器。在一个实 施例中，眼睛跟踪照明源可包括以大约预定IR波长或一定范围的波长发射的一个或多个红 外（IR)发射器(诸如红外发光二极管(LED)或激光器(例如，VCSEL))。在一些实施例中，眼睛 跟踪传感器可包括用于跟踪闪光位置的IR相机或IR位置敏感检测器(PSD)。关于眼睛跟踪 系统的更多信息可在2008年7月22提交的标题为"Head Mounted Eye Tracking and Display System(头戴式眼睛跟踪和显示系统)"的美国专利7，401，920,以及2011年9月26 日提交的标题为"Integrated Eye Tracking and Display System(集成眼睛跟踪和显示 系统)"的美国专利申请13/245，700中找到。
[0045]在一个实施例中，镜片216可包括透视显示器，处理单元236生成的图像由此可被 投影和/或显示在透视显示器上。捕捉设备213可被校准，使得捕捉设备213所捕捉的视野对 应于HMD 200的最终用户所看到的视野。耳机230可用于输出与虚拟对象的投影图像相关联 的声音。在一些实施例中，HMD 200可包括两个或更多个前置相机(例如，每个镜腿上一个相 机），以便从与前置相机所捕捉的视野相关联的立体信息中获得深度。两个或更多个前置相 机还可包括3D、IR、和/或RGB相机。也可从利用来自运动技术的深度的单个相机中获取深度 信息。例如，可从单个相机获取两个图像，这两个图像与在不同的时间点的、两个不同的空 间点相关联。然后，给定与两个不同空间点有关的位置信息的情况下，可执行视差计算。
[0046] 在一些实施例中，HMD 200可使用注视检测元件和与一个或多个人类眼睛元素(诸 如角膜中心、眼球旋转的中心、或瞳孔中心)有关的三维坐标系，来为最终用户眼睛中的每 只眼睛执行注视检测。注视检测可被用来标识最终用户正在关注视野内的何处。注视检测 元件的示例可包括生成闪光的照明器和用于捕捉表示所生成的闪光的数据的传感器。在一 些情况中，角膜中心可以基于两次闪光使用平面几何来确定。角膜中心链接瞳孔中心和眼 球的旋转中心，这可被当作用于确定处于某种注视或观看角度的最终用户的眼睛的光轴的 固定位置。
[0047] 图2C描绘了HMD 2的一部分的一个实施例，其中延伸到注视点的注视向量用于对 准远瞳距(iro)。圓0 2是移动设备的一个示例，诸如图1中的移动设备19。如所描绘的，注视 向量1801和180r在远离最终用户的注视点处相交（即，当最终用户正在看遥远处的对象时， 注视向量1801和180r不相交）。基于Gull strand示意眼模型示出了每只眼睛的眼球1601、 160r的眼球模型。每只眼球被建模成具有旋转中心166的球体，并且包括被建模成具有中心 164的球的角膜168。角膜168随着眼球旋转，并且眼球的旋转中心166可被当作固定点。角膜 168覆盖虹膜170,瞳孔162处于虹膜170的中心。每个角膜的表面172上是闪光174和176。 [0048]如图2C所描绘的，传感器检测区域139(即分别是1391和139r)与眼镜架115内的每 一显不光学系统14的光轴相对准。在一个不例中，与该检测区域相关联的传感器可包括能 够捕捉表示分别由镜架115左侧的照明器153a和153b生成的闪光1741和1761的图像数据以 及表示分别由镜架115右侧的照明器153c和153d生成的闪光174r和176r的数据的一个或多 个相机。通过眼镜架115中的显示光学系统141和14r，最终用户的视野包括现实对象190、 192和194以及虚拟对象182和184。
[0049] 从旋转中心166穿过角膜中心164到瞳孔162而形成的轴178包括眼睛的光轴。注视 向量180也被称为从中央凹穿过瞳孔中心162延伸的视线或视轴。在一些实施例中，光轴被 确定，并且通过用户校准来确定小型校正以获得被选作注视向量的视轴。对于每一最终用 户，虚拟对象可被显示设备显示在不同的水平和垂直位置处的多个预先确定的位置中的每 一位置处。在对象在每一位置处的显示期间可以计算每一眼睛的光轴，并且光线被建模成 从该位置延伸到用户眼睛中。可以基于必须如何移动光轴以与所建模的光线相对准来确定 与水平和垂直分量的注视偏移角。从不同的位置处，与水平或垂直分量的平均注视偏移角 可被选作要被应用于每一计算出的光轴的小型校正。在一些实施例中，仅水平分量被用于 注视偏移角校正。
[0050] 如图2C所描绘的，由于当注视向量1801和180r从眼球延伸到注视点处的视野中时 这些注视向量变得更加靠近在一起，因此这些注视向量不是完全平行的。在每一显示光学 系统14处，注视向量180看起来与光轴相交，传感器检测区域139以这一交点为中心。在这一 配置中，光轴与瞳孔间距（iro)对准。在最终用户看向正前方时，测得的iro也被称为远ipd。
[0051] 图2D描绘了HMD 2的一部分的一个实施例，其中延伸到注视点的注视向量用于对 准近瞳距(iro)。圓0 2是移动设备的一个示例，诸如图1中的移动设备19。如所描绘的，左眼 的角膜1681向右侧或朝向最终用户的鼻子旋转，并且右眼的角膜168r向左侧或朝向最终用 户的鼻子旋转。两个瞳孔正在注视最终用户的特定距离内的现实对象194。始自每只眼睛的 注视向量1801和180r进入真实对象194所处的Panum汇合区域lgSJanum汇合区域是像人类 视觉那样的双眼观察系统中的单视觉的区域。注视向量1801和180r的相交指示最终用户正 在看现实对象194。在这样的距离处，随着眼球向内旋转，它们瞳孔之间的距离减少到近 IPD。近IH)通常比远IPD小约4毫米。近iro距离准则(例如，在距最终用户小于四英尺处的注 视点）可用来将显示光学系统14的IPD对准切换或调整成近IPD的对准。对于近IPD，每一显 示光学系统14可以朝向最终用户的鼻子移动，使得光轴以及检测区域139朝向鼻子移动几 毫米，如检测区域1391n和139rn所表示的。
[0052]关于为HMD的最终用户确定IPD并由此调整显示光学系统的更多信息可在2011年9 月30日提交的题为"Personal Audio/Visual System(个人音频/视频系统)"的美国专利申 请号13/250,878中找到。
[0053]图3A描绘了HMD 2的一部分的一个实施例，该HMD具有包括注视检测元件的活动显 示光学系统。表现为每只眼睛的透镜的事物表示每只眼睛的显示光学系统14(8卩141和 14r)。显示光学系统包括用于将虚拟内容与通过HMD的透镜看到的实际直接现实世界视图 无缝地融合的透视透镜和光学元件(例如，反射镜、过滤器）。显示光学系统14具有一般处于 透视透镜中心的光轴，其中光一般被校准来提供无失真视图。例如，在眼睛护理专业人员使 一副普通眼镜适合于最终用户的脸部时，该眼睛通常是适合的，使得该眼镜在每一瞳孔与 相应镜片的中心或光轴相对准的位置处落在最终用户的鼻子上，从而通常使得校准光到达 最终用户的眼睛以得到清晰或无失真的视图。
[0054]如图3A所描绘的，至少一个传感器的检测区域139r、1391与其相应显示光学系统 14r、141的光轴相对准，使得检测区域139r、1391的中心捕捉沿着光轴的光。如果显示光学 系统14与最终用户的瞳孔对准，则相应传感器134的每一检测区域139与最终用户的瞳孔相 对准。检测区域139的反射光经由一个或多个光学元件被传送到相机的实际图像传感器 134,在该实施例中传感器134由处于镜架115内部的虚线示出。在一些实施例中，传感器134 可包括用于捕捉最终用户的眼睛或眼睛周围的面部特征的图像的图像传感器或RGB相机。 其他面向内的图像传感器也可与镜架115集成以便捕捉与最终用户相关联的固定面部特 征，诸如其鼻梁。
[0055] 在一个实施例中，该至少一个传感器134可以是可见光相机(例如，RGB相机或彩色 相机）。在一个不例中，光学元件或光引导元件包括是部分透射且部分反射的可见光反光 镜。可见光相机提供最终用户的眼睛的瞳孔的图像数据，而IR光电探测器152捕捉作为频谱 的IR部分中的反射的闪光。如果使用可见光相机，则虚拟图像的反射可以出现在该相机所 捕捉的眼睛数据中。图像过滤技术可被用于按需移除虚拟图像反射。IR相机对眼睛上的虚 拟图像反射是不敏感的。
[0056] 在另一个实施例中，至少一个传感器134(即，1341和134r)是IR辐射可被定向到的 IR相机或位置敏感检测器(PSD)。从眼睛反射的IR辐射可以来自照明器153、其他IR照明器 (未示出）的入射辐射或者来自从眼睛反射的环境IR辐射。在一些情况中，传感器134可以是 RGB和IR相机的组合，并且光引导元件可包括可见光反射或转向元件和IR辐射反射或转向 元件。在一些情况中，相机134可被嵌入在系统14的镜片中。另外，可以应用图像过滤技术来 将相机混合到用户视野中以减轻对用户的任何干扰。
[0057] '如图3A所描绘的，有四组照明器153,照明器153与光电检测器152配对并被屏障 154隔开以避免照明器153所生成的入射光与在光电检测器152处接收到的反射光之间的干 扰。为了在附图中避免不必要的混乱，附图标记就被示出了代表性的一对。每一照明器可以 是生成大约预定波长的窄光束的红外（IR)照明器。光电检测器中的每一个可被选择来捕捉 大约该预定波长的光。红外还可以包括近红外。因为照明器或光电检测器可能存在波长漂 移或者关于波长的微小范围是可接受的，所以照明器和光电检测器可以具有与要生成或检 测的波长有关的容限范围。在传感器是IR相机或IR位置敏感检测器(PSD)的一些实施例中， 光电检测器可包括附加数据捕捉设备并且也可被用来监视照明器的操作，例如波长漂移、 波束宽度改变等。该光电检测器还用作为传感器134的可见光相机来提供闪光数据。
[0058]如图3A所描绘的，每一显示光学系统14以及它面向每一眼睛的注视检测元件的安 排(例如，相机134及其检测区域139、照明器153以及光电检测器152)位于活动的内部镜架 部分11H、117r上。在该示例中，显示调整机构包括具有附连到内部镜架部分117的传动轴 205的一个或多个马达203,内部镜架部分117在由马达203驱动的传动轴205的引导和力量 下在该镜架内从左向右滑动或反向滑动。在一些实施例中，一个马达203可以驱动两个内部 镜架。
[0059]图3B描绘了HMD 2的一部分的一个替换实施例，该HMD具有包括注视检测元件的活 动显不光学系统。如所描绘的，每个显不光学系统14被封装在分开的镜架部分1151、115r 中。镜架部分中的每一个可由马达203分开地移动。在一些实施例中，此至少一个传感器134 可包括用于捕捉最终用户的眼睛或眼睛周围的面部特征的图像的图像传感器或RGB相机。 其他面向内的图像传感器也可与镜架115集成以便捕捉与最终用户相关联的固定面部特 征，诸如其鼻梁。
[0060]图4A描绘了查看在增强现实环境410内的虚拟内容阅读器40的最终用户佩戴的 HMD 402的一个实施例。该HMD 402可包括移动设备，诸如图1中的移动设备19。虚拟内容阅 读器40可以包括滚动条44和用于将内容显示给最终用户的显示区域。显示区域可以包括与 所述内容的已经由最终用户阅读的第一部分对应的第一区域41以及与所述内容的还未被 所述最终用户阅读的第二部分对应的第二区域42。在被显示在虚拟内容阅读器上之前，要 被显示的内容可以从多栏格式转换成单栏格式。为了改进当内容被自动地在虚拟内容阅读 器上滚动时的内容跟踪，当最终用户阅读所显示的内容的特定部分，例如单词、句子或段落 时，所显示的内容的先前阅读的部分的颜色可以被改变。例如，在第一区域41内的内容(例 如文本)可以被变为红色，并且在第二区域42内的内容(例如文本)可以变为蓝色。
[00611在一个实施例中，HMD 402的最终用户可以注视滚动条44达特定时间段（例如两 秒）引起第一触发事件，在该事件中最终用户可以控制滚动条44以滚动使用虚拟内容阅读 器40显示的内容。为了控制滚动条44,最终用户可以以上和下运动移动他们的头。在一些情 况中，第一触发事件已经被HMD检测到，滚动条44可以被高亮显示或在滚动条44内出现红点 并且红点的移动可以对应于HMD的最终用户的头部位置。头部跟踪技术可以被用于确定头 部移动的速度和头部移动的程度来确定滚动条44的经更新的位置。基于头的移动速度和头 的移动程度可以确定滚动条44的新位置。滚动条44的新位置可以对应于要显示在虚拟内容 阅读器40上的新内容。为了防止由最终用户将他们的注视移动离开虚拟内容阅读器40的用 于显示内容的显示区域所引起的自动滚动机制的混乱，一旦已经检测到第一触发事件就可 以禁止自动内容滚动(例如可以停止自动滚动）。在一个实施例中，自动内容滚动可以在检 测到最终用户已经恢复阅读虚拟内容阅读器40的显示区域内的内容时重启自动内容滚动。 在另一个实施例中，在最终用户将滚动条44移动到新位置之后经过一个时间延迟(例如三 秒)后可以重启自动内容滚动。
[0062]图4B描绘了查看在增强现实环境411内的虚拟内容阅读器40的最终用户佩戴的 HMD 402的一个实施例。该HMD 402可包括移动设备，诸如图1中的移动设备19。虚拟内容阅 读器40可以包括(相对于其在图4A中的位置朝向可用内容的结尾滚动的）滚动条和用于将 内容显示给最终用户的显示区域。所述显示区域可以包括对应于虚拟内容阅读器40的顶部 的第一区域45、对应于虚拟内容阅读器40的中部的第二区域46、以及对应于虚拟内容阅读 器40的底部的第三区域47。最终用户可以在使用虚拟内容阅读器40以阅读速度自动滚动内 容时阅读所述内容。一旦已经检测到与控制滚动条44相关联的触发事件时，自动内容滚动 可以被禁止并且HMD 402的最终用户的头部跟踪可以被启动。在一个实施例中，一旦最终用 户已经开始阅读第二区域46内的内容时可以恢复自动内容滚动。在另一个实施例中，一旦 最终用户已经阅读了第一区域45内的至少一个句子时可以恢复自动内容滚动。在一些情况 中，对应于虚拟内容阅读器40的第二区域46可以被高亮显示以引导最终用户到位于虚拟内 容阅读器40的中部内的内容。
[0063]图4C描绘了查看在增强现实环境412内的虚拟内容阅读器40的最终用户佩戴的 HMD 402的一个实施例。该HMD 402可包括移动设备，诸如图1中的移动设备19。虚拟内容阅 读器40可以包括滚动条、将内容显示给最终用户的显示区域、以及指向内容内的位置的一 个或多个书签，例如第一书签48和第二书签49。在一些实施例中，在在虚拟内容阅读器40上 显示内容之前，HMD 402可以获取与所述内容相关联的一组书签。该组书签的每个书签可以 与在所述内容内的一个位置对应。所述位置可以与在内容内的一个单词、一个句子、一个段 落或一个章节相关联。如所述，第一书签48可以与最终用户的最后阅读段落相关联，而第二 书签49可以与最终用户花费了最多时间阅读（或聚焦了最长的时间段）的段落相关联。 HMD402的最终用户可以通过注视滚动条达特定时间段(例如两秒）引起第一触发事件来选 择第一书签48或第二书签49,在所述第一触发事件中，最终用户可以控制滚动条和/或书签 的选择并随后执行头部姿势以选择特定的书签(例如使用头部移动来移动覆盖滚动条的红 点来覆盖所述第一书签48并随后执行从左到右的摇头姿势来选择第一书签48)。在一些情 况中，HMD 402的最终用户可以通过直接注视第一标签48达特定时间段(例如两秒)来选择 第一书签48,所述注视引起虚拟内容阅读器40跳到并显示所述内容的与第一书签48相关联 的一部分。
[0064]图5是描述了用于使用HMD显示内容的方法的一个实施例的流程图。在一个实施例 中，图5的过程可由移动设备(诸如图1的移动设备19)执行。
[0065] 在步骤502,要使用透视显示器显示的内容被获取。透视显示器可以包括HMD的显 示器。该内容可包括文本、符号和/或图像。在一个示例中，所述内容可以包括与电子书、电 子杂志、文字处理文档、网页或电子邮件相关联的文本。在步骤504,所述内容被转换成经格 式化的内容，使得所述经格式化的内容以单栏格式表示内容。在一个实施例中，要被显示在 虚拟内容阅读器上的内容可以从多栏格式转换成单栏格式。将内容转换成单栏格式可以使 得对于HMD的最终用户而言在内容被自动滚动时可以更容易跟随上该内容。在一个示例中， 已经使用三个文本栏格式化的电子文档可以被转换成仅使用一个文本栏的经格式化文档。 [0066]在步骤506,检测环境光照条件。环境光照条件可以通过使用HMD的前向相机捕捉 环境的图像来检测。所捕捉的图像可以对应于增强现实环境的一个区域，在该区域中放置 了虚拟内容阅读器。在一个实施例中，环境光照条件可以包括与环境的一个区域相关联的 明亮程度，在该区域中放置了虚拟内容阅读器。例如，如果虚拟内容阅读器已经被放置在环 境内的墙上，那么可以确定与包括虚拟内容阅读器的墙的区域相关联的明亮程度。在另一 个实施例中，环境光照条件可以包括在特定时间段(例如30秒)上的与环境相关联的平均明 亮程度。在这种情况中，虚拟内容阅读器可以包括头部锁定虚拟对象。例如，无论最终用户 如何转动他们的头，虚拟内容阅读器可以出现在最终用户的视点的左上角。
[0067]在步骤508,基于环境光照条件确定经格式化的内容的字体大小。在步骤510,基于 环境光照条件确定经格式化的内容的对比色。对比色可以对应于与文本相关联的第一颜色 和与文本所覆盖的背景相关联的第二颜色。在第一颜色和第二颜色之间的高对比度可以允 许HMD的最终用户更加清楚地阅读文本。对字体大小和/或对比色的调整可以依赖于光照条 件和虚拟内容阅读器与HMD的最终用户的感知距离(例如如果最终用户正在查看位于离开 该最终用户10米远的墙上的虚拟内容阅读器时)这两者。在一个示例中，如果最终用户是在 黑暗的屋子里，那么字体大小可以被减小。在另一个示例中，如果最终用户是在明亮的环境 (例如晴天的室外）中，那么字体大小可以被增加，并且如果虚拟内容阅读器在超过2英尺远 的地方，那么取代在白色背景上显示黑色文本，虚拟内容阅读器可以使用覆盖橙色背景的 蓝色文本来显示内容。
[0068] 在步骤512,基于环境光照条件确定透视显示器的调光因子。调光因子可以对应于 对透视显示器的透明度的调节。在步骤514,基于调光因子确定透视显示器的透明度。在一 个实施例中，如果HMD在黑暗环境中，HMD可以设定低的调光因子（即提供少许或不提供透视 显示器的变暗）。在另一个实施例中，如果HMD处于明亮环境中，HMD可以设定高调光因子(例 如使得透视显示器变暗的调光因子，这样透过透视显示器的可见光传输减少超过40%)。在 一些情况下，当HMD在明亮环境中时HMD的透视显示器变暗可以允许在浅色背景上使用深色 文本(例如近似黑色的文本）。调光因子可以对应于施加给透视显示器的特定电压，该电压 调节了透明度。在一个实施例中，透视显示器可以包括电致变色材料。在另一个实施例中， 透视显示器可以包括在其中悬浮有许多微观粒子的电控膜(即悬浮粒子膜）。
[0069] 在步骤516，标识了与内容相关联的一组书签。在一些实施例中，在虚拟内容阅读 器上显示内容之前，HMD可以获取与所述内容相关联的一组书签。该组书签的每个书签可以 与在所述内容内的一个位置对应。所述位置可以与在内容内的一个单词、一个句子、一个段 落或一个章节相关联。该组书签的第一书签可以与所述内容的由HMD的最终用户所阅读的 最后部分(例如最后的阅读句子或段落或最后查看的图像)相关联。该组书签的第二书签可 以与所述内容的由HMD的最终用户所阅读的最频繁阅读章节(例如最频繁阅读的段落)相关 联。
[0070] 在步骤518,基于字体大小和对比色生成与经格式化的内容的一部分相对应的第 一组图像。在步骤520中，生成对应于该组书签的第二组图像。该组书签的第一书签可以与 由HMD的最终用户阅读的最后段落相关联，例如图4C中的第一书签48。在步骤522,使用透视 显示器显示第一组图像。所述第一组图像可以对应于在增强现实环境内的虚拟内容阅读 器。在一些情况中，可以使用透视显示器显示第一组图像和第二组图像这两者。第一组图像 和第二组图像这两者可以对应于呈现给HMD的最终用户的虚拟内容阅读器，例如图4A中的 虚拟内容阅读器40。
[0071 ]图6A是描述了用于使用HMD执行自动内容滚动的方法的一个实施例的流程图。在 一个实施例中，图6A的过程可由诸如图1中的移动设备19的移动设备来执行。
[0072] 在步骤602,要使用透视显示器显示的内容被获取。透视显示器可以包括HMD的显 示器。可以从服务器，例如图1的服务器15,获取所述内容。该内容可包括文本、符号和/或图 像。在一个示例中，所述内容可以包括与电子书、电子杂志、文字处理文档、网页或电子邮件 相关联的文本。
[0073]在步骤604,确定所述内容的滚动速率，使得透视显示器的最终用户查看所述内容 的在透视显示器的第一区域内正被阅读的一部分。透视显示器的第一区域可以对应于虚拟 内容阅读器的中部，例如图4B中的第二区域46。在一个实施例中，所述内容的正被阅读的部 分可以对应于最终用户正在阅读的段落。在步骤606,以所述滚动速率自动滚动在透视显示 器上所显示的内容。。
[0074]当正从增强现实环境内的虚拟内容阅读器(例如图4A中的虚拟内容阅读器40)显 示时，在透视显示器上所显示的内容可以被呈现给透视显示器的最终用户。在一些情况中， 在虚拟内容阅读器的中部内显示的内容可以以滚动速率滚动。在其他情况中，跨虚拟内容 阅读器的所有部分所显示的内容可以以滚动速率滚动。
[0075] 在步骤608,使用透视显示器显示滚动条。所述滚动条可以对应于透视显示器的不 同于第一区域的第二区域。所述第二区域可以被置于所述第一区域附近。在一个实施例中， 滚动条可以被定位在用于显示内容的第一区域附近(例如沿显示内容的该区域的一侧）。
[0076]在步骤610,检测到第一触发事件。第一触发事件可以与透视显示器的最终用户注 视第二区域相关联。在一个实施例中，如果HMD的最终用户注视第二区域(即滚动条)达特定 时间段(例如两秒)就可以检测到第一触发事件。一旦已经检测到第一触发事件，为了控制 滚动条，最终用户可以以上和下运动移动他们的头。在一些情况中，第一触发事件已经被 HMD检测到，滚动条可以被高亮显示或在滚动条内出现红点并且红点的移动可以对应于最 终用户的头部位置。
[0077]在步骤612,在第一触发事件之后确定所述内容要显示的第二部分。所述内容的第 二部分可以对应于由最终用户对滚动条的重新定位(例如向电子文档的结尾移动滚动条）。 在步骤614,使用透视显示器显示所述内容的第二部分。头部跟踪技术可以被用于确定最终 用户的头部移动的速度、头部移动方向和头部移动程度。头部移动的速度、头部移动方向和 头部移动程度可以被用来确定滚动条的经更新的位置。在一些情况中，眼睛跟踪被用于检 测第一触发事件（例如最终用户已经注视滚动条达两秒)并且头部跟踪可以被用于一旦已 经检测到第一触发事件就控制滚动条(例如最终用户可以基于他们的头部移动的方向和速 度来控制所述滚动条）。
[0078]在步骤616,响应于所述第一触发事件，禁用透视显示器上所显示的内容的滚动。 在步骤618,检测到第二触发事件。第二触发事件可以与恢复内容滚动相关联。在步骤620， 响应于所述第二触发事件，自动滚动在透视显示器上所显示的内容。为了防止由HMD最终用 户将他们的注视移动离开虚拟内容阅读器的显示区域所引起的自动滚动机制的混乱，一旦 已经检测到第一触发事件就可以禁止自动内容滚动。在一个实施例中，自动内容滚动可以 在检测到最终用户已经恢复阅读虚拟内容阅读器的显示区域内或在虚拟内容阅读器的显 示区域的中部内的内容时重启自动内容滚动。在另一个实施例中，在最终用户将滚动条移 动到新的或经更新的位置之后，经过一个时间延迟(例如三秒)后可以重启自动内容滚动。
[0079] 图6B是描述了用于使用HMD执行自动内容滚动的方法的一个替换实施例的流程 图。在一个实施例中，图6B的过程可由诸如图1中的移动设备19的移动设备来执行。
[0080] 在步骤632,要使用虚拟内容阅读器显示的内容被获取。虚拟内容阅读器可以对应 于在增强现实环境内的虚拟对象。所述虚拟内容阅读器可以包括头部锁定虚拟对象或世界 锁定虚拟对象。使用HMD的透视显示器可以将增强现实环境显示给HMD的最终用户。可以从 服务器，例如图1的服务器15,获取所述内容。该内容可包括文本、符号和/或图像。在一个示 例中，所述内容可以包括与电子书、电子杂志、文字处理文档、网页或电子邮件相关联的文 本。
[0081] 在步骤634,自动滚动所述内容，使得虚拟内容阅读器的最终用户查看所述内容的 在虚拟内容阅读器的第一区域内正被阅读的一部分。在一个实施例中，所述内容的第一部 分可以对应于由最终用户阅读的段落，并且所述虚拟内容阅读器的第一区域可以对应于虚 拟内容阅读器的中部，例如图4B的第二区域46。
[0082]在步骤636,与虚拟内容阅读器相关联的滚动条被显示。所述滚动条可以对应于虚 拟内容阅读器的不同于第一区域的第二区域。所述第二区域可以被置于所述第一区域附 近。在一个实施例中，滚动条可以被定位在用于显示内容的第一区域附近(例如沿显示内容 的该区域的一侧）。
[0083]在一些实施例中，滚动条可以包括显示在虚拟内容阅读器上显示的所述内容的一 部分的滚动条预览窗口虚拟化。滚动条预览窗口可以允许HMD的最终用户滚动遍历和预览 所述内容，而无需在他们控制滚动条的同时从滚动条转移目光。在一个示例中，滚动条预览 窗口可以显示在虚拟内容阅读器上所显示的当前页面的缩小版本。在另一个示例中，滚动 条预览窗口可以显示来自在虚拟内容阅读器上所显示的当前页面的一个或多个关键字。在 一些情况中，所述滚动条预览窗口可以响应于最终用户注视滚动条达特定时间段(例如两 秒)被显示。
[0084]在步骤638,检测到第一触发事件。第一触发事件可以与虚拟内容阅读器的最终用 户注视第二区域并执行头部姿势相关联。在一个实施例中，如果HMD的最终用户注视第二区 域(即滚动条)达特定时间段(例如两秒)并在该特定时间段期间点头，就可以检测到第一触 发事件。一旦已经检测到第一触发事件，为了控制滚动条，最终用户可以以上和下运动移动 他们的头。在一些情况中，第一触发事件已经被HMD检测到，滚动条可以被高亮显示或在滚 动条内出现红点并且红点的移动可以对应于最终用户的头部位置。
[0085]在步骤640,响应于第一触发事件禁止所述内容的自动滚动。在步骤642,检测到第 二触发事件。第二触发事件可以与恢复在虚拟内容阅读器上的内容的自动滚动相关联。在 步骤644,响应于所述第二触发事件，自动滚动在虚拟内容阅读器上所显示的内容。为了防 止由HMD最终用户将他们的注视移动离开虚拟内容阅读器的显示区域所引起的自动滚动机 制的混乱，一旦已经检测到第一触发事件就可以禁止自动内容滚动。在一个实施例中，自动 内容滚动可以在检测到最终用户已经恢复阅读虚拟内容阅读器的显示区域内或在虚拟内 容阅读器的显示区域的中部内的内容时重启自动内容滚动。在另一个实施例中，在最终用 户将滚动条移动到新的或经更新的位置之后，经过一个时间延迟(例如三秒)后可以重启自 动内容滚动。
[0086] 所公开的技术的一个实施例包括与透视显示器通信的一个或多个处理器。透视显 示器将虚拟内容阅读器显示给电子设备的最终用户。电子设备可包括HMD。一个或多个处理 器确定虚拟内容阅读器的滚动速率，使得最终用户查看所述内容的在虚拟内容阅读器的第 一区域内正被阅读的第一部分。所述一个或多个处理器使得使用虚拟内容阅读器显示的所 述内容的第一部分以滚动速率滚动。虚拟内容阅读器包括对应于与第一区域不同的虚拟内 容阅读器的第二区域的滚动条。所述一个或多个处理器检测包括检测到最终用户注视第二 区域的第一触发事件。所述一个或多个处理器响应于检测到第一触发事件禁止所述内容的 第一部分的滚动。所述一个或多个处理器检测第二触发事件，所述第二触发事件包括检测 到最终用户注视第一区域达至少第一时间段。响应于检测到最终用户注视第一区域达至少 第一时间段，所述一个或多个处理器使得使用虚拟内容阅读器所显示的所述内容的第二部 分被滚动。
[0087]所公开的技术的一个实施例包括获取使用HMD要获取的内容，确定用于所述内容 的滚动速率使得所述HMD的最终用户查看所述内容在HMD的透视显示器的第一区域内阅读 的第一部分，以所述滚动速率滚动在所述透视显示器上显示的所述内容的第一部分，以及 使用所述透视显示器显示滚动条。所述滚动条对应于透视显示器的不同于所述第一区域的 第二区域。所述方法还包括在滚动所述内容的第一部分之后检测第一触发事件。检测第一 触发事件包括检测到HMD的最终用户已经注视第二区域。所述方法还包括响应于检测到第 一触发事件禁止滚动所述内容的第一部分，并且检测所述禁止之后的第二触发事件。检测 第二触发事件包括检测到HMD的最终用户已经注视第一区域达至少第一时间段。所述方法 还包括响应于检测到所述第二触发事件，滚动在透视显示器上所显示的所述内容的第二部 分。
[0088] 所公开的技术的一个实施例包括将虚拟内容阅读器显示给HMD的最终用户，确定 用于所述虚拟内容阅读器的滚动速率使得所述HMD的最终用户查看所述内容在虚拟内容阅 读器的第一区域内的第一部分，以及以所述滚动速率滚动使用虚拟内容阅读器所显示的所 述内容的第一部分。虚拟内容阅读器包括对应于与第一区域不同的虚拟内容阅读器的第二 区域的滚动条。所述方法还包括在滚动所述内容的第一部分之后检测第一触发事件。检测 第一触发事件包括检测到HMD的最终用户已经注视第二区域。所述方法还包括响应于检测 到第一触发事件禁止滚动所述内容的第一部分，并且检测所述禁止之后的第二触发事件。 检测第二触发事件包括检测到HMD的最终用户已经注视第一区域达至少第一时间段。所述 方法还包括响应于检测到所述第二触发事件，滚动所使用虚拟内容阅读器所显示的所述内 容的第二部分。
[0089] 图7是移动设备8300(诸如图1中的移动设备19)的一个实施例的框图。移动设备可 以包括已经整合了无线接收机/发射机技术的膝上型计算机、袖珍计算机、移动电话、HMD、 个人数字助理、以及手持式媒体设备。
[0090] 移动设备8300包括一个或多个处理器8312以及存储器8310。存储器8310包括应用 8330和非易失性存储8340。存储器8310可以是任何种类的存储器存储介质类型，包括非易 失性和易失性存储器。移动设备操作系统处理移动设备8300的不同操作，并可包含用于操 作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用8330可以是 任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特 网浏览器、游戏、闹钟应用、以及其它应用。存储器8310中的非易失性存储组件8340可以包 含诸如音乐、照片、联系人数据、日程安排数据、以及其它文件之类的数据。
[0091] 一个或多个处理器8312与透视显示器8309进行通信。透视显示器8309可显示与现 实世界环境相关联的一个或多个虚拟对象。所述一个或多个处理器8312还与下列各项通 信:RF发射机/接收机8306，其又耦合到天线8302;红外发射机/接收机8308;全球定位服务 (GPS)接收器8365;以及移动/定向传感器8314,其可以包括加速度计和/或磁力计。RF发射 机/接收机8308可以通过诸如蓝牙?SIEEE802.11标准之类的各种无线技术标准来实现无 线通信。加速度计可能已经结合在移动设备中以实现诸如下列应用：智能用户界面应用，其 让用户通过姿势输入命令；以及定向应用，其可以在移动设备被旋转时将显示自动地从竖 向改变成横向。可以，例如，通过微机电系统(MEMS)来提供加速度计，该微机电系统是构建 在半导体芯片上的微小机械器件(微米尺寸）。可以感测加速度方向、以及定向、振动和震 动。所述一个或多个处理器8312还与响铃器/振动器8316、用户界面小键盘/屏幕8318、扬声 器8320、话筒8322、相机8324、光传感器8326和温度传感器8328进行通信。用户界面小键盘/ 屏幕可以包括触敏屏幕显示器。
[0092]所述一个或多个处理器8312控制无线信号的发射和接收。在发射模式期间，所述 一个或多个处理器8312向RF发射机/接收机8306提供来自话筒8322的语音信号，或其它数 据信号。发射机/接收机8306通过天线8302来发射信号。响铃器/振动器8316被用于向用户 发传入呼叫、文本消息、日历提醒、闹钟提醒或其它通知等信号。在接收模式期间，RF发射 机/接收机8306通过天线8302接收来自远程站的语音信号或数据信号。所接收到的语音信 号被提供给扬声器8320,而接收到的其它数据信号被适当地处理。
[0093]另外，可以使用物理连接器8388来将移动设备8300连接到诸如AC适配器或加电对 接底座之类的外部电源，以便对电池8304进行再充电。物理连接器8388还可被用作到外部 计算设备的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行 同步等操作。
[0094] 所公开的技术可用各种其它通用或专用计算系统环境或配置来操作。适合结合本 技术中使用的公知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器 计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子 产品、网络PC、小型计算机、大型计算机、包含上述系统或设备中的任一个的分布式计算环 境等。
[0095] 所公开的技术可在诸如程序模块等由计算机执行的计算机可执行指令的通用上 下文中描述。一般而言，如此处所述的软件和程序模块包括执行特定任务或实现特定抽象 数据类型的例程、程序、对象、组件、数据结构和其它类型的结构。硬件或硬件和软件的组合 可以替代在此描述的软件模块。
[0096]所公开的技术也可以在任务由通过通信网络链接的远程处理设备执行的分布式 计算环境中实现。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和 远程计算机存储介质两者中。
[0097] 出于本文档的目的，与所公开的技术相关联的每个过程可以持续地并由一个或多 个计算设备来执行。该过程中的每个步骤都可由与在其他步骤中所使用的那些计算设备相 同或不同的计算设备来执行，且每个步骤不必由单个计算设备来执行。
[0098] '出于本文的目的，说明书中引述的"一实施例"、"一个实施例"、"某些实施例"或 "另一实施例"可被用于描述不同的实施例并且不必然指的是同一实施例。
[0099] 出于本文的目的，连接可以是直接连接或间接连接(例如，经由另一方）。
[0100] 出于本文的目的，术语对象的"集合"指的是一个或多个对象的"集合"。
[0101] 尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利 要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是 作为实现权利要求的示例形式公开的。
【主权项】
1. 一种用于显示增强现实环境的电子设备，包括： 透视显示器，所述透视显示器将虚拟内容阅读器显示给所述电子设备的最终用户；以 及 与所述透视显示器通信的一个或多个处理器，所述一个或多个处理器确定所述虚拟内 容阅读器的滚动速率使得所述最终用户查看所述内容的在所述虚拟内容阅读器的第一区 域内正被阅读的第一部分，所述一个或多个处理器使得使用所述虚拟内容阅读器显示的所 述内容的所述第一部分以所述滚动速率滚动，所述虚拟内容阅读器包括与所述虚拟内容阅 读器的不同于所述第一区域的第二区域相对应的滚动条，所述一个或多个处理器检测第一 触发事件，所述第一触发事件包括检测所述最终用户已经注视所述第二区域，所述一个或 多个处理器响应于检测到所述第一触发事件禁用所述内容的所述第一部分的滚动，所述一 个或多个处理器检测到第二触发事件，所述第二触发事件包括检测到所述最终用户已经注 视所述第一区域达至少第一时间段，所述一个或多个处理器响应于检测到所述最终用户已 经注视所述第一区域达至少所述第一时间段使得使用所述虚拟内容阅读器显示的所述内 容的第二部分被滚动。2. 如权利要求1所述的电子设备，其特征在于： 所述电子设备包括HMD。3. 如权利要求1-2中的任一项所述的电子设备，其特征在于： 所述虚拟内容阅读器的所述第一区域对应于所述虚拟内容阅读器的中部，所述第二触 发事件包括检测到所述最终用户已经注视所述虚拟内容阅读器的所述中部达至少所述第 一时间段。4. 如权利要求1-3中的任一项所述的电子设备，其特征在于： 所述一个或多个处理器检测环境光照条件并基于所述环境光照条件确定所述透视显 示器的调光因子，所述一个或多个处理器基于所述调光因子调节所述透视显示器的透明 度。5. 如权利要求4所述的电子设备，其特征在于： 所述透视显示器包括电致变色材料。6. 如权利要求1-5中的任一项所述的电子设备，其特征在于： 所述一个或多个处理器检测环境光照条件并基于所述环境光照条件确定所述内容的 所述第一部分的字体大小，所述一个或多个处理器使得从所述虚拟内容阅读器使用所述字 体大小来显示所述内容的所述第一部分。7. 如权利要求1-6中的任一项所述的电子设备，其特征在于： 所述一个或多个处理器检测环境光照条件并基于所述环境光照条件确定所述内容的 所述第一部分的对比色，所述一个或多个处理器使得从所述虚拟内容阅读器使用所述对比 色来显示所述内容的所述第一部分。8. -种使用HMD显示内容的方法，包括： 获取要使用所述HMD显示的所述内容； 确定所述内容的滚动速率，使得所述HMD的最终用户查看所述内容的在所述HMD的透视 显示器的第一区域内正被阅读的第一部分； 以所述滚动速率滚动在所述透视显示器上所显示的所述内容的所述第一部分； 使用所述透视显示器显示滚动条，所述滚动条对应于所述透视显示器的不同于所述第 一区域的第二区域； 在滚动所述内容的所述第一部分之后检测第一触发事件，所述检测第一触发事件包括 检测所述HMD的所述最终用户已经注视所述第二区域； 响应于检测到所述第一触发事件，禁止所述内容的所述第一部分的滚动； 在所述禁止之后检测第二触发事件，所述检测第二触发事件包括检测所述HMD的所述 最终用户已经注视第一区域达至少第一时间段；以及 响应于检测到所述第二触发事件，滚动在所述透视显示器上所显示的所述内容的第二 部分。9. 如权利要求8所述的方法，其特征在于： 检测第二触发事件包括检测所述HMD的所述最终用户已经阅读显示在所述透视显示器 上的所述内容的所述第二部分。10. 如权利要求8-9中的任一项所述的方法，其特征在于： 所述内容的所述第二部分包括句子。
【文档编号】G06F3/0485GK105934730SQ201580005760
【公开日】2016年9月7日
【申请日】2015年1月16日
【发明人】M·J·斯卡维泽, A·G·鲍罗斯, J·R·比维斯, N·G·法杰特, C·G·布朗, D·J·麦克洛克, J·李
【申请人】微软技术许可有限责任公司