混合现实(mr)是一种融合现实世界和虚拟世界的技术。mr是一种产生mr环境的技术,其中物理现实世界场景中的物理现实世界的人物和/或对象与虚拟的计算机生成的人物和/或对象实时共存。例如,mr显示设备可以用计算机生成的图形(例如,狗、城堡等)来增强物理现实世界场景,并且允许与mr显示设备相关联的用户观看现实世界和计算机生成的图形的合成视图。
mr显示设备有时利用场景中对象的不同焦深来生成深度感知,如在现实世界中所经历的那样。焦深是空间的距离范围,其中如果用户被聚焦在其表观深度,则在mr显示器中看起来从放置在给定焦深的对象发出的光线出现的清晰度高于阈值。高级mr显示设备有时利用光场显示器和/或变焦显示器(例如,焦点随着焦距变化而变化)以实现不同焦深。深度提示可以补充由双眼接收到的双眼提示,诸如立体视觉、眼睛会聚、视差、视差开发等,或补充由单眼接收的单眼提示,诸如大小等。然而,光场显示器和变焦显示器价格昂贵、耗电和/或计算量过大,并且在一些示例中,可能导致减小的视场和/或其他性能降级。
技术实现要素:
本公开描述了一种用于利用相同图像数据生成多个焦平面的多光学表面光学设计,这些相同图像数据可以基本上被同时显示以生成不同焦深的感知,如同在现实世界中所经历的那样。在至少一个示例中,所描述的技术可以包括:一种包括多个反射光学表面的设备,这些多个反射光学表面可以被布置在彼此的顶部并且被配置为生成多个焦平面;图像源,其用于将图像数据投影到多个反射光学表面上,该图像数据与可以包括一个或多个虚拟对象的图像相对应;以及具有计算机可执行指令的一个或多个计算机存储介质,该计算机可执行指令当由一个或多个处理器执行时,配置一个或多个处理器以执行包括以下各项的操作:将图像数据再现在与期望的焦距相对应的多个焦平面中的焦平面中,其中基于个体虚拟对象与期望的焦距之间的距离以不同的清晰度再现一个或多个虚拟对象中的个体虚拟对象,导致图像的多个副本在与在焦平面中再现图像数据的时间基本相同的时间在多个焦平面中的其他焦平面中被感知,并且多个副本中的每个副本以感知的清晰度被呈现,使得每个副本离焦。
提供本发明内容是为了以简化形式介绍将在以下具体实施方式中进一步描述的概念的选择。本概述并非旨在标识所要求保护的主题的关键特征或基本特征,也并非旨在用于限制所要求保护的主题的范围。
附图说明
参考附图对具体实施方式进行阐述,其中附图标记的最左边的数字标识其中该附图标记首次出现的图。在相同或不同的图中使用相同的附图标记表示相似或相同的项或特征。
图1是示出了包括近眼显示设备的示例性环境的示意图,该近眼显示设备用于利用相同图像数据生成多个焦平面,这些相同图像数据可以经由近眼显示设备基本上被同时显示以生成不同焦深的感知,如在现实世界中所经历的感知。
图2是示出了用于近眼显示设备的示例光学系统的示意图。
图3是示出了用于近眼显示设备的另一示例光学系统的示意图。
图4是示出了用于近眼显示设备的又一示例光学系统的示意图。
图5是图示了用于确定期望的焦距并且再现具有至少部分地基于期望的焦距来确定的清晰度的图像的示例过程的流程图。
图6是图示了能够实施本文中所呈现的技巧和技术的各方面的计算系统的说明性计算机硬件和软件体系架构的计算机体系架构图。
图7是图示了能够实现本文中所呈现的技巧和技术的各方面的分布式计算环境的图。
图8是图示了能够实现本文中所呈现的技巧和技术的各方面的计算设备的计算设备体系架构的计算机体系架构图。
具体实施方式
本公开描述了用于生成多个焦平面并且使得相同图像数据经由显示设备基本上被同时呈现在多个焦平面的个体焦平面中的技术。在至少一个示例中,图像数据可以与包括可以经由设备的显示器再现的一个或多个虚拟对象的图像相对应。也就是说,本文中所描述的技术可以用于在显示器上再现与图像相对应的图像数据,从而使得图像的多个副本被感知。图像和图像的所有副本可以基本上同时通过显示器共存。图像的每个副本都可以位于多个焦平面的个体焦平面上。与再现的图像数据相对应的图像可以使用使得图像对于用户而言看起来清晰的清晰度被再现,并且图像的多个副本可以使用使得图像看起来不清晰(例如,模糊、离焦等)的被感知的清晰度被再现。多个焦平面和/或不同的清晰度可以生成不同焦深的感知,如在现实世界中所经历的感知。如下文所描述的,近眼显示设备可以是混合现实(mr)显示设备和/或虚拟现实(vr)显示设备。虽然本文中的公开内容描述了mr显示设备,但是可以将相同和/或类似的技术应用于vr体验。
如上文所描述的,图像数据可以与包括可以经由mr显示设备的显示器被再现的一个或多个虚拟对象的图像相对应。为了讨论的目的,物理的现实世界对象(“真实对象”)或物理的现实世界的人物(“真实人物”和/或“真人”)分别描述物理地存在于物理的现实世界场景(“真实场景”)中的对象或人物。基于真实对象的移动模式和/或用户和/或用户设备的移动,真实对象和/或真实人物可以移入和移出视场。虚拟的计算机生成的内容(“虚拟内容”)可以描述由一个或多个计算设备生成的内容,以生成虚拟的计算机生成的环境(“虚拟环境”,“vr环境”或“mr环境”)。在至少一个示例中,虚拟内容可以包括一个或多个像素,每个像素具有共同呈现在显示器上的相应颜色或亮度,以便表示虚拟环境中的人、对象、场景等。如下文在图2至图4中所描述的,一个或多个像素可以从图像源输出。虚拟内容可以经由本文中所描述的技术在vr设备或mr设备的显示器上被再现。
在个体图像内,可以使用不同的清晰度再现个体虚拟对象,这些清晰度可以至少部分地基于每个虚拟对象到各自的期望焦平面的观察眼的距离来确定。不同的清晰度可以使得虚拟对象看起来清晰(例如,聚焦)或一定程度上看起来不清晰(例如,模糊、离焦),其可以至少部分地基于每个虚拟对象相对于期望的焦平面的位置来确定。也就是说,在可以在期望的焦距处被清晰再现的图像内,个体虚拟对象可以具有不同的清晰度。然而,出现在不是期望的焦距的焦距处的图像的副本可以具有感知的清晰度,由此与图像相关联的所有虚拟对象看起来都不清晰(例如,离焦、模糊等)。
本文中所描述的技术包括一种用于利用相同图像数据生成多个焦平面的多光学表面光学设计,这些相同图像数据可以基本上同时显示以生成不同焦深的感知,如在现实世界中所经历的感知。在至少一个示例中,所描述的技术可以包括一种设备,该设备包括多个反射光学表面,该多个反射光学表面可以被布置在彼此的顶部并且被配置为生成多个焦平面;图像源,其用于将图像数据投影到多个反射光学表面上;以及具有计算机可执行指令的一个或多个计算机存储介质,该计算机可执行指令当由一个或多个处理器执行时,配置一个或多个处理器以执行包括以下各项的操作:将图像数据再现在与期望的焦距相对应的多个焦平面中的焦平面中。图像数据可以与图像相对应,并且图像可以包括一个或多个虚拟对象。基于各个虚拟对象与期望的焦平面之间的距离,可以使用不同的清晰度再现一个或多个虚拟对象中的个体虚拟对象。可以使得图像的多个副本在与图像数据在焦平面中再现的时间基本上相同的时间在多个焦平面中的其他焦平面中被感知,并且多个副本的每个副本可以以使得每个副本看起来离焦的被感知的清晰度呈现。
也就是说,如果观察者的眼睛聚焦在给定距离(例如,期望的焦距)处,则位于或近似位于给定距离处的图像被清晰地再现。根据图像的个体副本远离眼睛正在聚焦的距离(例如,期望的焦距)的距离,其他距离处的图像副本可能看起来不太清晰(例如,模糊、离焦等)。因此,眼睛可以看到放置在眼睛正在聚焦的距离处的图像的聚焦副本,但是可以看到在显著不同的距离处出现的图像的离焦副本。关于图像的聚焦副本,可以至少部分地基于虚拟对象远离眼睛正在聚焦的距离(例如,期望的焦距)而被放置的距离来使用不同的清晰度再现各个虚拟对象。也就是说,图像的聚焦副本内的个体虚拟对象可以看起来聚焦或离焦。
本文中所描述的技术将次级表面镜作为反射光学表面集成以生成多个光学表面,这些多个光学表面使得具有相同图像数据的多个焦平面基本上同时被显示。为了说明的目的,在至少一个示例中,诸如在同轴光学系统中,焦平面是穿过焦距的平面,其垂直于反射光学表面的轴线。更进一步地,在至少一个示例中,焦距是用户眼睛与(真实或虚拟)对象聚焦的平面之间的空间中的距离。多个焦平面可以产生深度感知,其与支持可变焦点提示的显示器相当,和/或与现实世界中所经历的感知类似。作为结果,本文中所描述的技术可以模拟光场显示器和/或变焦显示器,并且可以减少生产mr显示设备的花费,节省由光场显示器和/或变焦显示器所使用的功率,并且减少由光场显示器和/或变焦显示器所消耗的计算资源的消耗,或者减小显示器的尺寸和/或重量。
图1是示出了包括近眼显示设备的示例性环境100的示意图,该近眼显示设备用于利用相同图像数据生成多个焦平面,这些相同图像数据可以经由近眼显示设备基本同时显示以生成不同焦深的感知,如在现实世界中所经历的感知。更具体地,示例环境100可以包括内容提供方102、一个或多个网络104、用户106以及与用户106相关联的设备108。提供该示例用于说明目的,并且不被解释为限制。应当理解,示例环境100可以包括任何数目的设备108和/或任意数目的内容提供方102。下文在图6至图8中对与示例环境100相关联的附加细节进行描述。
内容提供方102可以是任何实体、一个或多个服务器、平台等,其提供用于经由mr显示设备(诸如设备108)再现现实世界场景中的计算机生成的图形(例如,包括一个或多个虚拟对象的图像)的内容。内容提供方102可以在非分布式计算环境中实现或者可以在分布式计算环境中实现,可能通过在设备108或其他位于远程的设备上运行一些模块。如所示出的,内容提供方102可以包括一个或多个服务器110,其可以包括一个或多个处理单元(例如,一个或多个处理器112)和计算机可读介质114,诸如存储器。
网络104可以便于一个或多个服务器110和与用户106相关联的设备108之间的通信。在一些示例中,网络104可以是本领域中已知的任何类型的网络,诸如因特网。而且,设备108可以以任何方式(诸如通过全局或本地有线或无线连接(例如,局域网(lan)、内联网等)通信地耦合到网络104。另外,设备108可以使用诸如蓝牙、近场通信(nfc)之类的任何其他技术或者任何其他合适的基于光的、有线或无线技术进行通信。应当领会,可以利用比图1中所示的连接更多类型的连接。
示例支持以下场景:其中可以在一个或多个服务器110中表示的一个或多个设备可以包括在集群或另一个集群配置中操作的一个或多个计算设备以共享资源、平衡负载、提高性能、提供故障切换支持或冗余、或用于其他目的。可以在一个或多个服务器110中表示的一个或多个设备可以包括但不限于台式计算机、服务器计算机、网络服务器计算机、个人计算机、移动计算机、膝上型计算机、平板计算机、可穿戴式计算机、植入式计算设备、电信设备、汽车计算机、支持网络的电视机、瘦客户端、终端、游戏控制台、游戏设备、工作站、媒体播放器、数字录像机(dvr)、机顶盒、相机、用于包括在计算设备中的集成部件、家电、或任何其他种类的计算设备。可以在一个或多个服务器110中表示的一个或多个设备可以包括具有诸如经由总线与计算机可读介质114可操作地连接的一个或多个处理单元(例如,处理器112)的任何类型的计算设备,该总线在一些实例中可以包括以下一项或多项:系统总线、数据总线、地址总线、pci总线、mini-pci总线以及任何各种本地总线、外围总线和/或独立总线。
可替代地或附加地,本文中所描述的功能可以至少部分地由诸如加速器之类的一个或多个硬件逻辑部件来执行。例如但不限于,可以使用的说明性类型的硬件逻辑部件包括现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑器件(cpld)等。可以与不同的内容提供方102相关联的一个或多个服务器110还可以包括用于执行本文中所描述的技术的一个或多个方面的部件,诸如图8中所示的部件。
一个或多个处理单元(例如,处理器112)可以表示例如cpu型处理单元、gpu型处理单元、现场可编程门阵列(fpga)、另一类数字信号处理器(dsp)或在一些实例中可以由cpu驱动的其他硬件逻辑部件。例如但不限于,可以使用的说明性类型的硬件逻辑部件包括专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑器件(cpld)等。在各种示例中,如上文所陈述的并且在以下公开中所进一步详细解释的,一个或多个处理单元(例如,处理器112)可以执行一个或多个模块和/或过程以使得一个或多个服务器110执行多种功能。附加地,一个或多个处理单元(例如,一个或多个处理器112)中的每个处理单元可以拥有其自己的本地存储器,其也可以存储程序模块、程序数据和/或一个或多个操作系统。下文在图8中对与一个或多个处理单元相关联的附加细节进行描述。
在至少一个配置中,一个或多个服务器110的计算机可读介质114可以包括便于经由诸如设备108之类的mr显示设备在现实世界场景中再现计算机生成的图形(例如,包括一个或多个虚拟对象的图像)的部件。这些部件可以表示在计算设备上执行的代码段。例如,计算机可读介质114可以包括焦距确定模块116、修改模块118、图像生成模块120、一个或多个应用122等。在至少一些示例中,模块(116,118,120等)可以被实现为计算机可读指令、各种数据结构等以经由至少一个处理单元(例如,处理器112)配置设备以执行指令并且经由诸如设备108之类的mr显示设备在现实世界场景中再现计算机生成的图形。执行这些操作的功能可以包括在多个设备或单个设备中。下文在图6中提供了与计算机可读介质114相关联的附加细节。
在任何时间点,焦距确定模块116可以确定用户106(例如,用户的眼睛和大脑)期望的焦距。为了讨论的目的,用户106期望的焦距被称为期望的焦距。在一些示例中,焦距确定模块116可以至少部分地基于访问、接收和/或确定来自一个或多个传感器124(包括但不限于相机、凝视跟踪设备等)的数据来确定期望的焦距。在至少一个示例中,如下文所描述的,一个或多个传感器124可以与设备108相关联。
比如,在至少一个示例中,焦距确定模块116可以至少部分地基于访问、接收和/或确定指示用户106的每只眼睛的晶状体的形状的测量的数据来确定期望的焦距。在这样的示例中,焦距确定模块116可以通信地耦合到一个或多个传感器124,该一个或多个传感器124可以查看用户106的眼睛并且确定每只眼睛的晶状体的形状。一个或多个传感器124可以将与每只眼睛的晶状体的形状的测量相关联的数据发送到焦距确定模块116,并且焦距确定模块116可以确定每只眼睛的期望的焦距。
在其他示例中,焦距确定模块116可以访问,接收和/或确定与用户106的眼睛在给定时刻朝向彼此旋转的程度相关联的数据(即,聚散度)以估计大脑认为眼睛应该聚焦的距离。在至少一个示例中,焦距确定模块116可以与一个或多个传感器124通信地耦合,传感器124可以跟踪每个眼睛在二维中的移动以确定给定时刻的聚散度。在其他示例中,一个或多个传感器124可以至少部分地基于一维而不是二维跟踪注视来确定聚散度。焦距确定模块116可以利用与从一个或多个传感器124接收到的聚散度相关联的数据来确定每只眼睛的期望的焦距。
在附加和/或备选示例中,焦距确定模块116可以至少部分地基于利用估计期望的焦距的试探法来确定期望的焦距。在这样的示例中,焦距确定模块116可能不访问传感器。或者,焦距确定模块116可以利用试探法来补充每只眼睛的晶状体的形状的测量值和/或聚散度。
作为非限制性示例,焦距确定模块116可以确定用户106正在与真实对象或虚拟对象交互,并且因此可以估计用户106正在聚焦在与真实对象或虚拟对象相关联的焦距上。作为附加的非限制性示例,焦距确定模块116可以确定用户106的头部的位置,并且可以沿正向方向从用户106的头部的位置绘制矢量,直到该矢量与真实对象或虚拟对象相交为止。如果矢量在与地板相交之前不与真实对象或虚拟对象相交,则焦距确定模块116可以估计用户106聚焦在与地板相关联的焦距上上。或者,如果矢量在与墙壁相交之前不与真实对象或虚拟对象相交,则焦距确定模块116可以估计用户106聚焦在与墙壁相关联的焦距上。
在又一非限制性示例中,焦距确定模块116可以确定真实对象或虚拟对象是否在用户106的脸部的前面,并且可以估计用户106聚焦在与真实对象或虚拟对象中的一个对象相关联的焦距上。在附加的非限制性示例中,焦距确定模块116可以确定用户106朝向真实对象或虚拟对象的方向转动他或她的头部,并且可以估计用户106聚焦在与真实对象或虚拟对象相关联的焦距上,该焦距在焦距确定模块116确定用户106转动他或她的头的方向上。在一些示例中,焦距确定模块116可以至少部分地基于与传感器和/或跟踪设备的通信来确定用户106转动他或她的头部的方向。
修改模块118可以对多个焦平面的位置、比例、亮度、对比度和其他方面的差异进行校正,使得它们看起来更一致。也就是说,修改模块118可以向图像生成模块120发送和/或以其他方式提供数据,其包括用于调整多个焦平面的位置、比例、亮度、对比度和/或其他方面的指令。在至少一个示例中,修改模块118可以向图像生成模块120发送数据和/或以其他方式提供数据,以对视锥(viewingfrustum)进行调整,以校正关于在期望的焦平面中再现的图像的位置和放大率的误差。也就是说,在至少一个示例中,修改模块118可以导致对图像的位置的平移和/或导致对于不同的焦平面的不同的角放大率。
如下文所描述的,图像生成模块120可以生成用于由图像源进行再现的图像。该图像可以包括一个或多个虚拟对象。在一些示例中,图像源可以在mr显示设备的显示表面126上的图形用户界面(gui)上再现图像。在至少一个示例中,如下文所描述的,显示表面126可以是反射光学表面。如下文所描述的,图像生成模块120可以访问和/或接收来自焦距确定模块116、修改模块118和/或应用122的数据,并且可以将图像数据发送到图像源以在gui上再现图像。在一些示例中,图像生成模块120可以生成图像并且可以将对应的图像数据发送到图像源,以使用光栅化、光线投射和/或附加的再现技术在gui上再现图像。在至少一个示例中,从焦距确定模块116访问和/或接收的数据可以是指示期望的焦距的数据。
在至少一个示例中,图像生成模块120可以利用从焦距确定模块116访问和/或接收的数据来确定用于再现图像中的个体虚拟对象的清晰度。也就是说,图像生成模块120可以使得位于与期望的焦距相对应的焦平面中的虚拟对象使用使得虚拟对象对于用户106而言看起来清晰的清晰度被再现。在这样的示例中,与看起来清晰的虚拟对象相关联的清晰度可以是高于阈值水平的清晰度。阈值水平可以例如基于点扩散函数与清晰度等级相关联,在该点扩散函数下,对象对于人眼而言看起来不模糊(例如,聚焦)。为了讨论的目的,与期望的焦距相对应的焦平面被称为期望的焦平面。可以至少部分地基于用户106的瞳孔大小、用户106的焦距以及虚拟对象的距离来估计点扩散函数。此外,图像生成模块120可以使得位于不是期望的焦平面的焦平面中的虚拟对象使用使得虚拟对象不清晰的清晰度被再现。也就是说,图像生成模块120可以使得位于不是期望的焦平面的焦平面中的虚拟对象使用使得虚拟对象对于用户106而言看起来模糊(例如,离焦)的清晰度被再现。图像生成模块120可以至少部分地基于修改从图像源发射的光线的强度来使得虚拟对象使用不同的清晰度被再现。
清晰度可以依据虚拟对象远离期望的焦平面的所确定的距离而改变。在至少一个示例中,位于期望的焦平面的第一阈值距离内的虚拟对象可以使用以下清晰度被再现,使得点扩散函数值大于与在在期望的焦平面处再现的虚拟对象相关联的点扩散函数值。并且,位于远离期望的焦平面第二阈值距离(该第二阈值距离比第一阈值距离更远离期望的焦平面)处的虚拟对象的点扩散函数值可以大于与位于期望的焦平面第一阈值距离内的虚拟对象相关联的点扩散函数值。例如,位于期望的焦平面的第一阈值距离内的虚拟对象可以使用以下清晰度被再现,使得虚拟对象比位于期望的焦平面内的虚拟对象更不清晰(并且更模糊),但是比位于远离期望的焦平面的第二阈值距离处的虚拟对象更清晰(并且更不模糊),该第二阈值距离比第一阈值距离更远离期望的焦平面。也就是说,虚拟对象距离期望的焦平面越近,虚拟对象看起来更清晰(并且更不模糊),并且虚拟对象远离期望的焦平面越远,该虚拟对象看起来更不清晰(并且更模糊)。
关于包括一个或多个虚拟对象的个体图像,图像生成模块120可以访问和/或接收来自焦距确定模块116、修改模块118和/或应用122的数据(将在下文描述),并且可以将图像数据发送到图像源以在gui上再现。如上文所描述的,在至少一个示例中,从焦距确定模块116访问和/或接收的数据可以是指示期望的焦距的数据。图像生成模块120可以利用从焦距确定模块116访问和/或接收到的数据来使得位于期望的焦距处的图像使用使得图像清晰的清晰度被再现。在这样的示例中,与看起来清晰的图像相关联的清晰度可以是高于阈值水平的清晰度。阈值水平可以例如基于扩散函数与清晰度等级相关联,在该点扩散函数下,对象(例如,图像)对人眼而言看起来不模糊(例如,聚焦)。至少部分地基于在期望的焦平面中再现图像的图像源,可以经由本文中所描述的光学反射表面来对图像进行光学复制,以使得图像的一个或多个副本被感知。图像的一个或多个副本可以出现在焦平面中,该焦平面不是具有感知的清晰度的期望的焦平面,使得图像的一个或多个副本不清晰。也就是说,图像的一个或多个副本可能对用户106而言看起来模糊(例如,离焦)。
至少部分地基于本文中所描述的不同的清晰度和/或不同的感知的清晰度,当用户106聚焦在期望的焦距处(例如,位于期望的焦平面中)的图像上时,用户106可以看到清晰图像,并且位于不是期望的焦距的焦距处的图像的所有其他副本可能看起来模糊。在一些示例中,与图像的离焦副本相关联的光线可以导致在位于期望的焦距处的图像(即,清晰图像)的周围感知到诸如散景效应和/或光晕效应之类的光环。
在至少一个示例中,可以至少部分地基于与真实场景或虚拟场景的亮度相关联的数据来确定清晰度。在现实世界中,对象离焦的程度取决于与真实场景相关联的亮度。也就是说,当真实场景的亮度高于阈值时,对象会更快离焦,而当真实场景的亮度低于阈值时,对象会更慢离焦。在一些示例中,图像生成模块120或通信地耦合到图像生成模块120的模块、部件和/或设备(例如,传感器等)可以估计物理场景的亮度,并且图像生成模块120可以利用与物理场景的估计亮度相关联的数据来确定与不位于期望的焦距的焦距处的图像的副本相关联的清晰度。
应用(例如,一个或多个应用122)由程序员创建以完成特定任务。例如,应用(例如,一个或多个应用122)可以向设备108的用户106提供效用、娱乐和/或生产力功能。应用(例如,一个或多个应用122)可以被内置到设备中(例如,远程通信、文本消息、时钟、相机等)或可以定制(例如,游戏、新闻、交通时间表、网上购物等)。下文在图7中对与一个或多个应用122相关联的附加细节进行描述。
在一些示例中,用户106可以操作对应的设备108(例如,用户设备108)以执行与设备108相关联的各种功能。诸如设备108之类的设备可以表示各种各样的设备类型,并且是不限于任何特定类型的设备。示例可以包括但不限于固定式计算机、移动计算机、嵌入式计算机或其组合。示例固定式计算机可以包括台式计算机、工作站、个人计算机、瘦客户端、终端、游戏控制台、个人录像机(pvr)、机顶盒等。示例移动计算机可以包括膝上型计算机、平板计算机、可穿戴式计算机、植入式计算设备、电信设备、汽车计算机、便携式游戏设备、媒体播放器、相机等。示例嵌入式计算机可以包括支持网络的电视机、用于包括在计算设备中的集成部件、设施、微控制器、数字信号处理器或任何其他种类的处理设备等。
在至少一个示例中,设备108可以包括mr显示设备(例如,
图2至图4是分别示出了用于诸如设备108之类的头戴式mr显示设备的示例性光学系统200,300和400的示意图。图2至图4图示了水盆(birdbath)近眼显示设备的示例。水盆近眼显示设备是其中分束器与轴上反射器一起使用以聚焦来自图像产生设备(例如,图像源202)的图像的设备。
在图2中,光学系统200包括图像源202,其被配置为产生包括一个或多个虚拟对象的图像以经由mr显示设备108显示。即,图像源202可以以时间顺序的方式提供图像内容(例如,一个或多个图像数据帧)。图像源202可以具有相对于其他光学部件的任何合适的位置。比如,在一些示例中,如图2至图4所图示的,从用户106的角度来看,图像源202可以被布置在mr显示设备108的上侧。图像源202可以包括任何合适类型的图像生成设备。例如,图像源202可以包括发射式微显示器(诸如oled(有机发光器件)显示器),和/或反射式微显示器(诸如lcos(硅上液晶)显示器或数字光处理(dlp)显示器)。在一些示例中,对于所显示的每种颜色的光可以利用单独的微型显示器,而在其他示例中,可以利用单个微型显示器(例如,通过显示彩色场序列图像或交错式彩色镶嵌图)。在附加的和/或备选的示例中,分离的图像源可以被用于用户106的左眼和右眼。这可以便于立体图像的显示。在这样的示例中,单独的光学系统(例如,光学系统200、300、400)或其一个或多个单独的部件可以用于产生左眼图像和右眼图像。
图3和图4分别图示了通过对应的光学系统300和400的反射路径。更具体地,图3和图4示出了表示源自图像源202上的任意初始位置集合的任意数目的光线的若干个光线302a,302b和/或302n(统称为302)。在至少一个示例中,图像源202上的每个初始位置可以表示图像源202上的像素。光可以反射离开分束器204。
在至少一个示例中,光学系统200可以包括至少一个分束器204。分束器204是将光束分成两个或更多个光束的光学设备。所得到的两个或更多个光束可以具有不同的强度、偏振或波长范围。在一些示例中,分束器204可以是由任何合适的材料形成的棱镜,这些合适的材料包括但不限于玻璃材料、聚合物材料等。在附加和/或备选的示例中,镜可以用作分束器204。比如,半镀银镜可以用作分束器(例如,分束器204),其可以从具有薄金属(例如,铝等)涂层、二向色光学涂层等的玻璃材料片或塑料基底材料形成。附加地和/或可替代地,使用二向色光学涂层将入射光束划分成若干个光谱不同的输出光束的二向色镜像棱镜组件可以用作分束器204。
上文所描述的分束器204以及附加的和/或备选的机构可以用于将光束分成两个或更多个光束。在至少一个示例中,如本文中所描述的,分束器204可以用于将光束分成两个或更多个光束,使得光束之间的强度可以变化。比如,如下文所描述的,棱镜可以将来自图像源202的光反射到反射光学表面206和/或组合器。在一些示例中,反射可以由内部反射引起。在其他例子中,可以使用反射涂层。在另一示例中,分束器204可以用于基于偏振来分离光。比如,反射第一偏振的偏振光并且透射第二偏振的偏振光的镜可以用于经由偏振来分离光。在这样的示例中,第二偏振可以与第一偏振正交。更进一步地,在这样的示例中,通过使用附加的偏光器或通过使用反射窄波长光的镜,镜对外界而言可以看起来透明。
在附加和/或备选的示例中,分束器204可以基于波长来分离光。比如,在至少一个这样的示例中,第一图像源(例如,图像源202)可以在第一波长将第一组rgb光反射离开分束器204的第一表面,并且第二不同的图像源可以在第二波长将第二组rgb光反射离开分束器204的第二相对表面。在其他示例中,可以基于时间顺序和/或空间距离来分离光。比如,诸如lcd快门、可切换镜等之类的设备可以用于主动地改变分束器204的表面的反射性以基于时间顺序来分离光。或者,圆点反射表面可以与分束器204相关联以使得穿过分束器204的光的一部分能够基于空间距离来分离光。
光学系统200可以包括至少一个反射光学表面206。如上文所描述的,在至少一个示例中,至少一个反射光学表面206可以是显示表面206。反射光学表面206可以包括镜,其更改了光学系统(例如,200、300、400等)反射和透射光的方式。在一些示例中,包括但不限于玻璃表面、塑料基底表面等的光学表面可以用一种或多种反射材料涂覆以产生反射光学表面206,诸如镜。一种或多种反射材料可以包括诸如铝、银、铬、金等之类的金属薄层,诸如氟化镁、氟化钙等之类的介质膜涂层等。用于涂覆光学表面的金属和/或介质膜涂层可以确定镜的反射特性。
在至少一个示例中,反射光学表面206可以是次级表面镜。为了说明的目的,次级表面镜是其中光学表面的后部涂覆有一种或多种反射材料的光学表面。也就是说,次级表面镜是反射光学表面206,其中反射涂层受到光学表面的保护。光学表面的前部可以是至少部分反射的。在反射光学表面206是次级表面镜的示例中,光学表面的前部以及光学表面的后部上的反射表面都可以反射光。也就是说,在反射光学表面206是次级表面镜的示例中,光学表面可以向虚拟对象提供第一调整,并且光学表面的背部上的反射表面可以向虚拟对象提供第二调整。例如,在至少一个示例中,反射光学表面206可以生成三个或更多个焦平面,并且焦平面中的一个焦平面可以基于从光学表面的前表面反射离开至少两次的图像数据来生成。在附加的和/或备选的示例中,反射光学表面206可以是能够将光反射离开第一表面和第二相对表面的平面光学器件。
反射光学表面206可以具有任何合适的配置。在至少一个示例中,反射光学表面206可以具有沿着一个或多个轴线的圆柱形轮廓、球形曲率等。在这样的示例中,反射光学表面206可以具有前曲率208和后曲率210。至少部分地基于前曲率208和后曲率210之间的间距,以及在一些示例中,曲率的幂,可以控制近焦平面和远焦平面的焦距。附加地,反射光学表面206可以具有任何合适的结构,以使得能够反射来自图像源202的光和透射背景光。例如,反射光学表面206可以包括部分透射镜、反射偏振器、衍射光学元件(例如,被配置为反射与产生所显示的图像中使用的波段相对应的窄波长波段中的光的全息图)、介质膜镜、和/或任何其他部分反射/部分透射结构。
在至少一个示例中,无论用户106的眼睛的焦点如何,反射光学表面206都可以导致两个焦平面,类似于其中图像几乎总是聚焦的宽景深。景深是场景中具有高于阈值的清晰度的最近对象和最远对象之间的距离。如图4所图示的,一个或多个附加的反射光学表面206可以被组合成反射光学表面堆叠402(例如,布置在彼此的顶部上的个体的反射光学表面206)以使得图像的副本在多个焦深处被感知。在附加反射光学表面206被添加到光学系统(例如,光学系统200、300、400)时,附加的反射光学表面206可以导致附加的焦平面,类似于更精确的景深。图像源202可以在期望的焦平面中再现图像,并且图像的副本可以在基本相同的时间出现在与期望的焦平面相距不同距离的个体焦平面中。如上文所描述的,图像的各个副本可以具有感知的不同的清晰度,其至少部分地基于各个副本中的个体副本远离期望的焦平面定位的距离而被确定。在用户106的眼睛聚焦在一个焦平面或另一焦平面上时,图像可能看起来聚焦和失焦。在一些示例中,图像可以被可能导致图像周围增加的辉光离焦光线的光环围绕。光环可以类似于可以在摄影、游戏等中观察到的散景效应或光晕效应。
反射光学表面206可以具有相对于其他光学部件的任何合适的位置。比如,如图2所示,从用户106的角度看,反射光学表面206可以放置在mr显示设备108的底侧处。在其他示例中,如图3和图4所示,反射光学表面206与用户106的眼睛成一直线被定位。在这样的示例中,反射光学表面206也可以是组合器。组合器允许将两个或更多个光路叠加到基本上相同的光路(例如,透视光路和虚像光路)中。在其中反射光学表面206与用户106的眼睛成一直线被定位的示例中,一个或多个反射光学表面206可以是光学平坦的(由于薄或通过补偿彼此的失真),以防止扭曲现实世界。类似地,反射光学表面堆叠402可以具有相对于其他光学部件的任何合适的位置。比如,如图2所图示的,从用户106的角度看,反射光学表面堆叠402可以放置在mr显示设备108的底侧上。在其他示例中,如图4所图示的,反射光学表面堆叠402可以与眼睛成一直线放置。
附加的和/或备选的配置可以使得图像的副本在多个焦平面处被感知。比如,在至少一个示例中,一个或多个附加反射光学表面206可以放置在图像源202上。比如,在这样的示例中,两个部分镀银的平面镜可以被放置在图像源202上以创建“无限镜(infinitymirror)”,其中虚拟对象的新副本可以在每次反弹时以更深的深度出现。深度可以通过单聚焦镜进行扩展。
在附加和/或备选的示例中,一个或多个附加反射光学表面206可以与分束器204相关联。比如,分束器204可以包括以小距离分开的两个分束器,其可以生成附加的焦平面。此外,在另一备选的示例中,一个或多个附加的反射光学表面206可以位于图像源202和用户106的眼睛之间。比如,两个部分镀银的平面镜可以放置在用户106眼睛的前方来生成附加的焦平面。
在一些示例中,反射光学表面堆叠402中的个体反射光学表面206可以被定向成彼此反射离开多次,从而产生多个焦平面。在每个示例中,焦平面的数目和位置(例如,焦点精度)可以与同时聚焦和离焦平面之间的干涉(例如,图像质量和对比度)相平衡。在本文中所描述的水盆显示器的上下文之外,反射光学表面堆叠402可以被集成到其他光学系统(诸如离轴光学系统等)中,以增加可调焦点能力。
如上文所描述的,本文中所描述的技术可以用于基本上同时生成多个焦平面。多个焦平面可以生成不同焦深的感知,如在现实世界中所经历的感知。附加和/或备选的技术也可以用于基本上同时生成多个焦平面。比如,在至少一个示例中,如上文所描述的,至少部分地基于偏振来分离光,可以生成两个图像,每个图像具有不同的偏振(例如,一个图像具有与另一图像的偏振正交的偏振)。在这样的示例中,用户106可以在图像之间切换,使得两个图像不是基本上同时可见,而是在互补时间可见,以生成与常规三维显示器类似的深度感知。可替代地,技术可以包括双凸透镜(例如,放大透镜阵列,其被设计为使得当从略微不同的角度观看时,不同的图像可以被放大)。附加地,衍射元件(例如,光栅、衍射光学元件或全息图)可以被放置在光学表面中的一个或多个光学表面上,使得衍射元件的多个级形成多个焦平面。例如,放置在弯曲的反射元件上的弱衍射元件可以使得从反射表面的每个点反射离开的光被衍射到略微不同的角度(与每个衍射级相对应),这些角度中的每个角度可以使得图像聚焦到不同的焦平面。可替代地,系统的所有聚焦能力都可以是衍射的。例如,体积全息图可以被构造为充当基本上同时将点成像到多个焦平面的透镜。
图5是图示了用于确定期望的焦距并且至少部分地基于期望的焦距使用清晰度再现虚拟对象的示例过程500的流程图。
框502图示了确定期望的焦距。焦距确定模块116可以在任何时间点确定用户106(例如,用户的眼睛和大脑)期望的焦距。在一些示例中,焦距确定模块116可以至少部分地基于访问、接收和/或确定来自一个或多个传感器124的数据来确定期望的焦距,该传感器124包括但不限于相机、凝视跟踪设备等。比如,在至少一个示例中,如上文所描述的,焦距确定模块116可以至少部分地基于访问、接收和/或确定指示用户106的每只眼睛的晶状体的形状的测量的数据来确定期望的焦距。在其他示例中,如上文所描述的,焦距确定模块116可以访问、接收和/或确定在给定时刻与用户106的眼睛朝向彼此旋转的程度相关联的数据(即,聚散度)以估计大脑认为眼睛应该聚焦的距离。在附加和/或备选的示例中,如上文所描述的,焦距确定模块116可以至少部分地基于利用试探法估计期望的焦距来确定期望的焦距。
框504图示了使用使得图像清晰的清晰度在与期望的焦距(即,期望的焦平面)相对应的焦平面中再现图像。如上文所描述的,关于包括一个或多个虚拟对象的个体图像,图像生成模块120可以访问和/或接收来自焦距确定模块116、修改模块118和/或应用122的数据,如下文所描述的,并且将图像数据发送到图像源202以在gui上再现图像。如上文所描述的,在至少一个示例中,从焦距确定模块116访问和/或接收的数据可以是指示期望的焦距的数据。在至少一些示例中,如上文所描述的,修改模块118可以向图像生成模块120发送和/或以其他方式提供数据,该数据包括用于调整多个焦平面的位置、比例、亮度、对比度和/或其他方面的指令。在一些示例中,图像生成模块120可以生成图像并且可以将对应的图像数据发送到图像源202,以利用光栅化、光线投射和/或附加的再现技术在gui上再现图像。
图像生成模块120可以利用从焦距确定模块116和/或修改模块118访问和/或接收的数据来使得位于期望的焦距处的图像使用使得图像清晰的清晰度被再现。在这样的示例中,与看起来清晰的图像相关联的清晰度可以是高于阈值水平的清晰度。阈值水平可以例如基于点扩散函数与清晰度等级相关联,在该点扩散函数下,对象(例如,图像)对人眼而言看起来不模糊(例如,聚焦)。至少部分地基于在期望的焦平面中再现图像的图像源202,图像可以经由本文中所描述的光学反射表面来光学地复制,以使得图像的一个或多个副本被呈现。框506图示了在与图像被再现在期望的焦平面中的时刻基本上相同的时刻,使得图像的副本在其他焦平面中被感知。图像的一个或多个副本可以出现在不是的期望的焦平面的焦平面中,具有使得图像的一个或多个副本不清晰的感知的清晰度。也就是说,图像的一个或多个副本可能对用户106而言看起来模糊(例如,离焦)。
至少部分地基于本文中所描述的不同的清晰度和/或感知的不同的清晰度,当用户106聚焦在期望的焦距处(例如,位于期望的焦平面中)的图像上时,用户106可以看到清晰图像,并且位于不是期望的焦距的焦距处的图像的所有其他副本可能看起来模糊。在一些示例中,与图像的离焦副本相关联的光线可以导致在位于期望的焦距处的图像(即,清晰图像)周围感知到诸如散景效应和/或光晕效应的光环。
如上文所描述的,图像生成模块120可以生成具有一个或多个虚拟对象的图像,用于在mr显示设备的显示表面126上的图形用户界面(gui)上再现。图像生成模块120可以利用从焦距确定模块116访问和/或接收的数据来确定用于再现图像中的各个虚拟对象的清晰度。也就是说,图像生成模块120可以将与图像相关联的图像数据发送到图像源202,用于使用一定清晰度再现位于与期望的焦距相对应的焦平面中的虚拟对象,使得虚拟对象对于用户106而言看起来清晰。在这样的示例中,与看起来清晰的虚拟对象相关联的清晰度可以是高于阈值水平的清晰度。阈值水平可以例如基于点扩散函数与清晰度等级相关联,在该点扩散函数下,对象对人眼而言看起来不模糊(例如,聚焦)。此外,图像生成模块120可以使得位于不是期望的焦平面的焦平面中的虚拟对象使用一定清晰度再现,使得虚拟对象不清晰。也就是说,图像源202可以使用一定清晰度再现位于不是期望的焦平面的焦平面中的虚拟对象,使得虚拟对象对于用户106而言看起来模糊(例如,离焦)。图像生成模块120可以至少部分地基于使得对从图像源202发射的光线的强度进行的修改来使得虚拟对象使用不同的清晰度而被再现。
图6示出了用于诸如设备108和/或一个或多个服务器110(图1)之类的计算机的示例计算机体系架构600的附加细节,该计算机能够执行上文所描述的用于至少部分地基于通知对用户的重要性来控制该通知的程序部件。因此,图6中所图示的计算机体系架构图示了用于服务器计算机、mr/ar显示设备、移动电话、pda、智能电话、台式计算机、上网本计算机、平板计算机和/或膝上型计算机的体系架构。计算机体系架构600可以用来执行本文中所呈现的软件部件的任何方面。
图6中所图示的计算机体系架构包括中央处理单元602(“cpu”)、包括随机存取存储器606(“ram”)和只读存储器(“rom”)606的系统存储器604、以及将存储器604耦合到cpu602的系统总线610。包含有助于在计算机体系架构600内的元件之间(诸如在启动期间)传送信息的基本例程的基本输入/输出系统被存储在rom606中。计算机体系架构600还包括用于存储操作系统607的大容量存储设备612以及一个或多个应用程序,包括但不限于焦距确定模块116、修改模块118、图像生成模块120和一个或多个应用122。
大容量存储设备612通过连接到总线610的大容量存储控制器(未示出)连接到cpu602。大容量存储设备612及其相关联的计算机可读介质为计算机体系架构提供非易失性存储。尽管本文中包含的计算机可读介质的描述指代大容量存储设备,诸如固态驱动器、硬盘或cd-rom驱动器,但是本领域技术人员应当领会,计算机可读介质可以是可由计算机体系架构600访问的任何可用的计算机存储介质或通信介质。
如上文所描述的,通信介质包括计算机可读指令、数据结构、程序模块或诸如载波或其他传输机制之类的经调制的数据信号中的其他数据,并且包括任何递送介质。术语“经调制的数据信号”是指具有以对信号中的信息进行编码的方式改变或设定其特性中的一个或多个特性的信号。通过示例而非限制,通信介质包括诸如有线网络或直接有线连接之类的有线介质,以及诸如声学、rf、红外线和其他无线介质的无线介质。上述任何组合也应当包括在计算机可读介质的范围内。
通过示例而非限制,计算机存储介质可以包括用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的、以任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。例如,计算机介质包括但不限于ram、rom、eprom、eeprom、闪存或其他固态存储器技术、cd-rom、数字多功能盘(“dvd”)、hd-dvd、blu-ray、或其他光存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备或可以用于存储所需信息并且可以由计算机体系架构600访问的任何其他介质。为了权利要求的目的,短语“计算机存储介质”、“计算机可读存储介质”及其变型本身不包括波、信号和/或其他暂态和/或无形的通信介质。
根据各种配置,计算机体系架构600可以使用通过网络104和/或另一网络到远程计算机的逻辑连接在联网环境中操作。计算机体系架构600可以通过连接到总线610的网络接口单元614连接到网络104。应当领会,网络接口单元614还可以用于连接到其他类型的网络和远程计算机系统。计算机体系架构600还可以包括输入/输出控制器616,用于接收和处理来自包括键盘、鼠标、电子笔、传感器、跟踪设备等(图6中未示出)的若干个其他设备的输入。类似地,输入/输出控制器616可以向显示屏、打印机或其他类型的输出设备(图6中也未示出)提供输出。
应当领会,当被加载到cpu602中并且被执行时,本文中所描述的软件部件可以将cpu602和整个计算机体系架构600从通用计算系统转换成被定制为促进本文中所呈现的功能的专用计算系统。cpu602可以由任意数目的晶体管或其他分立电路元件构成,其可以单独地或共同地呈任何数目的状态。更具体地,响应于包含在本文中所公开的软件模块内的可执行指令,cpu602可以作为有限状态机进行操作。这些计算机可执行指令可以通过指定cpu602在状态之间如何转变来转换cpu602,从而转换构成cpu602的晶体管或其他分立硬件元件。
对本文中所呈现的软件模块进行编码还可以转换本文中所呈现的计算机可读介质的物理结构。在本说明书的不同实现方式中,物理结构的具体转换可以取决于各种因素。这样的因素的示例可以包括但不限于用于实现计算机可读介质的技术、计算机可读介质是否被表征为主存储装置或次存储装置等。例如,如果计算机可读介质被实现为基于半导体的存储器,则本文中所公开的软件可以通过转换半导体存储器的物理状态在计算机可读介质上进行编码。例如,软件可以转换构成半导体存储器的晶体管、电容器或其他分立电路元件的状态。该软件还可以转换这些部件的物理状态以便在其上存储数据。
作为另一示例,本文中所公开的计算机可读介质可以使用磁或光学技术来实现。在这样的实现方式中,当软件在其中编码时,本文中所呈现的软件可以转换磁性介质或光学介质的物理状态。这些转换可以包括:更改给定磁性介质内特定位置的磁性特性。这些转换还可以包括:更改给定光学介质内特定位置的物理特征或特性,以改变这些位置的光学特性。在不背离本说明书的范围和精神的情况下,物理介质的其他转换是可能的,其中前述示例仅被提供以便于该讨论。
鉴于以上所述,应当领会,在计算机体系架构600中发生许多类型的物理变换以便存储和执行本文中所呈现的软件部件。还应当领会,计算机体系架构600可以包括其他类型的计算设备,其包括手持式计算机、嵌入式计算机系统、个人数字助理以及本领域技术人员已知的其他类型的计算设备。还应当设想,计算机体系架构600可以不包括图6中所示的所有部件、可以包括图6中未明确示出的其他部件、或者可以利用完全不同于图6所示的体系架构。
图7描绘了能够执行本文中所描述的软件部件的说明性分布式计算环境700,其用于利用相同图像数据生成多个焦平面,这些相同图像数据可以经由近眼显示设备基本上同时显示以生成不同焦深的感知,如在现实世界中所经历的感知。因此,图7中所图示的分布式计算环境700可以用来执行本文中所呈现的软件部件的任何方面。例如,分布式计算环境700可以用于执行本文中所描述的焦距确定模块116、修改模块118、图像生成模块120、一个或多个应用122和/或其他软件部件的各方面。
根据各种实现方式,分布式计算环境700包括计算环境702,其在网络104上操作、与该网络104通信或者作为该网络104的一部分。网络104可以是或可以包括上文参照图6所描述的网络104。网络104也可以包括各种接入网络。一个或多个客户端设备706a至706n(以下统一地和/或总体上被称为“客户端706”)可以经由网络104和/或其他连接(图7中未示出)与计算环境702通信。在一个图示的配置中,客户端706包括计算设备706a,诸如膝上型计算机、台式计算机或其他计算设备;板状或平板计算设备(“平板计算设备”)706b;移动计算设备706c,诸如移动电话、智能电话或其他移动计算设备;mr和/或vr显示设备,诸如近眼显示设备706d;服务器计算机706e;和/或其他设备706n。应当理解,任何数目的客户端706都可以与计算环境702进行通信。本文中参照图6和图8对用于客户端706的两个示例计算架构进行说明和描述。应当理解,本文中所说明和描述的所图示的客户端706和计算体系架构是说明性的,并且不应被解释为以任何方式受到限制。
在所图示的配置中,计算环境702包括应用服务器708、数据存储装置710以及一个或多个网络接口712。根据各种实现方式,应用服务器708的功能可以由一个或多个服务器计算机提供,该一个或多个服务器计算机作为网络104的一部分执行或与该网络104通信。应用服务器708可以与图1中所图示的一个或多个应用122相对应。应用服务器708可以托管各种服务、虚拟机、门户网站和/或其他资源。在所图示的配置中,应用服务器708可以托管用于执行应用或其他功能的一个或多个虚拟机714。根据各种实现方式,虚拟机714可以执行用于利用相同图像数据生成多个焦平面的一个或多个应用和/或软件模块,这些相同图像数据可以经由近眼显示设备基本上同时显示以生成不同的焦深的感知,如在现实世界中所经历的感知。应当理解,该配置是说明性的,并且不应该被解释为以任何方式受到限制。
应用服务器708还可以托管或提供一个或多个服务,诸如娱乐和/或多媒体服务716、邮箱和/或消息传送服务718、社交联网服务720等。娱乐和多媒体服务716可以包括各种音乐服务、电视和/或电影服务、游戏服务、电子书服务等。邮箱服务和/或消息传送服务718可以包括电子邮件(“email”)服务、各种个人信息管理(“pim”)服务,其包括但不限于日历服务、联系人管理服务、协作服务和/或其他服务。邮箱和/或消息传送服务718可以包括但不限于即时消息传送服务、聊天服务、论坛服务和/或其他通信服务。
社交网络服务720可以包括各种社交联网服务,其包括但不限于用于共享或发布状态更新、即时消息、链接、照片、视频和/或其他信息的服务;用于评论或显示对文章、产品、博客或其他资源的兴趣的服务;和/或其他服务。在一些配置中,社交网络服务720由facebook社交联网服务、linkedin专业联网服务、myspace社交联网服务、foursquare地理联网服务、yammer办公室同事联网服务等提供,或包括它们。在其他配置中,社交联网服务720由可以或可以不明确地被认为是社交联网提供方的其他服务、站点和/或提供方提供。例如,一些网站允许用户在各种活动和/或上下文(诸如阅读发表的文章、评论商品或服务、发布、协作、游戏等)期间经由电子邮件、聊天服务和/或其他手段彼此交互。这种服务的示例包括但不限于来自华盛顿州雷德蒙德市的微软公司的windowslive服务和xboxlive服务。其他服务是可能的并且被设想。社交联网服务720还可以包括评论、博客和/或微博客服务。这种服务的示例包括但不限于yelp评论服务、kudzu评价服务、officetalk企业微博客服务、twitter消息传送服务、googlebuzz服务和/或其他服务。应当领会,上述服务列表并非穷举性的,并且为了简洁起见,本文中未提及许多附加的和/或备选的社交联网服务。如此,上述配置是说明性的,并且不应被解释为以任何方式受到限制。根据各种实现方式,社交联网服务720可以托管用于提供本文中所描述的用于为计算设备提供上下文感知位置共享服务的功能的一个或多个应用和/或软件模块。比如,应用服务器808中的任一个应用服务器可以传达或促进本文中所描述的功能和特征。比如,社交联网应用、邮件客户端、消息传送客户端、在电话上运行的浏览器或任何其他客户端806可以与联网服务进行通信。
应用服务器708还托管或提供对一个或多个门户网站、链接页面、网站和/或其他信息(“网络门户”)722的访问。网络门户722可以用于与一个或多个客户端计算机通信。
如图7所示,应用服务器708还可以托管其他服务、应用、门户网站和/或其他资源(“其他资源”)724。其他资源724可以部署面向服务的体系架构或任何其他客户端-服务器管理软件。因此,应当领会,计算环境702可以提供本文中所公开的概念和技术的集成,其具有本文中所提供的各种娱乐、多媒体、邮箱、消息传送、社交联网和/或其他服务或资源。
如上文所提及的,计算环境702可以包括数据存储装置710。根据各种实现方式,数据存储装置710的功能由在网络104上操作或与该网络104通信的一个或多个数据库提供。数据存储装置710的功能还可以由被配置为托管用于计算环境702的数据的一个或多个服务器计算机提供。数据存储装置710可以包括、托管或者提供一个或多个真实容器或虚拟容器726a至726n(以下统一地和/或总称为“容器726”)。容器726被配置为托管由应用服务器708使用或创建的数据和/或其他数据。尽管图7中未图示,容器726还可以托管或存储由诸如焦距确定模块116、修改模块118、图像生成模块120等之类的模块执行的数据结构和/或算法。容器726的各方面可以与数据库程序、文件系统和/或存储具有安全访问特征的数据的任何程序相关联。容器726的各方面还可以使用产品或服务来实现,诸如activedirectory、dkm、onedrive、dropbox或googledrive。
计算环境702可以与网络接口712通信或被网络接口712访问。网络接口712可以包括用于支持两个或更多个计算设备之间的通信的各种类型的网络硬件和软件,这些计算设备包括但不限于客户端706和应用服务器708。应当领会,网络接口712也可以用于连接到其他类型的网络和/或计算机系统。
应当理解,本文中所描述的分布式计算环境700可以向本文中所描述的软件元件的任何方面提供可以被配置为执行本文中所公开的软件部件的任何方面的任何数目的虚拟计算资源和/或其他分布式计算功能。根据本文中所公开的概念和技术的各种实现方式,分布式计算环境700将本文中所描述的软件功能作为服务提供给客户端706。应当理解,客户端706可以包括真实或虚拟机器,其包括但不限于服务器计算机、网络服务器、个人计算机、移动计算设备、智能电话和/或其他设备。如此,本文中所公开的概念和技术的各种配置使得被配置为访问分布式计算环境700的任何设备能够利用本文中所描述的功能来利用相同图像数据生成多个焦平面,这些相同图像数据可以基本上同时经由近眼显示设备来显示以生成不同焦深的感知,如在现实世界中所经历的感知,除了其他方面以外。在一个具体示例中,如上文所概述的,本文中所描述的技术可以至少部分地由可以结合图7的应用服务器708工作的网页浏览器应用来实现。
现在转到图8,用于计算设备的说明性计算设备体系架构800,其能够执行本文中所描述的各种软件部件,用于利用相同图像数据生成多个焦平面,这些相同图像数据可以经由近眼显示设备基本上同时显示以生成不同焦深的感知,如在现实世界中所经历的感知。计算设备体系架构800适用于部分由于形状因素、无线连接性和/或电池供电操作而便于移动计算的计算设备。在一些配置中,计算设备包括但不限于移动电话、mr/vr显示设备、平板设备、板状设备、便携式视频游戏设备等。计算设备体系架构800适用于图7中所示的客户端706中的任一客户端(例如,设备108)。此外,计算设备体系架构800的各方面可以适用于传统的台式计算机、便携式计算机(例如,膝上型计算机、笔记本计算机、超便携式计算机以及上网本)、服务器计算机和其他计算机系统,诸如本文中参照图6所描述的计算机系统(例如,一个或多个服务器110)。
图8中所图示的计算设备体系架构800包括处理器802、存储器部件804、网络连接性部件806、传感器部件808、输入/输出部件810以及功率部件812。在所图示的配置中,处理器802与存储器部件804、网络连接性部件806、传感器部件808、输入/输出(“i/o”)部件810以及功率部件812通信。尽管在图8中所图示的个体部件之间没有示出连接,但是部件可以交互来执行设备功能。在一些配置中,这些部件被布置为经由一个或多个总线(未示出)进行通信。
处理器802包括中央处理单元(“cpu”),其被配置为处理数据,执行一个或多个应用程序的计算机可执行指令以及与计算设备体系架构800的其他部件通信,以便执行本文中所描述的各种功能。处理器802可以用于执行本文中所呈现的软件部件的各个方面,并且具体地为、至少部分地利用触摸使能输入的软件部件。
在一些配置中,处理器802包括图形处理单元(“gpu”),其被配置为加速由cpu执行的操作,这些操作包括但不限于通过执行通用科学和/或工程计算应用、以及诸如高分辨率视频(例如,720p、1080p和更高分辨率)、视频游戏、三维(“3d”)建模应用等的图形密集型计算应用来执行的操作。在一些配置中,处理器802被配置为与分立gpu(未示出)通信。在任何情况下,可以根据协处理cpu/gpu计算模型来配置cpu和gpu,其中应用的连续部分在cpu上执行,并且计算密集部分通过gpu加速。
在一些配置中,处理器802是片上系统(“soc”),或者连同下文所描述的其他部件中的一个或多个其他部件一起被包括在片上系统(“soc”)中。例如,soc可以包括处理器802、gpu、网络连接性部件806中的一个或多个网络连接性部件以及传感器部件808中的一个或多个传感器组件。在一些配置中,处理器802部分地利用层叠封装(package-on-package)(“pop”)集成电路封装技术来制作。处理器802可以是单核处理器或多核处理器。
处理器802可以根据可从英国剑桥的armholdings获得许可的arm体系架构来创建。可替代地,处理器802可以根据x86体系架构来创建,诸如可从加利福尼亚州mountainview的英特尔公司等获得。在一些配置中,处理器802是可从加利福尼亚州圣地亚哥市的qualcomm获得的snapdragonsoc、可从加利福尼亚州圣克拉拉市的nvidia获得的tegrasoc、可从韩国首尔的samsung获得的hummingbirdsoc、可从得克萨斯州达拉斯的texasinstruments获得的开放式多媒体应用平台(“omap”)soc、上述soc中的任一soc的定制版本或专有soc。
存储器部件804包括随机存取存储器(“ram”)814、只读存储器(“rom”)816、集成存储存储器(“集成存储装置”)818和可移除存储存储器(“可移除存储装置”)。在一些配置中,ram814或其一部分、rom816或其一部分、和/或ram814和rom816的某种组合被集成在处理器802中。在一些配置中,rom816被配置为存储固件、操作系统或其一部分(例如,操作系统内核)、和/或引导加载程序以从集成存储装置818和/或可移除存储装置820加载操作系统内核。
集成存储装置818可以包括固态存储器、硬盘或固态存储器和硬盘的组合。集成存储装置818可以被焊接或以其他方式连接到逻辑板,处理器802和本文中所描述的其他部件也可以连接到该逻辑板上。如此,集成存储装置818被集成在计算设备中。集成存储装置818被配置为存储操作系统或其部分、应用程序、数据以及本文中所描述的其他软件部件。
可移除存储装置820可以包括固态存储器、硬盘或固态存储器和硬盘的组合。在一些配置中,提供可移除存储装置820来代替集成存储装置818。在其他配置中,可移除存储装置820被提供作为附加的可选存储装置。在一些配置中,可移除存储装置820在逻辑上与集成存储装置818组合,使得总可用存储装置可用作总组合存储容量。在一些配置中,集成存储装置818和可移除存储装置820的总组合容量被向用户示出,而不是用于集成存储装置818和可移除存储装置820的单独存储容量。
可移除存储装置820被配置为插入到可移除存储器插槽(未示出)或其他机构中,可移除存储装置820通过该机构插入和固定,以便于连接;通过该连接,可移除存储装置820可以与计算设备的诸如处理器802之类的其他部件通信。可移除存储装置820可以以各种存储器卡格式体现,这些存储器卡格式包括但不限于pc卡、compactflash卡、记忆棒、安全数字(“sd”)、minisd、microsd、通用集成电路卡(“uicc”)(例如,订户身份模块(“sim”)或通用sim(“usim”))、专有格式等。
应当理解,存储器部件804中的一个或多个存储器部件可以存储操作系统。根据各种配置,操作系统包括但不限于来自symbianlimited的symbianos、来自华盛顿州雷德蒙德市的微软公司的windowsmobileos、来自微软公司的windowsphoneos、来自微软公司的windows、来自加利福尼亚州帕洛阿尔托市的hewlett-packard公司的palmwebos、来自加拿大安大略省滑铁卢市的researchinmotion有限公司的blackberryos、来自加利福尼亚州库比蒂诺的苹果公司的ios以及来自加利福尼亚州mountainview的谷歌公司的androidos。其他操作系统也被设想。
网络连接性部件806包括无线广域网部件(“wwan部件”)822、无线局域网部件(“wlan部件”)824和无线个域网部件(“wpan部件”)826。网络连接性部件806便于往返于网络104或另一网络(其可以是wwan、wlan或wpan)的通信。尽管仅图示了网络104,网络连接性部件806可以便于与包括图7的网络104在内的多个网络的同时通信。例如,网络连接性部件806可以便于经由wwan、wlan或wpan中的一个或多个与多个网络的同时通信。
网络104可以是或可以包括wwan,诸如利用一个或多个移动通信技术以经由wwan部件822利用计算设备体系架构800向计算设备提供话音和/或数据服务的移动通信网络。移动通信技术可以包括但不限于全球移动通信系统(“gsm”)、码分多址(“cdma”)one、cdma2000、通用移动通信系统(“umts”)、长期演进(“lte”)和全球微波接入互操作性(“wimax”)。此外,网络104可以利用各种信道接入方法(其可以被或不被上述标准使用),其包括但不限于时分多址(“tdma”)、频分多址(“fdma”)、cdma、宽带cdma(“w-cdma”)、正交频分复用(“ofdm”)、空分多址(“sdma”)等。数据通信可以使用通用分组无线业务(“gprs”),全球演进的增强型数据速率(“edge”),包括高速下行分组接入(“hspa”)、增强型上行链路(“eul”)或另外被称为高速上行链路分组接入(“hsupa”)的高速分组接入(“hspa”)协议族,演进型hspa(“hspa+”),lte以及各种其他当前和未来无线数据接入标准来提供。网络104可以被配置为使用上述技术的任何组合来提供话音和/或数据通信。网络104可以被配置为或适用于根据未来世代的技术提供话音和/或数据通信。
在一些配置中,wwan部件822被配置为提供到网络104的双模式或多模式连接性。例如,wwan部件822可以被配置为提供到网络104的连接性,其中网络104经由gsm和umts技术或经由其他技术的组合提供服务。可替代地,多个wwan部件822可以用来执行这种功能,和/或提供附加功能以支持其他不兼容技术(即,不能被单个wwan部件支持)。wwan部件822可以促进到多个网络(例如,umts网络和lte网络)的类似连接性。
网络104可以是根据诸如ieee802.11a、802.11b、802.11g、802.11n和/或未来802.11标准之类的一个或多个电气和电子工程师协会(“ieee”)802.11标准(本文中统称为wi-fi)操作的wlan。草案802.11标准也被设想。在一些配置中,wlan利用一个或多个无线wi-fi接入点来实现。在一些配置中,一个或多个无线wi-fi接入点是具有到用作wi-fi热点的wwan的连接性的另一计算设备。wlan部件824被配置为经由wi-fi接入点连接到网络104。这种连接可以经由各种加密技术来保护,这些技术包括但不限于wi-fi保护访问(“wpa”)、wpa2、有线等效保密(“wep”)等。
网络104可以是根据红外数据协会(“irda”)、蓝牙、无线通用串行总线(“usb”)、z波、zigbee或某种其他短程无线技术操作的wpan。在一些配置中,wpan部件826被配置为便于经由wpan与诸如外围设备、计算机或其他计算设备之类的其他设备的通信。
传感器部件808包括磁力计828、环境光传感器830、接近传感器832、加速度计834、陀螺仪836和全球定位系统传感器(“gps传感器”)838。应当设想,其他传感器(诸如但不限于温度传感器或震动检测传感器)也可以被包含在计算设备体系架构800中。
磁力计828被配置为测量磁场的强度和方向。在一些配置中,磁力计828向存储在存储器部件804中的一个存储器部件内的指南针应用程序提供测量,以便向用户提供包括基本方向(即,北、南、东和西)的参照系中的准确方向。可以向包括指南针部件的导航应用程序提供类似的测量。由磁力计828获得的测量的其他用途被设想。
环境光传感器830被配置为测量环境光。在一些配置中,环境光传感器830向存储在一个存储器部件804内的应用程序提供测量,以便自动调整显示器的亮度(下文所描述的)以补偿低光环境和高光环境。由环境光传感器830获得的测量的其他用途被设想。
接近传感器832被配置为在没有直接接触的情况下检测接近计算设备的对象或物体的存在。在一些配置中,接近传感器832检测用户身体(例如,用户的面部)的存在并且将该信息提供给存储在存储器部件804中的一个存储器部件内的应用程序,该应用程序利用接近信息来启用或禁用计算设备的某些功能。例如,电话应用程序可以响应于接收到接近信息而自动禁用触摸屏(下文所描述的),使得用户的面部在呼叫期间不会无意中结束呼叫或启用/禁用电话应用程序内的其他功能。作为接近传感器828检测到的接近的其他用途被设想。
加速度计834被配置为测量适当的加速度。在一些配置中,来自加速度计834的输出被应用程序用作输入机制以控制应用程序的一些功能。例如,应用程序可以是视频游戏,其中角色、其部分或对象响应于经由加速度计834接收到的输入而被移动或以其他方式被操纵。在一些配置中,来自加速度计834的输出被提供给用于在横向模式和纵向模式之间切换,计算坐标加速度或检测下降的应用程序。加速度计834的其他用途被设想。
陀螺仪836被配置为测量和维持方位。在一些配置中,来自陀螺仪836的输出被应用程序用作输入机制以控制应用程序的一些功能。例如,陀螺仪836可以用于精确识别视频游戏应用或某个其他应用的3d环境内的移动。在一些配置中,应用程序利用来自陀螺仪836和加速度计834的输出来增强对应用程序的某些功能的控制。陀螺仪836的其他用途被设想。
gps传感器838被配置为接收来自gps卫星的信号以用于计算位置。由gps传感器838计算出的位置可以被需要位置信息或者受益于位置信息的任何应用程序使用。例如,由gps传感器838计算的位置可以与导航应用程序一起使用,以提供从该位置到目的地的方向或从目的地到该位置的方向。此外,gps传感器838可以用于向诸如e911服务之类的基于外部位置的服务提供位置信息。gps传感器838可以利用网络连接性部件806中的一个或多个网络连接性部件获取经由wi-fi、wimax和/或蜂窝三角测量技术生成的位置信息,以帮助gps传感器838获得位置方位。gps传感器838也可以被用于辅助gps(“a-gps”)系统。
i/o部件810包括显示器840、触摸屏842、数据i/o接口部件(“数据i/o”)844、音频i/o接口部件(“音频i/o”)846、视频i/o接口部件(“视频i/o”)848和相机850。在一些配置中,显示器840和触摸屏842被组合。在一些配置中,数据i/o部件844、音频i/o部件846和视频i/o部件848中的两个或更多个被组合。i/o部件810可以包括被配置为支持下文所描述的各种接口的分立处理器,或者可以包括内置于处理器802的处理功能。
显示器840是输出设备,其被配置成以视觉形式呈现信息。具体地,显示器840可以呈现图形用户界面(“gui”)元素、文本、图像、视频、通知、虚拟按钮、虚拟键盘、消息传送数据、互联网内容、设备状态、时间、日期、日历数据、偏好、地图信息、位置信息以及能够以视觉形式呈现的任何其他信息。在一些配置中,显示器840是利用任何有源或无源矩阵技术和任何背光技术(如果使用的话)的液晶显示器(“lcd”)。在一些配置中,显示器840是有机发光二极管(“oled”)显示器。其他显示器类型被设想。
触摸屏842(在本文中也被称为“触摸使能屏幕”)是输入设备,其被配置为检测触摸的存在和位置。触摸屏842可以是电阻式触摸屏、电容式触摸屏、表面声波触摸屏、红外触摸屏、光学成像触摸屏、分散信号触摸屏、声脉冲识别触摸屏,或者可以利用任何其他触摸屏技术。在一些配置中,触摸屏842被包含在显示器840的顶层作为透明层,以使得用户能够使用一个或多个触摸来与对象或在显示器840上呈现的其他信息交互。在其他配置中,触摸屏842是触摸板,其被包含在计算设备的表面上,该计算设备不包括显示器840。例如,计算设备可以具有包含在显示器840的顶层的触摸屏和与显示器840相对的表面上的触摸板。
在一些配置中,触摸屏842是单点触摸触摸屏。在其他配置中,触摸屏842是多点触摸触摸屏。在一些配置中,触摸屏842被配置为检测分立触摸、单点触摸手势和/或多点触摸手势。为了方便起见,这些统称为手势。现在将对几个手势进行描述。应当理解,这些手势是说明性的,并非旨在限制所附权利要求的范围。此外,所描述的手势、附加的手势和/或备选的手势可以以与触摸屏842一起使用的软件来实现。如此,开发人员可以创建特定于特定应用程序的手势。
在一些配置中,触摸屏842支持轻击手势,其中用户在显示器840上呈现的项目上轻击触摸屏842一次。轻击手势可以用于各种原因,其包括但不限于打开或启动用户轻击的无论什么对象。在一些配置中,触摸屏842支持双击手势,其中用户在显示器840上呈现的项目上轻击触摸屏842两次。双击手势可以用于各种原因,其包括但不限于分阶段放大或缩小。在一些配置中,触摸屏842支持轻击并保持手势,其中用户轻击触摸屏842并保持接触持续至少预先定义的时间。轻击并且保持手势可以用于各种原因,其包括但不限于打开上下文特定的菜单。
在一些配置中,触摸屏842支持平移手势(pangesture),其中用户将手指放置在触摸屏842上并且在触摸屏842上移动手指的同时维持与触摸屏842的接触。平移手势可以用于各种原因,其包括但不限于以受控制的速率移动屏幕、图像或菜单。还设想了多个手指平移手势。在一些配置中,触摸屏842支持轻拂手势,其中用户在用户想要移动屏幕的方向上轻扫手指。该轻拂手势可以用于各种原因,其包括但不限于水平或垂直从头至尾滚动菜单或页面。在一些配置中,触摸屏842支持收放手势(pinchandstretchgesture),其中用户使用两个手指(例如,拇指和食指)在触摸屏842上进行收缩动作或者将两个手指分开。收放手势可以用于各种原因,其包括但不限于逐渐放大或缩小网站、地图或图片。
尽管已经参考使用一个或多个手指来执行手势对上述手势进行了描述,但是诸如脚趾之类的其他附体或诸如手写笔之类的对象可以用来与触摸屏842交互。如此,上述手势应当被理解为是说明性的,并且不应该被解释为以任何方式受到限制。
数据i/o接口部件844被配置为便于将数据输入到计算设备并且从计算设备输出数据。在一些配置中,例如,出于同步操作目的,数据i/o接口部件844包括连接器,其被配置为提供计算设备与计算机系统之间的有线连接性。连接器可以是专用连接器或标准化连接器,诸如usb、微型usb、小型usb等。在一些配置中,连接器是基座连接器,其用于将计算设备与诸如插接站、音频设备(例如,数字音乐播放器)或视频设备之类的另一设备对接。
音频i/o接口部件846被配置为向计算设备提供音频输入和/或输出能力。在一些配置中,音频i/o接口部件846包括麦克风,其被配置为收集音频信号。在一些配置中,音频i/o接口部件846包括耳机插孔,其被配置为向耳机或其他外部扬声器提供连接性。在一些配置中,音频i/o接口部件846包括用于输出音频信号的扬声器。在一些配置中,音频i/o接口部件846包括光学音频缆线输出。
视频i/o接口部件848被配置为向计算设备提供视频输入和/或输出能力。在一些配置中,视频i/o接口部件848包括被配置为从另一设备(例如,诸如dvd或bluray播放器之类的视频媒体播放器)接收视频作为输入或者将视频作为输出发送到另一设备(例如,监视器、电视机或其他外部显示器)。在一些配置中,视频i/o接口部件848包括输入/输出视频内容的高清晰度多媒体接口(“hdmi”)、迷你hdmi、微型hdmi、displayport或专有连接器。在一些配置中,视频i/o接口部件848或其部分与音频i/o接口部件846或其部分相组合。
相机850可以被配置为捕获静止图像和/或视频。相机850可以利用电荷耦合器件(“ccd”)或互补金属氧化物半导体(“cmos”)图像传感器来捕获图像。在一些配置中,相机850包括辅助在低光照环境中拍摄照片的闪光灯。相机850的设置可以被实现为硬件或软件按钮。
尽管未图示,但是计算设备体系架构800中还可以包括一个或多个硬件按钮。硬件按钮可以用于控制计算设备的某个操作方面。硬件按钮可以是专用按钮或多用途按钮。硬件按钮可以是机械的或基于传感器的。
所图示的功率部件812包括一个或多个电池852,其可以连接到电池量具854。电池852可以是可再充电的或一次性的。可充电电池类型包括但不限于锂聚合物、锂离子、镍镉和镍金属氢化物。电池852中的每个电池可以由一个或多个电池单元构成。
电池量具854可以被配置为测量电池参数,诸如电流、电压和温度。在一些配置中,电池量具854被配置为测量电池的放电速率、温度、寿命和其他因素的影响,以在一定百分比的误差内预测剩余寿命。在一些配置中,电池量具854向应用程序提供测量,该应用程序被配置为利用该测量向用户呈现有用的功率管理数据。功率管理数据可以包括以下一项或多项:所使用电池的百分比、剩余电池的百分比、电池状况、剩余时间、剩余容量(例如,以瓦特小时计)、电流消耗和电压。
功率部件812还可以包括功率连接器,该功率连接器可以与前述i/o部件810中的一个或多个i/o部件组合。功率部件812可以经由功率i/o部件与外部功率系统或充电设备对接。
本文中所呈现的公开内容可以鉴于以下条款而被考虑。
a.一种系统,其包括图像源,其用于将图像数据投影到至少一个反射光学表面上,该图像数据与图像相对应;以及至少一个反射光学表面,其包括光学表面和反射表面,其中光学表面使得图像的第一副本被呈现在第一焦平面中;并且在与图像的第一副本在第一焦平面中被呈现的时间基本上相同的时间,反射表面使得图像的第二副本呈现在第二焦平面中。
b.根据段落a所述的系统,其中至少一个反射光学表面包括次级表面镜。
c.根据段落b所述的系统,其中光学表面是部分反射的;至少一个反射光学表面使得图像的副本被呈现在三个或更多个焦平面中;并且三个或更多个焦平面中的至少一个焦平面包括被光学表面的前表面反射至少两次的图像数据。
d.根据段落a至c中的任一段所述的系统,其中图像的第一副本与第一清晰度相关联,并且图像的第二副本与第二清晰度关联,第二清晰度与第一清晰度不同。
e.根据段落d所述的系统,其中第一焦平面与期望的焦平面相对应,并且第一清晰度使得图像的第一副本看起来聚焦。
f.根据段落d所述的系统,其中第二焦平面与不是期望的焦平面的焦平面相对应,并且第二清晰度使得图像的第二副本看起来离焦。
g.根据段af所述的系统,其中至少一个反射光学表面与多个反射光学表面相关联,该多个反射光学表面导致图像的附加副本被呈现在除了第一焦点平面和第二焦平面之外的多个焦平面中。
h.根据段落g所述的系统,其中图像的附加副本在基本上相同的时间在多个焦平面的个体焦平面中被感知。
i.根据段落a至h中的任一段所述的系统,还包括一个或多个处理器;存储器;以及一个或多个模块,其被存储在存储器中并且由一个或多个处理器可执行,以执行包括以下各项的操作:确定期望的焦距;确定期望的焦距与第一焦平面相对应;以及生成图像用于由图像源在第一焦平面中使用以下清晰度进行再现,该清晰度使得图像看起来清晰。
j.一种计算机实现的方法,其包括:确定期望的焦距;在多个焦平面的焦平面中再现包括一个或多个虚拟对象的图像,其中多个焦平面中的个体焦平面中的各个焦平面通过多个反射光学表面中的对应光学表面来生成;并且焦平面与期望的焦距相对应;以及至少部分地基于在焦平面中再现图像,使得图像的副本在多个焦平面中的其他焦平面中被感知。
k.根据段落j所述的计算机实现的方法,还包括:使用使得图像看起来聚焦的第一清晰度来再现图像。
l.根据段落k所述的计算机实现的方法,其中图像的副本与使得图像的副本看起来离焦的第二清晰度相关联。
m.根据段落j至l中的任一段所述的计算机实现的方法,还包括:至少部分地基于一个或多个虚拟对象中的个体虚拟对象与期望的焦距之间的距离,使用不同的清晰度再现个体虚拟对象。
n.根据段落j至m中的任一段所述的计算机实现的方法,其中确定期望的焦距至少部分地基于以下至少一项:访问指示用户的左眼或右眼中的至少一个的晶状体的形状的测量的第一数据;在基本上同时访问与左眼和右眼朝向彼此旋转的程度相关联的第二数据;或利用试探法来估计期望的焦距。
o.一种或多种利用指令进行编码的计算机可读介质,该指令当由处理器执行时,配置计算机以执行根据段落j至n中的任一段所述的方法。
p.一种设备,其包括一个或多个处理器和一个或多个计算机可读介质,该一个或多个计算机可读介质编码有指令,该指令当由一个或多个处理器执行时,将计算机配置为执行根据段落j至n中的任一段所述的计算机实现的方法。
q.一种计算机实现的方法,包括:用于确定期望的焦距的装置;用于在多个焦平面中的焦平面中再现包括一个或多个虚拟对象的图像的装置,其中多个焦平面中的个体焦平面的单独焦平面通过多个反射光学表面中的对应光学表面来生成;并且该焦平面与期望的焦距相对应;以及用于至少部分地基于在焦平面中再现图像来使得图像的副本在多个焦平面的其他焦平面中被感知的装置。
r.根据段落q所述的计算机实现的方法,还包括装置,其用于使用图像看起来聚焦的第一清晰度来再现图像。
s.根据段落r所述的计算机实现的方法,其中图像的副本与导致图像的副本看起来离焦的第二清晰度相关联。
t.根据段落q至s中的任一段所述的计算机实现的方法,还包括装置,其用于至少部分地基于一个或多个虚拟对象中的个体虚拟对象与期望的焦距之间的距离,使用不同的清晰度再现个体虚拟对象。
u.根据段落q至t中的任一段所述的计算机实现的方法,其中确定期望的焦距至少部分地基于以下至少一项:访问指示用户的左眼或右眼中的至少一个的晶状体的形状的测量的第一数据;在基本上同时访问与左眼和右眼朝向彼此旋转的程度相关联的第二数据;或利用试探法来估计期望的焦距。
v.一种设备,包括多个反射光学表面,该多个反射光学表面被布置在彼此的顶部上并且被配置为生成多个焦平面;图像源,其用于将图像数据投影到多个反射光学表面上,该图像数据与包括一个或多个虚拟对象的图像相对应;以及具有计算机可执行指令的一个或多个计算机存储介质,该计算机可执行指令当由一个或多个处理器执行时,将一个或多个处理器配置为执行包括以下各项的操作:生成图像以供图像源在多个焦平面中的焦平面中再现,该图像具有第一清晰度,该第一清晰度使得图像看起来聚焦;以及至少部分地基于在焦平面中再现图像的图像源,使得图像的副本基本上同时在多个焦平面的各个焦平面中被感知,其中图像的副本具有第二清晰度,该第二清晰度与第一清晰度不同,该第二清晰度使得图像的副本看起来离焦。
w.根据段落v所述的设备,其中多个反射光学表面的各个反射光学表面可以与衍射元件相关联。
x.根据段落v或w所述的设备,其中一个或多个计算机存储介质将一个或多个处理器配置为执行还包括以下各项的操作:确定期望的焦距;以及确定期望的焦距与焦平面相对应。
y.根据段落x所述的设备,其中一个或多个计算机存储介质将一个或多个处理器配置为执行还包括以下各项的操作:确定一个或多个虚拟对象中的第一虚拟对象位于期望的焦距处;以及使得图像源使用第三清晰度再现第一虚拟对象,该第三清晰度使得第一虚拟对象看起来清晰。
z.根据段落y所述的设备,其中一个或多个计算机存储介质将一个或多个处理器配置为执行还包括以下操作的操作:确定第二虚拟对象位于不与期望的焦距相对应的另一焦距处;以及使得图像源使用第四清晰度再现第二虚拟对象,该第四清晰度使得第二虚拟对象看起来离焦。
aa.根据段落w至z中的任一段所述的设备,其中基本上同时在个体焦平面中感知的图像的副本使得在图像周围感知到光环。
尽管已经用特定于结构特征和/或方法动作的语言对主题进行了描述,但是应当理解,在所附权利要求中限定的主题不一定限于所描述的具体特征或动作。相反,具体特征和动作被描述为实现权利要求的说明性形式。
除非另有特别说明,否则除了别的之外,诸如“可以(can)”、“可能(could)”、“可能(might)”或“能够(can)”之类的条件语言在上下文中被理解为表示某些示例包括而其他示例不一定包括的某些特征、元件和/或步骤。因此,这样的条件语言通常并不意味着以任何方式被需要的一个或多个示例的某些特征、元件和/或步骤,或者一个或多个示例必然包括用于在具有或不具有输入或提示的情况下决定是否某些特征,元件和/或步骤被包括在任何特定的示例中或将在任何特定的示例中被执行。除非另有特别说明,否则诸如短语“x、y或z中的至少一个”之类的连接性语言应当理解为表示项目、术语等可以是x、y或z的任一个、或者其组合。