使用便携式电子设备的显示装置和方法与流程

本发明总体上涉及虚拟现实；更具体地，涉及使用便携式电子设备的显示装置。此外，本发明还涉及通过上述显示装置进行显示的方法。

背景技术：

近期以来，用于向用户呈现模拟环境(或虚拟世界)的诸如虚拟现实、增强现实等技术的使用迅速增多。具体地，模拟环境通过使用诸如立体观测等的现代技术向用户提供一种沉浸在模拟环境中的感觉来增强用户对他/她周围的现实的体验。

通常，用户可以使用例如像虚拟现实设备之类的设备来体验这样的模拟环境。可选地，这种虚拟现实设备包括近场显示器。这种虚拟现实设备的示例包括头戴式虚拟现实设备、虚拟现实眼镜等等。此外，通常，虚拟现实设备包括双目虚拟现实设备，其针对用户的每只眼睛都具有一个显示器。在这种情况下，双目虚拟现实设备的两个显示器向用户的眼睛显示不同的二维图像(也称为立体图像)，用于通过组合该不同的二维图像来创建深度幻觉。然而，传统的虚拟现实设备具有一定的局限性。首先，虚拟现实设备需要包括高分辨率显示器，以能够向用户提供对模拟环境的沉浸感和更好的感知。因此，包括这种复杂显示器的虚拟现实设备是昂贵的。其次，传统虚拟现实设备中采用的处理器通常缺乏可以使处理延迟最小化的基本上先进的处理功能。因此，处理滞后(即，高的处理延迟)影响用户对模拟环境的体验。

因此，鉴于前述讨论，存在克服与传统虚拟现实设备相关的上述缺陷的需要。

技术实现要素：

本发明寻求提供一种显示装置，该显示装置被布置成可拆卸地附接到便携式电子设备并且可通讯地耦接到便携式电子设备。本发明还寻求提供一种通过这种显示装置和便携式电子设备进行显示的方法。本发明针对虚拟现实设备中存在的显示器昂贵和处理延迟显著的问题寻求提供一种解决方案。本发明的目的在于提供一种至少部分地克服了现有技术中遇到的问题的解决方案，并且提供一种鲁棒的且高效的显示装置。

一方面，本发明的实施例提供了一种显示装置，该显示装置包括：

-至少一个聚焦显示器；

-用于检测注视方向的器件；以及

-处理器，该处理器被耦接到至少一个聚焦显示器和用于检测注视方向的器件，

其中，显示装置被布置成可拆卸地附接到便携式电子设备并与便携式电子设备可通讯地耦接，该便携式电子设备包括显示器和被耦接到显示器的处理器；

其中，显示装置的处理器或便携式电子设备的处理器中的任何一个被配置为：

-获取输入图像，并且利用检测到的注视方向来确定输入图像的视觉精确度区域；以及

-处理输入图像以生成背景图像和聚焦图像，该背景图像具有第一分辨率，并且该聚焦图像具有第二分辨率，其中：

(i)背景图像中的与输入图像的视觉精确度区域基本上对应的区域被

掩蔽，

(ii)聚焦图像基本上对应于输入图像的视觉精确度区域，以及

(iii)第二分辨率高于第一分辨率；

其中，显示装置的处理器被配置为使聚焦图像在至少一个聚焦显示器处呈现，所呈现的聚焦图像的投影的角宽度的范围为从5度到60度，同时便携式电子设备的处理器被配置为使背景图像在便携式电子设备的显示器处呈现，所呈现的背景图像的投影的角宽度的范围为从40度到220度；

进一步地，其中将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行光学组合以创建视觉场景。

另一方面，本发明的实施例提供了一种通过显示装置和便携式电子设备进行显示的方法，该显示装置包括至少一个聚焦显示器和用于检测注视方向的器件，该便携式电子设备包括显示器，该显示装置被可拆卸地附接到便携式电子设备并与便携式电子设备可通讯地耦接，该方法包括：

(a)在显示装置处检测注视方向；

(b)在显示装置或便携式电子设备中的任何一个处获取输入图像，并利用检测到的注视方向来确定输入图像的视觉精确度区域；

(c)在显示装置或便携式电子设备中的任何一个处处理输入图像以生成背景图像和聚焦图像，该背景图像具有第一分辨率，并且该聚焦图像具有第二分辨率，其中：

(i)背景图像中的与输入图像的视觉精确度区域基本上对应的区域被

掩蔽，

(ii)聚焦图像基本上对应于输入图像的视觉精确度区域，以及

(iii)第二分辨率高于第一分辨率；

(d)在显示装置的至少一个聚焦显示器处呈现聚焦图像，同时在便携式电子设备的显示器处呈现背景图像，其中，所呈现的聚焦图像的投影的角宽度的范围为从5度到60度，并且所呈现的背景图像的投影的角宽度的范围为从40度到220度；以及

(e)将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行光学组合以创建视觉场景。

本发明的实施例基本上消除了或至少部分地解决了现有技术中的上述问题，并且能够最小化虚拟现实设备内的处理延迟，从而增强用户对由这种虚拟现实设备展现的模拟环境的体验。

根据附图和结合以下所附权利要求解释的示例性实施例的详细描述，本发明的其他方面、优点、特征和目的将变得显而易见。

应当理解，在不脱离由所附权利要求限定的本发明的范围的情况下，本发明的特征易于以各种组合方式进行组合。

附图说明

当结合附图阅读时，可以更好地理解以上发明内容以及以下示例性实施例的详细描述。出于说明本发明的目的，在附图中示出了本发明的示例性结构。然而，本发明不限于本文公开的具体方法和手段。此外，本领域技术人员将理解，附图不是按比例绘制的。在任何可能的情况下，类似的元件用相同的附图标记来表示。

现将参照以下附图，仅以示例的方式来描述本发明的实施例，其中：

图1为根据本发明的实施例的包括显示装置和便携式电子设备的显示系统的示意图；

图2为根据本发明的实施例的显示装置和便携式电子设备的架构的框图；

图3a至图3b为根据本发明的实施例的显示系统关于用户眼睛的示例性操作的示意图；

图4为根据本发明的实施例的便携式电子设备的显示器和显示装置的聚焦显示器的示例性表示；

图5a至图5i为根据本发明的各种实施例的显示系统的示例性实施方式；以及

图6示出了根据本发明的实施例的通过显示装置和便携式电子设备进行显示的方法的步骤。

在附图中，带下划线的数字被用于表示该带下划线的数字位于其上的项或与该带下划线数字邻近的项。不加下划线的数字涉及由直线标识的项，该直线将不加下划线的数字链接到该项。当数字没有加下划线并伴有相关的箭头时，该未加下划线的数字被用于标识箭头指向的一般项。

具体实施方式

以下详细描述示出了本发明的实施例以及可以实现这些实施例的方式。虽然已经公开了实施本发明的一些方式，但是本领域技术人员将认识到，用于实施或实践本发明的其他实施例也是可能的。

一方面，本发明的实施例提供了一种显示装置，该显示装置包括：

-至少一个聚焦显示器；

-用于检测注视方向的器件；以及

-被耦接到至少一个聚焦显示器和用于检测注视方向的器件的处理器，

其中，显示装置被布置成可拆卸地附接到便携式电子设备并与便携式电子设备可通讯地耦接，该便携式电子设备包括显示器和被耦接到显示器的处理器；

其中，显示装置的处理器或便携式电子设备的处理器中的任一个被配置为：

-获取输入图像，并利用检测到的注视方向来确定输入图像的视觉精确度区域；以及

-处理输入图像以生成背景图像和聚焦图像，该背景图像具有第一分辨率，该聚焦图像具有第二分辨率，其中：

(i)背景图像中的与输入图像的视觉精确度区域基本上对应的区域被

掩蔽，

(ii)聚焦图像基本上对应于输入图像的视觉精确度区域，以及

(iii)第二分辨率高于第一分辨率；

其中，显示装置的处理器被配置为使聚焦图像在至少一个聚焦显示器处呈现，所呈现的聚焦图像的投影的角宽度的范围为从5度到60度，同时便携式电子设备的处理器被配置为使背景图像在便携式电子设备的显示器处呈现，所呈现的背景图像的投影的角宽度的范围为从40度到220度；

进一步地，其中，将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行光学组合以创建视觉场景。

在另一方面，本发明的实施例提供了一种通过显示装置和便携式电子设备进行显示的方法，该显示装置包括至少一个聚焦显示器和用于检测注视方向的器件，该便携式电子设备包括显示器，该显示装置可拆卸地附接到便携式电子设备并与便携式电子设备可通讯地耦接，该方法包括：

(a)在显示装置处检测注视方向；

(b)在显示装置或便携式电子设备中的任何一个处获取输入图像，并利用检测到的注视方向来确定输入图像的视觉精确度区域；

(c)在显示装置或便携式电子设备中的任何一个处处理输入图像以生成背景图像和聚焦图像，背景图像具有第一分辨率且聚焦图像具有第二分辨率，其中：

(i)背景图像中的与输入图像的视觉精确度区域基本上对应的区域被

掩蔽，

(ii)聚焦图像基本上对应于输入图像的视觉精确度区域，以及

(iii)第二分辨率高于第一分辨率；

(d)在显示装置的至少一个聚焦显示器处呈现聚焦图像，同时在便携式电子设备的显示器处呈现背景图像，其中，所呈现的聚焦图像的投影的角宽度的范围为从5度到60度，且所呈现的背景图像的投影的角宽度的范围为从40度到220度；以及

(e)将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行光学组合以创建视觉场景。

本发明提供了上述显示装置和上述通过所述显示装置进行显示的方法。本文描述的显示装置是方便用户使用的，并且能够向其用户提供鲁棒的模拟环境。此外，由于处理功能(即，处理负担)在显示装置的处理器和便携式电子设备的处理器之间被分担，因此显著降低了在呈现模拟环境方面的处理延迟。因此，这种处理延迟的最小化增强了用户对模拟环境的体验。

在整个本发明中，术语“便携式电子设备”涉及包括硬件、软件、固件或这些的组合并且可操作以至少实现处理功能和呈现功能的便携式电子设备。应当理解，便携式电子设备的处理器可被操作以实现前述处理功能，并且便携式电子设备的显示器可被操作以实现前述呈现功能。值得注意的是，便携式电子设备的显示器被配置为提供用于呈现前述背景图像的背景区域。便携式电子设备的示例包括但不限于智能手机、平板手机、个人数码助理(pda)。

可选地，便携式电子设备的显示器选自由以下各项组成的组：液晶显示器(lcd)、基于发光二极管(led)的显示器、基于有机led(oled)的显示器、基于微型oled的显示器、基于硅基液晶(lcos)的显示器和基于(dlp)的显示器。

应该理解，便携式电子设备也可以称为手持式设备、移动设备等等。

在一个实施例中，便携式电子设备安装在(即，附接到)显示装置上。可选地，在这种情况下，显示装置支撑安装在其上的便携式电子设备。

在另一个实施例中，例如，如图1所示，便携式电子设备滑入显示装置的侧面的空腔中。可选地，显示装置的侧面的空腔被成形为容纳便携式电子设备。

应当理解，当用户佩戴显示装置时，便携式电子设备以便携式电子设备的显示器被定向成朝向(即，面对)用户的眼睛的方式附接到显示装置。

应当理解，显示装置和便携式电子设备的上述布置共同构成了显示系统。当用户佩戴显示装置且便携式电子设备被附接到显示装置时，显示系统可被操作以充当用于向用户展现视觉场景(例如像模拟环境内的位置)的例如像虚拟现实设备之类的设备。在显示系统中，视觉场景被投影到用户的眼睛上。

在一个实施例中，视觉场景是待展现给用户的模拟环境内的布景(例如像咖啡店环境、鬼屋、森林场景等等)。

此外，上述布置有助于对所呈现的背景图像的投影和所呈现的聚焦图像的投影进行正确的组合。如果这种组合不是最佳的(或不正确)，则如此创建的视觉场景可能出现失真。

在整个本发明中，本文使用的术语“聚焦显示器”涉及被适配成帮助将聚焦图像呈现在其上的显示器(即，屏幕)。可选地，至少一个聚焦显示器选自由以下各项组成的组：液晶显示器(lcd)、基于发光二极管(led)的显示器、基于有机led(oled)的显示器、基于微型oled的显示器、基于硅基液晶(lcos)的显示器和基于(dlp)的显示器。

可选地，至少一个聚焦显示器通过至少一个投影仪和至少一个投影屏幕实现。在这种情况下，至少一个投影屏幕适配于接收聚焦图像在其上的投影。例如，一个聚焦显示器可以通过单个投影仪和与其相关联的投影屏幕实现。

在整个本发明中，术语“用于检测注视方向的器件”涉及用于测量用户眼睛的注视方向和检测用户眼睛的移动的特定设备。应当理解，注视方向的精确检测使显示装置能够在其上密切地实施注视偶发事件。当显示装置在使用中时，用于检测注视方向的器件可以被放置成与用户的眼睛接触或可以被放置成与用户的眼睛不接触。用于检测注视方向的器件也可以称为“眼睛跟踪器”。用于检测注视方向的器件的示例包括但不限于具有传感器的接触镜，以及监测用户眼睛的瞳孔的位置的相机。这种眼睛跟踪器在本领域中是众所周知的。

在整个本发明中，显示装置的处理器通过硬件、软件、固件或这些的组合的方式来实现，并被配置为对显示装置的操作进行控制。在这种情况下，显示装置的处理器被配置为当用户使用显示系统时将聚焦图像显示(即，投影)到眼睛上，并且具体地将聚焦图像显示到用户眼睛的中央凹上。此外，显示装置的处理器被配置为当用户使用显示系统时采用用于检测注视方向的器件来检测他/她的注视方向。

类似地，在整个本发明中，便携式电子设备的处理器通过硬件、软件、固件或这些的组合的方式来实现，并被配置为对便携式电子设备的操作进行控制。在这种情况下，便携式电子设备的处理器被配置为当用户使用显示系统时将背景图像显示(即，投影)到眼睛上，并且具体地将背景图像显示到用户眼睛的视网膜上。

可选地，与显示装置的处理器的处理功能(即，处理能力)相比，便携式电子设备的处理器的处理功能(即，处理能力)更高强。

此外，可选地，显示装置的处理器和/或便携式电子设备的处理器中的至少一个与存储器单元通讯地耦接。可选地，在这方面，存储器单元通过硬件、软件、固件或这些的组合实现，并适合于存储输入图像。此外，可选地，存储器单元被配置为存储待通过显示系统进行显示的背景图像和聚焦图像。在这种情况下，存储器单元可以用在显示系统内或者可以处于远程位置。在一个示例中，存储器单元可以在便携式电子设备内实施。在另一示例中，存储器单元可以在显示装置内实施。

在整个本发明中，本文使用的术语“输入图像”涉及待通过显示系统进行显示的视觉场景的图像。具体地，输入图像描绘了要显示给用户的模拟环境。在一个实施例中，输入图像从被耦接到显示装置的处理器的图像传感器获得。在这种情况下，图像传感器(例如像直通式数码相机的图像传感器)可以捕获真实世界环境的图像，该真实世界环境的图像作为要投影到眼睛上的输入图像。在另一个实施例中，输入图像从被耦接到便携式电子设备的处理器的图像传感器获得。在这方面，便携式电子设备的处理器可选地对输入图像执行图像处理功能(例如像低通滤波、颜色处理、伽马(gamma)校正等等)。在又一个实施例中，从存储器单元接收输入图像。此外，可选地，存储器单元被配置为以例如像mpeg、jpeg、tiff、png、gif、bmp等合适的格式来存储输入图像。可选地，输入图像是计算机生成的图像。

在整个本发明中，术语“视觉精确度区域”涉及输入图像中的所检测到的用户眼睛注视方向在该处聚焦的区域。利用检测到的注视方向来确定视觉精确度区域。值得注意的是，视觉精确度区域是输入图像内的感兴趣的区域(即，凝视点)，并且被投影到用户的两只眼睛的中央凹上。此外，视觉精确度区域是用户在输入图像内注视的聚焦区域。因此，应当理解，当通过人类视觉系统观看输入图像时，视觉精确度区域涉及与输入图像的其他区域相比分解为更多细节的区域。

基于输入图像的视觉精确度区域，处理输入图像以生成背景图像和聚焦图像。聚焦图像基本上对应于输入图像的视觉精确度区域，而背景图像对应于输入图像的低分辨率表示。因此，背景图像包括输入图像的视觉精确度区域以及输入图像的剩余区域。此外，背景图像的尺寸大于聚焦图像的尺寸，因为聚焦图像仅对应于输入图像中的、检测到的眼睛注视方向在该处聚焦的部分(即，在视觉精度区域处)。

(聚焦图像的)第二分辨率高于(背景图像的)第一分辨率。应当理解，第一分辨率和第二分辨率应根据角分辨率来理解。换句话说，表示第二分辨率的每度像素高于表示第一分辨率的每度像素。作为示例，用户眼睛的中央凹可以对应于2度的视场，并且可以接收角横截面宽度等于114像素(表示每度57像素)的聚焦图像的投影。因此，对应于聚焦图像的角像素尺寸等于2/114或0.017。此外，在这种示例中，眼睛的视网膜可以对应于180度的视场，并且可以接收角横截面宽度等于2700像素(表示每度15像素)的背景图像的投影。因此，对应于背景图像的角像素尺寸等于180/2700或0.067。如所计算的，对应于背景图像的角像素尺寸明显大于对应于聚焦图像的角像素尺寸。然而，与聚焦图像相比，针对背景图像的由像素的总数表示的感知角分辨率更大，因为聚焦图像仅对应于背景图像的一部分，其中，该一部分对应于输入图像的视觉精确度区域。

此外，背景图像中的与输入图像的视觉精确度区域基本上对应的区域被掩蔽(仅为了方便起见，下文中称为掩蔽区域)。在这种情况下，对背景图像的区域进行掩蔽，以隐藏(即，遮掩)背景图像的与输入图像的视觉精确度区域对应的区域。例如，对应于输入图像的视觉精确度区域的背景图像像素可以被调暗(或变黑)以用于掩蔽。

可选地，执行掩蔽，使得所显示的输入图像的视觉精确度区域与所显示的输入图像的剩余区域之间的过渡区域接缝(或边缘)减小，例如，最小化。应当理解，所显示的输入图像的视觉精确度区域对应于聚焦图像的投影(以及背景图像的掩蔽区域)，而所显示的输入图像的剩余区域对应于背景图像的投影。可选地，该掩蔽作为渐变的灰度被执行，以便在背景图像的投影和聚焦图像的投影重叠(或叠加)时最小化过渡区域接缝，从而使所显示的输入图像呈现为连续的。可选地，在这方面，显示装置的处理器或便携式电子设备的处理器中的任何一个被配置为将与输入图像的视觉精确度区域对应的背景图像的像素明显调暗，并且随着背景图像与输入图像的视觉精确度区域的距离增加而逐渐减小该像素的调暗量。如果所呈现的背景图像和所呈现的聚焦图像的叠加(或重叠)投影的对齐和外观不正确和/或具有不连续性，则所显示的输入图像也是不正确的。

可选地，使用以下各项中的至少一项来执行该掩蔽：在过渡区域处在背景图像和聚焦图像之间使用具有相反值的线性透明掩膜混合物、包含自然地难以被用户眼睛检测到的形状的隐形(或掩饰)图案等。

在整个本发明中，术语“角宽度”是指当用户佩戴显示装置时，从用户眼睛看到的给定投影的角宽度。应当理解，所呈现的背景图像的投影的角宽度大于所呈现的聚焦图像的投影的角宽度，因为所呈现的聚焦图像通常投影在用户眼睛的中央凹上及其周围，而所呈现的背景图像投影在用户眼睛的视网膜上。

在一些实施方式中，所呈现的背景图像的投影的角宽度可以为例如40度、50度、60度、70度、80度、90度、100度、110度、120度、130度、140度、150度、160度、170度、180度、190度、200度、210或220度，而所呈现的聚焦图像的投影的角宽度可以为例如5度、10度、15度、20度、25度、30度、35度、40度、45度、50度、55度或60度。

在其他实施方式中，所呈现的背景图像的投影的角宽度大于220度。

应当理解，背景图像涉及视觉场景中的、要通过便携式电子设备的显示器在前述角宽度内进行呈现和显示以便应对与用户眼睛的移动相关的扫视的图像。此外，聚焦图像涉及描绘视觉场景的一部分(即，一部段)的、要通过显示装置在前述角宽度内进行呈现和显示以便应对与用户眼睛相关的扫视移动的图像。值得注意的是，聚焦图像在尺寸上小于背景图像。此外，背景图像和聚焦图像在将其投影进行光学组合时共同构成视觉场景。

根据一个实施例，当便携式电子设备的处理器被配置为处理输入图像以生成背景图像和聚焦图像时，显示装置的处理器被配置为将检测到的注视方向传送到便携式电子设备的处理器，并且从便携式电子设备的处理器接收聚焦图像。应当理解，这种实施方式能够减轻显示装置的处理器的处理负担。在这种情况下，便携式电子设备的处理器被配置为以例如像运动图像专家组(mpeg)、联合图像专家组(jpeg)、标记图像文件格式(tiff)、便携式网络图形(png)、图形交换格式(gif)以及位图文件格式(bmp)等的合适的格式传送聚焦图像。

可选地，在这方面，便携式电子设备的处理器被配置为在将聚焦图像传送到显示装置的处理器之前至少部分地处理聚焦图像。更可选地，便携式电子设备的处理器被配置为以压缩格式传送聚焦图像以避免在处理和呈现方面的滞后。随后，在这种情况下，显示装置的处理器被配置为在将所压缩的聚焦图像呈现在至少一个聚焦显示器上之前对所压缩的聚焦图像进行解压缩。

根据另一个实施例，当显示装置的处理器被配置为处理输入图像以生成背景图像和聚焦图像时，显示装置的处理器被配置为将背景图像传送到便携式电子设备的处理器。在这种情况下，显示装置的处理器被配置为以例如像mpeg、jpeg、tiff、png、gif、bmp等的合适的格式传送背景图像。更可选地，显示装置的处理器被配置为以压缩的格式传送背景图像以避免在处理和呈现方面的滞后。值得注意的是，非常有益的是基本上同时呈现背景图像和聚焦图像，以便能够在视觉场景中产生所期望的效果。

可选地，显示装置还包括至少一个光学组合器，该至少一个光学组合器用于以使所呈现的聚焦图像的投影与所呈现的背景图像中的掩蔽区域的投影基本上重叠的方式来将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行光学组合。此外，可选地，所呈现的背景图像与聚焦图像的组合投影共同构成输入图像的投影。有利地，这种光学组合操作使得能够避免输入图像的视觉精确度区域的失真。可选地，输入图像的视觉精确度区域出现在所呈现的低分辨率的背景图像和所呈现的高分辨率的聚焦图像两者中。此外，应该理解，同一区域的这种低分辨率图像和高分辨率图像的投影的重叠(或叠加)导致该同一区域的外观失真。应当理解，与所呈现的低分辨率的背景图像相比，所呈现的高分辨率的聚焦图像包含更多与输入图像的视觉精确度区域有关的信息。因此，背景图像中的与输入图像的视觉精确度区域基本上对应的区域可选地被掩蔽，并且使所呈现的聚焦图像的投影与该被掩蔽的区域重叠，以便投影所呈现的高分辨率的聚焦图像而不出现失真。

应当理解，背景图像和聚焦图像基本上同时地呈现以避免在对背景图像的投影和聚集图像的投影进行组合的期间出现时滞。可选地，呈现背景图像和聚焦图像以及光学地组合它们的投影的步骤基本上同时进行，并且对后续的背景图像和聚焦图像组重复这些步骤以产生一系列视觉场景(例如，呈现视频)。

在整个本发明中，术语“光学组合器”涉及用于对所呈现的背景图像的投影和所呈现的聚焦图像的投影进行光学组合以创建视觉场景的设备(例如像光学元件)。有利地，至少一个光学组合器可以被配置为模拟人类视觉系统的有效的中央凹。

可选地，至少一个光学组合器包括至少一个第一光学元件和至少一个第一致动器，该至少一个第一致动器用于调整所呈现的聚焦图像在至少一个第一光学元件上的投影的位置，其中，显示装置的处理器被配置为控制至少一个第一致动器以使得以下各项中的至少一项移动：

(i)至少一个聚焦显示器相对于至少一个光学组合器的至少一个第一光学元件，

(ii)至少一个光学组合器的至少一个第二光学元件相对于至少一个第一光学元件，其中至少一个第二光学元件位于至少一个第一光学元件和至少一个聚焦显示器之间的光路上，

(iii)至少一个光学组合器的至少一个第一光学元件。

可选地，至少一个第一光学元件被布置为使得所呈现的背景图像的投影能够基本上穿过，同时使得能够基本上对所呈现的聚焦图像的投影进行反射。具体地，至少一个第一光学元件被布置成以有助于所呈现的聚焦图像的投影入射到用户眼睛的中央凹上及其周围和有助于所呈现的背景图像的投影入射到用户眼睛的视网膜上的方式对所呈现的背景图像和聚焦图像的投影的光路进行组合，其中中央凹只是用户眼睛的视网膜的一小部分。

此外，可选地，至少一个第一光学元件通过以下各项中的至少一项实现：半透明反射镜、半透明膜、棱镜、偏振器、光波导。

作为示例，至少一个第一光学元件可以被实现为光波导。在这种示例中，光波导可以被布置为使得所呈现的聚焦图像的投影能够通过从该光波导进行的反射而传递到用户眼睛。此外，光波导可以是透明的，从而使便携式电子设备的显示器(并且具体地，背景图像)通过该光波导可见。因此，光波导可以是半透明的。可选地，光波导中还包括光学元件(例如像微棱镜、反射镜、衍射光学元件等)。此外，可选地，光波导是可倾斜的和/或可移动的。

可选地，当用户眼睛的注视方向从一个方向转移到另一个方向时，可以控制至少一个第一致动器以移动至少一个聚焦显示器。值得注意的是，在注视方向发生这种转移时，至少一个第一光学元件和至少一个聚焦显示器的先前布置可能无法最佳地将所呈现的聚焦图像投影到用户眼睛的中央凹上及其周围。因此，显示装置的处理器被配置为控制至少一个第一致动器以使得至少一个聚焦显示器相对于至少一个第一光学元件移动，从而调整所呈现的聚焦图像在至少一个第一光学元件上的投影的位置，以使得在注视方向发生转移时也能将所呈现的聚焦图像投影到用户眼睛的中央凹上及其周围。在一个示例中，至少一个第一致动器可以使至少一个聚焦显示器移动得更靠近至少一个第一光学元件或远离至少一个第一光学元件。在另一个示例中，至少一个第一致动器可以使至少一个聚焦显示器相对于至少一个第一光学元件侧向移动。在又一个示例中，至少一个第一致动器可以使至少一个聚焦显示器相对于至少一个第一光学元件倾斜和/或旋转。此外，可选地，显示装置的处理器被配置为通过生成致动信号(例如像电流、液压等)来控制至少一个第一致动器。

可选地，至少一个第二光学元件选自由透镜、棱镜、反射镜、偏振器和分束器组成的组。

此外，可选地，可控制至少一个第一致动器以使至少一个第二光学元件移动，从而调整所呈现的聚焦图像在至少一个第一光学元件上的投影的位置。在这种情况下，至少一个第二光学元件的移动使得能够改变所呈现的聚焦图像投影到至少一个第一光学元件上的光路，以有助于在注视方向发生转移时也能将所呈现的聚焦图像投影到用户眼睛的中央凹上及其周围。

作为示例，两个棱镜可以位于半透明反射镜(即，至少一个第一光学元件)和至少一个聚焦显示器之间的光路上。在这种情况下，所呈现的聚焦图像的投影的光路可以在穿过两个棱镜时改变，以调整所呈现的聚焦图像在半透明反射镜上的投影的位置。此外，可以通过至少一个第二致动器使得两个棱镜横向和/或侧向地移动、使得两个棱镜旋转、倾斜等等，以有助于在注视方向发生转移时也能将所呈现的聚焦图像投影到用户眼睛的中央凹上及其周围。

可选地，可以控制至少一个第一致动器以使得至少一个第一光学元件移动，从而调整所呈现的聚焦图像在至少一个第一光学元件上的投影的位置。应当理解，至少一个第一光学元件的这种移动有助于将所呈现的聚焦图像投影到用户眼睛的中央凹上及其周围，并且有助于将所呈现的背景图像投影到眼睛的视网膜上。

可选地，显示装置还包括至少一个聚焦透镜和至少一个第二致动器，该至少一个聚焦透镜位于至少一个第一光学元件和至少一个聚焦显示器之间的光路上，并且该至少一个第二致动器用于使至少一个聚焦透镜相对于至少一个聚焦显示器移动。在这种实施例中，显示装置的处理器被配置为控制至少一个第二致动器以调整所呈现的聚焦图像的投影的焦点。至少一个聚焦透镜具有与其相关的特有的性质，使得该聚焦透镜能够通过改变所呈现的聚焦图像的投影的光路的方式来调整所呈现的聚焦图像的投影的焦点。有利地，可以调整所呈现的聚焦图像的投影的焦点以适应屈光度调优、散光矫正等。

此外，可选地，显示装置的处理器被配置为通过对至少一个聚焦透镜施加控制信号来控制该至少一个聚焦透镜的至少一个有源光学特性。至少一个有源光学特性的示例包括但不限于焦距和光功率。可选地，控制信号为以下各项中的至少一项：电信号、液压。可选地，至少一个聚焦透镜为液晶透镜(lc透镜)。

可选地，附加的透镜位于背景图像和聚焦图像的投影的光路上。该附加的透镜为放大透镜或缩小(即，显小)透镜之一。有利地，这种透镜可以允许最佳地将背景图像的投影和聚焦图像的投影引导到用户眼睛上。

可选地，显示装置的处理器被配置为实施用于至少一个聚焦显示器的图像处理功能。在这种情况下，该图像处理功能在将聚焦图像在至少一个聚焦显示器处呈现之前实施。有利地，这种图像处理功能的实施使得能够优化所呈现的聚焦图像的质量。因此，可以通过考虑至少一个聚焦显示器、上述输入图像中的至少一个的性质来选择图像处理功能。此外，可选地，用于至少一个聚焦显示器的图像处理功能包括用于优化所感知的聚焦图像质量的至少一个功能，其中，该至少一个功能选自由图像裁剪、图像锐化、颜色处理和伽马校正组成的组。

可选地，便携式电子设备的处理器被配置为实施用于其显示器的图像处理功能。在这种情况下，该图像处理功能在将背景图像在便携式电子设备的显示器处呈现之前实施。有利地，这种图像处理功能的实施使得能够优化所呈现的背景图像的质量。因此，可以通过考虑便携式电子设备的显示器、输入图像中的至少一个的性质来来选择图像处理功能。此外，可选地，用于显示器的图像处理功能包括用于优化所感知的背景图像质量的至少一个功能，其中，该至少一个功能选自由低通滤波、图像裁剪、图像锐化、颜色处理和伽马校正组成的组。

可选地，用于至少一个聚焦显示器和/或便携式电子设备的显示器的图像处理功能还包括边缘处理，以使在所呈现的背景图像和聚焦图像的组合投影的边界上的感知的失真最小化。

本说明书还涉及如上文所述的方法。以上公开的各种实施例和变体都适用于该方法。

可选地，该方法还包括将检测到的注视方向从显示装置传送到便携式电子设备；以及在显示装置从便携式电子设备接收聚焦图像。

可选地，该方法还包括将背景图像从显示装置传送到便携式电子设备。

该方法可选地还包括使用显示装置的至少一个光学组合器以使所呈现的聚焦图像的投影与所呈现的背景图像的掩蔽区域的投影基本上重叠的方式来将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行组合。可选地，在这方面，至少一个光学组合器包括至少一个第一光学元件，并且所述方法然后还包括调整所呈现的聚焦图像在至少一个第一光学元件上的投影的位置，该调整通过控制至少一个光学组合器中的至少一个第一致动器以使以下各项中的至少一项移动来执行：

(i)至少一个聚焦显示器相对于至少一个光学组合器的至少一个第一光学元件；

(ii)至少一个光学组合器的至少一个第二光学元件相对于至少一个第一光学元件，其中该至少一个第二光学元件位于至少一个第一光学元件和至少一个聚焦显示器之间的光路上；

(iii)至少一个光学组合器的至少一个第一光学元件。

附图的详细描述

参照图1，示出了根据本发明的实施例的包括显示装置102和便携式电子设备104的显示系统100的示意图。显示装置102被布置成可拆卸地附接到便携式电子设备104，并且与便携式电子设备104可通讯地耦接。可选地，便携式电子设备104被布置在显示装置102的空腔106中。此外，当用户佩戴显示装置102时，可以操作显示系统100以用作用于向用户展现模拟环境的例如像虚拟现实设备之类的设备。

本领域技术人员应理解，为清楚起见，图1包括用于实施显示系统100的简化布置，这不应该不适当地限制本文权利要求的范围。本领域技术人员将认识到本发明的实施例的许多变体、替换和修改。

参照图2，示出了根据本发明的实施例的包括显示装置202和便携式电子设备204的显示系统200的架构的框图。如图所示，显示装置202包括至少一个聚焦显示器206、用于检测注视方向的器件208、以及被耦接到至少一个聚焦显示器206和用于检测注视方向的器件208的处理器210。显示装置202被布置成可拆卸地附接到便携式电子设备204并且与便携式电子设备204可通讯地耦接。此外，便携式电子设备204包括显示器212和处理器214，该处理器214被配置为将背景图像呈现在显示器212处。

参照图3a和图3b，示出了根据本发明的实施例的显示系统相对于用户眼睛302的示例性操作。如图所示，眼睛302的注视方向基本上朝向用户的前侧，例如笔直朝向用户的前方。此外，视线304表示眼睛302的注视方向。

在图3a和图3b中，还示出了显示装置的聚焦显示器306和便携式电子设备的显示器308。此外，显示装置被示出为可选地包括至少一个光学组合器310。可选地，在这方面，至少一个光学组合器310包括至少一个第一光学元件310a和至少一个第一致动器310b。在操作中，显示器308将背景图像投影到眼睛302上，而聚焦显示器306将聚焦图像投影到至少一个第一光学元件310a上。应当理解，至少一个光学组合器310被布置成使得以使所呈现的聚焦图像的投影与背景图像的掩蔽区域312的投影基本上重叠的方式来将背景图像的投影与聚焦图像的投影进行光学组合。如图所示，掩蔽区域312是显示器308的一部分，可选地，该部分在将背景图像投影到眼睛302上时被调暗，以避免聚焦图像的投影和背景图像的投影之间的失真。

此外，可以操作至少一个第一致动器310b以调整所呈现的聚焦图像在至少一个第一光学元件310a上的投影的位置。显示装置的处理器(未示出)被配置为控制至少一个第一致动器310b以使得至少一个聚焦显示器306相对于至少一个光学组合器310的至少一个第一光学元件310a移动。

其次，与图3a相比，图3b描绘了眼睛302的注视方向的侧向转移。如图所示，为了补偿注视方向的转移，至少一个聚焦显示器306通过至少一个第一致动器310b而相对于至少一个第一光学元件310a侧向移动，以将聚焦图像连续地投影到眼睛302的中央凹上。因此，也使掩蔽区域312在显示器上移动以适应于注视方向的这种转移。

参照图4，示出了根据本发明的实施例的便携式电子设备的显示器402和显示装置的聚焦显示器404的示例性表示。背景图像呈现在显示器402处，而聚焦图像呈现在聚焦显示器404处。如图所示，与聚焦图像的角尺寸相比，背景图像的角尺寸(即，角宽度)更大。此外，聚焦图像基本上对应于输入图像的视觉精确度区域406，显示装置的用户的注视方向聚焦在视觉精确度区域406处。

应当理解，显示器402和/或聚焦显示器404不仅限于矩形形状，并且可以具有任何合适的形状，例如，基本椭圆形形状、基本圆形形状、圆边矩形形状等等。

参照图5a至图5i，示出了根据本发明的各种实施例的显示系统500的示例性实施方式。本领域技术人员可以理解，仅为清楚起见，图5a至图5i包括用于显示系统500的实施的简化布置，而不应该不恰当地限制本文权利要求的范围。本领域技术人员将认识到本发明的实施例的许多变体、替换和修改。

参照图5a，示出了根据本发明的实施例的显示系统500的示例性实施方式。显示系统500被示出为包括便携式电子设备的显示器502、被描绘为显示装置的聚焦显示器504的至少一个聚焦显示器、以及被描绘为显示装置的光学组合器506的至少一个光学组合器。在操作中，便携式电子设备的处理器被配置为将背景图像呈现在显示器502处，而显示装置的处理器被配置为将聚焦图像呈现在聚焦显示器504处。如前所述，可以操作光学组合器506以将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行组合来创建视觉场景。

此外，透镜508位于背景图像的投影和聚焦图像的投影的光路上。

参照图5a至图5h，光学组合器506可选地包括第一光学元件506a(被描绘为半透明反射镜)。

参照图5b，光学组合器506可选地包括至少一个第一致动器506b，第一致动器506b用于使聚焦显示器504相对于第一光学元件506a移动，从而调整所呈现的聚焦图像在第一光学元件506a上的投影的位置。

参照图5c和图5d，光学组合器506可选地包括至少一个第二光学元件(在图5c和图5d中分别被描绘为元件506c和元件506d)，其中，可以控制至少一个第一致动器以使至少一个第二光学元件相对于该第一光学元件506a移动。在图5c中，至少一个第二光学元件506c通过两个棱镜510和512来实现。在图5d中，至少一个第二光学元件506d通过反射镜514来实现。

参照图5e，可以控制至少一个第一致动器以使第一光学元件506a移动。作为示例，至少一个第三致动器使第一光学元件506a围绕至少一个轴线旋转。

参照图5f，显示装置可选地包括至少一个聚焦透镜(被描绘为聚焦透镜516)和至少一个第二致动器518，该至少一个聚焦透镜位于第一光学元件506a和聚焦显示器504之间的光路上，并且该至少一个第二致动器518用于使聚焦透镜516相对于聚焦显示器504移动。显示装置的处理器被配置为控制至少一个第二致动器518以调整所呈现的聚焦图像的投影的焦点。

此外，可选地，显示装置包括位于显示器502和第一光学元件506a之间的光路上的附加的透镜520。在这种实施方式中，由于由聚焦透镜516和透镜520形成的透镜子系统可用于调整所呈现的聚焦图像和/或背景图像的投影的焦点，因此需要使聚焦显示器504移动以调整所呈现的聚焦图像的投影。

参照图5g和图5h，聚焦显示器504可选地通过至少一个投影仪(被描绘为投影仪522)和至少一个投影屏幕(被描绘为投影屏幕524)来实现。在图5g中，可选地，棱镜526位于至少一个投影仪522和至少一个投影屏幕524之间的光路中。在图5h中，可选地，可旋转的反射镜528位于投影仪522和投影屏幕524之间的光路中。

应当理解，图5g和图5h中的棱镜526和可旋转的反射镜528各自允许调整聚焦图像在至少一个投影屏幕524上的投影的位置。

参照图5i，至少一个第一光学元件通过光波导506e来实现。此外，如图所示，光波导506e包括光学元件530，例如像微棱镜、反射镜、衍射光学器件等。

参照图6，示出了根据本发明的实施例的通过显示装置和便携式电子设备进行显示的方法600的步骤。在步骤602中，在显示装置处检测(显示装置的用户的)注视方向。在步骤604中，在显示装置或便携式电子设备中的任何一个处获取输入图像，并且使用检测到的注视方向来确定输入图像的视觉精确度区域。在步骤606中，在显示装置或便携式电子设备中的任何一个处处理输入图像以生成背景图像和聚焦图像。在步骤608中，在显示装置的至少一个聚焦显示器处呈现聚焦图像，同时在便携式电子设备的显示器处呈现背景图像。在步骤610中，将所呈现的背景图像的投影与所呈现的聚焦图像的投影进行光学组合以创建视觉场景。有利地，步骤608和步骤610基本上同时执行。

步骤602至步骤610仅是说明性的，并且还可以提供其他替代方案，其中可以添加一个或多个步骤，移除一个或多个步骤，或者以不同顺序提供一个或多个步骤，而在不脱离本文权利要求的范围。

在不脱离本发明中的如所附权利要求限定的范围的前提下，可以对前面描述的本发明的实施例进行修改。描述和要求保护本发明所使用的诸如包括、包含、结合、具有之类的表述旨在以非排他性方式来解释，即允许存在一些还未明确描述的项、组件或元件。对单数的提及也应被解释为涉及复数。