用于使用时分复用方案增强基于集成成像的光场显示器的性能的设备和方法

本发明总体上涉及光场显示器，更具体地但不排他地，涉及使用时分复用方案的基于集成成像的光场显示器。

背景技术：

1、基于集成成像(ini)的光场显示器提供了很好的机会来实现具有正确聚焦提示的真实3d场景，以便减轻已知的聚散度-调节冲突。然而，仍然需要解决的一个主要挑战是空间分辨率和深度分辨率之间的折衷。增加深度分辨率需要增加不同视图的数量，这被称为视图数量，用于呈现3d场景，而增加视图数量通常以场景的空间分辨率为代价。在本公开中，我们描述了根据本发明的时分复用的基于ini的光场显示器的设计，其可以潜在地增加观看数量，并由此增加深度分辨率，同时保持高空间分辨率。

2、常规的立体显示器能够通过一对二维(2d)透视图像感知3d场景(每只眼睛一个二维(2d)透视图像)，具有双眼视差和其他图形深度提示，通常缺乏呈现正确的视网膜模糊效果和刺激自然眼睛调节反应的能力，这导致众所周知的聚散度-调节冲突(vac)问题。已经展示了若干种潜在地能够呈现聚焦提示并克服vac问题的显示方法，包括体积显示、全息显示、多焦平面显示、麦克斯韦视图显示和光场显示。在所有这些方法中，基于集成成像(基于ini)的光场显示能够通过再现由3d场景的不同深度的3d点明显发出的定向光线来重建3d场景，并因此能够呈现类似于自然观看场景的正确聚焦提示。

3、图1图示了通用的基于ini的头戴显示器(hmd)系统的配置，该系统由微显示器、微透镜阵列(mla)和目镜组成。包含3d场景的不同透视图的一组元素图像(elemental image，ei)被显示在微显示器上。mla的每个小透镜对应于微显示器上的ei，并在中心深度平面(cdp)上形成ei的共轭图像，以创建重建的3d场景的一个方向样本。如本文中所使用的，cdp具体被定义为跨越mla与微显示器的平面光学共轭的平面。观看者通过提供适当深度信息的目镜在观看窗口(也称为目镜的出射光瞳)观看重建的3d场景。与常规的2d显示器相对比，光场3d显示器的显著特征是，通过将眼睛的瞳孔放置在观看窗口处来观察呈现3d场景点(例如p)的多个不同的元素视图；这些视图整体上形成了3d场景的视网膜图像感知。

4、观察者眼睛的调节状态对感知图像起着关键作用。例如，图1图示了在对应的元素图像上通过三个不同像素o1、o2和o3对3d点o的呈现。由三个对应的微透镜成像，来自不同ei上的对应点(像素)的光线束将会聚到点o，并通过目镜进一步投射到眼睛瞳孔上。如图1所图示的，当眼睛被调节在重建的3d场景的重建点o的深度处时，来自不同ei上的对应点(像素)的光线束将会聚到视网膜o’上的聚焦图像。对于其他深度的重建点(例如点p)，各个像素的图像将在视网膜上彼此空间移位，并将产生视网膜模糊。视网膜模糊的水平取决于重建深度和眼睛调节之间的差异而变化，这类似于我们如何对现实世界进行感知。

5、工作已经将这种光场呈现方法适用于用于沉浸式虚拟现实(vr)和光学透视增强或混合现实(ar/mr)应用这两者的hmd设计。例如，lanman和luebke通过将微显示器和微透镜阵列(mla)放置在观看者眼睛前面来展示近眼沉浸式光场显示器；hua和javidi通过将微型ini单元与透视自由形式放大目镜相结合来展示一种光学透视lf-hmd系统(图2a)。最近，huang和hua展示了一种光学透视lf-hmd系统，该系统在超过3屈光度的扩展景深上提供了约3弧分的高空间分辨率(图2b)。尽管这种工作已经成功地展示了lf-hmd系统呈现聚焦提示并因此解决常规立体显示器中众所周知的vac问题的潜在能力，但是现有的lf-hmd原型中没有一个能够利用现有技术微显示技术提供与人类视觉相当的足够高的空间分辨率。本发明人已经认识到一个关键的挑战是重建的3d场景的空间分辨率应当被折衷以实现足够的视图密度和合理的眼箱。

技术实现思路

1、响应于这种未满足的需求，诸如上面所公开的那些需求，以及其他考虑，在本公开中，我们描述了时分复用的基于ini的光场显示器的示例性设计，其可以增加观看数量，并由此增加深度分辨率，同时保持高空间分辨率。在本发明的一个方面，本发明可以结合高速可编程可切换阵列(诸如例如快门阵列或可切换光源阵列),并且使显示器上多个元素图像组的呈现与以时分复用方式操作的可编程阵列同步。这样，本发明的示例性设备和方法可以在多组元素图像之间快速切换，这些元素图像从略微不同的观看视角呈现3d场景。因此，可以在不牺牲空间分辨率的情况下成倍增加视图数量和观看密度。在本发明的另一个方面，本发明可以提供在不对观看密度和眼箱尺寸进行折衷的情况下提高空间分辨率的设备和方法，如本文进一步公开的，已经实现并实验验证了若干个这样的示例性设备和方法。根据我们的计算，通过适当选择根据本发明的ini系统的系统参数，可以实现匹配人类视觉的高空间分辨率系统。一种概念验证系统被构建并证明了所提出方法的有效性。

2、因此，在本发明的一个方面中，本发明可以提供一种时分复用集成成像(ini)光场显示器，其包括:包括多个像素的微显示器，其被配置成呈现多组元素图像，其中的每个元素图像提供3d场景的不同透视图；微透镜阵列，其被布置成与微显示器在离其选定距离处进行光学通信，以接收来自微显示器的元素图像的光，所述微透镜阵列具有与其相关联的中心深度平面，该中心深度平面跨越微透镜阵列与微显示器光学共轭，所述微透镜阵列被配置成接收来自元素图像的光线束，以在中心深度平面周围的对应重建点处创建集成图像，从而重建3d场景的光场；以及可切换阵列，其被布置成与微透镜阵列光学通信，并且被配置成接收由微透镜阵列透射的光，并且将接收到的光透射到3d场景的光场。可切换阵列可以被配置成选择性地将来自元素图像中的所选择的元素图像的光引导穿过其中到达中心深度平面，和/或微显示器可以被配置成将微显示器上的元素图像的呈现与可切换阵列的切换同步，以便以同步的时分复用方式操作微显示器和可切换阵列。微透镜阵列可以包括具有相同焦距的微透镜的阵列。

3、在另一方面，可切换阵列可以被布置在微透镜阵列和中心深度平面之间的位置处，和/或布置在微透镜阵列和微显示器之间的位置处。可切换阵列可以包括可切换元件，这些可切换元件可以被打开以允许来自微透镜阵列的光线从其穿过，或者被关闭以阻止光线从其穿过。可编程可切换阵列可以包括快门阵列和/或可切换光源阵列。微显示器可以是自发射的或透射的，和/或可以包括空间光调制器。可切换阵列的每个可切换元件的孔径尺寸可以小于微透镜阵列的每个小透镜的孔径，使得每个小透镜覆盖可切换阵列的不止一个元件。可切换阵列可以包括尺寸小于每个可切换元件的孔径尺寸的多个像素化元件。屏障阵列可以被布置在微显示器和与其进行光学通信的微透镜阵列之间。

4、此外，本发明可以包括目镜，该目镜被布置在离中心深度平面距离z0处，以接收来自3d场景的光场的光。孔径阵列可以被布置在微显示器和与其进行光学通信的微透镜阵列之间。从微显示器到孔径阵列的距离可以表示为a，以及孔径阵列中的孔径开口的直径可以表示为da，并且其中

5、

6、

7、其中pei是元素图像的尺寸，g是从微显示器到微透镜阵列的距离，以及pmla是mla的间距。