使用电磁场计算的三维显示方法、显示屏及系统与流程

使用电磁场计算的三维显示方法、显示屏及系统
1.本专利申请为申请日为2019年1月16日、申请号为2019800085091、发明名称为“使用电磁场计算的三维显示方法”的专利申请的分案申请。
技术领域
2.本公开涉及三维(3d)显示，更具体地涉及使用计算技术的3d显示。


背景技术：

3.传统二维(2d)投影和3d渲染的发展已带来用于3d显示的新方法，包括将头部和眼部跟踪与传统显示设备混合以用于虚拟现实(vr)、增强现实(ar)和混合现实(mr)的许多混合技术。这些技术试图复制全息影像的体验，通过结合跟踪和基于测量的计算，以模拟可由实际全息图表示的立体或眼内光场。


技术实现要素：

4.本公开描述了用于使用针对三维(3d)显示的电磁(em)场计算的方法、装置、设备和系统。
5.本公开提供了可以克服已知技术中存在的限制的技术。作为示例，本文所公开的技术可以在不使用如“3d眼镜”的笨重的可穿戴设备的情况下实施。作为另一实例，本文所公开的技术可以选择性实施而不受限于：跟踪机制准确性、显示设备的质量、相对长的处理时间和/或相对高的计算要求，和/或不能同时向多个观看者显示对象。作为另一示例，该技术可以在没有专用工具和软件的情况下实现，从而可开发在常规3d内容创建中使用的工具和软件之上和之外扩展的内容。各种不同的实施例可以展现出前述优点中的一个或多个。例如，本公开的某些实施方式可以产生实时、全彩、真实的3d 图像，该3d图像看起来是现实世界中的真实3d对象，并且可以被多个观看者从不同点不受妨碍地同时观看。
6.本公开的一个方面的特征在于一种方法，所述方法包括：针对与三维(3d)空间中的对象相对应的多个基元中的每个基元，通过在3d坐标系中计算从所述基元到显示屏的多个元素中的每个元素的电磁场传播来确定对所述元素的电磁场贡献；以及针对所述多个元素中的每个元素，生成所述多个基元对所述元素的电磁场贡献总和。
7.所述电磁场贡献可以包括从由相位贡献和幅度贡献组成的组选择的至少一项。所述基元可以包括从由点基元、线基元和多边形基元组成的组中选择的至少一项。所述基元可以包括线基元，所述线基元具有包括从由梯度色彩、纹理化色彩和着色效果组成的组中选择的至少一项的信息。所述基元还可以包括多边形基元，所述多边形基元具有包括从由梯度色彩、纹理化色彩和着色效果组成的组中选择的至少一项的信息。可以对所述多个基元按特定次序编索引。
8.在一些实施方式中，所述方法还包括获得所述多个基元中的每个基元的相应基元数据。所述多个基元中的每个基元的相应基元数据可以包括所述基元的相应色彩信息，并且所确定的对每个所述元素的电磁场贡献包括与所述基元的相应色彩信息相对应的信息。
所述色彩信息可以包括从由纹理化色彩和梯度色彩组成的组中选择的至少一项。所述多个基元中的每个基元的相应基元数据可以包括所述基元的纹理信息。所述多个基元中的每个基元的相应基元数据可以包括所述基元的一个或多个表面上的着色信息。所述着色信息可以包括对从由所述基元的所述一个或多个表面上的色彩和所述基元的所述一个或多个表面上的亮度组成的组选择的至少一项的调制。
9.在一些实施方式中，所述多个基元中的每个基元的相应基元数据包括所述基元在所述3d坐标系中的相应坐标信息。所述多个元素中的每个元素在所述3d坐标系中的相应坐标信息可以是基于所述多个基元在所述3d坐标系中的相应坐标信息来确定的。每个所述元素的相应坐标信息可以与存储在存储器中的针对所述元素的逻辑存储地址相对应。
10.确定所述多个基元中的每个基元对所述多个元素中的每个元素的电磁场贡献可以包括：在所述3d坐标系中，基于所述元素的相应坐标信息和所述基元的相应坐标信息来确定所述元素与所述基元之间的至少一个距离。确定所述多个基元中的每个基元对所述多个元素中的每个元素的电磁场贡献包括：基于所述多个基元中的第一基元的相应坐标信息和所述多个元素中的第一元素的相应坐标信息，确定所述第一基元与所述第一元素之间的第一距离；以及基于所述第一距离以及所述第一元素与所述多个元素中的第二元素之间的距离确定所述第一基元与所述第二元素之间的第二距离。所述第一元素与所述第二元素之间的距离可以是基于所述显示屏的所述多个元素的节距预先确定的。
11.在一些示例中，所述多个基元中的至少一个基元是包括第一端点和第二端点的线基元，并且确定所述元素与所述基元之间的至少一个距离包括：确定所述元素与所述线基元的第一端点之间的第一距离；以及确定所述元素与所述线基元的第二端点之间的第二距离。所述多个基元中的至少一个基元是包括第一端点、第二端点和第三端点的三角形基元，并且确定所述元素与所述基元之间的至少一个距离包括：确定所述元素与所述三角形基元的第一端点之间的第一距离；确定所述元素与所述三角形基元的第二端之间的第二距离；以及确定所述元素与所述三角形基元的第三端点之间的第三距离。
12.在一些实施方式中，确定所述多个基元中的每个基元对所述多个元素中的每个元素的电磁场贡献包括：基于所述基元的预定表达式和所述至少一个距离来确定所述基元对所述元素的电磁场贡献。所述预定表达式是通过解析计算从所述基元到所述元素的电磁场传播确定的。所述预定表达式是通过求解麦克斯韦方程确定的。可以通过提供在所述显示屏的表面处定义的边界条件来求解所述麦克斯韦方程。所述边界条件可包括狄利克雷(dirichlet)边界条件或柯西(cauchy)边界条件。所述多个基元和所述多个元素可以在所述3d空间中，并且所述显示屏的表面可以形成所述3d空间的边界表面的一部分。所述预定表达式包括从由包括正弦函数的函数、包括余弦函数的函数和包括指数函数的函数组成的组中选择的至少一项，并且确定所述电磁场贡献包括：在存储在存储器中的表中识别所述函数中的至少一个函数的值。
13.在一些实施方式中，确定所述多个基元中的每个基元对所述多个元素中的每个元素的电磁场贡献，并生成对所述多个元素中的每个元素的所述电磁场贡献总和，包括：确定所述多个基元对所述多个元素中的第一元素的第一电磁场贡献，并对针对所述第一元素的所述第一电磁场贡献进行求和；以及确定所述多个基元对所述多个元素中的第二元素的第二电磁场贡献，并对针对所述第二元素的所述第二电磁场贡献进行求和。确定所述多个基
元对所述第一元素的所述第一电磁场贡献可以包括：将确定所述多个基元中的第一基元对所述第一元素的电磁场贡献与确定所述多个基元中的第二基元对所述第一元素的电磁场贡献并行进行。
14.在一些实施方式中，确定所述多个基元中的每个基元对所述多个元素中的每个元素的电磁场贡献，包括：确定所述多个基元中的第一基元对所述多个元素中的每个元素的相应第一电磁场贡献；以及确定所述多个基元中的第二基元对所述多个元素中的每个元素的相应第二电磁场贡献，并且生成对所述多个元素中的每个元素的所述电磁场贡献总和可以包括：通过将对所述元素的所述相应第二电磁场贡献与所述相应第一电磁场贡献相加，来累加出对所述元素的电磁场贡献。确定所述第一基元对所述多个元素中的每个元素的相应第一电磁场贡献可以是与确定所述第二基元对所述多个元素中的每个元素的相应第二电磁场贡献并行地执行的。
15.确定所述多个基元中的每个基元对所述多个元素中的每个元素的电磁场贡献可以包括：将确定所述多个基元中的第一基元对所述多个元素中的第一元素的第一电磁场贡献与确定所述多个基元中的第二基元对所述第一元素的第二电磁场贡献并行地进行。
16.在一些实施方式中，所述方法还包括：针对所述多个元素中的每个元素，基于所述多个基元对所述元素的电磁场贡献总和生成相应控制信号，所述相应控制信号用于基于所述多个基元对所述元素的电磁场贡献总和来调制所述元素的至少一个特性。所述元素的所述至少一个特性可以包括从由折射率、幅度指数、双折射和迟滞组成的组中选择的至少一项。所述相应控制信号可以包括电信号、光信号、磁信号或声信号。在一些情况下，所述方法还包括：将比例因子与对每个所述元素的电磁场贡献总和相乘，以获得经缩放的电磁场贡献总和，并且其中，所述相应控制信号是基于针对所述元素的经缩放的电磁场贡献总和生成的。所述方法还可包括：对针对每个所述元素的电磁场贡献总和进行归一化，其中，所述相应控制信号是基于针对所述元素的归一化的电磁场贡献总和的。所述方法还可以包括：向所述元素发送所述相应控制信号。
17.在一些实施方式中，所述方法还包括：向照明器发送控制信号，所述控制信号指示开启所述照明器，以使得所述照明器发射光到所述显示屏上。所述控制信号可以是响应于确定已获得了对所述多个元素中的每个元素的电磁场贡献总和而发送的。所述显示屏的经调制的元素可以使所述光沿不同方向传播，以形成与所述3d空间中的所述对象对应的体积光场。所述体积光场可以与具有由所述显示屏的所述经调制的元素定义的边界条件的麦克斯韦方程的解相对应。所述光可以包括白光，且所述显示屏可以被配置为将所述白光衍射为具有不同色彩的光。
18.在一些实施方式中，所述方法还包括：在计算期间使用定点数表示来表示值。每个所述值可表示为具有隐式比例因子的整数。
19.在一些实施方式中，所述方法还包括：使用定点数表示来执行数学函数。所述数学函数可包括从由正弦、余弦和反正切组成的组中选择的至少一项。执行所述数学函数可包括：接收第一定点格式的表达式；以及输出精度水平不同于所述第一定点格式的第二定点格式的值。执行所述数学函数可包括：查找用于所述数学函数的计算的表，其中，所述表包括从由完全枚举查找表、内插表、基于半表的多项式函数和基于半表的完全最小最大多项式组成的组中选择的至少一项。执行所述数学函数可包括：对输入应用专用范围缩小。执行
所述数学函数包括：将三角计算从范围[-π,π]变换成范围[-1,1]中的带符号的2’s互补表示。
[0020]
本公开的另一方面的特征在于一种方法，所述方法包括：获得与三维(3d)空间中的对象相对应的多个基元各自的基元数据；计算所述多个基元中的第一基元对显示屏的多个元素中的每个元素的相应第一电磁场贡献；以及计算所述多个基元中的第二基元对所述显示屏的所述多个元素中的每个元素的相应第二电磁场贡献，其中，计算来自所述第一基元的所述相应第一电磁场贡献与计算来自所述第二基元的所述相应第二电磁场贡献至少部分地并行进行。
[0021]
在一些实施方式中，计算所述第一基元对所述多个元素中的第一元素的第一电磁场贡献与计算所述多个基元中的第二基元对所述第一元素的第二电磁场贡献并行地进行。所述方法可包括：计算所述多个基元中的每个基元对所述多个元素中的每个元素的相应电磁场贡献。所述相应电磁场贡献的计算可以是在不具有从以下项组成的组中选择的至少一项的情况下进行的：将所述对象的几何结构扩展到所述多个元件，在包装波前之前应用可见度测试，以及针对不同基元的并行计算之间的决策或通信。计算所述相应电磁场贡献可以被配置为促成从以下项组成的组中选择的至少一项：调整针对不同基元的并行计算以达到速度、成本、大小或能量优化，减少发起绘制与结果准备好显示之间的延迟，使用定点数表示来增加精度，以及通过优化数学函数来优化计算速度。
[0022]
在一些实施方式中，所述方法还包括：在计算期间使用定点数表示来表示值。使用所述定点数表示来表示所述值可以是在不具有从由以下项组成的组中选择的至少一项的情况下进行的：用于渐进式下溢出的反常浮点，处理来自包括除以零的运算产生的非数值，更改浮点舍入模式，以及引起操作系统的浮点异常。
[0023]
在一些实施方式中，所述方法还包括：针对所述多个元素中的每个元素，通过将对所述元素的相应第二电磁场贡献与对所述元素的相应第一电磁场贡献相加来累积对所述元素的电磁场贡献。
[0024]
在一些实施方式中，所述方法还包括：针对所述多个元素中的每个元素，基于所述多个基元对所述元素的电磁场贡献总和来生成相应控制信号，所述相应控制信号用于基于所述多个基元对所述元素的电磁场贡献总和来调制所述元素的至少一个特性。
[0025]
在一些实施方式中，所述方法还包括：以预定因子缩放与第二基元相邻的第一基元，使得所述第一基元的重构与所述第二基元的重构不重叠。所述预定因子可以是至少部分地基于所述显示屏的分辨率确定的。所述方法还可包括：获得所述多个基元中的每个基元的相应基元数据，其中，所述多个基元中的每个基元的相应基元数据包括所述基元在所述3d坐标系中的相应坐标信息；以及基于所述第一基元的相应坐标信息和所述预定因子，确定所述第一基元的新的相应坐标信息。所述方法还可包括：基于所述第一基元的新的相应坐标信息来确定所述第一基元对所述多个元素中的每个元素的电磁场贡献。所述方法还可包括：以所述预定因子缩放所述第二基元。所述第一基元和所述第二基元可以共享共同部分，并且缩放所述第一基元包括缩放所述第一基元的所述共同部分。缩放所述第一基元可包括：在预定方向上缩放所述第一基元。
[0026]
本公开的另一方面的特征在于一种方法，所述方法包括：获得与三维(3d)空间中的对象相对应的多个基元各自的基元数据；使用与第二基元相邻的第一基元的相应基元数
据和所述第二基元的相应基元数据，以预定因子缩放所述第一基元；以及基于所述缩放的结果来更新所述第一基元的相应基元数据。
[0027]
在一些实施方式中，所述多个基元中的每个基元的相应基元数据包括所述基元在 3d坐标系中的相应坐标信息，并且更新所述相应基元数据包括：基于所述第一基元的相应坐标信息和所述预定因子，确定所述第一基元的新的相应坐标信息。
[0028]
在一些实施方式中，所述预定因子被确定，使得在所述3d空间中所述第一基元的重构与所述第二基元的重构不重叠。
[0029]
在一些实施方式中，所述缩放被执行，使得：所述第一基元与所述第二基元在所述3d空间中的重构之间的间隙足够大，以将所述第一基元和所述第二基元分开从而最小化重叠效应，并且使所述间隙足够小以使所述重构无缝地显现。
[0030]
在一些实施方式中，所述预定因子是至少部分地基于所述显示屏的分辨率确定的。
[0031]
在一些实施方式中，所述方法还包括：在缓冲器中存储所述第一基元的更新的基元数据。
[0032]
在一些实施方式中，在所述对象的渲染处理期间执行所述缩放，以获得所述多个基元各自的基元数据。
[0033]
在一些实施方式中，所述方法还包括：向控制器发送所述多个基元的更新的基元数据，其中，所述控制器被配置为基于所述多个基元的更新的基元数据来确定所述多个基元中的每个基元对显示屏的多个元素中的每个元素的相应电磁场贡献。
[0034]
在一些实施方式中，所述方法还包括：基于所述第一基元的更新的基元数据来确定所述第一基元对显示屏的多个元素中的每个元素的电磁场贡献。
[0035]
在一些实施方式中，所述方法还包括：以所述预定因子缩放所述第二基元。
[0036]
在一些实施方式中，所述第一基元和所述第二基元共享共同部分，并且缩放所述第一基元包括缩放所述第一基元的所述共同部分。
[0037]
在一些实施方式中，缩放所述第一基元包括：在预定方向上缩放所述第一基元。
[0038]
在一些实施方式中，缩放所述第一基元包括：以第一预定因子缩放所述第一基元的第一部分，以及以第二预定因子缩放所述第二基元的第二部分，其中，所述第一预定因子不同于所述第二预定因子。
[0039]
本公开的另一方面的特征在于一种方法，所述方法包括：获得要被映射到与三维 (3d)空间中的对象相对应的多个基元中的特定基元的指定表面上的图像的多个离散余弦变换dct权重；以及通过考虑所述图像的所述多个dct权重的影响来确定所述特定基元对显示屏的多个元素中的每个元素的相应电磁场贡献。
[0040]
在一些实施方式中，所述方法还包括：确定要被映射到所述特定基元的指定表面上的所述图像的分辨率；以及基于所述分辨率确定所述图像的所述多个dct权重。
[0041]
在一些实施方式中，所述方法还包括：解码所述图像的所述dct权重，以获得所述图像的每个像素的相应dct幅度。
[0042]
在一些实施方式中，所述方法还包括：将与所述图像的像素的相应dct幅度相关联的值连同所述特定基元的基元数据一起存储。确定所述相应电磁场贡献可以包括：利用与所述图像的像素的相应dct幅值相关联的值来计算所述特定基元对所述多个元素中的每个
元素的相应电磁场贡献。
[0043]
在一些实施方式中，所述方法还包括：选择在确定所述相应电磁场贡献时要包括的特定dct项，每个所述特定dct项具有高于预定阈值的相应dct权重。
[0044]
本公开的另一方面的特征在于一种方法，所述方法包括：获得给定基元和所述给定基元的遮挡物的信息，其中，所述给定基元属于与三维(3d)空间中的对象相对应的多个基元之一；以及确定显示屏的多个元素中因所述遮挡物的影响而对所述给定基元的重构没有贡献的一个或多个特定元素。
[0045]
在一些实施方式中，所述方法还包括：存储所述特定元素的信息以及所述给定基元和所述遮挡物的信息。
[0046]
在一些实施方式中，所述确定是在用于获得所述多个基元的基元数据的对所述对象的渲染处理期间执行的。
[0047]
在一些实施方式中，所述方法还包括：向控制器发送所存储的所述特定元素的信息以及所述给定基元和所述遮挡物的信息，所述控制器被配置为计算所述多个基元对所述显示屏的所述多个元素的电磁场贡献。
[0048]
在一些实施方式中，所述方法还包括：针对每个所述特定元件，针对每个所述特定元素，通过不包括所述给定基元对该特定元素的电磁场贡献，来生成所述多个基元对该特定元素的电磁场贡献总和。
[0049]
在一些实施方式中，所述方法还包括：针对所述多个元素中除所述特定元素之外的每个元素，生成所述多个基元对所述元素的相应电磁场贡献的总和。
[0050]
在一些实施方式中，所述方法还包括：掩蔽所述特定元素对所述给定基元的重构的贡献。
[0051]
在一些实施方式中，确定所述一个或多个特定元素包括：将所述给定基元连接到所述遮挡物的端点；将所述连接延伸到所述显示屏，以确定所述连接与所述显示屏之间的交点；以及将由所述交点定义的特定范围内的元素确定为因所述遮挡物的影响而对所述给定基元的重构没有贡献的所述特定元素。
[0052]
本公开的另一方面的特征在于一种方法，所述方法包括：获得给定基元和所述给定基元的遮挡物的信息，其中，所述给定基元属于与三维(3d)空间中的对象相对应的多个基元之一；以及针对显示屏的多个元素中的每个元素，确定所述给定基元中因所述遮挡物的影响而没有对所述元素做出电磁场贡献的相应部分。
[0053]
在一些实施方式中，所述方法还包括：存储所述给定基元的所述相应部分的信息以及所述给定基元和所述遮挡物的信息。
[0054]
在一些实施方式中，所述确定是在所述对象的用于获得所述多个基元的基元数据的渲染过程中执行的。
[0055]
在一些实施方式中，所述方法还包括：向控制器发送所存储的所述给定基元的所述相应部分的信息以及所述给定基元和所述遮挡物的信息，所述控制器被配置为计算所述多个基元对所述显示屏的所述多个元素的电磁场贡献。
[0056]
在一些实施方式中，所述方法还包括：掩蔽所述给定基元的所述相应部分对所述多个元素中的每个元素的电磁场贡献。
[0057]
在一些实施方式中，所述方法还包括：针对所述多个元素中的每个元素，通过不包
括所述给定基元的所述相应部分对所述元素的电磁场贡献来生成所述多个基元对所述元素的电磁场贡献总和。生成所述多个基元对所述元素的电磁场贡献总和可以包括：从所述多个基元在没有所述遮挡物的影响的情况下对所述元素的电磁场贡献总和中减去所述给定基元的所述相应部分对所述元素的电磁场贡献。生成所述多个基元对所述元素的电磁场贡献总和可以包括：将所述给定基元的一个或多个其他部分对所述元素的电磁场贡献进行求和，所述相应部分以及所述一个或多个其他部分形成所述给定基元。
[0058]
在一些实施方式中，确定所述给定基元中因所述遮挡物的影响而没有对所述元素做出电磁场贡献的相应部分包括：将所述元素连接到所述遮挡物的端点；确定所述连接与所述基元之间的交点；以及将所述给定基元中由所述交点包围的特定部分确定为所述给定基元中因所述遮挡物的影响而没有对所述元素做出电磁场贡献的所述相应部分。
[0059]
本公开的另一方面的特征在于一种方法，所述方法包括：获得与三维(3d)空间中的对象对应的多个基元中的每个基元的相应基元数据；获得所述多个基元中的每个基元的相应几何镜面高光信息；以及存储所述相应几何镜面高光信息以及所述多个基元中的每个基元的相应基元数据。
[0060]
在一些实施方式中，所述多个基元中的每个基元的相应几何镜面高光信息包括：所述基元所在表面根据视角的反射率。
[0061]
在一些实施方式中，所述方法还包括：通过考虑所述基元的相应几何镜面高光信息来确定所述多个基元中的每个基元对显示屏的多个元素中的每个元素的相应电磁场贡献。
[0062]
本公开的另一方面的特征在于一种方法，所述方法包括：获得图形数据，所述图形数据包括与三维(3d)空间中的对象对应的多个基元的相应基元数据；针对所述多个基元中的每个基元，通过在3d坐标系中计算从所述基元到显示屏的多个元素中的每个元素的电磁场传播，确定对所述元素的电磁场贡献；针对所述多个元素中的每个元素，生成所述多个基元对所述元素的电磁场贡献总和；针对所述多个元素中的每个元素，向所述元素发送相应控制信号，所述控制信号用于基于对所述元素的电磁场贡献总和来调制所述元素的至少一个特性；以及向照明器发送定时控制信号以激活所述照明器从而将光照射在所述显示屏上，使得所述显示屏的所述经调制的元素使所述光形成对应于所述对象的体积光场。
[0063]
本公开的另一方面的特征在于一种方法，所述方法包括：针对显示屏的多个元素中的每个元素，利用预定校准值更改相应控制信号；向所述显示屏的所述多个元素各自施加更改的相应控制信号；测量入射在所述显示屏上的光的输出；以及基于对所述光的输出的所述测量来评估所述预定校准值。
[0064]
在一些实施方式中，所述预定校准值对于所述多个元素中的每个元素是相同的。
[0065]
在一些实施方式中，所述方法还包括：通过数模转换器(dac)转换所述多个元件各自的相应控制信号，其中，更改所述多个元件各自的控制信号包括：利用所述预定校准值更改所述相应控制信号的数字信号。
[0066]
在一些实施方式中，所述预定校准值包括多个比特。
[0067]
在一些实施方式中，所述方法还包括：基于所述评估的结果调整所述预定校准值。调整所述预定校准值可以包括：修改所述多个比特中的一个或多个值。调整所述预定校准值可以包括：基于所述预定校准值和根据先前评估确定的另一校准值来确定所述多个比特
中的值的组合。
[0068]
在一些实施方式中，所述光的输出包括所述光的相变或所述光的输出与背景之间的强度差。
[0069]
在一些实施方式中，所述元素的相应控制信号是基于与3d空间中的对象相对应的多个基元对所述元素的电磁场贡献总和确定的。
[0070]
本公开的另一方面的特征在于一种方法，所述方法包括：针对显示屏的多个元素中的每个元素，获得来自三维(3d)空间中的多个基元的相应电磁场贡献总和，所述多个基元与所述3d空间中的对象对应；将相应数学变换应用于对所述元素的相应电磁场贡献的总和，以获得对所述元素的经变换的相应电磁场贡献的总和；基于对所述元素的经变换的相应电磁场贡献的总和来确定相应控制信号；以及基于对所述元素所确定的相应控制信号来调制所述元素的特性。
[0071]
在一些实施方式中，所述方法还包括：引入入射在所述显示屏的所述多个元素上的光；测量所述光的第一输出；以及基于对所述光的所述第一输出的测量结果来调整所述多个元素各自的数学变换的一个或多个系数。所述方法还可包括：根据所述显示屏的视角改变与所述对象对应的全息图案的深度；测量所述光的第二输出；以及基于所述第一输出和所述第二输出调整所述相应数学变换的所述一个或多个系数。所述方法还可包括：将与第一全息图案对应的所述多个基元改变为与第二全息图案对应的多个第二基元；测量所述光的第二输出；以及基于所述第一输出和所述第二输出调整所述相应数学变换的所述一个或多个系数。所述第一全息图案和所述第二全息图案可以对应于所述对象。所述第二全息图案可以与第二对象对应，所述第二对象不同于和所述第一全息图案相关的所述对象。所述光的所述第一输出可由成像传感器测量。所述成像传感器可被配置为使用机器视觉算法来确定正在显示的内容并计算适应度参数。所述第一全息图案和所述第二全息图案均可包括点网格，并且其中，所述适应度参数是从由以下项组成的组中选择的至少一项：所述点接近的程度、所述点定位居中的程度以及所述点具有多少畸变。
[0072]
在一些实施方式中，所述数学变换是从泽尔尼克(zernike)多项式导出的。
[0073]
在一些实施方式中，所述多个元素的所述数学变换逐个元素地变化。
[0074]
在一些实施方式中，所述方法还包括：通过照明所述显示屏来再现已知色彩和强度的样本集；使用校准至国际委员会(cie)标准观察曲线的色度计设备测量输出光；以及定义所述显示屏在国际委员会cie xyz色彩空间中的输出光。所述方法还可包括：确定所述定义的输出光的值与已知标准值的偏差；以及调整所述显示屏上的输出色彩以使其回到对准。
[0075]
本公开的另一方面的特征在于一种方法，所述方法包括：基于液晶(lc)显示屏的显示元素的节距来确定液晶显示屏的单元间隙；以及基于所述单元间隙和所述液晶显示屏的预定延迟计算液晶混合物的双折射的最小值。
[0076]
在一些实施方式中，所述方法还包括：在保持液晶混合物的双折射在最小值以上的情况下，提高液晶显示屏的开关速度。提高所述开关速度可以包括从由以下项组成的组中选择的至少一项：增大所述液晶混合物的介电各向异性；以及减小所述液晶混合物的旋转粘度。
[0077]
在一些实施方式中，所述液晶显示屏包括具有硅背板的硅上液晶(lcos)设备。
[0078]
在一些实施方式中，所述液晶显示屏包括：液晶层；位于所述液晶层顶部的作为公共电极的透明导电层；以及背板，包括位于所述液晶层底部的多个金属电极，其中，所述多个金属电极中的每个金属电极彼此隔离，并且所述背板被配置为控制所述多个金属电极中的每个金属电极的电压。
[0079]
本公开的另一方面的特征在于一种显示屏，所述显示屏包括：背板；以及所述背板上的多个显示元素，其中，所述多个显示元素中的至少两个显示元素的尺寸不同。
[0080]
在一些实施方式中，所述至少两个显示元素中的较大显示元素包括缓冲器，且所述至少两个显示元素中的较小显示元素不包括缓冲器。所述较大显示元素可以通过导线与第一数量个显示元素连接，并且所述缓冲器被配置为缓存施加到所述导线上的电压，使得所述电压仅施加到所述第一数量个显示元素内的第二数量个显示元素，所述第二数量个显示元素的数量小于所述第一数量个显示元素的数量。
[0081]
在一些实施方式中，所述缓冲器包括晶体管形式的模拟电路或逻辑门形式的数字电路。
[0082]
在一些实施方式中，所述多个显示元素的尺寸分布基本等于所述至少两个显示元素中的较小显示元素的尺寸。
[0083]
在一些实施方式中，所述显示屏被配置为硅上液晶设备。
[0084]
本公开的另一方面的特征在于一种显示屏，所述显示屏包括：背板；以及所述背板上的多个显示元素，其中，所述多个显示元素中的至少两个显示元素具有不同形状。
[0085]
在一些实施方式中，所述背板包括用于每个显示元素的相应电路，并且用于所述至少两个显示元素各自的相应的电路的形状与所述至少两个显示元素的所述不同形状相对应。
[0086]
在一些实施方式中，所述多个显示元素的尺寸分布基本等于预定尺寸。
[0087]
在一些实施方式中，所述显示屏被配置为硅上液晶设备。
[0088]
本公开的另一方面的特征在于一种方法，所述方法包括：获得图形数据，所述图形数据包括与三维(3d)空间中的对象对应的多个基元的相应基元数据；针对所述多个基元中的每个基元，通过在3d坐标系中计算从所述基元到显示屏的多个元素中的每个元素的电磁场传播，确定对所述元素的电磁场贡献；针对所述多个元素中的每个元素，生成所述多个基元对所述元素的电磁场贡献总和；针对所述多个元素中的每个元素，向所述元素发送相应控制信号，所述控制信号用于基于对所述元素的电磁场贡献总和来调制所述元素的至少一个特性；以及向照明器发送定时控制信号以激活所述照明器从而将光照射在所述显示屏上，使得所述显示屏的所述经调制的元素使所述光形成对应于所述对象的体积光场。
[0089]
所述多个方面的其他实施例包括对应计算机系统、装置以及记录在一个或多个计算机存储设备上的计算机程序，它们均被配置为执行所述方法的动作。一个或多个计算机的系统被配置为执行特定操作或动作意味着所述系统上安装有软件、固件、硬件或它们的组合，当它们运行时促使所述系统执行所述操作或动作。一个或多个计算机程序被配置为执行特定操作或动作意味着所述一个或多个程序包括当被数据处理装置执行时促使所述装置执行所述操作或动作的指令。
[0090]
本公开的另一方面的特征在于一种设备，所述设备包括：一个或多个处理器；以及非暂时性计算机可读存储介质，与所述一个或多个处理器通信并且存储能由所述一个或多
个处理器执行的指令，并且所述指令执行时促使所述一个或多个处理器执行本文公开的一种或多种方法。
[0091]
本公开的另一方面的特征在于一种存储指令的非暂时性计算机可读存储介质，所述指令能由一个或多个处理器执行并且所述指令执行时促使所述一个或多个处理器执行本文公开的一种或多种方法。
[0092]
本公开的另一方面的特征在于包括多个元件的显示屏；以及控制器，耦接到所述显示屏并且被配置为执行本文公开的一种或多种方法。所述控制器可包括多个计算单元，每个计算单元被配置为对与三维(3d)空间中的对象对应的多个基元中的一个或多个基元进行操作。在一些实施方式中，所述控制器本地耦接到所述显示屏，并且所述每个计算单元耦接到所述显示屏的一个或多个相应元件且被配置为向所述一个或多个相应元件中的每个相应元件发送相应控制信号。所述计算单元可被配置为并行地进行操作。
[0093]
所述控制器可包括从由专用集成电路(asic)、现场可编程门阵列(fpga)、可编程门阵列(pga)、中央处理单元(cpu)、图形处理单元(gpu)和标准计算单元组成的组中选择的至少一项。所述显示屏可包括空间光调制器(slm)，所述空间光调制器包括数字微镜设备(dmd)或硅上液晶(lcos)设备。所述显示屏可被配置为相位调制、振幅调制、或者相位和振幅调制。所述控制器可通过存储缓冲器耦接到所述显示屏。
[0094]
在一些实施方式中，所述系统包括：照明器，其被布置为邻近于所述显示屏且被配置为发射光到所述显示屏上。所述照明器可耦接到所述控制器且被配置为基于来自所述控制器的控制信号而开启/关闭。
[0095]
在一些情况下，所述照明器通过存储缓冲器耦接到所述控制器，所述存储缓冲器被配置为控制所述照明器中的一个或多个发光元件的幅度或亮度。用于所述照明器的存储缓冲器的尺寸可以小于用于所述显示屏的存储缓冲器的尺寸。所述照明器中的所述发光元件的数量可以小于所述显示屏的所述元素的数量。所述控制器可以被配置为同时激活所述照明器的所述一个或多个发光元件。
[0096]
所述照明器可以是相干光源、半相干光源或非相干光源。在一些实施方式中，所述照明器被配置为发射白光，并且所述显示屏被配置为将所述白光衍射为具有不同色彩的光。在一些实施方式中，所述照明器包括各自被配置为发射具有不同色彩的光的两个或更多个发光元件。所述控制器可以被配置为依次利用在第一时间段期间与第一色彩相关联的信息和在顺序的第二时间段期间与第二色彩相关联的信息调制所述显示屏，并且所述控制器可以被配置为控制所述照明器以依次在所述第一时间段期间开启第一发光元件以发射具有所述第一色彩的光和在所述第二时间段期间开启第二发光元件以发射具有所述第二色彩的光。
[0097]
在一些实施方式中，所述照明器被布置在所述显示屏的表面前方并且被配置为以0 度与90度之间的范围内的入射角将所述光发射到所述显示屏的所述表面上，并且所述发射的光从所述显示屏的所述表面被反射。在一些情况下，从所述照明器发射的光包括准直光。在一些情况下，从所述照明器发射的光包括发散光。所述照明器发射的光包括半准直光。
[0098]
在一些实施方式中，所述照明器布置在所述显示屏的后表面后方并且被配置为将发散光发射到所述显示屏的所述后表面上，并且所发射的光透射通过所述显示屏并且从所
述显示屏的前表面透射出所述显示屏。
[0099]
在一些实施方式中，所述照明器包括：光源，被配置为发射所述光；以及波导，耦接到所述光源并且邻近于所述显示屏布置，所述波导被配置为接收从所述光源发射出的光并将所述发射的光引导到所述显示屏。在一些情况下，来自所述光源的光通过光耦合器从所述波导的侧部横截面耦合到所述波导。在一些情况下，所述光源和所述波导以平面形式集成且定位于所述显示屏的表面上。所述波导可以被配置为引导所述光均匀地照射所述显示屏。
[0100]
在一些情况下，所述波导定位在所述显示屏的后表面上，并且所述光被引导以透射通过所述显示屏并且从所述显示屏的前表面衍射出所述显示屏。所述控制器可以定位在所述波导的后表面上。在一些情况下，所述波导定位在所述显示屏的前表面上，并且所述光被引导以入射在所述显示屏的所述前表面上并被所述前表面反射。
[0101]
本公开的另一方面的特征在于一种系统，所述系统包括：显示屏，包括元素阵列；以及集成电路，包括计算单元阵列，每个计算单元耦接到所述显示屏的一个或多个相应元素并被配置为：计算多个基元中的至少一个基元对所述元素阵列中的每个元素的电磁场贡献；以及针对所述一个或多个相应元素中的每个元素，生成所述多个基元对所述元素的相应电磁场贡献的总和。
[0102]
所述每个计算单元可以被配置为：从所述计算单元阵列的其他计算单元接收计算出的所述多个基元中的其他基元对所述一个或多个相应元素中的每个元素的电磁场贡献；以及针对所述一个或多个相应元素中的每个元素，通过将接收到的所述计算出的所述其他基元对所述元素的电磁场贡献相加来生成所述相应电磁场贡献的总和。
[0103]
每个所述计算单元可以被配置为针对所述一个或多个相应元素中的每个元素生成相应控制信号以基于对所述元素的相应电磁场贡献的总和来调制所述元素的至少一个特性。
[0104]
在一些实施方式中所述集成电路包括一个相应的累加器，所述相应的累加器被配置为存储所述多个基元对所述显示屏的每个元素的所计算电磁场贡献的累加结果。所述集成电路可以被配置为在计算操作开始时将所述累加器清零。在一些示例中，所述集成电路包括用于每个所述元素的相应存储缓冲器，并且所述集成电路可以被配置为将所述多个基元对所述元素的所计算电磁场贡献进行累加以获得所述相应电磁场贡献的总和作为所述相应累加器中的最终累加结果，并且将所述最终累加结果从所述相应累加器传递至用于所述元素的所述相应存储缓冲器。
[0105]
在一些实施方式中，所述系统还包括照明器，所述照明器定位于所述集成电路与所述显示屏之间并且被配置为从所述集成电路接收控制信号并且基于所述控制信号将光照射在所述显示屏上，其中，所述集成电路、所述照明器和所述显示屏可以被集成为单个单元。
[0106]
本公开的另一方面的特征在于一种系统，所述系统包括：计算设备，被配置为产生包括与三维(3d)空间中的对象对应的多个基元的相应基元数据的数据；以及如本文公开的系统。该系统被配置为从所述计算设备接收所述图形数据并处理所述图形数据以在所述3d空间中呈现所述对象。所述计算设备可以包括应用编程接口(api)，所述应用编程接口被配置为通过渲染所述对象的计算机生成(cg)模型来利用所述相应基元数据创建所述基元。
[0107]
在本公开中，术语“基元(primitive)”是指计算系统内用于输入和输出的基本不可划分元素。所述元素可以是几何元素或图形元素。术语“全息图(hologram)”是指显示在显示屏上的图案，其包含关于对象的幅度信息或相位信息，或者它们的组合。术语“全息重构(holographic reconstruction)”是指来自被照射的显示屏的体积光场(例如，全息光场)。
[0108]
本文的主题的一个或多个实施方式的细节在附图和相关描述中阐述。主题的其他特征、方面和优点将从说明书、附图和权利要求书中显现。
[0109]
应该理解，实施方式的各个方面可以以不同方式组合。作为示例，某些方法的特征可与其他方法的特征组合。
附图说明
[0110]
图1a示出了包括全息显示的示例性系统的示意图。
[0111]
图1b示出了示例性全息显示的示意图。
[0112]
图1c示出了用于3d显示的示例性系统。
[0113]
图2示出了用于电磁(em)传播计算的示例性配置。
[0114]
图3a示出了点基元相对于显示元素的示例性电磁传播。
[0115]
图3b示出了线基元相对于显示元素的示例性电磁传播。
[0116]
图3c示出了三角形基元相对于显示元素的示例性电磁传播。
[0117]
图3d示出了点基元以线基元作为遮挡物的麦克斯韦全息遮挡的示例性实施方式。
[0118]
图3e示出了线基元以另一线基元作为遮挡物的麦克斯韦全息遮挡的示例性实施方式。
[0119]
图3f示出了三角形基元以线基元作为遮挡物的麦克斯韦全息遮挡的示例性实施方式。
[0120]
图3g示出了麦克斯韦全息接合的示例性实施方式。
[0121]
图4是显示3d对象的示例性处理的流程图。
[0122]
图5a至图5f示出了用于3d显示的示例性系统的实施方式。
[0123]
图6a示出了具有非均匀形状的显示元素的示例性显示屏。
[0124]
图6b示出了具有不同尺寸的显示元素的示例性显示屏。
具体实施方式
[0125]
本公开的实施方式的特征在于用于实现将复杂计算机生成的场景作为真实全息图进行3d显示的技术。所述技术提供了基于用于电磁场的麦克斯韦方程的实时动态计算全息术的全新且确定性解法，其可表示为麦克斯韦全息术。麦克斯韦全息术中的计算可表示为麦克斯韦全息计算。在实施例中，本公开利用包括场理论、拓扑结构、解析延拓、和/或对称群的工具将全息图作为一般电场的狄利克雷(dirichlet) 或柯西(cauchy)边界条件问题来处理，这使得能够实时地求解全息图而没有传统全息系统的限制。在实施例中，所述技术可用于利用空间光调制器(slm)或任何其他全息设备来制作仅相位、仅幅度、或者相位和幅度全息图。
[0126]
本公开的实施方式可提供：1)使用场理论和接触几何而不是经典光学将全息图近
似为电磁边界条件的机制；2)推导和实现为计算全息术的电磁边界条件方法的计算机代码和应用编程接口(api)，即，将全息图计算实现为全息图平面的2d 解析函数并且随后离散化为并行算法；和/或3)实现标准计算机图形基元(例如，点、线、三角形和纹理三角形)的全3d全息版本的完整集合，这可以实现与标准现有计算机图形工具和技术的完全兼容。所述技术可以使得设备能够显示现有通用的不是为全息术专门创建的内容，并且同时允许现有内容创建者创建全息作品，而不必学习特殊技术或者使用特殊工具。
[0127]
具体地，所述技术可涉及使用光的数学公式(或表达式)作为电磁(em)现象来代替在计算全息中常用的经典光学的数学公式，例如，gerchberg-saxton(g-s) 模型。本文公开的数学公式源自麦克斯韦方程。在实施例中，本文公开的技术涉及将显示的图像视为电磁场并且将全息图视为产生电磁场的边界值条件(例如，狄利克雷问题)。另外，可使用计算机图形中普遍存在的基元范例来构造期望的图像，从而允许例如所述技术被用于将任何3d图像显示为全息重构(例如，全息光场) 而不是2d屏幕上的投影图像。与遭受带宽限制的深度点云技术相比，所述技术可避免这些限制并使用任何合适类型的基元，例如，点基元、线基元或多边形基元(诸如三角形基元)。此外，可利用色彩信息、纹理信息和/或着色信息来渲染基元。这可帮助实现包括实况全息视频的cg全息内容的记录和压缩方案。
[0128]
在实施例中，所述技术使用麦克斯韦方程来将所生成的全息图计算为电磁场建模的边界条件问题，这可以消除对快速傅里叶变换(fft)及其固有限制的依赖性、消除对准直光源和激光器的依赖性、和/或消除计算全息术的先前方法和非确定性解法的限制。
[0129]
在实施例中，可根据构建场景所需的计算机生成(cg)基元的参数，通过数学优化处理针对计算简单性和速度来优化技术，该数学优化处理将独立的输入约束到全息图的表面。这允许在计算架构(例如，专用集成电路(asic)和多核架构) 中以高度并行和高度最优的方式执行工作。计算全息图的处理可被认为是以计算机生成的图像(cgi)场景的形式在输入数据上执行的单个指令，并且在理论上可在每一cgi基元的单个时钟周期中完成。
[0130]
在实施例中，所述技术将全息场景视为全3d全息基元孔径的组件，所述孔径在功能上与常规3d图形的标准基元兼容，如在例如视频游戏、电影、电视、计算机显示屏、或任何其他计算显示技术中采用的。所述技术可使得能够在硬件和软件中有效地实现这些孔径基元，而没有计算全息术的标准实现中固有的限制。可自动计算基元的幅度和色彩。与标准计算全息术中的n^2或n*log(n)相比，计算复杂度可随着相位元素数n线性地增加。所创建的图像是完全3d的且不是平面图像的集合，并且所述技术不需要具有未知步数的迭代幅度校正。此外，所生成的全息图不具有在全息设备上占据空间的“共轭”图像。
[0131]
由于全息基元是数学对象的特殊集合的一部分，所以它们可相对简单且相对快速进行计算，并且它们可独特地适用于并行、分布式计算方法。可计算性和并行性可允许大型全息图的交互式计算，从而设计理论上无限尺寸的大面积全息设备，其可充当全息计算机显示屏、电话显示屏、家庭影院以及甚至全息房间。此外，全息图可用光填充大型区域，例如，在3d中渲染大着色区域，而没有与常规全息计算方法相关联的限制，常规全息计算方法可致使元素以轮廓而非实心呈现。此外，相对简单和相对快速的计算允许以不受n^2计算负荷和迭代幅度校正约束的交互速度显示实时全息图。
[0132]
在实施例中，所述技术可实现现代asic和多核架构上的自然可计算性，并且可实现与现代图形硬件、现代图形软件、和/或现代图形工具和工具链的完全兼容性。例如，所述
技术可实现清楚且简单的全息api，并通过api使用普通的标准3d内容创建工具(例如，或unity3d)来实现任意cg 模型的高性能渲染。api可使开发者或用户能够与全息设备(例如，光调制器或全息系统)交互。全息api可将计算机图形基元创建为离散全息场景基元，从而允许利用通用和专门设计的全息计算硬件生成丰富的全息内容。数学和计算架构的创建可允许使用用于制作常规3d内容和软件应用的工具和技术来渲染全息图。数学和计算架构的优化可允许常规图形和渲染的执行性实施例被显示为全息重构。
[0133]
所述技术中的算法相对易于在硬件中实现。这不仅允许用户期望的高质量、现代渲染所需的计算速度，而且还允许在相对简单的电路(例如，作为全息设备的一部分的asic门结构)中实现算法。因而，会困扰高密度显示屏的带宽问题可能变得无关紧要，因为场景的计算可分布在内置到显示设备中的计算架构(例如，内置计算)中，而不是必须远程计算，然后针对每一帧内容写入到显示屏的每一像素。这也意味着显示元素的数量以及因此全息显示屏的尺寸可相对不受限制其他技术的约束所制约。
[0134]
所述技术可使得使用结构化光的多种交互式技术能够在不同的应用中相对简单且相对便宜地实现，这些应用包括例如固态光检测和测距(lidar)设备、3d打印、智能照明器、智能微显示屏、或要求结构化光的任何其他应用。所述技术还可用于光学模拟，例如用于光栅模拟。
[0135]
图1a示出了用于3d显示的示例性系统100的示意图。系统100包括计算设备102和全息显示设备(或麦克斯韦全息显示设备)110。计算设备102被配置为准备与例如3d对象的对象对应的基元列表的数据，并经由有线或无线连接(例如 usb-c连接或任何其他高速串行连接)将该数据发送到全息显示设备110。全息显示设备110被配置为计算基元列表对全息显示设备110中的显示屏的显示元素(例如，调制器)的电磁场贡献，基于所计算出对显示屏的电磁场贡献，利用例如全息图的图案来调制显示元素，以及在照射下以3d形式显示与对象对应的光场，例如，全息重构。在此，全息图指的是显示在显示屏上的图案，该图案包含关于对象的幅度信息或相位信息或者它们的组合。全息重构是指当全息屏被照射时，来自显示屏的体积光场(例如，全息光场)。
[0136]
计算设备102可是任何适当类型的设备，例如桌面计算机、个人计算机、笔记本、平板计算设备、个人数字助理(pda)、网络设备、智能移动电话、智能手表、增强型通用分组无线电服务(egprs)移动电话、媒体播放器、导航设备、电子邮件设备、游戏控制台、或这些计算设备或其他计算设备中的任何两个或更多个的任何适当组合。
[0137]
计算设备102包括操作系统(os)104，操作系统104可包括多个应用106作为图形引擎。应用106可使用标准3d内容创建工具(例如，擎。应用106可使用标准3d内容创建工具(例如，或unity3d)来处理或渲染场景，例如，任何任意cg模型。场景可对应于 3d对象。应用106可并行操作以渲染场景从而获得os图形抽象101，os图形抽象101可被提供给图形处理单元(gpu)108以供进一步处理。在一些实施方式中， os图形抽象101被提供给全息显示设备110以供进一步处理。
[0138]
gpu 108可以包括被设计用于快速操纵计算机图形和图像处理的专用电子电路。gpu 108可以处理场景的os图形抽象101以获得经处理的场景数据103，该经处理的场景数据可用于获得以特定顺序编索引的基元列表105。基元可包含点基元、线基元或多边形基元
中的至少一个。在一些实施方式中，gpu 108包括被配置为生成经处理的场景数据103和基元列表105的视频驱动器。
[0139]
在一些实施方式中，gpu 108包含传统渲染器120，可通过例如剔除和裁剪的传统渲染技术将基元列表105渲染为项目列表以在例如2d显示屏幕的传统监视器124上绘制。项目列表可经由屏幕缓冲器122发送到传统监视器124。
[0140]
在一些实施方式中，gpu 108包含全息渲染器130，用于将基元列表105渲染为要由全息显示设备110显示的图形数据。图形数据可包括基元列表和相应的基元数据。例如，图形数据可包括每个基元的十六进制码。
[0141]
在一些实施方式中，gpu 108包括传统渲染器120和全息渲染器130两者。在一些实施方式中，gpu 108包括传统渲染器120，全息显示设备110包括全息渲染器130。
[0142]
基元的相应基元数据还可包括色彩信息(例如，纹理化色彩、梯度色彩或两者)、纹理信息和/或着色信息。着色信息可通过涉及调制基元表面的色彩或亮度的任何传统cgi表面着色方法来获得。
[0143]
基元的基元数据可包括基元在例如笛卡尔坐标系xyz、极坐标系、柱面坐标系和球面坐标系的3d坐标系中的坐标信息。如下进一步详述的，全息显示设备110 中的显示元素也可在3d坐标系中具有相应的坐标信息。坐标位置处的基元可表示邻近于显示元素(例如，在显示元素前面)的3d对象。
[0144]
作为示例，基元为着色线，例如，在其跨度上从一种色彩平滑地改变为另一种色彩的直线。基元需要四个数据元素来渲染：两个端点以及每个端点处的色彩信息 (例如，rgb色彩值)。假设该线的十六进制码为a0，在3d坐标系中，该线从第一端点(0.1,0.1,0.1)延伸到第二端点(0.2,0.2,0.2)，第一端点处色彩为1/2蓝色： rgb＝(0,0,128)，第二端点处色彩为全红色：rgb＝(255,0,0)。全息渲染器确定每个基元预期多少数据和什么类型的数据。对于所述线，基元流中针对着色线的基元数据可为如下指令集：
[0145]
0xa0//hex code for the shaded line
[0146]
0x3dcccccd//first vertex at(0.1,0.1,0.1)float(single)
[0147]
0x3dcccccd
[0148]
0x3dcccccd
[0149]
0x000080//first vertex color is(0,0,128)
[0150]
0x3e4ccccd//second vertex at(0.2,0.2,0.2)float(single)
[0151]
0x3e4ccccd
[0152]
0x3e4ccccd
[0153]
0xff0000//second vertex color is(255,0,0)
[0154]
着色线基元的基元数据中总共有31个十六进制字。因此，这会是一种极其有效的传输复杂场景的方式，并且可进一步压缩基元数据。因为每个基元为确定性图灵步骤，所以不需要终止符。与在2d显示屏上简单地绘制线基元的传统模型的不同之处在于，线的基元数据被发送到全息显示设备110，全息显示设备110可计算全息图并显示呈现漂浮在空间中的线的相应全息重构。
[0155]
在一些实施方式中，计算设备102将例如记录的光场视频的非基于基元的数据发送到全息显示设备110。全息显示设备110可计算顺序(sequential)全息图以将视频显示为
空间中的顺序全息重构。在一些实施方式中，计算设备102将cg全息内容与实况全息内容同时发送到全息显示设备110。全息显示设备110还可计算相应的全息图以将内容显示为相应全息重构。
[0156]
如图1a所示，全息显示设备110包括控制器112和显示屏114。控制器112 可包括多个计算单元或处理单元。在一些实施方式中，控制器112包括asic、现场可编程门阵列(fpga)或gpu，或者它们的任意组合。在一些实施方式中，控制器112包括全息渲染器130，用于将基元列表105渲染为要由计算单元计算的图形数据。在一些实施方式中，控制器112从计算设备102接收os图形抽象101以供进一步处理。显示屏114可包括多个显示元素。在一些实施方式中，显示屏114 包括空间光调制器(slm)。slm可是相位slm、幅度slm、或者相位和幅度slm。在一些示例中，显示屏114为数字微镜设备(dmd)或硅上液晶(lcos)器件。在一些实施方式中，全息显示设备110包括邻近于显示屏114且被配置为朝向显示屏114发射光的照明器116。照明器116可以是例如激光器的相干光源、例如led (发光二极管)的半相干光源或非相干光源。
[0157]
与采用3d场景并将其投影到2d显示设备上的传统3d图形系统的不同之处在于，全息显示设备110被配置为产生3d输出，诸如光场形式的全息重构117，例如，彩色3d体。在全息图中，每个显示元素对场景的每一部分做出贡献。也就是说，对于全息显示设备110，需要针对场景的每一部分(例如，由gpu 108生成的基元列表中的每个基元)来调制每个显示元素以用于场景的完全再现。在一些实施例中，可基于例如再现场景中的可接受精度水平而省略对某些显示元素的调制。
[0158]
在一些实施方式中，控制器112被配置为计算每个基元对每个显示元素的电磁场贡献(例如，相位、幅度或两者)，且针对每个显示元素生成基元列表对该显示元素的电磁场贡献总和。这可通过针对给定显示元素遍历每个基元并累积(accrue) 其对该给定显示元素的贡献，或通过针对每个基元遍历每个显示元素来完成。
[0159]
控制器112可基于基元的预定表达式来计算每个基元对每个显示元素的电磁场贡献。不同的基元可以具有对应的表达式。在一些情况下，预定表达式是解析式，如下关于图3a至图3c进一步详述的。在一些情况下，通过利用显示屏114处定义的边界条件求解麦克斯韦方程来确定预定表达式。边界条件可包括狄利克雷边界条件或柯西边界条件。然后，可基于电磁场贡献总和来调制显示元素，例如，通过调制显示元素的折射率、幅度指数、双折射或迟滞中的至少一个。
[0160]
如果电磁场在界定该场的表面上的每个点处的值(例如，麦克斯韦方程的解) 是已知的，则可确定由边界表面界定的体积内的电磁场的准确、唯一的配置。基元列表(或对应全息图的全息重构)和显示屏114定义3d空间，并且显示屏114的表面形成3d空间的边界表面的一部分。通过在显示屏114的表面上设置电磁场状态(例如，相位或者相位状态和幅度状态)，例如通过在显示屏表面上照射光，可以确定电磁场的边界条件。由于麦克斯韦方程的时间对称性，当基于来自对应于全息图的基元的电磁场贡献来调制显示元素时，可以获得作为全息重构的对应于全息图的体积光场。
[0161]
例如，可在显示屏114的前面设置以特定色彩照射的线基元。如下针对图3b 进一步详述的，线性孔径的解析式可以被写为空间中的函数。然后可以确定来自包括显示屏114的边界表面上的线基元的电磁场贡献。如果对应于所计算的电磁场贡献的电磁场值被设置
在显示屏114上，则由于麦克斯韦方程的时间对称性，在计算中使用的同一线性孔径可出现在对应位置处，例如所述线基元在3d坐标系中的坐标位置处。
[0162]
在一些示例中，如下针对图3b进一步详述的，假设在3d空间中的两个点a 与b之间存在一条线的光。光均匀地发出并且每线长l的光强为i。在沿着从a到 b的线的每个微分dl处，发射出与i*dl成比例的光量。无穷小dl可充当delta(点) 源，并且可确定微分dl对与基元列表相对应的场景周围的边界表面上的任何点的电磁场贡献。因此，对于显示屏114上的任何显示元素，可以确定表示该条线的微分段对显示元素的电磁场贡献的解析方程式。可确定沿着该条线行进并累积整条线对显示屏上的显示元素处的电磁场的电磁场贡献的特定类型的求和/积分作为表达式。可例如通过调制显示元素且对显示元素照射来设置在该显示元素处对应于该表达式的值。然后，通过时间反转和校正常数，可在由3d空间中的点a和点b限定的相同位置处创造出该条线。
[0163]
在一些实施方式中，控制器112通过存储缓冲器耦接到显示屏114。控制信号 112可基于对每个显示元素的电磁场贡献总和来生成相应控制信号。控制信号用于基于电磁场贡献总和来调制显示元素。所述相应控制信号经由存储缓冲器被发送到相应显示元素。
[0164]
在一些实施例中，控制器112与显示屏114集成且本地耦接到显示屏114。如关于图1b进一步详述的，控制器112可包括若干计算单元，其各自耦接到一个或多个相应显示元素且被配置为将相应控制信号发送到一个或多个相应显示元素中的每一个。每个计算单元可被配置为对基元列表中的一个或多个基元进行计算。计算单元可并行操作。
[0165]
在一些实施方式中，照明器116耦接到控制器112，且被配置为基于来自控制器112的控制信号而开启/关闭。例如，控制器112可响应于控制器112完成计算(例如，获得对显示元素的电磁场贡献的所有总和)而激活照明器116以开启。如上所述，当照明器116将光发射到显示屏114上时，经调制的显示元素促使光沿不同方向传播以形成对应于基元列表的体积光场，其中，基元列表对应于3d对象。所得的体积光场与具有由显示屏114的经调制的显示元素界定的边界条件的麦克斯韦方程的解相对应。
[0166]
在一些实施方式中，控制器112通过存储缓冲器耦接到照明器116。存储缓冲器可被配置为控制照明器中的发光元件的幅度或亮度。用于照明器116的存储缓冲器可以比用于显示屏114的存储缓冲器在尺寸上更小。照明器116中的发光元件的数量可以小于显示屏114的显示元素的数量，只要来自发光元件的光可照射在显示屏114的整个表面上即可。例如，具有64x64个oled(有机发光二极管)的照明器可用于具有1024x1024个元素的显示屏。控制器112可被配置为同时激活照明器 116的多个发光元件。
[0167]
在一些实施方式中，照明器116为单色光源，其被配置为发射单色光，例如红光、绿光或蓝光。在一些实施方式中，照明器116包括两个或更多个发光元件，其各自被配置为发射具有不同色彩的光。例如，照明器116可包括红色、绿色和蓝色发光元件。为了显示全彩3d对象，可计算三个单独的红色、绿色和蓝色的全息图。即，可获得相应基元对显示元素的三个电磁场贡献。可基于该三个电磁场贡献顺序地调制显示元素，并且可以控制照明器116以顺序地开启红色、绿色和蓝色发光元件。依靠观看者的眼睛中的视觉效果的时间相干性，三种色彩可在眼睛中组合以呈现全彩。在一些情况下，照明器116在显示图像(或全息重构)的状态改变期间关闭并且在有效图像(或全息重构)被呈现一时间段时开启。这还可依靠视觉的时间相干性来使图像(或全息重构)显得稳定。
[0168]
在一些实施方式中，显示屏114具有小到足以衍射可见光的分辨率，例如，具有0.5μm或更小数量级的分辨率。照明器116可包括单个白光源，并且所发射的白光可由显示屏114衍射为不同的色彩以用于全息重构。
[0169]
如下针对图5a至图5f所进一步详述的，可以存在针对系统100的不同配置。显示屏114可是反射式的或透射式的。显示屏114可具有各种尺寸，该尺寸具有从小尺度(例如，一条边为1-10cm)到大尺度(例如，一条边为100-1000cm)的范围。来自照明器116的照射可来自显示屏114的前表面(例如，对于反射式显示屏) 或来自显示屏114的后表面(例如，对于透射式显示屏)。平面波导可用于使显示屏114的表面照射均匀。在一些实施方式中，控制器112、照明器116和显示屏114 可一起集成为单个单元。集成的单个单元可包括例如控制器112中的全息渲染器130。
[0170]
图1b示出了示例性全息显示设备150的示意图。全息显示设备150可类似于图1a的全息显示设备110。全息显示设备150包括计算架构152和显示屏156。计算架构152可类似于图1a的控制器112。计算架构152可包括并行计算核154的阵列。计算核可经由通信连接159(例如，usb-c连接或任何其他高速串行连接)连接到相邻的计算核。通信连接159可包括在数据分发网络中，通过该数据分发网络，可以在计算核154之间分发场景数据151(例如，场景基元)。
[0171]
显示屏156可类似于图1a的显示屏114，且可包括位于背板158上的显示元素160的阵列。显示元素160可布置在背板158的前表面上，且计算核154可布置在背板158的后表面上。背板158可以是基板，例如晶圆。计算核154可与显示屏 156在同一基板上或连接到显示屏156的后表面。
[0172]
每个计算核154可连接到显示元素160的相应区块(tile)(或阵列)。每个计算核154被配置为彼此并行地对场景数据151中的多个基元中的各个基元进行计算。在一些示例中，计算核154被配置为计算每个相应基元对显示元素160的阵列中的每个显示元素的电磁场贡献，并且生成多个基元对显示元素160的相应区块中的每个显示元素的电磁场贡献总和。计算核154可从计算核154的阵列中的其他计算核接收所计算的多个基元中的其他基元对显示元素160的相应区块中的每个显示元素的电磁场贡献，并且基于接收到的所计算的电磁场贡献来生成电磁场贡献总和。计算核154可以生成针对显示元素的相应区块中的每个显示元素的控制信号以基于对显示元素的电磁场贡献总和来调制显示元素160的相应区块中的每个显示元素的至少一个特性。
[0173]
如上所述，计算架构152还可以例如响应于确定针对多个基元对每个显示元素的电磁场贡献总和的计算已经完成而生成对照明器162的控制信号。照明器162发射输入光153以照射经调制的显示元素160，且输入光153被经调制的显示元素160 反射以形成对应于场景数据151的体积光场，例如，全息光场155。
[0174]
如图1b所示，显示元素160的区块可互连成为较大显示屏。相应地，计算核 154可以互连以进行数据通信和分发。注意，在对任何给定的两个显示元素之间的全息计算中变化的参数是它们的物理位置。因此，计算全息图的任务可在相应的计算核154之间平均地分担，并且整个显示150可以以与单个区块相同的速度工作，即，与区块数量无关。
[0175]
图1c示出了用于在3d空间中显示对象的示例性系统170。系统170可包括例如图1a的计算设备102的计算设备和全息显示设备172，例如，图1a的全息显示 110或图1b的全息
显示150。用户可使用输入设备(例如，键盘174和/或鼠标176) 来操作系统170。例如，用户可通过计算设备创建用于2d对象178和3d对象180 的cg模型。计算设备或全息显示设备172可包括全息渲染器，例如，图1a的全息渲染器130，以渲染cg模型从而生成用于2d对象178和3d对象180的相应图形数据。图形数据可包括与对象178和180对应的基元列表的相应基元数据。
[0176]
全息显示设备172可包括控制器，例如图1a的控制器112或图1b控制器152，以及显示屏173，例如图1a的显示屏114或图1b的显示屏156。控制器可计算基元对显示屏173的每个显示元素的相应电磁场贡献总和，并且基于该相应电磁场贡献总和来生成用于调制每个显示元素的控制信号。全息显示设备172还可包括照明器，例如，图1a的照明器116或图1b的照明器162。控制器可生成定时(timing) 控制信号以激活照明器。当来自照明器的光照射在显示屏173的表面上时，经调制的显示元素可以促使光在3d空间中传播以形成与针对2d对象178的全息重构和针对3d对象180的全息重构相对应的体积光场。因此，2d对象178和3d对象180 被显示为漂浮在显示屏173前面的3d空间中的相应全息重构。
[0177]
在一些实施方式中，计算设备将非基于基元的数据(例如，记录的光场视频) 发送至全息显示设备172。全息显示设备172可计算和生成相应的全息图(例如，一系列顺序全息图)以显示为3d空间中的相应全息重构。在一些实施方式中，计算设备将cg全息内容与实况全息内容同时发送到全息显示设备172。全息显示设备172还可计算和生成相应全息图以将内容显示为3d空间中的相应全息重构。
[0178]
图2示出了用于电磁(em)场计算的示例性配置200。3d空间208中具有包括显示元素204的阵列的显示屏202(例如，lcos器件)和包括点基元206的基元列表。3d空间208包括边界表面210。在3d坐标系xyz中，点基元206具有坐标信息(x,y,z)。每个显示元素204相对于其他显示元素204位于一平面中且具有2d 位置(u,v)。显示元素204还具有3d空间中的位置。通过数学点变换，2d位置(u,v) 可被变换为3d坐标系中的六个坐标250。即，显示屏202的表面形成边界表面210 的一部分。因此，通过定义显示屏202的表面处的边界条件而计算的基元列表对显示元素的电磁场贡献表示基元对显示元素的总电磁场贡献的一部分。可将比例因子 (例如，六)乘以对每个显示元素的电磁场贡献总和，以获得经缩放的电磁场贡献总和，且可基于经缩放的电磁场贡献总和来调制显示元素。
[0179]
基元的示例性电磁场贡献
[0180]
基元可用于标准计算机图形渲染。标准计算机图形中的每种类型的基元在此过程中对应于一种离散数学函数，该离散数学函数定义添加到全息图的图形元素的单个全息基元。每种类型的基元可对应于用于计算对显示元素的电磁场贡献的表达式。基元可以是点基元、线基元或多边形(例如，三角形)基元。如下所示，可通过计算从对应基元到显示屏的显示元素的电磁场传播来推导出解析式。
[0181]
图3a示出了从点基元304到显示屏300的显示元素302的示例性电磁传播。在3d坐标系xyz中，假设z坐标在显示屏300上为0，这意味着在显示屏300后面z值为负，而在显示屏300前面z值为正。点基元304的坐标为(x,y,z)，且显示元素302的坐标为(u,v,0)。点基元304与显示元素302之间的距离d
uv
可基于它们的坐标来确定。
[0182]
点基元304可被视为具有时变幅度的点电荷。根据电磁理论，由这种点电荷产生的电场e可表示为：
[0183][0184]
其中，λ表示电磁波的波长，d表示距点电荷的距离。
[0185]
因此，显示元素(u,v)处的电场e
u,v
可表示为：
[0186][0187]
其中i表示在显示元素处由点基元304贡献的全息基元电场的相对强度。
[0188]
如以上针对图1所述，显示屏300的表面仅形成电磁场的边界表面的一部分。比例因子可被应用到电场e
u,v
以获得显示元素处的针对部分边界进行调整的缩放的电场
[0189][0190]
其中
[0191]
图3b示出了3d坐标系xyz中从线基元306到显示屏300的显示元素302的电磁传播的示例。如上所述，显示元素302的坐标可为(u,v,0)，其中z＝0。线基元 306的两个端点p0和p1的坐标分别为(x0,y0,z0)和(x1,y1,z1)。端点p0与显示元素之间的距离d0可基于它们的坐标来确定。类似地，端点p1与显示元素之间的距离 d1可基于它们的坐标来确定。两个端点p0与p1之间的距离d
01
也可被确定，例如， d
01
＝d
1-d0。
[0192]
如上所述，线基元可被视为叠加或线性变形，并且作为线性孔径的线基元的对应解析式可以作为空间中的分布式增量函数被获得。该解析式可以是作为全息图的连续3d线段的封闭表达式。
[0193]
图3c示出了3d坐标系xyz中从三角形基元308到显示屏300的显示元素302 的示例性电磁传播。如上所述，显示元素302的坐标可为(u,v,0)，其中z＝0。三角形基元308具有三个端点：p0(x0,y0,z0)、p1(x1,y1,z1)和p2(x2,y2,z2)。显示元素与端点p0、p1和p2之间的距离d0、d1和d2可分别基于它们的坐标来确定。
[0194]
类似于图3b中的线基元，三角形基元可被视为空间中的连续孔径，并且可通过积分获得三角形基元对显示元素的电磁场贡献的解析式。这可被简化以获得用于高效计算的表达式。
[0195]
基元的示例性计算
[0196]
如上所述，例如图1的控制器112的控制器可基于可如上所示确定的解析式来计算基元对显示元素的电磁场贡献。例如，如下计算线基元的电磁场贡献。
[0197]
显示屏中的每个显示元素具有空间中的物理位置，且每个显示元素相对于其他显示元素位于一平面中。假设显示元素及其控制器如在显示和存储设备中惯常那样布置，那么简单的数学点变换可用于基于显示元素在处理器中的逻辑存储地址将给定显示元素的逻辑位置变换为显示元素在空间中的实际物理位置。因此，当显示元素的逻辑存储地址在处理器的逻辑存储空间中循环时，可识别显示屏的表面空间中的对应实际物理位置。
[0198]
作为示例，如果显示屏的节距(pitch)为5μm，则每个逻辑地址增量可沿x方向移动
5μm，并且当达到显示屏的x分辨率极限时，下一增量将移动回到初始x物理位置并且将y物理位置增加5μm。可假设第三空间坐标z在显示屏表面上为零，这意味着负z值在显示屏后面，并且正z值在显示屏前面。
[0199]
为了开始线计算，当前显示元素与线基元的两个点中的每个点之间的一种缩放的物理距离可被确定为d0和d1。事实上，d0和d1可每一基元计算一次，因为针对所有显示元素的距离的每次后续计算是初始值的小变化。以这种方式，该计算在一维中进行。
[0200]
用于每个基元的示例性计算处理可包括以下计算代码：
[0201]
dd＝f(d1,d0),
[0202]
iscale＝ss*color*alpha1,
[0203]
c1＝-2*iscale*sin(dd/2)*sin((alpha2)*cos(alpha3),
[0204]
c2＝-2*iscale*sin(dd/2)*sin(alpha2)*sin(alpha4),
[0205]
其中，ss、alpha1、alpha2、alpha3和alpha4是预先计算的常数，color是与基元一起传递的rgb色彩值，并且所有值是标量、单精度浮点数。正弦和余弦函数两者都可在存储在控制器中的表中被查找，以提高计算效率。
[0206]
然后，在每个显示元素处，例如在用于显示元素的累加器中针对每个基元累加 c1和c2的结果，并且可在针对显示元素的计算结束时将其归一化一次。此时，如上所述，控制器可将第一控制信号发送到显示元素以基于所计算的结果调制显示元素，并将第二控制信号发送到照明器以开启照明器从而发射光。因此，全息重构(或全息光场)对于观看者是可见的。当经调制的显示元素被照射时，可使光在三维空间中产生清晰的连续色线。
[0207]
在一些实施方式中，计算代码包括用于例如在代码开始时清除累加器中的先前累加的十六进制码。计算代码还可以例如在代码结尾处包括用于将累加器结果存储到用于每个显示元素的相应存储缓冲器中的十六进制码。在一些实施方式中，例如图1a的计算设备102的计算设备，在应用启动时或在不影响主要显示帧率的、在对帧进行显示之间的间隔时将多个背景或静态基元十六进制码发送到控制器。随后，计算设备可将十六进制码的一个或多个组合潜在地连同其他前景或动态基元一起以更高的速率发送到控制器，该控制器可形成对应控制信号以调制显示屏的显示元素。
[0208]
计算处理可以比传统2d显示技术中最有效的线绘制例程更简单且更快几个数量级。此外，该计算算法随显示元素的数量线性地缩放。因此，将控制器的计算单元缩放为2d联网处理系统可以跟上显示屏的表面积增加的计算需要。
[0209]
示例性计算实施方式
[0210]
例如，图1a的控制器112的麦克斯韦全息控制器可基于可如上所示确定的解析式来计算基元对显示元素的电磁场贡献。控制器可在例如asic、fpga或gpu 或者其任意组合中实现。
[0211]
在现代gpu管线中，gpu进行几何图形以及顶点和片段着色程序的描述以产生至一个或多个输出图像表面(称为渲染目标)的色彩和深度像素输出。该处理涉及信息的爆炸性扇出(explosive fan-out)，其中几何结构被扩展到着色片段，随后进行可见度测试以选择是否需要对这些片段中的每个做些工作。片段是包含着色该样本点所涉及的所有信息(例如，三角形的重心坐标、内插值(如色彩或纹理坐标)、表面导数等)的记录。创建这些记录然后拒绝对最终图像没有贡献的那些记录的处理即可见度测试。通过了可见度测试的片段可
被封装到由着色器引擎并行执行的称为波前(wavefront)或翘曲(warp)的工作组中。这些会产生输出值，所述输出值被写回到存储器作为像素值，准备好用于显示，或用作输入纹理以用于稍后的渲染通道。
[0212]
在麦克斯韦全息术中，渲染处理可被显著简化。在麦克斯韦全息计算中，每个基元对每个显示元素做出贡献。不需要将几何结构扩展到像素，并且不需要在包装波前(packing wavefronts)之前应用可见度测试。这还可去除对麦克斯韦全息管线之间的决策或通信的需要，并且允许计算成为具有多个可能的解的并行问题，每个解被调整为速度、成本、大小或能量优化。图形管线显著更短，具有较少的中间步骤、没有数据复制或移动、以及具有较少的决策，从而使得发起绘制与结果准备好显示之间的延迟较低。这可允许麦克斯韦全息渲染创建极低延迟的显示。如下所述，这可允许麦克斯韦全息计算例如通过使用麦克斯韦全息管线中的定点数来提高精度，并且例如通过优化数学函数来优化计算速度。
[0213]
使用定点数
[0214]
当计算每个基元在每个显示元素(例如，相位单元)处的电磁场贡献时，中间计算涉及生成非常大的数值。这些大数值涉及特殊处理，因为它们在计算期间还需要保留小数部分。
[0215]
浮点值具有以下缺点：它们接近原点(在数轴上为零)最精确并且当远离原点移动时每两次幂损失一比特精度。对于接近[-1,1]范围的数值，浮点值的精度可较高，但一旦达到数千万的数值，例如达到单精度32比特ieee-754浮点值没有剩余小数位的程度，就使用整个有效数(又称为尾数)来表示值的整数部分。然而，麦克斯韦全息术特别感兴趣保留的是大数值的小数部分。
[0216]
在一些情况下，在麦克斯韦全息计算中使用定点数。定点数表示是小数点不视情况而改变的数值。通过选择用于数值的整数和小数部分的正确比特数，可获得相同数量的小数比特，而不管数值的大小如何。定点数表示是具有隐式比例因子的整数，例如，在具有8个小数比特的16比特固定点值中，14.375可表示为数值3680 (负二进制为000011100100000)。这也可表示为“无符号16.8”定点数，或简称为u16.8。负数可具有一个附加符号比特并且以“2s表达(2s compliment)”格式存储。这样可大大提高计算的精度。
[0217]
数学函数的优化
[0218]
如上所示，麦克斯韦全息计算涉及使用先验数学函数，例如，正弦、余弦、反正切等。在cpu中，这些函数被实现为可使用专用cpu指令的浮点库函数，或在 gpu上被实现为gpu中的浮点单元。这些函数被写为将自变量作为浮点数，且以相同的浮点表示返回结果。这些函数被构建以使对于一般情况，其在浮点数精确的情况下这些函数是精确的、被正确地舍入并且处理浮点数表示中的每个边缘情况 (+/-无穷大、非数值、带符号的零和反常浮点数)。
[0219]
在麦克斯韦全息计算中，利用定点表示，不需要使用反常浮点数用于渐进式下溢出，不需要处理来自如除以0的运算的非数值，不需要更改浮点舍入模式，并且不需要引起操作系统的浮点异常。所有这些允许简化(和/或优化)先验数学函数，例如，如下所述。
[0220]
在一些情况下，可进行优化以便以一种固定点格式获取自变量并将该值返回到不同的精度水平，例如，输入28.12和输出15.14。在计算为数千万的大值的正弦时，这可能是特别期望的，输入自变量可以较大，但是输出可以仅需要表示值范围[-1,1]，或者取任何值
但返回范围[-π/2,π/2]中的值的反正切。
[0221]
在一些情况下，取决于所涉及的输入范围，可进行优化以自由地将先验函数实现为完全枚举的查找表、内插表、或者实现为基于半表的多项式函数或基于半表的完全极小极大多项式。该优化还允许应用处理较大输入的特定范围缩小方法，通用 gpu管线计算可能由于速度而跳过该方法。
[0222]
在一些情况下，另一优化可以是将三角计算从范围[-π,π]变换成范围[-1,1]中的带符号的2’s表达来表示，其具有不需要代价高的除以2π取模运算的优点。
[0223]
遮挡的示例性实施方式
[0224]
遮挡通常被视为计算机图形中的重要难题，并且在计算全息中甚至更是如此。这是因为，在至少一些情况下，虽然投影cgi中的遮挡问题是静态的，但是在全息系统中什么是隐藏的和什么是可见的取决于观看者的位置和方向。已开发了g-s全息术或其衍生物的波方法以解决全息遮挡。然而，在g-s方法中，将来自位于场景中其他部分后面的部分的贡献掩蔽或阻挡可能非常复杂且计算成本高。
[0225]
在麦克斯韦全息术中，可相对容易地解决遮挡问题，因为哪些显示元素(例如，相位单元)对应于哪些基元是完全确定性的并且是细微的。例如，当进行针对给定基元的计算时，可确定给定显示元素是否对给定基元的重构做出贡献。在确定若干显示元素由于遮挡而对给定基元无贡献之后，在计算对所述若干显示元素之一的电磁场贡献的总和时，将来自该给定基元的电磁场贡献从对所述若干显示元素之一的电磁场贡献的总和的计算中略去。
[0226]
仅用于说明，图3d至图3f示出了确定在线基元作为遮挡物的情况下未对给定基元(图3d中的点、图3e中的线和图3f中的三角形)做出贡献的显示元素。线基元的起始点为o1，结束点为o2。
[0227]
如图3d所示，点基元p0在遮挡物后面并且更靠近显示屏。通过延伸连接o1-p0 和o2-p0的线，确定显示屏中对点基元p0的重构无贡献的显示元素的范围d1到 d2。
[0228]
在一些示例中，o1、o2和p0的坐标信息是已知的，例如，存储在由gpu(例如，图1a的gpu 108)在将场景发送至麦克斯韦全息控制器(例如，图1a的控制器112)之前计算的“z”缓冲器中。例如，在y＝0的xz平面中，坐标信息可是 o1(ox1,oz1)、o2(ox2,oz2)和po(px,pz)，其中oz1＝oz2＝oz。基于该坐标信息，可将d1和d2的坐标信息确定为：
[0229]
dx1＝ px + ρ (px
ꢀ‑ꢀ
ox2), dx2＝ dx1 + ρ (ox2
ꢀ‑ꢀ
ox1)
ꢀꢀ
(4)，
[0230]
其中ρ＝pz/(oz-pz)，并且dz1＝dz2＝0。
[0231]
除了用于点基元p0的z缓冲器中的信息之外，d1和d2的信息还可作为附加信息存储在用于麦克斯韦全息控制器的“s”缓冲器中。这样，附加信息可用以简单地掩蔽特定显示元素(在从d1到d2的范围内)对经索引的基元列表中的特定基元p0的贡献。
[0232]
图3e示出了对遮挡物在线基元前面的情况下特定显示元素如何对线基元做出贡献的确定。通过将特定显示元素d0连接到遮挡物的起点o1和终点o2，线基元上的两个点基元p1和p2被确定为交点。因此，特定显示元素d0对线基元上从p1 到p2的线基元部分的重构无贡献。因而，当计算对特定显示元素d0的电磁场贡献的总和时，不计算来自线基元的p1-p2部分的电磁场贡献。
[0233]
这可通过两种方式实现。在第一种方式中，通过考虑来自遮挡物的遮挡，将 p0-p1
部分和p2-pn部分对特定显示元素d0的电磁场贡献相加作为线基元对特定显示元素d0的电磁场贡献。在第二种方式中，计算来自整个线基元p0-pn的电磁场贡献以及来自p1-p2部分的电磁场贡献，通过考虑来自遮挡物的遮挡，两个计算出的电磁场贡献之差可被视为线基元对特定显示元素d0的电磁场贡献。p1和p2或者p1-p2部分的坐标信息可作为对特定显示元素d0无贡献的线基元部分，连同遮挡物的信息和gpu的“z”缓冲器中的其他信息一起被存储在麦克斯韦全息控制器的“s”缓冲器中。
[0234]
图3f示出了对遮挡物在三角形基元前面的情况下特定显示元素如何对三角形基元做出贡献的确定。通过将特定显示元素d0连接到遮挡物的起点o1和终点o2，三角形基元的边上的四个点基元p1、p2、p3和p4被确定为交点。因此，特定显示元素d0对三角形基元的被点p1、p2、p3、p4、pc包围的部分的重构无贡献。因而，当计算对特定显示元素d0的电磁场贡献的总和时，不计算来自三角形基元的 p1-p2-p3-p4-pc部分的电磁场贡献。即，通过考虑遮挡物的遮挡，仅将来自由点pa、 p1和p2形成的第一三角形和由点pb、p3和p4形成的第二三角形的电磁场贡献相加作为三角形基元p
a-p
b-pc的电磁场贡献。p1、p2、p3和p4或者三角形基元p
a-p1-p2 和p
b-p3-p4的坐标信息可作为三角形基元p
a-p
b-pc的对特定显示元素d0做出贡献的部分，连同遮挡物的信息和gpu的“z”缓冲器中的其他信息一起被存储在麦克斯韦全息控制器的“s”缓冲器中。
[0235]
麦克斯韦全息术中遮挡的实施方式使得能够将gpu中的“z”缓冲器转换成麦克斯韦全息控制器中的“s”缓冲器，并且可掩蔽经索引的基元列表中的特定基元 (或基元的特定部分)对特定显示元素的贡献。这不仅提供了精确、物理上正确的遮挡，还节省了计算时间，这是因为对给定显示元素无贡献的基元继续用于针对下一显示元素的计算。“s”缓冲器可包含与显示屏的衍射效率相关的附加信息。
[0236]“s”缓冲器还可包括渲染特征，如全息镜面高光，其中表面的反射率取决于视角。在传统cgi中，镜面高光仅依赖于所渲染的对象的方位，而在麦克斯韦全息背景下，观看对象的方向也起到了作用。因此，几何镜面信息可作为加法(镜面) 而不是减法(遮挡)贡献被编码在“s”缓冲器中。在麦克斯韦全息术中，全息镜面高光的数学运算可与全息遮挡的数学运算基本相同。
[0237]
接合的示例性实施方式
[0238]
当光照射在利用来自3d对象的基元列表的电磁场贡献进行调制的显示屏上时，该调制的显示屏致使光沿不同方向传播以形成与基元相对应的体积光场。体积光场是麦克斯韦全息重构。3d对象中的两个相邻基元(例如，三角形基元)具有共享边。在重构期间，可能引起接合问题，其中共享边的光强度可能由于两个相邻基元的单独重构而加倍。这可能影响重构的3d对象的外观。
[0239]
为了解决麦克斯韦全息术中的接合问题，如图3g所示，相邻基元可被缩小预定因子，使得可在相邻基元之间形成间隙。在一些情况下，并非缩小两个相邻基元，而是仅缩小一个基元或基元的一部分。例如，三角形基元中的线可缩小以与另一三角形基元分开。在一些情况下，缩放可包括利用不同的预定因子缩放基元的不同部分。缩放可被设计成使得间隙足够大以最小化相邻基元的拼接问题，并且足够小以使重构的3d对象无缝地显现。预定因子可基于显示屏的信息(例如，显示屏的最大空间分辨率)来确定。
[0240]
在一些情况下，缩放操作可应用于从全息渲染器(例如，图1a的全息渲染器 130)
获得的基元的基元数据，并且将基元的经缩放的基元数据发送至麦克斯韦全息控制器，例如，图1a的控制器112。在一些情况下，控制器可在计算基元对显示屏的显示元素的电磁场贡献之前对从全息渲染器获得的基元数据执行缩放操作。
[0241]
纹理映射的示例性实施方式
[0242]
纹理映射是在计算机图形中开发的技术。基本构思为：拍摄源图像并在cgi 系统中将其作为贴花应用到表面，使得能够将细节渲染到场景中而无需添加复杂几何结构。纹理映射可包括用于在cgi系统中创建现实照射和表面效果的技术，并且可泛指将表面数据应用到三角形网格。
[0243]
在麦克斯韦全息术中，可使用空间中的任意三角形与全息设备上的相位图之间的解析关系来在真实3d中渲染平面着色且进行内插的三角形网格。然而，为了与现代渲染引擎兼容，涉及在这些三角形的表面上映射信息的能力。这可能会带来实际问题，因为该方法的速度源自解析映射的存在，其不容许数据驱动的幅度变化。
[0244]
离散余弦变换(dct)是一种图像压缩技术并且可被认为是fft(快速傅里叶变换)的实数取值版本。dct取决于将权重分配给给定图像中的余弦谐波的编码
‑ꢀ
解码处理。编码的结果为权重集，其中权重的数量等于原始图像中的像素的数量，并且如果每个权重用于重构图像，则信息将不会丢失。然而，在许多图像中，可根据权重的小子集进行可接受的重构，从而实现大的压缩率。
[0245]
dct在二维中的解码(渲染)处理涉及每个dct权重和每个目标像素的加权浮点型求和(double sum)。这可应用于麦克斯韦全息术以进行纹理映射。在麦克斯韦全息术中，三角形渲染涉及相位空间中的“尖峰”双积分，以确定任何单独的相位对所讨论的三角形的相位贡献。积分可折合成浮点型求和，其反映了dct重构中的积分，接着依据dct权重重新导出解析三角形表达式。麦克斯韦全息计算中的 dct技术的此实施方式使得能够绘制完整的经纹理映射的三角形，从而对经渲染的纹理三角形的数据采用图像压缩，并且利用使用dct/jpeg来自动压缩纹理和图像数据的现有工具集的优势。
[0246]
在一些实施方式中，为了绘制麦克斯韦全息纹理化三角形，首先计算指定表面上的映射所需的空间分辨率。然后，提供具有该分辨率的纹理，并且获得利用角度和原点信息压缩的dct以在三角形上正确地对其进行定位。然后，三角形的角和 dct权重的列表被包括在索引基元列表中并且被发送到麦克斯韦全息控制器。dct 权重可被包括在三角形基元对每个显示元素的电磁场贡献中。纹理三角形可比平面三角形慢n倍，其中n是与基元一起发送的(非零)dct权重的数量。可在麦克斯韦全息系统中实现用于“片段着色”的现代技术，其中，dct编码的步骤代替用于传统投影渲染的滤波步骤。
[0247]
作为示例，以下表达式示出图像的dct权重b
pq
：
[0248][0249]
其中，m和n是矩形图像的角，(p,q) 是dct项。
[0250]
通过解码，可如下获得幅度值amn：
[0251]
[0252]
其中
[0253]
当计算纹理化三角形基元对显示元素(例如，相位单元)的电磁场贡献时，具有相应dct权重的dct项可包括在如下计算中：
[0254][0255]
其中，x、y是坐标系中三角形的角，t对应于三角形基元对显示元素的电磁场贡献，并且为dct中非零项b
pq
的部分贡献。可通过考虑重构中的信息损失和信息压缩两者来选择(p,q)dct项的数量。
[0256]
示例性处理
[0257]
图4是3d显示对象的示例性处理400的流程图。处理400可由用于显示屏的控制器执行。控制器可是图1a的控制器112或图1b的控制器152。显示屏可是图 1a的显示屏114或图1b的显示屏156。
[0258]
获得包括与3d空间中的对象相对应的多个基元各自的基元数据的数据(402)。该数据可从例如图1a的计算设备102的计算设备获得。计算设备可对场景进行处理以生成对应于对象的基元。计算设备可包括渲染器以生成基元的基元数据。在一些实施方式中，控制器本身例如通过渲染场景来生成数据。
[0259]
基元可包括点基元、线基元或多边形基元中的至少一个。基元列表以特定次序编索引，例如，可借此重构对象。基元数据可包括具有纹理化色彩和/或梯度色彩的色彩信息。例如，线基元可具有梯度色彩和/或纹理化色彩。多边形基元也可具有梯度色彩和/或纹理化色彩。基元数据还可包括基元的纹理信息和/或基元的一个或多个表面(例如，三角形)上的着色信息。着色信息可包括对基元的一个或多个表面上的色彩和/或亮度的调制。基元数据还可包括基元在3d坐标系中的相应坐标信息。
[0260]
显示屏可包括多个显示元素，控制器可包括多个计算单元。可基于基元列表在 3d坐标系中的相应坐标信息来确定每个显示元素在3d坐标系中的相应坐标信息。例如，可预先确定显示屏与对应于基元的对象之间的距离。基于预定距离和基元的坐标信息，可确定显示元素的坐标信息。每个显示元素的相应坐标信息可对应于存储在存储器中的针对该显示元素的逻辑存储地址。以此方式，当控制器在控制器的逻辑存储空间中的用于显示元素的逻辑存储地址中循环时，可识别显示元素在该空间中的对应实际物理位置。
[0261]
通过在3d坐标系中计算从多个基元中的每个基元到每个显示元素的电磁场传播，来确定所述多个基元对该显示元素的电磁场贡献(404)。电磁场贡献可包括相位贡献和/或幅度贡献。
[0262]
如以上针对图3a至图3c所示，可基于显示元素的相应坐标信息和基元的相应坐标信息来确定基元与显示元素之间的至少一个距离。在一些情况下，对于每个基元，所述至少一个距离可被计算或仅计算一次。例如，控制器可基于第一基元的相应坐标信息和第一元素的相应坐标信息，确定基元中的第一基元与显示元素中的第一元素之间的第一距离，且基于第一距离及第一元素与第二元素之间的距离确定第一基元与元素中的第二元素之间的第二距离。可基于显示屏的多个元素的节距来预先确定第一元素与第二元素之间的距离。
[0263]
控制器可基于基元的预定表达式和所述至少一个距离来确定基元对显示元素的
电磁场贡献。在一些情况下，如以上针对图3a至图3c所示，预定表达式可通过解析地计算从基元到显示元素的电磁场传播来确定。在一些情况下，通过求解麦克斯韦方程来确定预定表达式。具体地，可通过提供在显示屏的表面处定义的边界条件来求解麦克斯韦方程。边界条件可包括狄利克雷边界条件或柯西边界条件。基元和显示元素在3d空间中，且显示屏的表面形成3d空间的边界表面的一部分。预定表达式可包括包含正弦函数、余弦函数和指数函数的函数中的至少一个。在计算期间，控制器可在存储在存储器中的表中识别至少一个函数的值，这可提高计算速度。控制器可针对每个基元通过以下方式来确定对每个显示元素的电磁场贡献：将确定第一基元对显示元素的第一电磁场贡献与确定第二基元对该显示元素的第二电磁场贡献并行地进行。
[0264]
对于每个显示元素，生成基元列表对该显示元素的电磁场贡献总和(406)。
[0265]
在一些实施方式中，控制器确定多个基元对第一显示元素的第一电磁场贡献并对针对第一显示元素的第一电磁场贡献求和、并且确定多个基元对第二显示元素的第二电磁场贡献并对针对第二显示元素的第二电磁场贡献求和。控制器可包括多个计算单元。控制器可将由第一计算单元确定第一基元对第一元素的电磁场贡献与由第二计算单元确定第二基元对第一元素的电磁场贡献并行进行。
[0266]
在一些实施方式中，控制器确定第一基元对每个显示元素的相应第一电磁场贡献并确定第二基元对每个显示元素的相应第二电磁场贡献。然后，控制器通过将对该显示元素的相应第二电磁场贡献与相应第一电磁场贡献相加来累加对该显示元素的电磁场贡献。具体地，控制器可将通过使用第一计算单元来确定第一基元对每个显示元素的相应第一电磁场贡献与通过使用第二计算单元来确定第二基元对每个显示元素的相应第二电磁场贡献并行进行。
[0267]
向显示屏发送第一控制信号，该第一控制信号用于基于对每个显示元素的电磁场贡献总和来调制该显示元素的至少一个特性(408)。显示元素的至少一个特性包括折射率、幅度指数、双折射或迟滞中的至少一个。
[0268]
控制器可针对每个显示元素，基于多个基元对该显示元素的电磁场贡献总和来生成相应控制信号。相应控制信号用于基于多个基元对该元素的电磁场贡献总和来调制该元素的至少一个特性。即，第一控制信号包括用于显示元素的相应控制信号。
[0269]
在一些示例中，显示屏由电信号控制。那么，相应控制信号可是电信号。例如， lcos显示屏包括将电压作为元素强度被单独控制的微小电极阵列。lcos显示屏可填充有改变其折射率的双折射液晶(lc)制剂。因此，来自控制器的相应控制信号可控制各显示元素的相对折射率，相应地控制穿过显示屏的光的相对相位。
[0270]
如上所述，显示屏表面形成边界表面的一部分。控制器可将比例因子乘以对每个显示元素的电磁场贡献总和，以获得经缩放的电磁场贡献总和，并基于对该显示元素的经缩放的电磁场贡献总和来生成相应控制信号。在一些情况下，控制器可归一化对例如所有显示元素中每个显示元素的电磁场贡献总和，并且基于对该显示元素的归一化的电磁场贡献总和生成相应控制信号。
[0271]
向照明器发送第二控制信号，该第二控制信号用于开启照明器以将光照射在经调制的显示屏上(410)。响应于确定已获得了对每个显示元素的电磁场贡献总和，控制器可以生成并发送第二控制信号。由于时间对称性(或能量守恒)，显示屏的经调制的显示元素可
致使光沿不同方向传播以形成与3d空间中的对象对应的体积光场。体积光场可与麦克斯韦方程的解相对应，该麦克斯韦方程具有由显示屏的经调制的显示元素界定的边界条件。
[0272]
在一些实施方式中，照明器通过存储缓冲器耦接至控制器，该存储缓冲器被配置为控制照明器中的一个或多个发光元件的幅度或亮度。用于照明器的存储缓冲器的尺寸可以比用于显示屏的存储缓冲器更小。照明器中的发光元件的数量可小于显示屏的显示元素的数量。控制器可被配置为同时激活照明器的一个或多个发光元件。
[0273]
在一些示例中，照明器包括两个或更多个发光元件，每个发光元件被配置为发射具有不同色彩的光。控制器可被配置为依次利用在第一时间段期间与第一色彩关联的信息和在顺序的第二时间段期间与第二色彩关联的信息调制显示屏，并且控制照明器以依次在第一时间段期间开启第一发光元件以发射具有第一色彩的光和在第二时间段期间开启第二发光元件以发射具有第二色彩的光。以这种方式，可在3d 空间中显示多色对象。
[0274]
在一些示例中，显示屏具有足够小以衍射光的分辨率。照明器可发射白光到显示屏上，该显示屏可将白光衍射为具有不同色彩的光，从而显示多色对象。
[0275]
示例性系统
[0276]
图5a至图5f示出了用于3d显示的示例性系统的实施方式。任何一个系统可对应于例如图1a的系统100。
[0277]
图5a示出了具有反射式显示屏的系统500。系统500包括计算机502、控制器 510(例如，asic)、显示屏512(例如，lcos器件)和照明器514。计算机502 可以是图1a的计算设备102，控制器510可以是图1a的控制器112。显示屏512 可以是图1a的显示屏114，照明器514可以是图1a的照明器116。
[0278]
如图5a所示，计算机502包括具有用于渲染对象的场景的渲染器503的应用 504。所渲染的场景数据由视频驱动器505和gpu 506顺序地处理。gpu 506可是图1a的gpu 108并被配置为生成与场景对应的基元列表和相应基元数据。例如，视频驱动器505可被配置为处理所渲染的场景数据且生成基元列表。如上所述，gpu 506可包括传统的2d渲染器，例如，图1a的传统2d渲染器120，以将基元渲染为项目列表从而绘制在2d显示屏508上。gpu 506或控制器510可包括全息渲染器，例如，图1a的全息渲染器130，以将基元列表渲染为将由显示屏512显示的图形数据。
[0279]
控制器510被配置为从计算机502接收图形数据，计算基元列表对显示屏512 的每个显示元素的电磁场贡献，并生成基元对每个显示元素的相应电磁场贡献总和。控制器510可生成对每个显示元素的相应控制信号以调制显示元素的至少一个特性。控制器可通过用于显示屏512的存储缓冲器511将相应控制信号发送到显示屏512 的显示元素。
[0280]
控制器510还可生成并发送例如照射定时信号的控制信号以激活照明器514。例如，响应于确定完成了计算基元对显示元素的电磁场贡献总和，控制器510可以生成并发送控制信号。如上所述，控制器510可经由存储缓冲器向照明器514发送控制信号。存储缓冲器可被配置为控制照明器514中的发光元件的幅度或亮度并且同时激活发光元件。
[0281]
如图5a所示，照明器514可发射准直光束516，该准直光束以0度与90度之间的范围内的入射角入射在显示屏512的前表面上。所发射的光束从显示屏512的前表面反射以形成全息光场518，其对应于观看者可看到的对象。
[0282]
图5b示出了具有另一反射式显示屏524的另一系统520。与图5a的系统500 相比，
系统520具有较大的反射式显示屏524。为了适应这一点，显示控制器522 被包括在楔形外壳中，该楔形外壳可以是照明器526的支撑件。控制器522类似于图5a的控制器510并且可被配置为从计算机521接收图形数据，计算多个基元对显示屏524的每个显示元素的电磁场贡献，并且生成多个基元对每个显示元素的相应电磁场贡献总和。控制器522接着生成对每个显示元素的相应控制信号以调制显示元素的至少一个特性，并且通过用于显示屏524的存储缓冲器523将相应控制信号发送到显示屏524的显示元素。
[0283]
控制器522还将控制信号发送至照明器526以激活照明器526。照明器526发射发散的或半准直的光束527以覆盖显示屏524的整个表面。光束527被经调制的显示屏524反射以形成全息光场528。
[0284]
图5c示出了具有透射式显示屏534的系统530。透射式显示屏534例如可以是大型显示屏。系统530包括控制器532，该控制器可类似于图5a的控制器510。控制器532可被配置为从计算机531接收图形数据，计算多个基元对显示屏534的每个显示元素的电磁场贡献，且生成多个基元对每个显示元素的相应电磁场贡献总和。控制器532接着生成对每个显示元素的相应控制信号以调制显示元素的至少一个特性，且通过用于显示屏534的存储缓冲器533将相应控制信号发送到显示屏534 的显示元素。
[0285]
控制器532还将控制信号发送至照明器536以激活照明器536。不同于图5a 的系统500和图5b的系统520，系统530中的照明器536被定位在显示屏534的后表面的后面。为了覆盖显示屏534的大表面，照明器536发射发散的或半准直的光束535到显示屏534的后表面上。光束535透射通过调制显示屏534以形成全息光场538。
[0286]
图5d示出了具有透射式显示屏544的另一系统540。系统540还包括控制器 542和照明器546。控制器542可类似于图5a的控制器510，并且可被配置为从计算机541接收图形数据，对图形数据进行计算，生成用于调制的控制信号并将其发送至显示屏544以及生成并发送定时信号，以激活照明器546。
[0287]
照明器546可包括光源545和波导547。从光源545发射的光可例如从波导的侧部横截面耦合到波导547。波导547被配置为引导光均匀地照射显示屏544的表面。由波导547引导的光入射在显示屏544的后表面上并且透射通过显示屏544以形成全息光场548。
[0288]
不同于图5a的系统500、图5b的系统520和图5c的系统530，在系统540 中，控制器542、显示屏544和波导547被一起集成到单个单元550中。在一些情况下，波导547和光源545可以以平面形式集成为有源波导照明器，这可进一步提高单个单元550的集成度。如上所述，单个单元500可与其他类似的单元550连接以形成更大的全息显示设备。
[0289]
图5e示出了具有另一透射式显示屏564的另一系统560。与系统540相比，透射式显示屏564可潜在地实现大于透射式显示屏544的显示屏。例如，透射式显示屏564可具有比控制器562大的面积，并且为了适应于此，控制器562可远离显示屏564定位。系统560包括具有光源565和波导567的照明器566。波导567与显示屏564集成，例如，集成到显示屏564的后表面。在一些实施方式中，显示屏 564构造于基板的前表面上，波导567可构造于基板的后表面上。
[0290]
控制器562可类似于图1a的控制器510并被配置为从计算机561接收图形数据，对图形数据进行计算，生成控制信号并通过存储缓冲器563将其发送到显示屏 564以及生成并发送定时信号，以激活光源565。从光源565发射的光在波导567 中被引导以照射在显示
屏564的后表面上且透射通过显示屏564以形成全息光场 568。
[0291]
图5f示出了具有反射式显示屏574的另一系统570。反射式显示屏574例如可以是大型显示屏。照明器576的波导577定位在反射式显示屏574的前表面上。类似于图5e的控制器562的控制器572可被配置为从计算机571接收图形数据，对图形数据进行计算，生成控制信号并通过存储缓冲器573将其发送到显示屏574 以及生成并发送定时信号，以激活照明器576的光源575。从照明器576的光源575 耦合的光被引导以入射在显示屏574的前表面上并由前表面反射以形成全息光场 578。
[0292]
示例性显示屏实施方式
[0293]
如上所述，麦克斯韦全息术中的显示屏可以是相位调制设备。显示屏的相位元素(或显示元素)可表示为相位单元。仅出于说明目的，在下面讨论了硅上液晶 (lcos)器件以用作相位调制设备。lcos器件是使用硅背板顶部的液晶(lc) 层的显示屏。lcos器件可被优化以实现最小可能的相距(phasel pitch)、相位之间的最小串扰和/或较大可用相位调制或迟滞(例如，至少2π)。
[0294]
可以控制参数列表以优化lcos器件的性能，包括lc混合物的双折射(δn)、单元间隙(d)、lc混合物的介电各向异性(δε)、lc混合物的旋转粘度(η)、硅背板与lc层顶部上的公共电极之间的最大施加电压(v)。
[0295]
液晶材料的参数之间可存在基本的权衡(trade-off)。例如，基本的边界参数是可用的相位调制或迟滞(re)，其可被表示为：
[0296]
re＝4π
·
δn
·
d/λ
ꢀꢀ
(8)，
[0297]
其中，λ为输入光的波长。如果对于波长约为0.633μm的红光，迟滞re需要为至少 2π，那么
[0298]
δn
·
d≥0.317μm
ꢀꢀ
(9)。
[0299]
以上表达式暗示在lc混合物的单元间隙(d)和双折射(δn)之间存在直接权衡。
[0300]
另一边界参数是在施加电压之后液晶(lc)层中的液晶分子达到期望指向所花费的开关速度或开关时间(t)。例如，对于使用3色场顺序色彩系统的实时视频(约60hz)，涉及对lc层的最小为180hz的调制，这使得lc开关速度的上边界为5.6毫秒(ms)。开关时间(t)与包括液晶、单元间隙和施加电压的多个参数相关。首先，t与d2成比例。随着单元间隙d减小，开关时间随d的平方减小。其次，开关时间还与液晶混合物的介电各向异性(δε)相关，其中较高的介电各向异性导致较短的开关时间，并且较低的粘度也导致较短的开关时间。
[0301]
第三边界参数可以是边缘场。由于晶体硅的高电子迁移率，lcos器件可被构造成具有非常小的相位单元尺寸(例如，小于10μm)和亚微米相位单元间间隙。当相邻相位单元在不同电压下工作时，相位单元边缘附近的液晶指向矢被边缘场的横向分量扭曲，这显著地降低了设备的电光性能。此外，随着相位单元间隙变得与入射光波长相当，衍射效应可引起严重的光损失。相位单元间隙需要保持在小于或等于相距以将噪声保持在可接受的水平内。
[0302]
在一些示例中，lcos器件被设计成具有2μm的相距，并且如果遵守边缘场边界条件则也具有约2μm的单元间隙。根据上述表达式δn
·
d≥0.317μm，δn需要等于0.1585或更大，使用现有的液晶技术可实现。一旦确定了针对给定相距的最小双折射，lc就可例如通过增大介电各向异性和/或减小旋转粘度而针对开关速度进行优化。
[0303]
显示屏的非均匀相位单元实施方式
[0304]
在lcos器件中，电路芯片(例如，互补金属氧化物半导体(cmos)芯片或等同物)控制掩埋在芯片表面下方的反射金属电极上的电压，每个反射金属电极控制一个相位单元。所有相位单元的公共电极由盖玻片上的铟锡氧化物制成的透明导电层提供。相位单元可具有相同的尺寸和相同的形状(例如，正方形)。例如，芯片可以具有1024x768个板(plates)，每个板具有可独立寻址的电压。如上所述，当相位单元间隙变得与入射光波长相当时，在lcos器件的周期结构中可能出现衍射效应，这可能导致严重的光损失。
[0305]
在麦克斯韦全息计算中，每个相位单元接收来自每个基元的电磁场贡献的总和并且彼此相对独立。因此，麦克斯韦全息术中的lcos器件的相位单元可被设计为彼此不同。例如，如图6a所示，lcos器件600可由多个非均匀(或不规则)的相位单元602组成。至少两个相位单元602具有不同的形状。相位单元602的非均匀形状可极大地减小或消除衍射像差以及其他效应，并因此改善图像质量。尽管相位单元可具有非均匀形状，但是相位单元可被设计为具有满足期望空间分辨率的尺寸分布(例如，约3μm)。硅背板可被配置为根据相位单元的形状提供用于每个相位单元的相应电路(例如，包括金属电极)。
[0306]
在lcos器件中的相位单元阵列中，为了选择特定相位单元，向连接包括特定相位单元的相位单元行的字线(word line)施加第一电压，并且向连接包括特定相位单元的相位单元列的位线(bit line)施加第二电压。由于每个相位单元具有电阻， lcos器件的工作速度会受限制。
[0307]
如上所述，在麦克斯韦全息术中，相位单元可具有不同的尺寸。如图6b所示， lcos器件650被设计为具有一个或多个相位单元654，相位单元654的尺寸大于其他相位单元652的尺寸。所有相位单元仍可具有满足期望分辨率的尺寸分布。例如，99％的相位单元的尺寸为3μm，只有1％的相位单元的尺寸为6μm。除了与相位单元652中相同的其他电路之外，相位单元654的较大尺寸还允许将至少一个缓冲器660布置在相位单元654中。缓冲器660被配置为缓存所施加的电压，使得电压仅被施加到相位单元行或相位单元列内的较小数量的相位单元。缓冲器660可为模拟电路(例如，由晶体管组成)或数字电路(例如，由多个逻辑门组成)或者它们的任意组合。
[0308]
例如，如图6b所示，将电压施加到字线651且将另一电压施加到位线653以选择特定相位单元652*。相位单元652*与包括缓冲器660的较大相位单元654在同一行中。电压主要施加到行中较大相位单元654之前的多个第一相位单元，且被较大相位单元654中的缓冲器660阻挡。以这种方式，lcos器件650的工作速度可被提高。利用相位单元654的较大尺寸，其他电路也可被布置在lcos器件650 中以进一步改进lcos器件650的性能。虽然图6b中示出了相位单元654和相位单元652具有方形形状，相位单元还可具有如图6a所示的不同形状，只要一个或多个相位单元654的尺寸比其他相位单元652的尺寸更大。
[0309]
示例性校准
[0310]
本公开中的麦克斯韦全息术的独特性质允许保护校准技术，这些技术可在高质量显示屏的实际生产中产生显著的竞争优势。可实施多个校准技术以与麦克斯韦全息计算技术组合，包括：
[0311]
(i)结合狄利克雷边界条件调制器和/或结合机械和软件衍射和非衍射校准技术使用图像传感器；
[0312]
(ii)软件对准和软件校准，包括利用狄利克雷边界条件的单独的色彩校准和对准；以及
[0313]
(iii)在边界条件调制器中嵌入硅特征，所述硅特征允许将光检测直接构建到调制器中，使得与麦克斯韦全息术结合时创建简化制造校准处理的强大且独特的方法。
[0314]
在下文中，仅出于说明目的，针对基于相位单元的显示屏(例如，lcos显示屏)实现三种类型的校准。每个相位元素可表示为相位单元。
[0315]
相位校准
[0316]
添加至照射在lcos相位元素(或相位单元)上的光的相位量可通过施加至 lcos相位单元的电压直接得知。这是由于双折射液晶(lc)在存在电场的情况下旋转并且因此改变其折射率从而减慢光以改变其相位。改变的相位可取决于液晶 (lc)和lc所在的硅器件的电特性。发送到lcos的数字信号需要被转换成正确的模拟电压以实现高质量全息图像。lcos器件涉及相位校准，以确保数字信号被适当地转换成施加到lc的模拟信号，使得其产生最大的相位范围。预期该转换导致线性行为。即，当电压以固定增量改变时，相位也以固定增量改变，而不管起始电压值如何。
[0317]
在一些情况下，lcos器件允许用户更改数模转换器(dac)，使得用户在给定数字输入信号的情况下对模拟电压输出的量进行控制。数字电位计可应用于每个输入比特。例如，如果存在8个输入比特，那么可以存在对应于每个输入比特的8 个数字电位计。来自数字电位计的相同数字输入可被施加到lcos器件的所有相位单元。设置为1的比特激活电压，设置为“0”的比特不激活电压。来自此类“1”比特的所有电压一起求和以获得发送到每个相位单元的最终电压。还可能在所有情况下施加dc电压，使得所有“0”比特导致基线非零电压。因此，lcos器件的相位校准可通过设置用于lcos器件的数字电位计的值来实现。例如，如上所述，控制器可计算基元列表对显示屏的每个相位单元的电磁场贡献，生成多个基元对每个相位单元的相应电磁场贡献总和，并生成对每个相位单元的相应控制信号以对相位单元的相位进行调制。来自数字电位计的相同数字输入可被施加以调整对lcos器件的所有相位单元各自的控制信号，这与基于对相位单元逐个进行的相位校准不同。数字输入可在lcos器件的工作期间被设置一次，例如用于显示全息图。
[0318]
为了确定数字输入的一组最优相位校准值，可应用遗传算法，其中多个输入值导致一个输出值，如相位范围或全息图像对比度。该输出值可被简化为一个称为适应度的数值。遗传算法可被配置为探索输入值的不同组合，直到实现具有最高适应度的输出。在一些情况下，该算法可采用最适合的输入中的两个或更多个，并将它们的多个组成值组合在一起以创建具有采用的输入的特性但又不同于每个采用的输入的新输入。在一些情况下，该算法可将这些组成值之一更改为不来自所采用的适合输入中的任一个的某物，其被表示为“变异”并且可将变体添加到可用的适合输入中。在一些情况下，在尝试新值的同时，通过利用从具有良好结果的先前测量获得的知识，可找到一个或多个最优值，因此最优值不限于局部最大值。
[0319]
可存在多种方式来计算适应度输出值。一种方式是在给定施加到lcos上的所有相位单元的一组数字输入的情况下计算光的相位变化。在这种方案中，入射光可偏振。当照射在lcos上时，入射光的偏振可根据lc的转动而改变。入射光可通过被设置为与原始偏振相同的偏振或与原始偏振相差90度的偏振，然后进入光检测器。因此，当lc的转动改变时，从
光检测器观察到的强度可改变。因而，可通过光的强度变化间接感知光的相位变化。计算相位变化的另一种方式是测量麦克斯韦全息重构与背景的强度差。这在投影式显示屏中最有效。在这种情况下，测量强度可能需要使用计算机视觉算法来识别麦克斯韦全息重构并测量其强度。
[0320]
对准校准
[0321]
不能保证光源在全息设备内是对准的并且因此需要对准。给定光源的波长，不同的液晶(lc)也可表现不同。此外，lc和光源两者均可以逐个设备改变，从而当以不同的基础色彩示出时给予相同输入全息图不同的特性，例如对象缩放。此外，某些硬件特征可以对同样需要校正的输出光应用不同的光学效应，例如透镜效应。
[0322]
在一些实施方式中，可以通过对针对显示屏的相位单元所计算的相位应用数学变换来解决上述问题。相位是基元列表对相位单元的相应电磁场贡献总和。数学变换可从数学表达式(例如，泽尔尼克(zernike)多项式)导出，并且可通过改变多项式系数或其他变化的输入值来变化。数学变换可逐相位单元以及根据色彩变化。例如，存在zernike多项式系数，其与光从显示屏反射之后施加到光的倾斜量相对应。
[0323]
为了确定这些系数/输入值，可创建硬件设置，其中相机在投影式显示屏的情况下指向反射表面并且在直视式显示屏的情况下直接指向lcos。一系列全息测试图案和对象可被发送到显示屏并被相机查看。相机可使用机器视觉算法来确定正在显示的内容并随后计算其适应度。例如，如果点网格是被测试的图案，则适应度是点的接近程度、点定位的居中程度、点具有多少畸变(例如，缩放或枕形失真)等。针对不同特性可存在不同适应度值。取决于这些值，校正可例如以改变系数的形式应用于zernike多项式，直到适应度达到预定的满意水平。这些被测试的图案可在不同距离处渲染，以确保对于对象在所有距离处的对准是一致的，而不仅仅在某一点是一致的。这样的基于深度的校准涉及迭代处理，该处理涉及在投影式显示屏的情况下改变反射表面以及全息测试图案的深度，其中可以重复先前校准直到收敛到两个深度都可行的解上。最后，可显示白点以示出校准的效果。
[0324]
色彩校准
[0325]
在显示屏中，不管是全息式的还是其他，当任何两个单元渲染同一图像时，重要的是，显示屏之间的色彩匹配并且另外与由电视(tv)和计算机显示屏标准(如用于高清电视(hdtv)的rec.709标准或计算机监视器的srgb色彩空间)定义的色彩匹配。不同批次的硬件组件(例如，led和激光二极管)可对于相同的输入表现出不同的行为，并且可在被人眼感知时输出不同的色彩。因此，重要的是具有能够校准所有显示单元的色彩标准。
[0326]
在一些实施方式中，通过测量强度和色度而指定的色彩的客观测量可通过比对国际委员会(commission internationale de l'
é
clairage，cie)标准观察曲线(standardobserver curve)测量色彩强度来获得。通过请求每个显示屏再现已知色彩和强度的样本集，然后使用根据cie标准观察曲线校准的色度计设备测量输出光，可客观地定义设备在cie xyz色彩空间中的色彩输出。测量值与已知良好值的任何偏差可用于调适显示屏上的输出色彩以使其回到对准，这可使用迭代测量-调适-测量反馈循环来实施。一旦麦克斯韦全息设备针对给定输入集产生精确输出，就可将最终调适编码为用于将输入值映射到输出强度的照明器的查找表，以及编码为将输入色彩变换为输出色彩空间值的色彩矩阵变换。这些校准表可嵌入设备本身中以产生可靠的客观输出色彩。
[0327]
此外，给定具有足够精细特征来控制具有亚波长精度的衍射的lcos器件，可能不需要三刺激照射(例如，红色、绿色和蓝色的线性混合)，并且lcos器件可利用单个宽谱光源照射并且选择性地调谐相位单元输出以产生三刺激、四刺激、甚至n刺激输出色彩，这些色彩与空间抖动图案组合可再现色彩的完整光谱输出而不是常见的三刺激近似。给定足够宽的光谱照明器，这允许麦克斯韦全息术产生位于人类视觉系统的光谱轨迹内的任何反射色彩。
[0328]
本文描述的主题和功能性操作的实施方式可在数字电子电路中、在有形地实现的计算机软件或固件中、在包括本文公开的结构及其结构等效物的计算机硬件中、或者在它们中的一个或多个的组合中实现。本文中描述的主题的实施方式可实现为一个或多个计算机程序，例如，编码在有形的非暂时性计算机存储介质上的一个或多个计算机程序指令模块，用于由数据处理执行或控制数据处理装置的操作。可选地或附加地，程序指令可被编码在例如机器生成的电、光或电磁信号的人工生成的传播信号之上，所述人工生成的传播信号被生成以编码用于传输到适当的接收器装置以供数据处理装置执行的信息。计算机存储介质可是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备或者它们中的一个或多个的组合。
[0329]
术语“数据处理装置”、“计算机”或“电子计算机设备”(或本领域普通技术人员所理解的等同物)指的是数据处理硬件，并且包括用于处理的所有种类的数据的装置、设备和机器，例如包括可编程处理器、计算机或多个处理器或计算机。所述装置还可是或进一步包括专用逻辑电路，例如，中央处理单元(cpu)、fpga(现场可编程门阵列)或asic(专用集成电路)。在一些实施方式中，数据处理装置和专用逻辑电路可是基于硬件的和基于软件的。所述装置可可选地包括创建用于计算机程序的执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。本文预期在具有或不具有常规操作系统的情况下使用数据处理装置。
[0330]
计算机程序，也可被称为或描述为程序、软件、软件应用、模块、软件模块、脚本或代码，可以以任何形式的编程语言来编写，包括编译或演绎性语言、说明或程序性语言，并且计算机程序可被部署为任何形式，包括作为独立程序或作为模块、组件、子例程、或适于在计算环境中使用的其它单元。计算机程序可但不必与文件系统中的文件相对应。程序可存储在保存其他程序或数据的文件的一部分中，例如，存储在标记语言文档中的一个或多个脚本；专用于所讨论的程序的单个文件或多个协同文件中，例如，存储一个或多个模块、子程序或代码部分的文件中。计算机程序可被部署为在一个计算机上执行，或者在位于一个地点或分布在多个地点并通过通信网络互连的多个计算机上执行。尽管示出了在各图中示出的程序的各部分为通过各种对象、方法或其它处理实现各种特征和功能的各个模块，但所述程序可适当地包括多个子模块、第三方服务、组件、库等。相反，各种组件的特征和功能可适当地被组合成单个组件。
[0331]
本文中所述的过程和逻辑流可由一个或多个可编程计算机执行，该一个或多个可编程计算机执行一个或多个计算机程序以通过操作输入数据和产生输出来执行功能。过程和逻辑流也可由专用逻辑电路执行，并且装置也可被实现为专用逻辑电路，例如cpu、 gpu、fpga或asic。
[0332]
适于执行计算机程序的计算机可基于通用微处理器和/或专用微处理器、或任何
其它种类的cpu。通常，cpu将从只读存储器(rom)和/或随机存取存储器(ram)接收指令和数据。计算机的主元件是用于进行或执行指令的cpu以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还包括或者可操作地耦接到用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，以从一个或多个大容量存储设备接收数据和/或向其传送数据。然而，计算机不需要有这样的设备。此外，计算机可嵌入在另一设备中，例如移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏控制台、全球定位系统(gps)接收器、或便携式存储设备中，例如通用串行总线(usb) 闪存驱动器中，这里仅举几例。
[0333]
适合于存储计算机程序指令和数据的计算机可读介质(为暂时性或非暂时性，视情况而定)包括所有形式的非易失性存储器、介质和存储设备，包括：例如半导体存储设备，例如，可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom) 和闪存设备；磁盘，例如内部硬盘或可移动盘；磁光盘；以及cd-rom、dvd-r、 dvd-ram和dvd-rom盘。存储器可存储各种对象或数据，包括高速缓存、类、框架、应用、备份数据、作业、网页、网页模板、数据库表、存储业务和动态信息的储存库、以及包括任何参数、变量、算法、指令、规则、约束或引用的任何其它适当信息。另外，存储器可包括任何其他适当的数据，例如日志、策略、安全或访问数据、报告文件以及其他数据。处理器和存储器可补充有专用逻辑电路或集成在专用逻辑电路中。
[0334]
为了提供与用户的交互，在本文中描述的主题的实施方式可在计算机上实现，该计算机具有：用于向用户显示信息的显示设备，例如，crt(阴极射线管)、lcd (液晶显示器)、led(发光二极管)或等离子体监视器；以及键盘和用户可用来向该计算机提供输入的例如鼠标、轨迹球或轨迹板等的指针设备。还可使用触摸屏向计算机提供输入，诸如具有压力灵敏度的平板计算机表面、使用电容或电感的多点触控屏、或其它类型的触摸屏。也可使用其它种类的设备来提供与用户的交互；例如，提供给用户的反馈可是任何形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可接收来自用户的任何形式的输入，包括声音、语音或触觉输入。此外，计算机可通过向用户使用的设备发送文档和从该设备接收文档来与用户交互；例如通过响应于从web浏览器接收的请求而向用户的客户端设备上的web浏览器发送网页。
[0335]
术语“图形用户界面”或“gui”可以以单数或复数使用，以描述一个或多个图形用户界面和特定图形用户界面的每个显示。因此，gui可表示任何图形用户界面，包括但不限于web浏览器、触摸屏或处理信息并有效地向用户呈现信息结果的命令行界面(cli)。一般而言，gui可包括多个用户界面(ui)元素、所述用户界面元素中的一些或全部与web浏览器相关联，诸如交互字段、下拉列表和可由业务套件用户操作的按钮。这些和其它ui元素可与web浏览器的功能相关或表示web 浏览器的功能。
[0336]
本文中描述的主题的实施方式可在包括后端组件例如作为数据服务器的计算系统中、或者包括例如应用服务器的中间件组件的计算系统中、或者包括例如具有图形用户界面或web浏览器的客户端计算机的前端组件的计算系统中、或者包括一个或多个这样的后端组件、中间件组件或前端组件的任意组合的计算系统中实现，其中用户可通过图形用户界面或web浏览器与本文中描述的主题的实施方式进行交互。系统的组件可通过有线或无线数字数据通信的任何形式或介质(例如通信网络)来互连。通信网络的示例包括局域网(lan)、无线电接入网(ran)、城域网(man)、广域网(wan)、微波接入全球互通(wimax)、使用
例如902.11a/b/g/n和902.20的无线局域网(wlan)、因特网的全部或一部分、以及任何其它通信系统或在一个或多个位置处的系统。例如，网络可与网络地址之间的因特网协议(ip)分组、帧中继帧、异步传输模式(atm)单元、语音、视频、数据或其它合适信息通信。
[0337]
计算系统可包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络交互。客户端和服务器的关系借助运行在各自的计算机上并且彼此具有客户端
‑ꢀ
服务器关系的计算机程序产生。
[0338]
在一些实施方式中，计算系统的任何或所有组件，包括硬件和软件，可使用应用编程接口(api)或服务层彼此接口或对接。api可包括例程的规范、数据结构和对象类。api可是独立或依赖于计算机语言的，并且是指完整的接口、单个函数、或甚至一组api。服务层向计算系统提供软件服务。计算系统的各种组件的功能对使用该服务层的所有服务消费者可是可访问的。软件服务通过定义的接口提供可重用的、定义的业务功能。例如，接口可是以任何合适的语言编写的、以任何合适的格式提供数据的软件。 api和服务层可是与计算系统的其他组件集成的组件或独立的组件。此外，在不脱离本本文的范围的情况下，服务层的任何或所有部分可被实现为另一软件模块、企业应用或硬件模块的子模块(child or sub-modules)。
[0339]
虽然本文包含许多具体实施方式的细节，但是这些细节不应被解释为对任何发明的范围或对要求保护的范围的限制，而应被解释为对特定发明的特定实施方式所特有的特征的描述。在单独实施方式的背景下在本文描述的某些特征也可在单个实施方式中组合地实现。相反，在单个实施方式背景下描述的各种特征也可在多个实施方式中单独地或以任何合适的子组合来实现。此外，尽管特征可被描述为以某些组合起作用，甚至最初也这样要求保护，但是在一些情况下来自所要求保护的组合的一个或多个特征可从该组合中去除，并且所要求保护的组合可针对子组合或子组合的变型。
[0340]
主题的具体实施方式已被描述。对本领域技术人员显而易见的是，所描述的实施方式的其他实施方式、变更和置换在所附权利要求的范围内。尽管操作按照特定顺序在附图或在权利要求书中描述，但这不应理解为要求按照所示的特定次序或顺序执行此类操作，或执行所有示出的操作(一些操作可被视为可选的)以获得期望的结果。在某些情况下，多任务或并行处理可能是有利的，并且被适当地执行。
[0341]
因此，先前提供的对示例性实施方式的描述不限定或约束本文。在不脱离本文的精神和范围的情况下，其它改变、替换和变更也是可能的。