全息感觉数据产生、操纵和传送的系统和方法与流程

全息感觉数据产生、操纵和传送的系统和方法
1.本技术是于2017年7月17日提交的名称为“全息感觉数据产生、操纵和传送的系统和方法”的中国专利申请201780044022.x的分案申请。
技术领域
2.本公开大体涉及包括感觉信息的全息内容的产生，并且更具体地涉及从非全息信息产生全息内容。


背景技术：

3.由gene roddenberry的“星际迷航(star trek)”推广并且最初由作家亚历山大
·
莫斯科斯基(alexander moszkowski)在20世纪初设想的“全息甲板(holodeck)”室内的交互式虚拟世界的梦想，近一个世纪以来一直是科幻和技术创新的灵感来源。然而，除了文学、媒体以及儿童和成年人的集体想象之外，没有令人信服地实施此体验。


技术实现要素：

4.在一实施例中，一种用于确定内容数据的四维(4d)全光坐标的方法可以包括：接收内容数据；确定数据点相对于第一表面的位置以创建内容数据的数字体积表示，所述第一表面是参考表面；通过跟踪体积表示中的数据点相对于到其中施加应用4d函数的第二表面的位置，确定第二表面处数据点的4d全光坐标；以及确定具有第一会聚点的4d全光坐标的能量源位置值。
5.在一实施例中，一种用于确定内容数据的四维(4d)全光坐标的方法可以包括：接收内容数据；确定数据点相对于参考点位置的位置；通过基于参考点位置创建数据点的向量来矢量化而使数据点向量化；基于向量化数据点确定数据点相对于第一表面的位置以创建内容数据的数字体积表示，所述第一表面为参考表面；以及通过跟踪体积表示中的数据点相对于其中施加4d函数的第二表面的位置，确定所述第二表面处数据点的4d全光坐标。
6.在一实施例中，一种向量化方法可以包括：接收第一内容数据；识别内容数据中的表面；确定表面的表面识别；确定表面的材料性质数据；使表面识别与表面的材料性质数据相关联；创建材料性质数据的向量；以及基于所创建的向量产生向量化材料性质数据。
7.在一实施例中，一种用于确定内容数据的四维(4d)全光坐标的系统可以包括：输入-输出接口，其可操作以接收内容数据；处理子系统，其与输入-输出接口通信，且包括感觉数据处理器、向量化引擎和跟踪引擎；其中，感觉数据处理器可操作以确定内容数据内的数据点相对于第一表面的位置，并创建内容数据的数字体积表示，所述第一表面为参考表面；其中，跟踪引擎可操作以通过跟踪数字体积表示中的数据点相对于其中施加4d函数的第二表面的位置来确定第二表面处数据点的4d全光坐标；并且其中跟踪引擎可操作以确定具有第一会聚点的4d全光坐标的能量源位置值。
8.在一实施例中，一种用于确定内容数据的四维(4d)全光坐标的系统可以包括：输入-输出接口，其可操作以接收内容数据；处理子系统，其与输入-输出接口通信，且包括感
觉传感数据处理器、向量化引擎和跟踪引擎；其中，感觉数据处理器可操作以确定内容数据内的数据点相对于参考点位置的位置；其中向量化引擎可操作以基于参考点位置对数据点进行向量化；其中，感觉数据处理器进一步可操作以基于向量化数据点确定数据点相对于第一表面的位置以创建内容数据的数字体积表示，所述第一表面为参考表面；并且其中跟踪引擎可操作以通过跟踪体积表示中的数据点相对于其中施加4d函数的第二表面的位置来确定第二表面处数据点的4d全光坐标。
9.在一实施例中，一种用于向量化的系统可以包括：输入-输出接口，其可操作以接收内容数据；处理子系统，其与输入输出接口通信，且包括向量化引擎；其中向量化引擎可操作以识别内容数据内的表面，确定表面的表面识别，确定表面的材料性质数据，并使表面识别与表面的材料性质数据相关联；并且其中向量化引擎进一步可操作以创建材料性质数据的向量，并基于所创建的向量产生向量化材料性质数据。
10.在一实施例中，一种用于确定内容数据的四维(4d)全光坐标的系统可以包括：输入-输出接口，其可操作以接收内容数据；处理子系统，其与输入-输出接口通信，且包括感觉数据处理器、向量化引擎和跟踪引擎；压缩引擎，其与处理子系统和输入-输出接口通信；以及可选存储器，其与压缩模块、输入-输出接口和处理子系统通信；其中，感觉数据处理器可操作以确定内容数据内的数据点相对于参考点位置的位置；其中向量化引擎可操作以基于参考点位置对数据点进行向量化；其中，感觉数据处理器进一步可操作以基于向量化数据点确定数据点相对于第一表面的位置以创建内容数据的数字体积表示，所述第一表面为参考表面；其中，跟踪引擎可操作以通过跟踪体积表示中的数据点相对于其中施加4d函数的第二表面的位置来确定第二表面处数据点的4d全光坐标；其中压缩引擎可操作以从处理子系统接收数据，压缩数据，并将经压缩数据存储在可选存储器中或将经压缩数据发送到输入-输出接口；并且其中可选存储器被配置为从输入-输出接口、处理子系统和压缩引擎接收数据，存储数据，并将所存储数据发送到输入-输出接口、处理子系统或压缩引擎。
附图说明
11.图1是示出能量引导系统的设计参数的示意图；
12.图2是示出具有带有机械包络的有源装置区域的能量系统的示意图；
13.图3是示出能量中继器系统的示意图；
14.图4是示出能量中继器元件附连在一起并固定到基部结构的实施例的示意图；
15.图5a是示出通过多芯光纤的中继图像的实例的示意图；
16.图5b是示出通过光学中继器的中继图像的实例的示意图，所述能量中继器展现横向安德森定位(transverse anderson localization)原理的性质；
17.图6是示出从能量表面传播到检视者的射线的示意图；
18.图7a示出根据本公开的一个实施例的能量波导系统的透视图，所述能量波导系统具有基部结构、四个能量装置和形成无缝能量表面的四个能量中继器元件；
19.图7b示出根据本公开的一个实施例的能量中继器系统；
20.图7c示出根据本公开的一个实施例的能量波导系统的实施例的俯视透视图；
21.图7d示出图7c中所示的实施例的前透视图；
22.图7e-7l示出能量抑制元件的各种实施例；
23.图8是示出用于处理全息感觉数据的过程的实施例的实施例的流程图；
24.图9是根据感觉数据构建的虚拟环境的示意图；
25.图10是示出能量跟踪的实施例的示意图；
26.图11是示出经过跟踪过程的能量引导装置1000的实施例的示意图
27.图12是用于处理全息感觉数据的处理系统的示意图；以及
28.图13是示出向量化过程的实施例的框图。
具体实施方式
29.holodeck(统称为“holodeck设计参数”)的实施例提供足够的能量刺激以欺骗人类感觉受体，使其相信在虚拟、社交和交互式环境中接收的能量脉冲是真实的，提供：1)双眼视差而无需外部附件、头戴式眼镜或其它外围设备；2)对于任何数目的检视者，同时在整个检视体积内准确的运动视差、遮挡和不透明度；3)对于所有感知到的光线，通过眼睛的同步会聚、适应和瞳孔缩小实现的视觉焦点；4)会聚能量波传播，其密度和分辨率足以超过视觉、听觉、触觉、味觉、嗅觉和/或平衡性的人类感觉“分辨率”。
30.基于迄今为止的传统技术，我们距离能够按照holodeck设计参数(包含视觉、听觉、体感、味觉、嗅觉和前庭系统)所建议的令人信服的方式提供所有感受场的技术有几十年甚至几个世纪。
31.在本公开中，术语光场和全息可以互换使用以限定用于刺激任何感觉受体响应的能量传播。虽然初始公开可能提及通过能量表面用于全息图像和体积触觉的能量和机械能量传播的实例，但是在本公开中设想了所有形式的感觉受体。此外，本文公开的用于沿传播路径传播能量的原理可适用于能量发射和能量捕获两者。
32.当今存在的许多技术经常不幸地与全息图混淆，包含光栅印刷、pepper's ghost、无眼镜立体显示器、水平视差显示器、头戴式vr和ar显示器(hmd)，以及其它广义为“照骗(fauxlography)”的幻象。这些技术可能展现真正的全息显示器的一些所需性质，然而，缺乏以足以解决四个识别的holodeck设计参数中的至少两个的任何方式刺激人类视觉感觉响应的能力。
33.传统技术尚未成功地实现这些挑战，以产生足以用于全息能量传播的无缝能量表面。有各种方法来实现体积和方向复用光场显示，包含视差屏障、微元(hogel)、体素、衍射光学、多视图投影、全息漫射器、旋转镜、多层显示器、时序显示器、头戴式显示器等，但是传统方法可能涉及对图像质量、分辨率、角取样密度、尺寸、成本、安全性、帧速率等的折衷，最终导致不可行的技术。
34.为了实现视觉、听觉、体感系统的holodeck设计参数，研究和理解相应系统的人类敏锐度以传播能量波以充分欺骗人类感觉受体。视觉系统能够解析到大约1弧分，听觉系统可以将放置的差异区分为小到3度，并且手上的体感系统能够识别分开2-12mm的点。虽然存在各种且相互矛盾的方法来测量这些敏锐度，但这些值足以理解刺激能量传播感知的系统和方法。
35.在所提到的感觉受体中，人类视觉系统是迄今为止最敏感的，因为即使单个光子也可以引起感觉。由于这个原因，本介绍的大部分将集中在视觉能量波传播上，并且在公开的能量波导表面内联接的极低分辨率能量系统可以会聚适当的信号以引起全息感觉感知。
除非另有说明，否则所有公开内容适用于所有能量和感觉域。
36.当在给定检视体积和检视距离的情况下计算视觉系统的能量传播的有效设计参数时，可以将期望的能量表面设计为包含许多有效能量位置密度的千兆像素。对于宽检视体积或近场检视，期望的能量表面的设计参数可包含数百千兆像素或更多的有效能量位置密度。相比之下，根据输入的环境变量，可以将所需的能量源设计成具有1至250个有效百万像素的能量位置密度，用于体积触觉的超声波传播，或者具有36至3,600个有效能量位置的阵列，用于全息声音的声传播。重要的是应注意，利用所公开的双向能量表面架构，所有组件可以被配置为形成用于任何能量域的适当结构以实现全息传播。
37.然而，现今支持holodeck的主要挑战涉及可用的视觉技术和能量装置限制。考虑到基于相应感受场中的感觉敏锐度的所需密度的数量级差异，声学和超声波装置不太具有挑战性，但不应低估复杂性。虽然存在分辨率超过所需密度的全息乳胶以编码静态图像中的干涉图案，但是现有技术的显示装置受到分辨率、数据处理量和制造可行性的限制。迄今为止，没有一种单一的显示装置能够有意义地产生具有视敏度的接近全息分辨率的光场。
38.能够满足令人信服的光场显示器的所需分辨率的单个硅基装置的生产可能是不实际的，并且可能涉及超出当前制造能力的极其复杂的制造工艺。将多个现有显示装置拼接在一起的限制涉及由封装、电子装置、壳体，光学器件的物理尺寸和许多其它挑战形成的接缝和间隙，其不可避免地导致从成像、成本和/或尺寸的立场来看不可行的技术。
39.本文公开的实施例可以提供构建holodeck的真实世界路径。
40.现在将在下文中参考附图来描述实例实施例，附图形成本发明的一部分，并且示出可以实践的实例实施例。如在公开内容和所附权利要求书中所使用，术语“实施例”、“实例实施例”和“实例性实施例”不一定是指单个实施例(尽管它们可以指单个实施例)，并且各种实例实施例可以容易地组合和互换，而不脱离实例实施例的范围或精神。此外，本文使用的术语仅用于描述实例实施例的目的，而不是限制。在这方面，如本文所用，术语“在
…
中”可以包含“在
……
中”和“在
……
上”，并且术语“一”、“一个”和“所述”可以包含单数和复数的参考。此外，如本文所用，术语“由”也可以表示“依据”，这取决于上下文。此外，如本文所用，术语“如果”还可以表示“在
……
时”或“在
……
后”，这取决于上下文。此外，如本文所使用，词语“和/或”可以指代并涵盖一个或多个相关所列项目的任何和所有可能的组合。
41.全息系统考虑事项：
42.光场能量传播分辨率的概述
43.光场和全息显示是多个投影的结果，其中能量表面位置提供在检视体积内传播的角度、颜色和强度信息。所公开的能量表面提供了额外信息共存且通过相同表面传播以引起其它感觉系统响应的机会。与立体显示器不同，当检视者围绕检视体积移动时，会聚的能量传播路径在空间中的检视位置不会变化，并且任何数目的检视者可以同时看到真实世界空间中的传播对象，就好像它确实在那里一样。在一些实施例中，能量的传播可以位于相同的能量传播路径中但是位于相反的方向上。例如，在本公开的一些实施例中，沿着能量传播路径的能量发射和能量捕获都是可能的。
44.图1是示出与刺激感觉受体响应相关的变量的示意图。这些变量可以包含表面对角线101、表面宽度102、表面高度103、所确定的目标就座距离118、来自显示器的中心的目标就座视场视场104、本文示出为眼睛之间的样本的中间样本的数目105、平均成人眼间间
距106、人眼以弧分计的平均分辨率107、在目标检视者位置和表面宽度之间形成的水平视场108、在目标检视者位置和表面高度之间形成的垂直视场109、跨越表面的所得水平波导元件分辨率或元件总数110、跨越表面的所得垂直波导元件分辨率或元件总数111、基于眼睛之间的眼间间距和用于眼睛之间的角投射的中间样本的数目的样本距离112，角取样可以基于样本距离和目标就座距离113、从期望的角取样导出的每个波导元件的总分辨率水平(horizontal)114、从期望的角取样导出的每个波导元件的总分辨率垂直(vertical)115，装置水平是所需离散能量源的所确定数目的计数116，且装置垂直是所需离散能量源的所确定数目的计数117。
45.理解所需最小分辨率的方法可以基于以下标准以确保对视觉(或其它)感觉受体响应的充分刺激：表面尺寸(例如，84"对角线)、表面纵横比(例如，16：9)、就座距离(例如，距显示器128")、就座视场(例如，围绕显示器中心120度或+/-60度)，某一距离处的所需中间样本(例如，眼睛之间的一条额外传播路径)、成人的平均眼间间距(约65mm)，以及人眼的平均分辨率(约1弧分)。应根据具体的应用设计参数将这些实例值视为占位符。
46.此外，归因于视觉感觉受体的每个值可以用其它系统代替，以确定所需的传播路径参数。对于其它能量传播实施例，可以认为听觉系统的角灵敏度低至三度，并且体感系统的手的空间分辨率小至2-12mm。
47.虽然存在各种且相互矛盾的方法来测量这些感觉敏锐度，但这些值足以理解刺激虚拟能量传播感知的系统和方法。有许多方法可以考虑设计分辨率，下文提出的方法将实用产品考虑因素与感觉系统的生物分辨率限制结合起来。如所属领域的普通技术人员将理解，以下概述是任何这样的系统设计的简化，并且应该仅考虑用于实例性目的。
48.在理解了感觉系统的分辨率限制的情况下，可以计算总能量波导元件密度，使得接收感觉系统不能辨别单个能量波导元件与相邻元件，给定：
49.·
50.·
51.·
52.·
53.·
54.·
55.·
56.上述计算产生大约32x18
°
的视场，导致需要大约1920x1080(舍入到最接近的格式)个能量波导元件。还可以约束变量，使得视场对于(u,v)两者是一致的，以提供能量位置
的更规则的空间取样(例如，像素纵横比)。系统的角取样假设限定的目标检视体积位置和在优化距离处的两点之间的额外传播能量路径，给定：
57.·
58.·
59.在这种情况下，利用眼间距离来计算样本距离，但可以利用任何度量来将适当数目的样本考虑为给定距离。考虑到上述变量，可能需要每0.57
°
大约一条射线，且可以确定每个独立感觉系统的总系统分辨率，给定：
60.·
61.·
总分辨率h＝n*水平元件分辨率
62.·
总分辨率v＝n*垂直元件分辨率
63.在上述情况下，给定能量表面的尺寸和针对视敏度系统所考虑的角分辨率，所得能量表面可以理想地包含大约400k
×
225k像素的能量分辨率位置，或90千兆像素的全息传播密度。提供的这些变量仅用于实例性目的，并且应当考虑许多其它感觉和能量计量考虑因素以优化全息能量传播。在额外实施例中，基于输入变量可能需要1千兆像素的能量分辨率位置。在额外实施例中，基于输入变量，可能需要1,000千兆像素的能量分辨率位置。
64.当前技术局限：
65.有源区域、装置电子学、封装和机械包络
66.图2示出具有带有特定机械形状因子的有源区域220的装置200。装置200可以包含驱动器230和电子设备240，用于为有源区域220供电和介接到有源区域220，有源区域具有如x和y箭头所示的尺寸。此装置200不考虑布线和机械结构来对组件进行驱动、供电和冷却，并且机械占地面积可以通过将柔性电缆引入到装置200被进一步最小化。此装置200的最小占地面积也可以称为机械包络210，其具有如m:x和m:y箭头所示的尺寸。此装置200仅用于说明目的，并且定制电子设计可以进一步降低机械包络开销，但是在几乎所有情况下可能不是装置的有效区域的确切尺寸。在一实施例中，此装置200示出电子设备的依赖性，因为它涉及用于微oled、dlp芯片或lcd面板的有源图像区域220，或具有图像照明目的的任何其它技术。
67.在一些实施例中，还可以考虑其其它投影技术以将多个图像聚合到更大的整体显示器上。然而，这可能以投射距离、最小焦点、光学质量、均匀场分辨率、色差、热性质、校准、对准，额外尺寸或形状因子的更大复杂性为代价。对于大多数实际应用，代管数十或数百个这些投影源200可能导致设计更大且可靠性更低。
68.仅出于实例性目的，假设能量位置密度为3840
×
2160个站点的能量装置，可以确定能量表面所需的个别能量装置(例如，装置100)的数目，给定：
69.·
70.·
71.考虑到上述分辨率考虑因素，可能需要类似于图2中所示的大约105
×
105个装置。应注意，许多装置由各种像素结构组成，这些像素结构可以或可以不映射到规则网格。在每个完整像素内存在额外子像素或位置的情况下，可以利用这些子像素或位置来产生额外的分辨率或角密度。可以使用额外信号处理来确定如何根据像素结构的指定位置将光场转换为正确的(u,v)坐标，并且可以是已知和经校准的每个装置的显式特征。此外，其它能量域可能涉及对这些比率和装置结构的不同处理，并且所属领域的技术人员将理解每个期望频域之间的直接内在关系。这将在随后的公开中更详细地示出和讨论。
72.所得计算可用于理解可能需要多少这些个别装置来产生全分辨率能量表面。在这种情况下，可能需要大约105
×
105或大约11,080个装置来实现视敏度阈值。为实现足够的感觉全息传播从这些可用的能量位置制造无缝能量表面存在挑战和新颖性。
73.无缝能量表面的概述：
74.能量中继器阵列的配置和设计
75.在一些实施例中，公开了一些方法，以解决由于装置的机械结构的限制而从没有接缝的个别装置阵列产生高能量位置密度的挑战。在一实施例中，能量传播中继器系统可以允许增加有源装置区域的有效尺寸以满足或超过用以配置中继器阵列并形成单个无缝能量表面的机械尺寸。
76.图3示出这种能量中继器系统300的实施例。如图所示，中继器系统300可以包含安装到机械包络320的装置310，其中能量中继器元件330传播来自装置310的能量。中继器元件330可以被配置为提供减轻当装置的多个机械包络320被放置到多个装置310的阵列中时可能产生的任何间隙340的能力。
77.例如，如果装置的有效区域310是20mm
×
10mm并且机械包络320是40mm
×
20mm，则能量中继器元件330可以设计成具有2：1的放大率以产生缩小末端(箭头a)上大约20mm
×
10mm以及放大末端(箭头b)上大约40mm
×
20mm的锥形形状，从而提供将这些元件330的阵列无缝地对准在一起而不会改变或碰撞每个装置310的机械包络320的能力。在机械上，中继器元件330可以粘合或熔合在一起以对准和抛光，确保装置310之间的最小接缝间隙340。在一个这样的实施例中，可以实现小于眼睛的视敏度极限的接缝间隙340。
78.图4示出基部结构400的实例，基部结构400具有形成在一起并牢固地固定到额外机械结构430的能量中继器元件410。无缝能量表面420的机械结构提供了通过粘合或其它机械工艺将多个能量中继器元件410、450串联联接到相同的基部结构以安装中继器元件410、450的能力。在一些实施例中，每个中继器元件410可以熔合、粘合、附连、压力配合、对准或以其它方式附接在一起以形成所得的无缝能量表面420。在一些实施例中，装置480可以安装到中继器元件410的后部并且无源地或有源地对准，以确保维持所确定的容差内的适当的能量位置对准。
79.在一实施例中，无缝能量表面包括一个或多个能量位置，并且一个或多个能量中继器元件堆叠包括第一和第二侧，并且每个能量中继器元件堆叠被布置为形成单个无缝能量表面，所述无缝显示表面沿着在一个或多个能量位置和无缝能量表面之间延伸的传播路径引导能量，且其中终端能量中继器元件的任何两个相邻第二侧的边缘之间的间隔小于由人眼的视敏度所限定的最小可感知轮廓，该人眼在大于单一无缝能量表面的宽度的距离下具有好于20/40视力。
80.在一实施例中，每个无缝能量表面包括一个或多个能量中继器元件，每个能量中继器元件具有形成具有横向和纵向定向的第一和第二表面的一个或多个结构。第一中继器表面具有与第二中继器表面不同的面积，从而产生正或负放大率，并且配置有第一和第二表面两者的明确的表面轮廓，使能量通过第二中继器表面以相对于整个第二中继器表面上的表面轮廓的法线基本上填充+/-10度角。
81.在一实施例中，多个能量域可以配置在单个能量中继器内或多个能量中继器之间，以引导包含视觉、声学、触觉或其它能量域的一个或多个感觉全息能量传播路径。
82.在一实施例中，无缝能量表面配置有能量中继器，所述能量中继器包括用于每个第二侧的两个或两个以上第一侧，以同时接收和发射一个或多个能量域，从而在整个系统中提供双向能量传播。
83.在一实施例中，能量中继器被提供为松散的相干元件。
84.组件工程结构的介绍：
85.横向安德森定位能量中继器的所公开进展
86.根据本文公开的引起横向安德森定位的能量中继器元件的原理，可以显著优化能量中继器的性质。横向安德森定位是通过横向无序但纵向一致的材料传送的射线的传播。
87.这意味着产生安德森定位现象的材料的效果可能受到全内反射的影响小于多次散射路径之间的随机化的影响，其中波干涉可以在纵向定向继续的同时完全限制横向定向中的传播。
88.显著的额外益处是消除了传统多芯光纤材料的包层。包层在功能上消除了纤维之间的能量散射，但同时作为能量射线的屏障，从而将透射率至少减小芯与包层的比率(例如，芯与包层的比率为70：30将最多传输70％的所接收能量传输)并且另外在传播的能量中形成强烈的像素化图案。
89.图5a示出一个这样的非安德森定位能量中继器500的实例的端视图，其中图像通过多芯光纤中继，其中由于光纤的内在性质可能展现像素化和光纤噪声。对于传统的多模和多芯光纤，由于芯的离散阵列的全内反射性质，中继图像可能本质上是像素化的，其中芯之间的任何串扰将削弱调制传递函数并增加模糊。用传统的多芯光纤产生的所得图像往往具有类似于图3所示的残余固定噪声光纤图案。
90.图5b示出通过能量中继器的相同中继图像550的实例，所述能量中继器包括展现横向安德森定位的性质的材料，其中，与图5a中的固定光纤图案相比，所述中继图案具有更大的密度晶粒结构。在一实施例中，包括随机化微观组件工程结构的中继器引起横向安德森定位，且与市售的多模玻璃光纤相比具有更高的可分辨分辨率传播，更有效地传送光。
91.在成本和重量方面，横向安德森定位材料性质具有显著的优点，其中类似的光学级玻璃材料的成本和重量可能比实施例内产生的相同材料的成本高10至100倍，其中所公开的系统和方法包括随机化的微观组件工程结构，与所属领域已知的其它技术相比，它们显示出改善成本和质量的重要机会。
92.在一实施例中，展现横向安德森定位的中继器元件可以包括在以三维网格布置的三个正交平面中的每一个中的多个至少两个不同的组件工程结构，并且所述多个结构在尺寸网格内的横向平面中形成材料波传播性质的随机化分布，且在尺寸网格内的纵向平面中形成材料波传播性质的相似值的通道，其中通过能量中继器传播的局部能量波在纵向定向
上相对于横向定向具有更高的传送效率。
93.在一实施例中，多个能量域可以配置在单个横向安德森定位能量中继器内或多个横向安德森定位能量中继器之间，以引导包含视觉、声学、触觉或其它能量域的一个或多个感觉全息能量传播路径。
94.在一实施例中，无缝能量表面配置有横向安德森定位能量中继器，其包括用于每个第二侧的两个或两个以上第一侧，以同时接收和发射一个或多个能量域，以在整个系统中提供双向能量传播。
95.在一实施例中，横向安德森定位能量中继器被配置为松散相干或柔性能量中继器元件。
96.4d全光函数的考虑事项：
97.通过全息波导阵列的选择性能量传播
98.如上文和此处所讨论的，光场显示系统通常包含能量源(例如，照明源)和无缝能量表面，所述无缝能量表面配置有如上述讨论中所阐述的足够的能量位置密度。多个中继器元件可用于将能量从能量装置中继到无缝能量表面。一旦能量以所需的能量位置密度递送到无缝能量表面，就可以通过所公开的能量波导系统根据4d全光函数传播能量。如所属领域的普通技术人员将理解，4d全光函数在所属领域中是众所周知的，并且在此不再进一步详述。
99.能量波导系统沿着无缝能量表面通过多个能量位置选择性地传播能量，所述无缝能量表面表示4d全光函数的空间坐标，其结构被配置为改变通过的能量波的角方向，表示4d全光函数的角分量，其中传播的能量波可以根据由4d全光函数引导的多个传播路径在空间中会聚。
100.现在参考图6，其示出根据4d全光函数的4d图像空间中的光场能量表面的实例。该图示出能量表面600到检视者620的射线轨迹，描述了能量射线如何从检视体积内的各个位置会聚在空间630中。如图所示，每个波导元件610限定描述通过能量表面600的能量传播640的四维信息。两个空间维度(此处称为x和y)是当通过能量波导阵列投射时可在图像空间中检视的物理多个能量位置，以及在虚拟空间中检视的角分量θ和(此处称为u和v)。通常，并且根据4d全光函数，多个波导(例如，小透镜)能够在形成本文描述的全息或光场系统时沿着由u,v角分量限定的方向将能量位置从x,y维度引导到虚拟空间中的唯一位置。
101.然而，所属领域的技术人员将理解，对光场和全息显示技术的重大挑战源于能量的不受控制的传播，这是由于设计没有准确地考虑任何衍射、散射、扩散、角方向、校准、聚焦、准直、曲率、均匀性、元件串扰，以及许多其它参数，这些参数促使降低有效分辨率以及无法以足够的保真度精确地会聚能量。
102.在一实施例中，用于解决与全息显示相关联的挑战的选择性能量传播的方法可以包含能量抑制元件和基本上将具有近准直能量的波导孔填充到由4d全光函数限定的环境中。
103.在一实施例中，能量波导阵列可以为每个波导元件限定多个能量传播路径，所述多个能量传播路径被配置成在由规定的4d函数限定的独特方向上延伸通过并基本上填充波导元件的有效孔隙到沿着无缝能量表面的多个能量位置，所述无缝能量表面受到一个或多个元件的抑制，这些元件被定位成将每个能量位置的传播限制为仅通过单个波导元件。
104.在一实施例中，多个能量域可以配置在单个能量波导内或多个能量波导之间，以引导包含视觉、声学、触觉或其它能量域的一个或多个感觉全息能量传播。
105.在一实施例中，能量波导和无缝能量表面被配置为接收和发射一个或多个能量域，以在整个系统中提供双向能量传播。
106.在一实施例中，能量波导被配置为利用用于任何无缝能量表面定向(包含墙壁、桌子、地板、天花板、房间或其它基于几何形状的环境)的数字编码、衍射、折射、反射、梯度变率折射率(grin)、全息、菲涅耳等波导配置传播非线性或非规则能量分布(包含非透射空隙区域)。在另外的实施例中，能量波导元件可以被配置为产生各种几何形状，其提供任何表面轮廓和/或桌面检视，允许用户以360度配置检视来自能量表面周围的全息图像。
107.在一实施例中，能量波导阵列元件可以是反射表面，并且元件的布置可以是六边形、正方形、不规则、半规则、弯曲、非平面、球形、圆柱形、倾斜规则、倾斜不规则、空间变化和/或多层。
108.对于无缝能量表面内的任何组件，波导或中继器组件可包含但不限于光纤、硅、玻璃、聚合物、光学中继器、衍射、全息、折射或反射元件、光学面板、能量组合器、分束器、棱镜、偏振元件、空间光调制器、有源像素、液晶单元、透明显示器，或任何展现安德森定位或全内反射的类似材料。
109.实现holodeck：
110.双向无缝能量表面系统的聚合以刺激全息环境内的人类感觉受体
111.通过将多个无缝能量表面拼接、熔合、粘合、附接和/或缝合在一起形成任意尺寸、形状、轮廓或包含整个空间的形状因子，可以构建无缝能量表面系统的大规模环境。每个能量表面系统可以包括具有基部结构、能量表面、中继器、波导、装置和电子设备的组合件，这些组件共同配置用于双向全息能量传播、发射、反射或感测。
112.在一实施例中，平铺无缝能量系统的环境被聚合以形成大的无缝平面或弯曲壁，包含在给定环境中包括多达所有表面的安装，并且被配置为无缝、不连续平面、刻面、弯曲、圆柱形、球面、几何或非规则几何形状的任何组合。
113.在一实施例中，平面表面的聚合平铺片形成用于基于剧院或会场的全息娱乐的壁尺寸的系统。在一实施例中，平面表面的聚合平铺片覆盖用于基于洞穴的全息安装的具有四到六个壁的房间，包含天花板和地板。在一实施例中，弯曲表面的聚合平铺片产生用于沉浸式全息安装的圆柱形无缝环境。在一实施例中，无缝球面的聚合平铺片形成用于基于holodeck的沉浸式体验的全息圆顶。
114.在一实施例中，无缝弯曲能量波导的聚合平铺片沿着能量波导结构内的能量抑制元件的边界遵循精确图案提供机械边缘，以粘合、对准或熔合相邻波导表面的相邻平铺机械边缘，从而产生模块化无缝能量波导系统。
115.在聚合平铺环境的另一实施例中，能量针对多个同时能量域双向传播。在另外的实施例中，能量表面提供了从相同能量表面同时显示和捕获的能力，其中波导被设计成使得光场数据可以由照明源通过波导投射并同时通过相同的能量表面接收。在另外的实施例中，可以利用额外的深度感测和有源扫描技术以允许能量传播和检视者之间在正确的世界坐标中交互。在另外的实施例中，能量表面和波导可操作以发射、反射或会聚频率以引发触觉感觉或体积触觉反馈。在一些实施例中，双向能量传播和聚合表面的任何组合都是可能
的。
116.在一实施例中，系统包括能量波导，所述能量波导能够双向发射并且通过能量表面感测能量，其中一个或多个能量装置独立地与两个或两个以上路径能量组合器配对以将至少两个能量装置配对到无缝能量表面的相同部分，或者一个或多个能量装置固定在能量表面后面，靠近固定到基部结构的额外组件，或靠近用于离轴引导或者反射投射或感测的波导的fov前方和外部的位置，并且所得的能量表面提供能量的双向传输，允许波导会聚能量，第一装置发射能量且第二装置感测能量，且其中处理信息以执行与计算机视觉相关的任务，包含但不限于4d全光眼和视网膜跟踪或感测所传播能量模式内的干扰、深度估计、近程、运动跟踪、图像、颜色或声音形成，或其它能量频率分析。在另外的实施例中，跟踪位置基于双向捕获数据和投影信息之间的干扰有源地计算和修改能量位置。
117.在一些实施例中，包括超声传感器、可见能量显示器和超声发射装置的三个能量装置的多个组合被配置在一起，以使传播能量的三个第一中继表面中的每一个组合成单个第二能量中继表面，三个第一表面的每一个包括特定针对每个装置的能量域的工程性质，且两个工程波导元件分别配置用于超声波和能量，以提供独立地引导和会聚每个装置的能量的能力，且基本上不受经配置用于单独能量域的其它波导元件的影响。
118.在一些实施例中，公开了一种校准程序，以使得能够有效制造以移除系统假影，并产生所得能量表面的几何映射以与编码/解码技术一起使用，以及用于基于经校准配置文件将数据转换为适于能量传播的经校准信息的专用集成系统。
119.在一些实施例中，串联的额外能量波导和一个或多个能量装置可以集成到系统中以产生不透明的全息像素。
120.在一些实施例中，可以集成包括能量抑制元件、分束器、棱镜、有源视差屏障或偏振技术的额外波导元件，以便提供大于波导直径的空间和/或角分辨率或用于其它超分辨率目的。
121.在一些实施例中，所公开的能量系统还可以被配置为可穿戴双向装置，例如虚拟现实(vr)或增强现实(ar)。在其它实施例中，能量系统可以包含调节光学元件，其使得所显示或接收的能量聚焦在检视者的空间中的所确定平面附近。在一些实施例中，波导阵列可以并入到全息头戴式显示器。在其它实施例中，系统可以包含多个光学路径以允许检视者看到能量系统和真实世界环境(例如，透明全息显示器)。在这些情况下，除了其它方法之外，系统可以呈现为近场。
122.在一些实施例中，数据传输包括具有可选择或可变压缩比的编码过程，其接收信息和元数据的任意数据集；分析所述数据集并接收或指派材料性质、向量、表面id、形成更稀疏数据集的新像素数据，并且其中所接收的数据可包括：2d、立体、多视图、元数据、光场、全息、几何、向量或者向量化元数据，且编码器/解码器可以提供实时或离线转换数据的能力，包括针对以下各项的图像处理：2d；2d加深度、元数据或其它向量化信息；立体、立体加深度、元数据或其它向量化信息；多视图；多视图加深度、元数据或其它向量化信息；全息；或光场内容；通过深度估计算法，有或没有深度元数据；且逆射线跟踪方法通过特征化的4d全光函数将通过逆射线跟踪产生的所得经转换数据从各种2d、立体、多视图、体积、光场或全息数据适当地映射到真实世界坐标。在这些实施例中，期望的总数据传输可以是比原始光场数据集少多个数量级的所传输信息。
123.适用于呈现全息感觉数据的能量引导装置
124.在一实施例中，光机械显示装置可以能够发射和引导光以形成2d、立体、多视图、全光、4d、体积、光场、全息或光的任何其它视觉表示。
125.图7a是在配置有发光显示装置、光学中继器和波导的情况下的光场光机械系统的实例，所述波导被实现为例如微透镜阵列等折射元件阵列，其中来自一个或多个显示器的可见图像可以在被传输到能量表面之前以光学方式中继，其中折射元件阵列提供能量表面上的每个位置与来自该位置的光的投射方向之间的映射，使得可以投射4d体积光场图像。
126.在一实施例中，波导可以用于会聚光线以从检视者的角度引起聚散和调节两者。
127.在一实施例中，波导和能量中继器可以以各种表面几何形状形成或抛光。在一实施例中，能量中继器包含引起横向安德森定位的元件。在一实施例中，能量中继器是双向的并且可以发射和/或投射能量。
128.在一实施例中，配置成根据四维(4d)全光函数引导能量的能量系统包含多个能量装置。在一些实施例中，所述多个能量装置包含发射图像信息的照明源，其中图像信息包含利用可见光、ir、uv、相干、激光、红外、偏振或任何其它电磁照明源的发射、投影或反射显示技术。在其它实施例中，所述多个能量装置包含机械能发射装置，其配置成从声场提供沉浸式音频或体积触感。
129.在一些实施例中，如上配置的能量系统可进一步包含基部结构(例如，72)，使得所述多个能量装置、能量中继器系统和能量波导系统可全部耦合到基部结构。在其它实施例中，所述多个能量装置、能量中继器系统和能量波导系统可以通过一个或多个安装支架耦合到基部结构。
130.在一些实施例中，所述多个能量装置包含用于捕获或感测能量的能量装置，包含机械、化学、传递、热、电、电势、动能、磁力、重力、辐射、能量、结构化、非结构化或其它形式的能量。在其它实施例中，所述多个能量装置包含用于传播或发射能量的能量装置，包含机械、化学、传递、热、电、电势、动能、磁力、重力、辐射、能量、结构化、非结构化或其它形式的能量。在其它实施例中，所述多个能量装置包含被配置为提供感觉反馈或听觉控制的声学接收装置。
131.在一个实施例中，能量系统进一步包含具有一个或多个能量中继器元件的能量中继器系统(例如，如图7b中最佳示出的6110)，其中所述一个或多个能量中继器元件中的每一个包含第一表面和第二表面，所述一个或多个能量中继器元件的第二表面布置成形成能量中继器系统的单个无缝能量表面，并且其中第一多个能量传播路径从所述多个能量装置中的能量位置延伸穿过能量中继器系统的单个无缝能量表面。这将在下文更详细地讨论。
132.现在参考图7b，其示出根据本公开的一个实施例的正交视图中的能量中继器系统6110。在一个实施例中，能量中继器系统6110可包含两个或两个以上中继器元件6112，每个中继器元件6112由一个或多个结构形成，每个中继器元件6112具有第一表面6114、第二表面6116、横向定向(通常平行于表面6114、6116)和纵向定向(通常垂直于表面6114、6116)。在一个实施例中，第一表面6114的表面积可以不同于第二表面6116的表面积。例如，第一表面6114的表面积可以大于或小于第二表面6116的表面积。在另一个实施例中，第一表面114的表面积可以与第二表面6116的表面积相同。能量波可以从第一表面6114传递到第二表面6116，反之亦然。
133.在一个实施例中，能量中继器系统6110的中继器元件6112包含在第一表面6114和第二表面6116之间的倾斜轮廓部分6118。在操作中，在第一表面6114和第二表面6116之间传播的能量波在纵向定向上的传送效率可以比在横向定向上高，并且通过中继器元件6112的能量波可以导致空间放大或空间缩小。换句话说，通过中继器元件装置6110的中继器元件6112的能量波可以经历增大的放大率或减小的放大率。在一些实施例中，用于形成能量中继器元件6110的所述一个或多个结构可包含玻璃、碳、光纤、光学膜、塑料、聚合物或其混合物。
134.在一个实施例中，通过第一表面6114的能量波具有第一分辨率，而通过第二表面6116的能量波具有第二分辨率，并且第二分辨率不小于第一分辨率的约50％。在另一个实施例中，能量波虽然在呈现给第一表面时具有均匀的轮廓，但是可以以在每个方向上辐射的方式通过第二表面，前向方向上的能量密度基本上填充相对于第二表面的法线具有+/-10度的开口角的锥体，与第二中继器表面上的位置无关。
135.在一些实施例中，第一表面6114可以被配置为从能量波源接收能量，能量波源包含机械包络，其宽度不同于第一表面6114和第二表面6116中的至少一个的宽度。
136.在每个中继器6112中，能量在限定纵向定向的第一和第二表面之间传送，每个中继器的第一和第二表面大致沿着由第一和第二方向限定的横向定向延伸，其中纵向定向基本上垂直于横向定向。在一个实施例中，由于横向定向中的随机折射率变化与纵向定向中的最小折射率变化相结合，传播通过所述多个中继器的能量波在纵向定向上具有比在横向定向上更高的传送效率。在每个中继器由多芯光纤构成的一些实施例中，在每个中继器元件内传播的能量波可以在由此定向中的光纤对准确定的纵向定向上行进。
137.在一个实施例中，终端能量中继器元件的任何两个相邻的第二侧的边缘之间的间隔可小于由人眼的视敏度限定的最小可感知轮廓，人眼的视敏度在距无缝能量表面的距离大于单个无缝能量表面的高度或单个无缝能量表面的宽度中的较小者的情况下具有优于20/40的视力。
138.在一个实施例中，堆叠配置中的所述多个能量中继器元件可包含多个面板。在一些实施例中，所述多个面板可以具有不同的长度或者是松散的相干光学中继器。在其它实施例中，所述多个元件可以具有类似于图7b所示的倾斜轮廓部分，其中所述倾斜轮廓部分可以相对于中继器元件的法线轴成角度、呈线性、弯曲、呈锥形、呈刻面或以非垂直角度对准。在又一实施例中，由于横向定向中的随机折射率变化与纵向定向中的最小折射率变化相结合，传播通过所述多个中继器元件的能量波在纵向定向上具有比在横向定向上更高的传送效率。在每个能量中继器由多芯光纤构成的实施例中，在每个中继器元件内传播的能量波可以在由此定向上的光纤对准确定的纵向定向上行进。
139.在一些实施例中，所述一个或多个中继器元件(例如，6112)包含融合或平铺的镶嵌件，其中相邻的融合或平铺的镶嵌件之间的任何接缝被由人的视敏度限定的最小可感知轮廓分开或小于该最小可感知轮廓，人眼的视敏度在处于或大于单个无缝能量表面的宽度或高度的距离下具有优于20/40的视力。
140.在其它实施例中，所述一个或多个中继器元件(例如，6112)包含：光纤、硅、玻璃、聚合物、光学中继器、衍射元件、全息光学元件、折射元件、反射元件、光学面板、光学组合器、光束分光器、棱镜、偏振组件、空间光调制器、有源像素、液晶单元、透明显示器，或用于
形成单一无缝能量表面的具有安德森定位或全内反射性质的任何类似材料。
141.在其它实施例中，所述一个或多个中继器元件(例如，6112)被配置为适应单一无缝能量表面的形状，包含平面、球形、圆柱形、圆锥形、刻面、平铺、规则、不规则或针对指定应用的任何其它形状。
142.在另一个实施例中，系统进一步包含具有能量波导阵列的能量波导系统(例如，如图7c-7l中最佳示出的7100)，其中第二多个能量传播路径从单个无缝能量表面延伸穿过由4d全光函数确定的方向上的能量波导阵列。
143.图7c示出可操作以限定多个能量传播路径7108的能量波导系统7100的实施例的俯视透视图。能量波导系统7100包括能量波导阵列7112，其被配置为沿着所述多个能量传播路径7108引导能量通过其中。在一个实施例中，所述多个能量传播路径7108延伸通过阵列7116的第一侧上的多个能量位置7118到达阵列7114的第二侧。
144.参见图7c和7l，在一实施例中，所述多个能量传播路径7108的第一子集7290延伸通过第一能量位置7122。第一能量波导7104被配置为沿着所述多个能量传播路径7108的第一子集7290的第一能量传播路径7120引导能量。第一能量传播路径7120可以由形成在第一能量位置7122和第一能量波导7104之间的第一主射线7138限定。第一能量传播路径7120可以包括在第一能量位置7122和第一能量波导7104之间形成的射线7138a和7138b，它们分别由第一能量波导7104沿着能量传播路径7120a和7120b引导。第一能量传播路径7120可以从第一能量波导7104朝向阵列7114的第二侧延伸。在一个实施例中，沿着第一能量传播路径7120引导的能量包括在能量传播路径7120a和7120b之间或包含能量传播路径7120a和7120b的一个或多个能量传播路径，所述能量传播路径在基本平行于主射线7138传播穿过第二侧7114的角度的方向上被引导通过第一能量波导7104。
145.实施例可以被配置为使得沿着第一能量传播路径7120引导的能量可以在基本平行于能量传播路径7120a和7120b以及第一主射线7138的方向上离开第一能量波导7104。可以假设延伸通过第二侧7114上的能量波导元件7112的能量传播路径包括基本相似的传播方向的多个能量传播路径。
146.图7d是能量波导系统7100的实施例的正视图图示。第一能量传播路径7120可以在从第一能量波导7104延伸的唯一方向7208上朝向阵列7114的第二侧延伸，该唯一方向至少由第一能量位置7122确定。第一能量波导7104可以由空间坐标7204限定，并且至少由第一能量位置7122确定的唯一方向7208可以由限定第一能量传播路径7120的方向的角坐标7206限定。空间坐标7204和角坐标7206可以形成四维全光坐标组7210，其限定第一能量传播路径7120的唯一方向7208。
147.在一个实施例中，沿着第一能量传播路径7120通过第一能量波导7104引导的能量基本上填充第一能量波导7104的第一孔隙7134，并且沿着位于能量传播路径7120a和7120b之间的一个或多个能量传播路径传播，且平行于第一能量传播路径7120的方向。在一个实施例中，基本上填充第一孔隙7134的所述一个或多个能量传播路径可以包括大于第一孔隙7134直径的50％。
148.在优选实施例中，基本上填充第一孔隙7134的沿第一能量传播路径7120引导通过第一能量波导7104的能量可以占第一孔隙7134直径的50％至80％。
149.回到图7c和7e-7l，在一实施例中，能量波导系统7100可进一步包括能量抑制元件
7124，其被定位成限制第一侧7116和第二侧7114之间的能量传播并且抑制相邻波导7112之间的能量传播。在一实施例中，能量抑制元件被配置为抑制能量沿着不延伸通过第一孔隙7134的所述多个能量传播路径7108的第一子集7290的一部分传播。在一实施例中，能量抑制元件7124可以位于第一侧7116上在能量波导阵列7112和所述多个能量位置7118之间。在一实施例中，能量抑制元件7124可以位于第二侧7114上在所述多个能量位置7118和能量传播路径7108之间。在一实施例中，能量抑制元件7124可以位于第一侧7116或第二侧7114上与能量波导阵列7112或所述多个能量位置7118正交。
150.在一实施例中，沿第一能量传播路径7120引导的能量可以通过第二能量波导7128与沿第二能量传播路径7126引导的能量会聚。第一和第二能量传播路径可以会聚在阵列7112的第二侧7114上的位置7130处。在一实施例中，第三和第四能量传播路径7140、7141还可以会聚在阵列7112的第一侧7116上的位置7132处。在一实施例中，第五和第六能量传播路径7142、7143还可以会聚在阵列7112的第一和第二侧7116、7114之间的位置7136处。
151.图7e-7l是能量抑制元件7124的各种实施例的图示。为避免疑义，提供这些实施例是出于示例性目的，并且决不限制在本公开的范围内提供的组合或实施方案的范围。
152.图7e示出所述多个能量位置7118的实施例，其中能量抑制元件7251邻近能量位置7118的表面放置，并且包括指定的折射、衍射、反射或其它能量改变性质。能量抑制元件7251可以被配置为通过抑制沿着能量传播路径7252的能量传播来将第一能量传播路径子集7290限制到较小范围的传播路径7253。在一实施例中，能量抑制元件是数值孔径小于1的能量中继器。
153.图7f示出所述多个能量位置7118的实施例，其中能量抑制结构7254正交放置在能量位置7118的区域之间，并且其中能量抑制结构7254表现出吸收性质，并且其中抑制能量结构7254具有沿着能量传播路径7256的限定的高度，使得某些能量传播路径7255被抑制。在一实施例中，能量抑制结构7254的形状为六边形。在一实施例中，能量抑制结构7254的形状为圆形。在一实施例中，能量抑制结构7254沿着传播路径的任何定向在形状或尺寸上是不均匀的。在一实施例中，能量抑制结构7254嵌入在具有额外性质的另一结构内。
154.图7g示出所述多个能量位置7118，其中第一能量抑制结构7257被配置为基本上将通过其传播的能量7259定向到第一状态。第二能量抑制结构7258被配置为允许基本上在第一状态下定向的能量7259传播通过其中，并且限制基本上与第一状态不同地定向的能量7260的传播。在一实施例中，能量抑制元件7257、7258是能量偏振元件对。在一实施例中，能量抑制元件7257、7258是能量波带通元件对。在一实施例中，能量抑制元件7257、7258是衍射波导对。
155.图7h示出所述多个能量位置7118的实施例，其中能量抑制元件7261被构造成根据能量传播路径7263延伸通过所述多个能量位置7118中的哪一个来将能量传播路径7263改变到一定程度。能量抑制元件7261可以沿着能量传播路径7263以均匀或非均匀的方式改变能量传播路径7263，使得某些能量传播路径7262被抑制。能量抑制结构7254正交放置在能量位置7118的区域之间，并且其中能量抑制结构7254表现出吸收性质，并且其中抑制能量结构7254沿能量传播路径7263具有限定的高度，使得某些能量传播路径7262被抑制。在一实施例中，抑制元件7261是场透镜。在一实施例中，抑制元件7261是衍射波导。在一实施例中，抑制元件7261是弯曲的波导表面。
156.图7i示出所述多个能量位置7118的实施例，其中能量抑制元件7264提供吸收性质以限制能量7266的传播，同时允许其它传播路径7267通过。
157.图7j示出所述多个能量位置7118和所述多个能量波导7112的实施例，其中第一能量抑制结构7268被配置为基本上将通过其传播的能量7270定向到第一状态。第二能量抑制结构7271被配置为允许基本上在第一状态下定向的能量7270传播通过其中，并且限制基本上与第一状态不同地定向的能量7269的传播。为了进一步控制通过系统的能量传播(例如杂散能量传播7272所例示)，能量抑制结构7268、7271可能需要复合能量抑制元件以确保能量传播维持准确的传播路径。
158.图7k示出所述多个能量位置7118的实施例，并且其中能量抑制元件7276提供吸收性质以限制沿能量传播路径7278的能量传播，同时允许沿能量传播路径7277的其它能量通过用于波导阵列7112内的有效孔隙7284的一对能量波导7112。在一实施例中，能量抑制元件7276包括黑铬。在一实施例中，能量抑制元件7276包括吸收材料。在一实施例中，能量抑制元件7276包括透明像素阵列。在一实施例中，能量抑制元件7276包括经阳极处理的材料。
159.图7l示出包括多个能量位置7118和多个能量波导7112的实施例，其中第一能量抑制结构7251邻近能量位置7118的表面放置并且包括指定的折射、衍射、反射或其它能量改变性质。能量抑制结构7251可以被配置为通过抑制能量沿着能量传播路径7274的传播来将第一能量传播路径子集7290限制到较小范围的传播路径7275。第二能量抑制结构7261被构造成根据能量传播路径7275延伸通过所述多个能量位置7118中的哪一个来将能量传播路径7275改变到一定程度。能量抑制结构7261可以以均匀或不均匀的方式改变能量传播路径7275，使得某些能量传播路径7274被抑制。第三能量抑制结构7254正交放置在能量位置7118的区域之间。能量抑制结构7254表现出吸收性质，并且沿能量传播路径7275具有限定的高度，使得某些能量传播路径7274被抑制。能量抑制元件7276提供吸收性质以限制能量280的传播，同时允许能量7281通过。类似或不相似的波导元件7112的复合系统被定位成用来自所述多个能量位置7118的能量基本上填充有效波导元件孔隙7285，并且改变由特定系统限定的能量的传播路径7273。
160.在一实施例中，能量抑制结构7124可以位于第一能量位置7122附近并且大体朝向第一能量波导7104延伸。在一实施例中，能量抑制结构7124可以位于第一能量波导7104附近并且大体朝向第一能量位置7122延伸。
161.在一实施例中，能量系统被配置为沿着第二多个能量传播路径将能量引导通过能量波导系统到达单个无缝能量表面，并且沿着第一多个能量传播路径从单个无缝能量表面引导能量通过能量中继器系统到所述多个能量装置。
162.在另一实施例中，能量系统被配置为沿着第一多个能量传播路径将能量从所述多个能量装置引导通过能量中继器系统到达单个无缝能量表面，并且沿着第二多个能量传播路径从单一无缝能量表面引导能量通过能量波导系统。
163.在又一个实施例中，单个无缝能量表面可操作以将局部光透射引导到三个或更少波长的可见光内。
164.适于全息显示的感觉数据
165.从能量引导表面通过表面的全光4d函数从包括能量位置的第一平面提供两个空间坐标x
l
,y
l
，且沿着包括波导参数u
l
,v
l
的第二平面引导通过第二坐标，所述波导参数限定
能量传播路径f
l
(x
l
,y
l
,u
l
,v
l
)的向量。在考虑多个能量引导表面的情况下，全光5d函数从包括一个或多个能量位置的第一坐标提供三个空间坐标x
l
,y
l
,z
l
，且沿着包括波导参数u
l
,v
l
的平面引导通过第二坐标，所述波导参数限定能量传播路径f
l
(x
l
,y
l
,z
l
,u
l
,v
l
)的向量。对于4d或5d的每一个，时间和颜色f
l
(λ
l
,t
l
)的额外变量可以被考虑且假定为包含应用所必需的任何全光函数，即使为了函数和讨论的简单起见未明确指出时亦如此。为避免疑义，对能量引导表面的引用仅用于示例性目的，并且可包括用于5d坐标的定位的空间中的任何额外点、位置、方向或平面，并且统称为能量“引导表面”。
166.图8是示出用于确定内容数据的四维(4d)全光坐标的过程800的实施例的流程图。过程800可以包含步骤802，其中接收内容数据，所述内容数据可以包含视觉、音频、纹理、感官或嗅觉传感器可感知的任何信号。图9是示出内容数据的实施例的示意图，所述内容数据可以包含以下中的至少一个：对象位置、材料性质(例如材料性质906、907和908)、虚拟光源904、非对象位置处的几何形状902、参考表面之外的内容、虚拟相机位置914、对象的分段910、背景纹理912和分层内容。
167.参考图8和9，过程800可进一步包含步骤804，其中相对于第一表面920确定数据点的位置，以创建内容数据的数字体积表示922。第一表面920可以用作参考表面，用于限定空间中的数据点的位置。在一实施例中，过程800可进一步包含步骤806，其中通过跟踪体积表示中的数据点相对于其中施加4d函数的第二表面的位置，确定第二表面处数据点的4d全光坐标。在一实施例中，过程800可以进一步包含步骤808，其中针对具有第一会聚点的4d全光坐标确定能量源位置值。
168.在步骤802中接收的内容数据可以包含n个视图，其中n是一个或多个。可以在有或没有深度通道的情况下呈现单个视图。可以在有或没有深度通道的情况下呈现立体视图。可以在有或没有深度通道的情况下呈现多视图图像。此外，可以在有或没有深度通道的情况下呈现4d光场。
169.步骤806的跟踪可以使用能量系统的经校准几何形状的先验知识，其可以作为全局模型或个别表征的系统或两种方法的某种组合存储在存储器中。
170.在一实施例中，输入数据和输出能量源之间的映射提供了在各种比特率源之间精确映射的方法。步骤806的跟踪提供了从上面列出的部分样本推断出完整的体积4d数据集的能力。需要根据可用数据提供或计算深度信息。利用已知或计算出的深度信息，可以通过基于进入4d空间的深度坐标从已知体积呈现中对样本进行三角测量来反向跟踪n个视图。
171.三角测量可以假设，在提供能量波导和能量源位置格式分辨率之间的映射的情况下，n源内容中的每个可用能量源位置代表每个能量波导的能量源位置。在n源内容分辨率较低的情况下，可以实施超分辨率或缩放算法。在n源图像的分辨率高于能量引导装置中的能量波导的数目的情况下，可以执行超取样的能量源位置之间的内插以产生所得4d反射线轨迹中每个能量波导的更大数目的能量源位置。
172.以上假定距离信息可以根据深度图确定，所述距离信息根据提供或计算出的深度信息的形式可以精确或不精确，并且距离信息是已知或假设的，距离信息结合x-y能量源位置坐标和由能量引导装置性质确定的(u,v)角信息因此可以被认为是具有有限成像数据样本的4d或5d光场。基于距离信息的成像样本被三角测量回到可能分别存在于每个能量波导后面的适当能量源位置，并且可以通过本文包含的公开内容在步骤808中产生缺失数据。
173.参见图7c、8、9、10，在一实施例中，能量位置可以位于第一表面920中，并且其中施加4d函数的第二表面可以对应于能量引导装置的波导系统7100，并且能量可操作以根据数据点的4d全光坐标引导通过波导系统，以形成内容数据的可检测体积表示。
174.在一实施例中，过程800可以进一步包括步骤810，其中针对具有第一会聚点的4d坐标确定能量源位置值。为了提供本公开的实例实施方案，图11示出经过跟踪过程的能量引导装置1000的实施例，其中图像1002形式的内容数据被提供有距离位置1004，所述距离位置1004可以参考能量位置1010在确定的最小位置1006和最大位置1008内被提供或计算。在一实施例中，能量位置1010可以包括能量引导装置表面。来自由4d全光函数限定的能量位置1010的已知几何形状允许图像1002的虚拟表面上的点1014的三角测量沿着射线1016追溯回到特定能量位置1018，每个特定能量位置1018具有唯一x-y坐标。可以基于数据集内包含的可用信息用计算方法计算缺失的样本。
175.当提供额外的n个样本时，应用相同的方法，额外的多视角成像数据产生更丰富的逆射线跟踪样本集并提供优异的全息结果。来自多个n个样本的深度信息可以通过单个深度图提供，或者多达n个，或者大于n个深度图，其中源位置(n+x透视图)和源深度图(n+x深度图)之间具有已知的映射以确保执行适当的逆射线跟踪。
176.在提供例如中心n视角的单个深度图的情况下，可以通过计算每个相邻视图之间的视差来内插额外深度图，以准确地映射n和n+x视点之间的源和目标位置。利用这种方法，可以将适当的视图相关映射逆射线跟踪到4d光场，使得正确的透视投影到适当的波导坐标，并使检视者能够维持相关观点中的正确的视图依赖性。
177.编码器和解码器是稳健的并且可以解释多种数据类型以包含(但不限于)2d/平面文件；具有深度的2d；立体；立体具有单深度通道；立体具有双深度通道；n+x多视图无深度；n+x多视图具有n+x深度；基于几何或向量的场景文件，其可以包含用于重建环境的纹理、几何、照明、材料性质等；深度成像文件，其中可以针对每个x-y坐标提供多个rgbaz值；4d或5d(4d加深度)光场；或作为n+x视图加上n+y德尔塔通道数据集提供，其中深度通道提供较低带宽的方法，仅用于渲染确定的能量引导装置视场所需的一定量的能量源位置数据。处理器能够以高达或超过实时速度进行逆射线跟踪，以便提供适当的4d光场，以便在有和没有世界坐标位置、有和没有补偿的最小和最大预测世界位置，且考虑到如所表征和/或设计的内在的能量引导装置的情况下向检视者呈现。
178.在一实施例中，过程800可进一步包括步骤812，其中施加波导系统7100的第一侧上的能量位置7122与来自波导系统7100的第二侧上的波导元件7100的能量传播路径7120的角方向之间的映射。这样做可以允许确定波导系统7100的第一侧上对应于数据点的4d全光坐标的多个能量位置。
179.图12是处理系统1200的示意图，处理系统1200包括与处理子系统通信的数据输入/输出接口1201，处理子系统具有感觉数据处理器1202、向量化引擎1204和跟踪引擎1206。应当理解，感觉数据处理器1202、向量化引擎1204和跟踪引擎1206可以在一个或多个处理器上实施，无论是单独的还是其任何组合。过程800的步骤802可以通过数据输入/输出接口1201将内容数据输入到处理子系统1220。步骤804可以由感觉数据处理器1202执行以创建内容数据的体积表示。步骤806
180.在一实施例中，应用映射可以包括校准波导系统7100中的失真，其可进一步包括
校准选自以下组成的组的至少一个失真：空间失真、角失真、强度失真和颜色失真。
181.在一实施例中，能量引导装置可进一步包括在波导系统7100的第一侧上的中继器系统6110，所述中继器系统具有与波导系统7100相邻的第一表面6116，且在波导系统的第一侧上的能量位置7112可以定位在中继器系统6110的第二表面6114附近。
182.在一实施例中，施加映射可以包含校准波导系统7100中的失真。在一实施例中，施加映射可以包含校准中继器系统6110中的失真和波导系统7100中的失真两者。在一实施例中，待校准的失真可以包含选自以下组成的组的至少一个失真：空间失真、角失真、强度失真和颜色失真。
183.在一实施例中，所述方法的一部分可以实时执行，或者所述方法可以完全实时执行，或者所述方法的至少两个部分可以在不同的时间段内执行。
184.2d到光场转换
185.在一实施例中，内容数据可以包括二维(2d)空间中的数据点，并且确定步骤704的位置可以包括将深度图施加到二维空间中的数据点。
186.有若干方法将二维或平面图像转换为光场数据。这些包含通过以下各项的深度信息的估计：来自运动分析的深度、通过手动或渲染手段提供的深度通道，或手动创建视差、深度、遮挡、几何和/或任何其它被称为视觉效果内容创建标准的方法，以通过手动和自动过程经由整个环境的表示再现完整的光场。
187.在第一实施例中，包含实时或离线处理器以从可用能量源位置信息执行深度估计的系统是可能的。此系统可以在能量引导装置处作为机顶盒或离线过程执行。可以利用时间信息和/或现有技术纹理合成或此项技术中已知的其它技术来执行对缺失体积数据的额外计算。
188.在第二实施例中，深度信息被提供为图像流，并且可以嵌入到图像格式中。类似地，可以对缺失体积数据执行额外计算。
189.在第三实施例中，利用艺术家或过程来产生缺失的环境信息，其可包含以下过程：隔离或分割场景中的每个对象，手动、半自动或自动地随时间跟踪所述对象，利用视差空间、能量引导装置空间、光学空间或世界坐标将对象放置到空间中，通过此项技术中已知的用于重建背景、透明度、边缘细节等的视觉效果处理来合成背景和前景缺失信息，以再现环境。为避免疑义，所实施的过程可以是用于重建这些环境的所列出实施例中任何一个、零个或全部。所产生的环境信息应该包含尽可能多的由能量引导装置视角确定的缺失信息，并且艺术家可以知道这些视角以确保适当地产生适当的遮挡和视图相关信息。
190.另外，可以产生场景中的每个对象的表面模型，作为部分模型或作为完全构建的模型，并且将来自图像数据的纹理投影到几何体的表面上以提供随后的逆射线跟踪的适当形状。
191.另外，可以计算或手动引入材料性质以确保可以利用虚拟照明源引入视图相关照明，以进一步提高4d光场的再生精度。
192.此外，可以引入cg或合成内容的添加以增强现有的经转换材料。还可以并入额外体积数据。也可以引入n+x内容含量的相互混合，以在cg、2d、立体、多视图和/或4d媒体之间提供无缝混合成为单个复合物。
193.所得2d到光场转换内容可以保留为几何场景文件，包含几何、纹理、光照、材料等，
如cg场景本身所示；渲染为具有n+d深度通道的n+x视图；渲染为4d或5d(4d+深度)光场；深度图像，其格式允许在有或没有每x-y坐标z个样本的堆叠的限制的情况下每x-y能量源位置坐标有多个rgbaz样本；或者提供为n+x视图加上n+y德尔塔通道数据集，其中深度通道提供较低带宽的方法，用于仅渲染确定的能量引导装置视场所需的一定量的能量源位置数据。可以提供工具以允许产生这些相应输出格式中的全部、一些或一个。
194.立体和多视图到光场转换
195.利用单视图内容的上述过程可以应用于立体和多视图材料。深度信息的估计是通过以下各项获得：来自运动分析来以及来自立体、多视图和/或视差分析的深度、所提供的深度通道或通过手动或渲染手段提供的深度通道，或手动创建视差、深度、遮挡、几何和/或任何其它称为视觉效果内容创建标准的方法，以通过手动和自动过程表示整个环境并利用适当的数据以进一步保留所提供的成像材料中可用的视图相关内容来再现整个光场。
196.在一实施例中，在步骤102中接收的内容数据可以包括三维(3d)空间中的数据点，并且确定位置可以包括调整3d空间中的数据点。
197.在一实施例中，调整3d空间中的数据点可以包含将深度图应用于3d空间中的数据点、添加新数据点、重建被遮挡的数据点或其任何组合。
198.此方法的显著优点在于，立体视差估计的准确性远远大于单独的运动视差或其它类似的2d估计过程。此外，由于一些视图相关条件的可用性，所得转换后的4d光场的图像质量更准确，所述视图相关条件包含但不限于照明、透明度、材料、遮挡等。
199.保持多视图图像数据的显式角依赖性的能力依赖于相对于中心视点相机或一些其它所限定的中心点计算表面法线的能力。利用已知的这些法线和视差或深度信息，可以基于能量引导装置视角在视点之间进行内插，然后将能量引导装置视角直接应用于逆射线跟踪，或者在逆射线跟踪期间合成为纹理合成的一部分。
200.为简洁起见，所有先前公开的用于重建2d到光场图像的方法可以应用于立体或多视图数据集的重建。
201.从4d或5d光场产生nxn rgb图像
202.通过利用4d或5d光场，可以产生nxn或高达n
×
n数目的任何值的rgb多视图图像。通过考虑每个波导下的每个左下坐标，假设正方形网格、0,0位置和右上位置作为n,n位置来适应此过程。网格仅是示例性的，并且可以利用任何其它映射方法。对于每个0,0到n,n位置，可以基于所利用的捕获系统从具有尽可能宽的景深的光场形成全分辨率图像，其中阵列中的每个波导被认为是单个能量源位置，并且每个波导下的每个坐标是分别用于从0,0到n,n的每个完整图像的较大能量源位置阵列的单个能量源位置。这也可以针对深度信息的5d光场重复。以这种方式，可以在4d或5d光场之间容易地转译为出于各种分布原因而需要的数据集的任何子集，以包含2d、立体、多视图、点云、cg场景文件或任何其它可以从4d或5d光场导出的所需数据组合。对于非规则或正方形打包的4d或5d结构，需要进一步内插以将能量源位置与常规网格对准，或者可以实施能量源位置与非正方形打包结构之间的线性映射，其中所得图像可能不呈现为直线式并且还可能包含能量源位置假影。
203.图11例示了通过分别根据能量波导元件位置和能量位置坐标从每个能量波导元件1104的下面布置能量位置1102而将4d或5d光场转换成多个视点的方法。这提供了无缝地在光场和较小数据集之间无缝传递的能力。
204.n+x rgb和n+y深度数据集
205.提供最高质量和数据传输尺寸的平衡的理想数据集格式包含使用n+x rgb和n+y深度+向量化通道，其中n+x rgb信息包含可表示特定分辨率和格式的n个rgb图像，以及可以表示rgb数据的不同分辨率和格式以包含较低分辨率、德尔塔信息等的x；以及n+y深度+向量化通道，其包含可以表示特定分辨率和格式的n深度+向量化通道，以及可以表示深度+向量数据的不同分辨率和格式以包含较低分辨率、德尔塔信息等的y。
206.n+x视图的数目可以在规则网格上产生，从具有或不具有中心视图的中心点周围的半径产生，从具有或不具有中心视图的中心点周围的多个半径产生，或者用于确定视图的数量和相关的打包或透视位置的映射的任何方法。透视图的配置可以包含在文件的元数据中，或者所提供的深度+向量化通道可以包含到世界坐标的直接映射，使得成像数据与xyz空间中的相同坐标对齐而没有其它必要的元数据。
207.4d盘反转和能量引导装置兼容性处理
208.对于使用全光或光场4d或5d系统捕获的任何数据，包含可能通过4d或5d光场系统的光学模拟使用虚拟装备捕获的数据，所得蝇眼透视图包含表示光场的uv向量的盘。然而，这些坐标假设能量聚焦元件可能不存在于能量引导装置中。在所提出的能量引导装置解决方案中，聚焦元件可以是检视者的眼睛，并且捕获系统与所检视能量引导装置之间的映射以及原始捕获方法与所检视能量引导装置之间的映射不再正确。
209.与捕获系统相比，为了反转这一点并校正系统中额外缺失的能量引导元件，可以独立地个别翻转每个盘，其中每个(u,v)坐标的x-y位置分别基于每个波导的中心点重新定位。以这种方式，由于主波导而形成的图像的反转被反转，并且允许光场能量引导装置以正确的x-y-u-v定向投射射线。
210.其进一步的实施例可以实施硬件修改，其中利用能量波导阵列提供每个呈现的能量波导能量源位置的直接反转。对于光场能量引导装置，这有利于在潜在捕获系统和能量引导装置之间具有直接映射。这可以进一步有利于包括hmd系统或体积不透明能量引导装置的实施例，使得通过消除为了准确的x-y-u-v坐标而中继额外时间的必要性，可以消除整个阵列中的一组能量波导。
211.此外，并非所有光场都相同。它们可以用不同的na、fov、n值、光学配方等捕获。可以理解输入光场数据的内在函数和外在函数并将其转换为能量引导装置特性。这可以通过本公开中包含的实施例来执行，以用于全息和光场数据的通用参数化。
212.通过能量引导系统的逆能量跟踪和感觉性质向量化的全息感觉数据传送的通用参数化
213.从能量引导表面通过表面的全光4d函数从包括能量位置的第一平面提供两个空间坐标x
l
,y
l
，且沿着包括波导参数u
l
,v
l
的第二平面引导通过第二坐标，所述波导参数限定能量传播路径f
l
(x
l
,y
l
,u
l
,v
l
)的向量。在考虑多个能量引导表面的情况下，全光5d函数从包括一个或多个能量位置的第一坐标提供三个空间坐标x
l
,y
l
,z
l
，且沿着包括波导参数u
l
,v
l
的平面引导通过第二坐标，所述波导参数限定能量传播路径f
l
(x
l
,y
l
,z
l
,u
l
,v
l
)的向量。对于4d或5d中的每一个，时间和颜色f
l
(λ
l
,t
l
)的额外变量可以被考虑并假定为包含应用所必需的任何全光函数，即使为了函数和讨论的简单起见未明确指出。为避免疑义，对能量引导表面的引用仅用于示例性目的，并且可包括用于5d坐标的定位的空间中的任何额外点、位
置、方向或平面，并且统称为能量“引导表面”。
214.沿着能量传播路径的第一向量，包括能量会聚的多个交叉点可以与额外能量传播路径一起出现。在此交叉点处，3d点或深度参数在具有4d或5d函数的所述多个能量传播路径当中的位置x
l
,y
l
,z
l
处形成，其中所述多个能量传播路径当中的3d会聚点x
l
,y
l
,z
l
，其中对于包含在一个或多个能量引导表面内的每一x
l
,y
l
或x
l
,y
l
,z
l
坐标，在第一坐标和会聚3d点之间仅形成单个u
l
,v
l
传播路径。4d函数fz(x
l
,y
l
,u
l
,v
l
)或5d函数fz(x
l
,y
l
,z
l
,u
l
,v
l
)共同限定所有4dx
l
,y
l
或5dx
l
,y
l
,z
l
坐标以及对于x
l
,y
l
,z
l
处每个会聚点所存在的相称u
l
,v
l
传播路径。
215.在从沿着通过能量引导表面x
l
,y
l
,z
l
的多个能量传播路径的能量会聚产生的第一5d坐标处，所述坐标可以表示更大的物体、体积、粒子或局部能量参数内的点，其中在接近第一5d坐标的额外坐标处会聚能量可以展示环境或全息数据集内的感觉能量的额外向量化性质。这些向量化性质可以包括针对每个5d坐标、针对4d数据集内的每个能量位置坐标、针对4d或5d数据集中的任一个内的区域，或者包括能量表面的其它坐标子集的信息。
216.在一实施例中，公开用于光栅和向量2d、3d、4d和5d数据集的感觉系统响应的视觉、听觉、体感、味觉、嗅觉、前庭或其它所需能量的传播的4d和5d全息感觉能量性质的通用参数化，其中，参考4d能量引导表面的第二平面的第二坐标，2d数据可以包括单个角样本，3d数据可以包括单个维度中的两个或两个以上角样本，4d数据可以包括二维中的多个角样本，或者5d数据可以包括三个或三个以上维度中的多个角样本。
217.所接收的样本数据的实施例可包括以下任何一个：
218.1).2d或单视场、平面、点云、uv映射几何、内在几何、深层图像、分层图像、cad文件(内在)、单点取样、单相机捕获、单投影仪投影、体积(具有体积中的向量的单视场单个取样点)、3自由度源(dof；具有围绕单个点的单视场x,y,z旋转的光栅)、非光场6dof源(光栅+来自单视场样本的向量)、体积能量引导装置(体积中的单视场样本)、pepper's ghost(单点投影)源、2d ar hmd源(单视场单或多焦点平面；分层单视场)、2d vr hmd源(单视场单或多焦点平面；分层单视场)，或二维光栅或向量信息的任何其它表示；
219.2).3d或立体、三视(单基线)、多视图(1d)、1d多样本、1d多视角、水平或垂直唯一视差、1d投影阵列、两点取样、1d点取样、水平或垂直阵列、子弹时间、3个dof源(光栅；围绕单个点的立体x,y,z旋转)、3个dof源(围绕单个点的立体x,y,z旋转内的3d光栅)、非光场6dof源(3d光栅+来自立体样本的向量)、1d体积能量引导装置的源(包含1d视差的样本)、自动立体数据源、水平多视图能量引导装置的源、3d ar hmd的源(立体单或多焦点平面；分层立体)、3d vr hmd的源(立体单或多焦点平面；分层立体)，或三维光栅或向量信息的任何其它表示；
220.3).4d或全光(5d)、多视场、积分图像、光场(4d)、全息(4d)、2d多视图、2d多样本、2d多视角、2d视差、水平和垂直视差、2d投影阵列、2d点取样、运动捕获阶段(沿表面)、平面阵列、见证相机阵列、渲染或射线跟踪几何表示(4d表示)、外在几何(4d表示)、光场6dof源(平面光场样本中的4d光栅)、自由视点6dof源(4d光栅+来自4d光场样本的向量)、4d体积能量引导装置源(包含2d视差的样本)、光场能量引导装置的源(4d取样)、光场hmd源(近场4d取样)、全息能量引导装置的源(4d取样)，或四维光栅或向量信息的任何其它表示；
221.4).5d或全光+深度、光场+深度、全息(5d取样，4d+深度)、任意多视图(沿所有x、y
和z轴)、多样本(沿所有xyz)、多视角(沿所有xyz)、体积视差(沿所有xyz)、投影阵列(沿所有xyz)、点取样(沿所有xyz)、运动捕捉阶段(沿所有xyz)、见证相机阵列(任意xyz配置)、渲染或射线跟踪几何表示(5d表示)、立方体或体积渲染(沿所有xyz)、外在几何(5d表示)、光场6dof源(体积光场样本内的5d光栅)、自由视点6dof源(5d光栅+来自5d光场样本的向量)、5d体积能量引导装置源(多平面4d取样)、5d光场能量引导装置源(5d取样，4d+多平面)、5d光场hmd源(近场5d取样，4d+多平面)、全息能量引导装置的源(5d取样，4d+多平面)，或者五维光栅或向量信息的任何其它表示。
222.在每个第二坐标处，所提供的数据可以包括光栅或向量样本的子集或超集，并且其中样本可以表示并包含额外的向量化信息，以能够通过光栅或向量样本的子集或超集的解释或处理变换成增加的取样密度。
223.对于2d、3d、4d或5d提供的数据集中的每一个，通过向量化信息、手动识别、计算机视觉分析、自动处理或其它手段来转换信息，以将提供的样本从原始数据集变换为5d坐标系。对于2d、3d、4d或5d提供的数据集中的每一个，所述信息可以参考4d能量引导表面的第二平面的第二坐标包括多个样本或样本层以及关于每个提供的数据集的原始角取样分量的额外向量化性质，或者可以包括用于2d、3d、4d或5d额外提供的数据集中的任何一个的贡献样本的组合。
224.每个提供的样本包括每个所需坐标的内在能量，其中内在能量可以包含额外的外在能量属性，其中内在能量表示在没有其它外部样本、性质或环境条件的情况下在给定的5d坐标处的值。在电磁频谱中，这可以被称为反照率，作为对应于反射所有入射辐射的白体的反射率的无量纲测量值，但是明确地扩展到每个期望的感觉能量，其中无量纲值的范围与指定的感觉能量相称。在视觉感觉系统中，此范围约为400nm至700um，而在听觉感觉系统中，此范围约为20hz至20khz。
225.在过去的几十年中，通过电子手段人工地利用对检测到的感觉、香气和味道的复杂模式辨识，实现了人类感官再现的巨大技术改进。对于可能存在于电磁频谱之外的其它系统，可以基于感测到的敏锐度响应以相同的方式表征这些无量纲值。尽管全息感觉能量技术是新出现的，但是此实施例中公开的内容包括用于在虚拟环境中刺激所有人类感官的系统、方法和格式，以清楚地表达用于各种感觉参数的通用构造，从而提供适当的数据处理、传输、存储、向量化、所构造虚拟环境的完全沉浸所需的任何感觉能量参数或装置之间的转译，且在未来的应用中将公开用于全息感觉技术的能量传播的实施例。另外，本公开的意图是使其它模拟装置，包含例如经典的“气味-视觉”之类的新颖性或例如feelreal嗅觉vr耳机之类的现代版本，能够利用在此处数据集的向量化内提供的参数化值。
226.在一实施例中，可以基于限定灵敏度的组件来限定体感系统，包含用于纹理的机械感受器，其中皮肤中的压力灵敏度范围可以在50hz至300hz之间归一化；热感受器，其中皮肤中的温度灵敏度范围可在0
°
c至50
°
c(尽管此范围可以是宽得多的范围，上限和下限由温度的极限限定)之间归一化；或限定材料量度的粘弹性行为的范围(粘性和弹性特性两者)的表面变形，此时随时间经历应力和应变之间的变形，这提供多种物理特性，包含时间、应变、模量等变量以及其它动力学特性，并且为了本公开的目的，将其简化为无量纲归一化尺度，值0用于例如花岗岩等不可移动的固体，且1用于例如水等低粘度液体。所属领域的技术人员将理解，所提供的实际向量将包括用以适当地限定材料的粘弹性且仅为了示例性目
的而归一化的必要物理特性。
227.最后，包含味觉和嗅觉装置的人造电子感测的现有技术进步证明了进一步向量化为holodeck设计参数公开的感觉参数的可行路径，以及通过如本文描述的全息波导装置实现人工味道和气味的电子再现。人工电子味觉和嗅觉受体通过新兴的纳米装置取得了相当大的进步，其中使用酶生物传感器的基于频率的人工味觉受体通过编码和转换为基于频率的脉冲来对化学刺激的强度进行取样，以重复且准确地将味觉检测为通过模式辨别系统取样的化学成分的频率，从而产生构成人类品尝力的味觉。据信，所述技术可以扩展到所有类型的可检测的味道，并且人工嗅觉系统的类似进步已经证明了使用针对鼻腔的弱电脉冲来刺激气味受体的数字接口，正在进行研究以通过电信号的变化进一步参数化特定嗅觉响应的频率内包含的模式。
228.利用为任意产生频率和复杂的电子模式建立的路径来表示嗅觉、味觉和其它感觉系统，在一个实施例中，可以对味道的敏锐度响应进行向量化以包括沿着从0到1的尺度针对每个电子控制参数的归一化尺度，来表示最小和最大的味觉响应，使普通人的2,000-8,000个味蕾饱和，可能包括但不限于酸味、咸味、苦味(辣味)、甜味和浓郁味(鲜味)的向量，其中向量以及向量化信号的空间坐标可以告知产生复杂的嗅觉实施方案。
229.在另一实施例中，可以进一步对气味的敏锐度响应进行向量化以包括沿着从0到1的尺度针对每个电子控制参数的归一化尺度，来表示最小和最大的味觉响应，以针对每个高度复杂的嗅觉空间使普通人的10cm2嗅上皮饱和，可能包括但不限于芳香、果味、柑橘、木质(树脂)、化学、甜味、薄荷(薄荷油)、烧烤(坚果)、辛辣和腐朽的向量，其中向量和向量化信号的空间坐标可以告知产生复杂的嗅觉实施方案。
230.这些向量中的每一个可以提供表示味道、气味或其它感觉域的这些模式的归一化值，转换为所提供的向量化值的适当应用所需的波、振幅、量值或其它属性。虽然嗅觉和味觉是感觉系统中最被贬低的感觉中的两个，并且具有用于向量化复杂合并的参数化值，但是在一实施例中还可以提供基于用户的对任何这种感觉能量的灵敏度的交互控制，从而提供视觉、听觉、躯体感觉、味觉、嗅觉、前庭或其它所需感觉系统响应的个性化定制。
231.在一实施例中，样本的每个所表示的感觉反照率能量值可以另外包括烘焙到单个样本值中的外在能量属性，其表示各个其它外部样本、性质或环境条件的每个所提供样本的相加结果。在此配置中，化合物样本值可以或可以不在基于物理的或模拟环境中展现来自其它样本的其它能量的潜在属性。传输参数化和重建的全息数据集的最有效和纯粹的方法是基于提供简化和较低带宽频率信息的单一内在样本信息，但这并不总是可以在完全合成的环境之外接收，特别是对于基于物理的成像或声学系统。在任何真实世界的环境中，对所得样本信息总是存在一定量的外在贡献。例如light stage之类的某些系统或三此项技术中已知的其它系统有助于估计反射率、形状、纹理和运动捕获，其利用某种形式的结构化照明和一个或多个成像装置，提供对反照率、深度信息、表面法线和双向散射分布表面性质的直接或间接分析。
232.双向散射分布函数(bsdf)是双向透射分布函数(btdf)、双向纹理函数(btf)和双向反射分布函数(brdf)的广义超集，它们通常由广义函数fr(wi,wr)表示，共同充当用于参数化和识别此项技术中已知的计算机图形和视觉算法中的表面性质的模型。所述函数描述了在给定能量传播路径的传入入射方向wi和传出反射或透射方向wr的情况下，可见光如何
被反射、透射或以其它方式与表面交互，其中表面法线垂直于物体表面的切线，且所述函数描述沿着传出路径wr离开的反射辐射与沿着传入路径wi入射在表面上的辐照度的比率，其中每个wi,wr可包括4d函数，以限定传入光路径和离开光路径的每一个的参数化方位角和天顶角。
233.所述函数可针对撞击表面的能量λi的第一位置xi清楚地表达，并在材料性质在内部散射能量之后退出到能量λr的第二位置xr，以考虑可见波长效果，如虹彩、发光、表面散射、非局部散射效应、镜面反射、阴影、掩蔽、互反射等，所得输出能量基于表面的材料性质、物体、体积或点表面上的输入能量和位置，以及输出能量和位置。
234.因此，描述能量如何在撞击表面的任何两个能量射线之间传送以包含波长或频率相依性以及空间上变化的材料性质或表面的一般化性质可以表示为10d函数，并且对于数据集内每一或任何可用或所提供的样本指定为fr(λi,xi,wi,λr,xr,wr)，以考虑输入能量、向量化表面轮廓的影响，以及在给定函数fr的一般化的情况下来自任何能量域的输出的反射、折射、镜面反射、透射、散射、漫射或其它材料性质。
235.现在考虑能量引导表面，全光4d函数从包括能量位置的第一平面提供两个空间坐标x
l
,y
l
，且沿着包括波导参数u
l
,v
l
的第二平面引导通过第二坐标，所述波导参数限定能量传播路径f
l
(x
l
,y
l
,u
l
,v
l
)的向量。在考虑多个能量引导表面的情况下，全光5d函数从包括一个或多个能量位置的第一坐标提供三个空间坐标x
l
,y
l
,z
l
，且沿着包括波导参数u
l
,v
l
的平面引导通过第二坐标，所述波导参数限定能量传播路径f
l
(x
l
,y
l
,z
l
,u
l
,v
l
)的向量。对于4d或5d中的每一个，时间和颜色f
l
(λ
l
,t
l
)的额外变量可以被考虑并假定为包含应用所必需的任何全光函数，即使为了函数和讨论的简单起见未明确指出。
236.沿着能量传播路径的第一向量，包括能量会聚的多个交叉点可以与额外能量传播路径一起出现。在此交叉点，3d点或深度参数在具有4d或5d全光函数的所述多个能量传播路径当中的位置x
l
,y
l
,z
l
处形成，其中所述3d会聚x
l
,y
l
,z
l
点在所述多个能量传播路径当中，其中对于包含在能量引导4d表面或5d表面内的每个x
l
,y
l
或x
l
,y
l
,z
l
坐标，在第一坐标和会聚3d点之间仅形成单个u
l
,v
l
传播路径角。4d函数fz(x
l
,y
l
,u
l
,v
l
)或5d函数fz(x
l
,y
l
,z
l
,u
l
,v
l
)共同限定所有4dx
l
,y
l
或5dx
l
,y
l
,z
l
坐标以及x
l
,y
l
,z
l
处每个会聚点所存在的相称u
l
,v
l
传播路径。
237.在会聚坐标x
l
,y
l
,z
l
处，形成表面，并且表面可以包括点、体积、物体或包括会聚能量传播路径的3d位置的其它实施例。对于每个表面位置所提供的样本可以包括一个或多个表面性质、向量、材料、表征，或其它识别性质vi来表征或以其它方式处理所得能量，以及一个或多个输入能量源在接近表面位置处撞击给定点，其中反射函数现在包括用于表面的各种性质的一般化向量，并表示为11d通用对象参数化函数fr(λi,xi,wi,λr,xr,wr,vi)。
238.11d通用全息参数化函数fr(λi,xi,wi,λr,xr,wr,vi)限定给定环境和向量化对象性质的所得值，且4d函数f
l
(x
l
,y
l
,u
l
,v
l
)限定来自能量引导装置表面的能量传播路径，因此可以进一步一般化为15d通用全息参数化函数fr(λi,xi,wi,λr,xr,wr(x
l
,y
l
,u
l
,v
l
),vi)，其中传输方向wr限定且等于u
l
,v
l
的传播路径，从而限定空间坐标x
l
,y
l
，且对于每个传输方向wr可以仅有一个f
l
(x
l
,y
l
,u
l
,v
l
)值集合，以满足wr＝u
l
,v
l
。除了与所公开的4d和5d全息感觉能量性质的通用参数化相关联的渲染要求之外，所属领域的技术人员将理解各种变换和数学构造。
239.利用完整的15d函数描述所有感觉能量性质的向量化以与由空间中的会聚点形成的表面重合，从根本上消除了多个数量级的所需数据，为实现真正全息数据集的传输提供了可行的途径。
240.向量化性质试图为可以被合成、编程、捕获或以计算方法评估的性质的每个感觉域提供准确的物理特性，其中vi可以规定一般系统元数据或者每个或任何感觉能量域的所提供数据集内的给定样本的对象的每一表面、体积或3d坐标x
l
,y
l
,z
l
向量化性质的属性，包括：
241.1.)系统元数据可以为每个样本的表面性质提供任何感觉能量特定属性或系统范围参考，包含法线、深度信息、环境性质、给定3d坐标的多个角样本、程序纹理、几何、点云、深度图像数据、静态帧、时间帧、视频数据、表面id、表面通过、坐标图、虚拟相机坐标、虚拟照明和可见能量信息、环境地图、视觉感觉样本信息场之外的场景信息、曲线、顶点、时间信息、联网数据、数据库、对象辨识、能量装置、外部数据馈送、系统修改和交互传感器、系统状态、语音辨识、嗅觉检测、听觉检测、面部辨识、体感辨识、味觉辨识、ui、ux、用户简档、流和运动向量、层、区域、透明度、片段、动画、序列信息、程序信息、位移图，或为每个样本的适当处理提供足够数据所必需的任何其它场景数据；
242.2.)视觉感觉能量可以提供表面性质来限定以下各项的适当渲染：可见或不可见电磁能量、虹彩、发光、次表面散射、非局部散射效应、镜面反射、阴影、吸收、透射、掩蔽、互反射、反照率、透明度、物理学特性，动力学特性、反射、折射、衍射、光学效应、大气效应、频率、调制、表面轮廓、纹理、位移图、用以特定地与其它感觉能量相关并基于预先设定的能量作出响应(例如声音的振动改变反射性质或触觉材料变形导致表面变形)的物理学和动力学特性、层、区域、透明度、片段、曲线、动画、序列信息、程序信息、材料尺寸、环境条件、空间动力学，或者表面、环境、空间、物体、点、体积等的其它相关材料性质；
243.3.)听觉感觉能量：与局部声场的放置、量值、振幅、质量、材料传播参数、吸光度、透射率、材料性质相关的向量，告知声反射、扩散、透射、扩增、掩蔽、散射、局部化、频率相依或调制、音高、音调、粘度、平滑度、纹理、模数、确定声波在物体、表面、介质或其它方面的传播的任何其它参数、用以特定地与其它感觉能量相关并基于预先设定的能量作出响应(例如，温度改变材料的声音)的物理学和动力学特性、层、区域、透明度、片段、曲线、动画、序列信息、程序信息、材料尺寸、环境条件、空间动力学，或者表面、环境、空间、物体、点、体积等的其它相关材料性质
244.4.)与纹理、压力、温度感受器、温度、表面变形性参数的机械感受器相关的体感能量向量以及限定材料量度的粘弹性行为范围的向量(粘性和弹性特性两者)，此时随时间经历应力和应变之间的变形，这提供多种物理学特性，包含时间、应变、模量等变量、其它动力学特性、层、区域、透明度、片段、曲线、动画、序列信息、程序信息、材料尺寸、环境条件、空间动力学，或者表面、环境、空间、物体、点、体积或其它体感参数的其它相关材料性质；
245.5.)芳香、果味、柑橘、木质(树脂)、化学、甜味、薄荷(薄荷油)、烧烤(坚果)、刺激和腐烂的味觉感觉能量向量，其中向量和向量化信号的空间坐标可以告知产生复杂的嗅觉实施方案，并进一步提供持续时间、量值、频率、长度、时间、半径、调制、层、区域、透明度、片段、曲线、动画、序列信息、程序信息、材料尺寸、环境条件、空间动力学，或者表面、环境、空间、物体、点、体积或其它味觉感觉参数的其它相关材料性质；
246.6.)酸味、咸味、苦味(辣味)、甜味和浓郁味(鲜味)的嗅觉感觉能量向量，其中向量和向量化信号的空间坐标可以告知产生复杂的嗅觉实施方案，并进一步提供持续时间、量值、频率、长度、时间、半径、调制、层、区域、透明度、片段、曲线、动画、序列信息、程序信息、材料尺寸、环境条件、空间动力学，或者表面、环境、空间、物体、点、体积或其它嗅觉参数的其它相关材料性质；
247.7.)或基于来自任何其它感觉样本数据集的物理、合成、传输或计算相依性的其它相关感觉动力学性质、根据需要、设计或要求的感觉系统向量，以及额外感觉性质，其中特定特性的参数化有益于一般化全息构造数据的重建、存储、处理或传输。
248.所接收数据集包括具有单个角样本的2d数据、具有单个维度中的两个或两个以上角样本的3d数据、具有二个维度中的多个角样本的4d数据，或者具有三个或三个以上维度中的多个角样本的5d数据。
249.对于所有所提供的源材料，每种源材料可以经历额外的过程以适当地准备全息数据集的有效向量化。对于任何所提供的能量引导表面具有较低空间或角分辨率的源材料，可能需要变换过程以便将原始源精确地转换为4d或5d数据集。
250.为了适当的准备，在一实施例中，所提供的2d或3d源材料包括来自标准成像系统的摄影捕获。在此图像序列内是光栅反射、折射、透明元件和材料性质与基于物理的照明交互的其它类似实例。
251.如果通过简单地识别具有已经光栅化材料性质的表面的表面id来准备内容，则有效数据可能足以会聚到4d坐标系，但是，施加到这些表面的任何额外渲染将展现摄影以及参数化合成渲染反射性质两者的物理特性的双重图像。用于有效全息传输的理想源数据集包括样本源信息的反照率表示，以及每个指定能量域的向量化材料性质，其中元数据形成反照率多视图样本的基于对象的体积取样，并且其中所有材料性质可以基于指定的向量化表面性质提供精确的表面识别和渲染以及准确定位或投影其它感觉能量。
252.在一实施例中，提供手动、半自动、计算机视觉或自动化过程以利用算法或手动评估源样本数据集内的内容，并且其中执行手动或算法分析，由此执行此项技术中已知的分段和其它对象隔离方法以识别包含不期望的物理光栅化效果的区域。在一实施例中，在背景前拍摄人物，其中人物的材料性质包含来自环境的反射，并且背景物体被拍摄的人物遮挡。在将这些区域识别为不合需要之后，可以利用一个过程来1)隔离所讨论的对象；2)将所有对象要素划分为核心分量以考虑遮挡、透明度、边缘或其它要素；3)通过图像分析、时间分析、能量分析，在促进另外捕获有关场景、物体和/或环境的信息的机器学习、计算机视觉、额外硬件和能量装置的情况下，或通过完全手动的方式，提供对象要素使得任何应具有材料性质的表面具有通过计算机视觉、算法、处理器或手动视觉效果去除的任何这种烘焙材料性质，其中手动过程在此项技术中通常已知用于执行电线去除、油漆固定、清洁板、图像恢复、阿尔法遮罩创建、遮挡填充、对象再创建、图像投影、运动跟踪、相机跟踪、旋转镜、光流等，以便在没有外在材料性质的情况下再生内在材料性质，因此，准备内容用于所述数据集的最有效传输和传播；4)上述的额外过程涉及手动或计算机辅助识别每个所需样本的深度或3d坐标值；以及5)此实施例中进一步包括相关联材料性质的识别，每个性质表示材料的点、数据区域、表面、对象或其它表示，使得数据可以容易地在能量引导装置的显示驱动程序内或能够编码和解码参数化数据集的任何额外系统内进一步渲染。
253.在一实施例中，上述数据集包括用反照率视觉能量样本制备的3d多视图样本，每个样本具有多层rgba信息，向量化材料性质的集合，以将每个分段材料与表面id和表面参数系列相关联，在去除外在图像数据之前紧密地重建原始源数据集，并且其中声学数据集被提供有与视觉能量系统的材料性质相关联的向量化材料性质以及多个声音通道，每一声音通道具有经识别频率、调制、空间放置和其它声音定位性质，并且其中为视觉能量数据集内包含的表面的子集提供体感感觉能量数据集，以另外包括粘弹性和温度向量化材料性质，两者都与其它向量化数据集相关。
254.从任何所提供的数据集，评估来自视觉能量数据集的每个所提供的样本相对于能量引导装置表面的相对深度位置，并且其中将任何视觉能量样本的每个样本放置到3d坐标系中，并且其中每个所提供的样本的能量传播路径长度是相对于使每个3d坐标与多个共存的会聚能量传播路径相关的函数来评估的，所述多个共存的会聚能量传播路径在4d或5d全光函数内的多个能量传播路径当中的位置x
l
,y
l
,z
l
处与第一3d点交叉，其中对于能量引导4d表面或5d表面内包含的每个x
l
,y
l
或x
l
,y
l
,z
l
坐标，在第一坐标和会聚3d点之间仅形成单个u
l
,v
l
传播路径角。4d函数fz(x
l
,y
l
,u
l
,v
l
)或5d函数fz(x
l
,y
l
,z
l
,u
l
,v
l
)共同限定能量引导装置内包含的所有4dx
l
,y
l
或5dx
l
,y
l
,z
l
坐标，以及x
l
,y
l
,z
l
处每个会聚点所存在的相称u
l
,v
l
传播路径，且其中每个呈现或可用的4dx
l
,y
l
或5dx
l
,y
l
,z
l
空间坐标的样本总数在执行此分析过程之后是已知的，并且其中在位置x
l
,y
l
,z
l
处的每个3d点到4d或5d坐标位置之间的总能量传播路径长度是已知的，并且其中基于每个4d或5d坐标的可用样本总数的加权分布以及从可用的多个3d坐标数据到取样的3d坐标值的最小路径长度提供来自任意数据集的4d或5d光场的完整取样。
255.作为上文的另一实施例，在1)视觉、声学、体感和任何其它所提供的能量样本中的任何一个的每个样本2)基于所提供的数据集、额外处理或额外向量化性质放置到3d坐标系中之后，且在执行坐标分析之前；3)评估15d通用全息参数化函数fr(λi,xi,wi,λr,xr,wr(x
l
,y
l
,u
l
,v
l
),vi)，其中4)提供额外已知环境场景、几何、元数据等，每个都具有独立的向量化材料性质；5)提供虚拟照明信息，并评估额外感觉能量元数据性质，以确定可能改变渲染功能的性质之间的任何潜在干扰；6)15d参数化函数评估每个提供的3d坐标和相称的向量化材料性质；7)通过在线、离线、实时、处理器、asic、fpga、云或其它形式的渲染过程执行渲染过程，以在给定任意提供的数据集的情况下产生新的多个角变化的材料性质，并且其中8)渲染过程特定于每个传输方向wr，限定并等于每个传播路径u
l
,v
l
，从而限定空间坐标x
l
,y
l
，并且对于每个传输方向wr，可能只有一个f
l
(x
l
,y
l
,u
l
,v
l
)值集合满足wr＝u
l
,v
l
，并且其中9)基于渲染结果和所得新的角变化材料性质，对于包括每个所提供样本的能量传播路径长度的4d或5d坐标中的每一个，相对于使每个3d坐标与多个共存的会聚能量传播路径相关的函数进行评估，所述多个共存的会聚能量传播路径在4d或5d全光函数内的所述多个能量传播路径当中的位置x
l
,y
l
,z
l
处与第一3d点相交，其中对于能量引导4d表面或5d表面中包含的每个x
l
,y
l
或x
l
,y
l
,z
l
坐标，在第一坐标和会聚3d点之间仅形成单个u
l
,v
l
传播路径角。4d函数fz(x
l
,y
l
,u
l
,v
l
)或5d函数fz(x
l
,y
l
,z
l
,u
l
,v
l
)共同限定能量引导装置中包含的所有4dx
l
,y
l
或5dx
l
,y
l
,z
l
坐标，以及x
l
,y
l
,z
l
处每个会聚点所存在的相称u
l
,v
l
传播路径，且其中每个呈现或可用的4dx
l
,y
l
或5dx
l
,y
l
,z
l
空间坐标的样本总数在执行此分析过程之后是已知的，并且其中在位置x
l
,y
l
,z
l
处的每个3d点到4d或5d坐标位置之间的总能量传播路径长度是已
知的，并且其中基于每个4d或5d坐标的可用样本总数的加权分布以及从可用的多个3d坐标数据到取样的3d坐标值的最小路径长度提供来自任意数据集的所有所提供感觉能量的4d或5d光场的完整取样。
256.上述系统的另一实施例，其中渲染另外考虑双向能量引导表面，使得表示真实世界环境的照明的所感测电磁能量或环境内某些声学频率的吸收可导致对渲染过程的动态或离线更新，或评估其它所感测交互式真实世界要素，并且其中调整照明和声学或其它源以适应环境条件的修改。
257.回到图8，鉴于以上公开的原理，在过程800的实施例中，所接收的内容数据可以进一步包括向量化材料性质数据，并且其中过程800进一步包括步骤830，其中内容数据的数字体积表示与向量化材料性质数据相关联；并且其中，在步骤804中，确定能量源位置值至少基于与内容数据的体积表示相关联的向量化材料性质数据。
258.参考图9和13，在一实施例中，向量化过程1300可以包含步骤1302和步骤1304，在步骤1302中接收第一内容数据，在步骤1304中识别内容数据中的表面915。在一实施例中，识别表面915可以包括在内容数据中使用分段数据。向量化过程1300可进一步包括步骤1306和步骤1308，在步骤1306中确定表面915的表面识别，在步骤1308中确定表面915的材料性质数据。在一实施例中，确定材料性质数据可以包括手动确定，或使用预定过程。在步骤1306和1308之后，向量化过程1300可进一步包括步骤1310，其中表面识别与表面915的材料性质数据相关联。向量化过程1300可进一步包括步骤1312，其中创建材料性质数据的向量。向量化过程1300可进一步包括步骤1314，其中基于所创建的向量产生向量化材料性质数据。
259.在一实施例中，过程1300可以可选地包含步骤1316，其中从第一内容数据中移除材料性质数据并由在步骤1314中产生的向量化材料性质数据替换。在一实施例中，在步骤1314中产生的向量化材料性质数据可以在如上所述的过程800中使用，以确定如上所述的本公开的能量引导装置的4d全光坐标。
260.可以使用本公开的任何处理系统来执行过程1300，包含处理系统1200。在一实施例中，可以在步骤1302中通过数据输入/输出接口1201接收内容数据，并且可以使用向量化引擎1204来执行向量化过程1300的步骤1304至1314。另外，在步骤1314中产生的向量化材料性质数据可以由感觉数据处理器1202和跟踪引擎1206使用以用于根据如上所述的过程800的步骤进行处理。步骤808和812可以由跟踪引擎执行以确定用于全息呈现的4d坐标。步骤810可以由感觉数据处理器1202执行。处理子系统的输出可以提供给压缩引擎1210，经压缩数据可以从压缩引擎1210存储在存储器中或者提供给数据输入输出接口1201，以便传输到本地或远程连接到系统1210的能量引导系统。数据也可以存储在存储器1208中，直到稍后被检索。
261.微元是光场全息图的一部分。可以渲染图微元
262.虽然上文已经描述了根据本文公开的原理的各种实施例，但是应该理解，它们仅以实例的方式呈现，而不是限制性的。因此，本发明的广度和范围不应受任何上述实例性实施例的限制，而应仅根据从本公开发布的权利要求书及其等效物来限定。此外，在所描述的实施例中提供了上述优点和特征，但是不应将这些所公开的权利要求的应用限制于实现任何或所有上述优点的过程和结构。
263.应当理解，在不脱离本公开的范围的情况下，可以在各种实施例中采用本公开的主要特征。所属领域的技术人员将认识到或能够仅仅使用常规的实验确定本文所描述的特定方法的许多等效物。这些等效物被认为是在本公开的范围内并且由权利要求书涵盖。
264.此外，本文中的章节标题是为了与37cfr 1.77下的建议保持一致或以其它方式提供组织线索。这些标题不应限制或表征可能从本公开发布的任何权利要求中阐述的发明。具体来说，并且作为实例，尽管标题指的是“技术领域”，但是此些权利要求不应受该标题下的语言的限制以描述所谓的技术领域。此外，“背景技术”章节中的技术描述不应被解释为承认技术是本公开中的任何发明的现有技术。“发明内容”也不被认为是在所发布的权利要求中阐述的发明的特征。此外，本公开中对单数形式的“发明”的任何引用不应用于论证在本公开中仅存在单个新颖点。可以根据从本公开发布的多个权利要求的限制来阐述多个发明，并且此些权利要求因此限定由其保护的发明及其等效物。在所有情况下，根据本公开内容，此些权利要求的范围应根据其自身的优点来考虑，但不应受本文所阐述的标题的约束。
265.当与权利要求书和/或说明书中的术语“包括”结合使用时，使用词语“一”或“一个”可以表示“一个”，但其也与“一个或多个”、“至少一个”和“一个或一个以上”的含义一致。权利要求书中术语“或”的使用用于表示“和/或”，除非明确指出仅指替代方案或替代方案是相互排斥的，但本公开支持仅指替代方案和“和/或”的定义。在整个本技术中，术语“约”用于表示值包含装置的误差的内在变化，使用所述方法来确定值，或研究对象之间存在的变化。一般而言，但是根据前面的讨论，这里通过例如“约”等近似词修饰的数值可以相对于所陈述值变化至少
±
1％、2％、3％、4％、5％、6％、7％、10％、12％或15％。
266.如在本说明书和权利要求书中所使用，词语“包括(comprising)”(和任何形式的包括，例如“包括(comprise)”和“包括(comprises)”)、“具有(having)”(和任何形式的具有(having)，例如“具有(have)”和“具有(has)”)、“包含(including)”(和任何形式的包含，例如“包含(includes)”和“包含(includes)”)或“含有(containing)”(和任何形式的含有，例如“含有(contains)”和“含有(contain)”)都是包含或开放式的，并且不排除额外未列举的元件或方法步骤。
267.例如“在
……
时”、“等效”、“在
……
期间”、“完成”等的比较、测量和定时的词应理解为表示“基本上在
……
时”、“基本上等效”、“基本上在
……
期间”、“基本上完成”等，其中“基本上”意味着这种比较、测量和定时对于实现隐含或明确陈述的期望结果是切实可行的。与例如“近”、“接近”和“邻近”的元件的相对位置相关的词应当意味着足够接近以对相应的系统元件交互具有实质性影响。近似的其它词语类似地指代当被如此修饰时被理解为不一定是绝对的或完美的但是将被所属领域的普通技术人员认为是足够接近的条件，以保证将所述条件指定为存在。描述内容可以变化的程度将取决于可以设置多大的变化，并且仍然使所属领域的普通技术人员认识到被修饰的特征仍然具有未修饰特征的所需特征和能力。
268.本文使用的术语“或其组合”是指该术语之前列出的项目的所有排列和组合。例如，“a、b、c或其组合”希望包含以下中的至少一个：a、b、c、ab、ac、bc或abc，并且如果顺序在特定上下文中是重要的，那么还包含ba、ca、cb、cba、bca、acb、bac或cab。继续此实例，明确地包含含有一个或多个项目或术语的重复的组合，例如bb、aaa、ab、bbc、aaabcccc、cbbaaa、cababb等。熟练的技术人员将理解，除非从上下文中另外显而易见，否则通常对任何组合中
的项目或术语的数目没有限制。
269.根据本公开，无需过度实验即可制造和执行本文公开和要求保护的所有组合物和/或方法。尽管已经根据优选实施例描述了本公开的组合物和方法，但是对于所属领域的技术人员显而易见的是，可以对组合物和/或方法以及方法的步骤或步骤序列应用变化，而不脱离本公开的概念、精神和范围。对于所属领域的技术人员显而易见的所有这些类似的替代和修改被认为是在由所附权利要求书限定的本公开的精神、范围和概念内。