全光系统中的视差的制作方法

全光系统中的视差的制作方法
【专利摘要】全光系统中的视差。光场成像系统捕获不同图像，其提供相互偏移子像素量的视图。这些视图可以组合以产生物体的更高分辨率的数字图像。
【专利说明】
全光系统中的视差
技术领域
[0001 ]本公开一般地设及光场成像系统。
【背景技术】
[0002] 光场相机可W同时收集物体的多个图像。然而，由于捕获图像的分辨率典型地由 微透镜阵列中的小透镜的数目而不是由传感器阵列中传感器的数目确定的事实，光场成像 系统的分辨率降低。因此，需要用于提高由光场成像系统捕获的图像的分辨率的方法。

【发明内容】

[0003] 通过提供一种方法W使用视差和其他光学参数发现物体距全光相机的距离，并且 使用距离和其他光学参数发现视差，本公开克服了现有技术的限制。
[0004] 在一个方面中，光场成像系统包括初级光学子系统、光场传感器模块和处理模块。 初级光学子系统形成物体的光学图像，所述光学图像位于所述初级光学子系统的像平面。 光场传感器模块包括次级成像阵列和传感器阵列。所述次级成像阵列将所述初级光学子系 统的光瞳成像到所述传感器阵列上，使得所述传感器阵列捕获所述物体的视图的阵列。所 述次级成像阵列不位于所述像平面。而是，所述次级成像阵列从所述像平面位移(例如，散 焦），使得捕获的视图展现子像素视差。影响子像素视差的一个或多个光学参数可调节，W 实现不同的分辨率增强值。处理模块使用一个或多个光学参数和具有子像素视差的视图的 第一阵列，确定分辨率增强值。
[0005] 其他方面包括设备、方法、计算机可读介质、系统、组件、应用、改进W及与W上的 任何相关的其他技术。
【附图说明】
[0006] 本公开实施例其他优点和特征，当结合附图时运些优点和特征从W下详细描述和 权利要求更加显而易见，附图中：
[0007] 图1A-1B是图示根据实施例的光场成像系统的图。
[000引图2A是图示根据实施例的光场成像系统中的视差的图。
[0009] 图2B是根据实施例的图2A的物体区域的放大率(magnif i Cat ion)。
[0010] 图3A-3B是图示根据实施例的光场成像系统中的视差的图。
[0011] 图4是根据实施例的处理模块的框图。
[0012] 图5是图示根据实施例的用于实现希望程度的分辨率增强的光场成像系统的主动 控制的框图。
[0013] 图6A-6E是图示根据实施例的使用用于分辨率增强的视差的不同方法的图。
[0014] 图7A是根据实施例的包括初级成像光学器件的光场成像系统的一部分的简化光 学图。
[001引图7B是根据实施例的包括用于dD〉df的情况的微成像阵列的光场成像系统的简化 光学图。
[0016] 图7C是根据实施例的包括用于dn<df的情况的微成像阵列的光场成像系统的简化 光学图。
[0017] 图8是根据实施例的用于执行超分辨的处理的流程图。
[0018] 图9是根据实施例的用于执行超分辨的处理的流程图。
[0019] 图10是根据实施例的适于在光场成像系统中使用的可调镜头的图。
[0020] 图11是根据实施例的光场成像系统的电子显示器。
[0021] 附图仅为了说明的目的描绘各种实施例。本领域的技术人员将容易从W下讨论认 识到可W采用在此说明的结构和方法的替代实施例，而不背离在此描述的原理。
【具体实施方式】
[0022] 附图和W下描述仅作为说明设及优选实施例。应该注意，从W下描述，将容易认识 到在此公开的结构和方法的替代实施例作为可W采用的变化替代，而不背离要求保护的原 理。
[0023] 图1A-1B是图示光场成像系统110的示例的图。光场成像系统110包括初级成像光 学器件112(由图IA中的单个透镜表示）、次级成像阵列114(微透镜的阵列115)和传感器阵 列180。次级成像阵列114可W称为微成像阵列。次级成像阵列114和传感器阵列180-起可 W称为光场传感器模块。运些组件形成两个重叠的成像子系统，示出为图IA中的子系统1和 子系统2。
[0024] 为了方便，成像光学器件112在图IA中描绘为单个物镜，但是应该理解其可W包含 多个元件。在图IA中，物镜112在像平面IP形成物体150的光学图像155。当运行在"对焦"状 态下，微成像阵列114位于像平面IP。系统整体上在传感器平面SP形成空间复用和交织光学 图像170。次级成像阵列114的示例包括微透镜阵列、针孔的阵列、微镜阵列、棋盘格和波导/ 通道阵列。微成像阵列114可W是矩形阵列、六边形阵列或其他类型的阵列。图IA中还示出 传感器阵列180。
[0025] 为了说明的目的，假设图IA中的微成像阵列114是在正方形网格上的3x3微透镜阵 列。物体150分为3x3的区域阵列，其如在图IA的下部所示标记为1-9。运些区域对应于微透 镜。也就是说，物体区域1通过物镜112成像到微透镜之一上，物体区域2成像到另一微透镜 上等等。传感器阵列180显示为6x6的矩形传感器阵列。也就是说，在每个微透镜下存在2x2 的传感器排列。光阔125分为2x2的矩形区域A-D阵列。运些区域对应于2x2的传感器排列。也 就是说，光阔区域A通过每个微透镜成像到用于该微透镜的2x2传感器的相应传感器上，光 阔区域B、C、D也如此。在一些系统中，光阔区域A-D例如可W通过不同光谱滤波器滤波。
[0026] 处理模块190收集来自检测器阵列180的数据，并且相应地处理。作为简单示例，处 理模块190可W重排序一起收集的数据，W便对于通过光阔125的光形成整个物体150的图 像。还可W执行其他类型的处理，因为捕获的光场包括关于光瞳面和物体150两者的信息。 下面例如参照图4、5、8和9进一步讨论处理模块190。
[0027] 图IB概念性地图示如何在传感器阵列180产生和交织空间复用的光学图像170A- D。物体150产生光线。传播通过光阔区域A的光线将在IP处产生光学图像155A。为了标识光 学图像155A，3x3物体区域标记有后缀A: 1A-9A。类似地，传播通过光阔区域B、C、D的来自物 体150的光线将产生标记有1B-9B、1C-9C和1D-9D的3x3物体区域的相应光学图像155B、C、D。 运四个光学图像155A-D的每个由进行通过不同光阔区域A-D的光线产生，但是它们都由光 场成像系统110同时产生，并且它们在IP处重叠。
[0028] 在IP处重叠的四个光学图像155A-D由微成像阵列114分离。图像155A-D在传感器 平面交织，如图IB所示。使用图像155A作为示例，来自光学图像155A的3x3物体区域1A-9A在 光学图像170中的3x3块中不相邻。而是来自四个不同光学图像的区域1A、1B、1C和1DW2X2 方式排列在光学图像170的左上(为了清楚忽略图像170的反向）。对象区域2-9类似地排列。 因此，构成光学图像170A的区域1A-9A分散遍布合成光学图像170,由其他光学图像170B-D 的各部分分隔。W另一方式，如果传感器是各个传感器元件的矩形阵列，那么总体阵列可W 分隔为传感器元素的矩形子阵列171(1)-(9)(虚线轮廓示出一个子阵列171(1))。对于每个 物体区域1-9,所有来自每个图像的相应区域成像在子阵列上。例如，对象区域1A、1B、1C和 ID都成像在子阵列171(1)上。注意，因为光阔125和传感器阵列180位于共辆平面，所W阵列 114中的每个微透镜115在传感器平面SP形成光瞳面的图像(与SP'相同平面）。因为存在多 个微透镜115,所W形成多个图像171。
[0029] 进一步注意到，在图1A-1B示出的系统中，光学图像155A-D相互对齐。也就是说，光 学图像155A与光学图像155B、C、D捕获相同区域。运是因为物体"对焦"，意味着对于物体的 物平面与微透镜阵列114的位置一致。现在考虑当物体"失焦"时出现什么，如图2A-2B所图 示的。
[0030] 在图2A中，考虑传感器平面中的两个点：180A和180B。点180A共轴位于中间微透镜 之下，并且点180B从中屯、点180A偏移但是仍在同一微透镜之下。首先从点180A向后跟踪光 线。运些光线由实线示出。还从点180B向后跟踪光线。运些光线由虚线示出。运些光线代表 将由各个传感器点180收集的光线的锥体。落入微成像阵列114与传感器阵列180之间的实 线锥体的光线将由传感器点180A收集，并且落入虚线锥体的光线将由传感器点180B收集。 运些光线与物体相交的位置代表由各个传感器点180收集的物体区域。
[0031] 例如，首先考虑对于点180A的实线光线。图2B示出图2A的物体区域的放大视图。如 果物体位于平面〇(例如，"对焦"状态），那么传感器点180A将收集来自物体区域255A-0的光 线，如由图2B中的粗实线所表示的。如果物体"失焦"，运意味着不再精确地在平面IP形成图 像，或者等价地，意味着物体不再精确地位于平面0。而是，物体可能位于平面0前面或者后 面，例如，位于平面0'或者炉。如果物体位于平面0'（例如，"失焦"），那么传感器点180A将收 集来自物体区域255A-0'的光线。类似地，如果物体位于平面0"(例如，也"失焦"），那么传感 器点180A将收集来自物体区域255A-炉的光线。
[0032] 对于传感器点180B可W进行类似分析。虚线光线限定由传感器点180B收集的光线 的锥体。如果物体位于"对焦"平面0,那么传感器点180B将收集来自物体区域255B-0的光 线，如由图2B中的粗实线所表示的。对于处于平面0'或者炉的物体，传感器点180B将分别收 集来自物体区域255B-0'或255B-炉的光线。可W对于同一微透镜下的传感器平面上的任何 点重复运种类型的分析，并且也可W对其他微透镜重复。
[0033] 注意，当物体对焦时，物体区域255A-0和255B-0-致。也就是说，每个传感器点180 收集来自相同物体区域的光。然而，当物体失焦时，不同传感器点收集来自相互偏移的物体 区域的光。在物体平面〇'，传感器180A收集来自物体区域255A-0'的光，传感器180B收集来 自物体区域255B-0'的光，并且两个物体区域255A-0'和255B-0'不一致。而是，它们相互偏 移。该偏移也称为视差（disparity)。类似地，对于物体平面0"，两个物体区域255A-0"和 255B-炉也相互偏移，但是视差在其他方向。
[0034] 如果复用图像170包括同一物体的偏移图像，那么复用图像170可W由处理模块 190处理W重建物体的更高分辨率数据图像。处理可W是解交织和解复用。还可W包括更复 杂的图像处理，包括各种超分辨技术。
[0035] 在图3A-3B中进一步示出视差的概念。图3A示出当物体150"对焦"时的情况。标记 1-9的九个方形代表图1中的物体。在图3A中，图像155A和155D表示为虚线方形。然而，运些 虚线方形不可见，因为它们与物体150的粗外框一致。
[0036] 在图3B中，对象150"失焦"。也就是说，对象形成不与微透镜阵列114的位置一致的 图像。失焦的一个效果是图像155A和155D相互偏移。为了清晰，没有示出图像155B和155C。 在图3B中，图像155A和155D相互偏移。四个图像155A-D然后形成一组图像，其在X和y方向偏 移半个像素。然后可W使用超分辨技术组合运四个图像W形成更高分辨率图像。
[0037] 更一般地，不同的子像素偏移可W用于构造各种类型的更高分辨率图像。例如，如 果像素到像素偏移是1/4像素，那么可W构造4倍更高分辨率图像。子像素偏移有效地添加 更高分辨率信息到收集的数据。运可W用于重建更高分辨率图像。注意，由微透镜尺寸而不 是传感器像素尺寸确定"像素"尺寸。也就是说，在典型的光场安排中，一个"像素"是一个微 透镜的尺寸(其典型地是许多传感器）。
[0038] 图4是处理模块190的一个实施方式的框图。在该示例中，复用和交织图像155由视 图提取模块492接收，视图提取模块492将传感器数据分为分离的图像155(或者视图）。如上 所述，运些视图相互偏移。也就是说，它们呈现视差。优选地，从一个视图到下一个视图的视 差小于一个像素。也就是说，视图与视图的视差是子像素。模块494确定视差。例如，可W通 过比较不同视图155进行。可替代地，模块494可W从其他源(例如，用户输入)获得视差。模 块496然后应用超分辨技术W组合具有子像素视差的多个视图为具有比原始视图更高分辨 率的视图。因此，处理的结果是增强图像。还可W应用诸如去模糊498的可选额外处理。
[0039] 图5图示光场成像系统110的主动控制W实现希望水平的分辨率增强的框图。在图 5中，框110代表例如来自图IA的光场成像系统。仅仅明确示出处理模块190。在该示例中，希 望特定水平的分辨率增强。例如，可能用户希望4倍分辨率增强。为了方便，运可W称为4的 分辨率增强值。自动散焦510确定散焦的正确量，W实现对应于希望的分辨率增强值的子像 素视差。例如，对于4倍分辨率增强，自动散焦510可W移动物镜(或者另外调整对焦条件）W 获得1/4像素视差。在一些实施例中，自动散焦510是光场成像系统110的一部分。
[0040] 可选地，来自处理模块190的反馈可W用于控制自动散焦510。如果由处理模块190 确定的实际散焦是大于或小于1/4像素，那么自动散焦510进一步驱动光场成像系统直到实 现希望的视差。
[0041] 图IA的示例使用3x3微透镜阵列，其中在每个微透镜下是2x2传感器阵列。运是为 了说明的目的。真实世界光场成像系统典型地将具有更多微成像元件和传感器元件。例如， 典型的设计可W具有每侧200-300微透镜的微透镜阵列（对于总共50,000到100,000微透 镜），并且每个微透镜下的传感器阵列具有每侧10-20传感器(对于每个微透镜总共100-500 传感器）。典型的传感器尺寸可W是大约每侧5微米。
[0042] 对于W下示例，假设扣HDcSwii的传感器元件，每个微透镜下16x16个传感器，其中每 个微透镜是80皿X 80皿，并且200x200微透镜阵列具有总共16mm X 16mm的尺寸。该示例中 的像素尺寸是微透镜尺寸:80mi X 80WI1，运是该光场系统的原始分辨率。
[0043] 图6A-6E是图示根据实施例的使用视差用于分辨率增强的不同方法的图。图6A是 一个微透镜下16x16传感器区域。该区域包含16x16 = 256个传感器，每个传感器对应于不同 图像或视图。在图IB中，运些图像由后缀A-D代表。图6A使用两个字母后缀:AA-PP。如果对象 对焦，那么视图之间将不存在视差。也就是说，视图AA到PP将全部对齐。然而，如果初级成像 系统失焦，那么可能引入视差。
[0044] 如果视图到视图视差是1/16像素(例如，从视图AA到视图AB的视差是1/16像素）， 那么可W组合256个视图W产生具有16倍更高分辨率的单个图像。运在图6B中图示，其将不 同视图映射到它们相应的视差量。图像AA是用于测量视差的基准，图像AB提供相对于图像 AA的1/16像素视差的视图，图像AC提供相对于图像AA的2/16像素视差的视图等。
[0045] 为了清楚，图6B仅示出沿着一个方向的分辨率增强，尽管运些技术可W应用于水 平和垂直方向两者。此外，分辨率增强量和/或最终分辨率可能在水平和垂直方向不同。例 如，在机器视觉应用的情况下，一个尺度上分辨率的增加可能比其他尺度上更加重要。其中 可W使用非方形采样的另一情况是在多光谱滤波器的几何设计中，其中滤波器可W是矩形 的W容纳更高水平或垂直分辨率。
[0046] 此外，该示例解决对于位于一个二维平面的物体的分辨率增强。对于=维物体，视 差随着深度变化(如由图4的块494确定），并且图像的不同区域将具有不同视差水平。例如， 考虑平滑的=维对象。在一个深度的视图到视图视差可能是0.25像素。随着Z位置物体移动 接近焦点，视差可能减少到0.24像素并且然后减少到0.22像素等。随着Z位置物体移动远离 焦点，视差可能增加到0.27像素甚至到0.33像素。具有处于各种深度的物体的屏幕可能在 相邻区域具有0.25和0.10像素的视差变化。在运些情况下，模块494可W确定深度属性W便 确定局部视差。块494可W可选地还解决遮挡和显露。
[0047] 可替代地，在图6C中，每个其他视图用于产生具有8倍更高分辨率的图像。跨越所 有视图的视图到视图视差是1/16像素。然而，视图AA、AC、AE等形成用于产生8倍分辨率数字 图像的一组视图。该组内视图到视图视差是1/8像素，如图6C所示，其使用视图AA作为该组 的基准。通过每N个视图（N = 2在此)选择形成该组。然而，运仅仅使用总共传感器的1/4。剩 余传感器可W用于产生3个额外组，每个组也可W产生具有8倍分辨率的数字图像。存在一 个组AB、AD、AF等。在图6C中，对于该组示出相对于视图AB的视差。类似地，存在分别从图像 BA和BB开始的两个其他组。如果希望，不同滤波器可W放置在光阔125的平面中，使得产生 总共4个图像，每个具有8倍分辨率并且分别滤波。四个滤波器例如可W是红色、绿色、蓝色 和透明。图6C示出分为四个8倍分辨率图像的头两行的16个传感器。
[004引还可W产生不同分辨率的图像。例如，可W产生图6B的16倍分辨率图像和图6C的8 倍分辨率图像。视图AA可W包括在图6B的组中，W产生16倍分辨率图像，并且其还可W包括 在图6C的组中，W产生8倍的分辨率图像。
[0049]如图6D所示，可W通过使用1/8像素的视图到视图视差实现类似的结果。在该示例 中，视图AA-AH是用于产生8倍分辨率图像的一组(示出相对于视图AA的视差），并且视图AI- AP是用于产生另一 8倍分辨率图像的第二组(示出相对于视图AI的视差）。第S和第四组视 图也从图6D中未示出的传感器可用。此外，可W独立滤波每个图像，尽管该滤波模式更容易 产生，因为与图6C相比滤波器较不精细地交织。图6C和抓之间的一个不同在于在图抓中，一 个组中的视图所有连续，而它们在图6C中交织。另一不同在于跨越所有视图在一个尺度上 的总视差在图抓中大于一个像素，但是在图6C中小于一个像素。
[0050] 在图6E中，视图到视图视差是3/16像素。运也可W用于产生16倍分辨率图像，尽管 具有一些像素的重排序。运仅仅是一些示例。其他组合是显而易见的。此外，视图到视图视 差不必精确匹配超分辨的希望程度。例如，如果视图到视图视差是1/6像素，并且希望4倍分 辨率增强，那么视图可W交织或另外组合W产生4倍增强。类似地，如果微透镜放置在六边 形网格上，矩形网格上的值可W从六边形网格内插。
[0051] 现在转向公式的示例推导的讨论，光场成像系统110可W在计算视差中使用，例如 W便设置图5中的正确自动散焦510。该示例基于薄透镜傍轴光学器件，尽管也可W使用更 复杂的方法。图7A是根据实施例的包括初级成像光学器件112的光场成像系统110的一部分 的简化光学图700。图700包括初级成像光学器件112和微成像阵列114。
[0052] 初级成像光学器件112与微成像阵列114相隔距离di，为了方便将其称为阵列距 离。物体150位于物体平面710,其与微成像阵列114相隔物体距离d。。初级成像光学器件112 具有有效焦距f。运些量中的一些是可调的。例如，如果透镜是变焦透镜，那么有效焦距f是 可调的。可替代地，阵列距离di可W通过机械移动可调。如果选择f、di和deW满足透镜制造 者方程，也称为薄透镜方程，那么物体150将对焦并且将存在零视差。
[0053] 然而，自动散焦510的目的是散焦初级成像光学器件112, W便实现受控的视差量。 在此情况下，f、di和d。将不满足薄透镜方程。所W让df是对于di满足薄透镜方程的物体距 离。图700还包括零视差平面720,其与初级成像光学器件112相隔零视差距离df。
[0054] 此外，让d是对于d。满足薄透镜方程的图像距离。图700图示当物体150处于d。时的 图像平面705。图像平面705与微透镜阵列114相隔S从图700，
[0化引 5 = d-di (1)
[0056] -5 = di-d (2)
[0化7] 指示当d〇<df时的负视差。
[0012引在dn〉df的情况下，方程式正好相同除了在符号改变情况下负视差变为正视差。
[0059] 5 = di-d (3)
[0060] 使用薄透镜方程替换di和d，对于山〉df时的情况，S可W进一步推导为：
[0061] 2
[0062] 图7B是根据实施例的对于de〉df的情况的光场成像系统110的简化光学图750,光场 成像系统110包括微成像阵列114。图750包括微成像阵列114和传感器阵列180。传感器阵列 180包括多个传感器，每个传感器具有Wp的尺寸。例如，参照图6A的16x16传感器阵列，Wp是传 感器像素尺寸的尺寸。传感器阵列180与微成像阵列114相隔微成像阵列114的有效焦距 (片）。当dn〉df时，实际图像平面705位于微成像阵列114前面距离5。
[0063] 同样地，图7C是根据实施例的对于dn<df的情况的光场成像系统110的简化光学图 770,光场成像系统110包括微成像阵列114。在此情况下，实际图像平面705位于微成像阵列 114之后距离5
[0064] 回想相邻传感器(例如，图6A中的传感器AA和AB)对应于相邻视图。如图7B和7C所 示，从点72巧中屯、的传感器将"看到"W75巧中屯、的图像的一部分，并且W点722为中屯、的 传感器将"看到"W752为中屯、的图像的一部分。因此，代表相邻视图的运些相邻传感器看到 分隔标记"视差"的距离的图像的各部分。运是视图到视图视差，其从各图可W推导为：
[00化]
(6)
[0066] 其中a是添加 W解释图像处理的因子。在模式化和测量视差之间可能存在微小差 另IJ，并且a解释运些差别。在一些实施例中，在模式化和测量视差不存在差别和/或差别非常 小，可W设为1的值。对于S替换方程式(5)得到
[0067]
。)
[0068] 方程式(7)表示在图像平面705^距离为单位的视差。让^^是给定视图的两个像素 之间的距离。参照图6A，巧是从一个微透镜之下的传感器AA到相邻微透镜之下的协同定位AA 的距离。可替代地，巧是一个微透镜的长度。将方程式(7)除W擇得到W像素表示的视差，其 由A表声-
[0069] 傲
[0070] 注意在方程式（8)中，VV皆=1/K，其中K是沿着微透镜的一个维度的传感器的数 目。在图6A中,K = 16。
[0071] W像素为单位的视差（A )代表两个相邻视图之间的视差。相邻视图可能是水平或 垂直的。假设系统的光轴沿着Z轴，两个视图在X轴上水平相隔M个视图，并且在y轴上垂直相 隔N个视图，由W下给出：
[0072] z(x，y) = ( A *M，A *N) (9)
[0073] 注意，方程式(6)-(9)部分使用薄透镜方程式得到W简化数学运算。在其他实施例 中，可W替代薄透镜方程式使用其他更精确的模型。例如，在一些实施例中，在方程式(6)- (9)的推导中可W使用厚透镜方程式。
[0074] 现在转向使用上述用于视差的方程式的实施方式，图8是根据实施例的用于执行 超分辨的处理800的流程图。在一个实施例中，图8的处理800由光场成像系统110(例如，经 由处理模块190)执行。在其他实施例中，其他组件或模块可W执行一些或全部步骤。同样 地，实施例可W包括不同和/或额外步骤，或者W不同顺序执行步骤。
[0075] 光场成像系统110捕获805空间复用图像170。在一些实施例中，光场成像系统110 在捕获805空间复用图像170时对于一个或多个光学参数使用默认值。光学参数是影响视差 值的参数。光学参数可W包括例如'、山、(1:、(1、(11^、巧。、取及其组合。光学参数的值可^存储 为光学参数的校准数据库的部分。校准数据库存储f、di和/或d。的各种组合的分辨率增强值 之间的映射。如上参照图IA讨论的，成像子系统1在初级光学子系统1的图像平面形成物体 150的光学图像，并且成像子系统2将成像子系统1的光瞳成像在传感器阵列180上，使得传 感器阵列180捕获物体的图像阵列。视图阵列称为空间复用图像。
[0076] 光场成像系统110从空间复用图像提取810不同视图。光场成像系统110确定815提 取视图中的感兴趣区域(R0I)。在一些实施例中，自动选择R0I，例如，光场成像系统110选择 提取视图的中屯、部分作为R0I。在其他实施例中，用户可W使用提取视图的一部分作为R0I。
[0077] 光场成像系统110对于ROI计算820初始视差值，例如，通过匹配不同视图中的相应 特征。可W使用各种方法(例如，块匹配、自动关联、PPC、光场规模和深度(Lisad)等)计算初 始视差值。
[0078] 光场成像系统110确定825R0I的深度范围（例如，物体距离的范围）。通过在方程式 (8)中使用计算的视差化nt( W像素为单位)来运样做W解决深度d。：
[0079]
(1 巧
[0080] 光场成像系统110可W使用方程式（10)确定d。的最小值d。(min)和d。的最大值d。 (max) dROI的深度范围从do(max)到山(min)。
[0081] 光场成像系统110然后考虑ROI的深度范围，确定830希望的分辨率增强值。深度范 围可W限制可实现的分辨率增强值。在一个方法中，光场成像系统110对于范围cUmin巧Ijd。 (max)内的物体距离do-adjusted选择分辨率增强值。还使用校准数据库是识别对焦设置 fadjusted的相应值。该值fadjusted是对于深度do-adjusted将导致希望的分辨率增强值的对焦设 置。在一些实施例中，光场成像系统110识别与最高可实现的分辨率增强值相关联的d。 (min)到cUmax)范围内的山-adwsted。光场成像系统110还可W计算对应于选择的分辨率增强 值的调整的视差值Dadjusted。
[0082] 光场成像系统110调整835-个或多个光学参数，W便实施在步骤830中进行的选 择。例如，可W调整初级成像光学器件112W实施有效焦距fadwsted。作为另一示例，如果需 要，则还可W调节阵列距离di。在一个方法中，光场成像系统110使用对于do-adjusted、fadjusted 和Dadjusted确定的値W经由下面方括式计算调节的df-adiusted :
[0083]
(11)
[0084] 运经由薄透镜方程式确定初级成像光学器件112和传感器阵列180之间的距离 di-ad justed。光场成像系统110可W根据需要调整该间隔。
[0085] 在一些实施例中，光场成像系统110还为了最大传感器利用率设置初级成像光学 器件112的光阔（例如，光场成像系统110设置初级成像光学器件112的光阔，使得其光圈值 匹配微成像阵列114的光圈值）。
[0086] 光场成像系统110基于调整的光学参数捕获第二空间复用图像。光场成像系统110 W与上面对于步骤810描述的类似方式从捕获图像提取845视图。
[0087] 光场成像系统110使用从第二空间复用图像提取的视图执行850分辨率增强。在一 些实施例中，调整光学参数，W便对于给定ROI实现可能的最高分辨率增强。因此，在一些实 施例中提取的视图使得光场成像系统110能够获得提取视图的最大分辨率增强。
[0088] 图9是根据实施例的用于执行超分辨的另一处理900的流程图。在一个实施例中， 图9的处理900由光场成像系统110 (例如，经由处理模块190)执行。在其他实施例中，其他组 件或模块可W执行一些或全部步骤。同样地，实施例可W包括不同和/或额外步骤，或者W 不同顺序执行步骤。
[0089] 在图9中，一些框旨在包括来自图8的多个步骤。例如，框巧05-825"包括来自图8的 步骤805、810、815、820和825。在步骤820中，计算301的视差，并且在步骤825中，对于1?01确 定深度范围（例如，物体距离的范围）。光场成像系统110然后确定捕获的空间复用图像的分 辨率增强值，并且决定924分辨率增强值是否足够高，例如，大于或等于阔值。在一个设计 中，决定924可W是当前视差是否大约等于一半像素(例如，分辨率增强值大约为2)。如果满 足条件924,那么光场成像系统110对已经提取的视图执行850分辨率增强。如果不满足条件 924,那么光场成像系统110继续来自图8的剩余处理。在此情况下，基于使用调整的光学参 数捕获的第二空间复用图像执行850分辨率增强。
[0090] 现在转向光场成像系统110的实施方式的讨论，图10是根据实施例的适于在光场 成像系统中使用的可调镜头1000的图。镜头1000包括主体1005,其包围光学组件1010,并且 包括用于将镜头1000禪合到剩余光场成像系统110的底座1015。光学组件1010是上面参照 图IA描述的初级成像光学器件112。主体1005还包括对焦环1020和分辨率环1030。
[0091] 光学组件1010可W通过旋转对焦环1020和/或分辨率环1030来调节。在该示例中， 对于.5m、lm、2m和无限远的物体距离标记对焦环1020。在其他实施例中，可W在对焦环1020 上标记其他距离值。对焦指示器1025指示到物体的距离（例如，图7A中的d。）。例如，对焦指 示器1025对于大约0.75m远的物体设置用于光学组件1010的对焦设置。在传统变焦镜头和 其他可调镜头中，设置物体距离典型地确定有效焦距和对于镜头共辆。然而，在此情况下， 分辨率增强因子也将影响运些量。
[0092] 分辨率环1030用于设置光场成像系统110的分辨率增强值。在该示例中，对于x2、 x3和x4的分辨率增强值标记分辨率环1030。在其他实施例中，可W在分辨率环1030上标记 其他分辨率增强值。分辨率指示器1035指示选择的分辨率增强。例如，在图10中，将分辨率 环1030设置为x3分辨率增强值。注意，0.75m物理距离和x2分辨率增强的设置是与0.75m物 理距离和x3分辨率增强的设置不同的光学设置。
[0093] 尽管没有示出，但是在一些实施例中，镜头1000还可W包括光阔环W控制光学镜 头组件1010中的光阔的尺寸。光阔环将呈现多个不同光圈值(例如，2、2.8、4、5.6、8、11、16、 22等)并且指示器识别选择的光圈值。在一些实施例中，光场成像系统110配置为对于例如 正确曝光、最大传感器利用率、特定景深或其一些组合自动选择光圈值。
[0094] 图11是根据实施例的光场成像系统110的电子显示器。电子显示器1100呈现分辨 率增强屏幕1110。分辨率增强屏幕1110包括对焦条1120、分辨率条1130和图像1140。对焦条 1120和分辨率条1130可调节，使得用户可W对于一个或两个条修改设置。光场成像系统110 基于对焦条1120和分辨率条1130的设置修改图像1140。在图11中，分辨率条1130设为x2分 辨率增强，并且分辨率增强显示图像1140。在一些实施例中，在显示更高分辨率增强 (例如，x3)的图像的情况下，该图像将显示大于x2图像1140。同样地，更低分辨率增强（例 如，Xl)的图像将显示为小于图像1140的图像。在一些实施例中，可W W不同分辨率同时显 示图像1140的多个版本。
[00M]此外，在一些实施例中，光场成像系统110基于对分辨率条1130的用户调节来调节 对焦条1120的设置，或者反之亦然。光场成像系统110还可W基于分辨率条1130的当前设置 限制对焦条1120的特定设置，或者反之亦然。例如，对于对焦条1120的特定设置，光场成像 系统110可能不允许x4分辨率增强。
[0096] 在此公开的方法和系统具有多个优点。一个优点是通过增加一个或多个特征到光 场成像系统(诸如计算视差和调节分辨率增强值，其与光场成像系统调节对焦的能力一起 使用W提供分辨率增强），提供分辨率增强。此外，使用包括W上的方程式确定视差，其提供 跨越多个视图的子像素的粒度。另一优点是通过增加物理分辨率环到光场成像系统W调节 分辨率增强值是易于使用的，因为其与对焦环类似地运作，用户对于此是熟悉的。类似地， 在光场成像系统显示中与交互对焦环一起增加交互分辨率环的优点是易于使用。
[0097] 额外的配置信息
[0098] 尽管具体描述包含了许多细节，但是运些不应理解为限制本公开的范围，而是仅 仅理解为说明本公开实施例的不同示例和方面。应该理解，本公开的范围包括上面没有详 细讨论的其他实施例。可W对在此公开的实施例的方法和装置的安排、操作和细节上进行 对于本领域技术人员显而易见的各种其他修改、改变和变化，而不背离如权利要求限定的 实施例的精神和范围。因此，要求保护的实施例的范围应该由所附权利要求及其等级物确 定。
[0099] 在替代实施例中，W计算机硬件、固件、软件和/或其组合实施本公开的各方面。可 W W非暂时计算机可读存储介质和/或有形地体现在计算机可读存储设备中用于由可编程 处理器执行的计算机程序产品，实施本公开的装置的实施例;并且通过操作输入数据并且 生成输出，可由执行指令的程序的可编程处理器执行本公开实施例的方法步骤，W执行本 公开实施例的功能。本公开实施例可W由一个或多个计算机程序有利地实施，一个或多个 计算机程序可在可编程系统上执行，可编程系统至少包括禪合至少一个可编程处理器，用 于从数据存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并且发送数 据和指令到数据存储系统、至少一个输入设备和至少一个输出设备。如果需要，每个计算机 程序可W W高级过程或面向对象变成语言、或者W汇编或机器语言实施;并且在任何情况 下，语言可W是编译的或解释的语言。作为示例，适当的处理器包括通用和专用微处理器两 者。通常，处理器将从只读存储器和/或随机存取存储器接收指令和数据。通常，计算机将包 括用于存储数据文件的一个或多个大容量存储设备;运样的设备包括磁盘，诸如内部硬盘 和可移除盘;磁光盘；W及光盘。适于有形地体现计算机程序指令和数据的存储设备包括所 有形式的非易失性存储器，作为示例包括半导体存储器设备，诸如EPR0M、EEPR0M和闪速存 储器设备;磁盘，诸如内部硬盘和可移除盘;磁光盘；W及CD-ROM盘。前述的任何可W由ASIC (专用集成电路)和其他形式的硬件补充或并入。
[0100] 术语"模块"不意味着限制到具体物理形式。取决于具体应用，模块可W实施为硬 件、固件、软件和/或其组合。此外，不同模块可W共享公共组件或者甚至由相同组件实施。 不同模块之间可能有或可能没有清楚的边界。取决于模块的形式，模块之间的"禪合"也可 能采取不同形式。专用电路例如可W通过硬布线或者通过访问公共寄存器或存储器位置相 互禪合。软件"禪合"可W通过多种方式出现，W在软件组件之间（或者在软件和硬件之间， 如果是在此情况下)传送信息。术语"禪合"意味着包括所有运些，而不意味着限制为两个组 件之间硬布线的永久连接。
【主权项】
1. 一种用于产生物体的图像的光场成像系统，所述光场成像系统包括： 初级光学子系统，其形成物体的光学图像，所述光学图像位于所述初级光学子系统的 像平面； 光场传感器模块，其包括次级成像阵列和传感器阵列，所述次级成像阵列将所述初级 光学子系统的光瞳成像到所述传感器阵列上，所述次级成像阵列从所述像平面位移，使得 所述传感器阵列配置为捕获所述物体的复用视图的阵列；W及 处理模块，配置为确定一个或多个光学参数，W实现希望的分辨率增强值，其中所述初 级光学子系统和/或光场传感器模块可根据所述一个或多个光学参数调节。2. 如权利要求1所述的光场成像系统，其中所述一个或多个光学参数包括所述初级光 学子系统的有效焦距f，并且所述初级光学子系统在有效焦距上可调节。3. 如权利要求1所述的光场成像系统，其中所述一个或多个光学参数包括从所述初级 光学子系统到所述次级成像阵列的距离山，并且所述光场成像系统在距离di上可调节。4. 如权利要求1所述的光场成像系统，其中所述希望的分辨率增强值是大于1的整数 值。5. 如权利要求1所述的光场成像系统，其中所述处理模块进一步配置为： 确定所述物体的复用视图的第一捕获阵列的分辨率增强值是否大于或等于阔值;并且 如果是，那么将所述复用视图的第一捕获阵列组合为具有比所述复用视图的任一的分 辨率更高分辨率的所述物体的数字图像。6. 如权利要求1所述的光场成像系统，其中所述处理模块进一步配置为： 确定所述物体的复用视图的第一捕获阵列的分辨率增强值是否大于或等于阔值;并且 如果不是，那么将复用视图的第二捕获阵列组合为具有比所述复用视图的任一的分辨 率更高分辨率的所述物体的数字图像，其中当根据所述一个或多个光学参数调节所述初级 光学子系统和/或光场传感器模块时，捕获所述复用视图的第二捕获阵列。7. 如权利要求1所述的光场成像系统，还包括： 自动散焦模块，用于根据所述一个或多个光学参数自动调节所述初级光学子系统和/ 或光场传感器模块;并且 其中所述处理模块进一步配置为将复用视图的第二捕获阵列组合为具有比所述复用 视图的任一的分辨率更高分辨率的所述物体的数字图像，其中在通过所述自动散焦模块的 自动调节之后，捕获所述复用视图的第二捕获阵列。8. 如权利要求7所述的光场成像系统，其中所述处理模块进一步配置为： 确定所述复用视图的第一捕获阵列中的感兴趣区域； 计算所述感兴趣区域的初始视差； 使用所述初始视差，确定所述感兴趣区域的深度范围；W及 确定服从确定的深度范围的所述希望的分辨率增强值。9. 如权利要求1所述的光场成像系统，其中所述处理模块进一步配置为确定符合W下 方程式的所述一个或多个光学参数其中f是所述初级光学子系统的有效焦距， d。是从所述初级光学子系统到物平面的距离， df是视差为零时从所述初级光学子系统到物平面的距离， fV是所述次级成像阵列的焦距， α是W解释图像处理的因子， Wp是所述传感器阵列中传感器的尺寸，W及 取是视图中相邻像素之间的距离。 10 .如权利要求1所述的光场成像系统，还包括： 自动散焦模块，用于根据所述一个或多个光学参数自动调节所述初级光学子系统和/ 或光场传感器模块。11. 如权利要求10所述的光场成像系统，其中所述自动散焦模块接收来自所述处理模 块的反馈，并且使用所述反馈W调节所述一个或多个光学参数，W实现所述希望的分辨率 增强值。12. 如权利要求1所述的光场成像系统，其中所述处理模块进一步配置为将复用视图的 捕获阵列组合为具有比所述复用视图的任一的分辨率更高分辨率的所述物体的数字图像。13. 如权利要求1所述的光场成像系统，其中所述初级光学子系统包括具有分辨率环的 可调节镜头，其中所述分辨率环可旋转W调节所述镜头，并且指示用户所述光场成像系统 的分辨率增强值。14. 如权利要求13所述的光场成像系统，其中所述可调节镜头还包括对焦环，所述对焦 环可旋转W调节所述镜头，并且指示用户所述初级光学子系统的有效焦距。15. 如权利要求13所述的光场成像系统，其中所述可调节镜头还包括对焦环，所述对焦 环可旋转W调节所述镜头，并且指示用户所述初级光学子系统的对焦共辆。16. 如权利要求1所述的光场成像系统，还包括电子显示器，配置为： 为所述光场成像系统的用户呈现分辨率指示器，其中所述分辨率指示器为用户指示所 述光场成像系统的分辨率增强值。17. -种用于使用光场成像系统产生物体的图像的方法，所述光场成像系统包括初级 光学子系统和具有次级成像阵列和传感器阵列的光场传感器模块，所述方法包括： 为确定一个或多个光学参数，W实现希望的分辨率增强值； 根据所述一个或多个光学参数调节所述初级光学子系统；W及 利用根据所述一个或多个光学参数调节的所述光场成像系统，捕获所述物体的复用视 图的阵列。18. 如权利要求17所述的方法，其中调节所述光场成像系统包括根据所述一个或多个 光学参数自动调节所述光场成像系统。19. 如权利要求17所述的方法，还包括： 将复用视图的捕获阵列组合为具有比所述复用视图的任一的分辨率更高分辨率的所 述物体的数字图像。
【文档编号】H04N5/232GK105939443SQ201610117839
【公开日】2016年9月14日
【申请日】2016年3月2日
【发明人】V.南波迪里, K.P.阿加雷文卡特沙雷奥, 丸山刚
【申请人】株式会社理光