基于两个透镜阵列的快速计算式照相机的制作方法

专利名称：基于两个透镜阵列的快速计算式照相机的制作方法
技术领域：
本发明涉及照相机，并且更具体地涉及数字照相机和光场照相机。
背景技术：
图1示出了示例性的传统数字照相机，其采用单个物镜104和光传感器108。如果 照相机镜头104收集大量的光使得快门速度可以很快，则该镜头被认为是“快速的”。镜头 的F/number (光圈值)是对该镜头可以收集多少光的量度，其中光圈值(F/number)=焦距/光圈孔径希望有品质的快速物镜，因为它们可以在低照明条件下进行摄像，并且也可以进 行动作摄像。快速通用镜头是光圈值为F/1. 8或者更低的镜头。例如用在运动和野生动物 摄像中的远距照相镜头被视为是快速的，即使其光圈值为F/2. 8，因为它们很难构造更低的 光圈值。即使是傻瓜照相机也需要相对快速的镜头，如果它们要在不适合闪光的地方的低 照明条件下使用的话。然而，有品质的快速镜头很难设计和构造，因此往往非常昂贵。针对 构造快速镜头存在光学解决方案。然而，这些解决方案在低光圈值时变得非常昂贵，这归因 于在低光圈值时远离光轴的大折射角度，这意味着对像差的校正变得困难。需要多个高精 度镜头元件。同样，这些镜头元件体积庞大，使得高品质快速镜头巨大而笨重。高品质物镜 实际上通常是串联的两个或更多单个镜头系列，以便提供对各个镜头中像差的校正，这一 事实加重了物镜的体积和费用两方面。另一方式是增大光传感器(例如，电荷耦合器件(CCD))的光子效率。然而，业内 已经以可接受的价格达到了接近最佳的效率。而且，以目前50%或更高的效率，实现显著的 提高很困难。即使在理论上，光传感器的效率也不能提高比两倍更多的了，因为很显然不能 达到超过100%的效率。光场照相机如图1中所示的传统照相机不能捕获大量的光学信息。特别地，传统照相机不能 捕获有关不同光线进入照相机的光圈上的位置的信息。在操作期间，传统数字照相机捕获 二维(2D)图像，其代表射到照相机内的光传感器108上每个点的光的总量。然而，此2D图 像不包含有关射到光传感器108上的光的方向分布的信息。像素处的方向信息对应于光圈 上的位置信息。相比之下，光场照相机对四维(4D)光学相位空间或光场进行采样，在这么做的同 时，捕获有关光线的方向分布的信息。由光场照相机捕获的此信息可以称为光场、全光功 能或辐射。辐射描述了空间信息和角度信息二者，并且其定义为每单位面积每单位立体角 (单位为弧度)的能量密度。光场照相机捕获辐射；因此可以对原始拍摄时失焦的图像重 新对焦，可以减少噪点，可以改变视点，并且可以获得其他光场效果。光场照相机已经基于 对传统数字照相机的改造而进行了设计。图2示出了示例性现有技术的光场照相机或照相机阵列，其采用两个或更多物镜 110的阵列。每个物镜聚焦在光传感器108的特定区域上，或者备选地聚焦在单独的光传感器108上。此光场照相机可以视为两个或更多传统照相机的组合，其中每一个传统照相机 同时在光传感器108的特定区域上或备选地在特定光传感器108上记录对象102的图像。 所捕获的图像继而可以组合以形成一幅图像。图3示出了示例性现有技术的全光照相机，其为另一种类型的光场照相机，采用 单个物镜和微透镜或小透镜阵列106，其中阵列106放置在离光传感器108(例如，电荷耦合 器件(CXD))很小距离( 0.5mm)处，例如包括大约100，000个小透镜。利用全光照相机 100捕获的原始图像由小图像阵列构成，其通常围绕主照相机镜头108。这些小图像可以称 为微图像。小透镜阵列106使得全光照相机100能够捕获光场，也即，不仅记录图像强度， 而且记录每个点处不同方向上的强度分布。每个小透镜将从主透镜104进入自身的光束分 裂成来自主透镜108的光圈上不同“针孔”位置的光线。将这些光线中的每一条记录为光 传感器108上的一个像素，并且每个小透镜下的这些像素共同构成η像素图像。每个小透 镜下的此η像素区域可以称为宏像素，照相机100在每个宏像素处生成微图像。具有例如 100, 000个小透镜的照相机100所捕获的全光照片将包含100，000个宏像素，从而生成对 象102的100，000个微图像。通过适当地从每个宏像素中选择像素，可以基于在宏像素处 捕获的对象102的微图像来创建对象102的传统图片。此外，通过适当地混合这种图像，可 以对在原始拍摄时失焦的图像重新对焦，可以减少噪点，并且可以实现其他光场效果。

发明内容
描述了用于包括两个透镜阵列的计算式照相机的方法和装置的各种实施方式。这 两个透镜阵列包括光传感器前面的小透镜阵列，以及用作物镜的两个或更多单独透镜或微 透镜的第二阵列。相比于传统照相机物镜，替代传统照相机物镜的透镜阵列薄得多、轻得 多，而且其可以以比传统快速物镜更低的成本来生产和提供，同时通过对原始捕获的图像 信息的后处理，其产生在质量上类似于或更好于快速、昂贵的传统物镜所产生图像的最终 图像。对利用计算式照相机的实施例捕获的原始图像数据进行适当处理之后，所产生的最 终图像例如可以等效于利用光圈值为F/1乃至更低的镜头捕获的图像。而且，计算式照相 机的实施方式是真正捕获光场(辐射)的光场照相机，其不仅记录图像强度，而且记录每个 点处不同方向上的强度分布。
在计算式照相机的实施方式中，物镜阵列中的N个物镜中的每一个捕获来自对象 的光，其中N > 2。小透镜阵列中的M个小透镜中的每一个捕获来自每个物镜的光，其中 M >2。注意，在实践中，M也将> N，通常> N。小透镜阵列中的每个小透镜将捕获的光进 行分离以在小透镜下的光传感器区域上生成对应于N个物镜的N个微图像。因此，总共有 Ν*Μ个微图像被投射到光传感器上并被其捕获。这Ν*Μ个微图像继而可以按照物镜的几何 关系通过硬件、软件或其组合所实现的算法进行处理，以对Ν*Μ个微图像进行排列以生成 最终图像。用于处理原始图像数据的算法可以在计算式照相机自身内部实现，或者备选地 可以在可以从计算式照相机向其传送捕获的图像信息的独立设备或计算机系统中实现。除 了用于对原始图像数据进行处理以产生最终数字图像的算法之外，实施方式还可以包括以 硬件和/或软件实现的一个或多个算法，其根据计算式照相机捕获的辐射信息对图像数据 执行各种功能，诸如对失焦图像的自动重新对焦。


图1示出了采用单个物镜和光传感器的示例性现有技术的数字照相机；图2示出了采用两个或更多物镜的阵列的示例性现有技术的光场照相机或照相 机阵列；图3示出了采用单个物镜和放置在离光传感器很小距离的微透镜或小透镜阵列 的示例性现有技术的全光照相机；图4示出了按照一个实施方式、包括作为物镜的三个透镜以及小透镜阵列的示例 性计算式照相机；图5示出了具有集成在照相机中的各种其他元件的计算式照相机的示例性实施 方式；图6A和图6B示出了按照一个实施方式的、包括20X 20的物镜阵列和小透镜阵列 的示例性计算式照相机；图7A和图7B示出了按照一个实施方式的、示例性计算式照相机对数字图像的捕 获和处理；图8A和图8B示出了示例性物镜阵列230 ；图9A-图9F示出了用于物镜阵列230的各种示例性配置；图10是描述按照一个实施方式的计算式照相机的操作的流程图；图11示出了可以在诸实施方式中使用的示例性计算机系统。尽管在此通过示例针对若干实施方式和示范性附图描述了本发明，但是本领域的 技术人员将认识到本发明不限于所描述的实施方式或附图。应当理解，附图和其详细描述 不旨在将本发明局限为公开的特定形式，相反，本发明旨在覆盖落在由所附权利要求定义 的本发明的精神和范围内的所有修改、等同物和替换。此处使用的标题仅是出于组织目的， 并且不意味着用于限制说明书或权利要求的范围。贯穿本申请所使用的词语“可以”用于允 许含义(即，意味着具有可能)，而不是强制含义(即，意味着必须)。类似地，词语“包括” 的含义是包含而非限制。
具体实施例方式描述了用于包括两个透镜阵列的计算式照相机的方法和装置的各种实施方式。相 比于传统照相机，实施方式可以提供快速、轻便且相对便宜的照相机，其基于包含两个透镜 阵列的光学系统。这两个透镜阵列包括光传感器(诸如电荷耦合器件(CCD))前面的小透 镜阵列，以及用作物镜的两个或更多单独透镜或微透镜的第二阵列。相比于传统照相机物 镜，尤其是快速物镜(低光圈值镜头)，替代传统照相机物镜的透镜阵列薄得多、轻得多，而 且其可以以比传统快速物镜更低的成本来生产和提供，同时通过对原始捕获的图像信息的 后处理，其产生在质量上类似于或更好于采用快速、昂贵的传统物镜的照相机所产生的图 像的最终图像。对利用计算式照相机的实施例捕获的原始图像数据进行适当处理之后，所 产生的最终图像可以等效于利用光圈值为F/1乃至更低的物镜捕获的图像。而且，计算式 照相机的实施方式是真正捕获光场(辐射)的光场照相机，其不仅记录图像强度，而且记录 每个点处不同方向上的强度分布。然而，计算式照相机的实施方式可以配置为比传统光场 照相机(包括传统的全光照相机，诸如图2和图3示出的示例性传统光场照相机)更快(具有更低光圈值)并且提供更高的分辨率。制造更快的照相机的一种方法是使得主透镜光圈更大以便捕获更多的光。提高数 字照相机的分辨率的一种方法是在光传感器中使用更多像素(例如，CCD中更多的像素)。 这两个目标都可以通过使用包括两个或更多物镜的物镜阵列以及位于物镜阵列与光传感 器之间的小透镜的第二阵列来实现，如此处针对计算式照相机的各种实施方式所描述的。 图4示出了按照一个实施方式的、包括三个透镜作为物镜阵列中的物镜以及位于物镜阵列 和光传感器之间的小透镜阵列的示例性计算式照相机。图4示出的实施方式使用三个直 线排列的物镜。在此示例性实施方式中，小透镜阵列220中的每个小透镜222的光圈值为 4 (F/4)。在示例性物镜阵列230中有三个透镜232，每个的光圈值为20 (F/20)。示例性小 透镜阵列220中的每个小透镜222从物镜阵列230中的每个物镜232接收光。在此示例中， 小透镜222n示出为从每个物镜232接收来自对象250的光。小透镜222n对来自每个物镜 232的光进行折射并聚焦到小透镜222n下面的光传感器210的区域中的一个或多个像素或 宏像素上。这得到三幅微图像224，每个对应于物镜232之一，其在光传感器210的、小透镜 222n下的区域或宏像素中被捕获。因此，三个物镜232在每个小透镜222下创建三幅微图 像224。这些微图像224通常匹配物镜232的形状；例如，如果物镜232是圆的，则这些微 图像224也是圆的。这些微图像224按照物镜232的定位而相对彼此定位。每个物镜232在透镜下居中处创建其自己的图像。因此，多个物镜232在小透镜 阵列220上创建可能彼此重叠的多幅图像，所创建的可以称为“幻影”赝像。幻影赝像可以 按照利用硬件、软件或其组合所实现的算法来进行校正。按照物镜阵列的几何关系，例如按 照物镜232之间的距离，算法可以通过将位于每个小透镜222下的左边和右边的微图像224 分别移动到右边和左边，来为图4的示例性计算式照相机200所创建的幻影赝像进行校正。如上所述，图4示出的示例性计算式照相机200的小透镜阵列220中的小透镜222 的光圈值可以为F/4。然而，尽管图3中示出的传统全光照相机100具有与小透镜阵列106 中的小透镜相同光圈值(例如，F/4)的单个主(物)透镜104，但是图4中示出的计算式照 相机200使用三个更小的物镜232，每个的光圈值为F/20。结果，在计算式照相机200的光 传感器210上创建的物镜232的各个微图像224比图3的全光照相机100所创建的单个微 图像112要小。然而，由于计算式照相机200所创建的微图像224收集了落在每个小透镜 222上的所有光，因此微图像224比全光照相机100创建的微图像112更亮，因为光被聚焦 在更小的面积上。计算式照相机200中的微图像224区域的直径小一个因子，该因子是计 算式照相机200的小透镜222与主透镜232的光圈值之比。因此，对于微图像224，可以有 效地创建出在小透镜222的光圈值操作的非常快速的照相机。通过使用不止一个物镜232，相比于在类似光圈值操作的传统全光照相机，可以使 用小透镜阵列220中每个小透镜222下的光传感器210区域中的更多像素。在图4中使用 三个物镜232的示例性计算式照相机200中，每个小透镜222下的每个区域包括来自三个 物镜232的三幅微图像224。尽管各个微图像224在大小上类似于图3所示的全光照相机 100的单个微图像112，其中全光照相机100具有与图4的示例性计算式照相机200中的那 些透镜类似光圈值的透镜，但是这三幅微图像224共同组合以形成面积比全光照相机100 的单个微图像112大的微图像(也即，覆盖更多像素)。因此，计算式照相机200通过使用 光传感器210中的更多像素，实现了更好地利用数字照相机的分辨率的目标。
尽管图4的示例性照相机200采用三个物镜232，但是实施方式可以包括多于三 个物镜232的阵列。例如，其他实施方式可以使用2X2的物镜232阵列230，总计4个物 镜232 ；3X2的物镜232阵列230，总计6个物镜232 ；3X3的物镜232阵列230，总计9个 物镜232，等等，由此使用光传感器210上甚至更多像素，乃至几乎所有像素。图8A和图8B 以及图9A到图9F示出了具有可变数目和配置的物镜232的物镜阵列230的若干示例性实 施方式。图6A和图6B示出了使用20X20的物镜232阵列230、总计400个物镜232的实 施方式。也可以有使用2个物镜232的实施方式。尽管此处将实施方式通常描述为使用或 多或少的物镜232的方形或矩形阵列230，但是应当注意，也可以有使用物镜的其他布置的 实施方式，例如圆形、三角形、五边形、六边形和八边形阵列230，以及其他规则或不规则几 何形状的阵列。例如，一个实施方式可以使用圆形阵列230，其包括例如7个物镜232，其中 一个在中间，其他六个围绕中间的透镜布置。在计算式照相机200的实施方式中，物镜阵列230中的N个物镜232中的每一个 折射来自对象的光，其中N > 2。小透镜阵列220中的M个小透镜222中的每一个折射来自 每个物镜232的光，其中M > 2。在实践中，M也将> N，通常> N。每个小透镜222将光进 行分离以在小透镜222下的光传感器210区域上生成对应于N个物镜232的N个微图像。 因此，在光传感器210上总共捕获到N*M个微图像。光传感器210包括至少P个离散像素， 其中P = N*M。用于通过按照物镜232之间的距离来移动微图像以对微图像224进行排列的算法 有可能通过小透镜阵列220中的小透镜222来进行，其中每个小透镜将来自不同物镜232 的光线按照其方向进行分离，由此在光传感器210上创建对应于每个物镜的分离的微图像 224。如上所提到的，归因于计算式照相机200的多个物镜的“幻影”赝像可以按照以硬件、 软件或其组合实现的算法来进行校正。在图4的示例性计算式照相机200中，算法可以按 照物镜232之间的距离，通过将左边和右边的微图像224分别移动到右边和左边，来校正幻 影影响。例如，如果物镜232之间的距离等于小透镜阵列220中的38个小透镜222，则小透 镜222η下右边的微图像224向左移动38个小透镜222以替代在该小透镜222下创建的右 边的微图像224，并且小透镜222η下左边的微图像224向右移动38个小透镜222以替代 在该小透镜222下创建的左边的微图像224。此算法的变形可以用于安排或排列利用物镜 232的其他配置创建的微图像224，例如在使用3X3阵列230、总计9个物镜232的实施方 式中创建的微图像。上述用于对在计算式照相机200中创建的微图像224进行排列的算法，和/或用 于应用于计算式照相机200的实施例捕获的图像数据的其他图像处理算法，可以以硬件、 软件或其组合来实现。而且，此算法和/或用于应用于计算式照相机200的实施例捕获的 图像数据的其他图像处理算法可以在计算式照相机200中、在可以从计算式照相机200下 载或以其他方式传送原始图像数据的计算机系统或其他设备中，或者在二者中以硬件、软 件或其组合来实现。图11中示出了可以在其中实现此算法和/或用于应用于计算式照相 机200的实施例捕获的图像数据的其他图像处理算法(例如，使用所捕获的辐射信息来重 新对焦或以其他方式操纵捕获的图像的算法)的实施方式的示例性系统。图5示出了具有集成在照相机200中的各种其他元件的计算式照相机200的示例 性实施方式。在计算式照相机200的各种实施方式中，物镜阵列230、小透镜阵列220以及
8光传感器210可以配置以装配在不小于10X10X 10毫米3且不大于200 X 200 X 200毫米3 的体积内。在一个实施方式中，用于对在计算式照相机200中创建的微图像224进行排列的 算法和/或用于应用于计算式照相机200的实施例捕获的图像数据的其他图像处理算法， 可以在捕获数据处理模块260中实现。捕获数据处理模块260可以以硬件、软件或其组合 来实现。计算式照相机200的实施方式可以包括其他元件。例如，计算式照相机200可以 包括快门314。快门314可以位于物镜阵列230前面或后面。作为另一示例，计算式照相 机200可以包括一个或多个处理器300。作为又一示例，计算式照相机200可以包括供电 或电源304，诸如一个或多个电池。作为另一示例，计算式照相机200可以包括存储器存储 器件或系统302，用于存储捕获的图像数据和/或捕获的最终图像或诸如软件的其他信息。 在一个实施方式中，存储器302可以是可移动存储器件，诸如记忆棒。作为另一示例，计算 式照相机200可以包括屏幕306 (例如，LCD屏)，以用于在捕获之前查看照相机前面的场景 和/或用于查看以前捕获的图像。屏幕306也可以用于向用户显示一个或多个菜单或其他 信息。作为另一示例，计算式照相机200可以包括一个或多个I/O接口 312，诸如FireWire 或通用串行总线(USB)接口，以用于传送往来于外部设备(诸如计算机系统乃至是其他照 相机)的信息，例如捕获的图像、软件更新等等。作为另一示例，计算式照相机200可以包 括一个或多个控件310，例如用于控制照相机200的光学方面(诸如快门速度)的控件，用 于查看以及以其他方式管理和操纵存储在照相机上的存储器中的已捕获图像的一个或多 个控件，等等。计算式照相机200可以包括快门释放308，其被激活以捕获对象的图像。通 常，此处所描述的计算式照相机200的实施方式除了两个透镜阵列220和230以及光传感 器210之外，还可以包括通常在数字照相机或其他照相机(包括光场照相机和全光照相机) 中找到的任何其他类型的元件和特征，并且还可以包括附加的元件和特征。图6A和图6B示出了按照一个实施方式的、包括20X20的物镜阵列和小透镜阵 列的示例性计算式照相机。图6A和图6B中示出的计算式照相机200的实施方式使用 20X20的物镜阵列230，其包括例如布置为方形或矩形的总计400个物镜232。在一个实 施方式中，图6A和图6B的计算式照相机200可以实现为或多或少为立方体的、维度大约为 40X40X40毫米3 (mm3)的照相机。其他实施方式可以使用不同于示例性立方体或近似立方 体配置的其他维度和/或配置。计算式照相机200可以包括与在传统照相机中使用的快门 类似的快门，其可以位于物镜阵列230前面或后面，物镜阵列230可以用于在光传感器210 上捕获定时曝光。在计算式照相机200的此实施方式中，光通过20 X 20的物镜232阵列230 (总计 400个物镜232)进行折射。每个物镜232的直径约为2mm，焦距约为40mm，其对应于F/20。 在此光圈值，透镜232可以很容易制造为衍射受限的。基本上，任何镜头在高光圈值处都是 衍射受限的。而且，在圆形透镜的情况下，衍射弥散圆的直径为(1.22*X*F)，其中λ是光 的波长，F是光圈值。在此示例性情况下，λ = 500纳米(nm)，F = 20，其得到弥散半径为 12 微米(12 μ m)。在此示例性实施方式中，小透镜阵列220中的小透镜222的直径为20微米 (20 μ m)。因此，小透镜阵列220包括2000X2000个小透镜222，或者说四百万个小透镜。 结果，最终图像将具有20微米(20 μ m)的分辨率，或者说每毫米50行。此分辨率优于低光圈值传统照相机镜头的分辨率。在此示例性实施方式中，小透镜阵列220中的小透镜222的焦距为20微米 (20 μ m)。因此，小透镜222的光圈值为F/1。在此小尺寸下，基本上任何小透镜都是衍射受 限的。再次使用上述公式(1. 22* λ *F)，得到衍射斑为0.6微米。在此示例性实施方式中，假设光传感器210的像素214尺寸为1微米(1 μ m)，这 是业内可实现的。利用维度为40 X 40mm的光传感器210，原始图像将会是40，000X40, 000 =1. 6千兆像素。每个宏像素/微图像是20X20 = 400个像素214，其中一个像素214对 应于每个物镜232。类似于上面描述的按照物镜232之间的距离来移动像素的算法可以用 于校正幻影赝像。注意，在此多个物镜232的情况下，幻影可能使得原始图像看起来像个污 点ο 替代单个主照相机(物)透镜(例如传统SLR照相机中的主(物)透镜)的物镜 阵列230轻得多，并且可以薄至例如1mm，而图像具有相等乃至更好的质量。而且，物镜阵列 230的制造成本可以比传统高品质单镜头类型的物镜低。高性能的传统照相机物镜可能需 要花费几千美元，而且已经达到了它们的最优方案并且不太可能变得更便宜。因此，此处所 描述的计算式照相机200的实施方式可以比传统的单物镜照相机更加便宜地生产，同时产 生相等或更好质量的图像，此外还可以以比传统单镜头方案低得多的成本和尺寸/重量来 提供非常快速的照相机速度(也即，低光圈值F/1乃至更低)。而且，此处所描述的计算式 照相机200的实施方式是真正捕获光场的光场照相机，其不仅记录图像强度，而且记录每 个点处不同方向上的强度分布。图7A和图7B示出了按照一个实施方式的、包括2X2的物镜阵列和小透镜阵列的 示例性计算式照相机对数字图像的捕获和处理。图7A和图7B中示出的计算式照相机200 的实施方式的配置相对简单，以便有助于对使用照相机200来捕获和处理数字图像的图示 和描述。在此示例中，照相机200使用2X2的物镜阵列230，其提供总计4个物镜232，例 如可以布置成方形或矩形。图7A中的示例性小透镜阵列220包括IOX 10个或者说100个 小透镜222。因此，在此示例中，物镜232之间的距离会是5个小透镜。在捕获对象250的图像时，来自对象250的光由每个物镜232进行收集。来自每个 物镜232的光由小透镜阵列220中的每个小透镜222来收集。小透镜阵列220中的每个小 透镜222将来自物镜232的光线按照其方向进行分离，由此在光传感器210上创建对应于 每个物镜232的分离的微图像。在图7A中，对应于小透镜222η的光传感器210区域216η 被放大，以显示来自四个物镜232的光被分离成区域216η上的四个微图像。因此，每个物 镜232对应于区域216η的一个子区域。每个子区域可以包括一个或多个像素。由此，区域 216η包括至少四个像素。在图7Β中，光传感器210所捕获的原始图像数据可以由捕获数据处理模块260进 行处理，以生成对象250的数字图像270。该处理可以包括但不限于，按照物镜232的几何 关系，例如物镜232之间的距离，移动区域216的子区域处捕获的数据的至少部分以校正 “幻影”，如前面所描述的。在此示例中，物镜232之间的距离是五个小透镜；因此，子区域所 捕获的图像数据可以向右或向左移动五个区域，或者向上或向下移动五个区域。类似地，区 域216的子区域的图像数据可以由移动自不同区域的另一子区域的数据来替换。此外，算 法可以对不同小透镜222下不同区域上的不同像素上捕获的图像数据进行匹配和组合。
10
图8A和图8B示出了示例性物镜阵列230。在图8A中，示出了四个物镜232安置 在方形外壳234中。在图8B中，示出了四个物镜232安置在圆形外壳234中。注意，外壳 234可以是不透光的，使得来自对象的光仅通过物镜232到达小透镜阵列220。外壳234可 以由金属、合金、塑料、复合材料制成，或者通常可以由任何适合的物质或物质组合制成。外 壳234可以与计算式照相机200为一体，或者可以是可移动和可替换/可互换部件或模块。 而且，透镜232可以与外壳234为一体，或者可以是可移动和可替换的。如果外壳234是可 移动和可替换/可互换部件或模块，则其可以包括用于将物镜阵列230安装在兼容的照相 机外壳中的一个或多个机构。例如，外壳234可以是带螺纹的，和/或可以有一个或多个孔、 螺孔、螺栓或用于将物镜阵列230安装到兼容的照相机外壳中的其他机构。在一个实施方 式中，物镜阵列230可以具有一体化的快门。在其他实施方式中，快门可以是独立部件或者 可以与照相机外壳为一体。图9A-图9F示出了用于物镜阵列230的各种示例性配置。图9A示出了容纳有 10X10的物镜232阵列的方形物镜阵列230外壳。图9B示出了配置为具有圆角的方形的 物镜阵列230外壳。透镜232阵列包括45个透镜，其在外壳234中“打包”成大致为矩形 的几何形状以最小化透镜232之间的空间，其中有4行具有6个透镜，3行具有7个透镜。 图9C示出了具有8X 10的物镜232矩形阵列的方形物镜阵列230外壳。图9D到图9F示 出了具有安装在外壳234中的透镜阵列的各种配置的圆形物镜阵列230外壳。如图8A和图8B以及图9A-图9F所示，在计算式照相机200的各种实施方式中， 物镜232可以按照不同形状布置在物镜阵列230中。这些形状通常可以但不必须是规则的 几何形状。在至少某些实施方式中，规则的几何形状可以是多边形。在各种实施方式中，物 镜232的数目可以少于或等于10，000，不过也可以有使用超过10，000个物镜232的实施方 式。图8A-图8B和图9A-图9F中示出的物镜阵列230是示例性的而不旨在于限制。 还可以构想各种维度和配置的物镜阵列230。而且，还可以构想各种维度和配置的小透镜阵 列220。注意，有关图8A-图8B和图9A-图9F的示例性物镜阵列230的上述图示和讨论的 至少部分可以应用于小透镜阵列220的配置，不过小透镜阵列220可能倾向于具有比与小 透镜阵列220 —起使用的物镜阵列230中的透镜232更小且数量更多的小透镜222。在各种实施方式中，小透镜阵列220可以与计算式照相机200为一体，可以是可移 动和可替换/可互换部件或模块，或者可以与光传感器210为一体。在包括与光传感器210 为一体的小透镜阵列220的实施方式中，小透镜阵列/光传感器部件可以与计算式照相机 200为一体或者可以是可移动和可替换/可互换模块。在计算式照相机200的各种实施方式中，物镜阵列230、小透镜阵列220和光传感 器210可以配置以装配在不小于10X10X 10毫米3且不大于200 X 200 X 200毫米3的体积 内。在计算式照相机200的各种实施方式中，物镜阵列230中的物镜232的光圈值可以在 F/10到F/100 (含)之间，并且小透镜阵列220中的小透镜222的光圈值可以在F/0. 7到 F/2(含)之间。本文已经描述了物镜阵列230、小透镜阵列220和光传感器210的示例性物理特 性。而且，本文还针对物镜232和小透镜222单独地和组合地描述了其物理和光学特性(例 如，焦距、光圈值、维度等)。应当理解，这些物理和光学特性是示例性的，其不旨在于限制。
尽管图6B、图7A、图8A-图8B以及图9A-图9F将物镜阵列230中的透镜232和 小透镜阵列220中的小透镜222示出为圆形透镜，但是也可以使用除圆形之外的其他形状 的透镜232和/或小透镜222。例如，在实施方式中可以使用方形透镜和/或小透镜，或者 可以使用具有圆角的方形透镜。作为其他示例，可以使用三角形、矩形、六边形、八边形等的 透镜。而且，尽管在附图中通常将透镜232和小透镜222示出为具有两个凸面的传统透镜， 但是也可以使用其他配置的透镜，例如具有一个凸面和一个平面的透镜，或者具有一个凸 面和一个凹面的透镜。图10是描述按照一个实施方式的计算式照相机的操作的流程图。如500处所指 示的，物镜阵列中的N个物镜的每一个折射来自物体的光，其中N > 2。如502处所指示的， 小透镜阵列中的M个小透镜的每一个折射来自每个物镜的光，其中2。注意，在实践中， M也将> N,通常> N。如504处所指示的，每个小透镜将光进行分离以在小透镜下的光传感 器区域上生成对应于N个物镜的N个微图像。因此，在光传感器上总共捕获到N*M个微图 像。光传感器包括至少P个离散像素，其中P = N*M。如506处所指示的，这N*M个微图像可以按照物镜的几何关系、通过硬件、软件或 其组合所实现的算法进行处理以生成最终图像。用于处理原始图像数据的算法可以实现在 计算式照相机自身内部，或者备选地可以实现在分离的设备或计算机系统中，可以从计算 式照相机例如经由I/O接口(诸如FireWire或USB)或经由存储器传送(例如，经由记忆棒 或其他可移动存储器件)而向该分离的设备或计算机系统传送捕获的图像信息。除了用于 对原始图像数据进行处理以产生最终数字图像的算法之外，实施方式还可以包含以硬件和 /或软件实现的按照计算式照相机所捕获的辐射信息对图像数据执行各种功能的一个或多 个算法，诸如对失焦的图像进行自动重新对焦。示例性系统各种软件，包括但不限于用于对此处描述的计算式照相机200的各种实施方式所 捕获的图像数据进行处理的软件，其实施方式可以在可以与各种其他设备交互的一个或多 个计算机系统上执行。图11示出了一个这种计算机系统。在示出的实施例中，计算机系 统700包括一个或多个处理器710，其通过输入/输出(I/O)接口 730而耦合到系统存储 器720。计算机系统700还包括耦合到I/O接口 730的网络接口 740，以及一个或多个输 入/输出设备750，诸如光标控制设备760、键盘770、音频设备790和显示器780。在某些 实施例中，可以想到可以使用计算机系统700的单个实例来实现实施例，而在其他实施例 中，多个这种系统或构成计算机系统700的多个节点可被配置用于主控实施例的不同部分 或者实例。例如，在一个实施例中，某些元件可以通过计算机系统700的、与实现其他元件 的那些节点不同的一个或多个节点来实现。在各种实施例中，计算机系统700可以是包括一个处理器710的单处理器系统，或 包括若干处理器710 (例如，两个，四个，八个或另一个适合的数目)的多处理器系统。处理 器710可以是能够执行指令的任意适合的处理器。例如，在各个实施例中，处理器710可以 是实现各种指令集体系结构(ISA)诸如x86，PowerPC, SPARC或MIPSISA或任意其他适合 的ISA中的任意一种的通用或嵌入式处理器。在多处理器系统中，处理器710中的每一个 可以共同但不必然实现相同的ISA。系统存储器720可被配置为存储可由处理器710访问的程序指令和/或数据。在各个实施例中，可以使用任何适合的存储器技术诸如静态随机访问存储器(SRAM)，异步动 态RAM (SDRAM)，非易失性/闪存类存储器或任意其他类型的存储器来实现系统存储器720。 在示出的实施例中，实现诸如上面描述的用于对此处描述的计算式照相机200的各种实施 方式所捕获的图像数据进行处理的软件的希望功能的程序指令和数据被分别示出为作为 程序指令725和数据存储735而存储在系统存储器720中。在其他实施例中，程序指令和 /或数据可被接收、发送或存储在不同类型的计算机可访问介质上，或与系统存储器720或 计算机系统700分离的类似介质上。一般而言，计算机可访问介质可以包括存储介质或 存储器介质，诸如磁或光介质，例如通过I/O接口 730耦合到计算机系统700的盘或CD/ DVD-ROM。通过计算机可访问介质存储的程序指令和数据可被传输介质或信号诸如电、电磁 或数字信号而传输，其可以通过通信介质诸如网络和/或诸如可以通过网络接口 740实现 的无线链路来传递这些信号。在一个实施例中，I/O接口 730可被配置为协调处理器710、系统存储器720和设 备中的任意外围设备(包括网络接口 740或其他外围接口，诸如输入/输出设备750)之间 的I/O流量。在某些实施例中，I/O接口 730可以执行任意必需的协议、定时或其他数据转 换，以便将数据信号从一个部件(例如，系统存储器720)转换为适用于由另一部件(例如， 处理器710)使用的格式。在某些实施例中，I/O接口 730可以包括对通过各种类型的外围 总线，诸如外围组件互连(PCI)总线标准的变体或通用串行总线(USB)标准，而附加的设备 的支持。在某些实施例中，I/O接口 730的功能可被划分为两个或多个单独组件，诸如例如 北桥和南桥。另外，在某些实施例中，I/O接口 730的某些或全部功能，诸如到系统存储器 720的接口，可被直接包含在处理器710中。网络接口 740可被配置为允许在计算机系统700和附接至网络的其他设备(诸如 其他计算机系统)之间、或是在计算机系统700的节点之间交换数据。在各种实施例中， 网络接口 740可以通过有线或无线通用数据网络，诸如例如任何适合的以太网网络；通过 电信/电话网络，诸如模拟语音网络或数字光纤通信网络；通过存储区域网络，诸如Fibre Channel SAN，或通过任何其他适合的网络和/或协议类型来支持通信。输入/输出设备750可以包括从计算式照相机200输入以供接收由此处所描述的 计算式照相机200的实施方式捕获的图像数据。在有些实施方式中，输入/输出设备750可 以包括一个或多个显示终端、键盘、小键盘、触摸板、扫描设备、语音或光学识别设备，或适 用于由一个或多个计算机系统700输入或取回数据的任意其他设备。多个输入/输出设备 750可存在于计算机系统700中，或可以分布在计算机系统700的各个节点上。在某些实施 例中，类似的输入/输出设备可与计算机系统700分开，并且可以通过有线或无线连接，诸 如通过网络接口 740，而与计算机系统700的一个或多个节点交互。如图11所示，存储器720可以包括配置为实现软件(包括但不限于用于对此处描 述的计算式照相机的各种实施方式捕获的图像数据进行处理的软件)的程序指令725，以 及包括可由程序指令725访问的各种数据的数据存储735。数据存储735可以包括可用于 这些实施例的数据。在其他实施例中，可以包括不同的软件元件和数据。本领域的技术人员应当理解，计算机系统700仅是说明性的，而并非旨在限制此 处描述的计算式照相机200的范围。具体地，计算机系统和设备可以包括可以执行所指出 的功能的硬件或软件的任意组合，包括但不限于计算机、网络设备、互联网装置、PDA等。计算机系统700还可以连接到未示出的其他设备，或取而代之作为单机系统操作。另外，在某 些实施例中，由示出的部件提供的功能可被组合在更少的部件内或分布在附加部件上。类 似地，在某些实施例中，可以不提供示出的实施例中的某一些的功能，和/或可以获得其他 附加的功能。本领域的技术人员应当理解，虽然各项被示出为在使用时被存储在存储器或存储 设备上，但是出于存储器管理和数据完整性的目的，在存储器和其他存储设备之间可以传 递这些项或它们的部分。备选地，在其他实施例中，可以在另一设备上的存储器中执行软 件部件中的某一些或全部，并且通过计算机间通信与示出的计算机系统通信。系统部件或 数据结构中的某一些或全部还可以被存储(例如，作为指令或结构化数据)在计算机可访 问介质上或由适当驱动读取的便携式制品上，上面已经描述了它们的各种例子。在某些实 施例中，存储在与计算机系统700分离的计算机可访问介质上的指令可通过传输介质或信 号，诸如电信号、电磁信号或数字信号，而经由通信介质(诸如网络和/或无线链路)传输 到计算机系统700。各种实施例还可以包括在计算机可访问介质上接收、发送或存储根据前 述描述实现的指令和/或数据。因此，可以利用其他计算机系统配置来实施本发明。Mrk各种实施例还可以包括在计算机可访问介质上接收、发送或存储根据前述描述实 现的指令和/或数据。一般而言，计算机可访问介质可以包括存储介质或存储器介质，诸 如磁或光学介质，例如，盘或DVD/CD-R0M，易失性或非易失性介质，诸如RAM(例如，SDRAM， DDR, RDRAM, SRAM等)，ROM等，以及传输介质或信号，诸如通过通信介质诸如网络和/或无 线链路传递的电、电磁或数字信号。图中示出并且在此处描述的各种方法表示这些方法的示例性实施例。可以利用软 件、硬件或其组合来实现这些方法。方法的顺序可以改变，并且各个元件可以增加、重新排 列、组合、省略、修改等。在本公开的教益下，对于本领域的技术人员很明显可以做出各种修改和改变。本 发明旨在包括所有这些修改和改变，并且因此上述描述被认为是说明性的而不是限制意义 的。
权利要求
一种照相机，包括光传感器，其配置用于捕获投射到所述光传感器上的图像；包括N个分立物镜的物镜阵列，其中N是大于或等于2的整数，其中每个物镜配置用于折射来自位于所述照相机的光圈前面的对象的光；以及位于所述物镜阵列和所述光传感器之间的小透镜阵列，其中所述小透镜阵列包括M个小透镜，其中M是大于或等于2的整数，其中所述小透镜阵列中的每个小透镜配置用于折射来自所述物镜阵列中的N个物镜的每一个的光；以及将折射自所述N个物镜的光进行分离，并将分离的光投射到对应于所述小透镜的光传感器区域的N个分离的子区域上，由此将所述对象的N个分离图像投射到所述光传感器的所述区域上。
2.如权利要求1的照相机，其中所述光传感器是电荷耦合器件(CCD)。
3.如权利要求1的照相机，其中所述光传感器被配置用于捕获通过所述多个小透镜而 投射到所述光传感器上的N*M个分离图像。
4.如权利要求3的照相机，其中所述照相机被配置用于向模块提供所捕获的通过所述 多个小透镜而投射到所述光传感器上的N*M个分离图像，其中所述模块配置用于按照用于 根据所述物镜阵列中的N个物镜的几何关系来对所述N*M个分离图像进行排列和组合的算 法，对所述N*M个分离图像进行排列和组合以生成所述对象的最终图像。
5.如权利要求4的照相机，其中所述模块进一步配置用于从捕获的所述对象的N*M个 分离图像来确定用于所述对象的图像的辐射信息。
6.如权利要求4的照相机，其中所述模块是所述照相机的部件。
7.如权利要求4的照相机，其中所述模块实现在与所述照相机分离的计算设备中。
8.如权利要求1的照相机，其中所述物镜阵列、所述小透镜阵列以及所述光传感器被 配置以装配在不小于10 X 10 X IOmm3且不大于200 X 200 X 200mm3的体积内。
9.如权利要求1的照相机，其中每个物镜的光圈值为F/10到F/100，每个小透镜的光 圈值为F/0. 7到F/2。
10.如权利要求1的照相机，其中所述物镜按照规则几何形状布置在所述物镜阵列中。
11.如权利要求10的照相机，其中所述规则几何形状是多边形，并且其中物镜的数目 小于或等于10,000。
12.如权利要求1的照相机，其中所述光传感器至少包括P个离散像素，其中P= N*M。
13.如权利要求1的照相机，其中所述光传感器的像素大小为1到5微米。
14.如权利要求1的照相机，其中所述照相机的光圈值为F/0.7到F/2。
15.如权利要求1的照相机，其中所述照相机进一步包括用于存储由所述照相机捕获 的图像信息的存储器。
16.一种用于捕获对象的数字图像的方法，包括在照相机的物镜阵列处折射来自所述对象的光，其中所述物镜阵列包括多个物镜，其 中每个物镜配置用于折射来自位于所述照相机的光圈前面的所述对象的光；在位于所述物镜阵列和光传感器之间的小透镜阵列的多个小透镜的每一个处，折射来 自所述物镜阵列中的所述多个物镜的每一个的光，其中所述光传感器配置用于捕获投射到 所述光传感器上的图像；在所述小透镜阵列中的每一个小透镜处，将折射自所述多个物镜的光进行分离，并将 分离的光投射到对应于所述小透镜的光传感器区域的多个分离的子区域上，由此将所述对 象的多个分离图像投射到所区域的多个分离的子区域上，由此将所述对象的多个分离图像 投射到所述光传感器的所述区域上；以及在所述光传感器处，捕获通过所述多个小透镜而投射到所述光传感器上的多个分离图 像。
17.如权利要求16的方法，进一步包括按照用于根据所述物镜阵列中的所述多个物 镜的几何关系来对所述多个分离图像进行排列和组合的算法，对所述多个分离图像进行排 列和组合以生成所述对象的最终数字图像。
18.如权利要求16的方法，进一步包括从捕获的所述对象的多个分离图像来确定用于 所述对象的图像的辐射信息。
19.如权利要求16的方法，其中所述物镜阵列、所述小透镜阵列以及所述光传感器被 配置以装配在不小于10 X 10 X IOmm3且不大于200 X 200 X 200mm3的体积内。
20.如权利要求16的方法，其中每个物镜的光圈值为F/10到F/100，每个小透镜的光 圈值为F/0. 7到F/2。
21.如权利要求16的方法，其中所述物镜按照规则几何形状布置在所述物镜阵列中。
22.如权利要求21的方法，其中所述规则几何形状是多边形，并且其中物镜的数目小 于或等于10,000。
23.如权利要求16的方法，其中所述光传感器至少包括P个离散像素，其中P= N*M。
24.如权利要求16的方法，其中所述光传感器的像素大小为1到5微米。
25.如权利要求16的方法，其中所述照相机的光圈值为F/0.7到F/2。
全文摘要
用于包含两个透镜阵列的快速(低光圈值)计算式照相机的方法和装置。阵列包括位于光传感器前面的小透镜阵列以及具有两个或更多透镜的物镜阵列。物镜阵列中的每个透镜捕获来自对象的光。小透镜阵列中的每个小透镜捕获来自每个物镜的光，并将捕获的光进行分离以在小透镜下的光传感器区域上投射对应于物镜的微图像。由此，多个微图像被投射到光传感器上并被其捕获。捕获的微图像可以按照物镜的几何关系进行处理，对微图像进行排列以生成最终图像。可以根据照相机所捕获的辐射信息对图像数据应用一个或多个其他算法，诸如对失焦图像的自动重新对焦。
文档编号G02B3/00GK101874400SQ200880117832
公开日2010年10月27日 申请日期2008年10月16日 优先权日2007年10月18日
发明者T·G·格奥尔吉维 申请人:奥多比公司