高分辨率薄多孔径成像系统的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请设及美国临时专利申请No. 61/730，570且要求该申请的优先权，该临时专 利申请具有相同的标题且在2013年11月28日提交，其通过引用全部合并于此。
技术领域
[0003] 本文公开的实施例总体上设及多孔径成像（"MAI")系统(其中"多"设及两个或更 多孔径），并且更特别地设及具有高颜色分辨率和/或光学变焦的薄MAI系统。
【背景技术】
[0004] 集成到移动(蜂窝）电话、个人数字助理和音乐播放器中的小数字照相机正变得无 处不在。每年，移动电话制造商将更多成像特征添加到其手持机，使得运些移动成像设备会 聚于顾客从单机数字静态照相机所期望的特征集合和图像质量。同时，运些手持机的尺寸 在收缩，使得在添加更多成像特征的同时相应地降低照相机的总尺寸成为必要。光学变焦 是许多数字静态照相机的一个主要特征，但它是移动电话照相机通常缺乏的特征，运主要 归因于移动成像设备中的照相机高度约束、成本和机械可靠性。
[0005] 机械变焦解决方案在数字静态照相机中是常见的，但是典型地对于大多数拍照电 话而言太厚。此外，运样的系统中的F#(F数)典型地随着变焦倍数(ZF)而增大，导致差的光 灵敏度和较高的噪声(尤其是在低光方案中）。在移动照相机中，由于其图像传感器的小像 素尺寸W及与F#关联的衍射极限光学器件的原因，运也导致分辨率损失。
[0006] -种在移动照相机中实现变焦的方式是依照希望的ZF对图像过采样并且对其裁 剪和插值。尽管运种方法在机械上是可靠的，但是由于与其关联的大量像素的原因，它导致 厚的光学器件和昂贵的图像传感器。举例而言，如果有人对实现具有X3 ZF的12兆像素照相 机感兴趣，那么他需要108兆像素的传感器。
[0007] 另一种实现变焦W及增大输出分辨率的方式是使用双孔径成像（"DAI")系统。在 其基本形式中，DAI系统包括可W由一个或两个光学模块形成的两个光学孔径W及抓取一 幅或多幅光学图像并且将数据转换到其中可W处理和存储该图像的电子域中的一个或两 个图像传感器(例如CMOS或CCD)。
[0008] 具有改进的分辨率的薄MAI系统的设计要求仔细选择参数加上先进的信号处理算 法W支持高质量图像的输出。已知的MAI系统，尤其是具有短光路的MAI系统，经常为了照相 机模块高度而权衡功能和属性，例如变焦和颜色分辨率或者图像分辨率和质量。因此，需要 并且有利的是具有运样的薄MAI系统，所述薄MAI系统产生具有高分辨率(且特别是高颜色 分辨率)的图像连同具有变焦功能。
[0009] 而且，与现有的MAI系统一起使用的已知的信号处理算法经常在组合来自不同孔 径的信息时通过引入伪像而进一步降低输出图像质量。运些伪像的主要来源是图像配准过 程，该过程必须找到通常由具有不同颜色滤波器阵列(CFA)的不同传感器捕获的不同图像 之间的对应性。因此，需要且有利的是具有一种图像配准算法，该算法对于照相机使用的 CFA类型更鲁棒并且可W产生多孔径系统捕获的图像之间的更好的对应性。
【发明内容】
[0010]本文公开的实施例教导使用多孔径成像系统W实现薄照相机(具有小于大约9mm 的短光路)和/或在运样的薄照相机中实现光学变焦系统。本文公开的实施例进一步教导了 优化颜色信息的新颜色滤波器阵列，其可W在具有或者没有变焦的多孔径成像系统中实 现。在各个不同的实施例中，本文公开的MAI系统包括至少两个传感器或者划分成至少两个 区域的单个传感器。在下文中，说明书提及"两个传感器"，理解为它们可W表示单个物理传 感器的片段(成像器忍片）。示例性地，在双孔径成像系统中，左传感器(或者单个传感器的 左侧)捕获来自第一孔径的图像，而右传感器(或者单个传感器的右侧)捕获来自第二孔径 的图像。在本文公开的各个不同的实施例中，一个传感器是"Wide(宽r传感器，而另一个传 感器是"Tele(远摄r传感器，参见例如图IAnWide传感器包括单个标准CFA或者两个不同的 CFA:置于传感器的"重叠区域"中的具有较高颜色采样率的非标准CFA(参见下文对于图IB 的描述）W及重叠区域周围的具有较低颜色采样率的标准CFA。当包括单个标准CFA时，该 CFA可W覆盖整个Wi de传感器区域。"标准CFA"可W包括RGB (Bayer)模式或者非Bayer模式， 例如RG肥、CYYM、CYGM、RGBW# 1、RGBW#2或RGBW#3。因此，可W参考。标准Bay er"或。标准非 Bayer"模式或滤波器。当在本文中使用时，"非标准CFA"指的是在其模式方面与上面列为 "标准"的CFA不同的CFA。示例性非标准CFA模式可W包括微单元的重复，其中颜色滤波 器顺序是RR-BB、RB-BR或YC-CY，其中Y =黄色=绿色+红色，C =青色=绿色+蓝色；3x3微单 元的重复，其中颜色滤波器顺序是GBR-RGB-BRG; W及6x6微单元的重复，其中颜色滤波器顺 序是
[0015] Tele传感器可W是CleaH清空）传感器（即没有颜色滤波器的传感器）或者标准 CFA传感器。两个(或者超过两个）传感器W及两个（或者超过两个)Wide和Tele"子集照相 机"（或者简称"子集"）的运种布置设及两个Wide和Tele子集。除了其中两幅图像由单个传 感器捕获(抓取）（上面的实例）的单个传感器的情况之外，每个传感器提供单独的图像(分 别称为Wide图像和Tele图像）。在一些实施例中，变焦通过融合(fuse)运两幅图像而实现， 导致较高的颜色分辨率，该分辨率接近高质量双孔径变焦照相机的颜色分辨率。本文公开 的一些薄MAI系统因此提供了变焦、超分辨率、高动态范围和增强的用户体验。
[0016] 在一些实施例中，为了达到光学变焦能力，相同场景的不同放大率图像由每个子 集抓取，导致两个子集之间的视场(FOV)重叠。在一些实施例中，两个子集具有相同的变焦 (即相同的F0V)。在一些实施例中，Tele子集是较高变焦子集，并且Wide子集是较低变焦子 集。在MAI系统抓取的两幅图像上应用后处理W便融合和输出一幅依照用户ZF输入请求处 理的融合(组合)输出变焦图像。在一些实施例中，融合图像的分辨率可W高于Wide/Tele传 感器的分辨率。作为融合过程的部分，可W将上采样应用于Wide图像W便将它扩展到Tele 图像。
[0017] 在一个实施例中，提供了一种多孔径成像系统，该系统包括:提供第一图像的第一 照相机子集，该第一照相机子集具有第一传感器，该第一传感器具有至少部分地覆盖有非 标准CFA的第一多个传感器像素，该非标准CFA用来相对于标准CFA中的相同颜色采样率增 大特定颜色采样率;提供第二图像的第二照相机子集，该第二照相机子集具有第二传感器， 该第二传感器具有或者Clear或者覆盖有标准CFA的第二多个传感器像素；W及处理器，其 被配置成将第一和第二图像处理成组合输出图像。
[0018] 在一些实施例中，第一和第二照相机子集具有相同的F0V，并且非标准CFA可W覆 盖包括第一传感器的所有像素的重叠区域，从而提供增大的颜色分辨率。在一些运样的实 施例中，处理器进一步被配置成在将第一和第二图像处理成组合输出图像期间，对从第一 和第二图像获得的各第一和第二亮度(Luma)图像配准，配准的第一和第二亮度图像与颜色 信息一起用来形成组合输出图像。在一个实施例中，配准包括对于第一亮度图像中的每个 像素找到第二亮度图像中的相应像素，由此通过将来自第二图像的信息传递至第一图像而 形成输出图像。在另一个实施例中，配准包括对于第二亮度图像中的每个像素找到第一亮 度图像中的相应像素，由此通过将来自第一图像的信息传递至第二图像而形成输出图像。
[0019] 在一些实施例中，第一照相机子集具有第一F0V，第二照相机子集具有比第一FOV 更小的第二F0V，并且非标准CFA覆盖捕获第二FOV的第一传感器上的重叠区域，从而提供光 学变焦和增大的颜色分辨率二者。在一些运样的实施例中，处理器进一步被配置成在将第 一和第二图像处理成组合输出图像期间且基于ZF输入对从第一和第二图像获得的各第一 和第二亮度图像配准，配准的第一和第二亮度图像与颜色信息一起用来形成组合输出图 像。对于限定比第二FOV更大的FOV的ZF输入而言，配准包括对于第一亮度图像中的每个像 素找到第二亮度图像中的相应像素，并且所述处理包括通过将来自第二图像的信息传递至 第一图像而形成输出图像。对于限定比第二FOV更小或者与其相等的FOV的ZF输入而言，配 准包括对于第二亮度图像中的每个像素找到第一亮度图像中