。如果选择的ZF大于Tele和Wide照相机的焦距之比,那么将Tele图像设置为主要 图像并且将Wide图像设置为辅助图像。如果选择的ZF小于或等于Tele和Wide照相机的焦距 之比,那么将Wide图像设置为主要图像并且将Tele图像设置为辅助图像。在与变焦倍数无 关的另一个实施例中,Wide图像总是主要图像,并且Tele图像总是辅助图像。配准阶段的输 出是将Wide图像像素索引与匹配的Tele图像像素索引关联的图。
[0062] 4.组合成高分辨率图像
[0063] 在该最终步骤中,主要和辅助图像用来产生高分辨率图像。可W区分若干情况:
[0064] a.如果Wide图像为主要图像,并且Tele图像从Clear传感器生成,那么计算 Lumawide并且在运两幅图像之间的重叠区域中用LumaTeie代替它或者依照配准图Luma日Ut = cl*Lumawide+c巧LumaTeie对它平均W便创建匹配相应的像素的辉度输出图像。Cl和c2的值可 W在图像中的不同像素之间变化。于是,从Luma血t W及Rwide、Gwide和Bwide计算输出的RGB值。 [00化]b.如果Wide图像是主要图像并且Tele图像从CFA传感器生成,那么计算LumaTeie并 且依照4a中描述的流程在两幅图像之间的重叠区域中将它与Lumawide组合。
[0066] C.如果Tele图像为从Clear传感器生成的主要图像,那么从LumaTeie图像W及Rwide、 Gwide和Bwide计算输出的RGB值(依照配准图匹配像素)。
[0067] d.如果Tele图像为从CFA传感器生成的主要图像,通过仅仅使用Tele图像数据或 者通过也组合来自Wide图像的数据计算输出的RGB值(依照配准图匹配像素)。该选择取决 于变焦倍数。
[0068] 配准的Wide和Tele图像的某些部分用来基于输出图像的ZF生成输出图像。在一个 实施例中,如果输出图像的ZF限定了比Te 1 eFOV更小的FOV,那么将融合的高分辨率图像裁 剪到需要的视场,并且应用数字插值W便将图像升尺度到需要的输出图像分辨率。
[0069] 用于重叠区域的示例性且非限制性像素插值规范
[0070] 图 2
[0072] 为了重建缺失的R22像素,执行R22=(R31+R13)/2。对于所有缺失的蓝色像素执行 相同的操作。
[0073] 图3
[00巧]为了重建缺失的B22像素,执行B22=(B12+B21+B32+B23)/4。对于所有缺失的红色 像素执行相同的操作。
[0076]图4
[0078] 为了重建缺失的C22像素,执行C22=(C12+C21+C32+C23)/4。对于所有缺失的黄色 像素执行相同的操作。
[0079] 图5
[0080] 情况1:W是中屯、像素
[0082] 为了重建缺失的22像素,执行W下计算:
[0083] B22 = (B12+B32)/2
[0084] R22 = (R21+R23)/2
[0085] G22 = (W22-R22-B22)(假设W包括相同数量的R、G和B颜色)。
[00化]情况2:R22是中屯、像素
[0088] 为了重建缺失的22像素,执行W下计算:
[0089] B22 = (Bll+R33)/2
[0090] W22 = (2*W21+W24)/3
[0091] G22=(W22-R22-B22)(假设W包括相同数量的R、G和B颜色)。对于蓝色作为中屯、像 素,执行相同的操作。
[0092] 图 6
[0094]为了重建缺失的22像素,执行W下计算:
[00 巧]B22 = (B12+B32)/2
[0096] R22 = (R21+R23)/2〇
[0097] 为了重建缺失的32像素,执行W下计算:
[0098] G32 = (2*G31+2*G22+G43)/5
[0099] R32 = (R41+2*R42+2*R33+R23+R21)/7 〇
[0100] 图7
[0102] 为了重建缺失的22像素,执行W下计算:
[0103] 622 = (2地 12+2 地 23+B31)/5
[0104] R22 = (2*R21+2*R32+R13)/5
[0105] 对于所有其他缺失的像素,类似地计算。
[0106] 图8
[0108] 为了重建缺失的22像素,执行W下计算:
[0109] 622 = (2地 12+2 地 32+B13)/5
[0110] R22 = (2*R21+2*R23+Rll)/5〇
[0111] 为了重建缺失的32像素,执行W下计算:
[0112] G32 = (2*G22+G52)/3
[0113] R32 = (2*R33+2*R42+R41+R21+R23)/7〇
[0114] 图9
[0116] 为了重建缺失的22像素,执行W下计算:
[0117] B22 = (B12+B32+B23+B21)/4 [011 引 R22 = (Rll+R13+R31+R33)/4。
[0119] 为了重建缺失的32像素,执行W下计算:
[0120] G32 = (2*G22+G52)/3 [01 別]R32 = (R42+R31+R33)/3。
[0122]具有改进的颜色分辨率的=孔径变焦成像系统
[0123] 如前面所提到的,本文公开的多孔径变焦或者非变焦成像系统可W包括超过两个 孔径。图11A-11B中示出了 S孔径成像系统的一个非限制性且示例性的实施例1100。系统 1100包括第一 Wide子集照相机1102(示例性地具有XI)、第二Wide子集照相机(示例性地具 有Xl. 5且称为"Wide-Tele"子集似及Tele子集照相机(示例性地具有X2)。图1IA示出了由 成像系统1100捕获的示例性图像,而图IlB示意性地图示出分别属于Wide、Wide-TeIe和 Tele子集的标记为1102、1104和1106的=个传感器。图IlB也示出了每个传感器中的CFA布 置:在其包括重叠区域和非重叠区域的意义上,传感器1102和1104类似于上面参照图2-9中 任何一个描述的Wide传感器。重叠区域包括非标准CFA。在运两个Wide传感器中,非重叠区 域可W具有Clear模式或者标准CFA。因此,任一Wide子集都不仅仅是Clear通道照相机。 Tele传感器可W是Clear的或者具有标准Bayer CFA或标准非Bayer CFA。在使用中,利用成 像系统1100获取图像并且如下进行处理:依照每个重叠区域中的特定CFA模式对Wide和 Wide-Tele传感器的重叠区域像素执行去马赛克。运些传感器中的每一个中的重叠和非重 叠像素子集可能需要不同的去马赛克。上面给出了用于图2-9中所示的Wide传感器的重叠 区域的示例性且非限制性去马赛克规范。目的在于重建每一个像素中的缺失的颜色。在其 中Tele子集传感器不仅仅是Clear的情况下,也执行去马赛克。运种方式获取的Wide和 Wide-Tele子集彩色图像将具有保持比标准CFA模式的分辨率更高的分辨率的颜色(在重叠 区域)。接着,将利用Tele传感器获取的Tele图像配准(映射巧Ij对应的Wide图像。接着,处理 来自Wide、Wide-Tele和Tele图像的数据W便形成高质量变焦图像。在其中Tele子集仅仅是 Clear的情况下,从Tele传感器获取高亮度分辨率,并且从Wide传感器获取颜色分辨率。在 其中Tele子集包括CFA的情况下,从Tele子集获取颜色和亮度分辨率二者。此外,从Wide传 感器获取颜色分辨率。融合图像的分辨率可W高于运两个传感器的分辨率。
[0124] 尽管根据某些实施例W及大体关联的方法描述了本公开,但是运些实施例和方法 的变动和置换对于本领域技术人员将是清楚明白的。例如,可W依照本文阐述的原理构建 和使用具有超过两个Wide或Wide-Tele子集(和传感器)或者具有超过一个Tele子集(和传 感器)的多孔径成像系统。类似地,可W依照本文阐述的原理构建和使用具有超过两个传感 器的非变焦多孔径成像系统,所述传感器中的至少一个具有非标准CFA。本公开应当被理解 为不受本文描述的具体实施例限制,而是仅仅由所附权利要求书的范围限制。
【主权项】