增强图像分辨率的成像系统和方法
【技术领域】
[0001]本发明涉及利用多个彩色图像传感器和多个多自由度致动器来增强彩色图像分辨率的成像系统。特别地，本发明涉及进一步利用光束分裂和图像配准来实现图像分辨率增强的成像系统。
【背景技术】
[0002]通过成像系统来增强彩色图像分辨率的技术分为四种类型。
[0003]第一种类型涉及到固态CXD (CXD，电荷耦合元件)、或者CMOS (CMOS，互补金属氧化物半导体)图像传感器、或者固态感光传感器的发展，固态感光传感器包括由多个光电检测器组成的CFA(CFA，色彩滤镜阵列)，也被称为有源像素传感器，在有源像素传感器的平面上设置有感光像素阵列。图像传感器平面上的光电检测器越多，图像传感器的图像分辨率越高。为了增强相机的图像分辨率，可以致力于发展具有许多光电检测器的图像传感器，并将此种图像传感器应用于相机。此种方法的优点在于对相机的改变极小。此种方法的缺点在于随着相机规模不断扩大，即使不是以指数方式，硅的收率也是急剧衰变。尽管大家都知道可以通过降低每个光电检测器及其相关集成电路的尺寸的方式来增加图像传感器上光电检测器的数量，但此种方式导致电路板上不同元件的间隔很短，从而导致不期望的电气串扰及由于高密度产生的低良率，因此需要较高的制造成本。
[0004]第二种类型为通过移动图像传感器来增强彩色图像的分辨率。这种技术被称为“像素移动”。这种方法为在图像传感器的像素尺寸内移动图像传感器。对于彩色图像传感器来说，这种技术增强了显色性，降低了混叠过滤的需求，因此改善了合成图像的质量。现有的利用“像素移动”技术的相机产品都宣称相机产品的图像分辨率至少翻倍，例如，当使用像素数量为N*M(其中N，M>0)的图像传感器时，合成图像的分辨率至少为2N*2M个像素，是原始分辨率的四倍。尽管这种方法可以改善输出图像的色彩及混叠，实际的细节及对比并不接近于在像素移动方法中使用四倍于原始图像分辨率的图像传感器的质量。并且，由于重复移动及图像传感器的曝光时间，这种像素移动方法会对相机的合成帧率产生影响。US5402171、US6678000、US5781236、US6753906 及 US6888563 有揭露这方面的技术。US8072502有揭露像素移动技术的延伸。为了能覆盖较大场景，这种方法为在图像传感器的像素阵列尺寸内移动图像传感器，而不是在图像传感器的像素尺寸内移动图像传感器。这种方法对相机的影响在于移动图像传感器的时间降低了相机输出的帧率。并且，这种方法不适用于拍摄移动的物体。
[0005]第三种类型为相对相机的图像传感器移动相机镜头的位置，或者利用多个镜头和多个图像传感器拍摄同一场景的不同部分。每一张拍摄的图像代表物体的一部分，然后将所有的图像合成产生合成图像。这种技术的不同形态在US7123292、US7184091及CN102821238A 中有揭露。
[0006]第四种类型为分裂光束，并且利用多个彩色图像传感器来捕获所得的多个分束。这种单一镜头成像系统将入射光分裂，在多个彩色图像传感器上产生多个图像。在一个实例中，捕获的图像是同一场景的图像，但焦距与深度是不同的。然后将所有捕获的图像合成以产生高分辨率图像。通常，其中一张图像被选为第一张图像，其他图像衔接第一张图像来形成一张高分辨率的图像。这种技术利用的图像传感器可以为CFA传感器、全色传感器(也被称为亮度传感器)。利用这种技术，为了达到成像系统的延伸的动态范围，在设置时多个图像传感器的动态范围可能不同。US8619368、US5159455、US20080030611及US4323925有揭露这种技术。
[0007]尽管上面已经描述了四种类型的技术，仍有必要提供一种改进的技术，以增强图像分辨率。
【发明内容】
[0008]本发明一方面在于提供一种利用像素至像素配准的成像系统，以增强彩色图像的分辨率。本发明的成像系统包括相机镜头，用于收集入射光束以输出成像光束。本发明的系统包括多个分束器，每一分束器包括用于将光束分裂成两束或多束的光学元件，其中一个分束器用于接收成像光束。本发明的系统还包括多个彩色图像传感器，每一彩色图像传感器用于从其中一分束器接收分裂光束，其中，彩色图像传感器各自用不同的焦距感应同一场景，以产生多张捕获的图像。彩色传感器的设置使得捕获的图像间可存在或不存在重叠。除此之外，本发明的系统还包括多个多自由度致动器。每一致动器连接单一彩色图像传感器，并且相对传送分裂光束至单一彩色图像传感器的分束器平移和旋转单一彩色图像传感器。本发明的系统还包括计算单元，计算单元包括一个或多个处理器和一个或多个存储单元。计算单元被配置成:计算彩色图像传感器捕获的图像之间的几何变换以配置多自由度致动器，使得通过相对分束器平移和旋转彩色图像传感器的方式对齐彩色图像传感器；以及对捕获的图像进行亮度统一以输出合成图像。经过对齐和亮度统一的合成图像为场景的具有像素至像素配准的高分辨率图像。合成图像的分辨率最好大于任何捕获的图像的分辨率。
[0009]每一彩色图像传感器可以为CMOS图像传感器、感光阵列或者具有色彩滤镜阵列的电荷耦合元件。每一彩色图像传感器可以为没有曲率半径的平面传感器，或者为有曲率半径的弧形传感器。
[0010]多自由度致动器可在三维正交空间内平移任何一个彩色图像传感器。可选的和有利的，多自由度致动器被配置成以小于彩色图像传感器的像素尺寸的移动精度平移及/或旋转彩色图像传感器。在一种选择中，多自由度致动器被配置成使得彩色图像传感器的对齐能实现连续和非连续的拜耳模板。致动器可被配置成使得两个或多个彩色图像传感器以相同的像素配准对齐以及不在同一时间捕获图像，以实现高速成像及/或高动态范围成像。多自由度致动器也可被配置为调整相机镜头至每一彩色图像传感器的移动距离，因此捕获的图像同时都具有可选择的聚焦深度。
[0011]计算单元被进一步配置成具有以下一个或多个配置:在输出合成图像前执行图像裁剪；输出高分辨率图像，高分辨率图像由捕获的图像组成，在拜耳模板中具有像素至像素匹配；利用来自彩色图像传感器的原始数据计算几何变换以驱动多自由度致动器；以及在计算几何变换时不利用经过颜色插值的捕获的图像。计算单元可进一步包括一个或多个现场可编程门阵列、特定用途集成电路芯片和复杂可编程逻辑器件。
[0012]在一实施例中，单一彩色图像传感器包括设置在单一图像传感器的平面上的感光阵列，所述平面平行于传送分裂光束至单一彩色图像传感器的分束器的一面。单一彩色图像传感器在所述平面上是可旋转的。
[0013]在另一选择中，分束器相对彼此固定。
[0014]本发明的其他方面通过以下描述的实施例进行揭露。
【附图说明】
[0015]本发明的特征及优点通过以下结合附图进行的详细描述来体现，附图包括:
[0016]图1为本发明一种实施例中利用多个彩色图像传感器及多个多自由度致动器的成像方法的图示；
[0017]图2为本发明一种实施例中利用多个彩色图像传感器及多个多自由度致动器的成像方法的系统方框图；
[0018]图3为本发明一种实施例中利用多个图像传感器及多个位置致动器的成像方法的流程图；
[0019]图4为本发明一种实施例中利用SMO(SMO，单入多出)纤维光锥的成像方法的图示;
[0020]图5为本发明一种实施例中利用SMO纤维光锥的成像方法的系统方框图；
[0021]图6为本发明一种实施例中利用SMO纤维光锥的成像方法的流程图；<