专利名称：具有提供增强动态范围图像的交错读取的cmos图像系统的制作方法
技术领域：
本发明主要属于数字图像处理领域。具体而言，本发明属于用于数字图像捕获与图像处理的CMOS成像器系统领域。
背景技术：
移动成像装置--例如蜂窝式电话的照相机--需要尺寸非常小的照相机来捕获目标景象并输出对应于目标景象的图像。在移动成像装置中，随着像素分辨率提高且照相机尺寸保持不变或减小，照相机中的成像器--例如互补金属氧化物半导体(CMOS)成像器--的像素尺寸减小。由于像素尺寸减小，CMOS成像器所提供图像的动态范围同样减小，这可能导致室外图像品质的降低。
在一种传统方法中，可以通过对两个或两个以上的独立帧进行合并来增大CMOS成像器所提供图像的动态范围，其中，各帧在不同曝光时产生。例如，第一帧可在第一曝光时产生并存储在帧缓冲器中。接着，通过采用数字处理，将第二曝光时产生的第二帧与第一帧实时合并。然而，这种方法要求在处理第二帧之前在帧缓冲器里存储完整的一帧数据，这大大增加了照相机系统的成本。
还可通过采用具有增大容量的较大像素来增加CMOS成像器所提供图像的动态范围。然而，增大的像素尺寸不受欢迎地增大了成像器的制造成本，并因此增大了成像器所隶属的移动电话照相机或其他移动成像装置的成本。另外，便携式电子装置的物理尺寸限制通常不允许照相机尺寸的增大，照相机尺寸的增大通常必然伴随着较大像素单元的采用而发生。
因此，现有技术中存在对小型、低成本、可提供具有增大动态范围的图像的照相机系统--例如具有小像素的CMOS成像器--的需求。
发明内容
本发明的目标在于具有交错读取的CMOS成像器系统，其用于提供具有增大的动态范围的图像。具体而言，本发明提供了一种低成本的CMOS成像器系统，该系统配有具有交错读取的图像传感器，以便提供具有增大的动态范围的可视图像。本发明还提供了一种CMOS成像器系统，该系统提供了增大动态范围的图像，并且与采用来自多个连续帧的信息的传统CMOS成像器系统相比具有较小的运动伪影和较小的等待时间。
在一个实施形态中，用于提供具有增大动态范围的可视图像的成像器系统--例如CMOS成像器系统--包含这样的图像传感器，该图像传感器包含多组像素。该图像传感器被配置为以交错模式或以非交错模式运行。每组像素被配置为在交错模式下接收多种曝光中的一种并产生对应于所接收曝光的图像数据。每组像素还被进一步配置为在非交错模式下接收同一曝光并产生对应于同一曝光的图像数据。图像传感器可被进一步配置为在非交错模式下将对应于同一曝光的图像数据输出为一帧非交错图像数据。例如，所述多组像素的数量可以为两组像素，其中，两组像素以1/2线Bayer交错模式(1/2 line Bayer interleave pattern)交错，或以z字形Bayer交错模式(zig-zag Bayer interleave pattern)交错。图像传感器进一步配置为在交错模式下将各组像素产生的图像数据输出为一帧交错图像数据。
成像器系统还包含与图像传感器通信的交错图像流水线(pipeline)，其中，交错图像流水线被配置为接收来自图像传感器的交错图像数据，对由各组像素产生的、与曝光中的一次相对应的图像数据进行合并以形成具有增大动态范围的可视图像，对该可视图像进行输出。交错图像流水线对来自多种曝光的信息进行合并，以形成具有扩展动态范围的或具有宽动态范围(WDR)的图像。例如，交错图像流水线和图像传感器可位于不同的半导体芯片或位于同一半导体芯片。可视图像可以为RGB图像。交错图像流水线可进一步配置为接收来自图像传感器的交错图像数据，并在不采用帧缓冲器的情况下对各组像素所产生的、与曝光中的一次相对应的图像数据进行合并。
交错CMOS宽动态范围成像器系统的一个额外的好处是减小了运动伪影，这是因为一帧中包含了两次或两次以上曝光的信息，这些曝光是在尽可能最短的时间内进行的。本发明的CMOS成像器系统提供了进一步的好处，即通过图像数据的流水线处理形成了具有最小等待时间的、增大动态范围的图像。相反，采用两帧或两帧以上的传统CMOS成像器系统在由存储的一帧或一帧以上进行后处理以形成最终图像之前需要明显的延迟。
进一步参照下面的附图和说明，将明了本发明的这些以及其他实施形态。所有这类另外的系统、特征和优点应当包含在本说明书之内、属于本发明的范围，并由所附权利要求保护。
在阅读所附详细说明以及附图之后，本领域技术人员可明了本发明的特征和优点。在附图中图1示出了根据本发明一实施例的成像器系统；图2A示出了根据本发明一实施例的像素阵列曝光模式；图2B示出了图2A的像素阵列中两行像素的传输门路径(transfer gaterouting)；图3A示出了根据本发明一实施例的像素阵列曝光模式；图3B示出了图3A的像素阵列中两行像素的传输门路径；图4示出了根据本发明一实施例用于图像传感器的四晶体管共享像素电路，该图像传感器被配置为用于1/2线Bayer交错模式曝光；图5示出了根据本发明一实施例的图4中四晶体管共享像素电路的时间图；
图6A示出了根据本发明一实施例的、卷动快门序列(rolling shuttersequence)的一部分；图6B示出了根据本发明一实施例的、卷动快门序列的一部分；图6C示出了根据本发明一实施例的、卷动快门序列的一部分；图6D示出了根据本发明一实施例的、卷动快门序列的一部分；图6E示出了根据本发明一实施例的、卷动快门序列的一部分；图6F示出了根据本发明一实施例的、卷动快门序列的一部分；图6G示出了根据本发明一实施例的、卷动快门序列的一部分；图6H示出了根据本发明一实施例的、卷动快门序列的一部分；图7示出了根据本发明一实施例的像素阵列曝光模式；图8示出了根据本发明一实施例的像素阵列读取序列；图9A示出了根据本发明一实施例的像素阵列曝光模式；图9B示出了在图9A的曝光模式中像素的曝光数据内插法；图10示出了对非交错图像进行处理的流程图；图11示出了根据本发明一实施例对交错图像进行处理的流程图；图12示出了根据本发明一实施例在各像素位置上确定宽动态范围颜色值的方法；图13示出了根据本发明一实施例的成像器系统，该系统包含在成像器系统中通信的统计信息/固件控制模块。
具体实施例方式
本发明的目标在于具有交错读取的CMOS成像器系统，其用于提供具有增大的动态范围的图像。尽管相对于具体实施例对本发明进行了介绍，显然，本发明的原理--如所附权利要求所限定--可用于除这里介绍的本发明具体实施例以外的其它用途。另外，在本发明的说明书中，为了不对本发明具有创造性的方面产生混淆，省略了某些细节。被省略的细节属于本领域技术人员的知识范围。
本申请中的附图及其伴有的详细说明仅指向本发明的示例实施例。为简洁起见，本申请不对采用本发明原理的本发明其他实施例进行具体介绍，当前的附图也没有特别示出这些实施例。应当明了，除非另有说明，附图中相同或对应的元素用相同或对应的参考标号标识。
通过将CMOS传感器配置为输出来自多组像素的图像数据，本发明获得了具有增大的动态范围的可视图像，其中，各组像素接收不同的曝光。在本发明中，在交错图像流水线中对来自各种曝光的图像数据进行合并，以便形成具有扩展动态范围的帧(即可视图像)。如同下面详细讨论的那样，本发明有利地实现了一种CMOS成像器系统，在无需帧缓冲器的情况下，该系统通过对不同曝光产生的图像数据进行合并来提供具有扩展动态范围的帧。另外，以组成最终图像的曝光组之间最小的时间偏差对来自多种曝光的图像信息进行收集。这种方法减小了运动伪影，而在通过帧缓冲器的采用由具有不同曝光的两个独立帧对信息进行合并时，可存在运动伪影。
图1示出了根据本发明一实施例的示例成像器系统。成像器系统100--其可以为CMOS成像器系统--包含图像传感器102、逻辑模块110、非交错图像流水线112、交错图像流水线114、图像校正/转换模块116、图像处理模块118、JPEG压缩模块120、压缩图像输出122、非压缩图像输出124以及统计信息/固件控制模块126。图像传感器102--其可以为CMOS图像传感器--包含传感器阵列104、图像传感器控制块106以及读取/ADC块108。可在一个半导体芯片上制造成像器系统100。在一个实施例中，可在两个半导体芯片上制造成像器系统100。在这样的实例中，例如，可在一个半导体芯片上制造图像传感器102，而在另一半导体芯片上制造成像器系统100的其他部件--例如交错图像流水线114。
图像传感器102包含传感器阵列104，传感器阵列104包含以行和列布置的像素阵列，其中，各像素包含用于对来自目标景象的入射光进行捕获的光电二极管。在本实施例中，传感器阵列104还包含以Bayer模式覆在上面的滤色器(即蓝色、红色和绿色滤色器)布置，使得传感器阵列104产生对应于目标景象的、Bayer模式原始图像。Bayer模式原始图像形成这样的像素阵列该阵列包含重复的四像素组模式(quad pattern)，所述四像素组模式包含位于绿色像素和红色像素上方的蓝色像素和绿色像素。在其他实施例中，可采用其他的滤色器布置替代Bayer模式，例如采用包含蓝绿色、黄色、品红色的滤色器布置。应当对曝光组和滤色器元件的布置进行最优化，以便使最终的扩展动态范围图像的有效分辨率为最大。本发明中介绍了关于曝光组和滤色器的几种替代像素布置。
图像传感器102可被配置为以交错模式或非以交错模式运行。在交错模式下，图像传感器102可输出一帧交错图像数据，该帧数据包含由多组像素(例如两组或两组以上的像素)中的每一组产生的图像数据，其中，各组像素接收不同的曝光，且其中，在同一帧中读取多组像素。在非交错模式下，图像传感器102可输出一帧非交错数据，该帧数据包括多组像素中的每一组产生的图像数据，其中，各组像素接收同一曝光，且其中，在同一帧中读取多组像素。在交错模式下，图像传感器102的输出可被称为“交错读取”，在非交错模式下，图像传感器102的输出可被称为“顺次读取(progressive readout)”。在本申请中，“交错读取”指的是对来自多组像素的曝光数据进行捕获的能力，其中，各组像素具有不同的曝光，且其中，在同一帧中读取多组像素。在本申请中，“顺次读取”指的是通过多组像素对曝光数据进行捕获的能力，其中，各组像素具有同一曝光，且其中，在同一帧中读取多组像素。
因此，图像传感器102可提供交错读取或顺次读取。图像传感器102还可被配置为从交错模式下的运行(即输出交错图像数据)切换到非交错模式下的运行(即输出非交错图像数据)，反之亦然。当传感器阵列104中的全部像素(即传感器阵列104中的所有像素组)接收同一曝光(即图像传感器102的非交错运行模式)时，由图像传感器102输出的图像数据也被称为“非交错图像数据”。注意，交错图像数据和非交错图像数据各自包含原始数据，该数据不是可视格式的(例如，为了在监视器或视频显示装置上观看，首先必须对来自颜色模式的原始数据进行内插，以便采用所提供的信息在所有像素位置上提供颜色信息)。
在交错模式下，图像传感器102可被配置为对第一曝光时由一组像素提供的图像数据进行输出，并对第二曝光时由另一组像素提供的图像数据进行输出，其中，第一曝光与第二曝光相比在持续时间上不同，且其中，第一与第二曝光发生在同一帧中。通过在一组或几组像素上对曝光进行复位或重启动、而曝光在另外的像素组上继续产生，获得交错曝光。所有的像素组在卷动快门的同一相对定时完成曝光，且由此在一帧中被读取。例如，传感器阵列104中的奇数行像素可接收第一曝光，传感器阵列104中的偶数行像素可接收第二曝光，其中，第一曝光在持续时间上比第二曝光要短，且其中，图像传感器102输出交错图像数据，该数据包含来自奇数行像素--其接收第一曝光--的图像数据和来自偶数行像素--其接收第二曝光--的图像数据。
优选为对像素组进行曝光分配，以便在各像素颜色上提供密度相等的信息，并使最终的宽动态范围图像的清晰度和可察知的细节最大化。在一个实施例中，图像传感器102可被配置为输出来自两组像素--其以1/2线Bayer交错模式(将在下面关于图2A与图2B进行讨论)交错--的交错图像数据，其中，各组像素接收不同的曝光。本实例中，在接收同一曝光的各组中有相等数量的绿色、蓝色和红色像素。在一个实施例中，图像传感器102可被配置为输出来自两组像素--其以z字形Bayer交错模式(将在下面关于图3A与图3B进行讨论)交错--的交错图像数据，其中，各组像素接收不同的曝光。在其他实施例中，图像传感器102可被配置为输出来自像素组--其以其他的配置交错--的交错图像数据。在其他实施例中，图像传感器--例如图像传感器102--可被配置为输出由两组以上像素提供的交错图像数据，其中，各组像素接收与其他组像素所接收曝光在持续时间上不同的曝光。
图像传感器102中的图像传感器控制块106可被配置为对传感器阵列104中的像素行和/或部分像素行的曝光持续时间进行控制。图像传感器102中的读取/ADC块108可控制传感器阵列104的读取并提供对传感器阵列104所输出数据流的模拟至数字转换。当传感器阵列104被配置为使得所有像素或像素组接收同一曝光时，读取/ADC块108可输出非交错图像数据；当传感器阵列104被配置为使得多组像素中的每一组接收不同曝光时，读取/ADC块108可输出交错图像数据。读取/ADC块108可将非交错图像数据或交错图像数据输出为10位原始数据。图像传感器102还可包含黑度(black level)调节块(图1中未示出)，其用于调节由读取/ADC块108所输出图像数据的黑度。
成像器系统100还可包含数字校正电路(图1中未示出)，该电路用于提供对读取/ADC块108所输出图像数据的数字增益控制、黑度校正、列与行噪声移除以及坏像素校正。如图1所示，读取/ADC块108的输出--其也是图像传感器102的输出--耦合到逻辑模块110，逻辑模块110可被配置为判断由图像传感器102的读取/ADC块108输出的图像数据是交错图像数据(即多组像素输出的图像数据，其中，各组像素接收不同的曝光)还是非交错图像数据(即像素组输出的图像数据，其中，各组像素接收同一曝光)。逻辑模块110可被进一步配置为如果交错图像数据被输入到逻辑模块110，向交错图像流水线114提供交错图像数据；如果非交错图像数据被输入到逻辑模块110，向非交错图像流水线112提供非交错图像数据。
非交错图像流水线112可被配置为经由逻辑模块110接收来自图像传感器102的非交错图像数据，采用如现有技术所知的Bayer模式内插处理将非交错图像数据转换为一帧RGB数据，并输出与非交错图像数据相对应的一帧RGB数据。交错图像流水线114可被配置为经由逻辑模块110接收由图像传感器102输出的交错图像数据，其中，交错图像数据包含由多组像素输出的图像数据，且其中，各组像素接收不同的曝光；对由接收不同曝光的各组像素输出的图像数据进行合并，以形成包含RGB数据的一帧(即一可视图像)。因此，交错图像流水线114所形成的帧包含这样的帧其在各像素位置上包含红色、绿色和蓝色(即RGB)数据。交错流水线114可被进一步配置为将该可视图像输出到图像校正/转换模块116。通过由一帧交错图像数据--该数据包含由多组像素产生的图像数据、其中各组像素接收不同的曝光--形成可视图像，该可视图像具有增大的动态范围。
在关于算法的公知领域中存在用于将两个完整的信息帧合并为一个图像的重要知识体系，其中，各个完整帧具有各自的曝光。通过采用内插方法在各个位置提供完整的一组信息，交错流水线在不使用帧缓冲器的情况下实现了类似的功能。例如，通过仅对图像数据的一些行--其包含以所有需要的颜色来自长曝光和短曝光的信息--进行存储，可形成由交错流水线114形成的宽动态范围帧。可以用与采用两个完整帧的公知方法非常类似的方法对宽动态范围图像进行“内插”。例如，四和六行之间的物理图像数据可被存储在图像流水线中。所需的行数取决于内插算法以及所选用的像素交错模式的细节。在各个位置，丢失的信息通过内插来创建，并临时存储在小容量工作存储器中。例如，在捕获到绿色短曝光的位置，可为丢失的绿色长曝光数据形成最佳值。于是，可以犹如为该像素位置收集到完整的数据帧那样采用宽动态范围图像形成算法。交错图像流水线114可进一步被配置为选择对哪些交错图像数据合并来形成含有可视图像的帧，并选择如何实时地对交错图像数据进行合并。
当图像传感器102正在输出非交错图像数据(即在非交错模式下运行)时，在帧中基本上不丢失信息。然而，当图像传感器102正在输出交错图像数据(即在交错模式下运行)时，作为多种曝光的结果，可能在帧中的某些区域丢失信息。例如，在目标景象的高亮区域(即非常亮的区域)，接收较长曝光的一组像素可能饱和，使得丢失基本上全部的信息。在此区域(即高亮区域)中，对应于目标景象的有效信息可能仅在接收较短曝光的一组像素中存在。交错图像流水线114可识别出这种状况，并仅由接收较短曝光的一组像素对帧中的高亮区域进行内插。在两次曝光均存在有效数据的图像区域中，交错图像流水线114可形成合适的加权平均，以便提供目标景象的局部细节。交错图像流水线114可进一步被配置为例如，通过基于交错图像数据的变化率来寻找边缘、并采用交错图像数据的数学处理使边缘显得更为陡峭，对帧中的彩色图像(即可视图像)进行锐化。
图像流水线114还可用于收集关于交错图像数据--该数据实时流过交错图像流水线--的统计数据。这些统计数据--例如事件的总体(population of events)和标准差--可被引入直方图。基于直方图中的数据，本发明的成像器系统中的控制器可以为图像传感器中对应的一组像素或一组以上的像素选择一种不同的曝光或一种以上的不同曝光。因此，例如，如果控制器基于直方图判断为图像太暗，其可以更改一种或一种以上的曝光来使图像变亮。例如，控制器可位于成像器系统中的统计信息/固件控制模块(例如统计信息/固件控制模块126)之中。
在本实施例中，通过对由两组像素中的每一组--各组像素接收不同的曝光--产生的图像数据进行合并来形成帧，成像器系统100有利地获得了具有增大的动态范围的可视图像。另外，在不需要帧缓冲器的情况下，成像器系统100通过对由两组像素中的每一组产生的图像数据进行合并来获得帧，这有利地减小了制造成本。另外，由于可以实时地对来自两种不同曝光中每一种的图像数据进行合并，成像器系统100可在没有等待或延迟的情况下有利地提供最终帧。
如图1所示，非交错图像流水线112的输出和交错图像流水线114的输出耦合到图像校正/转换模块116。图像校正/转换模块116可被配置为以现有技术中已知的方法，在非交错图像流水线112提供的RGB图像或交错图像流水线114提供的RGB图像上进行图像校正处理--例如伽玛校正和彩色校正，并将校正后的RGB图像转换为YUV图像。如图1进一步所示，来自图像校正/转换模块116的、结果得到的YUV图像由图像处理模块118进一步进行处理，在线124上被输出为非压缩YUV图像，并被输入到JPEG压缩模块120。图像处理模块118还为YUV图像提供了例如对比度调整、彩色校正和边缘增强。JPEG压缩模块120可被配置为接收由图像处理模块118输出的YUV图像，通过使用JPEG压缩引擎对该YUV图像进行压缩，并在线122上输出JPEG YUV图像。如图1进一步所示，统计信息/固件控制模块126包含统计信息和固件，用于控制对由图像传感器102输出的交错图像数据或非交错图像数据进行的处理。在成像器系统100中统计信息/固件控制模块126的通信将在下面关于图13进一步讨论。
图2A示出了根据本发明一实施例用于典型像素阵列的典型曝光模式。像素阵列200包含像素行202a、202b、202c与202d，并可包含像素阵列--例如图1中成像器系统100的像素阵列104--的一部分。像素阵列200包含按Bayer模式布置的像素行，其中，像素行202a和202c包含交替的蓝(B)像素和绿(G1)像素，像素行202b和202d包含交替的绿(G2)和红(R)像素。
在像素阵列200中，以1/2线Bayer交错模式对像素进行曝光，其中，像素行202a中的蓝像素和绿像素接收相应的短曝光和长曝光，像素行202b中的绿像素和红像素接收相应的短曝光和长曝光，像素行202c中的蓝像素和绿像素接收相应的长曝光和短曝光，像素行202d中的绿像素和红像素接收相应的长曝光和短曝光。1/2线Bayer交错模式可通过采用4T(四晶体管)共享像素容易地实现。
因此，在1/2线Bayer交错模式下，绿像素在各连续行中在短曝光和长曝光之间交替，蓝像素和红像素每隔一行在短曝光和长曝光之间交替。因此，从Bayer模式像素的各物理行中，可获得两组曝光数据。在形成Bayer模式的重复的两行组中的第一行中，各蓝像素可接收短曝光，而在下一个包含蓝像素的行中，各蓝像素可接收长曝光。关键特征在于在各物理行中，绿像素组在短曝光和长曝光之间交替。这种模式(即1/2线Bayer交错模式)使得明度通道(luma channel)中反映的边缘信息最大化，因此使最终图像的分辨率最大化。
图2B示出了用于图2A的像素阵列200中的两行像素的典型传输门路径图。传输门路径图250示出了用于图2A中所示1/2线Bayer交错模式的两行像素(即像素行202a和202b)的传输门路径。在传输门路径图250中，像素行202a中绿(G1)像素的传输门被耦合到传输门控制线204，像素行202a中蓝像素的传输门被耦合到传输门控制线206。在像素行202b中，绿(G2)像素的传输门被耦合到传输门控制线208，红像素的传输门被耦合到传输门控制线210。
图3A示出了根据本发明一实施例的典型像素阵列的典型曝光模式。像素阵列300包含行302a、302b、302c和302d，并可包含像素阵列--例如图1中成像器系统100的像素阵列104--的一部分。像素阵列300包含以Bayer模式布置的像素行，其中，像素行302a和302c包含交替的蓝(B)像素和绿(G1)像素，像素行302b和302d包含交替的绿(G2)像素和红(R)像素。
在像素阵列300中，以z字形Bayer交错模式对像素进行曝光，其中，像素行302a中的蓝像素和绿(G1)像素接收交替的短曝光和长曝光，像素行302b中的绿(G2)像素和红像素接收交替的长曝光和短曝光，像素行302c中的蓝像素和绿(G1)像素接收交替的短曝光和长曝光，像素行302d中的绿(G2)像素和红像素接收交替的长曝光和短曝光。
与图2A与2B中的1/2线Bayer交错模式相比，z字形Bayer交错模式在图像重建流水线(例如图1中的交错图像流水线114)中需要较少的线缓冲器。然而，在z字形Bayer交错模式中对像素控制线进行布线要求在同一颜色的每隔一个像素的基础上改变像素中传输门的连接路径。尽管z字形Bayer交错模式为设置像素中控制线的路径提供了最便利的方式，其(即z字形Bayer交错模式)提供了图像垂直分辨率方面的改进，因为数字图像处理链(digital image processing chain)(例如图1中的交错图像流水线114)中给定数量的内插存储器线(interpolation memory lines)用于重建图像。注意，为了设置行中所有像素的积分时间，需要像素上的传输线的启用；因此，同一传输线必须连接到同一行上接收同一曝光的所有像素。
z字形Bayer模式指的是某些共享像素布局中所需的控制信号的交叉。该模式采用水平曝光组，而上面讨论的1/2线Bayer交错模式采用垂直曝光组。z字形或水平曝光组模式同样在各物理像素行中的各曝光组中提供绿色信息。
图3B示出了图3A中像素阵列300中两行像素的典型传输门路径图。传输门路径图350示出了图3A所示z字形Bayer交错模式中两行像素(即像素行302a与302b)的传输门路径。在传输门路径图350中，像素行302a中接收短曝光的绿(G1)像素与蓝像素的传输门耦合到传输门控制线304，像素行302a中接收长曝光的绿(G1)像素与蓝像素的传输门耦合到传输门控制线306。在像素行302b中，接收长曝光的红像素和绿(G2)像素的传输门耦合到传输门控制线308，接收短曝光的红像素和绿(G2)像素的传输门耦合到传输门控制线310。
图4示出了典型的四晶体管共享像素电路的原理图，该电路用于根据本发明一实施例被配置为用于1/2线Bayer交错模式曝光的典型图像传感器。在四晶体管共享像素电路400中，光电二极管402、404、406与408一端连接到地410，另一端分别连接到晶体管开关418、420、422与424。在本申请中，晶体管开关418、420、422与424也称为“传输门418、420、422与424”。光电二极管402、404、406与408也分别称为像素a(蓝)、b(绿1)、c(绿2)与d(红)。传输门418、420、422与424各自耦合到传感节点425，该节点连接到源极跟随器晶体管426的栅极。源极跟随器晶体管426的源极连接到选择晶体管428的漏极，选择晶体管428的源极连接到电流源430，电流源430连接到地410。复位晶体管436和源极跟随器晶体管426的漏极连接到节点435上的电压VDD 434，复位晶体管436的源极连接到传感节点425。源极跟随器晶体管426、选择晶体管428和复位晶体管436各自包含例如NFET。
在传感器阵列--例如图1中的传感器阵列104--中，四晶体管共享像素电路遍布该传感器阵列地重复。像素a、b、c与d的模式如下面的表1所示。
表1对于1/2线Bayer交错模式，四晶体管共享像素电路400不需要额外的控制线或额外的路径。在运行中，根据定时图来启用四晶体管共享像素电路400中不同的晶体管，该定时图在下面参照图5进行讨论。
参照图5，示出了根据本发明一实施例的四晶体管共享像素电路400的典型定时图。定时图500一般可分为两个部分积分时间周期517和读取时间周期519。在定时图500中，A、B、C、D分别指图4中的传输门418、420、422与424。另外，RST和SEL分别指图4中的复位晶体管436和选择晶体管428。在积分周期517期间，复位晶体管436在时间段502期间导通，传输门420在时间段504的末端关闭(close)，以便开始像素b(即光电二极管404)的长积分周期。传输门424在时间段506的末端关闭，以便开始像素d(即光电二极管408)的长积分周期。
表2(1/2线Bayer交错模式)参照表2，上面讨论的像素b和d各自的长积分周期对应于表位置列2、行1和2，其中，第一绿像素(GL)和红像素(RL)各自接收了(L)曝光。复位晶体管436在时间段508期间重新导通--其中，发生在时间段506与542之间的像素d的长曝光在时间上重叠--而在传输门424关闭后关断。复位晶体管436在时间段510期间重新导通，且传输门418在时间段512的末端关闭，以便开始像素a的短积分周期，其在时间段512与536之间发生。传输门422在时间段514的末端关闭，以便开始像素c(即光电二极管406)的短积分周期，其在时间段514与540之间发生。开始于时间点515的积分时间周期517在时间点518上结束。
时间段520、522、524与526--选择晶体管428在其间导通--发生在积分时间周期517结束后。复位晶体管436在时间段528、530、532与534期间导通。在第一复位(在时间段528结束时)之后，传输门418在时间段536期间关闭，而选择晶体管428在时间段520期间导通，这允许像素a(即光电二极管402)被读取。在第二复位(在时间段530结束时)之后，传输门420在时间段538期间关闭，而选择晶体管在时间段522期间导通，这允许像素b(即光电二极管404)被读取。在第三复位(在时间段532结束时)之后，传输门422在时间段540期间关闭，而选择晶体管428在时间段524期间导通，这允许像素c(即光电二极管406)被读取。在第四复位(在时间段534结束时)之后，传输门424在时间段542期间关闭，而选择晶体管428在时间段526期间导通，这允许像素d(即光电二极管408)被读取。
图6A、6B、6C、6D、6E、6F、6G与6H(在下文中称为图6A到6H)示出了根据本发明一实施例的典型卷动快门序列。在图6A到6H中，为了简化该附图，只示出了两种颜色(即蓝色和绿色)。因此，图6A到6H中的“a”1/2行包含绿(G)像素，图6A到6H中的“b”1/2行包含蓝(B)像素。
在交错图像传感器读取(例如图1中的成像器系统100的图像传感器102的交错读取)中，更改对图像传感器卷动快门机制的控制，以便允许插入一组额外的指示器。在图6A到6H中所示的两线积分实例中，采用额外的指示器来在两线间隔的半途中对图像进行复位。然而，这种复位应用于线的仅1/2。在图6A到6H中的各像素线中，线的1/2接收短曝光(用“S”表示)，线的1/2接收长曝光(用“L”表示)。接收短曝光的1/2线被指示为在一积分线之后复位，而允许接收长曝光的1/2线继续。接着，在两线结束时同时读取长曝光的1/2线和短曝光的1/2线。
在传统的卷动快门中，读取/复位指示沿着线以固定的间隔行进。在交错图像传感器(例如图1中的图像传感器102)中，存在沿线行进的三个指示器。第三指示器为中间复位指示器，其对像素组中的一组进行复位以重新开始曝光。在各线的子集上所执行的操作优选为以同样的顺序一连串地执行。另外，应当执行相同数量的操作以保证图像传感器中模拟电路的均匀装载。因此，当执行短曝光像素组的中间复位时，可以为相同物理行中长曝光像素组的复位作为替代地执行假像素线的“假复位”。注意，假像素线是不用于形成最终图像但可用于在图像传感器中对操作进行平衡并保持模拟电路对称装载的有效像素线。在图6A到6H中，“a”线(例如线1a、2a......)包含绿像素，“b”线(例如线1b、2b......)包含蓝像素。
在图6A中，在线时间步骤1中，线1a被复位(用箭头602表示)，紧接着，线1b被复位(用箭头604)表示，以便开始曝光。在图6B中，在线时间步骤2中，第一复位线指示器位于线2a(用箭头606表示)以及线2b(用箭头608表示)，以便开始曝光。在图6C中，在线时间步骤2中，线间隔2线2a被复位(用箭头610表示)，紧接着，线2b被复位(用箭头610表示)，以便开始曝光。在图6D中，在线时间步骤3中，线间隔3线3a被复位(用箭头614表示)，紧接着，线3b被复位(用箭头616表示)，以便开始曝光。在图6E中，在线时间步骤4中，线间隔4线4a被复位(用箭头618表示)，紧接着，线4b被复位(用箭头620表示)，以便开始曝光。同样，重复线1b的复位(用箭头622表示)，以便重新开始曝光，并且对假线而不是对线1a进行复位。
在图6F中，在线时间步骤5中，线间隔5线5a被复位(用箭头624表示)，紧接着，线5b被复位(用箭头626表示)，以便开始曝光。同样，重复线2a的复位(用箭头628表示)，以便重新开始曝光，并且对假线而不是线2b进行复位。在图6G中，在线时间步骤6中，线间隔6线6a被复位(用箭头634表示)，紧接着，线6b被复位(用箭头636表示)，以便开始曝光。同样，重复线3b的复位(用箭头638表示)，以便重新开始曝光，并且对假线而不是线2a进行复位。另外，线1a和1b被紧接着读取并被复位(用相应的箭头630和632表示)。在图6H中，在线时间步骤7中，线间隔7线7a被复位(用箭头644表示)，紧接着，线7b被复位(用箭头646表示)，以便开始曝光。同样，重复线4a的复位(用箭头648表示)，以便重新开始曝光，并且对假线而不是线4b进行复位。另外，线2a和2b被紧接着读取并被复位(用相应的箭头640和642表示)。
注意，图6A至图6H所示出的卷动快门概念以及CMOS图像传感器控制逻辑(例如图1中图像传感器102的图像传感器控制块106)可扩展到包括在两组以上的像素上的两种以上的曝光。
图7示出了根据本发明一实施例的典型像素阵列的典型曝光模式。像素阵列700包含像素行702a、702b、702c、702d、702e与702f，并可包含像素阵列--例如图1中成像器系统100的像素阵列104--的一部分。像素阵列700包含以Bayer模式布置的像素行，其中，像素行702a、702c与702e包含交替的蓝(B)像素和绿(G1)像素，像素行702b、702d与702f包含交替的绿(G2)像素和红(R)像素。
在像素阵列700中，按照复合交替Bayer交错模式对像素进行曝光，该模式对于各种颜色具有对称的曝光组布置。在像素阵列700中，各种颜色的像素形成棋盘模式。在像素阵列700中，特定颜色和曝光的各像素位于具有相同颜色但具有交替曝光的像素的中间。例如，像素行702d中具有短曝光的红像素位于像素行702d中具有长曝光的邻近红像素的中间，并位于像素行702b与702f中具有长曝光的红像素的中间。
像素阵列700中这种复合交替Bayer交错模式有助于宽动态范围的颜色内插，并有助于实现坏像素校正，这是因为相同颜色和相同曝光的像素以很近的距离隔开。与某些交替布置相比，这种复合交替Bayer交错模式还在最终的宽动态范围图像中提供了提高的分辨率。
图8示出了根据本发明一实施例的像素阵列的典型读取序列。像素阵列800包含像素行802a、802b、802c、802d、802e与802f，并可包含像素阵列--例如图1中成像器系统100的像素阵列104--的一部分。像素阵列800包含以Bayer模式布置的像素行，其中，像素行802a、802c与802e包含交替的蓝(B)像素和绿(G1)像素，像素行802b、802d与802f包含交替的绿(G2)像素和红(R)像素。
在像素阵列800中，像素按四像素组(即包含四个像素的块)分组，例如四像素组804，其包含像素行802a中的蓝(B)像素和绿(G1)像素以及像素行802b中的绿(G2)像素和红(R)像素。每个四像素组--例如四像素组804--由一个传感节点服务。例如，四像素组804可由图4中四晶体管共享像素电路400中的传感节点425服务。例如，四像素组804中的蓝(B)像素可由像素电路400中的传输门418控制，绿(G1)像素可由传输门420控制，绿(G2)像素可由传输门422控制，红(R)像素可由传输门424控制。四像素组中的四像素之一由像素选择线(图8中未示出)选择。在像素阵列800中的读取序列下，每隔一个四像素组具有交替的编号，并以交替的方式连接到像素选择线。例如，在四像素组804中，读取序列为蓝(B)像素、绿(G1)像素、绿(G2)像素、红(R)像素。形成对照的是，相邻四像素组806中的读取序列为红(R)像素、绿(G1)像素、绿(G2)像素、蓝(B)像素。
在像素阵列800中，被标为“1”的像素由像素选择线1(图8中未示出)选择，被标为“2”的像素由像素选择线2(图8中未示出)选择，等等。在像素阵列800中，像素行中由给定像素选择线选择的全部像素具有同样的积分时间。在像素阵列800中，如果被标为“1”和“2”的像素具有积分时间T1(例如短曝光)且被标为“3”和“4”的像素具有积分时间T2(例如长曝光)，像素阵列800中的交替选择模式可用于实现图7中像素阵列700中的复合交替Bayer交错模式。
在像素阵列800中，具有相同编号(例如被标为“1”)的像素具有连接到同一控制线的、对应的传输门。因此，对于被标为“1”和“4”的像素，传输门互连线需要对两行的像素服务。具有同一传输门互连线的像素可同时被复位以及读取。
图9A示出了根据本发明一实施例的典型像素阵列的典型曝光模式。像素阵列900包含像素行902a、902b、902c、902d、902e、902f、902g与902h，并可包含像素阵列--例如图1中成像器系统100的像素阵列104--的一部分。像素阵列900包含以交替反转模式(alternating flippedpattern)布置的像素行，其中，像素行902a、902d、902e与902h包含交替的蓝(B)像素和绿(G1)像素，像素行902b、902c、902f与902g包含交替的绿(G2)像素和红(R)像素。
在像素阵列900中，各行中相邻的像素各自接收不同的曝光。例如，行902a中的蓝像素接收短曝光，而行902a中的绿(G1)像素接收长曝光。在像素阵列900的交替反转模式像素布置中，所有的传输门控制线对同一物理像素行进行寻址，这有助于实现交替反转模式的像素布置。交替反转模式的像素布置为宽动态范围图像中的绿像素值提供了改进的内插。然而，交替反转模式不是一种标准的Bayer模式，并可能对顺次读取导致某些分辨率损失。
图9B示出了用于图9A的交替反转模式中的像素的曝光数据内插图。当组成宽动态范围图像时，有必要由交替曝光组对丢失的数据进行内插。例如，如果接收长曝光的像素被过度曝光，那么，唯一可用的信息是来自短曝光的数据。在图9B的实例中，需要在绿色长曝光像素位置904上由像素位置906、908、910、912与914上的邻近绿色短曝光值对绿色短曝光数据进行内插。
可采用各种各样的内插方法，这些方法对本领域技术人员来说应当是显而易见的。具有局部对称性的像素颜色和像素曝光布置--例如像素阵列900中的像素颜色和曝光布置--显然有助于对丢失的信息进行内插。为了对像素曝光组布置确定最佳的综合选择，要考虑的因素包括像素布局的容易度、与CMOS图像传感器读取结构的兼容性、对于顺次扫描图像的图像品质的影响、宽动态范围图像形成的费用和难度、内插方法以及宽动态范围图像的分辨率。
图10示出了典型的流程图1000，其示出了处理非交错图像的方法。图10的流程图1000中省略了某些对于本领域技术人员来说显而易见的细节和特征。例如，如本领域中所知，步骤可由一个或一个以上的子步骤组成，或者可涉及专用的设备。开始于步骤1002，在非交错图像数据上进行黑度调节、缺陷校正以及镜头黑点调节(lens shading adiustments)。该非交错图像数据可由例如图1中成像器系统100的图像传感器102在图像传感器102运行于非交错模式下时产生。在步骤1004中，进行Bayer模式内插以形成可视图像。例如，在成像器系统100的非交错图像流水线112中，在经调节和校正后的非交错图像数据上进行Bayer模式内插，以形成例如RGB彩色图像等可视图像。在步骤1006中，在该可视图像上进行彩色校正。例如，可在图1中成像器系统100的图像校正/转换模块116中，在该可视图像上进行彩色校正。
图11示出了典型的流程图1100，该流程图示出了根据本发明一实施例对交错图像进行处理的方法。图11的流程图1100中省略了某些对于本领域技术人员来说显而易见的细节和特征。例如，如本领域中所知，步骤可由一个或一个以上的子步骤组成，或者可涉及专用的设备。尽管流程图1100中所示的步骤1102到1112足以描述本发明的一个实施例，本发明的其他实施例可采用与流程图1100所示不同的步骤。
开始于步骤1102，在交错图像数据上进行黑度调节、缺陷校正以及镜头黑点调节。步骤1102与图10的流程图1000中的步骤1002基本相同。在步骤1104中，临时为各像素位置上的各种曝光创建彩色像素数据。例如，可在成像器系统100的交错图像流水线114中，采用两到四个延迟存储器线(delay lines of memory)，将内插法用于为各像素位置上的短曝光和长曝光临时创建彩色像素数据。在步骤1106中，对多个曝光信息进行合并，以便为各像素形成一个值。例如，可在成像器系统100的交错图像流水线114中采用宽动态范围数据合并算法，由短曝光信息与长曝光信息的结合为各像素形成一个值。在步骤1108中，执行Bayer模式内插，形成可视的WDR(宽动态范围)图像。步骤1108基本类似于图10的流程图1000中的步骤1004。
在步骤1110中，在可视的宽动态范围图像上进行彩色校正。步骤1110基本类似于图10的流程图1000中的步骤1006。在步骤1112中，对可视的宽动态范围图像进行校正以便在显示器上呈现。例如，可以对可视的宽动态范围图像进行标度，以便在8位显示器上呈现。例如，可以在可视的宽动态范围图像上进行伽玛校正并调节对比度，以便在宽动态范围显示器上呈现。
图12示出了一种方法，该方法用于根据本发明一实施例在各像素位置上确定宽动态范围颜色值。在图1200中，标准化的ADC输出轴1202对应于在0和T2/T1之间的典型的标准化ADC输出范围，积分时间轴1204对应于在0和T2之间的典型的积分时间范围。图表1200示出了对来自CMOS图像传感器(例如图1中成像器系统100的图像传感器102)的两种曝光进行合并的示例算法，其具有线性响应。短曝光和长曝光的加权和用于在各原始像素位置上为宽动态范围原始帧形成值。在图表1200中，短曝光具有积分时间T1，长曝光具有积分时间T2。用采用线性加权和的宽动态范围颜色值代替原始帧中的各颜色值。对数据进行标准化，使得处于饱和的长曝光中的数据不被使用，如下面的公式所示CFA＝CFA1*T2/T1*CFA2+CFA2*(1-CFA2)其中，CFA表示复合输出的值
，CFA1表示短曝光的值
，CFA2表示长曝光的值
。例如，用于对来自CMOS传感器的两种曝光进行合并的上述示例算法可在图11的流程图1100中的步骤1106处进行。
本发明还可用于不具有彩色模式的黑白CMOS成像器，或用于具有光通过滤色器被过滤的像素以及黑白像素(即不具备滤色器的像素)混合的CMOS成像器。黑白传感器阵列还可包含对于各种曝光的像素交替组或布置，其可在运行过程中由对像素定时电路的逻辑命令重新进行配置。例如，具有一次曝光的顺次读取(非交错读取)可用于像素阵列的一部分(例如一组行)，且可在像素阵列的另一部分上对多种曝光进行交错。接收共同曝光的像素组的布置模式也可在交替布置中被重新进行配置。
如上所述，可在一个或一个以上的半导体芯片上制造本发明的成像器系统。在一个实施例中，CMOS成像器系统可被配置为在同一半导体芯片--其包含图像流水线和图像控制特征--上具有交错曝光能力，以便形成照相机系统。在一个实施例中，具有“交错图像能力”的CMOS图像传感器可在一个半导体芯片上制造，第二半导体芯片可包含像素处理流水线和图像控制特征，以便在两个芯片上形成照相机系统。在一个实施例中，可在半导体芯片上形成允许宽动态范围的CMOS图像传感器，该芯片包含必需的控制和流水线功能，以便使在另一半导体芯片上形成的传统图像流水线能够完成形成宽动态范围图像所必要的图像处理。例如，宽动态范围CMOS图像传感器可执行图11的流程图1100中的步骤1102、1104和1106。在流程图1100的步骤1106中，可进行图像位范围压缩处理，以便匹配传统图像流水线的位深。
允许宽动态范围的CMOS图像传感器还可包含控制逻辑和图像分析逻辑，以便为形成宽动态范围图像对像素组的曝光值选择进行控制。允许宽动态范围的CMOS图像传感器中的控制逻辑和图像分析逻辑可称为“宽动态范围转换器”。在这种方法下，不必为控制宽动态范围收集过程而对成对的半导体芯片与支持固件以及控制逻辑进行修改，这一点是有利的。宽动态范围转换器(即使得能从CMOS图像传感器进行交错输出的支持逻辑块)基本上小于完整的图像流水线。因此，可以用仅对于标准的单曝光CMOS图像传感器进行了最优化的、成像器系统中的标准图像流水线，使得以节省成本的方法实现宽动态范围图像。
图像处理流水线可被配置为在某个范围的位深上运行。例如，低成本的图像流水线可用8位图像数据输入运行，而典型的消费品装置可采用10位图像数据输入。例如，高端装置可采用对于图像流水线的、12位或12位以上的图像数据输入。在一个实施例中，宽动态范围转换器是程序可控的，以便输出具有可变位深的图像，可以对可变位深进行选择、以匹配为照相机系统所选择的特定图像流水线。例如，宽动态范围转换器所输出图像数据的位深可由应用进行改变，或在运行中(on the fly)实时地进行改变。
为了获得提升的性能，还可对景象中的状况做出响应地对允许交错读取的CMOS图像传感器和宽动态范围流水线进行动态控制以及实时地进行改变。在一个实施例中，成像器系统--例如CMOS成像器系统--可被配置为对来自曝光组的图像统计信息进行收集，以便为宽动态范围图像提供曝光组最优选择的基础。
图13示出了根据本发明一实施例的示例成像器系统，其包含在成像器系统中通信的统计信息/固件控制模块。成像器系统1300对应于图1中的成像器系统100。特别地，成像器系统1300中的图像传感器1302、逻辑模块1310、非交错图像流水线1312、交错图像流水线1314以及统计信息/固件控制模块1326分别对应于图1的成像器系统100中的图像传感器102、逻辑模块110、非交错图像流水线112、交错图像流水线114以及统计信息/固件控制模块126。另外，成像器系统1300中的图像修整块1330对应于成像器系统100中的图像校正/转换模块116、图像处理模块118以及JPEG压缩模块120。另外，图像传感器1032中的传感器阵列1304、图像传感器控制块1306和读取/ADC块1308分别对应于图像传感器102中的传感器阵列104、图像传感器控制块106和读取/ADC块108。统计信息/固件控制模块1326包含图像分析与统计信息块1334、1336、1338以及系统控制逻辑块1332。
如图13所示，图像传感器1302包含黑度调节块1328，黑度调节块1328耦合在图像传感器1302的读取/ADC块1308和逻辑模块1310以及图像分析与统计信息块1334与1336之间。黑度调节块1328在图1中的图像传感器102中没有示出，其为读取/ADC块1308的输出提供黑度调节。图像分析与统计信息块1334和1336可分别为交错图像短曝光与长曝光的图像形成处理的实时或动态调节提供信息。图像分析与统计信息块1334与1336的输出耦合到系统控制逻辑块1332的输入。
如图13所示，非交错图像流水线1312的输出(例如具有增大的动态范围的可视图像)和交错图像流水线1314的输出(例如不具有增大的动态范围的可视图像)被耦合到图像分析与统计信息块1338的输入，图像分析与统计信息块1338的输出耦合到系统控制逻辑块1332的输入。图像分析与统计信息块1338可提供用于判断何时通过交错曝光有利地形成宽动态范围图像的信息。例如，如果最优的单曝光图像在暗像素值和非常亮的像素值中仍包含了大量的信息，该景象可能超出了单曝光图像传感器的能力。在上面的实例中，系统控制逻辑块1332中的控制逻辑或控制程序可对该景象的照相机响应进行分析，并使照相机自动进入交错模式。如图13进一步所示，系统控制逻辑块1332还耦合到图像传感器1302中的图像传感器控制块1306、逻辑模块1310、交错图像流水线1314和图像修整块1330。图像传感器1302可被配置为通过向图像传感器控制块1306发送合适的命令，使图像传感器1302输出交错图像数据(即进入交错模式)或输出非交错图像数据(即进入非交错模式)。
在一个实施例中，当收集交错曝光时，可采用由图像分析与统计信息块1334和1336提供的图像信息对为短曝光和长曝光选择的值分别进行动态最优化。例如，较长曝光像素组的曝光可被调节为使显示低值的长曝光像素的比例最小化，以便确保图标景象中较暗区域的、可接受的表现。相反，可对较短曝光像素组的曝光进行调节，以便使显示高值的短曝光像素的比例最小化，确保较短曝光提供对景象中亮目标的、可接受的表现。因此，采用短曝光控制环和长曝光控制环，可在运行中(即动态地)对具有宽动态范围的目标景象的表现进行最优化，短曝光控制环可包括图像分析与统计信息块1334、系统控制逻辑块1332和图像传感器1302，长曝光控制环包括图像分析与统计信息块1336、系统控制逻辑块1332和图像传感器1302，其中，各控制环具有不同的目标状况。例如，短曝光控制环的目标状况可以为使显示高值的短曝光像素的比例最小化，长曝光控制环的目标状况可以为使显示低值的长曝光像素的比例最小化。例如，长短曝光控制环并行运行。
另外，可由长曝光控制环与短曝光控制环在被选择以表现目标景象的、相应的长曝光和短曝光上进行分析。当目标景象的内容发生变化使得要求长短曝光之间较小的区别时，可对长短曝光之间减小的区别进行检测，并可动态地命令图像传感器退出交错模式并进入非交错模式。因此，当目标景象的内容具有低动态范围时，可动态地对输出图像的分辨率进行最优化，并可采用单曝光或具有很小差别的一组曝光。相反，随着目标景象中明暗内容之间区别的增大，成像器系统可自动适应交错曝光组(即进入交错模式)，以便采用同时曝光之间更大的区别得到最优化的输出图像。
用类似的方法，具有交错运行模式的成像器系统可支持一个以上的可能的曝光组。例如，可通过在可变基础上的曝光使图像传感器具有分割线(partition lines)的能力，其可以关于像素布置是空间上的、或关于所产生帧的序列是时间上的。例如，对于标准的目标景象，可选择统一的曝光(例如曝光“E1”)，如下面的序列所示E1E1E1E1E1E1E1E1......
例如，对于具有宽动态范围和分辨率的目标景象，可在明暗区域之间对重点进行平衡。因此，可用两种曝光(例如曝光“e1”和“E1”)同等表现选择曝光组，如下面的序列所示e1E1e1E1e1E1e1E1......
例如，可用减小的分辨率对具有小区域明亮内容的目标景象进行表现，以便允许较暗或更为占优的图像内容具有增大的分辨率。因此，可选择如下面的序列所示的曝光组，其中，曝光e1少于曝光E2，且其中，3/4的像素接收曝光E2e1E2 E2 E2 e1 E2 E2 E2......
在不同的实施例中，对像素组和所分配的曝光均动态地进行改变。像素组的动态改变可能需要额外的控制线，对于消费品应用场合的极小像素来说这可能不适合。然而，像素组的动态改变对于机器视觉或允许较大像素的其他应用--其可容纳所需要的额外控制线--来说是适合的。产生合适的交替模式的优点和能力对于黑白成像器系统来说可能更加重要，其中，不存在颜色重建的限制。
在一个实施例中，还可在一帧内采用对宽动态范围曝光模式的调节。例如，可用交错曝光输出帧的一部分，而用标准单曝光输出帧的另一部分。例如，图像中对应于晴空的区域可接收交错曝光，以便允许对晴空进行更为有力的表现。
对于某些应用场合，可以用动态方式从一帧到一帧地对像素模式和/或曝光模式进行有益的改变。例如，N帧中的M个输出可为交错曝光帧，其中插有N-M个单曝光帧。对于宽动态范围的视频应用场合，通过在每一帧中交错像素组的交替曝光分配，或者通过用单曝光帧与交错帧进行交错，可利用视频序列中人类视觉的残留提高被察觉的分辨率。
如同上面所讨论的那样，通过合并来自多组像素--其中，各组像素在同一帧中具有不同的曝光--的图像数据形成可视图像，本发明提供了一种成像器系统--例如CMOS成像器系统，其有利地增大了可视图像的动态范围。本发明还提供了这样一种成像器系统，该系统经济、高效、并能产生具有实质品质的可视图像。本发明的成像器系统还可以用传统方式(即在非交错模式下)运行，以便在合适的照明条件下--例如在足够均匀的照明条件下--为所有像素采用仅仅一种曝光来使分辨率最大化。
在不脱离本发明精神和必要特性的条件下，本发明可以用其他的具体形式实现。所介绍的实施例在所有方面应看作仅是说明性而不是限定性的。本领域技术人员将会想到，在不脱离本发明范围的条件下，可对这些实施例进行更改和修改。如果这里广泛介绍的一样，这些更改或修改以及其他的更改或修改包含在本发明的范围内。
权利要求
1.一种成像器系统，其用于提供具有增大的动态范围的可视图像，所述成像器系统包含图像传感器，其包含多组像素，所述图像传感器被配置为以交错模式或以非交错模式运行，在所述交错模式下，所述多组像素中的每组被配置为接收多种曝光中的一种并产生与所述多种曝光中的所述一种对应的图像数据；其中，在所述交错模式下，所述图像传感器被配置为将由所述多组像素中的所述每组产生的所述图像数据输出为一帧交错图像数据。
2.根据权利要求1的成像器系统，其还包含与所述图像传感器通信的交错图像流水线；其中，所述交错图像流水线被配置为接收来自所述图像传感器的所述交错图像数据，对由所述多组像素中的所述每组产生的、与所述多种曝光中的所述一种对应的所述图像数据进行合并以形成所述可视图像，并输出所述可视图像。
3.根据权利要求1的成像器系统，其还包含与所述图像传感器通信的宽动态范围转换器块。
4.根据权利要求3的成像器系统，其还包含与所述图像传感器通信的交错图像流水线；其中，所述交错图像流水线被配置为接收来自所述图像传感器的所述交错图像数据，对由所述多组像素中的所述每组产生的、与所述多种曝光中的所述一种对应的所述图像数据进行合并以形成中间图像，并输出所述中间图像；其中，所述中间图像适合于被处理为所述可视图像。
5.根据权利要求1的成像器系统，其中，所述多组像素包含两组像素，且其中，所述两组像素以1/2线Bayer交错模式交错。
6.根据权利要求1的成像器系统，其中，所述多组像素包含两组像素，且其中，所述两组像素以z字形Bayer交错模式交错。
7.根据权利要求1的成像器系统，其中，在所述非交错模式下，所述多组像素中的所述每组被进一步配置为接收同一曝光并产生与所述同一曝光对应的图像数据；且其中，在所述非交错模式下，所述图像传感器被进一步配置为将与所述同一曝光对应的所述图像数据输出为一帧非交错图像数据。
8.根据权利要求2的成像器系统，其中，所述交错图像流水线被配置为在不使用帧缓冲器的情况下，接收来自所述图像传感器的所述交错图像数据，对由所述多组像素中的所述每组产生的、与所述多种曝光中的所述一种对应的所述图像数据进行合并。
9.根据权利要求2的成像器系统，其中，所述交错图像流水线和所述图像传感器在分别的半导体芯片上。
10.根据权利要求2的成像器系统，其中，所述交错图像流水线和所述图像传感器在一个半导体芯片上。
11.根据权利要求2的成像器系统，其中，所述可视图像包括RGB图像。
12.一种方法，其用于在成像器系统中提供具有增大的动态范围的可视图像，所述方法包含当所述成像器系统中的图像传感器在交错模式下运行时，由多组像素中的每组对应于多种曝光中的一种产生图像数据，所述多组像素位于所述图像传感器中，所述图像传感器被配置为在所述交错模式下或在非交错模式下运行；以及由处于所述交错模式的所述图像传感器将由所述多组像素中的所述每组产生的所述图像数据输出为一帧交错图像数据。
13.根据权利要求12的方法，其还包含由所述成像器系统中的交错图像流水线接收来自所述图像传感器的所述交错图像数据；由所述交错图像流水线对由所述多组像素中的所述每组产生的、与所述多种曝光中的所述一种对应的所述图像数据进行合并，以形成所述可视图像；以及由所述交错图像流水线输出所述可视图像。
14.根据权利要求12的方法，其还包含由所述成像器系统中的交错图像流水线接收来自所述图像传感器的所述交错图像数据；采用宽动态范围转换器块，使所述交错图像流水线对由所述多组像素中的所述每组产生的、与所述多种曝光中的所述一种对应的所述图像数据进行合并，以便形成中间图像；以及由所述交错图像流水线输出所述中间图像；其中，所述中间图像适合于被处理为所述可视图像。
15.根据权利要求12的方法，其中，所述多组像素包含两组像素，且其中，所述两组像素以1/2线Bayer交错模式交错。
16.根据权利要求12的方法，其中，所述多组像素包含两组像素，且其中，所述两组像素以z字形Bayer交错模式交错。
17.根据权利要求12的方法，其中，所述多组像素包含两组像素，且其中，所述两组像素以复合交替模式交错和布置。
18.根据权利要求12的方法，其中，所述多组像素包含两组像素，且其中，所述两组像素以交替反转模式交错和布置。
19.根据权利要求12的方法，其还包含当所述图像传感器在所述非交错模式下运行时，由所述多组像素中的所述每组产生对应于同一曝光的图像数据；以及由处于所述非交错模式的所述图像传感器将由所述多组像素中的所述每组产生的、对应于所述同一曝光的所述图像数据输出为一帧非交错图像数据。
20.根据权利要求13的方法，其中，在不使用帧缓冲器的情况下，所述交错图像流水线接收所述交错图像数据，并对由所述多组像素中的所述每组产生的、与所述多种曝光中的所述一种对应的所述图像数据进行合并，以便形成所述可视图像。
21.根据权利要求13的方法，其中，所述交错图像流水线和所述图像传感器在分别的半导体芯片上。
22.根据权利要求13的方法，其中，所述交错图像流水线和所述图像传感器在一个半导体芯片上。
23.根据权利要求13的方法，其中，所述可视图像包括RGB图像。
24.根据权利要求13的方法，其中，所述可视图像包括YUV图像。
25.一种成像器系统，其用于提供具有增大的动态范围的可视图像，所述成像器系统包含用于传感目标景象的装置，所述传感装置包含第一多组像素，所述传感装置被配置为以交错模式或以非交错模式运行，在所述交错模式下，所述第一多组像素中的每组被配置为接收第一多种曝光中的一种；其中，在所述交错模式下，所述传感装置被配置为将由所述第一多组像素中的所述每组产生的图像数据输出为一帧交错图像数据。
26.根据权利要求25的成像器系统，其还包含用于形成所述可视图像的、与所述传感装置通信的装置，其中，所述可视图像形成装置被配置为接收来自所述传感装置的所述交错图像数据，对由所述第一多组像素中的所述每组产生的、与所述第一多种曝光中的所述一种对应的所述图像数据进行合并以形成所述可视图像，并输出所述可视图像。
27.根据权利要求25的成像器系统，其中，所述第一多组像素包含两组像素，且其中，所述两组像素以1/2线Bayer交错模式交错。
28.根据权利要求25的成像器系统，其中，所述第一多组像素包含两组像素，且其中，所述两组像素以z字形Bayer交错模式交错。
29.根据权利要求25的成像器系统，其中，在所述非交错模式下，所述第一多组像素中的所述每组被进一步配置为接收同一曝光并产生对应于所述同一曝光的图像数据，且其中，在所述非交错模式下，所述传感装置进一步被配置为将对应于所述同一曝光的所述图像数据输出为一帧非交错图像数据。
30.根据权利要求26的成像器系统，其中，所述可视图像形成装置被配置为在不使用帧缓冲器的情况下，接收来自所述传感装置的所述交错图像数据，对由所述第一多组像素中的所述每组产生的、与所述第一多种曝光中的所述一种对应的所述图像数据进行合并。
31.根据权利要求26的成像器系统，其中，所述可视图像形成装置和所述传感装置在分别的半导体芯片上。
32.根据权利要求26的成像器系统，其中，所述可视图像形成装置和所述传感装置在一个半导体芯片上。
33.根据权利要求26的成像器系统，其中，所述可视图像包括RGB图像。
34.根据权利要求26的成像器系统，其还包含用于自动从所述交错模式中退出的装置。
35.根据权利要求34的成像器系统，其中，所述用于自动从所述交错模式中退出的装置通过这样的装置提供该装置用于对来自所述可视图像的统计信息或对来自所述第一多组像素中的所述每组的统计信息进行分析。
36.根据权利要求34的成像器系统，其中，所述用于自动从所述交错模式中退出的装置通过这样的装置提供该装置用于对来自所述可视图像的统计信息和对来自所述第一多组像素中的所述每组的统计信息进行分析。
37.根据权利要求29的成像器系统，其还包含用于由所述非交错图像数据形成RGB图像的、与所述传感装置通信的装置，其中，所述RGB图像形成装置被配置为接收来自所述传感装置的所述非交错图像数据，将所述非交错图像数据转换为所述RGB图像，并输出所述RGB图像。
38.根据权利要求37的成像器系统，其还包含用于自动进入所述交错模式的装置。
39.根据权利要求38的成像器系统，其中，所述用于自动进入所述交错模式的装置通过这样的装置提供该装置用于对来自所述RGB图像的统计信息进行分析。
40.根据权利要求25的成像器系统，其还包含用于提供自动化交错曝光选择的装置。
41.根据权利要求40的成像器系统，其中，所述自动化交错曝光选择装置包含对所述交错图像数据进行分析，以确定所述第一多种曝光中的每一种。
42.根据权利要求41的成像器系统，其中，所述第一多组像素包含短曝光像素组和长曝光像素组；其中，所述自动化交错曝光选择装置包含采用具有确定所述短曝光组的第一目标状况的控制环，并采用具有确定所述长曝光组的第二目标状况的控制环。
43.根据权利要求42的成像器系统，其中，具有所述第一目标状况的所述控制环与具有所述第二目标状况的所述控制环并行运行。
44.根据权利要求26的成像器系统，其中，所述传感装置还包含第二多组像素；其中，在所述交错模式下，所述第二多组像素中的每组被配置为接收第二多种曝光中的一种；其中，所述传感装置被配置为选择所述第一多组像素或所述第二多组像素。
45.根据权利要求44的成像器系统，其中，可对所述目标景象做出响应地动态调节所述第一多种曝光和所述第二多种曝光，以便对所述可视图像的分辨率进行最优化。
46.根据权利要求45的成像器系统，其中，所述传感装置被配置为采用从所述交错模式下的先前曝光中收集的统计信息，选择所述第一多组像素或所述第二多组像素。
47.根据权利要求44的成像器系统，其中，所述传感装置被配置为基于从所述非交错模式下的运行过程中收集的统计信息，选择所述第一多组像素或所述第二多组像素。
48.根据权利要求25的成像器系统，其中，所述传感装置还包含第二多组像素；其中，在所述交错模式下，所述第二多组像素中的每组被配置为接收第二多种曝光中的一种；其中，所述传感装置被配置为在逐帧的基础上，在所述第一多组像素与所述第二多组像素之间选择。
49.根据权利要求25的成像器系统，其中，所述第一多组像素包含第一像素组和第二像素组；其中，在第一帧交错图像数据中，所述第一像素组接收第一曝光，所述第二像素组接收第二曝光；其中，在第二帧交错图像数据中，所述第一像素组接收所述第二曝光，所述第二像素组接收所述第一曝光。
50.根据权利要求25的成像器系统，其中，在所述非交错模式下，所述第一多组像素中的所述每组被配置为接收一种曝光；其中，在所述非交错模式下，所述传感装置被配置为将所述第一多组像素中的所述每组产生的图像数据输出为一帧非交错图像数据。
51.根据权利要求50的成像器系统，其中，在多帧所述交错图像数据中穿插多帧所述非交错图像数据以产生视频序列。
52.一种成像器系统，其用于提供具有增大的动态范围的可视图像，所述成像器系统包含图像传感器，其包含多组像素，所述图像传感器被配置为以交错模式运行，在所述交错模式下，所述多组像素中的每组被配置为接收多种曝光中的一种；其中，在所述交错模式下，所述图像传感器被配置为将由所述多组像素中的所述每组产生的图像数据输出为一帧交错图像数据。
53.根据权利要求52的成像器系统，其中，所述交错图像数据具有程序可控的位深。
54.根据权利要求53的成像器系统，其还包含与所述图像传感器通信的宽动态范围转换器。
55.根据权利要求54的成像器系统，其中，所述程序可控的位深选自10位与12位。
56.根据权利要求53的成像器系统，其还包含与所述图像传感器通信的图像流水线；其中，所述图像流水线被配置为接收来自所述图像传感器的所述交错图像数据，对由所述多组像素中的所述每组产生的、与所述多种曝光中的所述一种对应的所述图像数据进行合并以形成所述可视图像，并输出所述可视图像。
57.根据权利要求56的成像器系统，其中，所述程序可控的位深选自10位与12位。
全文摘要
本发明提供了一种CMOS成像器系统，其用于提供具有增大的动态范围的可视图像，该系统包含图像传感器，该图像传感器包括多组像素。每组像素被配置为在交错模式下，接收多种曝光中的一种，并产生对应于所接收曝光的图像数据。图像传感器被配置为以交错模式运行或以非交错模式运行，并且，在交错模式下将每组像素所产生的图像数据输出为一帧交错图像数据。该成像器系统还包含与图像传感器通信的交错图像流水线，其中，交错图像流水线被配置为接收来自图像传感器的交错图像数据，对由每组像素产生的、对应于曝光之一的图像数据进行合并，以形成可视图像。
文档编号H04N9/04GK101083724SQ20061014310
公开日2007年12月5日 申请日期2006年10月31日 优先权日2006年5月31日
发明者R·A·曼, S·本库亚, J·罗, A·G·格里戈里耶夫, H·张, M·石, R·布莱尔, M·萨法伊 申请人:Ess技术公司