高动态范围图像传感器的制作方法

专利名称：高动态范围图像传感器的制作方法
技术领域：
本发明涉及图像传感器，且明确地说，涉及用于产生高动态范围图像的技术。
背景技术：
场景的动态范围由所述场景的最闻与最低光级的比率决定。传感器的动态范围由场景中不使传感器饱和的最高光级与可由传感器检测的最低光级(即，高于噪声下限)的比率决定。场景的动态范围可为(例如)100,000: 1，而传感器的动态范围可为(例如)100: I。当场景的动态范围超过传感器的动态范围时，最高光级和最低光级的区中的细节被丢失。可以使得传感器的动态范围涵盖尽可能多的有用光级的方式来调整曝光。曝光无法增加传感器的动态范围。然而，与单次曝光原本将可能的情况相比，组合场景的两次或两次以上不同曝光可准许捕获场景的较高动态范围。相对于组合不同曝光以产生场景的HDR图像，各种传感器制造商已使用了各种技术来克服成像传感器的动态范围能力。一些技术提供软件解决方案，其使不同曝光时间的两个图像对准，以便形成比原本将可能的动态范围图像高的动态范围图像。其它技术提供硬件解决方案(例如，经修改的传感器)，以捕获场景的两个图像，其将对准以形成较高动态范围图像。

发明内容
一般来说，本发明描述用于通过在将样本与另一样本组合之前将可变加权因子应用于所述样本来产生高动态范围图像的技术。一种图像传感器可在两个或两个以上不同曝光时间对像素单元信号进行取样，以便产生两个或两个以上样本，其可组合以产生高动态范围图像。然而，长曝光时间可导致所述像素单元的光敏半导体变为饱和。在组合所述两个或两个以上样本之前，可将可变加权因子应用于由所述长曝光时间产生的信号，以便减少或消除饱和光敏半导体的贡献。在一个实例中，本发明是针对一种方法，其包括:在第一时间对第一像素单元信号进行取样以产生第一样本；在第二时间对第二像素单元信号进行取样以产生第二样本；将可变加权因子应用于所述第二样本，其中所述可变加权因子是基于函数而界定；以及将所述第一样本与所述经加权第二样本组合。在另一实例中，本发明是针对一种系统，其包括图像传感器，所述图像传感器包括多个像素单元以及控制器，所述控制器在第一时间从所述多个像素单元中的至少一者对第一像素单元信号进行取样以产生第一样本，且在第二时间从所述多个单元中的至少一者对第二像素单元信号进行取样以产生第二样本。所述系统进一步包括处理器，其将可变加权因子应用于所述第二样本，其中所述可变加权因子是基于函数而界定，且将所述第一样本与所述经加权第二样本组合。在另一实例中，本发明是针对一种系统，其包括:用于在第一时间对第一像素单元信号进行取样以产生第一样本的装置；用于在第二时间对第二像素单元信号进行取样以产生第二样本的装置；用于将可变加权因子应用于所述第二样本的装置，其中所述可变加权因子是基于函数而界定；以及用于将所述第一样本与所述经加权第二样本组合的装置。在另一实例中，本发明是针对一种计算机可读媒体，其包括指令，所述指令在由一个或一个以上处理器执行时，致使所述一个或一个以上处理器:在第一时间对第一像素单元信号进行取样以产生第一样本；在第二时间对第二像素单元信号进行取样以产生第二样本；将可变加权因子应用于所述第二样本，其中所述可变加权因子是基于函数而界定；且将所述第一样本与所述经加权第二样本组合。在附图及下文描述中陈述本发明的一个或一个以上实例的细节。其它特征、目标及优势将从描述及附图和从权利要求书中显而易见。


图1是可用以实施本发明的技术的实例像素单元的示意图。图2是根据本发明的技术的可用于组合方案中的组合曲线的实例图表。图3是可用以实施本发明的技术的图像传感器的框图。图4是可用以实施本发明的技术的另一图像传感器的框图。图5是可用以实施本发明的技术的另一图像传感器的框图。图6描绘说明根据本发明的技术的来自偶数和奇数编号线的短和长曝光时间样本的组合的概念图。图7是说明可用以实施本发明的技术的实例方法的流程图。图8是说明可用以实施本发明的技术的另一实例方法的流程图。图9是说明可用以实施本发明的技术的另一实例方法的流程图。图10是说明可用以实施本发明的技术的另一实例方法的流程图。
具体实施例方式本发明描述用于通过在将样本与另一样本组合之前将可变加权因子应用于所述样本来产生高动态范围(HDR)图像(例如，静止图像和视频图像)的技术。HDR图像指代具有比标准成像技术产生的图像的动态范围大的动态范围(例如，图像中的最高强度光级相对于最低强度光级的比率)的图像。一个实例HDR成像技术组合以不同曝光时间捕获的图像，以创建具有比从所述曝光时间中的任一者产生的图像的动态范围大的动态范围的组合图像。本发明提供在组合图像之前将可变加权因子应用于以不同曝光时间捕获的图像中的一者以便产生HDR图像的技术。图1是可用以实施本发明的技术的实例图元(“像素”)单元的示意图。在图1中，实例像素单元10包括光敏半导体12 ;开关14、16和18 ;电容器20 ;以及晶体管22、24。举例来说，开关14、16和18可为晶体管。电容与光敏半导体12相关联，如由等效电容器28 (由虚线展示)指示。光敏半导体12的阴极通过开关14连接到电压源VDD，且光敏半导体12的阳极连接到参考电压Vss，其可为接地或小于电压源Vdd的其它电位。因此，光敏半导体12经逆向加偏压，因为其在节点30处的阴极处于比其阳极高的电位。晶体管22的栅极通过开关16连接到光敏半导体12的阴极。晶体管22的栅极还通过开关18连接到电容器20。晶体管22的漏极连接到电压源VDD，且晶体管22的源极连接到晶体管24的漏极。晶体管24的栅极26连接到行选择驱动器电路，如下文更详细地描述。晶体管24的源极连接到像素单元输出线32。应注意，尽管将晶体管22和24描绘为不附接有相应块体的增强模式金属氧化物半导体场效晶体管(MOSFET)，但大量其它配置是可能的。另外，尽管下文将晶体管22和24描述为n-MOS型晶体管，但在其它实例配置中，晶体管22和24可为ρ-MOS型晶体管。光敏半导体12(例如，光电二极管)是将来自入射光的光子转换为电荷的装置。在其中光敏半导体12暴露于光的时间周期(即，积分时间)期间，来自入射光的光子致使光敏半导体在光敏半导体的区内产生电荷载流子。所产生的电荷载流子的量与入射光的量成比例。随着光强度增加，所产生的电荷载流子的量增加。如果电荷载流子的量不能再随着入射光的量增加而增加，那么光敏半导体可变为“饱和”。应了解，一旦光敏半导体变为饱和，其就不再是入射光的量的准确指示符。由此，饱和的光敏半导体具有很少有价值信息。如上文所提到且如图1中的参考编号28处所示，光敏半导体12 (例如，光电二极管)具有等效电容。在暴露于光之前，可使像素单元10复位到初始电压。明确地说，例如，可使光敏半导体12及其等效电容28复位到初始电压VDD。在图1中所描绘的实例中，可闭合复位开关14，以便使图1的像素单元10复位。闭合复位开关14将节点30 (且明确地说，光敏半导体12及其等效电容器28)连接到供应电压VDD。尽管图1描绘像素单元10正复位到供应电压VDD，但在其它实例中，像素单元10可包含第二电压，类似于或不同于充当用于像素单元10的专用复位电压的供应电压VDD。闭合复位开关14从光敏半导体12中汲取电荷，且将等效电容器28充电到已知电压VDD。另外，开关16和18在复位时闭合，这可致使电容器20变为充电到已知电压Vdd。在像素单元10复位之后，复位开关14以及开关16和18断开，且光敏半导体12在暴露于光后即刻开始将光子转换为电荷。在暴露于光后(即，在其积分时间开始时)，光敏半导体12开始产生电荷载流子。因为光敏半导体12经逆向加偏压，所以光电流将开始从光敏半导体12的阴极流向阳极。光电流与入射光的量成比例。随着光强度增加，由光敏半导体12产生的电荷载流子的量增加，从而增加光电流。光电流开始使等效电容器28放电。像素单元10可用以在第一时间(例如，短曝光时间)对第一像素单元信号进行取样，且在第二时间(例如，长曝光时间)对第二像素单元信号进行取样。在短曝光时间(例如，TshOTt)之后，像素单元10可通过闭合开关16和18而对来自光敏半导体12的第一信号进行取样。控制器(例如，图3的控制器54)闭合开关16和18以将来自光敏半导体12 (且明确地说，其等效电容器28)的短曝光时间电荷传送到电容器20。在足以完成电荷从光敏半导体12到电容器20的传送的时间之后，控制器(例如，图3的控制器54)断开开关16和18,从而经由电容器20捕获表不在时间Tshtjrt期间入射在光敏半导体12上的光的量的电压。以此方式，电容器20收集短曝光时间样本。同时，光可继续撞击光敏半导体12。入射光可继续在光敏半导体12中产生电荷载流子，从而进一步使等效电容器28放电。在长曝光时间(例如，Tlmg)之后，其中Tlmg >TshOTt，长曝光时间样本由等效电容器28上剩余的电压表示。此时，可通过闭合开关16且将行选择信号施加到晶体管24的栅极26 (下文更详细地描述)来读出长曝光时间样本。控制器(例如，图3的控制器54)闭合开关16，且将行选择信号施加到晶体管24的栅极26以接通晶体管22和24。接着经由穿过晶体管22和24的线32从像素单元10 (且明确地说，等效电容器28)读出表不长曝光时间样本的电压。在读出长曝光时间样本之后，可读出存储在电容器20中的短曝光时间样本。可通过断开开关16、闭合开关18且将行选择信号施加到晶体管24的栅极26来读出短曝光时间样本。闭合开关18且将行选择信号施加到晶体管24的栅极26接通晶体管22和24。接着经由线32从像素单元10读出存储在电容器30上的电压(其表示短曝光时间样本)。所读出的电压大约等于电容器30上的电压减晶体管22和24的阈值电压。在一些实施方案(例如，使用互补MOS (CMOS)图像传感器的实施方案)中，可希望执行关联双重取样。可通过使用关联双重取样来减少或消除一些类型的噪声，例如固定模式噪声(FPN)。就是说，因为贯穿阵列的光敏半导体是不同的，因此可使用关联双重取样来减少或消除阵列中的光敏半导体上的不均匀性。图像传感器上的控制器(例如，图3的控制器54)可通过闭合开关14来执行关联双重取样，从而使像素单元10复位到参考电压VDD，且接着在像素单元已复位之后，对像素单元的输出电平进行取样。就是说，在已读出像素单元值之后，控制器可对像素单元(例如，像素单元10)的复位值进行复位、取样和读出。接着，控制器可将像素单元的复位值从信号样本的值减去，以便提供所述信号的更准确表示。根据本发明的技术，可在将可变加权因子应用于长曝光时间样本之后，通过处理器来组合短曝光时间样本与长曝光时间样本。通过应用由处于长曝光时间样本的值的函数界定的可变加权因子，可改进由两个不同曝光时间提供的动态范围。明确地说，如果像素单元在长曝光时间之后饱和，那么长曝光时间样本的贡献在短曝光时间样本与长曝光时间样本的组合期间可由加权因子减少或消除。如上文所提到，如果光敏半导体变为饱和，那么其不再是入射光的量的准确指示符。由此，饱和的光敏半导体具有很少有价值信息。然而，在短曝光时间期间，像素单元不可能饱和。因此，短曝光时间样本有可能具有比饱和或过度曝光的长曝光时间样本多的有价值信息。为了减少或消除长曝光时间样本与短曝光时间样本的组合期间长曝光时间样本的贡献，可使用以下组合方案:(l)M(i, j) = C(Slong(i, j))(2) Scombined (i，j) = Slong (i，j) *M (i，j) +n*SSH0KT (i+H (i，j)，j+V (i，j)) * (1_M (i，j))其中Sotbined是位于(i，j)的像素单元的短曝光时间样本Sshqkt(i，j)与长曝光时间样本SLQN(；(i，j)的组合，C()是组合曲线，其开始于值一，且随着长曝光时间样本SLQNC(i，j)变为饱和而减小到值零，M(i，j)是由C()加权的长曝光时间样本Srae(Lj)的标度值，η是取决于短曝光时间(Tshott)与长曝光时间(Τ.)之间的曝光时间的差的标度值，且等于TumZTshqkt，且H(i，j)和V(i，j)分别是水平和垂直对准变量，其对于补偿其中依序进行两次曝光的实施方案中的相机运动和/或对象运动可为必要的。在其中连续而不是依序进行两次曝光的实例实施方案中，H(i，j)和V(i，j)等于零，且以上等式(2)可减少为以下:(3) Scombined (i, j) = Slong (i, j) *M (i, j) +n*SSH0ET (i，j) * (1_M (i, j))如上文所提到，等式(2)和(3)中的长曝光时间样本SmcQ, j)可由标度值η修改。标度值η可包括短曝光时间与长曝光时间的比率。可使用标度值η，以便通过使两个样本达到共同基础来标准化长曝光时间样本SOTe(i，j)和短曝光时间样本Ssmm (i，j)。换句话说，由等式(2)和(3)描述的组合方案调整了值n，使得对象在两个图像组合之前出现在所述两个图像中的同一水平处。举例来说，假定场景的帧的一半具有lOOlux的光度值，且另一半具有IOOOIux的光度值。所述帧具有光度比率10: I。进一步假定Sskm对应于所述帧的lOOOlux部分，应于所述帧的lOOlux部分，长曝光时间Tmc等于一秒，且短曝光时间Tsikm等于0.1秒。为了组合两个不同曝光时间样本，IOOOIux的短曝光时间样本必须按比例缩小到lOOlux的长曝光时间样本。处理器(例如，图3的处理器76)可使短曝光时间样本Sshott乘以曝光时间的比率(例如，T_；/TsmKT)，以标准化短曝光时间样本Ssikm，以便考虑曝光时间的差异。除饱和之外，像素单元的“噪声下限”(即，在不存在入射光的情况下由像素单元产生的低电平信号)是减小动态范围时的因子。依据噪声下限，短曝光时间样本SsroKT(i，j)和长曝光时间样本j)可以信噪比(SNR)高效方式组合。就是说，如果样本具有低于像素单元本身的SNR的值，那么可丢弃所述样本。图2是根据本发明的技术的可用于组合方案中的组合曲线(即，CO)的实例图表。图2中描绘的图表的X轴表示在长曝光时间之后位于像素单元阵列上的空间位置(i，j)处的像素单元的亮度值。图2中描绘的图表的I轴表示如由大体在40处展示的组合曲线C()界定的Smc(i，j)的经加权值M(i，j)。如果位于(i，j)处的像素单元在长曝光时间期间未暴露于光，那么S_(i，j)的值为零。如果位于(i，j)处的像素单元在长曝光时间之后饱和，那么SOTe(i，j)的值处于最大值，例如，对于八位实施方案为255。如图2中所见，随着j)的值增加，M(i，j)的值保持在值“1”，直到SOTe(i，j)值为约210为止。组合曲线C()开始在约210和约230的S_(i，j)值之间急剧减小，直到经加权值M(i，j)在Srae(Lj)值为约230时达到值“O”为止。在约210和约230的Sum;(i，j)值之间，经加权值M(i，j)可为介于“O”与“I”之间的值。举例来说，在SOTe(i，j)值为约220时，经加权值M(i，j)约为0.5。作为一个实例，如果位于(i，j)处的像素单元饱和，那么S—a，j) = 255(对于八位实施方案)，且 M(i，j) = C(Slong(i, j)) = C(255) = 0。参考等式(3)，Scombined(i, j)=n*SL0NG(i，j)*0+S謂T(i，j)*(l) = Sshoet(i, j)。因此，使用上文描述的组合方案，可将饱和样本s^a，j)的贡献从组合值s a，j)中完全去除。如等式⑵和(3)中所见，基于SmcQ, j)的饱和等级对组合结果S (i，j)进行加权。如果位于(i，j)处的像素单元在长曝光时间之后完全饱和，那么M(i，j) =0，且&‘(丨，j)对组合结果Sgqmbined(i，j)不具有影响。如上文所提到，饱和像素单元具有很少有价值信息，且可从组合结果j)去除，以便完全利用由两个不同曝光时间样本(即，Sshoet(i, j)和s—a，j))提供的动态范围增加的益处。如果位于a，j)处的像素单元在长曝光时间之后不接近饱和(例如，在图2中j)小于约200)，那么M(i，j)=1，且仅长曝光时间样本SOTe(i，j)具有影响。图2中的40处描 绘的实例组合曲线C()包含三个区段42、44和46。在其它实例中，组合曲线C()可具有更多或更少区段。如图2中所见，组合曲线C()可大体上被视为随着长曝光时间样本SOTe(i，j)的值增加而衰减的函数。在其它实例中，组合曲线C()可较不急剧地衰减。
上文描述了对应于区段42 (其中M(i，j) = I)和区段46(其中M(i，j) = O)的两个极端情况。在这两个极端处，Sum;(i, j) *SSH(M(i, j)的贡献分别从组合值Scmmbined(i, j)完全去除。然而，如果长曝光时间样本j)的值对应于区段44，那么0<M(i，j) <1。因此，组合值S (i，j)将包含长曝光时间样本Sffle(Lj)和短曝光时间样本Sskm (i，j)两者的贡献。如图2中所见，随着长曝光时间样本Sffle(Lj)的值增加，经加权值M(i，j)减小，且根据等式⑵和(3)，长曝光时间样本Smc(Lj)对组合值S (i，j)的贡献减小。通过在本发明所述的组合方案中使用可变加权函数(例如，图2中描绘的函数C())，可使传感器的动态范围可变且可编程。每个像素单元可具有不同的经加权值M(i，j)，其根据所述特定像素单元的长曝光时间样本的值而变。不同于其中传感器的动态范围基于用以构造传感器的电容器的值而固定的其它图像传感器，使用本发明的技术，动态范围是可适应的(例如，对于特定场景)。举例来说，可能希望将数字相机设定为针对特定场景具有四个f制光圈(f制光圈是数字相机的动态范围的量度)。可调整曝光时间以提供四个f制光圈，且接着可组合来自两次曝光时间的两个样本。如上文所提到，可使用大量组合曲线来组合不同曝光时间的图像，且由此，本发明不限于图2中所描绘的组合曲线，或上文的描述。在一个实例中，可根据以下三个指导方针中的一者或一者以上来产生组合曲线。第一，组合曲线可与图像层级有关。可结合可比较结果而使用两个图像中的任一者，但两个曲线将不同。第二，与噪声较多的图像相比，组合曲线可较重地加权噪声较少的图像。举例来说，与Ssrom相比，可较重地加权可能具有比短曝光时间样本Ss_(i，j)少的噪声的长曝光时间样本S.。然而，在一些实例中，可使用等增益组合，而不是与一个图像相比较重地加权另一图像。第三，组合曲线可单调减小。存在可基于事先知道关于 图像噪声统计的多少信息而满足上述指导方针的若干组合方法。在第一实例方法中，可使用曲线是O还是I的选择组合。推理是如果长曝光图像层级不接近饱和，那么可完全使用长曝光时间图像，且如果长曝光图像接近饱和，那么可完全使用短曝光时间图像。在第二实例组合方法中，可使用先前知识来基于图像层级对噪声统计进行建模，且利用其中每一图像与其噪声电平成反比的方式按比例缩放的最大比率组合。在此实例中，可使用第一实例方法的增强版本，针对其而使从I到O的过渡较平缓。可使用以下等式产生一个组合曲线C(L):其中L是与Smc(i，j)相关联的亮度值，例如R、G、B分量的组合，如(R+G+B)/2、max(R, G，B)等，且在8位实施方案中具有值O到255，其中T是控制组合曲线的过渡点的亮度值范围中的阈值(例如，在图2中所示的实例曲线中，T = 220)，其中Λ是控制组合曲线的过渡范围的L的范围内的范围(例如，在图2中所示的实例曲线中，Λ =30)，且其中K是控制组合曲线的过渡区的斜率的数字(例如，在图2中所示的实例曲线中，K = 10)。
权利要求
1.一种方法，其包括: 在第一时间对第一像素单兀信号进行取样以产生第一样本； 在第二时间对第二像素单元信号进行取样以产生第二样本； 将可变加权因子应用于所述第二样本，其中所述可变加权因子是基于函数而界定；以及 将所述第一样本与所述经加权第二样本组合。
2.根据权利要求1所述的方法，其中将所述第一样本与所述经加权第二样本组合包括根据以下等式将所述第一样本与所述经加权第二样本组合: Scombined(i, j) = Slong(i, j)*M(i, j)+n*SSH0ET(i, j)*(l_M(i, j)) 其中S 表示位于(i，j)处的所述像素单元的由Sshott表示的所述第一样本与由Slong表示的所述第二样本的所述组合，η表示标度值，其取决于所述第一时间与所述第二时间之间的曝光时间的差，且M(i，j)表示所述可变加权因子。
3.根据权利要求2所述的方法，其中M(i，j)的值介于零与一之间，包含零和一。
4.根据权利要求1所述的方法，其中所述第二时间在时间上在所述第一时间之后。
5.根据权利要求1所述的方法，其中将所述第一样本与所述经加权第二样本组合包括在传感器上将所述第一样本与所述经加权第二样本组合。
6.根据权利要求1所述的方法，其中由互补MOS(CMOS)图像传感器和电荷耦合装置(CXD)图像传感器中的一者产生所述第一像素单元信号和所述第二像素单元信号。
7.根据权利要求6所述的方法,其中在第一时间对第一像素单兀信号进行取样以产生第一样本且在第二时间对第二像素单元信号进行取样以产生第二样本包括: 打开CCD图像传感器上的机械快门且使所述图像传感器暴露于光； 在第一时间将基于所述光形成的第一样本传送到存储区； 从所述存储区读出所述第一样本； 在第二时间关闭所述机械快门，所述第二时间在时间上在所述第一时间之后； 将第二样本传送到所述存储区；以及 从所述存储区读出所述第二样本。
8.根据权利要求6所述的方法,其中在第一时间对第一像素单兀信号进行取样以产生第一样本且在第二时间对第二像素单元信号进行取样以产生第二样本包括: 使所述第一时间与所述第二时间对准，使得所述第一时间与所述第二时间大体上同时结束； 在所述第一时间使所述CMOS图像传感器的多个偶数编号线曝光，以针对所述多个偶数编号线中的每一者中的多个空间位置中的每一者产生所述第一样本，且在所述第二时间使所述CMOS图像传感器的多个奇数编号线曝光，以针对所述多个奇数编号线中的每一者中的多个空间位置中的每一者产生所述第二样本； 通过针对所述多个偶数编号线中的每一者中的多个空间位置中的每一者对所述第一样本进行向下取样和向上取样中的一者，针对所述多个奇数编号线中的每一者中的所述多个空间位置中的每一者产生所述第一样本；以及 通过针对所述多个奇数编号线中的每一者中的多个空间位置中的每一者对所述第二样本进行向下取样和向上取样中的一者，针对所述多个偶数编号线中的每一者中的所述多个空间位置中的每一者产生所述第二样本。
9.根据权利要求6所述的方法,其中在第一时间对第一像素单兀信号进行取样以产生第一样本且在第二时间对第二像素单元信号进行取样以产生第二样本包括: 使像素单元复位并使所述像素单元暴露于光； 在第一时间将基于所述光形成的第一样本传送到电容器； 在第二时间读出基于所述光形成的第二样本；以及 在已读出所述第二样本之后读出所述第一样本。
10.一种系统,其包括: 图像传感器，其包括: 多个像素单元；以及 控制器，其: 在第一时间从所述多个像素单元中的至少一者对第一像素单元信号进行取样以产生第一样本；且 在第二时间从所述多个单元中的所述至少一者对第二像素单元信号进行取样以产生第二样本；以及处理器，其: 将可变加权因子应用于所述第二样本，其中所述可变加权因子是基于函数而界定；且 将所述第一样本与所述经加权第二样本组合。
11.根据权利要求10所述的系统，所述处理器根据以下等式将所述第一样本与所述经加权第二样本组合: Scombined(i, j) = Slong(i, j)*M(i, j)+n*SSH0ET(i, j)*(l_M(i, j)) 其中S 表示位于(i，j)处的所述像素单元的由Sshott表示的所述第一样本与由Slong表示的所述第二样本的所述组合，η表示标度值，其取决于所述第一时间与所述第二时间之间的曝光时间的差，且M(i，j)表示所述可变加权因子。
12.根据权利要求11所述的系统，其中M(i，j)的值介于零与一之间，包含零和一。
13.根据权利要求10所述的系统，其中所述第二时间在时间上在所述第一时间之后。
14.根据权利要求10所述的系统，其中所述处理器在传感器上将所述第一样本与所述经加权第二样本组合。
15.根据权利要求10所述的系统，其中所述第一像素单元信号和所述第二像素单元信号由互补MOS(CMOS)图像传感器和电荷耦合装置(CCD)图像传感器中的一者产生。
16.根据权利要求15所述的系统，其中所述控制器至少通过以下步骤在第一时间对第一像素单元信号进行取样以产生第一样本，且在第二时间对第二像素单元信号进行取样以产生第二样本: 打开CCD图像传感器上的机械快门且使所述图像传感器暴露于光； 在第一时间将基于所述光形成的第一样本传送到存储区； 从所述存储区读出所述第一样本； 在第二时间关闭所述机械快门，所述第二时间在时间上在所述第一时间之后； 将第二样本传送到所述存储区；以及 从所述存储区读出所述第二样本。
17.根据权利要求15所述的系统，其中所述控制器至少通过以下步骤在第一时间对第一像素单元信号进行取样以产生第一样本，且在第二时间对第二像素单元信号进行取样以产生第二样本: 使所述第一时间与所述第二时间对准，使得所述第一时间与所述第二时间大体上同时结束； 在所述第一时间使所述CMOS图像传感器的多个偶数编号线曝光，以针对所述多个偶数编号线中的每一者中的多个空间位置中的每一者产生所述第一样本，且在所述第二时间使所述CMOS图像传感器的多个奇数编号线曝光，以针对所述多个奇数编号线中的每一者中的多个空间位置中的每一者产生所述第二样本； 通过针对所述多个偶数编号线中的每一者中的多个空间位置中的每一者对所述第一样本进行向下取样和向上取样中的一者，针对所述多个奇数编号线中的每一者中的所述多个空间位置中的每一者 产生所述第一样本；以及 通过针对所述多个奇数编号线中的每一者中的多个空间位置中的每一者对所述第二样本进行向下取样和向上取样中的一者，针对所述多个偶数编号线中的每一者中的所述多个空间位置中的每一者产生所述第二样本。
18.根据权利要求15所述的系统，其中所述控制器至少通过以下步骤在第一时间对第一像素单元信号进行取样以产生第一样本，且在第二时间对第二像素单元信号进行取样以产生第二样本: 使像素单元复位并使所述像素单元暴露于光； 在第一时间将基于所述光形成的第一样本传送到电容器； 在第二时间读出基于所述光形成的第二样本；以及 在已读出所述第二样本之后读出所述第一样本。
19.一种系统,其包括: 用于在第一时间对第一像素单元信号进行取样以产生第一样本的装置； 用于在第二时间对第二像素单元信号进行取样以产生第二样本的装置； 用于将可变加权因子应用于所述第二样本的装置，其中所述可变加权因子是基于函数而界定；以及 用于将所述第一样本与所述经加权第二样本组合的装置。
20.根据权利要求19所述的系统，其中所述用于将所述第一样本与所述经加权第二样本组合的装置包括用于根据以下等式将所述第一样本与所述经加权第二样本组合的装置: Scombined(i, j) = Slong(i, j)*M(i, j)+n*SSH0ET(i, j)*(l_M(i, j)) 其中S 表示位于(i，j)处的所述像素单元的由Sshott表示的所述第一样本与由Slong表示的所述第二样本的所述组合，η表示标度值，其取决于所述第一时间与所述第二时间之间的曝光时间的差，且M(i，j)表示所述可变加权因子。
21.根据权利要求20所述的系统，其中M(i，j)的值介于零与一之间，包含零和一。
22.根据权利要求19所述的系统，其中所述第二时间在时间上在所述第一时间之后。
23.根据权利要求19所述的系统，其中所述用于将所述第一样本与所述经加权第二样本组合的装置包括用于在传感器上将所述第一样本与所述经加权第二样本组合的装置。
24.根据权利要求19所述的系统，其中所述第一像素单元信号和所述第二像素单元信号由互补MOS(CMOS)图像传感器和电荷耦合装置(CCD)图像传感器中的一者产生。
25.根据权利要求24所述的系统，其中所述用于在第一时间对第一像素单元信号进行取样以产生第一样本的装置以及所述用于在第二时间对第二像素单元信号进行取样以产生第二样本的装置包括: 用于打开CCD图像传感器上的机械快门且使所述图像传感器暴露于光的装置； 用于在第一时间将基于所述光形成的第一样本传送到存储区的装置； 用于从所述存储区读出所述第一样本的装置； 用于在第二时间关闭所述机械快门的装置，所述第二时间在时间上在所述第一时间之后; 用于将第二样本传送到所述存储区的装置；以及 用于从所述存储区读出所述第二样本的装置。
26.根据权利要求24所述的系统，其中所述用于在第一时间对第一像素单元信号进行取样以产生第一样本的装置以及所述用于在第二时间对第二像素单元信号进行取样以产生第二样本的装置包括: 用于使所述第一时间与所述第二时间对准使得所述第一时间与所述第二时间大体上同时结束的装置； 用于在所述第一时间使所述CMOS图像传感器的多个偶数编号线曝光以针对所述多个偶数编号线中的每一者中的多个空间位置中的每一者产生所述第一样本且在所述第二时间使所述CMOS图像传 感器的多个奇数编号线曝光以针对所述多个奇数编号线中的每一者中的多个空间位置中的每一者产生所述第二样本的装置； 用于通过针对所述多个偶数编号线中的每一者中的多个空间位置中的每一者对所述第一样本进行向下取样和向上取样中的一者而针对所述多个奇数编号线中的每一者中的所述多个空间位置中的每一者产生所述第一样本的装置；以及 用于通过针对所述多个奇数编号线中的每一者中的多个空间位置中的每一者对所述第二样本进行向下取样和向上取样中的一者而针对所述多个偶数编号线中的每一者中的所述多个空间位置中的每一者产生所述第二样本的装置。
27.根据权利要求24所述的系统，其中所述用于在第一时间对第一像素单元信号进行取样以产生第一样本的装置以及所述用于在第二时间对第二像素单元信号进行取样以产生第二样本的装置包括: 用于使像素单元复位并使所述像素单元暴露于光的装置； 用于在第一时间将基于所述光形成的第一样本传送到电容器的装置； 用于在第二时间读出基于所述光形成的第二样本的装置；以及 用于在已读出所述第二样本之后读出所述第一样本的装置。
28.一种计算机可读媒体，其包括指令，所述指令在由一个或一个以上处理器执行时，致使所述一个或一个以上处理器: 在第一时间对第一像素单兀信号进行取样以产生第一样本； 在第二时间对第二像素单元信号进行取样以产生第二样本； 将可变加权因子应用于所述第二样本，其中所述可变加权因子是基于函数而界定；以及 将所述第一样本与所述经加权第二样本组合。
29.根据权利要求28所述的计算机可读媒体，其中所述致使所述一个或一个以上处理器将所述第一样本与所述经加权第二样本组合的指令包括致使所述一个或一个以上处理器根据以下等式将所述第一样本与所述经加权第二样本组合的指令:Scombined ( j) = Slwg (i, j)*M(i，j)+n*S選T (i，j)*(l_M(i，j)) 其中S 表示位于(i，j)处的所述像素单元的由Sshott表示的所述第一样本与由Slong表示的所述第二样本的所述组合，η表示标度值，其取决于所述第一时间与所述第二时间之间的曝光时间的差，且M(i，j)表示所述可变加权因子。
30.根据权利要求29所述的计算机可读媒体，其中M(i，j)的值介于零与一之间，包含零和一。
31.根据权利要求28所述的计算机可读媒体，其中所述第二时间在时间上在所述第一时间之后。
32.根据权利要求28所述的计算机可读媒体，其中所述致使所述一个或一个以上处理器将所述第一样本与所述经加权第二样本组合的指令包括致使所述一个或一个以上处理器在传感器上将所述第一样本与所述经加权第二样本组合的指令。
33.根据权利要求28所述的计算机可读媒体，其中所述第一像素单元信号和所述第二像素单元信号由互补MOS (CMOS)图像传感器和电荷耦合装置(CCD)图像传感器中的一者产生。
34.根据权利要求33所述的计算机可读媒体，其中所述致使所述一个或一个以上处理器在第一时间对第一像素单元信号进行取样以产生第一样本且在第二时间对第二像素单元信号进行取样以产生第二样本的指令包括致使所述一个或一个以上处理器进行以下步骤的指令: 打开CCD图像传感器上的机械快门且使所述图像传感器暴露于光； 在第一时间将基于所述光形成的第一样本传送到存储区； 从所述存储区读出所述第一样本； 在第二时间关闭所述机械快门，所述第二时间在时间上在所述第一时间之后； 将第二样本传送到所述存储区；以及 从所述存储区读出所述第二样本。
35.根据权利要求34所述的计算机可读媒体，其中所述致使所述一个或一个以上处理器在第一时间对第一像素单元信号进行取样以产生第一样本且在第二时间对第二像素单元信号进行取样以产生第二样本的指令包括致使所述一个或一个以上处理器进行以下步骤的指令: 使所述第一时间与所述第二时间对准，使得所述第一时间与所述第二时间大体上同时结束； 在所述第一时间使所述CMOS图像传感器的多个偶数编号线曝光，以针对所述多个偶数编号线中的每一者中的多个空间位置中的每一者产生所述第一样本，且可在所述第二时间使所述CMOS图像传感器的多个奇数编号线曝光，以针对所述多个奇数编号线中的每一者中的多个空间位置中的每一者产生所述第二样本；通过针对所述多个偶数编号线中的每一者中的多个空间位置中的每一者对所述第一样本进行向下取样和向上取样中的一者，针对所述多个奇数编号线中的每一者中的所述多个空间位置中的每一者产生所述第一样本；以及 通过针对所述多个奇数编号线中的每一者中的多个空间位置中的每一者对所述第二样本进行向下取样和向上取样中的一者，针对所述多个偶数编号线中的每一者中的所述多个空间位置中的每一者产生所述第二样本。
36.根据权利要求34所述的计算机可读媒体，其中所述致使所述一个或一个以上处理器在第一时间对第一像素单元信号进行取样以产生第一样本且在第二时间对第二像素单元信号进行取样以产生第二样本的指令包括致使所述一个或一个以上处理器进行以下步骤的指令: 使像素单元复位并使所述像素单元暴露于光； 在第一时间将基于所述光形成的第一样本传送到电容器； 在第二时间读出基于所述光形成的第二样本；以及 在已读出所述第二样本之后读出所述第一样本。
全文摘要
本发明描述用于通过在将样本与另一样本组合之前将可变加权因子应用于所述样本来产生高动态范围图像的技术。在一个实例中，一种方法包含在第一时间对第一像素单元信号进行取样以产生第一样本；在第二时间对第二像素单元信号进行取样以产生第二样本；将可变加权因子应用于所述第二样本，其中所述可变加权因子是基于函数而界定；以及将所述第一样本与所述经加权第二样本组合。
文档编号H04N5/355GK103141081SQ201180046572
公开日2013年6月5日 申请日期2011年8月31日 优先权日2010年9月1日
发明者卡林·M·阿塔纳索夫, 鲁本·M·贝拉尔德, 豪·黄 申请人:高通股份有限公司