专利名称：成像装置、图像处理方法和程序的制作方法
技术领域：
本公开涉及成像装置、图像处理方法和程序。更具体而言，本公开涉及执行对例如由高光溢出(blooming)引起的图像劣化的校正的成像装置、图像处理方法和程序。
背景技术：
近年来，CXD图像传感器或CMOS (互补金属氧化物半导体)图像传感器已被用作诸如视频相机或数字静态相机的固态图像传感器。在这种图像传感器中，像素的数目正迅速增加，或者图像传感器的大小正迅速缩减。然而，随着像素数目的增加或大小的缩减，图像传感器中的相邻像素之间的间隔变小，从而产生了一个被称为高光溢出的新问题，即像素之间电荷泄漏。高光溢出指的是相邻像素之一处于饱和状态并且电荷溢出并泄漏到另一像素的现象。将参考图I来描述高光溢出现象。当强光入射到相邻像素之一上，弱光入射到另一像素上，并且强光所入射到的光接收部I处于饱和状态时，入射到光接收部I上的光产生的电荷未被蓄积在光接收部I中，·而是一些电荷泄漏到相邻的光接收部2。此现象被称为高光溢出。这里，为了对像素分类，产生电荷溢出的像素，也就是高光溢出产生像素，被定义为侵略者像素(aggressor pixel),而蓄积从侵略者像素溢出的电荷的像素,也就是高光溢出接收像素，被定义为受害者像素(victim pixel)。当产生这种高光溢出时，产生电荷溢出的像素也就是产生高光溢出的侵略者像素的像素值变成饱和值。同时，蓄积溢出的电荷的像素也就是接收高光溢出的受害者像素的像素值由于溢出的电荷而被设定到不正确的像素值。图2是图示由高光溢出引起的侵略者像素和受害者像素的蓄积电荷的转变的图。示出了当光入射到相互邻近的侵略者像素和受害者像素上时电荷量的时间变化。在时间tl，侵略者像素饱和并且电荷溢出发生。溢出的电荷流到相邻的受害者像素中，并且受害者像素的蓄积电荷量变化。图2中所示的与受害者像素相对应的虚线指示没有高光溢出时的正常蓄积电荷的转变，并且实线指示由高光溢出引起的蓄积电荷的转变。相邻像素根据入射光的波长和滤色器的特性而具有不同的灵敏度，但当具有高灵敏度的像素(侵略者)饱和时，具有低灵敏度的像素(受害者)受到影响。当入射光恒定时，电荷量的变化将具有线性。然而，受害者像素由于高光溢出的影响而具有非线性。结果，存在图像变色的问题。一般地，由于高光溢出的影响是在图像的饱和附近产生的，所以经常使用通过疏化饱和附近的颜色成分的对策处理来消除高光溢出的影响的技术。对高光溢出的这个对策的示例在例如2008-294698号日本专利申请早期公布中公开。
2008-294698号日本专利申请早期公布描述了对宽动态范围图像的拍摄图像的高光溢出对策。将简单描述宽动态范围图像。假定成像装置的图像拍摄环境为各种环境室内或室外，日间或夜间。当在各种环境中使用图像传感器(image sensor)时，必须要通过根据摄影环境的明亮度(brightness)控制光电转换元件的电荷蓄积时间也就是调整曝光时间来使灵敏度具有最优值。例如，通过在明 亮环境中设定短曝光时间并且在暗环境中设定长曝光时间来抑制像素值的饱和或者灵敏度不足的发生，可从每个像素输出有效像素值。然而，例如，当拍摄亮被摄体和暗被摄体都存在的图像时，如果以恒定的曝光时间执行摄影，则在亮被摄体的摄影像素中电荷蓄积提早开始变得饱和。然而，在暗被摄体的摄影像素中可产生未实现充分电荷蓄积的不平衡。从亮被摄体到暗被摄体都输出有效像素值的技术是扩大动态范围的处理，并且这种成像处理被称为高动态范围(HDR)成像或宽动态范围(WDR)成像。以下，将作为HDR图像拍摄技术来描述用于从亮被摄体到暗被摄体都输出有效像素值的图像拍摄技术。作为HDR图像拍摄技术，已提出了以下两种技术。(技术I)多次拍摄(multi-shot)技术通过利用以多个不同曝光时间连续拍摄的多个图像组合长时间曝光图像和短时间曝光图像的处理来生成宽动态范围图像的技术。(技术2)—次拍摄(one-shot)技术不是连续地拍摄多个图像,而是通过例如以像素布置的行(row)为单位设定不同的曝光时间，以组合一个图像中包括的长时间曝光像素和短时间曝光像素，来生成宽动态范围图像的技术。多次拍摄技术例如在Hei 2-174470号、Hei 7-95481号和Hei 11-75118号日本专利申请早期公布中公开。具体而言，如图3中所示，每帧交替拍摄曝光时间较短的短时间曝光图像(低灵敏度图像)和曝光时间较长的长时间曝光图像(高灵敏度图像)。将这些具有不同曝光时间的拍摄图像蓄积在帧存储器中，并且执行诸如从每个图像中选择和获取有效像素值之类的信号处理。例如，通过诸如对于亮被摄体区域优先获取短时间曝光图像(低灵敏度图像)的像素值并且对于暗被摄体区域优先获取长时间曝光图像(高灵敏度图像)的像素值之类的信号处理来生成具有高动态范围的图像。在上述的2008-294698号日本专利申请早期公布中，描述了通过这种多次拍摄技术对HDR图像的高光溢出校正处理。图4中示出了通过多次拍摄技术连续拍摄的(a)短时间曝光图像，和(b)长时间曝光图像。2008-294698号日本专利申请早期公布描述了如图4中所示当一整个图像的曝光时间相同也就是所有相邻像素的曝光时间都相同时的高光溢出校正。公开了一种配置，其中利用短时间曝光图像的像素值来估计在长时间曝光像素的相邻像素之间产生的高光溢出的量，并且基于此估计来执行对长时间曝光图像的像素值的校正。
即使当在长时间曝光图像中产生高光溢出时，连续拍摄的短时间曝光图像也不具有诸如饱和或高光溢出之类的非线性，因为在连续拍摄的短时间曝光图像中曝光时间十分短。由于此特性，在通过多次拍摄得到的HDR拍摄图像的情况中，基于短时间曝光图像的像素值来估计长时间曝光图像的相邻像素之间产生的高光溢出的量，并且基于该估计值来执行对长时间曝光像素的校正。2008-294698号日本专利申请早期公布描述了通过这种多次拍摄技术对HDR图像的高光溢出校正处理。然而，2008-294698号日本专利申请早期公布中公开的高光溢出校正处理难以应用到通过上述HDR图像拍摄技术的一次拍摄技术(技术2)拍摄的图像。一次拍摄技术(技术2)是在不连续拍摄多个图像的情况下通过例如以像素布置·的行为单位设定不同的曝光时间以组合一个图像中包括的长时间曝光像素和短时间曝光像素来生成宽动态范围图像的技术。另外，在例如2006-253876号日本专利申请早期公布和2006-542337号日本专利申请公布中公开了利用一次拍摄技术的HD图像的摄影处理。对于利用一次拍摄技术的拍摄图像，在一个图像中既存在长时间曝光像素也存在短时间曝光像素。从而，难以执行利用如图4中所示的两个图像(a)短时间曝光图像和(b)长时间曝光图像的处理。例如，一个拍摄图像是如图5中所示的其中既存在作为短时间曝光像素的低灵敏度像素也存在作为长时间曝光像素的高灵敏度像素的图像。从而，在通过一次拍摄技术拍摄的图像中存在多个灵敏度的像素。在这种图像中，高光溢出以非常复杂的形态产生。也就是说，在图像中产生各种像素之间的以下高光溢出·从长时间曝光像素到长时间曝光像素的高光溢出·从短时间曝光像素到短时间曝光像素的高光溢出·从长时间曝光像素到短时间曝光像素的高光溢出 从短时间曝光像素到长时间曝光像素的高光溢出。从而，必须要考虑到这种高光溢出产生形态来校正高光溢出。在上述的2008-294698号日本专利申请早期公布中，利用未受高光溢出影响的短时间曝光图像来估计通过多次拍摄技术得到的HDR拍摄图像的高光溢出校正量。然而，在一次拍摄中拍摄的HDR图像的情况下，由于必须利用未受高光溢出影响的短时间曝光图像执行高光溢出校正，所以例如用于减小校正量的误差的处理是必要的。另外，2008-147818号日本专利申请早期公布公开了一种通过改变对图像传感器的读取定时控制而不是通过执行信号处理来使高光溢出产生达到最低限度的方法。在此方法中，由于读取定时根据图像的位置是不连续的，所以例如必须要有帧存储器来获得连续数据。另外，当期望改变曝光时间时，根据曝光时间来改变数据读取定时，并且对后级的信号处理的控制是困难的。
发明内容
本公开是鉴于例如上述问题而作出的，并且希望提供一种执行对由于像素之间的电荷泄漏引起的高光溢出的校正处理的成像装置和图像处理方法以及程序。希望提供一种执行适合于例如生成基于一个拍摄图像生成的一次拍摄型高动态范围(HDR)图像的成像装置的高光溢出校正处理的成像装置、图像处理方法和程序。根据本公开的第一实施例，提供了一种成像装置，包括图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及高光溢出校正处理单元，用于接收来自图像传感器的输出像素信号并执行对像素信号的高光溢出校正。高光溢出校正处理单元根据来自图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行对来自图像传感器的输入像素的像素值校正。高光溢出校正处理单元包括高光溢出量估计单元，用于利用从图像传感器输入的低灵敏度像素信号来估计与来自作为高光溢出校正对象的关注像素附近的像素的电荷 泄漏相当的高光溢出量；以及计算单元，用于从来自图像传感器的输入像素值中减去由高光溢出量估计单元估计的高光溢出量。高光溢出校正处理单元包括高光溢出量估计单元，用于基于图像传感器的像素布置和考虑了图像传感器的高灵敏度像素和低灵敏度像素的曝光控制样式的数学模型来计算与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量。高光溢出校正处理单元包括信号生成单元，用于生成与作为高光溢出校正对象的关注像素的像素位置相对应的每种颜色的高灵敏度像素值和低灵敏度像素值；以及校正处理单元，用于接收由信号生成单元生成的信号并执行对关注像素的高光溢出校正。高光溢出校正处理单元通过应用表格来执行对来自图像传感器的输入像素的像素值校正，其中在该表格中来自图像传感器的输入像素值与未受高光溢出影响的理想像素值相关联。高光溢出校正处理单元通过应用表格来估计来自图像传感器的输入像素中包含的高光溢出量，其中在该表格中来自图像传感器的输入像素值与该输入像素值和未受高光溢出影响的理想像素值之间的差异相关联。高光溢出校正处理单元包括高光溢出量估计单元，用于利用从图像传感器输入的低灵敏度像素信号来估计与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量；乘法单元，用于将由高光溢出量估计单元估计的高光溢出量乘以预定的衰减参数以计算衰减高光溢出量；以及计算单元，用于从来自图像传感器的输入像素值中减去由乘法单元计算出的衰减高光溢出量。高光溢出校正处理单元利用从图像传感器输入的低灵敏度像素信号来估计与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量，并且利用通过减去基于该估计结果的高光溢出量而获得的低灵敏度像素信号来再次执行对高光溢出量的估计。高光溢出校正处理单元包括用于判定作为高光溢出校正对象的关注像素是否是运动区域的运动检测单元，并且根据运动检测单元的检测信息改变高光溢出校正方式。高光溢出校正处理单元包括用于判定作为高光溢出校正对象的关注像素是否是边缘区域的边缘检测单元，并且根据边缘检测单元的检测信息改变高光溢出校正方式。
高光溢出校正处理单元包括过校正对策单元，用于在作为高光溢出校正对象的关注像素是运动区域或边缘区域时减小与该关注像素相对应的估计高光溢出量。高光溢出校正处理单元判定输入像素值是否饱和并且在输入像素值是饱和值时不执行高光溢出校正。成像装置还包括高动态范围(HDR)图像生成单元，用于接收由高光溢出校正处理单元生成的高光溢出校正图像以生成宽动态范围图像。根据本公开的第二实施例，提供了一种成像装置，包括图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像 素的低灵敏度像素信号；以及校正处理单元，用于接收来自图像传感器的输出像素信号并对像素信号执行校正。校正处理单元根据来自图像传感器的输入像素值与理想像素值之间的差异或比率执行对来自图像传感器的输入像素的像素值校正，该理想像素值是根据去到图像传感器的入射光的量与输出值的理想线性特性的。校正处理单元通过应用根据理想线性特性的理想像素值来校正来自图像传感器的输入像素值中包含的非线性特性。校正处理单元从存储单元获取通过多次执行摄影处理获取的图像传感器的理想像素值或者适用于基于该理想像素值的经校正像素值计算的查找表(LUT)，并且执行像素值校正。根据本公开的第三实施例，提供了一种在成像装置中执行的图像处理方法。成像装置包括图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及高光溢出校正处理单元，用于接收来自图像传感器的输出像素信号并执行对像素信号的高光溢出校正，并且高光溢出校正处理单元根据来自图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行对来自图像传感器的输入像素的像素值校正。根据本公开的第四实施例，提供了一种用于使得成像装置执行图像处理的程序。成像装置包括图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及高光溢出校正处理单元，用于接收来自图像传感器的输出像素信号并执行对像素信号的高光溢出校正，并且该程序使得高光溢出校正处理单元根据来自图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行对来自图像传感器的输入像素的像素值校正。根据本公开的程序被记录在记录介质中并被提供到能够执行各种程序代码的信息处理装置或计算机系统。通过由信息处理装置或计算机系统上的程序执行单元执行该程序，实现了与该程序相应的处理。本公开的其他特征和优点从以下描述的本公开的实施例或基于附图的更详细描述中将变得清楚。注意，本说明书中的系统是多个装置的逻辑集合配置，并且不限于每个配置的装置被容纳在单个壳体内的系统。根据本公开的实施例，实现了用于实现对一次拍摄型宽动态范围拍摄图像的非常准确的高光溢出校正的装置和方法。具体而言，接收来自输出高灵敏度像素信号和低灵敏度像素信号的图像传感器的输出像素信号，并且执行对像素信号的高光溢出校正。校正处理单元根据来自图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行输入像素的像素值校正。例如，利用低灵敏度像素信号估计与来自校正对象像素附近的像素的电荷泄漏相当的高光溢出量，并从输入像素值中减去估计的高光溢出量。具体而言，执行应用数学模型或LUT的处理。根据本公开的配置，通过抑制遭受高光溢出的像素的高光溢出量来校正由高光溢出引起的非线性，从而实现正确的颜色再现，准确地表示图像阶调(gradat ion),并改善图
像质量。
图I是图示高光溢出产生原理的·
图2是图不由闻光溢出引起的侵略者像素和受害者像素的畜积电荷的转变的图；图3是图示每帧交替拍摄曝光时间较短的短时间曝光图像(低灵敏度图像)和曝光时间较长的长时间曝光图像(高灵敏度图像)的处理序列的图；图4是图示对通过多次拍摄技术连续拍摄的短时间曝光图像和长时间曝光图像的高光溢出校正处理的图；图5是图示既存在作为短时间曝光像素的低灵敏度像素也存在作为长时间曝光像素的高灵敏度像素的图像中的高光溢出校正处理的图；图6是图示测量图像传感器中的特性信息的处理的图；图7是图示图像传感器的特性信息的图；图8是图示图像传感器的像素布置样式和曝光控制样式的示例的图；图9是图示长时间曝光和短时间曝光中的电荷蓄积序列的图；图10是图示计算从长时间曝光像素到长时间曝光像素的高光溢出量LL的处理的示例的图；图11是图示计算从长时间曝光像素到短时间曝光像素的高光溢出量LS的处理的示例的图；图12是图示计算从短时间曝光像素到长时间曝光像素的高光溢出量SL的处理的示例的图；图13是图示计算从短时间曝光像素到短时间曝光像素的高光溢出量SS的处理的示例的图；图14是图示长时间曝光和短时间曝光中的电荷蓄积序列的图；图15是图示对于高光溢出接收像素(V :受害者像素)，垂直、水平和斜方向上的8个像素成为高光溢出产生像素(侵略者像素)的图；图16是图示图像传感器的像素布置和曝光控制设定的示例的图；图17是图示高光溢出产生方式的图；图18是图示执行高光溢出校正的校正处理单元的配置示例的图；图19是图示执行过校正对策的高光溢出校正处理示例的图；图20是图示作为迭代处理执行估计高光溢出校正量的处理的处理示例的图；图21是图示作为迭代处理执行估计高光溢出校正量的处理的处理示例的图；图22是图示利用LUT (查找表)执行高光溢出校正的校正处理单元的配置示例的图；图23是图示利用LUT (查找表)执行高光溢出校正的校正处理单元的配置示例的图；图24是图示利用LUT (查找表)执行高光溢出校正的校正处理单元的配置示例的图；图25是图示利用LUT (查找表)执行高光溢出校正的校正处理单元的配置示例的图；图26是图示利用LUT (查找表)执行高光溢出校正的校正处理单元的配置示例的图； 图27是图示利用LUT (查找表)执行高光溢出校正的校正处理单元的配置示例的图；图28是图示示出当改变短时间曝光像素的明亮度时实际测量值(受高光溢出影响的像素值)和理想值(真实像素值)的变化的曲线图的图；图29是示出基于图28中所示的特性图27中所示的一维LUT中使用的对应数据的关系的图；图30是示出执行将图29中所示的关系数据转换成简单折线数据的近似处理的结果的图；图31是图示具有倍率近似单元的校正处理单元的配置示例的图；图32是图示在使用三维LUT的配置中使用近似数据的校正处理单元的配置示例的图；图33是图示像素的短时间曝光像素(低灵敏度像素)RcUGd和Bd的明亮度(亮度(luminance))和像素输出值的变化的图；图34是图示通过组合基于数学模型的校正和基于预先获取的数据的校正两者来既补偿每个处理的缺点也利用每个处理的优点的校正处理单元的配置示例的图；图35是图示执行过校正对策的校正处理单元的配置示例的图；图36是图示高光溢出校正结果的经校正像素值逐渐减小的问题的具体示例的图；图37是图示执行高光溢出校正处理的成像装置200的配置示例的图；图38是图示高光溢出校正处理单元的整体配置示例的图；图39是图示在信号生成单元中的信号生成处理示例中通过利用周边像素的线性插补来生成像素值的技术的图；图40是图示HDR(宽动态范围图像)组合处理单元的详细配置示例的图；图41是图示在高灵敏度低频信号生成单元和低灵敏度低频信号生成单元中通过使用关注像素的周边像素的处理来生成低频信号的处理的图；图42是图示HDR全频带信号生成单元的配置示例的图；图43是图示成像装置的第二配置示例的图；图44是图示综合处理单元的具体示例的图；图45是图示综合处理单元的具体示例的图；图46是图示综合处理单元的具体示例的图47是图示高光溢出校正单元的输入/输出关系的图；图48是图示在图46中所示的高光溢出校正单元中配置的像素生成单元的处理示例的图；并且图49是图示拐点(knee)特性的图。
具体实施例方式以下，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同的标号表示具有基本相同的功能和结构的结构元素，并且省略对这些结构元素的重复说明。以下，将参考附图详细描述本公开的成像装置、图像处理方法和程序。将按以下顺序进行描述。 I.测量图像传感器的特性的处理2.使用高光溢出的数学模型的校正处理的示例2-1.从长时间曝光像素到长时间曝光像素的高光溢出量LL2-2.从长时间曝光像素到短时间曝光像素的高光溢出量LS2-3.从短时间曝光像素到长时间曝光像素的高光溢出量SL2-4.从短时间曝光像素到短时间曝光像素的高光溢出量SS3.考虑来自多个高光溢出产生像素的相互作用的实施例4.高光溢出校正处理的实施例4-1.使用数学模型的基本高光溢出校正处理的示例4-2.利用数学模型执行过校正对策的高光溢出校正处理的示例4-3.利用数学模型执行迭代校正的处理示例4-4.基于诸如LUT之类的预先获取的数据的校正处理的示例4-5.使用不同校正技术的组合的高光溢出校正处理4-6.执行对基于运动被摄体或边缘的过校正的对策的校正处理的示例5.成像装置的配置示例5-1.成像装置的配置示例I5-2.成像装置的配置示例26.其他实施例基于除高光溢出以外的传感器特性的图像的校正7.对本公开的配置的总结[I.测量图像传感器的特性的处理]在以下将要描述的本公开的成像装置的实施例中，利用图像传感器的特性来执行高光溢出校正。首先，将参考图6和随后的图描述测量图像传感器的特性信息的处理。图6示出了用于执行图像传感器的特性信息的测量的系统配置的示例。作为摄影对象的被摄体102例如是其中设定了各种颜色或亮度区域的测试样式。具体而言，例如，可使用颜色检查处理中使用的麦克白色卡(Macbeth chart)。将照明101照射到被摄体102并且在包括用于特性测量的图像传感器104的成像装置(相机)中拍摄图像。
另外，可应用能够获取RAW图像的相机作为应用于图6中所示的特性测量的装置，但其具有一般相机的配置这一点并不是必要的。可以应用具有能够获取诸如图像传感器之类的传感器的原始数据的配置的基盘或装置。如果照明101和被摄体102的条件、位置等固定，并且图像传感器104也在相同条件下摄影，则当忽略噪声时可获取相同图像。图像传感器104是能够通过对每个像素改变曝光时间来摄影的传感器。可基于由图6中所示的控制单元105生成的作为控制信息的曝光时间信息106来以像素为单位设定曝光时间，然后可执行摄影。首先，对所有像素以相同曝光时间执行摄影。随着控制单元105在短曝光时间和长曝光时间之间精细地改变图像传感器104的总曝光时间，获取传感器图像107，随后将其记录在存储装置108中。·
图7(A)中的测量结果示出了在改变曝光时间的同时获取的传感器图像107中的相邻R、G和B像素值的变化。一般地，当被摄体没有变化时，曝光时间和像素值具有比例关系。然而，当曝光时间较短时，存在线性，而当曝光时间更长并且特定像素接近饱和水平时，产生非线性，如图7(A)中所示。此非线性是由饱和或高光溢出引起的。在时间tl，G像素饱和，并且由于此饱和产生高光溢出，其中G像素中的溢出电荷流到相邻的B和R像素中。由于此高光溢出，B像素和R像素的线性被破坏。S卩，蓄积电荷的速度增大了。另外，在时间t2，B像素饱和，并且基于此饱和产生高光溢出，其中B像素中的溢出电荷流到相邻的R像素中。由于此高光溢出，R像素的线性再次被破坏，并且蓄积电荷的速度进一步增大。图7 (B)的理想特性示出了只使用在图7 (A)的测量数据中有线性的时段(时间t0到时间tl)中的数据的线性回归的结果。线性回归例如是利用最小二乘方法执行的。从而，可以获取没有像素高光溢出的理想数据[理想特性]。例如，当曝光时间是EXl时，R像素的理想像素值可被获得为R1，并且G像素的理想像素值可被获得为G1。在此曝光时间EXl中，例如，B像素和R像素处于B像素和R像素受到高光溢出影响的时段中，但可以获得没有高光溢出的影响的理想特性(B)和理想特性(R)。类似地，G像素饱和，但可以获得忽略饱和时的理想特性(G)。从而，执行使用在测量数据中有线性的时段(时间t0到时间tl)中的数据的线性回归以获得理想数据(理想特性)，即图7(B)中的实线指示的数据。理想特性是根据图像传感器的像素布置样式(pattern)和用于图像传感器中的实际摄影的曝光控制样式来计算的。优选向拍摄图像校正处理应用具有使得布置样式和曝光控制样式匹配的设定的理想特性。另外，图像传感器104的像素布置样式和曝光控制样式的示例在图8中示出。在图8中，示出了 13类像素布置样式和曝光控制样式(A)至(M)。白像素是长时间曝光像素(高灵敏度像素)，灰像素是短时间曝光像素(低灵敏度像素)。例如，对于图8中所示的样式㈧至(M)中的每一个计算以颜色(R、G、B)或(R、G、B、ff)中的每一个为单位的理想特性。计算出的理想特性被存储在执行高光溢出校正的图像处理装置或成像装置的存储单元中。高光溢出校正是作为使用作为这种理想数据的理想特性和在实际摄影处理中获得的实际测量数据的校正处理来执行的。具体而言，高光溢出校正是作为从实际测量数据计算理想数据的处理来执行的。例如，作为具体的校正处理方法，有以下的方法。(a)推导出高光溢出的数学模型并且利用其反函数来执行校正的方法，(b)将实际测量数据和理想数据的一一对应数据保存作为表格(LUT :查找表)并通过参考该表格来执行校正的方法，
(c)仅使用LUT的代表点的近似校正的方法，以及(d)组合使用上述方法的校正方法。例如，有这些方法。如以上参考图8所述，存在图像传感器104的若干种像素布置或曝光控制方式，并且理想特性与实际测量数据之间的对应关系随着这种类型而变化。在以下实施例中，作为示例将描述使用根据图8(A)中所示的像素布置和曝光控制配置的图像传感器104的处理示例。另外，对于除了图8(A)中所示的以外的像素布置和曝光控制配置，只是理想特性与实际测量数据之间的对应关系数据不同，而以下所述的本公开的处理也可适用。[2.使用高光溢出的数学模型的校正处理的示例]首先，将描述使用高光溢出的数学模型的校正处理的示例。示出了高光溢出的数学模型的推导以及如何最简单地描述高光溢出现象。简单模型从一个像素到另一像素的高光溢出这里，只考虑从一个像素(侵略者)到另一像素(受害者)的高光溢出，而不考虑相互作用或从多个像素的高光溢出。入射光的波长、温度特性等被认为是高光溢出量的变化的因素。然而，这里不考虑这种因素，并且在这些因素恒定的假设下示出简单模型。所产生的高光溢出的类型具有与曝光时间相应的样式。另外，假定如图9中所示的伴随摄影处理的电荷蓄积操作，引入长时间曝光和短时间曝光中的电荷蓄积的数学模型。图9示出了以下各项的时间转变(a)读取定时，(b)长时间曝光重置定时，(C)长时间曝光电荷量，(d)短时间曝光重置定时，以及(e)短时间曝光电荷量。对于长时间曝光像素，从作为电荷蓄积开始时间的长时间曝光重置定时tl到下一读取定时tr (曝光时间tb)在像素中执行电荷蓄积，并且读取与电荷量相应的信号量作为像素值。对于短时间曝光像素，从作为电荷蓄积开始时间的短时间曝光重置定时t2到下一读取定时tr (曝光时间td)在像素中执行电荷蓄积，并且读取与电荷量相应的信号量作为像素值。另外，假定在短时间曝光重置定时之前蓄积了电荷。为了引入数学模型，如下定义各个参数Ai :当高光溢出产生像素(侵略者像素)经历了时间Tb的曝光时的理想值(不发生饱和时的值)，As :侵略者像素的传感器输出值，Vi :当高光溢出接收像素(受害者像素)经历了时间Tb的曝光时的理想值(未受高光溢出影响)，
Vs :受害者像素的传感器输出值，Tb :高灵敏度(长时间曝光)的曝光时间，Td :低灵敏度(短时间曝光)的曝光时间，bth :侵略者像素产生高光溢出的信号水平，brt :来自侵略者像素的高光溢出比，以及R :长时间曝光像素与短时间曝光像素的曝光比率Tb/Td实际上，bth (高光溢出产生信号水平)和brt (高光溢出比率)随着传感器特性、温度特性或者入射光的波长而变化，但在这里被简单假定为是按照传感器唯一获得的参数。以下，将描述与以下各个高光溢出方式相应的高光溢出量也就是由电荷溢出引起的流入电荷量的计算式的示例。将参考图10至13描述以下四类高光溢出量。(I)从长时间曝光像素到长时间曝光像素的高光溢出量LL，(2)从长时间曝光像素到短时间曝光像素的高光溢出量LS，(3)从短时间曝光像素到长时间曝光像素的高光溢出量SL，以及(4)从短时间曝光像素到短时间曝光像素的高光溢出量SS。另外，以下，将在产生高光溢出并引起电荷溢出的像素是高光溢出产生像素(A:侵略者像素)并且来自相邻像素的溢出电荷流入到的像素是高光溢出接收像素(V:受害者像素)的假设下进行描述。[2-1.从长时间曝光像素到长时间曝光像素的高光溢出量LL]首先，将参考图10描述从长时间曝光像素到长时间曝光像素的高光溢出量LL的计算式。在图10所示的示例中，高光溢出产生像素(A :侵略者像素)被设定为长时间曝光像素，并且高光溢出接收像素(V:受害者像素)被设定为长时间曝光像素。水平轴指示时间并且垂直轴指示蓄积电荷量。示出了各个像素，也就是作为长时间曝光像素的高光溢出产生像素(A:侵略者像素)和作为长时间曝光像素的高光溢出接收像素(V:受害者像素)中的蓄积电荷的时间转变。实线指示实际蓄积电荷的转变数据，并且虚线指示理想特性。曝光时间是Tb,并且闻光溢出广生彳目号水平是bth。另外，高光溢出产生信号水平bth高于饱和信号水平。在时间tl，高光溢出产生像素(A :侵略者像素)饱和，并且在虚线所指示的理想特性的信号水平成为高光溢出产生信号水平bth的时间t2，产生高光溢出。也就是说，像素之间的电荷溢出和电荷流入开始。在时间t2的高光溢出产生定时之后，高光溢出接收像素(V :受害者像素)的电荷量描绘出偏离虚线所指示的理想特性的直线。在最终曝光结束时间tr中，高光溢出接收像素(V :受害者像素)的实际电荷量Vs与高光溢出接收像素(V:受害者像素)的理想特性上的电荷量Vi之间的差异是高光溢出 量。高光溢出产生像素(A :侵略者像素)是长时间曝光像素，高光溢出接收像素(V 受害者像素)是长时间曝光像素，并且长时间曝光像素之间的高光溢出量LL是如下计算的。首先，当基于高光溢出产生像素(A :侵略者像素)的理想特性Ai计算出的高光溢出量brt是LL (Ai，brt)时，最终曝光结束时间tr中的高光溢出接收像素(V:受害者像素)的实际电荷量Vs与高光溢出接收像素(V:受害者像素)的理想特性上的电荷量Vi之间的关系式成为以下关系式(式I):Vs = Vi+LL (Ai, brt)…(式I)另外，当曝光时间X = O tr中的高光溢出量brt是LL(x, brt)时,高光溢出量LL (X, brt)的计算式如下所示(式2)。
Γ O,(X< bth)
LL(X，brt、= \\ /
\(X - bth) X brt,(其他)…(式2)[2-2.从长时间曝光像素到短时间曝光像素的高光溢出量LS]接下来，将参考图11描述从长时间曝光像素到短时间曝光像素的高光溢出量LS的计算式。在图11所示的示例中，高光溢出产生像素(A:侵略者像素)被设定为长时间曝光像素，并且高光溢出接收像素(V:受害者像素)被设定为短时间曝光像素。水平轴指示时间并且垂直轴指示蓄积电荷量。示出了各个像素，也就是作为长时间曝光像素的高光溢出产生像素(A:侵略者像素)和作为短时间曝光像素的高光溢出接收像素(V:受害者像素)的蓄积电荷的时间转变。实线指示实际蓄积电荷的转变数据，并且虚线指示理想特性。作为短时间曝光像素的高光溢出接收像素(V :受害者像素)在时间t2被重置，并且时间t2后的电荷蓄积量是输出像素值Vs。在时间Tr成为Vi和Vi/R的两条线被示为根据高光溢出接收像素(V :受害者像素)的理想特性的虚线。在时间tr成为Vi的线是当从时间O起连续执行电荷蓄积时的理想特性线。同时，在时间tr成为Vi/R的线是当从时间t2起执行曝光时的理想特性线。R表示长时间曝光像素与短时间曝光像素的曝光比率Tb/Td。长时间曝光像素的曝光时间是Tb，并且短时间曝光像素的曝光时间是Td。高光溢出产生信号水平是Bth。作为长时间曝光像素的高光溢出产生像素(A :侵略者像素)在时间tl饱和，并且在虚线所指示的理想特性的信号水平成为高光溢出产生信号水平bth的时间t3产生高光溢出。也就是说，像素之间的电荷溢出和电荷流入开始。另外，作为短时间曝光像素的高光溢出接收像素(V :受害者像素)的电荷蓄积被设定为在时间tl与时间t3之间的时间t2开始。在作为短时间曝光像素的高光溢出接收像素(V :受害者像素)的情况下，在时间t2与时间t3之间执行不受高光溢出影响的电荷蓄积。然而，在时间t3的高光溢出产生定时之后，高光溢出接收像素(V :受害者像素)的电荷量描绘出偏离虚线所指示的理想特性的直线。在最终曝光结束时间tr中，高光溢出接收像素(V :受害者像素)的实际电荷量Vs与高光溢出接收像素(V:受害者像素)的理想特性上的电荷量Vi/R之间的差异是高光溢出量。高光溢出产生像素(A :侵略者像素)是长时间曝光像素，并且高光溢出接收像素(V:受害者像素)是短时间曝光像素。从长时间曝光像素到短时间曝光像素的高光溢出量LS是如下计算的。首先，当基于高光溢出产生像素(A :侵略者像素)的理想特性Ai计算出的高光溢出量brt是LS (Ai，brt)时，最终曝光结束时间tr中的高光溢出接收像素(V:受害者像素)的实际电荷量Vs与高光溢出接收像素(V:受害者像素)的理想特性上的电荷量Vi/R的关系式成为以下关系式(式3):
权利要求
1.一种成像装置，包括 图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及 高光溢出校正处理单元，用于接收来自所述图像传感器的输出像素信号并执行对像素信号的高光溢出校正， 其中，所述高光溢出校正处理单元根据来自所述图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行对来自所述图像传感器的输入像素的像素值校正。
2.根据权利要求I所述的成像装置，其中 所述高光溢出校正处理单元包括 高光溢出量估计单元，用于利用从所述图像传感器输入的低灵敏度像素信号来估计与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量；以及计算单元，用于从来自所述图像传感器的输入像素值中减去由所述高光溢出量估计单元估计的高光溢出量。
3.根据权利要求I所述的成像装置，其中 所述高光溢出校正处理单元包括 高光溢出量估计单元，用于基于所述图像传感器的像素布置和考虑了所述图像传感器的高灵敏度像素和低灵敏度像素的曝光控制样式的数学模型来计算与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量。
4.根据权利要求I所述的成像装置，其中 所述高光溢出校正处理单元包括 信号生成单元，用于生成与作为高光溢出校正对象的关注像素的像素位置相对应的每种颜色的高灵敏度像素值和低灵敏度像素值；以及 校正处理单元，用于接收由所述信号生成单元生成的信号并执行对所述关注像素的高光溢出校正。
5.根据权利要求I所述的成像装置，其中 所述高光溢出校正处理单元通过应用表格来执行对来自所述图像传感器的输入像素的像素值校正，其中在该表格中来自所述图像传感器的输入像素值与未受高光溢出影响的理想像素值相关联。
6.根据权利要求I所述的成像装置，其中 所述高光溢出校正处理单元通过应用表格来估计来自所述图像传感器的输入像素中包含的高光溢出量，其中在该表格中来自所述图像传感器的输入像素值与该输入像素值和未受高光溢出影响的理想像素值之间的差异相关联。
7.根据权利要求I所述的成像装置，其中 所述高光溢出校正处理单元包括 高光溢出量估计单元，用于利用从所述图像传感器输入的低灵敏度像素信号来估计与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量； 乘法单元，用于将由所述高光溢出量估计单元估计的高光溢出量乘以预定的衰减参数以计算衰减高光溢出量；以及计算单元，用于从来自所述图像传感器的输入像素值中减去由所述乘法单元计算出的衰减高光溢出量。
8.根据权利要求I所述的成像装置，其中 所述高光溢出校正处理单元利用从所述图像传感器输入的低灵敏度像素信号来估计与来自作为高光溢出校正对象的关注像素附近的像素的电荷泄漏相当的高光溢出量，并且利用通过减去基于该估计结果的高光溢出量而获得的低灵敏度像素信号来再次执行对高光溢出量的估计。
9.根据权利要求I所述的成像装置，其中 所述高光溢出校正处理单元包括用于判定作为高光溢出校正对象的关注像素是否是运动区域的运动检测单元，并且根据所述运动检测单元的检测信息改变高光溢出校正方式。
10.根据权利要求I所述的成像装置，其中 所述高光溢出校正处理单元包括用于判定作为高光溢出校正对象的关注像素是否是边缘区域的边缘检测单元，并且根据所述边缘检测单元的检测信息改变高光溢出校正方式。
11.根据权利要求I所述的成像装置，其中 所述高光溢出校正处理单元包括过校正对策单元，用于在作为高光溢出校正对象的关注像素是运动区域或边缘区域时减小与该关注像素相对应的估计高光溢出量。
12.根据权利要求I所述的成像装置，其中 所述高光溢出校正处理单元判定输入像素值是否饱和并且在输入像素值是饱和值时不执行高光溢出校正。
13.根据权利要求I所述的成像装置，还包括 高动态范围HDR图像生成单元，用于接收由所述高光溢出校正处理单元生成的高光溢出校正图像以生成宽动态范围图像。
14.一种成像装置，包括 图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及 校正处理单元，用于接收来自所述图像传感器的输出像素信号并对像素信号执行校正， 其中，所述校正处理单元根据来自所述图像传感器的输入像素值与理想像素值之间的差异或比率执行对来自所述图像传感器的输入像素的像素值校正，该理想像素值是根据去到所述图像传感器的入射光的量与输出值的理想线性特性的。
15.根据权利要求14所述的成像装置，其中 所述校正处理单元通过应用根据所述理想线性特性的理想像素值来校正来自所述图像传感器的输入像素值中包含的非线性特性。
16.根据权利要求14所述的成像装置，其中 所述校正处理单元从存储单元获取通过多次执行摄影处理获取的所述图像传感器的理想像素值或者适用于基于该理想像素值的经校正像素值计算的查找表LUT，并且执行像素值校正。
17.一种在成像装置中执行的图像处理方法，其中 所述成像装置包括 图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及 高光溢出校正处理单元，用于接收来自所述图像传感器的输出像素信号并执行对像素信号的高光溢出校正，并且 所述高光溢出校正处理单元根据来自所述图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行对来自所述图像传感器的输入像素的像素值校正。
18.一种用于使得成像装置执行图像处理的程序，其中 所述成像装置包括 图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及 高光溢出校正处理单元，用于接收来自所述图像传感器的输出像素信号并执行对像素信号的高光溢出校正，并且 所述程序使得所述高光溢出校正处理单元根据来自所述图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行对来自所述图像传感器的输入像素的像素值校正。
全文摘要
公开了成像装置、图像处理方法和程序。提供了一种成像装置，包括图像传感器，用于输出来自长时间曝光像素的高灵敏度像素信号和来自短时间曝光像素的低灵敏度像素信号；以及高光溢出校正处理单元，用于接收来自图像传感器的输出像素信号并执行对像素信号的高光溢出校正。高光溢出校正处理单元根据来自图像传感器的输入像素值与未受高光溢出影响的理想像素值之间的差异或比率执行对来自图像传感器的输入像素的像素值校正。
文档编号H04N5/359GK102917183SQ20121027007
公开日2013年2月6日 申请日期2012年7月30日 优先权日2011年8月4日
发明者海津俊, 城坚诚, 光永知生, 筱崎裕考 申请人:索尼公司