专利名称：图像处理装置和图像处理方法及程序的制作方法
技术领域：
本发明涉及图像处理装置和图像处理方法及程序，更具体地，本发明涉及按照顺序读出处理来执行拍摄图像的像素值读取的图像处理装置和图像处理方法及程序。
背景技术：
对于现有技术，将以下列顺序描述曝光控制处理的下列两种技术的概述(I)焦平面快门操作和畸变的产生，和(2)按照不同区域设置曝光时间的曝光时间控制(快门控制)。
(I)焦平面快门操作和畸变的产生首先，将描述焦平面快门操作和畸变的产生。从成像器件表面的ー个方向控制曝光开始和曝光结束的快门操作是用成像装置进行图像拍摄处理的快门操作方法。该快门操作是所谓的焦平面快门操作或滚动快门操作。特征在于，如果从成像器件的上侧行向下侧行来控制曝光开始和曝光结束，则例如行之间的曝光时间略微偏移。參考图1，将描述CMOS图像传感器构造和拍摄处理示例，作为具有焦平面快门操作功能的成像器件的示例。图I是示出成像器件(CMOS图像传感器)101的局部构造的示图。成像器件(CMOS图像传感器)101构造成具有垂直扫描电路102、水平扫描电路103、和设置为阵列的多个像素104。在像素104内，通过伴随拍摄对象的曝光处理，电荷累积在光电ニ极管中。每个像素的光电ニ极管中所累积的电荷经由放大晶体管和转移晶体管输出到垂直信号线113。输出到垂直信号线113的信号电流进一歩被供应至水平扫描电路103，并且在已经执行的预定信号处理时，经由信号输出线114向外输出。垂直排列的像素共同连接到垂直信号线113，所以为了独立地读出每个像素的信号，只能一次将一个像素的信号输出到垂直信号线113。也就是说，采用成像器件(CMOS图像传感器)101，如图2A所示，例如，首先从排列在最下侧行中的像素104d中的每ー个读出信号，然后，从如图2B所示的像素104c的行执行读出，随后读出行改变并执行信号读出，从而能够独立地读出每个像素的信号。例如，从如图I所示连接到垂直扫描电路102的水平重置线111和垂直选择线112输出像素读出的控制信号。紧接着累积电荷的读出处理之后，组成成像器件(CMOS图像传感器)的像素104中的每ー个立即再次开始曝光。也就是说，开始下一图像帧的曝光处理。因此，在按行顺序执行读出处理并且在此之后立即开始曝光处理时，在首行的光电ニ极管104a和最后行的光电ニ极管104d之间产生曝光开始时间点和曝光结束时间点的差别(即，曝光时间(或曝光周期)的偏移)。这是称作焦平面快门操作或滚动快门操作的快门操作的特征。应当注意，示图只示出104a到104d四个行，但是这仅仅表示成像器件的一部分，实际的成像器件具有很多行的设置(例如数百到数千行)，按照每一行执行顺序读出。将參考图3和图4描述每行的曝光开始和结束时刻以及电荷读出开始时刻的示例。图3和图4都在水平轴上表示时间轴，在垂直轴上表示行。对于图3中的示例，电荷读出时刻具有按行产生的时刻偏移，如图中所示的虚线151a、151b所示。图3中的多个矩形块表示某一拍摄图像帧的曝光时间，并且是由一行或多行组成的行块的曝光时间。在第一拍摄图像帧的读出线151a中所示的时刻之后，立即开始曝光处理。如读出线151a中所示，曝光开始时间变成对每行略有偏移的时间。在图中所示的曲线中，上侧的行首先开始曝光，越往下侧的行，越晚开始曝光。最上侧行具有时间(tl)的曝光开始时间，最下侧行具有时间(t2)的曝光开始时间。
图3中所示的多个矩形块的右边缘是要执行曝光图像的读出处理的时刻，在由读出线151b所示的时刻读出行的像素的累积电荷。在本示例中，曝光结束时间近似为读出处理时间，并且如图3中的读出线151b所示，从首行顺序地、按行执行每个像素的读出处理。在最上侧行，时间(t2)是曝光结束时间，在最下侧行，时间(t3)是曝光结束时间。应当注意对于本示例，每一行的曝光开始和曝光结束对姆一行具有相同的时刻偏移,所以所有行的曝光时间是相同的。图4示出在运动拍摄时与两个连续的拍摄帧图像相对应的曝光处理和读出时刻。如图4所示，读出线152a到读出线152b的时段是首拍摄帧N的曝光时间，在由读出线152b所示的时刻从每行执行像素值读出。读出线152b到读出线152c的时段是后续拍摄帧N+1的曝光时间，在读出线152c所示的时刻对每行执行像素值读出。在图4所示的示例中，对于首拍摄帧N，曝光开始时间对于最上侧行是时间(tla)并且对于最下侧行是时间(tlb)，曝光结束时间对于最上侧行是时间(tlb)并且对于最下侧行是时间(tic)。对于后续拍摄帧N+1，曝光开始时间对于最上侧行是时间(t2a)并且对于最下侧行是时间(t2b)，曝光结束时间对于最上侧行是时间(t2b)并且对于最下侧行是时间(t2c)。在图4所示的示例中，例如，首拍摄帧N的最下侧行的曝光时间与后续拍摄帧N+1的最上侧行的曝光时间近似处于相同的时间范围。也就是说，产生了开始图像帧的下侧上的图像数据和后续帧的上侧上的图像数据是近似处于相同时间范围的图像的现象。結果，例如，在拍摄具有移动的对象的情况下、或者在执行诸如在曝光和拍摄期间相机自身移动的拍摄处理的情况下，由于焦平面快门操作引起的行之间的曝光时间的偏移，在图像中产生畸变。将參考图5A至描述图像畸变的示例。图5A是在相机处于停止状态下进行拍摄的情况下的照片示例。图5B是在相机在水平方向运动的同时进行拍摄的情况下的照片示例。图5A中的图形没有产生畸变，但是图5B中所示的图像产生了畸变。类似的，图5C是在汽车处于停止状态时进行拍摄的情况下的照片示例。图是在汽车处于运动状态时进行拍摄的情况下的照片示例。图5C中的图形没有产生畸变，但是图中所示的图像产生了畸变。上述畸变是由于參考图3和4所述的成像器件的曝光时间偏移(即，由于曝光时间从上边缘行到下边缘行在时间上略有不同)所产生的。畸变发生现象称作焦平面快门现象或滚动快门现象。
将描述减小焦平面操作的上述畸变的现有技木。例如，日本未审查专利申请公开No. 2004-140479公开了减少运动对象的畸变的方法，其中，高速执行成像器件的重置操作和读出操作，高速读出的图像数据被暂时存储在存储装置中，并且所存储的数据被以更慢的帧率读出并输出到下游。日本未审查专利申请公开No. 2004-140479中所述的方法必须执行高速读出操作以减小畸变。但是，高速操作受到限制，所以完全消除畸变是不能实现的。此外，产生了第ニ个问题，即，由于高速操作而产生功耗增加和噪声增加。此外，日本未审查专利申请公开No. 2004-140149公开了在像素内增加用于全局快门操作的晶体管的技术。但是，日本未审查专利申请公开No. 2004-140149中公开的技术必须增加晶体管，所以成像器件的像素尺寸増大，并且该技术由于不可适用于使用小图像传感器或百万像素传感器而受到限制。
此外，日本未审查专利申请公开No. 2006-148496公开了通过将来自图像传感器的输出信号保存到存储装置并且从多个帧产生一个图像来减少畸变的构造。将使用图6来描述日本未审查专利申请公开No. 2006-148496中的方法。图6示出在运动拍摄时对三个连续拍摄帧按行的曝光时间，三个帧是帧N-1、帧N和帧N+1。如图6所示，对于成像器件(CMOS图像传感器)，用焦平面快门操作执行拍摄，曝光时间按行不同。因此，产生畸变(例如，之前參考图5A至所述的畸变，8卩，由对象或相机自身的运动引起的图像畸变)。因此，在使用之前和之后的图像拍摄，执行将时间考虑在内的插值，并产生和输出与在某一时间同时拍摄ー个图像帧的所有行的图像等价的图像。例如，在用图6中的设置拍摄帧N-I到帧N+1三个图像的情况下，执行帧N中图像的校正，产生经校正图像，该经校正图像类似于在与拍摄时间的中心位置上的时刻TO相同的时间拍摄的图像。在这种情况下，參考帧N-I中的图像和帧N+1中的图像执行校正处理。因为通过帧之间的线性插值来产生图像，所以日本未审查专利申请公开No. 2006-148496中所述的技术具有计算简单的优势。但是，必须提供用作帧缓存器的存储装置(存储器)。此外，该处理不是为了消除畸变，而是通过使得畸变模糊而使得畸变不明显，所以存在如果对象或相机剧烈运动则画面非常模糊的问题。例如，在用图6中的设置进行图像拍摄的这种情况下，在产生帧N的经校正图像的产生处理中，通过对帧N的图像和帧N+1的图像中的每个图像使用近似相同量的权重来进行插值而产生在图像的上边缘上的行，还通过对帧N的图像和帧N+1的图像中的每个图像使用近似相同量的权重来进行插值而产生在图像的下边缘上的行。通过执行上述处理，在画面的上边缘和下边缘处，由于对象运动引起的模糊的量増加。但是，通过帧N中的图像近似插值画面的中心部分，所以画面的中心只是如之前一祥模糊，因而存在模糊量根据在画面上的位置而极大不同的问题。此外，日本专利申请No. 2007-208580公开了减小畸变的构造，其中，成像器件的输出信号被暂时保存在存储器中，对存储器中存储的多个连续照片图像的每个分开区域检测运动矢量，并在执行位置校正的同时产生ー个经校正图像。采用日本专利申请No. 2007-208580中的方法，并不会与采用上述日本未审查专利申请公开No. 2006-148496 一样由于校正处理而产生模糊，但是存在检测运动矢量的计算很复杂的问题以及在计算运动矢量失败的情况下产生视觉感知图像破损的问题。
此外，日本未审查专利申请公开No. 2007-336314公开了减小使用焦平面操作的畸变的构造，其中，通过例如成像器件的高速操作将连续获取的大量图像存储到存储器，并且从这些图像产生ー个经校正图像。类似于日本未审查专利申请公开No. 2006-148496中的方法，日本未审查专利申请公开No. 2007-336314中的方法是用线性插值产生图像的构造，但是具有由于成像器件的高速操作引起在整个画面中的模糊量可忽略并且可以很好地校正畸变的优势。但是，采用日本未审查专利申请公开No. 2007-336314中的方法，成像器件的高速操作是前提，所以类似于上述日本未审查专利申请公开No. 2004-140479中的构造，功耗增加和噪声增加成为问题。(2)按照不同区域设置曝光时间的曝光时间控制(快门控制) 然后，将描述按照不同区域设置曝光时间的曝光时间控制(快门控制)。可以控制对成像器件的每个像素的曝光时间，以扩展拍摄图像的动态范围。在明亮对象区域，当曝光时间长时，像素的累积电荷饱和，不能获得精确的像素值。另ー方面，在暗淡对象区域，与对象亮度相对应，更长的曝光时间能够获得更精确的像素值。因此，在对象明亮的区域，获得设置为用于短曝光时间的像素的像素值，作为有效像素值。另ー方面，在对象暗淡的区域中，获得具有长曝光时间的像素的像素值，作为有效像素值。这些像素值结合产生输出图像。应当注意，在输出最終像素值时，执行根据曝光时间的像素值调整处理。日本未审查专利申请公开No. 2006-253876和No. 2006-542337、和日本专利申请No. 2008-147818公开了设置根据成像器件的区域而不同的曝光时间、扩展拍摄图像的动态范围的技木。例如，该构造在成像器件的像素行中每隔一行设置短时间曝光行和长时间曝光行。例如，日本未审查专利申请公开No. 2006-253876公开了这样的构造，其中，利用偶数行和奇数行交替地进行CMOS图像传感器的电子快门操作，从而设置高灵敏度像素(长时间曝光像素)和低灵敏度像素(短时间曝光像素)，并且通过结合根据对象亮度的像素值可以实现高动态范围图像的成像。日本专利申请No. 2008-147818公开了这样的构造，其中，除了日本未审查专利申请公开No. 2006-253876中的构造之外，还实现了对读出时刻进行按行修改。日本未审查专利申请公开No. 2006-542337公开了这样的构造，其中，在具有拜耳阵列(Bayer array)型彩色滤光器的成像器件中，对每个行、或对于ー个以上的多个行设置两种模式的曝光时间，采用电子快门操作进行改变。日本未审查专利申请公开No. 2006-253876和No. 2006-542337、和日本专利申请No. 2008-147818中的构造采用使用电子快门的构造，按区域执行曝光时间控制。(3)现有技术的概述如上所述，采用具有焦平面快门的构造，例如按行产生曝光时段的偏移，并且未解决由该偏移引起的产生畸变的根本问题。此外，使用按区域执行曝光时段控制并扩展动态范围的技木，但是采用这些构造，同样在使用焦平面快门的情况下不能防止曝光时段按行偏移，并且没有解决由于该偏移引起产生畸变的问题。
发明内容
如上所述，采用执行焦平面操作的成像器件，当拍摄运动的对象等时，产生拍摄图像的畸变。已发现期望提供使用执行焦平面操作的成像装置能够抑制拍摄图像的畸变的图像处理装置和图像处理方法及程序。根据本发明的实施例，图像处理装置包括中间图像产生单元，其构造成输入采用按照区域设置的相异曝光时间所拍摄的图像，根据所输入的图像，产生与相异曝光时间相对应的多个曝光模式图像，并且产生作为多个曝光模式图像的差分图像的多个时刻图像；和畸变校正处理单元，其构造成通过多个时刻图像的合成处理，来产生与在预定曝光时间下的曝光处理图像相当的经校正图像。中间图像产生单元可以构造成输入通过焦平面快门操作所拍摄的、具有按照区域単位偏移的曝光时间的图像；根据所输入的图像，产生与相异曝光时间相对应的多个曝光模式图像；并且产生作为多个曝光模式图像的差分图像的多个时刻图像。 中间图像产生单元可以产生曝光时间比所输入的图像短的多个时刻图像，其中，畸变校正处理单元将曝光时间比所输入的图像短的多个时刻图像合成，并产生经校正图像。 畸变校正处理单元可以选择具有包括在待产生的经校正图像的曝光时间内的曝光时间的时刻图像，并应用所选择的时刻图像执行合成处理。对于具有在待产生的经校正图像的曝光时间内的所有曝光时间的时刻图像，在计算经校正图像的像素值时，畸变校正处理单元执行处理，以将时刻图像的像素值反映在经校正图像的所有像素值中；并且，对于具有与待产生的经校正图像的曝光时间的一部分有重叠部分的曝光时间的时刻图像，畸变校正处理单元执行处理，以根据重叠部分的比例将将时刻图像的像素值反映在经校正图像的像素值中。由中间图像产生单元所产生的时刻图像是采用按照像素行単位而相异的曝光时间设置的图像；并且，畸变校正处理单元选择具有包括在将按照像素行单位产生的经校正图像的曝光时间内的曝光时间的时刻图像，并应用所选择的时刻图像执行合成处理。中间图像产生单元可以产生时刻图像，作为采用比所输入的图像短的曝光时间的连续拍摄图像；并且中间图像产生单元还包括输出单元，输出单元将由中间图像产生单元所产生的时刻图像输出作为高帧率图像。中间图像产生単元还可以包括多个中间图像产生単元，其构造成对多个连续拍摄图像并行地执行处理；其中，畸变校正处理单元通过对由多个中间图像产生単元所产生的多个时刻图像进行的合成处理，产生与具有预定曝光时间的曝光处理图像相当的经校正图像。作为所输入的图像的曝光时间的控制单位的区域，可以是由多个像素组成的像素块、或行、或像素当中的一者。图像处理装置还可以包括运动检测单元，其构造成按照所输入的图像的区域単位执行运动检测；其中，畸变校正处理单元的输出只应用于已检测到运动的区域，并产生输出图像。图像处理装置还可以包括成像器件；和控制单元，其构造成按照成像器件的区域单位执行曝光时间控制。
根据本发明的另ー实施例，由图像处理装置所执行的图像处理方法包括如下步骤通过中间图像产生单元执行输入采用按照区域设置的相异曝光时间所拍摄的图像，根据所输入的图像，产生与相异曝光时间相对应的多个曝光模式图像，并且产生作为多个曝光模式图像的差分图像的多个时刻图像；和通过畸变校正处理单元，通过多个时刻图像的合成处理，来产生与在预定曝光时间下的曝光处理图像相当的经校正图像。根据本发明的另ー实施例，用图像处理装置执行图像处理的程序包括使中间图像产生单元输入采用按照区域设置的相异曝光时间所拍摄的图像，根据所输入的图像，产生与相异曝光时间相对应的多个曝光模式图像，并且产生作为多个曝光模式图像的差分图 像的多个时刻图像；和使畸变校正处理单元通过多个时刻图像的合成处理，来产生与在预定曝光时间下的曝光处理图像相当的经校正图像。应当注意，根据本发明的程序是由存储介质例如向可以执行各种程序代码的信息处理装置或计算机系统所提供的程序。通过用信息处理装置或计算机系统上的程序执行单元执行所述程序，可以实现根据程序的处理。通过下述实施例和附图中的详细描述，本发明的其他目的、特征和优点将更加显而易见。应当注意，根据本说明书的系统是多个装置的理论集合构造，但是不限于在相同外壳内具有各种构造的装置。根据上述构造，可以获得抑制了根据对象运动等产生、由焦平面操作等引起的畸变的图像。具体地，提供了图像处理装置，其包括中间图像产生单元，其构造成输入用焦平面快门操作拍摄的、具有按照区域単位偏移的曝光时间的图像，例如，根据所输入的图像，产生与相异曝光时间相对应的多个曝光模式图像，并且产生作为多个曝光模式图像的差分图像的多个时刻图像；和畸变校正处理单元，其构造成采用对通过中间图像产生単元所产生的多个时刻图像进行的合成处理，来产生与在预定曝光时间下的曝光处理图像相当的经校正图像。例如，例如，以行为单位，通过只选择具有预定曝光时间的时刻图像并对这些时刻图像进行合成，可以产生没有畸变的图像。
图I是描述成像器件的构造和成像处理的示图；图2A和2B是描述成像器件的构造和成像处理的示图；图3是描述通过焦平面操作的成像处理顺序的示图；图4是描述通过焦平面操作的成像处理顺序的示图；图5A至是描述作为通过焦平面操作进行的成像处理的问题的图像畸变产生示例的示图；图6是描述通过从多个帧产生一个图像来减小畸变的构造的示图；图7是描述作为图像处理装置的成像装置的构造示例的示图；图8A和8B是描述曝光模式的设置示例的示图；图9是描述畸变校正单元的构造和处理示例的示图；图10是描述中间图像产生单元的构造和处理示例的示图；图11是描述通过中间图像产生单元执行的处理的具体示例的示图；图12A和12B是描述通过畸变校正处理单元执行的处理的具体示例的示图13是描述通过畸变校正处理单元执行的处理的具体示例的示图；图14A至14C是描述曝光控制模式的示例的示图；图15是描述曝光控制模式的示例的示图；图16是描述曝光控制模式和曝光时间和时刻图像的设置示例的示图；图17是描述曝光时间控制的处理示例的示图；图18是描述畸变校正单元的构造示例的示图；图19是描述用图18中所示的畸变校正单元的构造所执行的畸变校正处理示例的示图；图20是描述畸变校正单元的构造示例的示图；图21是描述由图20中所示的畸变校正单元的构造所执行的畸变校正处理示例的示图；图22是描述由不具有帧缓存器的畸变校正単元所执行的高速帧率图像的输出处理的示图；图23是描述畸变校正单元的构造示例的示图；图24A至24C是描述焦平面畸变产生的示例的示图；图25是描述根据现有技术的可应用于焦平面畸变的校正处理的图像示例的示图；图26是描述根据现有技术的焦平面畸变的校正处理示例的示图；图27是描述根据本发明的实施例的可应用于焦平面畸变的校正处理的图像示例的示图；图28是描述根据本发明的实施例的焦平面畸变的校正处理示例的示图；和图29是示出曝光控制模式的示例的示图。
具体实施例方式下面将參考附图描述根据本发明的图像处理装置和图像处理方法及程序的细节。将以下列顺序进行描述。I.图像处理装置的构造示例2.畸变校正単元的构造和处理的细节2-1.畸变校正単元的整体构造和处理2-2.中间图像产生单元的处理2-3.畸变校正处理单元的处理3.其他实施例3-1.曝光控制模式的修改形式3-2.曝光时间控制的修改形式3-3.帧缓存器设置的修改形式3-4.畸变校正处理的修改形式4.与其他图像处理共用的构造示例5.对本发明的处理的优点的描述I.图像处理装置的构造示例
首先，将參考图7描述作为图像处理装置的实施例的成像装置的构造示例。如图7所示，成像装置具有光学透镜201、成像器件202、畸变校正单元203、信号处理单元205和控制单元207，成像器件202构造成具有CMOS图像传感器等，畸变校正单元203对主要由焦平面操作引起的图像畸变进行校正。入射光经过光学透镜201进入成像器件(CMOS图像传感器)202。成像器件202是根据焦平面操作按区域(例如，按行)执行顺序读出处理的成像器件。成像器件202根据入射光使用成像器件的像素累积电荷，并将根据累积的电荷的光电转换信号作为图像数据输出至畸变校正単元203。畸变校正単元203输入来自成像器件202的输出图像信号，并对由焦平面操作引 起的图像畸变进行校正。之后将详细描述这个处理。畸变校正单元203将通过畸变校正产生的经校正图像204输出到信号处理单元205。在信号处理单元205，输入已经过畸变校正的经校正图像204，例如，对输入图像执行预定图像处理(例如，白平衡调节处理、伽马校正处理等)，并产生和输出输出图像206。成像装置是可以拍摄运动或静止图像的成像装置，成像器件(CMOS图像传感器)202与上文參考图I所述的成像器件具有类似构造。应当注意，成像器件(CMOS图像传感器)202是可以使用控制单元207的控制来按照区域控制曝光时间的成像器件。例如，使用上述日本未审查专利申请公开No. 2006-253876和No. 2006-542337、和日本专利申请No. 2008-147818中所述的某ー构造、或根据现有技术的其他构造来执行按照区域的曝光时间控制。应当注意，采用下述示例作为成像器件202的示例，将描述使用具有图8A和图8B中所示的构造的成像器件的示例。成像器件202具有图8A中所示的RGB阵列，设置以四个像素为单位而不同的曝光时间(曝光模式I至4)，如图8A和8B中所示，例如(a)具有最长曝光时间的像素块(曝光模式I)(b)具有第二长曝光时间的像素块(曝光模式2)(c)具有第三长曝光时间的像素块(曝光模式3)和(d)具有最短曝光时间的像素块(曝光模式4)。如图8A所示，具有上述四个曝光时间模式的像素块设置成相邻，并且周期性排列。曝光模式I到4的曝光时间比率是4 3 2 1，并且如图SB所示，曝光开始时间按照模式而不同，读出时间相同。2.畸变校正単元的构造和处理的细节2-1.畸变校正単元的整体构造和处理然后，将參考图9描述畸变校正单元203的构造和处理。如图9所示，作为来自成像器件202的输出图像的传感器输出图像211被输入到畸变校正単元203中。该传感器输出图像211被连续存储在帧缓存器212和213中。例如，当拍摄运动图片吋，连续拍摄的帧被连续存储在帧缓存器212和213中。应当注意，使用在静止图像拍摄时连续拍摄的图像也可以执行处理以输出ー个图像，并且该处理可以应用于拍摄静止图像或运动图片时。如果假设三个连续拍摄图像是帧N-I、N、N+1，作为最新拍摄图像的传感器输出图像211是帧N+1，然后存储帧图像，帧N在帧缓存器212中，帧N-I在帧缓存器213中。中间图像产生单元214至216中的每ー个对于传感器输出图像211和帧缓存器212和213中存储的图像产生多个中间图像。之后将描述该中间图像产生处理。由中间图像产生单元214至216产生的多个中间图像被输入到畸变校正处理单元218中。畸变校正处理单元218输入由中间图像产生单元214至216产生的多个中间图像，并且还进ー步输入将从控制単元207输入的扫描线位置信息217，来自焦平面快门的图像畸变被校正，并产生校正输出图像219。之后将描述该处理。2-2.中间图像产生单元的处理
然后，将參考图10描述在图9中所示的畸变校正单元203内构造的中间图像产生单元的处理。如參考图9所述，畸变校正单元203具有三个中间图像产生单元214至216。中间图像产生单元214至216对每个连续拍摄的图像执行处理。具体地，中间图像产生单元214对传感器输出图像(帧N+1)执行处理，中间图像产生单元215对帧缓存器212中的存储图像(帧N)执行处理，中间图像产生单元216对帧缓存器213中的存储图像(帧N-1)执行处理。这三个中间图像产生单元214至216执行的处理的不同之处只在于要处理的图像，并且基本上是相同的处理。因此，下面将描述中间图像产生单元214的处理作为代表示例。传感器输出图像211被输入到中间图像产生单元214中。传感器输出图像211是使用按照像素区域不同的曝光模式(曝光模式I至4)(即，如上文參考图8A和SB所述，通过设置四种类型的相异曝光时间)而拍摄的图像。首先，图10中所示的插值处理单元222输入已经设置有四个曝光时间的传感器输出图像221。图10中所示的传感器输出图像221对应于图9中的传感器输出图像211。插值处理単元222执行插值处理，以使得对所有像素获得曝光模式。也就是说，对传感器输出图像221的所有像素采用四个曝光时间中各个曝光时间，产生四个曝光模式图像223至226，这四个曝光模式图像223至226相当于使用已经一致地执行的曝光处理拍摄的图像。具体地，产生下列四个曝光模式图像(a)曝光模式图像223，其相当于使用具有最长曝光时间的曝光模式I拍摄的图像，(b)曝光模式图像224，其相当于使用具有第二长曝光时间的曝光模式2拍摄的图像，(c)曝光模式图像225，其相当于使用具有第三长曝光时间的曝光模式3拍摄的图像，和(d)曝光模式图像226，其相当于使用具有最短曝光时间的曝光模式4拍摄的图像；这四个曝光模式图像被产生。在由插值处理单元222产生的曝光模式图像中所执行的插值处理是由滤光器执行的插值方法(例如，线性插值等)、或执行边缘方向检测并在此基础上进行插值的方法等。由插值处理单元222产生的四个曝光模式图像223至226被各自输入到三个不同的差分图像产生单元227至229中，以曝光时间差别最小的一对作为一組。
将參考图11描述差分图像产生单元227至229的处理。曝光模式图像223至226相当于通过图10中所示的插值处理单元222产生的在四个相异曝光时间期间拍摄的图像，并且该曝光模式图像223至226相当于在图11所示的四个相异曝光时间(4T，3T，2T，1T)期间的拍摄图像。差分图像产生单元227至229从四个曝光模式图像中各自输入在曝光时间方面略有差别的一対，并且计算对应像素的差分像素值，并产生由不同差分像素值组成的图像，作为时刻图像230至232。差分图像产生单元227产生如下所述的第一时刻图像230。第一时刻图像230是由第一曝光模式图像223的像素值与第二曝光模式图像224的像素值之间的差组成的图 像，第一曝光模式图像223相当于使用作为最长曝光时间的曝光模式I拍摄的图像，第二曝光模式图像224相当于使用作为第二长曝光时间的曝光模式2拍摄的图像。差分图像产生単元228产生如下所述的第二时刻图像231。第二时刻图像231是由第二曝光模式图像224的像素值与第三曝光模式图像225的像素值之间的差组成的图像，第二曝光模式图像224相当于使用作为第二长曝光时间的曝光模式2拍摄的图像，第三曝光模式图像225相当于使用作为第三长曝光时间的曝光模式3拍摄的图像。差分图像产生单元229产生如下所述的第三时刻图像232。第三时刻图像232是由第三曝光模式图像225的像素值与第四曝光模式图像226的像素值之间的差组成的图像，第三曝光模式图像225相当于使用作为第三长曝光时间的曝光模式3拍摄的图像，第四曝光模式图像226相当于使用作为最短曝光时间的曝光模式4拍摄的图像。此外，第四时刻图像233使用未经改变的曝光模式图像226，第四曝光模式图像226相当于使用作为最短曝光时间的曝光模式4拍摄的图像。四个不同图像对应于使用图11所示的曝光时间设置所拍摄的图像。也就是说，(I)第一时刻图像230是在曝光时间T(t0至tl)拍摄的图像，(2)第二时刻图像231是在曝光时间T(tl至t2)拍摄的图像，(3)第三时刻图像232是在曝光时间T(t2至t3)拍摄的图像，和(4)第四时刻图像233是在曝光时间T(t3至t4)拍摄的图像。因此，四个时刻图像230至233相当于在相同的曝光时间⑴下的四个连续拍摄的图像，其中拍摄时刻毎次偏移T。因此，图9中所示的中间图像产生单元214至中间图像产生单元216中的每ー个对输入图像产生在四个不同时刻下拍摄的四个图像。也就是说，中间图像产生单元214根据传感器输出图像(帧N+1)产生四个时刻图像。中间图像产生单元215根据帧缓存器212的存储图像(帧N)产生四个时刻图像。中间图像产生单元216根据帧缓存器213的存储图像(帧N-1)产生四个时刻图像。2-3.畸变校正处理单元的处理然后，将參考图12A和12B描述在图9中所示的畸变校正单元203内构造的畸变校正处理单元218的处理。畸变校正处理单元218输入由中间图像产生单元214至216所产生的时刻图像，并对由焦平面快门操作引起的畸变进行校正。这里參考图12A和12B描述畸变校正处理。图12A是示出三个连续拍摄图像的曝光时间的示图。垂直轴表示行，水平轴表示时间。如上文參考图6所述，在用焦平面操作执行拍摄处理的情况下，曝光时间按照成像器件的行连续地偏移。图12A示出作为三个连续拍摄图像的帧N-1、N和N+1图像按行进行的曝光时间的设置示例。作为三个连续拍摄图像的帧N-I、N和N+1的图像对应于将使用图9中所示的畸变校正单元203的三个中间图像产生单元214至216进行处理的图像，即，对应于要生成为时刻图像的三个图像。也就是说，中间图像产生单元214根据传感器输出图像(帧N+1)产生四个时刻图像。中间图像产生单元215根据帧缓存器212的存储图像(帧N)产生四个时刻图像。中间图像产生单元216根据帧缓存器213的存储图像(帧N-1)产生四个时刻图像。图12B是示出畸变校正单元203的三个中间图像产生单元214至216可以由此各自区分根据帧N+1至N-I的图像所产生的四个时刻图像的设置的示图。如图12B所示，帧N-I的四个时刻图像是由中间图像产生单元216根据帧缓存器213的存储图像(帧N-1)所 产生的。帧N的四个时刻图像是由中间图像产生单元215根据帧缓存器212的存储图像(帧N-1)所产生的。帧N+1的四个时刻图像是由中间图像产生单元214根据传感器输出图像(帧N+1)所产生的。在图12A中，按行获得三个图像(帧N-I至帧N+1)，在图12B中，按行获得十二个(3X4= 12)图像(时刻图像)。这十二个图像相当于在曝光时间⑴方面不同的连续拍摄的十二个图像。通过以这种方式产生时刻图像，可以获得具有更精细增量的数据。采用这种细度，可以以比用现有技术执行更高的精度，对来自焦平面快门的畸变执行減少处理。将參考图13描述用畸变校正处理单元218执行的处理的示例。图13是与图12B中所示的示图类似的示图。该示图示出畸变校正单元203的三个中间图像产生单元214至216可以由此各自区分根据帧N+1至N-I的图像所产生的四个时刻图像的设置。例如，将描述图13中所示的产生具有输出时刻(Tx)的图像的处理，即，在产生曝光时间为tl至t2 = Tx的图像拍摄的情况下的处理示例。将描述在图13所示的输出时刻(Tx)计算组成图像的上边缘的行上的像素的像素值的处理。在图像产生处理时，将使用图13所示的时刻图像A、B、C、D、E。在时刻图像B、C、D的拍摄时刻当中，所有时段都包括在计划要产生的图像的输出时刻(Tx)的范围内。因此，不经改变地使用这些时刻图像B、C、D。另ー方面，时刻图像A和E的拍摄时刻与计划要产生的图像的输出时刻(Tx)部分重叠、且部分不重叠。因此，执行使这些图像乘以预定权重系数的混合处理(blendingprocessing)。使用下列(表达式I)在图13中所示的输出时刻(Tx)计算组成图像的上边缘(OUT)的行上的像素的像素值。OUT = aXA+B+C+D+(l-a) XE...(表达式 I)其中，A至E是对于各种时刻图像的相同像素位置(即，在对应像素位置)处的像素值，a是权重系数。应当注意，例如，权重系数a设置相当于图13中所不的输出时刻(Tx)与各种时刻图像的重叠比率的值。同样应当注意，权重系数a根据每行的曝光时刻而改变，所以必须具有扫描线位置信息217。
在上述(表达式I)中，时刻图像B、C、D使用未混合和未改变的像素值100%，所以可以使插值处理引起的模糊最小化。如图13所示，由中间图像产生单元214至216产生的时刻图像是设置按照像素行単位而相异的曝光时间的图像，畸变校正处理单元218选择具有计划要按照像素行单位产生的经校正图像的曝光时间内所包括的曝光时间的时刻图像，并执行应用所选择的时刻图像的合成处理。上面描述了对上边缘的行的像素值计算处理，但是例如在对下边缘的行计算图13所示的输出时刻(Tx)的图像的像素值的情况下，执行使用图13所示的时刻图像P、Q、R、S的处理。
使用下列(表达式2)可以获得下边缘行上的像素的像素值(OUT)OUT = P+Q+R+S · ·(表达式2)其中，P至S是对各种时刻图像的相同像素位置处的像素值(即，在对应像素位置的像素值)。在这种情况下，四个时刻图像的曝光时刻的总和与输出时刻(Tx)精确匹配，不需要使用与输出时刻(Tx)重叠的时刻图像。其他行也可以类似地具有使用像素值(OUT)计算表达式、采用多个时刻图像的像素值相加处理所计算的输出图像的像素值。因此，畸变校正处理单元218将多个时刻图像合成以计算经校正图像的像素值，并产生和输出经校正图像204。由这里參考图13所述的处理可以看出，畸变校正处理单元218使用多个图像(时刻图像)的合成处理来产生经校正图像204。时刻图像的曝光时间是原始拍摄图像的曝光时间的1/4，使用将这些时刻图像结合的合成处理来产生经校正图像204。也就是说，从上边缘行到下边缘行，可以产生经校正图像204，经校正图像204使用大致包括在相同曝光时间(Tx)内的时刻图像。因此，可以产生输出图像，作为对从上边缘行到下边缘行的所有行使用大致相同曝光时间(Tx)的设置所拍摄的图像。因此，使用本方法所产生的输出图像极少产生例如上文參考图5A至所述的由焦平面操作引起的图像畸变。由焦平面操作引起的图像畸变是由于在上边缘行和下边缘行之间曝光时间的偏移，但是通过执行图13所示的时刻图像的合成处理，可以产生使用近似相同曝光时间(Tx)设置拍摄从上边缘行到下边缘行的所有行的图像。因此，由畸变校正单元203产生的经校正图像204成为抑制了图像畸变的图像。如图7所示，由畸变校正单元203输出的经校正图像204连续地输出至信号处理単元205，并经过预定信号处理(例如白平衡调节和Y校正等)，然后输出为输出图像206。3.其他实施例然后，将描述其他实施例。3-1.曝光控制模式的修改形式在上述示例中，參考作为成像器件的曝光控制模式的图8A和SB，描述了以矩形区域的像素块为单位对四个曝光时间执行设置的示例。对曝光区域和曝光时间的设置模式不限于上述设置，可以进行其他各种类型的设置。作为输入图像的曝光时间的控制单位的区域可以不同地设置，例如，由多个像素组成的像素块、或行、或像素。应当注意，在上述示例中，曝光控制模式的数量是四个，但是如果有两个或更多模式，也可以实施本发明。图14A至14C示出改变两个曝光模式的示例。图14A是每隔两行改变电子快门操作并以两行为单位交替设置两个曝光时间的示例。图14B是每隔ニ乘ニ像素改变电子快门操作并每ニ乘ニ像素设置两个曝光时间的示例。图14C是通过以其他不同単位改变电子快门操作来驱动的方法。该示例示出进行设置，从而交替选择垂直方向的三个像素和水平方向的三个像素、并设置区域，并且交替设置区域的两个曝光时间。可以执行以这种方式设置各种曝光模式。此外，上文參考图8A和SB所述的像素阵列、和图14A至14C所示的像素阵列都具有拜耳阵列型像素彩色滤光器，但是也可以应用作为例如图15所示的非拜耳阵列型像素 阵列的像素阵列。图15所示的像素阵列是像素阵列除了 RGB之外还具有W(白色)像素的构造。应当注意，在存在两个曝光模式的情况下，例如图16所示，曝光模式I的曝光时间与曝光模式2的曝光时间的曝光时间比率可以设置成2 I。下列适用于畸变校正単元203，如图16所
/Jn ο(I)第一时刻图像=曝光模式I-曝光模式2(2)第二时刻图像=曝光模式2。可以产生这两个时刻图像，并且可以产生经校正图像，该经校正图像通过与上文參考图13所述的图像产生处理类似的时刻图像的合成处理来减小畸变。3-2.曝光时间控制的修改形式采用上述示例，描述了曝光开始按照区域単位偏移、并且读出时刻相同的设置示例，作为在获得具有相异曝光时间的成像图像的情况下的拍摄处理，但是按照区域単位的曝光时间控制可以具有各种设置。例如，如图17所示，读出时刻可以偏移，以获得图像。此外，采用上述日本未审查专利申请公开No. 2006-253876和No. 2006-542337和日本专利申请No. 2008-147818所述的按照区域単位的曝光时间控制、或者采用其他控制，可以采用按行或按像素周期性执行对曝光时间或读出时刻的控制的设置来拍摄图像，并且可以执行对使用上述各种控制拍摄的图像的处理。3-3.帧缓存器设置的修改形式采用上文參考图9所述的构造，示出了使用两个帧缓存器的示例，但是该构造可以如图18所示使用ー个帧缓存器，可以只使用两个连续拍摄的图像。采用这种构造，可以
减小存储装置容量和读/写频带。应当注意，在使用这种构造的情况下，畸变校正处理单元218使用如图19所示通过只应用两个连续帧所产生的时刻图像，而不是如图13所示应用帧N-I至帧N+1的三个帧的处理，来产生畸变校正图像。此外，如图20所示，本发明可以具有不使用帧缓存器的构造。应当注意，在使用这种构造的情况下，畸变校正处理单元218使用如图21所示通过只应用ー个帧所产生的多个时刻图像，而不是如图13所示应用帧N-I至帧N+1的三个帧的处理，来产生畸变校正图像。在这种情况下，图21所示输出的图像的曝光时间段的设置导致产生比输入图像的帧率更短的时间，从而会产生噪声影响。此外，如图21所示，例如，不存在包括上边缘行的输出图像时刻的后半部分的数据的曝光时段的时刻图像。类似地，不存在包括下边缘行的输出时刻的前半部分的数据的曝光时段的时刻图像。因此，只是从附近的时刻图像产生图像，从而在上、下边缘上可以略微减小由焦平面快门操作引起的畸变減少优势。但是，存在可以在不使用帧缓存器的状态下校正畸变的优势。此外，畸变校正単元203还产生具有比输入图像的帧率速度更高的帧率的信号。也就是说，中间图像产生单元产生时刻图像，作为具有曝光时间比输入图像短的连续拍摄图像，并且组成输出单元，通过该输出单元输出由中间图像产生单元所产生的时刻图像作为高帧率图像，从而能够产生和输出具有比输入图像的帧率速度更高的帧率的信号。具体地，例如，如图22所示，通过在对输入图像(帧N，N+1, ...)执行消除焦平面畸变的校正的同时产生具有可选时刻的图像，可以输出具有输出图像(M，M+l，M+2，M+3，···)的高帧率的图像。应当注意，在执行图像输出的情况下，优选执行预定图像校正 (例如，亮度校正等)和输出。 3-4.畸变校正处理的修改形式采用上述示例，描述了使用图13和(表达式I)的示例，作为采用畸变校正単元203所执行的校正处理，但是可以使用应用除了上述线性插值之外的其他方法的校正方法。例如，从作为图13所示的两个相邻时刻图像的图像A和图像B检测运动，并且作为对图像A的运动补偿，产生以在与图像B相同的时刻拍摄为前提的运动补偿时刻图像K'。类似的，从图像D和图像E检测运动，产生运动补偿时刻图像E'。根据下列(表达式2)，这些图像用于计算经校正图像的像素值(OUT)。0UT = aXA' +B+C+D+(l_a) XE' . . . (2)其中，A'、B、C、D、E'是在各种时刻图像或运动补偿时刻图像的相同像素位置(即，相应像素位置)处的像素值，a是权重系数。应当注意，例如，权重系数a设置相当于图13所不的输出时刻(Tx)与各种时刻图像之间的重叠比率的值。还应当注意，权重系数a根据行的曝光时刻而改变，所以必须存在扫描线位置信息217。4.与其他图像处理共用的构造示例本发明包括减小由焦平面快门操作引起的畸变的方法，但是通过还同时使用其他处理，可以进ー步提高图像质量。将描述几个这样的构造示例。在上述示例中，为了如图10所示校正焦平面畸变，使用中间图像产生单元执行处理，以对不同曝光控制的每个像素阵列进行插值，在所有像素位置产生具有曝光模式(第一曝光模式图像223至第四曝光模式图像226)的图像。上述处理不会引起图像由于引起畸变的运动而模糊的问题，但是产生当拍摄完全静止的对象时分辨率恶化的问题。将參考图23描述在防止上述分辨率恶化的同时减少焦平面畸变的畸变校正単元203的构造示例。传感器输出图像211是具有按像素而相异的曝光时间的图像。増益补偿处理单元241执行处理，以将与传感器输出图像211的按照区域単位的曝光时间相对应的増益乘以
像素值。
对于静止图像，通过执行增益补偿处理，可以获得与正常拜耳阵列相同的分辨率没有恶化的图像。増益补偿处理单元241的输出具有畸变，对于每个曝光控制模式，运动的模糊量不同，从而在存在运动的情况下，产生图像破损。因此，用运动检测单元242按照像素或按照区域检测运动，并且采用运动适应处理单元243，执行选择处理，以使得畸变校正处理单元218的输出图像用于具有运动的像素区域中，増益补偿单元241的输出图像用于没有运动的位置，或者根据运动量执行混合处理。因此，没有运动的图像的分辨率与过去一祥，具有运动的位置可以减小畸变。此外，没有运动的部分使用帧存储器，以在时间方向上执行噪声减小处理(也称作三维NR或3DNR)，从而减小静止图 像部分中的噪声。此外，可以形成増加像素值饱和对抗处理的构造。在上述图11中，为了产生时刻图像230至233，在差分图像产生单元227至229中计算不同的曝光模式图像的差別，但是例如在要经过差分计算的其中一个图像的像素值饱和的情况下，不能获得精确的差值。例如，在用于产生时刻图像(差分图像)的两个图像的相应像素值原始为1200和800的情况下，差分图像像素值=1200-800 = 400成立。但是，在传感器的输出是10比特的情况下，传感器输出只能输出(O至1023)像素值。在上述像素值2000被输出为像素值1023的情况下，差分图像像素值=1023-800 = 223成立，会产生像素值比实际小的时刻图像(差分图像)。对于饱和对抗，最简单的是使用根据曝光模式而不同的值执行削減处理。如图11所示，曝光模式1、2、3、4的曝光比率是4 3 2 1，在成像器件的像素值输出为10比特的情况下，在使曝光模式I中的像素减去1023、曝光模式2中的像素减去768、曝光模式3中的像素减去512、并且曝光模式4中的像素减去256之后，可以执行差分图像产生，从而可以解决饱和的问题。此外，采用另一方法检测饱和并且对饱和部分不产生差分图像。对于该饱和部分，例如，通过日本未审查专利申请公开No. 2006-148496中公开的动态范围扩展方法来执行像素值设置。采用上述处理，例如，畸变减小效果减弱，但是可以扩展动态范围。5.对本发明的处理的优点的描述然后，将描述根据本发明的处理的优点。为了示出本发明的优点，将參考图24A至24C描述焦平面畸变。图24A是对静止对象成像时的图像示例，图24B和24C是在对从左向右在水平方向上运动的对象进行成像时的图像示例。图24B是在用全局快门进行成像时(其中不发生焦平面畸变)的图像示例，图24C是在用焦平面快门进行成像时的图像示例。如图24C所示，使用焦平面快门操作产生对象畸变。与现有技术相比，将示出采用日本未审查专利申请公开No. 2006-148496(或图12A)所示的方法的焦平面畸变减少效果。在日本未审查专利申请公开No. 2006-148496中的方法中，使用图25A至25C所示的三个图像来减小焦平面畸变。考虑读出时间按照行的差别，计算混合系数，从这三个图像产生ー个图像。
图26中示出来自日本未审查专利申请公开No. 2006-148496的畸变减少处理结果。在图26中，调整对象的重心的位置，但是画面的上下边缘会极其模糊，整体减小效果不显著。将示出根据本发明的焦平面畸变减少效果。如參考图11、图12B和图13所述，首先从由四个曝光时间组成的一个图像产生四个曝光模式图像，并且产生相当于用四个不同时刻拍摄的图像的四个时刻图像，来作为另外四个曝光模式图像的差分图像。畸变校正处理单元产生经校正图像，其中通过对这些时刻图像的合成处理来对焦平面畸变进行校正。例如，多个时刻图像(差分图像)的具体示例是如图27所示的图像。产生时刻图像作为多个曝光模式图像的差分图像，从而每个时刻图像的曝光时段是短时段，获得暗淡图像，但是可以获得具有微小模糊和短时间间隔的很多图像。由使用图27中的图像根据图像合成处理(例如，上文參考图13的像素值计算处理)所计算的像素值所组成的经校正图像成为如图28所示的图像。也就是说，通过执行对焦平面畸变的減少处理，可以获得图28。与作为现有技术方法的结果的图26所示的图像相比，作为本发明的结果的图28所示的图像可以确认具有极其少量的按照画面上位置的畸变減少的不规则，并且具有极好的畸变减少效果。如上所述，根据本发明，使用成像器件来拍摄在按照区域而不同的曝光时间下设置的图像，并且采用应用拍摄图像的处理，可以产生经过执行焦平面畸变校正的图像。为了获得与根据现有技术方法类似的效果，传感器需要在高速下操作，但是本发明不需如此，所以不会产生诸如伴随成像器件的操作速度増加一起产生的増加功耗的缺点。此外，基于同样的原因，用作帧缓存器的存储装置不需要高速操作，可以减少功耗和装置成本。此外，不需要执行复杂计算(例如，运动矢量计算处理等)，所以实现了计算量减少和高速处理。应当注意，即使在本发明和运动矢量构造成共用计算处理的情况下，要进行运动矢量计算的时刻图像之间的时间差很小，可以高精度地执行运动矢量计算处理，从而可以获得闻精度崎变减少效果。上文參考具体实施例描述了本发明。但是，显而易见地，本领域技术人员可以在本发明的范围和精神之内对这些示例进行修改和替换。也就是说，这些实施例是以示例形式公开的，不应以限制方式对这些实施例进行解释。为了确定本发明的精神，应參考权利要求书。此外，可以用硬件、软件、或两者的结合来执行说明书中所述的一系列处理。在用软件执行处理的情况下，记录有处理序列的程序被安装在内置于专用硬件的计算机的存储器中，并执行处理，或者程序被安装在可以执行各种类型处理的通用计算机中，并执行处理。例如，可以事先将程序记录在记录介质中。除了从记录介质安装到计算机之外，可以通过网络(例如，LAN(局域网)或互联网)接收程序，并将程序安装在记录介质(例如，内置硬盘)中。应当注意，说明书中所述的各种类型处理不仅可以根据描述以时间序列方式执行，而且根据执行处理的装置的处理能力、或如有需要可以并行地或独立地执行。此外，根据说明书的系统是多个装置的理论集合构造，并且不限于在相同壳体内使用各种构造的装
置。、
本申请包含与2011年2月24日递交于日本特许厅的日本在先专利申请JP2011-038240中公开的内容相关的主题，该专利申请的全部内容通过引用结合于此。本领域技术人员应当理解，只要在权利要求书的范围或其等价的范围内，根据设计需要和其他因素可以产生各种修改、组合、变形和替换。
权利要求
1.ー种图像处理装置，其包括 中间图像产生单元，其构造成 输入采用按照区域单位设置的相异曝光时间所拍摄的图像， 根据所输入的图像，产生与相异曝光时间相对应的多个曝光模式图像，并且产生作为所述多个曝光模式图像的差分图像的多个时刻图像；和畸变校正处理单元，其构造成通过所述多个时刻图像的合成处理，来产生与在预定曝光时间下的曝光处理图像相当的经校正图像。
2.根据权利要求I所述的图像处理装置，其中，所述中间图像产生单元构造成 输入通过焦平面快门操作所拍摄的、具有按照区域単位偏移的曝光时间的图像， 根据所输入的图像，产生与相异曝光时间相对应的多个曝光模式图像，并且 产生作为所述多个曝光模式图像的差分图像的多个时刻图像。
3.根据权利要求I所述的图像处理装置，其中，所述中间图像产生单元产生曝光时间比所输入的图像短的多个时刻图像； 并且其中，所述畸变校正处理单元将曝光时间比所输入的图像短的多个时刻图像合成，并产生所述经校正图像。
4.根据权利要求I所述的图像处理装置，其中，在计算所述经校正图像的像素值时，所述畸变校正处理单元选择具有包括在待产生的所述经校正图像的曝光时间内的曝光时间的时刻图像，并应用所选择的时刻图像执行合成处理。
5.根据权利要求I所述的图像处理装置，其中，对于具有在待产生的所述经校正图像的曝光时间内的所有曝光时间的时刻图像，在计算所述经校正图像的像素值时，所述畸变校正处理单元执行处理，以将所述时刻图像的像素值反映在所述经校正图像的所有像素值中； 并且其中，对于具有与待产生的所述经校正图像的曝光时间的一部分有重叠部分的曝光时间的时刻图像，所述畸变校正处理单元执行处理，以根据重叠部分的比例将所述时刻图像的像素值全部反映在所述经校正图像的像素值中。
6.根据权利要求I所述的图像处理装置，其中，由所述中间图像产生単元所产生的时刻图像是采用按照像素行単位而相异的曝光时间设置的图像； 并且其中，所述畸变校正处理单元选择具有包括在将按照像素行单位产生的所述经校正图像的曝光时间内的曝光时间的时刻图像，并应用所选择的时刻图像执行合成处理。
7.根据权利要求I所述的图像处理装置，其中，所述中间图像产生单元产生时刻图像，作为采用比所输入的图像短的曝光时间的连续拍摄图像；并且 所述中间图像产生单元还包括输出单元，所述输出单元将由所述中间图像产生単元所产生的时刻图像输出作为高帧率图像。
8.根据权利要求I所述的图像处理装置，所述中间图像产生单元还包括 多个中间图像产生単元，其构造成对多个连续拍摄图像并行地执行处理； 其中，所述畸变校正处理单元通过对由多个中间图像产生单元所产生的多个时刻图像进行的合成处理，产生与具有预定曝光时间的曝光处理图像相当的经校正图像。
9.根据权利要求I所述的图像处理装置，其中，作为所输入的图像的曝光时间的控制単位的区域是由多个像素组成的像素块、或行、或像素当中的一者。
10.根据权利要求I所述的图像处理装置，还包括 运动检测单元，其构造成按照所输入的图像的区域単位执行运动检测； 其中，所述畸变校正处理单元的输出只应用于已检测到运动的区域，并产生输出图像。
11.根据权利要求I所述的图像处理装置，还包括 成像器件；和 控制单元，其构造成按照所述成像器件的区域单位执行曝光时间控制。
12.—种由图像处理装置所执行的图像处理方法，所述方法包括如下步骤 通过中间图像产生单元执行 输入采用按照区域单位设置的相异曝光时间所拍摄的图像， 根据所输入的图像，产生与相异曝光时间相对应的多个曝光模式图像，并且产生作为所述多个曝光模式图像的差分图像的多个时刻图像；和通过畸变校正处理单元，通过所述多个时刻图像的合成处理，来产生与在预定曝光时间下的曝光处理图像相当的经校正图像。
13.一种用图像处理装置执行图像处理的程序，其包括 使中间图像产生单元 输入采用按照区域设置的不同曝光时间所拍摄的图像， 根据所输入的图像，产生与不同曝光时间相对应的多个曝光模式图像，并且产生作为所述多个曝光模式图像的差分图像的多个时刻图像；和使畸变校正处理单元通过所述多个时刻图像的合成处理，来产生与在预定曝光时间下的曝光处理图像相当的校正图像。
全文摘要
本发明涉及图像处理装置和图像处理方法及程序。图像处理装置包括中间图像产生单元，其构造成输入采用按照区域设置的相异曝光时间所拍摄的图像，根据所输入的图像，产生与相异曝光时间相对应的多个曝光模式图像，并且产生作为多个曝光模式图像的差分图像的多个时刻图像；和畸变校正处理单元，其构造成通过多个时刻图像的合成处理，来产生与在预定曝光时间下的曝光处理图像相当的经校正图像。
文档编号H04N5/243GK102651802SQ20121003909
公开日2012年8月29日 申请日期2012年2月17日 优先权日2011年2月24日
发明者光永知生, 海津俊 申请人:索尼公司