成像装置、固态成像器件、图像处理装置、方法和程序的制作方法

专利名称：成像装置、固态成像器件、图像处理装置、方法和程序的制作方法
技术领域：
本发明涉及图像处理装置，具体而言，涉及一种对图^Jt据进行图像处理的图像处理装置、成像装置和固态成像器件及其处理方法、以及使得计算机执行所述方法的程序。
背景技术：
近些年来，CCD (电荷耦合器件)传感器和CMOS (互补金属氧化物半导体)传感器等已经被广泛用作固态成像器件，所述固态成像器件对对象成像以产生图像数据。半导体技术的进步稳步地改善关于这些固态成像器件的入射光的动态范围(即，从由于本底噪声的损失而导致信号无法分离的水平到饱和水平的辉度范围)。但是，实际上，当使用固态成像器件时，极少出现超过预定动态范围的入射光。因此，人们正在积极地研究用于扩展动态范围的技术。
例如，作为用于获得高动态范围图像的技术，已经提出了一种技术，在该技术中，使用不同的膝光量成像的多个图^N^合成为一个图像。但是，对于这样的技术，用于多个图像的成像的曝光时间增大，因此，这样的技
术具有容易发生移动对象模糊或者摄^4^抖动的问题。作为用于解决这种
问题的技术，例如，已经提出了一种成像技术，在该成像技术中，具有不同灵敏度的多个像素被布置在单个图像传感器的成像表面上，由此一次执
行多阶啄光(multistep exposure), 以产生高动态范围图<象(例如，参见国际公布WO 2002/056603小册子(图1 ))。可以通过采用这种成像技术来同时执行不同灵敏度的成像，由此可以相对缩短整个曝光时间。但是，这种成像技术与其他现有成像技术的相同之处在于未改善固态成像器件的灵敏度本身。因此，在存在低辉度对象的情况下，曝光时间根据该低辉度对象而增大，并且未减少摄#^抖动的出现。
另一方面，例如，对于用于校正出现摄^^抖动的图像的技术，已经提出了一种技术，在该技术中，采用短曝光图像(短时间曝光图像)和长曝光图像(长时间啄光图像)来校正在长时间曝光图像期间出现的摄<|^抖动(例如，参见L Yuan, J. Sun, L Quan， H. Y. Sh薩"ImageDeblurring with Blurred/Noisy Image Pairs", Proceedings of ACMSIGGRAPH 2007， Article 1， 2007)。对于这种:^HWu抖动校正技术，采用短时间曝光图像来估计长时间曝光图像的摄^^抖动函数PSF(点扩展函数)，并且将长时间曝光图像进行反向校正，以校正在长时间曝光图像时发生的摄<|4^抖动。也就是说，短时间曝光图像被用作参考数据，以估计长时间曝光图像的摄^^U抖动PSF。
另夕卜，例如，已经提出了一种摄^^抖动校正技术，该技术采用能够测量成像装置本身的操作的成像装置。例如，已经提出了一种成像装置，在所述成像装置中组合了通过长曝光来执行成像的高分辨率图像传感器和通过短连续曝光来测量^^|4^抖动的低分辨率图傳_传感器(例如，参见M. Ben國Ezra， S. K. Nayar: "Motion Deblurring Using Hybrid Imaging",Proceedings of IEEE International Conference on Computer Vision andPattern Recognition, Vol. I, pp 657-664， 2003 )。这种4lHi^U抖动校正技术是以下摄#4^抖动校正技术在该技术中，通过利用短时间曝光图傳ii行的测量来估计长时间啄光图像的摄^^抖动PSF，并且通过将该图傳J^行
反向校正来校正在长时间啄光图像上已经出现的摄1I4^抖动。也就是说，
由低分辨率图像传感器产生的短时间曝光图像用于估计长时间啄光图像
的摄^4^抖动PSF。

发明内容
根据上述现有技术，可以通过使用短时间膝光图像来校正长时间啄光
图像的摄#4^抖动。但是，在使用短时间膝光图像来校正长时间瀑光图像
的摄#4^抖动的情况下，难以正确地补偿根据瞩光时间与长时间瀑光图像的啄光时间完全不同的短时间膝光图像对长时间啄光图像的饱和区域的恢复。也就是说，难以产生适当地校正了摄#^抖动的高动态范围图像。
已经发现期望产生适当地校正了摄^^抖动的高动态范围图像。
根据本发明的一个实施例，提供了一种图像处理装置及其方法、以及
使得计算机执行所述方法的程序，所述图像处理装置包括:抖动估计单元，其被配置为估计在预定时段内产生的图像的抖动信息；短时间曝光抖动校
正单元，其被配置为根据所估计的抖动信息来校正由于在所述预定时段内
的间歇啄光而产生的多个短时间曝光图像的抖动；长时间曝光校正单元，其被配置为根据所述估计的抖动信息来校正由于在所述预定时段内的连
续曝光而产生的长时间曝光图像的抖动；以及图像合成单元，其被配置为 合成经校正的短时间曝光图像和经校正的长时间曝光图像。因此，提供了 下述效果合成已经基于抖动信息校正了抖动的短时间啄光图像和长时间 曝光图像，由此产生已经校正了抖动的高动态范围图像。
所述抖动估计单元可以计算表示由于成像装置在所述预定时段内的 运动而导致的图像坐标的时间变化的参数曲线，作为所述抖动信息。因此， 提供了下述效果校正了不仅包括平移运动而且包括旋转运动的摄^^抖 动。
所述抖动估计单元可以包括计算单元，其被配置为计算构成所述多 个短时间曝光图像的图像之间的坐标变换矩阵的每个分量的离散的时间 变化；以及曲线拟合单元，其被配置为将所述坐标变换矩阵的每个分量的 离散的时间变化拟合成所述^曲线。因此，提供了下述效果根据在预 定时段内间li^成像的短时间啄光图像来计算抖动信息。
所述抖动估计单元可以包括图像间抖动信息计算单元，其被配置为 计算关于构成所述多个短时间膝光图像的每个图像的连续图像之间的坐 标变换矩阵，作为图像之间的抖动信息；抖动信息计算单元，其被配置为 根据所计算出的图像之间的抖动信息来计算表示每个分量的时间变化的 ^!t曲线，作为所述抖动信息；图像抖动校正单元，其被配置为通过根据 所述计算出的抖动信息将所述多个短时间曝光图像的像素位置对准以合 成所述多个短时间膝光图像，来校正所述短时间曝光图像的抖动；呈现单 元，其被配置为根据所述计算出的抖动信息，在所述长时间瀑光图像上的 多个目标位置上产生点模糊函数图像；点模糊函数图4线正单元，其被配 置为根据与所述经校正的短时间膝光图像的目标位置相邻的图像和与所
述长时间瀑光图像的目标位置相邻的图像，校正每个所述目标位置的点模 糊函数图像；以及抖动信息更新单元，其被配置为根据所述计算出的图像 之间的抖动信息、所述经校正的点模糊函数图像和所述计算出的抖动信息 来更新所述抖动信息。因此，提供了下述效果通过使用在预定时段内间 歇地成像的短时间膝光图像和在预定时段内连续成像的长时间瀑光图像 的点模糊函数来计算抖动信息。
所述图像间抖动信息计算单元可以计算在所述多个短时间曝光图像 的图像之间的匹配点，由此计算所述图像之间的抖动信息；并且所述抖动 估计单元包括可靠点提取单元，所述可靠点提取单元被配置为提取已经从所述匹配点的所述多个短时间曝光图像中的大多数短时间曝光图像中获
得匹配的匹配点，作为可靠点；所述图像抖动校正单元对于与所述提取的 可靠点相邻的区域，根据所述计算出的抖动信息来对准所述多个短时间啄 光图像的像素位置以合成它们，由此校正所述短时间曝光图像的抖动；所 述呈现单元根据所述计算出的抖动信息来在所述长时间曝光图4象上的可 靠点的位置上产生点模糊函数图像；并且所述点模糊函数图#^正单元根 据与所述经校正的短时间曝光图像的可靠点相邻的图像和与所述长时间 曝光图像的可靠点相邻的图像，校正所述点模糊函数图像。因此，提供了 下述效果通过利用可靠区域来以更高的可靠性检测抖动信息，在所述可 靠区域中，已经在预定时段内的最长时段中获得了匹配。
所述短时间啄光抖动校正单元可以根据所述估计的抖动信息来对准 构成所述多个短时间曝光图像的图像的像素位置以合成它们，由此校正所 述短时间曝光图像的抖动。因此，提供了下述效果通过对准所述短时间 啄光图像的像素位置来合成多个短时间曝光图像，由此校正所述短时间曝 光图像的抖动。
所述长时间瀑光抖动校正单元可以包括呈现单元，其被配置为根据 所述估计的抖动信息来在所述长时间啄光图像的多个目标位置上产生点 模糊函数图像；以及去巻积单元，其被配置为根据每个所述产生的点模糊 函数图像，针对每个所述目标位置，将所述长时间曝光图像进行去巻积处 理。因此，提供了下述效果基于所述估计的抖动信息来产生在长时间曝 光图像上的多个目标位置上的点模糊函数图像，并iL^于每个所产生的点 模糊函数图像，针对每个目标位置对所述长时间曝光图像进行去巻积处 理。
所述图像合成单元可以针对每个像素将所述经校正的短时间曝光图 像的像素值和所述经校正的长时间膝光图像的校正值相加，使用在按照短
得到的像素值，由此产生所述经校正的短时间曝光图l象和所述经校正的长 时，曝光图傳-^间"合成图^象。因此，提供了下:述效果针对，个像素将
的4象素值相加，通过使用合成特性的逆特性来校正针对每个像素相加得到 的像素值，由此产生合成图像。 所述短时间曝光图像可以是从固态成像器件输出的马赛克图像；并且所述长时间膝光图像可以是从所述固态成像器件输出的马赛克图像；并且 所述图像合成单元布置所述经校正的短时间膝光图像的像素和所述经校 正的长时间曝光图像的像素，以便获得具有与从所述固态成像器件输出的 马赛克图像相同的像素阵列的马赛克图像，由此对所述图像合成单元的马 赛克图4象执行去马赛克处理。因此，提供了下述效果对具有与马赛克图 ^f目同的像素阵列的图像执行去马赛克处理，在所述图像中，重新布置了 所述经校正的短时间曝光图像的像素和所述经校正的长时间曝光图像的 像素。
另外，根据本发明的一个实施例，提供了 一种成像装置及其处理方法、 以及使得计算机执行所述方法的程序，所述成像装置包括固态成像器件， 其中，在成像表面上排列了用于通过在预定时段内的连续曝光来产生长时 间曝光图像的第 一像素和用于通过在所述预定时段内的间歇曝光来产生 多个短时间曝光图像的第二像素；抖动估计单元，其被配置为根据通过使 用所述第二像素而产生的多个短时间瀑光图像，估计在所述预定时段内的 抖动信息；短时间曝光抖动校正单元，其被配置为根据所述估计的抖动信 息来校正所述短时间曝光图像的抖动；长时间啄光抖动校正单元，其被配 置为根据所述估计的抖动信息来校正通过使用所述第 一像素而产生的长 时间曝光图像的抖动；以及图像合成单元，其被配置为合成所述经校正的 短时间曝光图像和所述经校正的长时间瀑光图像。因此，提供了下述效果 合成已经基于抖动信息被校正的短时间膝光图像和长时间曝光图像，由此 产生已经校正了抖动的高动态范围图像。
对于所述固态成像器件，可以在竖直方向上交替地布置其中在水平方 向上排列所述第一^^素的第一^^素线和其中在水平方向上排列所述第二 像素的第二傳J:线。因此，提供了下述效果通过所述固态成像器件来执 行成像，其中，在竖直方向上交替地布置所述第一4象素线和所述第二像素 线。
对于所述固态成像器件，为了以方格图案布置具有第一光镨灵^:度的 像素，可以将具有第 一光镨灵敏度的像素交替地布置在所述第 一像素线和 所述第二像素线上，并且为了在所述第一像素线和所述第二像素线上在具 有第一光谱灵敏度的像素之间交替地布置具有第二光谱灵敏度的像素和 具有第三光镨灵敏度的像素，可以在斜向上交替地排列关于所述第一像素 的具有第二光镨灵敏度的像素和关于所述第二像素的具有第二光谱灵敏 度的像素，并且也可以在所述斜向上交替地排列关于所述第一像素的具有第三光镨灵敏度的像素和关于所述第二像素的具有第三光谦灵敏度的傳_
素。因此，提供了下述效果由所述固态成像器件执行成像，其中，为了 以方格图案布置具有第一光谱灵敏度的像素，将具有笫一光镨灵敏度的像 素交替地布置在所述第一像素线和第二像素线上，并且为了在所述第一像 素线和所述第二像素线上的具有第一光谱灵敏度的像素之间交替地布置 具有第二光镨灵敏度的像素和具有第三光镨灵敏度的像素，可以在斜向上
交替地排列关于所述第一像素的具有第二光谱灵敏度的像素和关于所述 第二像素的具有第二光镨灵敏度的像素，并且也可以在所述斜向上交替地 排列按照所述第 一像素的具有第三光镨灵敏度的像素和按照所述第二像 素的具有第三光镨灵敏度的像素。
对于所述固态成《象器件，可以以方格图案来布置所述第一l象素和所述 第二像素。因此，提供了下述效果由所述固态成像器件执行成像，其中， 以方格图案来布置所述第 一像素和所述第二像素。
对于所述固态成像器件，由关于所述第一像素的具有第一光镨灵敏度 的像素、具有第二光镨灵^t度的像素和具有第三光镨灵敏度的l象素构成的 阵列是斜向倾斜的Bayer阵列，并且由关于所述第二像素的具有第一光语 灵敏度的l象素、具有第二光镨灵^t度的像素和具有第三光镨灵^:度的像素 构成的阵列是斜向倾斜的Bayer阵列。因此，提供了下述效果由所述固 态成像器件执行成像，其中，由关于所述第一像素的具有第一光镨灵敏度 的像素、具有第二光镨灵敏度的像素和具有第三光镨灵敏度的像素构成的 阵列是斜向倾斜的Bayer阵列，并且由关于所述第二〗象素的具有第一光镨 灵敏度的像素、具有第二光镨灵^t度的l象素和具有第三光镨灵朝:度的〗象素 构成的阵列^i斜向倾斜的Bayer阵列。
对于所述固态成像器件，在由在水平方向上交替地排列的所述第 一像 素和所述第二像素构成的水平线的上侧，行转移信号线和行复位信号线可 以被布置并且连接到包括在所述水平线中的所述第一像素，其中所述行转 移信号线提供用于通过在水平方向上在所述预定时段内的连续曝光来执 行读取的控制信号，并且，在所述水平线的下侧，行转移信号线和行复位 信号线可以被布置并且连接到包括在所述水平线中的所述第二4象素，其中
膝光来顺次执行读取的控制信号。因此，提供了下述效果通过所述固态 成像器件来执行成像，其中，在水平线的上侧，行转移信号线和行复位信 号线被布置并且连接到包括在所述水平线中的所述第一4象素，其中所述行转移信号线提供用于在所述预定时段内的连续曝光来执行读取的控制信 号，并且，在所述水平线的下侧，行转移信号线和行复位信号线被布置并
且连接到，括在戶斤述水平线中的，述第二像素其中一所述行转移，号线提
对于所述固态成像器件，可以在水平方向上交替地布置第一像素组和 第二像素组，其中在所述第一像素组中，以阶梯式图案来连接在水平方向 上排列的三个第一像素和在竖直方向上排列的三个第一像素，并且在所述 第二像素组中，以阶梯式图案来连接在水平方向上排列的三个第二像素和
在竖直方向上排列的三个第二4象素。因此，揭:供了下述效果通过所述固 态成像器件来执行成像，其中，在水平方向上交替地布置第一像素组和第 二像素组。
对于所述固态成像器件，由具有第一光镨灵敏度的像素、具有第二光 镨灵敏度的像素和具有第三光谱灵敏度的^象素构成的阵列可以是Bayer 阵列。因此，提供了下述效果通过所述固态成像器件来执行成像，其中， 由具有第一光镨灵敏度的像素、具有第二光镨灵敏度的像素和具有第三光 镨灵敏度的像素构成的阵列是Bayer阵列。
另夕卜，根据本发明的一个实施例，提供了一种固态成像器件，在所述 固态成像器件中，在成^^面上排列用于通it^预定时段内的连续啄光来 产生长时间曝光图像的像素和用于通过在预定时段内的间歇曝光来产生 多个短时间啄光图像的像素。因此提供了下n果由所述固态成像器件 执行成像，其中，在成像表面上排列用于通it^预定时段内的连续啄光来 产生长时间啄光图像的像素和用于通过在预定时段内的间歇啄光来产生 多个短时间啄光图像的像素。
才艮据上述配置，提供了下述优点可以产生已经适当地经校正了摄4象 机抖动的高动态范围图像。


图1是图示了根据本发明的第一实施例的成像装置的内部配置示例 的方才匡图2是图示了被提供给根据本发明的笫一实施例的固态成像器件的 像素的等同电路的图3是示意性地图示了才ILH本发明的第一实施例的固态成像器件的^象素布线的图4是示意性地图示了关于图3中所示的像素(#11 )、(#12 )、(#16 )、
图5A和5B是图示了在根据本发明的第一实施例的固态成像器件的 曝光时间Ell期间的光电二极管的电荷存储的时间变化的图6是图示了要安^根据本发明的第一实施例的固态成像器件的 光接收部分上的滤色器的像素阵列的示例的图7是示意性地图示了根据本发明的第一实施例的固态成像器件以 短时间曝光间歇地成像的短时间曝光马赛克图像的像素阵列的、图曰8是示意性地图示了根据本，明的第一实施例的固态成，器件13
图9是图示了根据本发明的第一实施例的图像处理电路的功能配置 示例的方才匡图10是图示了根据本发明的第一实施例的RGB图像合成单元的功 能配置示例的方^f匡图11A和11B是图示了由根据本发明的笫一实施例的曲线拟合单元 计算出的样条控制点和在计算这些样条控制点时使用的仿射矩阵(帧间摄 ^NiL抖动信息)的图12A和12B是图示了关于根据本发明的第一实施例的固态成像器 件的入射光强度和待输出的像素值的响应特性之间的关系的图13是图示了根据本发明的第一实施例的RGB图像合成单元的过 程的流禾呈图14是图示了由根据本发明的第一实施例的摄#^抖动估计单元进 行的摄^N^抖动估计处理的过程的流程图15是图示了由根据本发明的第一实施例的运动估计单元进行的运 动估计处理的过程的流程图16是图示了由根据本发明的笫一实施例的曲线拟合单元进行的曲 线拟合处理的过程的流程图17是图示了由根据本发明的第一实施例的短时间曝光摄H4^动 校正单元进行的对短时间曝光RGB图像的^HN^抖动校正处理的过程的流程图18是图示了由根据本发明的第一实施例的长时间曝光摄^^抖动 校正单元进行的对长时间曝光RGB图像的摄^4^抖动校正处理的过程的 流程图19是图示了由根据本发明的第一实施例的局部PSF呈现单元进行 的局部PSF (点扩展函数)图像产生处理的过程的流程图20是图示了由根据本发明的第一实施例的高动态范围图像合成单 元进j亍的对高动态范围图傳it行的合成处理的过程的流程图21是图示了根据本发明的第二实施例的RGB图像合成单元的功 能配置示例的方^f匡图22是在根据本发明的第二实施例的摄#4^抖动信息更新单元执行 最大点搜索时使用的更新的局部PSF图像上绘制了摄#^抖动轨迹上的 点的图23是在根据本发明的第二实施例的摄H^抖动信息更新单元执行 最大点搜索时使用的更新的局部PSF图像上绘制了最大梯度方向的图24是在根据本发明的第二实施例的摄#^抖动信息更新单元执行 最大点搜索时使用的更新的局部PSF图像上绘制了最大点的图25A和25B是图示了在根据本发明的笫二实施例的摄H^抖动信 息更新单元执行边缘险测处理时使用的算子的图26是图示了由根据本发明的笫二实施例的摄^l^抖动估计单元进
行的摄^N^抖动估计处理的过程的流程图27是图示了由根据本发明的第二实施例的运动估计单元进行的笫 二运动估计处理的过程的流程图28是图示了由根据本发明的第二实施例的局部PSF更新单元进行 的局部PSF图4象更新处理的过程的流程图29是图示了由根据本发明的第二实施例的摄^bL抖动信息更新单
元缘行的摄^N^抖动信息更新处理的过程的流程图30是图示了##本发明的第三实施例的RGB图像合成单元的功 能配置示例的方^f匡图31是图示了根据本发明的第四实施例的RGB图像合成单元的功能配置示例的方^f匡图32是图示了要安^根据本发明的第四实施例的固态成像器件的 光接收部分上的滤色器的像素阵列的示例的图33是图示了要安^根据本发明的第四实施例的固态成像器件的 光接收部分上的滤色器的4象素阵列的示例的图34是示意性地图示了用于实现在图32中所示的像素阵列的固态成 像器件的像素布线的图35是示意性地图示了关于在图34中所示的《象素(#11)、 (#12)、 (#16 )、 ( #17)这四个像素的控制信号和在每个像素中存储电荷的方式的 时序图36是示意性地图示了用于实现在图33中所示的l象素阵列的固态成 像器件的像素布线的图；以及
图37是示意性地图示了关于在图36中所示的《象素(#11)、 (#12)、 (#16 )、 ( #17)这四个像素的控制信号和在每个像素中存储电荷的方式的 时序图。
具体实施例方式
接着，将参照附图来详细说明本发明的实施例。
第一实施例
图1是图示了根据本发明的第 一实施例的成像装置100的内部配置示 例的方框图。成像装置IOO包括透镜ll、光圏12、固态成4象器件13、采 样电路21、 A/D (模数)转换电路22、图像处理电路23、编码器/解码器 31和存储器32。另外，成像装置IOO包括显示驱动器41、显示单元42、 定时产生器51、操作接受单元52、控制单元53和总线59。注意，图像 处理电路23、编码器/解码器31、存储器32、显示驱动器41、定时产生 器51、 ^Mt接受单元52和控制单元53经由总线59相互连接。可以以例 如对对象成像以产生运动画面的数字摄<|^(例如，单#^#^)来实现 成《象装置100。
透镜11是用于聚集来自对象的光的透镜。光圏12调整由透镜11聚集的光的光量。因此，来自对象的、由透镜ll聚集的、光量已经由光圏
12调整的光被提供到固态成像器件13。
固态成像器件13是这样的图像传感器其由定时产生器51驱动，通 过光电转换将经由透镜11和光團12输入的来自对象的光转换为电信号 (图像信号)，并且向采样电路21输出该转换出的电信号。也就是说，在 经由透镜11和光圏12输入的来自对象的光达到固态成像器件13的传感 器成像表面上的光接收元件时，通过这些光接收元件来执行光电转换，由 此产生电信号.注意，使用例如CCD (电荷耦合器件)或者CMOS (互 补金属氧化物半导体)来实现固态成像器件13。另外，成像装置100通 过使用固态成像器件13来实现比通常更宽的动态范围，由此，可以在从 暗对象到亮对象的范围内执行成像，而没有噪声和饱和。注意，将参照图 2至图8来详细地说明固态成像器件13中的像素的阵列和读取控制。
采样电路21由定时产生器51驱动，对从固态成像器件13提供的电 信号进行采样，以对所述电信号进行模拟处理比如去除噪声分量，并且将 进行了这种处理的模拟信号提供到A/D转换电路22。注意，例如使用相 关双采样电路(CDS)来实现采样电路21。因此，减少了在固态成像器 件13上发生的噪声。
A/D转换电路22由定时产生器51驱动，将从采样电路21提供的模 拟信号转换为数字信号，并且将该转换出的数字信号提供到图像处理电路 23。
图像处理电路23包括图^^储器(图像的RAM(随^M储器)) 和用于信号处理的处理器.图像处理电路23对从A/D转换电路22提供 的数字信号(图像数据)进行预定的图像处理，并且将ii行了该图像处理 的图^lgt据提供到显示驱动器41和编码器/解码器31。具体而言，从图像
器中，随后，用于图像处理电路23的信号处理的处理器对存储在图像存 储器中的数字信号进行预先编程的图像处理。也就是说，图像处理电路 23执行信号处理，以将固态成像器件13的输出转换为高动态范围RGB 图像。注意，例如使用DSP (数字信号处理器)来实现用于图像处理电 路23的信号处理的处理器。注意，将参照图9至图22来详细说明由图像 处理电路23执行的处理的细节。
编码器/解码器31对从图像处理电路23提供的图像数据进行编码， 并且向存储器32提供和记录所编码的数据。另外，当显示存储在存储器32中的图像数据时，编码器/解码器31从存储器32中读取图係Jt据以解 码所述图像数据，并且将其提供到图像处理电路23。
存储器32是存储由编码器/解码器31编码的图像数据的存储器。另 外，存储器32向编码器/解码器31提供所存储的图傳教据。注意，以例 如采用半导体存储器、磁记录介质、磁光记录介质或者光记录介质等的记 录装置来实现存储器32。
显示驱动器41将从图像处理电路23提供的数字信号转换为模拟信 号，并且控制显示单元42以显示对应于转换出的模拟信号的图像。
显示单元42显示对应于由显示驱动器41转换出的模拟信号的图像。 注意，在正常状态中，通过定时产生器51的控制、以恒定帧速率来在图 像处理电路23的内置图像存储器中连续地重写数字信号(图傳教据)。随 后，图像处理电路23的内置图^M"储器的图像数据经由显示驱动器41 被输出到显示单元42，并且对应于所述图傳Jt据的图傳被显示在显示单 元42上。使用例如LCD (液晶显示器)来实现显示单元42，并且显示单 元42也具有取景器的功能。
釆样电路21是定时产生器，其控制固态成像器件13、采样电路21、 A/D转换电路和图像处理电路23的操作定时。例如，在通过用户按下快 门按钮而产生的信号:ML提供到定时产生器51时，定时产生器51适当地驱 动固态成像器件13、采样电路21、 A/D转换电路和图像处理电路23。因 此，执行成像图像的捕获。
操作接受单元52是这样的操作接受单元其接受操作输入比如快门 操作或者由用户输入的其他命令，并且向控制单元53提供所接受的操作 输入的内容。例如，操作接受单元52包括诸如在成像装置100的主单元 上设置的快门^等等的操作^fe 。
控制单元53是这样的控制单元其控制整个成4象装置100，读^ 驱动器(未示出)中存储的控制程序，并且基于所述控制程序或者由操作 接受单元52接受的来自用户的命令等来执行各种控制。使用例如CPU(中 心处理单元)来实现控制单元53。
图2是图示了在根据本发明的第一实施例的固态成像器件13中包括 的像素的等同电路的图。在固态成像器件13中包括的像素由作为光接收 单元的光电二极管(PD ) 61、浮动扩散(FD )元件62和四个MOS-FET (Ml-M4) 71-74组成。辐射到像素上的光在PD 61被转换为电子，并且才艮据所述光的光量的 电荷祐^存储在PD 61中。MOS-FET (Ml) 71控制在PD 61和FD 62之 间的电荷转移。转移信号(TR) 81被施加到MOS-FET ( Ml) 71的栅电 极，由此在PD 61中存储的电荷被转移到FD 62。 FD 62连接到MOS-FET (M3 ) 73的栅电极。在行选择信号(RS) 82被施加到MOS-FET (M4) 74的栅电极时，可以从读取线(RD)83读取对应于在FD62中存储的电 荷的电压。在复位信号(RST) 84被施加到MOS-FET (M2) 72的栅电 极时，在FD 62中存储的电荷流过MOS-FET (M2) 72,因此，复位了 电荷存储状态。
图3是示意性地图示了根据本发明的第一实施例的固态成像器件13 的像素布线的图。具有图2中所示的配置的像素#1-#25被布置为二维的规 则网格。另外，在竖直列方向上布置了读取线(RD) 118至122，其中， 在同一竖直列上的像素共享一条读取线。另外，读取线(PD ) 118至122 通过列选择器132而独占地连接到输出端117。在此，像素(#1)、 (#3) 和(#5 )等(以奇数标注的像素)是在特定的曝光周期内连续地曝光对象 并且最后被读取的像素。另外，像素(#2)、 (#4)和(#6)等(以偶数标 注的像素)是在特定的曝光周期内间歇地曝光对象并且每次被读取的像 素。
通过由行选择器131控制的行选择信号的选择和由列选择器131控制 的读取线的选择， 一个特定像素可以连接到输出端117。因此，可以通过 分时方式来读取所有像素的信号，同时顺次选择每个像素。
另外，使用转移信号线(TR) 101、 104、 107、 110、 113和116与复 位信号线(RST) 102、 105、 108、 111、 114和117来对固态成像器件13 进行布线.在此，用于提供不同信号的信号线被布置在同一水平线上的像 素的上侧和下侧，每个像素连接到交替地位于每个像素的上侧和下侧的转 移信号线(TR)和复位信号线(RST)。例如，复位信号线(RST) 108 和转移信号线(TR) 107被布置在像素(#11) - (#15)的7jC平线的上侧， 并且像素(#11)连接到这些信号线。另外，复位信号线(RST) 111和转 移信号线(TR) 110被布置在同一水平线的下侧，并且像素(#12)连接 到这些信号线。注意，在图3中，表示长时间曝光的下标L (长)或者表 示短时间膝光的下标S (短)根据待提供的控制信号的类型而被标注到复 位信号线(RST)和转移信号线(TR)的名称上。因此，对于本发明的 第一实施例，使用下述配置在所述配置中，不同的控制信号被交替地布置在每一条水平线，并且在同一7jC平线上的像素连接到上部信号或者下部
信号，因此，以方格图案(checkeredpattern)布置了要被不同地控制的 两种类型的像素。因此，固态成像器件13可以通过使用要被不同地控制 的两种类型的像素来不仅对具有亮的辉度的对象进行成像、而且对具有暗 的辉度的对象进行成像，而没有模糊。
图4是示意性地表达关于图3中所示的像素(#11)、 (#12)、 (#16) 和(#17)的四个像素的控制信号和在每个像素中存储电荷的方式的时序 图。注意，在图3中，像素(#11) 141、 (#12) 142、 (#16) 143和(#17) 144通过被虚线矩形145围绕而被示出。在此，在图4中所示的水平轴是 时间轴，但是将用虚线以省略的方式示出未进行解释的时段。另夕卜，通过 图4中所示的标注有与在图3中所示的对应信号线相同的附图标号的每个 波形来进行说明。另外，啄光周期E1和E3是对应于长时间曝光的周期， 膝光周期E2是对应于短时间曝光的周期。注意，曝光周期E1-E3有很大 的不同，但是实际曝光周期E1-E3通常相同。
图4中所示的波形从上面开始依次是关于4象素(#11) - (#15)的水 平线的行选^^信号(RS) 109、关于像素(#16) - (#20)的水平线的行选 择信号(RS) 112、关于像素(#12)、 (#16)等的复位信号(RST) 111 和转移信号(TR) 110、关于像素(#11)等的复位信号(RST) 108和转 移信号(TR) 107、以及关于像素(#17)等的复位信号(RST) 114和转 移信号(TR)U3。随后，图4中示出了关于像素(#11 )的存储电荷(CHG) 151、关于像素(#12)的存储电荷(CHG) 152、关于像素(#16)的存 储电荷(CHG) 153以及关于像素(#17)的存储电荷(CHG) 154。
首先，将对于像素(#11)进#^兌明，像素(#11)连接到行选择信号 线(RS) 109、复位信号线(RST) 108和转移信号线(TR) 107，并因 此按照这些控制信号来操作。具体而言，4象素(#11)在曝光周期El的开 始接收复位信号线(RST) 108和转移信号线(TR) 107的信号，并且在 PD和FD的电荷被复位后，开始通过啄光进行的PD的电荷存储。在此， 即使在啄光周期El的中间将行选择信号(RS) 109施加到像素(#11) 几次，像素(#11)仍继续电荷存储，除非同时向像素(#11)提供复位信 号线(RST) 108和转移信号线(TR) 107的信号。随后，在曝光周期 El的结束时，行选择信号(RS) 109被施加到像素(#11)，并且复位信 号线(RST) 108的信号被施加到像素(#11),由此，在FD复位时的电 势被输出到读取线(RD) 118。紧接其后，在转移信号线(TR) 107的信号被施加到像素(#11)时，在PD中存储的电荷被转移到FD，同时，与 所存储的电荷等效的信号电势被输出到读取线(RD) 118。
接着，将对像素(#12)进行说明。像素(#12)连接到行选择信号线 (RS) 109、复位信号线(RST) 111和转移信号线(TR) 110,并因此 按照这些控制信号来操作。具体而言，像素(#12)在曝光周期E2的开 始接收复位信号线(RST) lll和转移信号线(TR) U0的信号，并且在 复位PD和FD的电荷后，开始通过曝光进行的PD的电荷存储。随后， 在曝光周期E2的中间将行选择信号线(RS) 109施加到像素(#12)几 次，并且紧接其后，复位信号线(RST) 111的信号祐:施加到像素(#12), 由此，在FD复位时的电势被输出到读取线(RD)。紧接其后，在转移信 号线(TR) 110的信号被施加到像素(#12)时，在PD中存储的电荷被 转移到FD，同时，与所存储的电荷等效的信号电势被输出到读取线(RD) 119。电荷已经从中转移的PD变为电荷零状态，并且从该时间点重新开 始电荷存储。随后，在啄光周期E2期间，多次重复这样的操作.另外， 在曝光周期E2的结束时，再一次读取所存储的电荷，并且结束啄光操作。
接着，将对像素(#16)进行说明。像素(#16)连接到行选择信号线 (RS) 112、复位信号线(RST) lll和转移信号线(TR) 110,并且因此 按照这些控制信号来操作。在此，除了行选择信号(RS) U2不同之外， 像素(#16)与像素(#12)相同。另外，除了膝光周期E2的后半部分之 外，在啄光周期E2期间的行选择信号线(RS) 109和行选#^信号(RS) 112的信号波形大多数相同。另外，在曝光周期E2结束时，来自复位信 号线(RST ) 111和转移信号线(TR) 110的信号在行选择信号(RS ) 109 和行选择信号(RS) 112重叠时祐ife加到4象素(#16)。因此，像素(#16) 以与像素(#12)相同的方式来操作。
接着，将对像素(#17)进行说明。像素(#17)连接到行选择信号(RS ) 112、复位信号线(RST) 114和转移信号线(TR) 113，并且因此按照这 些控制信号来操作。在此，除了波形被移位之外，行选择信号(RS)U2、 复位信号线(RST) U4和转移信号线(TR) 113的波形是与行选#^信号 (RS) 109、复位信号线(RST) 108和转移信号线(TR) 107的波形相 同的波形。因此，曝光周期E3的像素(#17)操作，以4吏得曝光周期E1 的像素(#11)的操作时间移位。
像素(#11)和(#17)的操作将汇总如下。也就是说，像素(#11) 和(#17)在曝光周期中连续地存储电荷，并且在啄光周期结束时向读取线(RD) U8和119输出所存储的电荷。另一方面，像素(#12)与像素 (弁16)操作，以使得在曝光周期中间隙地重复电荷存储和输出。因此， 固态成像器,13具有下一述特曰征、以方格图案来布置连续地执p行长时间曝
接着，将参照附图详细进行对用于固态成像器件13获得高动态范围 场景信息的方法的i兌明.
图5A和5B是图示了根据本发明的第 一实施例的在固态成像器件13 的在啄光周期Ell中的PD的电荷务睹的时间变化的图。图5A图示了在 啄光具有亮的辉度的对象的情况下的示例，图5B图示了在曝光具有暗辉 度的对象的情况下的示例。另外，在图5A和5B中所示的水平轴是时间 轴，并且竖直轴是用于指示PD的电荷数量的轴。
首先，将参照图5A来进行对爆光具有亮的辉度的对象的情况的说明。 在固态成像器件13的两种类型的像素中，执行长时间膝光的像素在啄光 周期Ell中连续地曝光对象，并且在曝光周期Ell的结束时在箭头177 中所示的定时执行一次从PD向FD的电荷转移。虚线178指示该像素的 PD的电荷量的改变。在对象辉度高的情况下，对于因此执行长时间啄光 的像素，PD的电荷量在啄光周期中达到饱和水平SL。因此，要在电荷转 移时转移的电荷数Q1等于饱和水平SL。
另一方面，间隙地执行短时间膝光的《象素在啄光周期Ell中间歇地 在短曝光周期E12内多次执行啄光。在以箭头170-177指示的定时执^ff从 PD向FD的电荷转移，以进行多次啄光中的每次啄光，并且从固态成像 器件13输出与转移电荷量等效的信号。因此，执行短时间膝光的4象素在 亮对象的状态下不饱和。
接着，将参照图5B来进行对曝光具有暗辉度的对象的情况的说明。 假设图5B中所示的时间轴指示与图5A中的啄光周期相同的瀑光周期. 另外，长时间啄光《象素的啄光周期Ell和短时间曝光的膝光周期E12与 在图5A中的曝光周期E11和E12相同。此外，长时间啄光和短时间曝光 的转移定时(在箭头170-177中所示)与在图5A中的那些转移定时相同。
在此，在对M度低的状态下，如虚线181所示，延迟了长时间啄光 像素的PD的存储电荷的改变，因此，转移电荷量Q3未达到饱和水平SL。 另一方面，对于短时间膝光像素，如实线180所示，在充分地执行了PD 的电荷存储之前，关于FD的转移定时170-177到达，因此每个啄光时的转移电荷量Q4变为极小。因此，有可能待转移的电荷淹没在噪声中。
如上所述，通过控制所述两种类型的像素，通常可以在同一周期中使 用连续地执行长时间曝光的^象素和间歇地执行短时间曝光的像素，因此， 即使在亮对象或暗对象的情况下，也可以输出有效信号的至少任何一种。 因此，从固态成像器件13输出的两种类型的信号用于产生图像，由此可 以产生亮部分和暗部分之间的辉度差很大的高动态范围图像。另夕卜，可以 对亮部分和暗部分之间的辉度差4艮大的高动态范围场景进行成4象，而不引 起过白和过黑。
图6是图示要安^4根据本发明的第一实施例的固态成像器件13的 光接收部分上的滤色器的像素阵列的示例的图。在图6中，每个方块示意 性地表示像素。对于本发明的第一实施例，作为示例，图示了由G(绿色)、 R (红色)和B (蓝色)构成的三色R、 G和B的滤色器。在此，没有阴 影的方^示长时间曝光像素，内部加阴影的方M示短时间爆光像素。 另外，在每个方块内部示出了指示滤色器的类型的符号。例如，在G像 素中，"G!"被标注到长时间曝光像素，而"Gs"被标注到短时间曝光像素。 另外，在R像素中，"RL"被标注到长时间膝光像素，而"Rs，，被标注到短 时间曝光像素。另外，在B像素中，"Br"被标注到长时间啄光像素，而"Bs" 被标注到短时间曝光像素。注意，G像素是具有实现本发明的特征的第一 光诿灵歉变的像素的示例。另夕卜，R向是具有实现本发明的特征的笫二光 谱灵敏度的像素的示例。此外，B像素是具有用于实现本发明的特征的第 三光镨灵敏度的^象素的示例。
图6图示了以方格图案来布置长时间膝光4象素和短时间啄光像素的 示例。对于RGB三色的滤色器，以倾斜45度的Bayer阵列来布置长时 间曝光^象素和短时间膝光像素。对于图6中所示的示例，对于像素啄光控 制的空间布局和色彩的空间布局，啄光控制的空间布局的密度和各向同性 具有优于色彩的空间布局的优先级。因此，对于高动态范围图像，可以提 供对于用于曝光控制的空间布局有益的像素布局。
图7是示意性地图示了由根据本发明的第一实施例的固态成像器件 13以短时间曝光间歇地成像的短时间啄光马赛克图像的像素阵列的图。 在图7中所示的短时间曝光马赛克图像的像素阵列对应于在图6中所示的 固态成像器件13的像素阵列。该短时间膝光马赛克图像是下述情况下的 数据其中，从图6中所示的固态成像器件13的4象素阵列中排除了长时 间曝光〗象素部分的信息。
23图8是示意性地图示了根据本发明的第一实施例的固态成像器件13
8中所示的长时间曝光马赛克图像的像素阵列对应于在图6中所示的固态 成像器件13的像素阵列。该长时间曝光马赛克图像是下述情况下的数据 其中，从图6中所示的固态成l象器件13的像素阵列中排除短时间曝光像 素部分的信息。
接着，将参照附图来详细说明由图像处理电路23执行的信号处理。 由图像处理电路23内的计算单元来实现在本发明的每个实施例中所示的 信号处理，所述计算单元对输入到图像处理电路23的数字信号(图像数 据)执行使用预定程序代码描述的计算。因此，将程序中的每个处理增量 描述为功能块，并且将以流程图来描述由每个处理执行的序列。注意，除 了通过以本发明的每个实施例描述的程序实施的实施例之外，还可以建立 下述布置其中，实施了实现等同于以下所示的功能块的处理的硬件电路。
图9是图示了根据本发明的第一实施例的图像处理电路23的功能配 置示例的方框图。注意，图9图示了由图像处理电路23执行的整个信号 处理的配置。图像处理电路23包括白平衡处理单元201和202、 RGB图 像合成单元203、伽马校正单元204和YC转换单元205。
白平衡处理单元201对由固态成像器件13以短时间啄光间隙地成4象 的短时间啄光马赛克图4象(参见图7)进行白平衡处理，并且向RGB图 像合成单元203输出进行了白平衡处理的图*据。白平衡处理单元202 对由固态成像器件13以长时间啄光成像的长时间曝光马赛克图像(参见 图8 )进行白平衡处理，并且向RGB图像合成单元203输出进行了白平 衡处理的图像数据.这样的白平衡处理是根据每个像素强度具有的色彩而 向马赛克图像应用适当的系数、以使得无彩色对象区域的色彩平衡变为例 如无彩色的处理。
RGB图像合成单元203合成进行了白平衡处理的短时间爆光马赛克 图像和长时间曝光马赛克图像，合成高动态范围RGB图像，并且向伽马 校正单元204输出合成的RGB图像。注意，将参照图10和其他附图来 详细说明RGB图4象合成单元203。
伽马校正单元204对由RGB图像合成单元203合成的RGB图像进 行伽马校正，并且向YC转换单元205输出进行了伽马校正的RGB图像。 YC转换单元205是YC矩阵单元，其将由伽马校正单元204进行了伽马 校正的RGB图像转换为Y图像和C图像.随后，向显示驱动器41和编码器/解码器31提供所转换的Y图像和C图像。
因此，图像处理电路23输入以短时间曝光间歇地成像的多个马赛克 图像和以长时间曝光成4象的马赛克图像这两种类型的图像数据，并且基于 这两种类型的图^Jt据来输出高动态范围的Y图像和C图像。
图10是图示了根据本发明的第一实施例的RGB图像合成单元203 的功能配置示例的方框图。RGB图傳_合成单元203包括第一去马赛克处 理单元211、第二去马赛克处理单元212、摄^^抖动估计单元213、短 时间曝光摄#4^抖动校正单元216、长时间啄光摄IN^抖动校正单元218 和高动态范围图l象合成单元221。
第一去马赛克处理单元211对由白平衡处理单元201进行了白平衡处 理的多个短时间曝光马赛克图傳进行去马赛克处理，以产生多个短时间曝 光RGB图像，随后，槔争个所产生的短时间啄光RGB图像输出到摄像 机抖动估计单元213和短时间曝光摄#4^抖动校正单元216。注意，所述 短时间曝光RGB图像是在每个像素位置具有全部R、 G和B通道的强度 的图像。
第二去马赛克处理单元212对由白平衡处理单元202进行了白平衡处 理的长时间啄光马赛克图^(象进行去马赛克处理，以产生长时间啄光RGB 图像，1^，向长时间啄^#^抖动校正单元218输出所产生的长时间 啄光RGB图像。注意，长时间膝光RGB图像是在每个像素位置具有全 部R、 G和B通道的强度的图像。
在此，由第一和第二去马赛克处理单元211和212进行的去马赛克处 理是差值处理，其中，计算在所有像素位置一包括其中像素信息已丢失 的像素位置——的RGB的值，以使得每个像素具有全部R、 G和B通道 的强度。例如，如图7和8中所示，对于短时间啄光马赛克图《象和长时间 曝光马赛克图《象中的任何一种，当像素阵列旋转45度时，所述像素阵列 变为Bayer阵列。因此，例如，第一和第二马赛克图4象单元211和212可 以向Bayer阵列应用用于常用Bayer阵列的去马赛克处理，其中，每个马 赛克图像被斜向倾斜。随后，对丟失的像素位置的RGB值进行根据周围 像素的双线性插值，由此执行对每个马赛克图像的去马赛克处理。注意， 已经进行了将每个马赛克图像斜向倾斜并且对每个马赛克图像进行了去 马赛克处理的示例的i兌明，但是，可以对每个马赛克图像应用其它去马赛 克处理。
25摄像机抖动估计单元213包括运动估计单元214和曲线拟合单元 215，并且基于从第一去马赛克处理单元211输出的多个短时间曝光RGB
图像来计算摄^^L在曝光周期中的运动(摄#^抖动信息)。注意，摄像 机抖动估计单元213是在本发明的发明内容中提到的抖动估计单元的示 例。
运动估计单元214针对从第一去马赛克处理单元211输出的多个短时 间曝光RGB图像计算帧间摄#^抖动信息，所述帧间摄#^抖动信息为 在时间轴上彼此相邻的帧之间的摄H^抖动信息，并且运动估计单元214 随后向曲线拟合单元215输出所计算出的帧间損WI4^抖动信息。对于本发 明的第一实施例，将说明采用图像之间的摄^U1动矩阵作为该帧间摄像 机抖动信息的示例。现在，对于本发明的第一实施例，将说明采用仿射矩 阵H作为摄^4^动矩阵的示例，该示例执行从图像上的点ml到图像上 的点m2的坐标变换，如表达式1中所示。该仿射矩阵是3x3的矩阵，即， 具有6个自由度的变换矩阵。
m2 = Hiih 表达式1
X、 23bc、x1、
m2 =y2H =df
、1/1、001、1
现在，将i兌明由运动估计单元214 ii行的仿射矩阵的计算方法.例如， 对于从第一去马赛克处理单元211输出的多个短时间啄光RGB图像，获 得在时间轴上彼此相邻的两个图像(帧)。在这两个图像中，假设在时间 轴上的时间点较早的图当作图像1 ，并且时间点较晚的图41^C当作图 像2。 1^，执行图像1和2的特征点的提取。例如，采用边g测技术 以便提取边缘的梯度在竖直方向上和水平方向上很强的点(例如，角落点) 来作为特征点。另外，可以使用另一种特征点提取处理来提取特征点，其 中可以扭^行图像之间的匹配点的搜索。
，执行从图像1提取的特征点与从图像2提取的特征点之间的匹 配。这种特征点之间的匹配是提取关于图像1和2的被视为同一对象的一 对特征点。例如，可以使用一种技术来作为这种特征点匹配方法，其中， 基于指标比如在围绕特征点的矩形图像之间的归 一化函数来提取一对类
26似的特征点。另夕卜，只要可以正确地计算摄^J^运动矩阵，就可以使用其 它匹配方法。例如，可以使用梯度方法、块匹配方法等。
随后，通过使用所提取的匹配点对(匹配的特征点对)来计算仿射矩
阵。例如，可以将使用RANSAC (随机采样一致性)的仿射矩阵计算方 法用作这种仿射矩阵计算方法。具体而言，重复下述操作其中，随机地 从所提取的匹配点对中选择一个匹配点对，并且使用所选择的匹配点对来 执行仿射矩阵的最小二乘估计。随后，选择将难以说明的匹配点减到尽可 能少的所计算的仿射矩阵作为估计结果。对于这个示例，已经描述了使用 RANSAC的仿射矩阵计算方法以作为示例，但是可以使用其它仿射矩阵 计算方法。
因此，在运动估计单元214内的存储器中写入所计算的仿射矩阵。另 外，同样对于从第一去马赛克处理单元211输出的其他短时间曝光RGB 图像，类似地，在时间轴上彼此相邻的两个图像之间的仿射矩阵顺次被计 算，并且被写入到存储器中。因此，运动估计单元214计算构成所述多个 短时间瀑光图像的图像之间的坐标变换矩阵的每个分量的离散时间变化， 并且作为在发明内容中提到的计算单元的示例。
曲线拟合单元215针对从第一去马赛克处理单元211输出的多个短时 间曝光RGB图像计算在特定部分(长时间啄光部分)内的摄<|*抖动信 息。具体而言，曲线拟合单元215基于从运动估计单元214输出的帧间摄 ^M^抖动信息(仿射矩阵)来计算平滑地连接图像之间的摄^^抖动的样 条曲线的控制点(样条控制点)，随后向短时间啄光摄#4^抖动校正单元 216和长时间啄光摄#^抖动校正单元218输出所计算的样条控制点。在 此，对于本发明的第一实施例，确定样条曲线的样条控制点将被描述为摄 ^4!L抖动信息，所述样条曲线表示运动矩阵的每个分量的时间变化，所述 运动矩阵表示摄像K的运动。将参照下一附图来详细说明样条控制点的计 算方法。
图11A和11B是图示由根据本发明的第 一 实施例的曲线拟合单元215 计算的样条控制点和在计算所述样条控制点时使用的仿射矩阵(帧间摄像 机抖动信息)的图。图UA图示了以时间顺序表示从运动估计单元214 输出的仿射矩阵的一个分量的改变的曲线图，图11B图示了表示基于所述 仿射矩阵的一个分量的改变而计算的样条控制点的曲线图。在此，对于在 图IIA和11B中图示的曲线图，水平轴是时间轴，并且竖直轴《_表示仿 射矩阵的一个分量的值的轴。注意，沿着时间顺序顺次啄光图像，因此，利用多个短时间曝光RGB图像的帧的分度标记作为增量被标注到图11A 和11B中示出的曲线图的7JC平轴。例如，笫一个(第零)短时间曝光在t =0开始，并且在t-l结束。另外，在图11A和11B中，表达式l中所 示的仿射矩阵的第一分量将被描述为仿射矩阵的分量的示例。另外，图 11A和11B中所示的示例图示了在产生一个长时间曝光图像(长时间曝光 部分)的同时产生8个短时间曝光图像的情况，以作为示例。
在此，由运动估计单元214所计算出的仿射矩阵等同于从一个短时间 曝光的曝光时间点到下 一个短时间曝光图 <象的曝光时间点的时间变化。另 外，每个短时间曝光图像的啄光的长度是在图11A和11B中所示的曲线 图的水平轴上的一段，但是期望通过使用该段的中心位置来代表曝光时间 点。因此，可以使用箭头311到317来表示短时间曝光图《象之间的仿射矩 阵的一个分量的时间变化，其中，水平轴上的"1-0.5，，作为起点，并且 "i+0,5"作为终点(i是整数(l5S7))，如图11A中所示。注意，在图11A 中，以点301-308来表示箭头311到317的起点或者终点。
在此，仿射矩阵是表示两个图像之间的相对运动的矩阵。因此，为了 在图11A中所示的曲线图上绘制样条曲线，需凍-i殳置与仿射矩阵的每个 分量相关的竖直轴上的用作基准的位置。因此，对于图11A中所示的曲 线图，用作摄^b^位置基准的时间点祐:设置到水平轴上的一个位置。例如， 假设用作摄^^位置基准的时间点位置^C设置为t = 0，并且在这种情况下 的竖直轴的值#1设置为a-l。下面进行对以下情况的i兌明用作摄# 位置基准的时间点位置被设置到t = 0，但是可以被设置到水平轴上的另外 位置以作为摄^NMi置基准。另夕卜，即使在设置了水平轴上的任何位置的 情况下，下述的样条曲线计算方法仍然适用。
曲线拟合单元215计算例如使得图11A中所示的箭头311-317的起点 301到终点308被连接的曲线，以作为样条曲线。对于图IIA和11B中所 示的曲线图，该样条曲线例如是从时间点t = 0到t - 8的平滑M曲线(以 曲线图上的虚线;^示的曲线330),并且基于表达式1中所示的仿射矩 阵H的分量a的时间变化来计算该样条曲线。图11A和11B中所示的曲 线图中的虚线330中示出了如此计算出的样条曲线.具体而言，可以使用 表达式2中所示的三维B样条函数a(t)来计算样条曲线。注意，可以使用 表达式3来表示表达式2右侧的N。
。(f) = Sl 0)4 ± 、丄t
'=° 表达式2表达式3
<formula>formula see original document page 29</formula>
表达式4
在此，Xj(j-O，…，12)是样条节点，并且对于这个示例，使用(0, 0，
0， 1..... 7， 8， 8, 8)这13个整数。另外，可以通过使用仿射矩阵的
分量a来求解在表达式4中所示的联立方程，计算图11B中所示的样条控 制点(Aq) 320到(A8) 328。在此，在表达式4的每个联立方程的右侧 出现的Aai—j表示图像之间的(i， j)的仿射矩阵分量a。如图11B中所示， 对于九个样条控制点(Ao) 320到(A8) 328获得十个方程(表达式4), 因此，可以通过最小二乘法来求解这些方程。注意，在表达式4中所示的 联立方程是与仿射矩阵的分量a相关的联立矩阵。在仿射矩阵的其他分量 的情况下，表达式4中所示的第一方程的右侧值根据分量而不同。具体而 言，对于分量a和e，表达式4的右侧值是"1"，而对于其他分量(b， c, d和f),表达式4的右侧值是"O"(但是，是在基准是t = 0的情况下)。 这是要对应于单位矩阵的分量，注意，在图IIB中，以实心方块示出了所 计算的样条控制点(A。) 320到(A8) 328。另外，根据所计算的样条控 制点(A0) 320到(A8) 328，确定样条曲线的形状。在图10中，短时间曝光摄^^U抖动校正单元216基于从曲线拟合单 元215输出的摄^^抖动信息来校正从第一去马赛克处理单元211输出的 多个短时间曝光RGB图像的摄^^L抖动，随后，向高动态范围图像合成 单元221输出经校正的短时间曝光RGB图像。也就是说，短时间曝光摄 H4^动校正单元216包括运动补偿单元217,并且该运动补偿单元217 对从第一去马赛克处理单元211输出的多个短时间曝光RGB图像的每个 帧执行摄#^抖动##。根据这种补偿，多个短时间曝光RGB图像中的 每个像素在相同位置上重叠，并且被平均。
具体而言，在多个短时间曝光RGB图像中，运动补偿单元217确定 用作摄#^位置基准的一个帧(例如，图11A中对应于t = 0.5的图像) 作为基准帧。随后，在对应于该基准帧的图像(基准图像)的像素位置中， 运动补偿单元217将一个像素位置作为基准像素位置，并且对除了基准图 像之外的每个图像(目标图像)顺次计算对应于基准像素位置的位置的像 素值。在此，可以通过使用摄^^抖动信息(样条控制点)来计算从基准 图像到时间点t = 0的仿射矩阵和从时间点t = 0到目标图像的仿射矩阵。 因此，如此计算出的仿射矩阵用于获得对应于基准像素位置的目标图像的 位置。随后，顺次计算在对应于所获得的基准像素位置的目标图像的位置 上的像素值。注意，可以进行下述布置其中，运动补偿单元217M由 运动估计单元214计算的仿射矩阵，并JU吏用这个仿射矩阵。
运动补偿单元217顺次向在基准图像的基准像素的位置上的像素值 加上如此计算出的每个目标图像的像素值。1^，在已经完成了除基准图 像之外的所有目标图像的基准像素位置的像素值的相加的情况下，将与基 准像素位置相关的相加后的像素值除以用作用于加上像素值的目标图像 的图像的数量，以计算平均值。随后，将相除后的像素值(平均值)写入 运动补偿单元217内的存储器(未示出)中，以作为基准像素位置的摄像 机抖动校正结果。随后，顺次改变基准图像的基准像素位置，并且以与如 上所述的方式相同的方式，对基准图像的所有像素位置顺次执行平均值的 计算，并且在运动补偿单元217内的存储器中写入基准图像的所有像素位 置的平均值以作为基准像素位置的摄^N^抖动校正结果。随后，对基准图 像的所有像素位置重复平均值的计算和写入运动补偿单元217内的存储 器中，直到完成了平均值的计算和写入运动补偿单元217内的存储器中。 注意，短时间曝光摄H^抖动校正单元216是在发明内容中提到的短时间 咏光抖动校正单元的示例。长时间啄光摄^4^抖动校正单元218基于从曲线拟合单元215输出的 摄^^抖动信息来校正从第二去马赛克处理单元212输出的长时间曝光 RGB图像的摄<|^抖动。具体而言，长时间曝光摄#^抖动校正单元218 包括局部PSF呈现单元219和去巻积单元220。注意，长时间曝光摄^4^ 抖动校正单元218是在发明内容中提到的长时间曝光抖动校正单元的示 例。
局部PSF呈现单元219基于从曲线拟合单元215输出的揭/fl^抖动 信息来在图像的每个局部区域上产生局部PSF图像，并且向去巻积单元 220输出每个产生的局部PSF图像。注意，PSF(点扩展函数，点模糊函 数)是指示点光源何时作为输入被给出、多少模糊图像作为输出出现的函 数。PSF图4綠计算用以通过使用该PSF来校正图像。也就是说，局部 PSF呈现单元219对从长时间啄光RGB图像中划分出的每个矩形小区域 (i， j )计算局部PSF图像。具体而言，局部PSF呈现单元219预先读 取被存储为数据的最小PSF图像。在此，最小PSF图像是表示在没有摄 ^4M+动的情况下其成像系统的PSF的图傳教据。随后，表示时间点的 变量t被初始化为0。随后，对于以适当的步长分度的每个时间点t，根 据摄^^抖动信息来计算在时间点t的由于小区域的中心像素位置的摄像 机抖动而导致的运动位置。具体而言，表达式l用于计算从在t-O情况 下的小区域的中心像素位置(x(O), y(O))开始的运动位置(x(t)， y(t))。在此， 可以通过将时间点t代A^示仿射矩阵H的时间变化的表达式2来计算在 表达式1中所示的仿射矩阵H。随后,在所计算的时间点t的运动位置(x(t)， y(t))上绘制最小PSF图像。在时间点t之前绘制的结果和绘制区域在该绘 制的时间重叠的情况下，将绘制值与至此为止的值结合，而不是重写。随 后，将时间点t前进:微小的步长At。在新的时间点t已经通过瀑光结束时 间点的情况下，至此为止的绘制结果被写入局部PSF呈现单元219内的 存储器中，以作为局部PSF图像。注意，局部PSF呈现单元219是在发 明内容中提到的呈现单元的示例。
去巻积单元220基于从局部PSF呈现单元219输出的局部PSF图像， 对从第二去马赛克处理单元212输出的长时间啄光RGB图像执行针对每 个光点(spot)的模糊校正处理。通过该模糊校正处理来产生已经执行了 摄*抖动校正的长时间曝光RGB图像，并且所产生的长时间曝光RGB 图像被输出到高动态范围图像合成单元221。具体而言，去巻积单元220 产生试验性结果图4象X以执行长时间曝光摄IN^抖动校正，并且通过使 用从第二去马赛克处理单元212输出的长时间啄光RGB图像来初始化该
31试验性结果图像x。也就是说，将适用性的结果图像x替换为长时间曝
光RGB图像。随后，将长时间曝光RGB图像划分为小的矩形区域，并 且对于划分后的每个小区域，对应于由局部PSF呈现单元219产生的小 区域(i， j)的局部PSF图像的值被转换为矩阵格式，以产生矩阵A(i, j)。 在此，如果假设小区域(i, j)的大小是(mxn)，则矩阵A(i, j)是 ((mxn)x(mxn)),并且矩阵A(i， j)的每行表示在小区域(i, j)的每个像素位 置的局部PSF的系数(局部PSF图像的像素值)。假设由局部PSF呈现 单元219产生的每个小区域(i, j)的局部PSF图像的尺寸是(pxq)。在这种 情况下，在矩阵A(i, j)的每行的(mxn)分量中，局部PSF的系数^L设置 为(pxq)分量，并且O被设置到剩余的((mxn)-(pxq))分量。注意，局部PSF 的系数被设置到哪个分量依赖于局部PSF的行对应于小区域(i， j)的哪个 像素位置。另外，去巻积单元220将划分长时间曝光RGB图〗象之后的每 个小区域(i, j)的像素值转换为向量格式，以产生向量b(i， j)。现在，如 果假设划分长时间膝光RGB图像之后的每个小区域(i,j)的大小是(mxn)， 则向量b(i， j)是((mxn)xl)的列向量，其中，小区域(i， j)的像素值顺次排 列在一列中。随后，去巻积单元220对所有的小区域(i， j)建立矩阵A(i, j)和向量b(i， j)。
另外，在对所有的小区域(i， j)建立矩阵A(i, j)和向量b(i， j)后，去 巻积单元220针对试验性结果图像X的每个小区域(i， j)，将对应于小区 域(i， j)的部分转换为向量格式。按照这种转换，去巻积单元220建立向 量x(i， j)。现在，如果假设小区域(i， j)的大小是mxn，则向量x(i， j)是 (mxn)xl的列向量，其中，小区域(i， j)的〗象素值顺次排列在一列中。随 后，去巻积单元220基于表达式5来更新向量x(i， j)(在表达式5中， 将波浪符标注到更新后的向量x),并且计算向量x(i, j)和更新后的向量x (x具有波浪符)(i， j)之间的差Ax(i, j)。在表达式5中，X是预先设置 的常数。在此，更新后的向量x (具有波浪符的x) (i， j)和更新前后的差 Ax(i, j)也是(mxn)xl的列向量。注意，表达式5中所示的单位矩阵I是 ((mxn)x(mxii))的矩阵。
<formula>formula see original document page 32</formula> 表达式5
随后，在对所有的小区域计算Ax(i, j)的情况下，去巻积单元220基 于每个小区域的更新后的向量x(i, j)来更新试验性结果图像X。随后，去巻积单元220计算评估值min(Ax(i， j))。在此，评估值min(Ax(i， j))表示 最小值函数，所述最小值函数表示差j)的绝对值的最小值。随后， 去巻积单元220确定评估值min(Ax(i, j))是否变得小于预定基准sl。去 巻积单元220重复向量x(i， j)的建立处理和差Ax(i, j)的计算处理，直到 评估值min(Ax(i, j))变得小于基准sl。另外，在评估值min(Ax(i， j))变得 小于基准el的情况下，去巻积单元220输出在该时间的试验性结果图像， 作为摄^^抖动校正之后的长时间曝光RGB图像。
高动态范围图像合成单元221合成通过短时间曝光摄^^抖动校正
像，以产生高动态范围图像，并且将该高动态范围图^J^出到伽马校正单 元204。具体而言，高动态范围图像合成单元221包括相加响应逆特性 LUT保存单元222、像素值相加单元223和4象素值转换单元224。注意， 高动态范围图像合成单元221是在发明内容中提到的图像合成单元的示 例。
相加响应逆特性LUT保存相加响应逆特性LUT (查找表)，并且将 所保存的相加响应逆特性LUT提供^H象素值转换单元224。注意，将参 照图12A和12B来详细i兌明相加响应逆特性LUT。
像素值相加单元223针对每个像素，将>^短时间啄光摄^1^抖动校正
相加，并且向像素值转换单元224输出作为相加结果的相加《象素值。具体 而言，像素值相加单元223对进行了摄#4^抖动校正的短时间啄光RGB 图像和进行了摄^^抖动校正的长时间瀑光RGB图像，*个像素的同 一像素位置(目标像素位置)的像素值相加。
像素值转换单元224使用在相加响应逆特性LUT保存单元222中保
值。具体而言，像素值转换单元224使用相加响应逆特性LUT来校正所 i^目加4象素值，并且将经校正的相加像素值写入存储器中，作为在目标像 素位置的合成结果的像素值。随后，在进行了摄^^抖动校正的短时间啄 光RGB图像和进行了摄^^抖动校正的长时间膝光RGB图l象的所有像 素位置中的合成结果的像素值的写入完成后，该结果图像被输出，以作为 高动态范围图像。
现在，参照图12A和12B来详细说明在产生高动态范围图像时使用的相加响应逆特性LUT。
图12A和12B是图示了关于根据本发明的第一实施例的固态成像器 件13的入射光强度和待输出的像素值的响应特性之间的关系的图。图12A 图示了水平轴表示关于固态成^象器件13的入射光强度的值、并且竖直轴
表示像素值的曲线图。
固态成像器件(图像传感器)通常具有关于入射光强度的线性特性， 因此，短时间曝光图^象的响应特性变为例如图12A中所示的虚线341。另 一方面，长时间曝光图像的曝光大于短时间曝光，因此长时间曝光图像的 响应特性变为例如图12A中所示的虚线342。因此，已经加上短时间曝光 图像和长时间啄光图像的图像的响应特性变为图12A中所示的实线343。 在确定成像装置中包括的图像传感器的特性和短时间啄光与长时间曝光 之间的曝光比率的情况下，可以预先计算这种相加响应特性。
相加响应逆特性LUT是这样的数据其中，上勤目加响应的逆特性 以表格来表示，并且用于反向引用考虑了固态成像器件的特性的相加像素 值。这种相加响应逆特性LUT变为例如图12B中的曲线图上的实线344 所示的形状。注意，图12B中所示的曲线图是水平轴指示相加像素值并 且竖直轴指示输出像素值的曲线图。像素值转换单元224使用图12B中 所示的曲线图来将从像素值相加单元223输出的相加像素值转换为输出 像素值。因此，可以通过使用相加响应逆特性LUT转换来转换通过将短 时间啄光图像和长时间曝光图像的像素值相加而获得的值，产生适当的高 动态范围图像。另外，在该图像合成时，不必对短时间啄光图4象或者长时 间啄光图像匹配辉度，由此可以防止噪声的增加。因此，可以改善S/N(信 /噪)比，
接着，将参照附图来说明根据本发明的第一实施例的成像装置100 的操作。
图13是图示了根据本发明的第一实施例的RGB图像合成单元203 的过禾呈的流程图。
首先，在循环L900中，第一去马赛克处理单元211对从白平衡处理 单元201输出的短时间曝光马赛克图像进行去马赛克处理，以产生短时间 曝光RGB图像(步骤S901 )。在对从白平衡处理单元201输出的长时间 膝光段内的短时间膝光马赛克图像执行去马赛克处理时，循环L卯O结束， 并且流程进行到步骤S902。
34接着，第二去马赛克处理单元212将从白平衡处理单元202输出的长 时间曝光马赛克图像进行去马赛克处理，以产生长时间啄光RGB图^(步 骤S卯2 )。
随后，摄像机抖动估计单元213执行摄像机抖动估计处理(步骤 S910)。将参照图14-16来详细说明该摄#4^抖动估计处理。注意，步骤 S910是在发明内容中提到的抖动估计过程的示例。
随后，短时间膝光摄^^/L抖动校正单元216执行短时间曝光RGB图 像的摄#4^抖动校正(步骤S950 )。将参照图17来详细说明步骤S950中 的摄^^抖动校正处理。注意，步骤S950是在发明内容中提到的短时间 曝光抖动校正过程的一个示例。
NL^ ，长时间膝光摄^^抖动校正单元218执行长时间曝光RGB图 像的摄^bbL抖动校正处理(步骤S960 )。将参照附图18和19来详细说明 步骤S960中的摄^4^抖动校正处理。注意，步骤S960是在发明内容中提 到的长时间膝光抖动校正过程的示例。
随后，高动态范围图像合成单元221执行高动态范围图像的合成处理 (步骤S990 )，并且结束RGB图像合成单元203的处理。将参照图20来 详细说明高动态范围图像的合成处理。注意，步骤S990是在发明内容中 提到的图像合成过程的示例。
图14是图示由根据本发明的第一实施例的桶Hlb^抖动估计单元213 进行的摄#^抖动估计处理(图13中的步骤S910)的过程的流程图。
首先，在循环L911中，运动估计单元214对从第一去马赛克处理单 元211输出的每个短时间啄光RGB图傳_执行运动估计处理，以计算在时 间上相邻的帧之间的仿射矩阵(步骤S920)。将参照图15来详细说明该 运动估计处理。在对从笫一去马赛克处理单元211输出的长时间曝光段内 的短时间膝光RGB图像执行运动估计处理时，循环L911结束，并且流 程进行到步骤S930。
接着，曲线拟合单元215执行曲线拟合处理，以计算平滑地连接图像 之间的抖动的样条曲线的控制点(即，摄<|^抖动信息)，并且结束摄像 机抖动估计处理的操作。将参照图16来详细说明该曲线拟合处理。
图15是图示由根据本发明的第一实施例的运用估计单元214进行的 运动估计处理(图14中的步骤S920)的过程的流程图。
运动估计单元214获得在时间轴上的相邻两个图像中的、在时间轴上
35时间上较早的图像(图像1)(步骤S921 )，并且获得两个图4象中的时间上 较晚的图像(图像2)(步骤S922)。
接着，运动估计单元214提取图像1的特征点(步骤S923)，并且提 取图像2的特征点(步骤S924 )。随后，运动估计单元214执行从图像1 提取的特征点与从图像2提取的特征点之间的匹配，以^C取匹配点对(步 骤S925 X
接着，运动估计单元214使用所提取的匹配点对来计算仿射矩阵(步 骤S926 )。 1^,运动估计单元214在存储器中写入计算出的仿射矩阵(步 骤S927 )，并且结束运动估计单元214的处理。
图16是图示由根据本发明的第一实施例的曲线拟合单元215进行的 曲线拟合处理(图14中的步骤S930)的过程的流程图。
曲线拟合单元215从存储器中读取由运动估计单元214计算出的每个 仿射矩阵(步骤S931 )。随后，在循环L932中，曲线拟合单元215使用 表达式4来计算样条控制点以针对每个仿射矩阵的六个分量确定确定样 条曲线，所述样条曲线是每个分量的时间变化(步骤S933)。在对每个仿 射矩阵的全部六个分量执行了用于计算样条控制点的处理后，循环L932 结束，并且流程进行到步骤S934。
接着，曲线拟合单元215将全部计算出的样条控制点写入存储器中以 作为摄^^U抖动信息(步骤S934 )，并且结束曲线拟合单元215的处理。
图17是图示由根据本发明的第一实施例的短时间曝光摄#^抖动校 正单元216进行的针对短时间啄光RGB图1象的摄^^抖动校正处理(图 13中的步骤S950)的过程的J錄图。
短时间膝光摄IM^抖动校正单元216获得由第一去马赛克处理单元 211进行了去马赛克处理的短时间曝光RGB图像(步骤S951 )，随后， 读^BM^抖动信息(即，样条控制点)(步骤S952 )。
接着，在循环L953中，短时间曝光摄INM+动校正单元216从多个 短时间膝光RGB图像中确定一个基准图像，并且对这个基准图像的每个 4象素位置执行循环L954以及步骤S957和S958中的处理。也就是说，短 时间曝光摄^NM+动校正单元216将基准图像的一个像素位置作为基准 像素位置，并且对这个基准像素位置执行在循环L954以及步骤S957和 S958中的处理。
在循环L954中，短时间曝光摄IMfU抖动校正单元216顺次确定除了基准图像之外的目标图像中的一个目标图像，对这个目标图 <象计算对应于 基准像素位置的像素位置，并且计算对应于这个基准像素位置的像素位置
的像素值(步骤S955 )。随后，短时间曝光摄^N/L抖动校正单元216将所 述目标图像的所计算的像素值加到基准图像的基准像素位置的像素值上 (步骤S956 )。在循环L954中，短时间曝光摄^^抖动校正单元216重 复上述步骤，直到对全部目标图像完成了基准像素位置的像素值的相加。
在对全部目标图像完成了基准像素位置的像素值的相加的情况下，循 环L954结束，并且流程进行到步骤S957.随后，短时间膝光摄^^抖动 校正单元216通过将与基准像素位置相关的相加后的像素值除以用作用 于所述像素值的计算的目标的像素的数量来计算平均值(步骤S957 )。随 后，短时间啄光摄^4^抖动校正单元216相除后的像素值(平均值)写入 存储器中，作为基准像素位置的摄^^抖动校正结果(步骤S958)。随后，
在计算了平均值并且完成了将摄^^抖动校正结果写入存储器中的情况 下，循环L953结束，并且短时间啄光RGB图像的摄^^抖动校正处理 的操作结束。
图18是图示由根据本发明的第一实施例的长时间膝光摄#^抖动校 正单元218进行的对长时间爆光RGB图像的摄^^抖动校正处理(图13 中的步骤S960)的过程的流程图。
长时间啄光摄^^抖动校正单元218获得由第二去马赛克处理单元 212进行了去马赛克处理的长时间瞩光RGB图像(步骤S961 )。随后， 去巻积单元220产生试验性结果图像X,并JJt过使用所获得的长时间啄 光RGB图像来初始化这个试验性结果图像X (步骤S962 )。
在循环L963中，将长时间曝光RGB图4象划分为多个小矩形区域， 并且在每个划分出的区域上执行步骤S980、 S964和S965中的处理。
首先，局部PSF呈现单元219执行局部PSF图像产生处理(步骤 S980)。将参照图19来详细说明这个局部PSF图像产生处理。随后，去 巻积单元220将对应于小区域(i, j)的局部PSF图像的值转换为矩阵格式， 以建立矩阵A(i， j)(步骤S964)。随后，去巻积单元220将小区域(i, j) 的像素值转换为向量格式，以建立向量b(i， j)(步骤S965)。随后，在对 划分长时间啄光RGB图像之后的每个小区域完成了步骤S964、 S965和 S980中的处理后，循环L963结束，并且流程进行到循环L966。
在循环L966中，重复循环L967和步骤S970中的处理，直到评估值
37min(Ax(i, j))变为小于预定的基准sl。在循环L967中，对试验性结果图 像X的每个小区域执行步骤S968和S969中的处理。
去巻积单元220将对应于所述试验性结果图像X的小区域(i， j)的部 分转换为向量格式，以建立向量x(i， j)(步骤S968)。随后，去巻积单元 220基于表达式5来更新向量x(i， j)，以计算差Ax(i， j)(步骤S969 )。 在对试验性结果图像X的每个小区域完成了步骤S968和S969中的处理 后，循环L967结束，并且流程进行到步骤S970。
接着，去巻积单元220基于对全部小区域所计算的更新后的向量x(i， j)来更新试验性结果图像X (步骤S970)。随后，在评估值min(Ax(i， j)) 变为小于预定的基准sl的情况下，循环L966结束，并且流程进行到步骤 S971。随后，去巻积单元220输出此时的试验性结果图4象X，作为摄H^ 抖动校正后的长时间啄光RGB图像(步骤S971 )。
图19是图示由根据本发明的第一实施例的局部PSF呈现单元219进 行的局部PSF图像产生处理(图18中的步骤S980)的过程的流程图。
局部PSF呈现单元219读^JHI^抖动信息(即，样条控制点)(步 骤S981 )。随后，局部PSF呈现单元219读取预先被存储为数据的最小 PSF图像(步骤S982),并且将表示时间点的变量t初始化为零(步骤 S983 )。
接着，在循环L984中，局部PSF呈现单元219对于具有适当增量的 每个时间点，根据摄^4M+动信息来计算在时间点t的小区域的中心像素 位置的由于摄^4^抖动而导致的运动位置(x(t)， y(t))(步骤S985 )。随后， 局部PSF呈现单元219在在时间点t所计算出的位置(x(t)， y(t))上绘制最 小PSF图像(步骤S986 )，并且将时间点t前进微小步长宽度At (步骤 S987)。在新的时间点t还没有经过啄光结束时间点的情况下，重复步骤 S985和S987中的处理。另一方面，在新的时间点t已经经过膝光结束时 间点的情况下，循环L984结束，并且将至此位置的绘制结果写入存储器 中作为局部PSF图像(步骤S988 )。
图20是图示由根据本发明的第一实施例的高动态范围图像合成单元 221进行的高动态范围图像的合成处理(图13中的步骤S9卯)的过程的 流程图。
高动态范围图像合成单元221获得摄^^抖动校正后的短时间曝光 RGB图像(步骤S991 )，并且获得摄H^抖动校正后的长时间曝光RGB图像(步骤S992)。随后，像素值转换单元224读取在相加响应逆特性 LUT保存单元222中保存的相加响应逆特性LUT (步骤S993 )。
接着，在循环L994中，对短时间曝光RGB图像和长时间曝光RGB 图像的每个像素位置重复步骤S995到S997中的处理。首先，像素值相加 单元223将两个图像的目标像素位置的像素值相加(步骤S995)。接着， 像素值转换单元224使用所iM目加响应逆特性LUT来校正所计算出的相 加像素值(步骤S996 )，并且将经校正的相加校正值写入存储器中，作为 合成结果的〗象素值(步驟S997 )。
在已经对短时间曝光图像和长时间曝光图^>中的所有像素位置完成 了步骤S995到S997中的处理的情况下，循环L994结束，并且高动态范 围图像的合成处理的操作结束。
对于第一实施例，已经描述了这样的示例其中，基于短时间曝光 RGB图像来计算摄〗I4/L抖动信息，但是也可以通过1吏用短时间曝光RGB 图像和长时间曝光RGB图像两者来估计摄^^抖动信息。因此，处理被 重复多次，其中，通过使用短时间曝光RGB图像和长时间曝光RGB图 像两者来估计摄IN^抖动信息，由此可以获得具有更高精度的才聂IN^抖动 信息。因此，对于第二实施例，将描述这样的示例其中，通过使用短时 间啄光RGB图像和长时间膝光RGB图像两者来估计摄#抖动信息。
第二实施例
图21是图示根据本发明的第二实施例的RGB图像合成单元400的 功能配置示例的方框图。RGB图像合成单元400是图10中所示的RGB 图像合成单元203的变型，并且与RGB图像合成单元202的不同之处在 于设置有摄<|^抖动估计单元410，以代替摄^^抖动估计单元213。 因此，将主要对摄^^L抖动估计单元410进行说明，并且将省略与图10 中所示的RGB图像合成单元203中的那些点相同的点的说明。
摄^J^抖动估计单元410包括运动估计单元411、曲线拟合单元412、 局部PSF呈现单元413、运动补偿单元414、局部PSF更新单元415和摄 ^j^抖动信息更新单元416。
运动估计单元411计算从第一去马赛克处理单元211输出的多个短时 间曝光RGB图4象的帧间才聂^4lL抖动信息，并JLi^提取在多个短时间曝光 RGB图像帧上的具有高可靠性的匹配点对的列表。注意，在下面，具有
39高可靠性的匹配点将被称为"可靠点"，并且具有高可靠性的匹配点对的列
表将被称为"可靠点列表"。另外，运动估计单元4U向曲线拟合单元412 和摄#^抖动信息更新单元416输出帧间摄^^抖动信息。所提取的可靠 点列表被输出到局部PSF呈现单元413、运动补偿单元414和局部PSF 更新单元415。具体而言，运动估计单元411通过上述仿射矩阵计算方法 来对所述多个短时间曝光RGB图像顺次计算在时间轴上相邻的帧之间的 仿射矩阵。另夕卜，从在仿射矩阵计算时提取的匹配点对中提取实际上有助 于仿射矩阵的计算的匹配点对，并且保存所述匹配点对的信息(匹配点对 信息)。另外，从所保存的匹配点对信息中提取在进行了仿射矩阵计算的 所有帧对的所有帧中可以连接的匹配点。随后，将所提取的在所有帧中可 以连接的匹配点写入可靠点列表中，作为可靠点。注意，运动估计单元 411是在发明内容中提到的帧间摄#抖动信息计算单元和可靠点提取单 元的一个示例。
曲线拟合单元412基于>^动估计单元411输出的帧间摄^M^抖动信 息(仿射矩阵)来计算摄^^抖动信息(样条控制点)。所计算的摄#^ 抖动信息被输出到局部PSF呈现单元413和运动补偿单元414。所述样条 控制点计算方法与曲线拟合单元215的样条控制点计算方法相同，因此在 此将省略其说明。另外，曲线拟合单元412是在发明内容中提到的抖动信 息计算单元的示例。
局部PSF呈现单元413基于在当前时间点的最新摄^^抖动信息， 计算在从运动估计单元411输出的可靠点列表中包括的可靠点周围的小 区域中的局部PSF图像。所计算的局部PSF图^^t输出到局部PSF更新 单元415。在已经从摄^^抖动信息更新单元416输出更新的摄#4^抖动 信息的情况下，使用作为由短时间膝光摄^^抖动校正单元216更新了的 摄#^抖动信息的该摄^^抖动信息。在还没有输出更新的摄^^抖动信 息的情况下，使用从曲线拟合单元412输出的摄^^抖动信息。注意，这 里的局部PSF图4象计算方法与局部PSF呈现单元413的局部PSF图傳i十 算方法相同，因此在此将省略其说明。另外，局部PSF呈现单元413是 在发明内容中提到的呈现单元的示例。
运动补偿单元414对从第一去马赛克处理单元211输出的多个短时间 曝光RGB图像中的可靠点周围的小区域校正摄H^抖动，并且产生校正 了摄^4^抖动的多个短时间曝光RGB图像。摄H4^抖动校正后的多个短 时间啄光RGB图傳被输出到局部PSF更新单元415。注意，多个短时间曝光RGB图像中的可靠点是在^Jt动估计单元411输出的可靠点列表中 包括的可靠点。另外，运动补偿单元414是在发明内容中提到的图像抖动 校正单元的示例。
局部PSF更新单元415针对>^部PSF呈现单元413输出的局部PSF 图像，更新在从运动估计单元411输出的可靠点列表中包括的可靠点周围 的小区域图像，以便产生更新的局部PSF图像。所产生的更新的局部PSF 图像被输出到摄IM^抖动信息更新单元416。具体而言，局部PSF更新单 元415基于从运动补偿单元414输出的在摄^^抖动校正之后的短时间曝 光RGB图像和从第二去马赛克处理单元212输出的长时间曝光RGB图 像，更新在可靠点周围的小区域的局部PSF图像。
具体而言，局部PSF更新单元415将对应于在可靠点周围的小区域 的局部PSF图像的值转换为矩阵格式，以便产生矩阵A。这个矩阵A是 ((mxn)x(mxn))的矩阵，并且矩阵A(i， j)的每行表示在小区域(i， j)的每个 像素位置上的局部PSF的系数。另外，假设由局部PSF呈现单元413产 生的每个小区域(i, j)的局部PSF图像的大小是(pxq)。在这种情况下，在 矩阵A(i， j)的每行的(mxn)分量中，将(pxq)个分量设置为局部PSF图像 的像素值(即局部PSF的系数)，并且将剩余的((mxn)-(pxq))分量设置为 0。注意，被设置为局部PSF的系数的分量依赖于其行对应于小区域(i, j)的哪个像素部分.接着，小区域的长时间啄光RGB图像的像素值被变 换为向量格式，以便产生向量b。现在，如果假设小区域(i, j)的大小是 (mxn)，则向量b是((mxn)xl)的列向量，其中，小区域(i， j)的像素值顺 次排列在一列上。随后，小区域的在摄#4^抖动校正之后的短时间曝光 RGB图像的像素值被变换为向量格式，以便产生向量x。向量x是 ((mxn)xl)的列向量，其中，小区域的像素值顺次排列在一列上。将在此 使用的在摄^4/L抖动校正之后的短时间啄光RGB图像的像素值乘以与相 对于长时间曝光RGB图像的曝光比率相对应的缩放系数，以便作为相同 的辉度。接着，使用表达式6来计算矩阵A的更新的矩阵A。在表达式6 中，k是预设常数。更新的矩阵A被输出到摄#^抖动信息更新单元416， 作为更新的局部PSF图像。注意，表达式6中所示的单位矩阵I是 ((mxn)x(mxn))的矩阵。另外，局部PSF更新单元415是在发明内容中提 到的点模糊函数图傳农正单元的示例。
41X = A + (b-Ax)x+
表达式6
摄^4^抖动信息更新单元416还用于更新从曲线拟合单元412输出的摄^Mt动信息(样条控制点)。更新的摄1沐抖动信息(样条控制点)被输出到短时间曝光摄^^L抖动校正单元216和长时间曝光摄#4^抖动校正单元218。具体而言，基于从运动估计单元411输出的帧间摄#^抖动信息、从曲线拟合单元415输出的摄^4^抖动信息以及从局部PSF更新单元输出的局部PSF图像来更新摄^4^抖动信息。注意，在更新的摄H^抖动信息的校正量大于预设阈值的情况下，更新的摄#4^抖动信息被输出到局部PSF呈现单元413和运动补偿单元414。将参照图22到图25B来详细说明该摄#4^抖动信息更新处理。注意，摄H^抖动信息更新单元416是在发明内容中提到的抖动信息更新单元的示例。
图22-24是图示了先变图像的图，所i^A;变图像是在根据本发明的第二实施例的摄^^抖动信息更新单元416执行最大点搜索时使用的更新的局部PSF图像的示例。另外，图25A和25B是图示了在根据本发明的第二实施例的摄^^抖动信息更新单元416执行边,测处理时〗吏用的一阶求导算子的图，其中，图25A图示了用于水平方向边^测处理的具有一组3x3系数的Sobel算子，图25B图示了用于竖直方向边緣险测处理的具有一组3x3系数的Sobel算子。
首先，摄^4^抖动信息更新单元416获得从曲线拟合单元412输出的在当前时间点的最新摄^4^抖动信息。接着，摄^^U抖动信息更新单元416从局部PSF更新单元415获得与在可靠点列表中包括的可靠点相对应的更新的局部PSF图像。随后，表示时间点的变量t被初始化(可靠点(x(O),y(O)))。接着，根据所获得的摄^^抖动信息计算可靠点的在当前时间点t的运动位置(x(t), y(t))。也就是说，对表达式7的右侧设置Xp(0)-x(0),
yP(o)=y(o)，并且已经对其计算了代入当前时间点t的结果的左侧值(xp(t)，
yp(t))是运动位置。在表达式7中所示的Ai等的值对应于在表达式2中所示的那些值。另夕卜，Bi、 Ci、 Di、 Ej和Fi是针对仿射矩阵的分量b、 c、 d、e和f计算的值。现在，在图22中，通过白点451-459来指示以适当的时间间隔At计算的、在对应的小区域中的由更新之前的摄<|*抖动信息标识的摄^4Mt动轨道上的点的位置(运动位置)。'=0
i=0
表达式7
接着，摄#4^抖动信息更新单元416计算局部PSF图像的梯度在位置(x(t)， y(t))为最大的方向(最大梯度方向)。可以通过4吏用图25A和25B中所示的Sobel算子进行的边緣检测处理来计算该最大梯度方向。向在局部PSF图像的位置(x(t)， y(t))附近的3x3图像应用图25A和25B中所示的Sobd算子使得能够计算在水平方向和竖直方向上的第一微分系数.所述最大梯度方向可以是由所计算的笫一微分系数构成的二维向量的方向。图23图示了对摄^4^抖动轨道上的点451-459计算的局部PSF图像的最大梯度方向，如实线461-469所示。
接着，摄^M^抖动信息更新单元416以位置(x(t)， y(t))作为M来提取沿着计算出的最大梯度方向的局部PSF图像的辉度值，并且搜索辉度值具有峰值的位置(峰值点)。图24示出了在最大梯度方向(实线461-469)上提取的辉度值具有峰值的位置，如白点471-479所示。因此，可以通过将样条曲线计算为尽可能通过峰值点来获得新的摄^N^抖动信息。
接着，摄^^抖动信息更新单元416基于时间点t、可靠点位置(x(O)，y(0))和搜索到的峰值点来计算表达式7中的方程。也就是说，在表达式7中，设置Xp(O):x(O)， yp(0) = y(0)，并且将搜索到的峰值点代入左侧。例如，如果提取峰值点p (其中p-l到P)，则可以以表达式7中的方程来表达在时间点t的可靠点p的位置。因此，可以针对对更新的局部PSF图像检测到的每个峰值点来获得表达式7中的一组方程。接着，将时间点t前进预设的适当分度At，并且重复该过程直到时间点t超过啄光结束时间点。
接着，摄#4^抖动信息更新单元416计算样条控制点。具体而言，根据运动估计单元411输出的帧间摄^N^抖动信息而获得的方程(即，表达式4中的方程)和通过在可靠点上更新局部PSF图像而获得的方程(即，表达式7中的方程)形成联立方程，所述联立方程然后被求解以计算样条控制点。输出所计算出的样条控制点，作为更新的摄^^抖动信息。注意，在更新的摄^^抖动信息的校正量大于预设阈值的情况下，所述更新的摄^M^抖动信息被输出到局部PSF呈现单元413和运动补偿单元414，并且
43重复摄^^抖动信息更新处理。另一方面，在更新的摄^^u抖动信息的校
正量不大于预设阔值的情况下，将更新的摄^K抖动信息输出到短时间曝
光摄^4^抖动校正单元216和长时间曝光摄<|^抖动校正单元218。
因此，可以使用在可靠点周围的小区域上的由局部PSF更新单元415计算的更新的局部PSF图像来反映摄^^抖动信息的更新量。也就是说，可以计算最佳地拟合已经产生的所有更新的局部PSF图《象的样条曲线，由此计算更多的摄^^抖动信息。
接着，将参照附图来说明根据本发明的第二实施例的成像装置100的操作。注意，下述操作是RGB图像合成单元203的处理过程的部分修改，因此将仅说明不同部分，并且在此将省略相同部分的说明。
图26是图示由根据本发明的第二实施例的損"^^抖动估计单元410进行的摄像机抖动估计处理的处理的流程图。在此的处理过程是取代图13中的步骤S910而^L执行的处理过程。
首先，运动估计单元411执行第二运动估计处理，该处理包括多个短时间啄光RGB图像的帧间摄^L^抖动信息(仿射矩阵)的计算和可靠点列表的提取(步骤S1010 )。将参照图27来详细说明该第二运动估计处理。
接着，曲线拟合单元412执行曲线拟合处理，其中，基于帧间摄^N/L抖动信息(仿射矩阵)来计算摄^4^抖动信息(步骤S1020)。该曲线拟合处理与图16中所示的处理过程(S930)相同，因此将省略在此的说明。
接着，在步骤L1001中，重复循环S1002和步骤S1060的处理。在循环L1002中，对在所提取的可靠点列表中包括的可靠点周围的小区域执行步骤S1030到S1050的处理。也就是说，运动补偿单元414对在每个
对短时间曝光RGB图像的摄^^抖动校正处理与在图17中所示的处理过程(步骤S950)相同，因此将省略在此的说明。
接着，局部PSF呈现单元413执行局部PSF图像产生处理，其中，在小区域产生局部PSF图像(步骤S1040 )。该局部PSF图像产生处理与在图18中所示的处理过程(步骤S980)相同，因此将省略在此的说明。
接着，局部PSF更新单元415执行局部PSF图像更新处理，其中，在小区域上更新局部PSF图像(步骤S1050 )。将参照图28来详细说明该局部PSF图像更新处理。
在对在所提取的可靠点列表中包括的可靠点周围的小区域结束了步骤S1030到S1050中的处理的情况下，循环L1002结束，并且流程前进到步骤S1060。
接着，摄{|^抖动信息更新单元416执行摄^4^抖动信息更新处理，其中，基于帧间摄#4^抖动信息、在当前时间点的摄t^抖动信息和更新的局部PSF图像来更新摄^^抖动信息(步骤S1060 )。在更新的摄#^抖动信息的校量大于预设阈值￡2的情况下，重复循环L1002和步骤S1060。另一方面，在更新的揭^N^抖动信息的校正量不大于预设阈值s2的情况下，结束L1001,并J4聂^^抖动估计处理的^Mt结束。
图27是图示由根据本发明的第二实施例的运动估计单元411进行第二运动估计处理的处理过程的流程图(在图26中的步骤S1010)。
在循环LlOll中，运动估计单元411对多个短时间曝光RGB图像中的图像对执行步骤S920中的处理(如图15中所示)和步骤S1012。也就是说，从在仿射矩阵计算时提取的匹配点对中提取实际上有助于仿射矩阵的计算的匹配点对，并且保存所揭:取的匹配点对的信息(步骤S1012)。在对所有的图像完成了步骤S920和S1012的处理时，循环L1011结束，并且流程前进到步骤S1013。
接着，运动估计单元411从所保存的匹配点对信息中提取在所有帧中可以连接的匹配点(步骤S1013)，并且将所提取的可以在所有帧中连接的匹配点写入可靠点列表中，作为可靠点(步骤S1014)。
图28是图示了根据本发明的第二实施例的局部PSF更新单元415执行局部PSF图像更新处理的处理过程的流程图(图26中的步骤S1050 )。
首先，局部PSF更新单元415变换与在可靠点列表中包括的可靠点周围的小区域相对应的局部PSF图像的值，以建立矩阵A(步骤S1051)。
接着，局部PSF更新单元415将小区域的长时间啄光图像的像素值变换为向量格式，以建立向量b (步骤S1052)。接着，局部PSF更新单元415将在摄^Sb^抖动校正之后的小区域的短时间啄光RGB图像的像素值变换为向量格式，以建立向量x (步骤S1053)。
接着，局部PSF更新单元415使用表达式6来计算矩阵A的更新的矩阵A (步骤S1054 )。局部PSF更新单元415然后向摄#^抖动信息更新单元416输出更新的矩阵A，作为更新的局部PSF图像(步骤S1055 )。
图29是图示了根据本发明的第二实施例的摄^^抖动信息更新单元416执行摄H^抖动信息更新处理(图26中的步驟S1060 )的处理过程的
45流程图。
首先，摄#^抖动信息更新单元416获得在当前时间点的摄#^抖动信息(步骤S1061 )。接着，在循环L1062中，对在可靠点列表中包括的每个可靠点重复步骤S1063和S1064以及循环L1065的处理。
在循环L1062中，摄^M^抖动信息更新单元416从局部PSF更新单元415中获得与在可靠点列表中包括的可靠点的位置相对应的更新的局部PSF图像(步骤S1063 )。随后，摄4|*抖动信息更新单元416将表示时间点的变量t初始化为0(步骤S1064)。接着，摄#4^抖动信息更新单元416根据摄^^抖动信息计算可靠点(x(0), y(O))的在当前时间点t的运动位置(x(t)， y(t))(步骤S1066 )。
接着，摄IN^抖动信息更新单元416计算局部PSF图像的梯度在位置(x(t)， y(t))上为最大的方向(最大梯度方向)(步骤S1067)。接着，摄#4^抖动信息更新单元416以位置(x(t)， y(t))作为l^来提取沿着所计算出的最大梯度方向的局部PSF图l象的辉度值，并且搜索辉度值有"^值的位置(峰值点)(步骤S1068 )。
接着，摄^^抖动信息更新单元416针对时间点t、可靠点位置(x(O)，y(O))和搜索到的峰值点来产生表达式7中的方程(步骤S1069)。在循环L1065中，时间点t前进预设的适当步长At，重复该循环，直到时间点t超过瀑光结束时间点。
接着，摄^^抖动信息更新单元416获得由运动估计单元411计算出的仿射矩阵(步骤S1071 )。摄^^抖动信息更新单元416然后形成根据所获得的仿射矩阵而获得的方程(即，表达式4中的方程)和通过在可靠点更新局部PSF图像而获得的方程(即，表达式7中的方程)的联立方程。然后求解所述联立方程，以计算用于指示仿射矩阵的分量的时间变化的样条控制点(步骤S1072)。
接着，输出所计算出的样条控制点，作为更新的摄^^抖动信息(步骤S1073 )。
现在，除了对在可靠点周围的小区域进行^Mt之外，图21中所示的摄寸^L抖动估计单元410的运动补偿单元414执行与短时间啄光摄#^抖
动校正单元216的运动补偿单元217相同的^Mt。因此，可以进行下述布置其中，将短时间膝光摄#4^抖动校正单元216的运动补偿单元217用于此目的，而不是向摄#4 1抖动估计单元410提供运动补偿单元414。
46在下面的第三实施例中，将描述这样的配置示例其中，将短时间曝光摄^^抖动校正单元的运动补偿单元用于此目的。
第三实施例
图30是图示了根据本发明的第三实施例的RGB图像合成单元500的功能配置示例的方框图。RGB图像合成单元500是图21中所示的RGB图像合成单元400的变型，并且与RGB图像合成单元400的不同之处在于，使用运动补偿单元521的短时间曝光摄#4^抖动校正单元520来取代摄^^抖动估计单元410的运动补偿单元414。其它配置与图21中所示的RGB图像合成单元400相同，因此这里将省略说明。注意，摄《l^抖动估计单元510是在发明内容中提到的模糊估计单元的示例，并且短时间曝光摄^^抖动校正单元520是在发明内容中提到的短时间曝ib^糊校正单元的示例。
现在，图10中所示的RGB图像合成单元203和图21中所示的RGB图像合成单元400具有笫一去马赛克处理单元211和第二去马赛克处理单元212。也就是说，RGB图像合成单元203和RGB图傳-合成单元400独立地将多个短时间啄光马赛克图像和长时间瀑光马赛克图像去马赛克。以这种方式，对于将单个固态成像器件的像素划分为短时间啄光和长时间啄光以执行成像的系统，易于进行划分后的去马赛克的色彩阵列(例如，图6中所示的阵列)是优选的。但是，对于单个固态成像器件的像素阵列，可以应用本发明的笫一和第二实施例，而无需易于进行划分后的去马赛克的色彩阵列。例如，在仅仅通过划分和重新排列马赛克图像的像素来获得每种色彩的平面(在二维网格中排列的数据)的情况下，可以实现下述配置其中，可以在高动态范围图4象合成单元上执行去马赛克处理。在下面的第四实施例中，将描述在高动态范围图像合成单元上执行去马赛克处理的配置。
第四实施例
图31是图示了根据本发明的第四实施例的RGB图像合成单元600的功能配置示例的方框图。RGB图像合成单元600是图10中所示的RGB图像合成单元203的变型，并且与RGB图像合成单元203的不同之处在于使用去马赛克处理和图l象融合单元612以取J戈第一去马赛克处理单元211和第二去马赛克处理单元212。其他配置与图10中所示的RGB图^象 合成单元203相同，因此在此将省略其说明。去马赛克处理和图像融合单 元612通过根据与从固态成像器件13输出的马赛克图^N目同的像素阵列 来重新布置进行了摄像机抖动校正的短时间啄光图像的像素和进行了摄 f^抖动校正的长时间曝光图像的像素，产生马赛克图像。然后对所产生 的马赛克图像执行去马赛克处理。注意，将参照图32和33来说明容易通 过RGB图像合成单元600去马赛克的色彩矩阵的示例。还要注意，高动 态范围图像合成单元610是在发明内容中提到的图像合成单元的示例。
图32和33是图示要安M根据本发明的第四实施例的固态成像器件 13的光接收部分上的滤色器的^象素阵列的示例的图。图32和33图示了 色彩阵列的示例，其中，可以仅仅通过划分和重新布置马赛克图像的像素 来获得每种色彩的平面，并且可以容易地通过RGB图像合成单元600来
对每种色彩的平面进行去马赛克。方块中的符号与在图6中的情;;U目同，
用于指示滤色器的类型。可以使用图2中所示的像素结构来实现图32和 33中所示的固态成像器件。
注意，才艮据感兴趣的色彩和曝光时间，图32和33中所示的两个像素 阵列都是网格或者对角网格。因此，可以仅^ui过重新布置像素来针对每
个曝光时间建立具有相等的像素间隔的四个平面(R、 Gx2， B)。可以执 行4吏用这些作为输入的摄#抖动估计、短时间啄光摄#^抖动校正和长 时间曝光摄^^抖动校正中的每个处理。在这种情况下，可以使用包括去 马赛克处理的、用于合成短时间曝光图像和长时间曝光图像的处理(例如 参见国际公布WO 2002/056604 )。现在，图32中所示的示例使得能够实 现以下像素阵列其中，对于l象素的用于瀑光控制的空间布置和色彩的空 间布置，由于用于啄光控制的空间布置^1依照7JC平线的顺序，因此4更利了 固态成像器件的制造。另外，对于像素的用于啄光控制的空间布置和色彩 的空间布置，图33中所示的示例通it^目对于用于膝光控制的空间布置优 先考虑色彩的密度和各向异性，使得能够实现在通常的高动态范围成4象过 程中对分辨率性能有益的像素阵列。
图34是示意性地图示用于实现图32中所示的像素阵列的固态成像器 件的像素布线的图。另外，图35是示意性地图示关于图34中所示的像素 (#11)、 (#12)、 (#16)和(#17)这四个像素的控制信号和在每个像素中 存储电荷的方式的时序图。
图36是示意性地图示用于实现图33中所示的^象素阵列的固态成像器件的像素布线的图。另外，图37是示意性地图示关于图36中所示的像素 (#11)、 (#12)、 (#16)和(#17)这四个像素的控制信号和在每个像素中 存储电荷的方式的时序图。注意，图34和35之间的关系以及图36和37 之间的关系与图3和4之间的关系相同。注意，对于图34和36，关于执 行短时间曝光和长时间曝光的像素的布置，用于控制〗象素的布线与在图3 中的布线不同。具体而言，对于图36中所示的〗象素阵列，两条水平线不 共用同 一控制线，以便防止在同 一定时从同 一列中的多个4象素读取信号。
现在，在此所述的在图31中所示的RGB图像合成单元600是图10 中所示的RGB图像合成单元203的变型，但是，对于RGB图像合成单 元400和500的情况而言，可以改变每个去马赛克处理单元的布置。
另外，在配置根据本发明的实施例的RGB图像合成单元203、 400、 500和600的情况下，用于固态成# 器件的色彩和曝光时间的阵列不限于 图6、 32和33中所示的那些阵列，并且其它阵列也适用。另外，用于短 时间啄光和长时间啄光的^象素不必具有相同的光i普特性，并且可以与不同 的光镨特性组合。在这种情况下，可以通过在去马赛克处理后利用线性矩 阵变换等来匹配色彩空间，应用根据本发明的实施例的图像处理.
另外，在使用根据本发明的实施例的RGB图像合成单元的情况下， 可以对甚至除了由单个固态成像器件(成像传感器)产生的短时间曝光图 像和长时间曝光图像之外的图像实现根据本发明的实施例的图像处理。例 如，可以建立下述布置其中，使用两个不同的成4象传感器， 一个产生短 时间啄光图像，另一个产生长时间啄光图像，并且对所产生的图像进行 RGB图像合成单元的处理.也就是说，根据本发明的实施例的图像处理 可以被应用到具有下述配置的成像装置在所述配置中，使用多个成傳_传 感器来在同 一时段中获得长时间膝光图像和多个短时间曝光图像。
如上所述，对于本发明的实施例，在固态成像器件13的成像平面中 排列和布置在预定膝光时段中连续啄光并在预定膝光时段结尾读取的像 素和在预定膝光时段中间歇地膝光并且每次都读取的像素。因此，可以匹 配具有不同灵敏度的啄光时段，并且合成长时间曝光图像和短时间曝光图 像，以产生高动态范围图像。另外，在对在辉度上具有高动态范围的场景 进行成像的情况下，可以设置比用于成像暗对象的膝光时段更短而没有噪 声的啄光时段。另外，用于对亮对象进行成像的短时间啄光像素在整个时 段上重复间歇的成像，因此可以更精确地获得运动对象的在预定的曝光时 段内的信息。因此，可以通过以不同的灵敏度成像来产生高动态范围图像，并且相应地可以减少由于不同灵敏度的图^象之间的时间流逝而导致的在 运动画面区域中的伪像的发生以及由于长时间曝光而导致的摄^^i抖动。
可以提供下述结构其中，固态成4象器件13的水平线41供用于在时 段中连续地啄光并且在时段结尾被读取的像素的控制信号和用于在时段 期间间歇地曝光并且每次都被读取的像素的控制信号。由于这种配置，可 以改善色彩的空间布置以及两种类型的曝光控制的设计自由度。另夕卜，当 操作时向两种类型的控制线提供相同的控制信号使得能够实现与通常的 图像传感器相同的操作。
另夕卜，对于本发明的实施例，在合成长时间曝光图像和短时间曝光图 像以产生高动态范围图像之前估计曝光时段中的摄^^抖动，基于所述摄
抖动。因此，校正摄^^抖动使得用于成l象高动态范围图像的曝光时间减 少。
另外，对于本发明的实施例，通过^曲线格式来估计摄^^抖动(例 如，仿射矩阵的在啄光时段中的时间变化)。使用参数曲线格式还允许下 述情况容易地被处理其中，PSF格式依赖于由于旋转分量导致的图像的 位置而不同。也就是说，也可以处理对于处理PSF图像格式(点模糊函 数)的摄#^抖动的现有技术来说难于处理的问题。
另夕卜，对于本发明的实施例，执行处理，以4更在执^t运动补偿后;i^ 通过间歇短时间曝光而产生的多个图像，因此可以在校正短时间啄光图像 的摄#^抖动的同时减小噪声。因此，可以在合成高动态范围图像时改善 梯度连续性。
因此，根据本发明的实施例，在将短时间啄光图像和长时间曝光图像 合成为单个图像之前校正摄#^抖动，并且在校正后合成图像，因此可以 产生没有摄IN^抖动的高动态范围图像。
另外，对于本发明的笫二实施例，暂时进行从参数曲线表达向PSF 图像表达的转换，并且在根据现有技术基于图像应用模糊估计和模糊恢复 后，从PSF图像表达转换回参数曲线表达。这使得能够实现甚至更精确 的摄4|*抖动估计和摄^^抖动校正。
注意，也可以将根据本发明的实施例的^^^抖动估计和摄<1*抖动 校正应用到作为固态成像器件的RAW数据输出的马赛克图像。另外，可 以使用合成方法，其中，在合成之前匹配长时间曝光图像与短时间曝光图
50像中的每个图像的辉度。
另外，虽然已经对于固态成像器件(成像传感器)的像素的光镨灵敏
度是RGB三原色的情况描述了根据本发明的上述实施例，但是也可以使 用具有除了 RGB三原色之外的光镨灵敏度的像素，比如具有例如互补色 光谱灵敏度Y(黄色)、C(青色)、M(洋红)等的像素。
另外，虽然已经对于成像装置比如数字摄#4^的情况描述了根据本发 明的上述实施例，但是可以将本发明的所述实施例应用到输入由成像装置 产生的运动画面并且执行其图像处理的图像处理装置，比如个人计算机等。
注意，已经使用本发明的实施例以说明用于实现本发明的示例，所述 示例与如上所述的本发明的每个特征具有对应关系。但是，本发明不限于 上述实施例，并且可以在不脱离本发明的实质的情况下，做出各种变型。
另外，以上述实施例描述的过程可以作为具有这些过程系列的方法， 或者作为程序，可以通过存储所述程序的记录介质来使得计算机执行这些 过程系列。该记录介质的示例包括CD (光盘)、MD (微型盘)、DVD (数 字通用盘)、存储卡和蓝光盘(注册商标)。
本发明包含与于2008年9月3日向日本专利局提交的在先日本专利 申请JP 2008-225483中公开的主题相关的主体，该在先日本专利申请JP 2008-225483的整个内容通过引用结合于此。
本领域内的技术人员应当注意，可以才艮据设计要求和其他因素来做出 各种变型、组合、子组合和改变，只要这些变型、组合、子組合和改变在 所附的权利要求及其等同内容的范围内。
权利要求
1.一种图像处理装置，包括抖动估计单元，其被配置为估计在预定时段内产生的图像的抖动信息；短时间曝光抖动校正单元，其被配置为根据所估计的抖动信息来校正由于在所述预定时段内的间歇曝光而产生的多个短时间曝光图像的抖动；长时间曝光校正单元，其被配置为根据所述估计的抖动信息来校正由于在所述预定时段内的连续曝光而产生的长时间曝光图像的抖动；以及图像合成单元，其被配置为合成经校正的短时间曝光图像和经校正的长时间曝光图像。
2. 根据权利要求l的图像处理装置，其中，所述抖动估计单元计算 用于表示由于成像装置在所述预定时段内的运动而导致的图像坐标的时 间变化的M曲线，作为所述抖动信息。
3. 根据权利要求2的图像处理装置，所述抖动估计单元包括计算单元，其被配置为计算构成所述多个短时间啄光图像的图像之间 的坐标变换矩阵的每个分量的离散的时间变化；以及曲线拟合单元，其被配置为将所述坐标变换矩阵的每个分量的离散的 时间变化拟合成所述参数曲线。
4. 根据权利要求l的图像处理装置，所述抖动估计单元包括图像间抖动信息计算单元，其被配置为计算关于构成所述多个短时间 膝光图像的每个图像的连续图像之间的坐标变换矩阵，作为图像之间的抖 动信息；抖动信息计算单元，其被配置为根据所计算出的图像之间的抖动信息 来计算表示每个分量的时间变化的^lt曲线，作为所述抖动信息；图像抖动校正单元，其被配置为通过根据所述计算出的抖动信息将所 述多个短时间曝光图像的像素位置对准以合成所述多个短时间膝光图像， 来校正所述短时间膝光图像的抖动；呈现单元，其被配置为根据所述计算出的抖动信息，在所述长时间曝 光图像上的多个目标位置上产生点模糊函数图像；点模糊函数图傳我正单元，其被配置为根据与所述经校正的短时间曝 光图像的目标位置相邻的图像和与所述长时间曝光图像的目标位置相邻的图像，校正每个所述目标位置的点模糊函数图像；以及抖动信息更新单元，其被配置为根据所述计算出的图像之间的抖动信 息、所述经校正的点模糊函数图像和所述计算出的抖动信息来更新所述抖 动信息。
5. 根据权利要求4的图像处理装置，其中，所述图像间抖动信息计 算单元计算在所述多个短时间膝光图像的图像之间的匹配点，由此计算所述图像之间的抖动信息；并且所述抖动估计单元包括可靠点提取单元，其被配置为提取已经从所述匹配点的所述多个 短时间曝光图像中的大多数短时间曝光图像中获得匹配的匹配点，作 为可靠点；并且所述图像抖动校正单元对于与所述提取的可靠点相邻的区域，根据所述计算出的抖动信息来对准所述多个短时间曝光图像的像素位置以 合成它们，由此校正所述短时间曝光图像的抖动；并且所述呈现单元根据所述计算出的抖动信息来在所述长时间曝光 图像上的可靠点的位置上产生点模糊函数图像；并且所述点模糊函数图像校正单元根据与所述经校正的短时间膝光 图像的可靠点相邻的图像和与所述长时间曝光图像的可靠点相邻的图像， 校正所述点模糊函数图像。
6. 根据权利要求l的图像处理装置，其中，所述短时间啄光抖动校 正单元根据所述估计的抖动信息来对准构成所述多个短时间爆光图^^的 图像的4象素位置以合成它们，由此校正所述短时间膝光图像的抖动。
7. 根据权利要求l的图像处理装置，所述长时间曝光抖动校正单元 包括呈现单元，其被配置为根据所述估计的抖动信息来在所述长时间曝光 图像的多个目标位置上产生点模糊函数图像；以及去巻积单元，其被配置为根据每个所述产生的点模糊函数图像，针对 每个所述目标位置，将所述长时间曝光图像进行去巻积处理。
8. 根据权利要求l的图像处理装置，其中，所述图像合成单元针对每个像素将所述经校正的短时间曝光图像的像素值和所述经校正的长时 间曝光图像的校正值相加，使用在按照短时间曝光的入射光强度和像素值特性的逆特性以校正针对每个〗象素相加得到的像素值，由此产生所述经校 正的短时间曝光图像和所述经校正的长时间曝光图像之间的合成图像。
9. 根据权利要求l的图像处理装置，其中，所述短时间曝光图像是 从固态成像器件输出的马赛克图像；并且所述长时间曝光图傳ol:从所述固态成4象器件输出的马赛克图4象；并且所述图像合成单元布置所述经校正的短时间曝光图像的像素和 所述经校正的长时间啄光图像的像素，以便获得具有与从所述固态成像器 件输出的马赛克图像相同的像素阵列的马赛克图像，由此对所述图像合成 单元的马赛克图像执行去马赛克处理。
10. —种成4象装置，包括固态成像器件，其中，在成像表面上排列了用于通it^预定时段内的 连续曝光来产生长时间啄光图像的第一像素和用于通过在所述预定时段 内的间歇膝光来产生多个短时间啄光图4象的第二4象素；抖动估计单元，其被配置为根据通过使用所述第二像素而产生的多个 短时间膝光图像，估计在所述预定时段内的抖动信息；短时间曝光抖动校正单元，其被配置为根据所估计的抖动信息来校正 所述短时间曝光图像的抖动；长时间曝光抖动校正单元，其被配置为根据所述估计的抖动信息来校 正通过使用所述第一像素而产生的长时间曝光图像的抖动；以及图像合成单元，其被配置为合成经校正的短时间曝光图像和经校正的 长时间啄光图像。
11. 根据权利要求10的图像处理装置，其中，对于所述固态成像器 件，在竖直方向上交替地布置其中在水平方向上排列所述第一〗象素的第一 像素线和其中在水平方向上排列所述第二像素的第二^象素线。
12. 根据权利要求11的图像处理装置，其中，对于所述固态成像器 件，为了以方格图案布置具有第一光镨灵敏度的像素，将具有第一光镨灵 敏度的像素交替地布置在所述第一像素线和所述第二像素线上，并且为了 在所述第一像素线和所述第二像素线上在具有第一光谱灵敏度的像素之间交替地布置具有第二光镨灵^t度的像素和具有第三光镨灵敏度的像素， 在斜向上交替地排列关于所述第 一像素的具有第二光谱灵敏度的像素和 关于所述第二像素的具有第二光镨灵敏度的像素，并且也在所述斜向上交替地排列关于所述第一^^素的具有第三光i普灵敏度的〗象素和关于所述第 二像素的具有第三光镨灵敏度的像素。
13. 根据权利要求IO的图像处理装置，其中，对于所述固态成像器 件，以方格图案来布置所述第一像素和所述第二像素。
14. 根据权利要求13的图像处理装置，其中，对于所述固态成像器 件，由关于所述第一像素的具有第一光镨灵^t度的〗象素、具有第二光镨灵 敏度的像素和具有第三光镨灵敏度的像素构成的阵列是斜向倾斜的 Bayer阵列，并且由关于所述第二像素的具有第一光镨灵敏度的像素、具 有第二光镨灵敏度的像素和具有第三光镨灵敏度的^象素构成的阵列是斜 向倾斜的Bayer阵列。
15. 根据权利要求13的图像处理装置，其中，对于所述固态成像器 件，在由在水平方向上交替地排列的所述第一像素和所述第二像素构成的 水平线的上侧，行转移信号线和行复位信号线被布置并且连接到包括在所 述水平线中的所述第一像素，其中所述行转移信号线提供用于通过在水平 方向上在所述预定时段内的连续膝光来执行读取的控制信号，并且，在所 述水平线的下侧，行转移信号线和行复位信号线被布置并且连接到包括在 所，，平线中"所述第二像素，曰其中所述行转移信一号线提供用于-通过在水
16. 根据权利要求10的成像装置，其中，对于所述固态成像器件， 在水平方向上交替地布置第 一〗象素组和第二像素组，其中在所述第 一像素 组中，以阶梯式图案来连接在水平方向上排列的三个第一像素和在竖直方 向上排列的三个第一像素，并且在所述第二像素组中，以阶梯式图案来连 接在水平方向上排列的三个第二像素和在竖直方向上排列的三个第二像 素。
17. 根据权利要求16的图像处理装置，其中，对于所述固态成像器 件，由具有第一光镨灵敏度的〗象素、具有第二光镨灵敏度的《象素和具有第 三光镨灵敏度的像素构成的阵列是Bayer阵列。
18. —种固态成像器件，其中，在成像表面上排列用于通过在预定时 段内的连续爆光来产生长时间啄光图像的像素和用于通过在预定时段内的间歇曝光来产生多个短时间曝光图像的像素。
19. 一种图像处理方法，包括以下步骤 估计在预定时段内产生的图像的抖动信息；根据所估计的抖动信息来校正由于在所述预定时段内的间歇曝光而 产生的多个短时间曝光图像的抖动；根据所述估计的抖动信息来校正由于在所述预定时段内的连续曝光 而产生的长时间曝光图像的抖动；以及合成经校正的短时间啄光图像和经校正的长时间曝光图像。
20. —种程序，所述程序使得计算机执行以下步骤 估计在预定时段内产生的图像的抖动信息；根据所估计的抖动信息来校正由于在所述预定时段内的间歇曝光而 产生的多个短时间曝光图像的抖动；根据所述估计的抖动信息来校正由于在所述预定时段内的连续膝光 而产生的长时间曝光图像的抖动；以及合成经校正的短时间膝光图像和经校正的长时间曝光图像。
全文摘要
本发明公开了一种成像装置、固态成像器件、图像处理装置、方法和程序。所述图像处理装置包括抖动估计单元，其被配置为估计在预定时段中产生的图像的抖动信息；短时间曝光抖动校正单元，其被配置为基于所估计的抖动信息，校正由于在预定时段内的间歇曝光而产生的多个短时间曝光图像的抖动；长时间曝光校正单元，其被配置为基于所估计的抖动信息，校正由于在预定时段内的连续曝光而产生的长时间曝光图像的抖动；以及图像合成单元，其被配置为合成经校正的短时间曝光图像和经校正的长时间曝光图像。
文档编号H04N5/335GK101668125SQ200910172050
公开日2010年3月10日 申请日期2009年9月3日 优先权日2008年9月3日
发明者光永知生 申请人:索尼株式会社