图像处理设备，图像处理方法和程序的制作方法

专利名称：图像处理设备，图像处理方法和程序的制作方法
技术领域：
本发明涉及图像处理设备，具体地说，本发明涉及进行校正倍率色差的图像处理的图像处理设备，其处理方法，和使计算机执行所述方法的程序。
背景技术：
通过透镜的光会导致发生倍率色差(magnification chromatic aberration)。透镜的折射率随着光的波长而变化，从而图像的倍率随着光的颜色而变化，从而导致发生倍率色差。例如，当对白色点光源成像时，在所述白色点光源的拍摄图像中，观察到光源好像从与光轴对应的中心位置沿着放射方向延伸、同时具有彩虹似的颜色的状态。由于在拍摄的图像中，这样的倍率色差表现为渗色，从而成为降低图像质量的因素，因此需要进行校正。作为校正倍率色差的方法的一个例子，对透镜使用相对于透镜本身来说、其由光的波长引起的折射率的差异尽可能小的材料。另外，还采用一种其中优化透镜的组合，并利用消色效应，从而校正倍率色差的技术。不过，在这种其中通过利用透镜本身的性能，或者透镜的组合结构进行校正的方法中，透镜的成本被增大。于是，例如，作为成本降低势必变得重要的消费类设备，增大透镜的成本是不可取的。于是，摄像设备已具有利用对拍摄图像信号进行的信号处理，校正倍率色差的功能。例如，在现有技术的一种方法中，对于输入图像，沿着径向方向把图像分割成八个区域， 在每个分割的区域中，沿着径向方向检测边缘。随后，获得检测的边缘部分中的色移量，此外，根据色移量，在每个边缘部分中计算不同的颜色图像平面中的倍率差。另外，根据出现率最高的倍率差，获得在由于倍率色差而移离处理目标像素的位置的像素值，把该像素值看作处理目标像素的像素值。在未经审查的日本专利申请No. 2006-20275公报(图1)中公开了这种方法的一个例子。另外，在现有技术的第二种方法中，利用分别在八个分割的区域中计算的倍率差， 计算四个方向，即水平方向和垂直方向上的倍率差。另外，对于沿着水平和垂直方向把图像分割成的四个图像平面中的每个图像平面，获得色移的位移矢量。在未经审查的日本专利申请No. 2006-20275公报(图1)中公开了这种方法的一个例子。另外，作为现有技术的第三种方法，采用了倍率色差校正的下述结构。S卩，预先对于每个像素位置计算位移量，此外，把位移量的数据与每个透镜参数关联地作为校正数据保存在摄像设备中。另外，在校正处理时，通过利用校正数据，对于被选为处理目标的每个像素，获得校正量。之后，根据校正量，获得在由于倍率色差而移离处理目标像素的位置的像素值，把该像素值看作处理目标像素的像素值。在未经审查的日本专利申请 No. 2006-135805公报(图1)中公开了这种方法的一个例子。

发明内容
在摄像设备中存在透镜光学系统的安装误差等，从而，实际的倍率色差不一定按照同心的方式出现。理论上，倍率色差是以光轴为中心同心地出现的，在与距光轴的距离对应的图像高度相同的位置，倍率的变化量也是相同的。但是实际上，倍率色差不是准确同心地出现的，会出现其中心被偏移的倍率色差模式。即，作为同心圆的点对称不被保持，会以即使图像高度相同，倍率的变化量也会随径向方向而变化的方式出现倍率色差。特别地，近年来，为了促进摄像设备的尺寸和重量的减小，构成成像光学系统的透镜也已倾向于小型化。于是，透镜的曲率误差，折射率误差，透镜的位置精度误差(偏心率) 等增大，从而按照所述的方式，发生点对称被破坏，往往出现倍率色差的情况。上面所述的现有技术的第一种方法以拍摄图像的中心与光轴相符，并且点对称地出现倍率色差的假设为基础。于是，难以处理在按照上面所述的方式，点对称得不到保持的状态下出现的倍率色差。另一方面，现有技术的第二种方法可处理其中拍摄图像的中心与光轴不相符的倍率色差。不过，还需要根据通过分别计算八个分割区域中的倍率差获得的结果，计算四个方向，即水平方向和垂直方向的倍率差，还需要计算位移矢量。于是，计算量显著增大。鉴于这种情况，在现有技术的第三种方法中，通过利用预先保存的校正数据，必需的计算量变少。不过，在这方面，需要保存对于所有各个像素的水平位移量和垂直位移量的数据，作为校正数据，同时使水平位移量和垂直位移量的数据与每个透镜参数关联，从而第三种方法的不利之处在于需要为倍率色差校正保存大量的数据。另外，由于校正数据是按照单一的统一方式预先定义的，因此第三种方法与现有技术的第一种方法一样难以应付透镜的个体可变性。但是，在这方面，例如，如果在制造的时候，对于每个摄像设备测量倍率色差的发生量，并保存根据测量结果获得的校正数据，那么能够应付透镜的个体可变性。不过，在制造时进行的这种操作会导致批量生产的效果的降低，从而并不现实。另外实际上， 例如，必须在相同型号的摄像设备中保存根据确定的标准获得的校正数据。另外，即使按照上面说明的方式，保存根据对于每个摄像设备测量的倍率色差的发生量的测量结果获得的校正数据，以应付透镜的个体可变性，也未解决数据量增大的问题。因此，现有技术的第一种方法难以进行应付透镜的个体可变性的倍率色差校正。 不过，当利用现有技术的第二种或第三种方法时，解决了透镜的个体可变性，不过需要增大计算量或者要保存的校正数据的数量。本发明解决了上述情况，理想的是利用少量的校正数据和较少的计算量，进行处理其中由于透镜的个体可变性而破坏点对称的象差出现模式的倍率色差校正。按照本发明的一个实施例，提供一种图像处理设备，包括同心象差校正量计算单元，所述同心象差校正量计算单元被配置成相对于输入图像信号中的处理目标像素，计算作为倍率色差的分量的同心象差的同心象差校正量，同心象差导致从图像的中心同心地发生色移；均勻象差校正量计算单元，所述均勻象差校正量计算单元被配置成相对于处理目标像素，计算作为倍率色差的分量的均勻象差的均勻象差校正量，所述均勻象差导致在整个图像上均勻地发生色移方向和色移量；和像素值校正单元，所述像素值校正单元被配置成根据计算的同心象差校正量和计算的均勻象差校正量，校正处理目标像素的像素值。因此，图像处理设备产生根据对同心象差分量的校正和对均勻象差分量的校正，校正由于透镜的个体可变性等，而发生中心偏移的状态下的倍率色差的效果。另外，图像处理设备还包括同心象差校正数据保持单元，所述同心象差校正数据保持单元被配置成保存与至少包括光的颜色和图像高度的组合的每种同心象差条件对应的同心象差校正量，作为同心象差校正量数据；和均勻象差校正数据保持单元，所述均勻象差校正数据保持单元被配置成保存与至少包括光的颜色的每种均勻象差条件对应的均勻象差校正量，作为均勻象差校正量数据，其中同心象差校正量计算单元选择和处理目标像素对应于的同心象差条件对应的同心象差校正量数据，并利用选择的同心象差校正量数据计算同心象差校正量，均勻象差校正量计算单元选择和处理目标像素对应于的均勻象差条件对应的均勻象差校正量数据，并利用选择的均勻象差校正量数据计算均勻象差校正量。 因此，图像处理设备产生利用预先保存的同心象差校正量数据和均勻象差校正量数据，进行倍率色差的像素校正的效果。另外，在图像处理设备中，同心象差校正量数据可指示与响应同心象差条件而发生的图像高度方向的色移量对应的校正量，均勻象差校正量数据可指示与响应均勻象差条件而发生的色移量和色移方向对应的校正量。因此，图像处理设备产生包括仅仅对应于图像高度方向的色移量的同心象差校正量数据被保存，和包括对应于每种均勻象差条件的色移和色移方向的均勻象差校正量数据被保存的效果。另外，在图像处理设备中，均勻象差校正量数据可包括与对作为目标的预定区域测量的水平方向色移量对应地获得的水平方向校正量，所述预定区域包括经过拍摄图像的中心部分的虚拟垂直线；和与对作为目标的预定区域测量的垂直方向校正量对应地获得的垂直方向校正量，所述预定区域包括经过拍摄图像的中心部分的虚拟水平线。因此，图像处理设备产生利用拍摄图像中未出现同心象差的区域，测量由均勻象差校正量数据指示的色移量和色移方向的效果。另外，在图像处理设备中，同心象差校正量数据可指示与同心象差条件对应的校正量，所述同心象差条件包括光的颜色，图像高度，和当拍摄作为输入图像信号的来源的图像时使用的预定透镜控制信息的组合，均勻象差校正量数据可指示与均勻象差条件对应的校正量，所述均勻象差条件包括光的颜色和当拍摄输入图像信号的图像时使用的预定透镜控制信息的组合。因此，图像处理设备产生根据与透镜控制的状态相应的同心象差校正量数据和均勻象差校正量数据，进行倍率色差的像素校正的效果。另外，在图像处理设备中，透镜控制信息可以是指示透镜单元中的一个或多个预定活动部分中的每一个的控制状态的信息。因此，图像处理设备产生根据与透镜单元中的光圈控制，聚焦控制和变焦控制相应的同心象差校正量数据和均勻象差校正量数据，进行倍率色差的像素校正的效果。另外，在图像处理设备中，可从以透镜的特性为基础的模拟计算同心象差校正量数据。因此，图像处理设备产生从模拟获得同心象差校正量数据的效果。另外，图像处理设备还包括均勻象差分量关联边缘检测单元，所述均勻象差分量关联边缘检测单元被配置成从输入图像信号中检测与均勻象差对应的边缘；和同心象差分量关联边缘检测单元，所述同心象差分量关联边缘检测单元被配置成从像素值校正单元已根据均勻象差校正量校正了其像素值的输入图像信号中，检测与同心象差对应的边缘，其中均勻象差校正量计算单元根据由于均勻象差而在均勻象差分量关联边缘检测单元检测的每个边缘中出现的色移量，计算处理目标像素的均勻象差校正量，同心象差校正量计算单元根据由于同心象差而在同心象差分量关联边缘检测单元检测的每个边缘中出现的色移量，计算处理目标像素的同心象差校正量，像素值校正单元根据同心象差校正量，校正已根据均勻象差校正量校正的处理目标像素的像素值。因此，图像处理设备产生根据成像生成的输入图像信号的边缘的检测结果，计算同心象差校正量和均勻象差校正量的效果。另外，在图像处理设备中，均勻象差分量关联边缘检测单元可检测在输入图像信号的图像中的水平径向方向的图像部分附近的垂直方向的边缘，和检测在输入图像信号的图像中的垂直径向方向的图像部分附近的水平方向的边缘，同心象差分量关联边缘检测单元可检测在输入图像信号的图像中，至少一个预定径向方向中的每个径向方向的图像部分附近的径向方向的边缘。因此，图像处理设备产生从成像生成的输入图像信号中，单独检测与均勻象差对应的边缘和与同心象差对应的边缘的效果。另外，在图像处理设备中，均勻象差分量关联边缘检测单元和同心象差分量关联边缘检测单元都可相对于每个检测的边缘，检测所述边缘的像素值的变化方向的种类，均勻象差校正量计算单元可利用与由均勻象差分量关联边缘检测单元检测的像素值的变化方向的种类相关的统计结果，计算均勻象差校正量，同心象差校正量计算单元可利用与由同心象差分量关联边缘检测单元检测的、相对于每个检测边缘的像素值的变化方向的种类相关的统计结果，计算同心象差校正量。因此，图像处理设备产生按照在上升沿和下降沿中单独出现的象差状态之间的差异，校正像素值的效果。另外，图像处理设备还可包括同心象差校正数据保持单元，所述同心象差校正数据保持单元被配置成保存与至少包括光的颜色和图像高度的组合的每种同心象差条件对应的同心象差校正量，作为同心象差校正量数据；和均勻象差分量关联边缘检测单元，所述均勻象差分量关联边缘检测单元被配置成从输入图像信号中检测与均勻象差对应的边缘， 其中同心象差校正量计算单元选择与处理目标像素对应于的同心象差条件对应的同心象差校正量数据，并利用选择的同心象差校正量数据计算同心象差校正量，均勻象差校正量计算单元根据由于均勻象差而在均勻象差分量关联边缘检测单元检测的每个边缘中出现的色移量，计算处理目标像素的均勻象差校正量。因此，图像处理设备产生利用预先保存的同心象差校正量数据，进行对同心象差分量的校正，和利用根据基于成像的输入图像信号的边缘检测结果计算的校正量，进行对均勻象差分量的校正，作为倍率色差校正的效果。


图1是图解说明按照本发明的一个实施例的摄像机的结构例子的示图；图2是图解说明按照本发明的一个实施例的摄像机信号处理单元的结构例子的示图；图3A和3B是说明倍率色差的基本发生模式的示图；图4A和4B是说明由于透镜的个体可变性而发生的倍率色差的实际发生模式的示图；图5A-5C是说明构成本发明的一个实施例中的倍率色差的同心象差分量和均勻象差分量的示图；图6是说明均勻象差分量的发生的示图；图7是说明均勻象差分量的发生的示图；图8是图解说明按照本发明的第一实施例的倍率色差校正单元的结构例子的示图9是图解说明同心象差校正数据表的结构的例子的示图；图10是图解说明均勻象差校正数据表的结构的例子的示图；图11A-11C是图解说明当获得均勻象差校正数据表的校正数据时，使用的图表图像的例子的示图；图12A-12C是图解说明当获得均勻象差校正数据表的校正数据时，使用的图表图像的例子的示图；图13是图解说明倍率色差校正单元执行的处理过程的例子的示图；图14是图解说明倍率色差校正单元执行的处理过程的例子的示图；图15是图解说明按照本发明的第二实施例的倍率色差校正单元的结构例子的示图；图16是图解说明倍率色差校正单元执行的处理过程的例子的示图；图17是图解说明倍率色差校正单元执行的处理过程的例子的示图；图18是图解说明倍率色差校正单元执行的计算同心象差校正量的处理过程的例子的示图；图19是图解说明倍率色差校正单元执行的计算均勻象差校正量的处理过程的例子的示图；图20是说明按照本发明的第二实施例的颜色信号插值单元执行的插值G信号计算处理的例子的示图；图21是图解说明按照本发明的第二实施例的均勻象差分量关联边缘检测单元执行的边缘检测处理的例子的示图；图22是图解说明按照本发明的第二实施例的差分绝对值和计算单元获得的差分绝对值和的计算结果的例子的示图；图23是图解说明按照本发明的第二实施例的同心象差分量关联边缘检测单元执行的边缘检测处理的例子的示图；图24是图解说明按照本发明的第二实施例的象差倍率频度信息生成单元产生的直方图的例子的示图；图25是图解说明光轴上的线图像强度分布的例子的示图；图26是图解说明在除光轴外的位置上的线图像强度分布的例子的示图；图27A-27D是图解说明关于图像中的上升沿和下降沿的校正结果的例子的示图；图28是图解说明按照本发明的第三实施例的倍率色差校正单元的结构例子的示图；图29是图解说明倍率色差校正单元执行的处理过程的例子的示图；图30A和30B是说明对按照本发明的第一实施例，用于获得同心象差校正数据表中的校正数据的方法的变形例的示图。
具体实施例方式下面参考附图，详细说明本发明的优选实施例(下面称为实施例)。将按照下述顺序进行说明。1.第一实施例(倍率色差校正处理其中利用校正数据表，获得校正量的例子)
2.第二实施例(倍率色差校正处理其中从拍摄图像信号获得校正量的例子)3.第三实施例(倍率色差校正处理其中利用校正数据表，获得同心象差校正量， 和从拍摄图像信号获得均勻象差校正量的例子)4.变形例<1.第一实施例>[摄像机的结构的例子]图1是图解说明作为其中实现本发明的一个实施例的例子的摄像机100的结构例子的示图。摄像机100包括光学透镜单元101，摄像机控制单元102，光电变换单元103，摄像机信号处理单元200，图像信号处理单元104，图像输入-输出单元105，显示单元106，音频处理单元107，音频输入-输出单元108，操作输入单元109，和通信单元110。另外，摄像机100包括中央处理器(CPU) 111，随机存取存储器(RAM) 112，只读存储器(ROM) 113，介质驱动器115和电源单元114。光学透镜单元101中包括用于对被摄物体成像的透镜组，光圈调整机构，调焦机构，变焦机构，快门机构，手抖动校正机构等等。摄像机控制单元102从CPU 111接收控制信号，产生要提供给光学透镜单元101的控制信号。另外，摄像机控制单元102把产生的控制信号提供给光学透镜单元101，并进行诸如变焦控制，聚焦控制，快门控制，曝光控制之类的控制操作。光电变换单元103包括成像元件，在其成像平面上，形成通过光学透镜单元101的图像。另外，作为成像元件，可以采用电荷耦合器件(CCD)传感器，互补金属氧化物半导体 (CMOS)传感器等等。光电变换单元103把在成像平面上形成的被摄物体图像变换成图像信号，并把图像信号提供给摄像机信号处理单元200。例如，输入摄像机信号处理单元200的图像信号是具有称为尚待经过诸如去马赛克处理之类颜色插值处理的RAW图像数据的格式的图像信号。摄像机信号处理单元200是对具有RAW数据格式的图像信号进行必要的图像信号处理操作，比如上面说明的颜色插值处理，各种校正等等的部分。在本发明的一个实施例中，摄像机信号处理单元200进行用于倍率色差校正的图像信号处理。经过由摄像机信号处理单元200执行的处理的图像信号被提供给图像信号处理单元104。例如，图像信号处理单元104是主要对供给的图像信号进行显示和记录/再现相关的图像信号处理的部分。例如，图像信号处理单元104能够对输入的图像信号进行基于诸如运动图像专家组(MPEG)之类压缩方法的图像压缩处理。另外，图像信号处理单元104能够产生具有预定格式的图像信号，并把图像信号从图像输入-输出单元105输出到外部。另外，图像输入-输出单元105能够从外部输入具有预定格式的图像信号。图像信号处理单元104能够对从图像输入-输出单元105输入的图像信号进行尺寸变换等，图像信号处理单元104能够使显示单元106显示图像信号。另外，图像信号处理单元104能够把图像输入-输出单元105输入的图像信号变换成记录用图像数据，并通过CPU 111把记录用图像数据提供给介质驱动器115。另外，摄像机100包括音频处理单元107和音频输入-输出单元108，从而摄像机 100能够输入和输出音频信号。音频输入-输出单元108是进行音频信号的输入和输出的部分。首先，从音频输入-输出单元108输入的音频信号在音频处理单元107经过必要的音频信号处理。例如，进行基于预定的音频压缩编码方法的压缩处理等等。另外，音频输入-输出单元108能够把从音频处理单元107供给的具有预定格式的音频信号输出到外部。这种情况下，根据从图像信号处理单元104供给的压缩图像信号，和从音频处理单元107供给的压缩音频信号数据，创建具有预定格式的图像/音频文件。这里，例如，图像/音频文件是符合与运动图像同步地再现音频信号的格式的视频文件。例如，根据CPU 111的控制，图像/音频文件的数据作为写入数据被提供给介质驱动器115。介质驱动器115包括其中与CPU 111协作，能够在物理层水平把数据写入介质 (存储介质)116，和从介质(存储介质)116读取数据的结构。另外例如，磁盘、光盘、磁光盘、半导体存储器等可用作介质116。例如，介质116可被固定地嵌入摄像机100中。另外， 介质116可以是能够插入摄像机100和从摄像机100中取出，具有符合预定标准的可拆卸格式的介质。响应为文件的记录而执行的记录数据的传送，介质驱动器115进行把记录数据写入被选为控制目标的介质116中的处理。另外，例如，以基于预定类型的文件系统的文件为单位管理记录在介质116中的数据。另外，例如，当作为记录在介质116中的文件的再现，再现图像/音频文件时，CPU 111和介质驱动器115访问其中记录指定的图像/音频文件的介质，并读出所述图像/音频文件。根据CPU 111的处理，按照这种方式读出的图像/音频文件被分成压缩图像信号数据和压缩音频信号数据。基于此，压缩图像信号数据被传给图像信号处理单元104，压缩音频信号被传给音频处理单元107。这种情况下，图像信号处理单元104和音频处理单元107分别对按照如上所述的方式传送的压缩图像信号数据和压缩音频信号数据，进行包括解调处理操作在内的必要再现信号处理操作。因此，通过再现压缩视频数据获得的图像能够被显示在显示单元106上。 另外，与图像的再现时间同步，通过再现压缩音频信号数据获得的音频信号能够利用包括在音频输入-输出单元108中的扬声器作为声音被输出，或者可从耳机终端输出。通过执行程序，CPU 111执行关于摄像机100的各种控制处理操作。RAM 112被用作当CPU 111按照程序执行处理时使用的工作区(工作存储器)。ROM 113是除了保存由 CPU 111执行的各种程序之外，还保存由CPU 111用于执行处理的各种设定信息等的部分。这种情况下，假定操作输入单元109集体地表示包括在摄像机100中的各种操作部分。例如，操作输入单元109中的操作部分包括响应拍摄图像的记录的开始和停止而操作的记录按钮，选择成像模式等的操作部分，改变各种参数的操作部分，等等。通信单元110是响应CPU 111的控制，利用预定的数据通信方法，与外部设备进行通信的部分。与有线通信和无线通信无关，通信单元110对应于的数据通信方法并不局限于特定的通信，对应数据通信方法的数目也不局限于特定的数目。在目前的情况下，作为有线数据通信方法，可列举的是诸如以太网(注册商标)之类的网络。另外，可列举的是诸如通用串行总线(USB)，电气和电子工程师协会(IEEE) 1394之类的数据接口标准。另外，作为无线数据通信方法，可列举的是诸如蓝牙(注册商标)之类的设备间近场无线通信，或者诸如IEEE802. lla/b/g之类的无线局域网(LAN)标准。电源单元114向摄像机100中的各种硬件装置供给工作电力，包括从电池或电源适配器获得电力供应，并工作的电源电路等。
另外例如，代替图1中图解说明的摄像机100，也可利用数字静态照相机实现本发明的实施例。[摄像机信号处理单元的结构的例子]图2图解说明图1中图解说明的摄像机信号处理单元200的结构的例子。图2中图解说明的摄像机信号处理单元200包括前级信号处理单元201，倍率色差校正单元210， 和后级信号处理单元202。例如，前级信号处理单元201是对具有RAW图像数据格式的输入图像信号，进行诸如黑电平校正，增益校正之类校正处理操作的部分。倍率色差校正单元210是输入经过在前级信号处理单元201中进行的处理的，具有RAW图像数据格式的图像信号，作为校正目标图像信号，并对该图像信号进行用于倍率色差校正的图像信号处理的部分。另外，由倍率色差校正单元210执行的用于倍率色差校正的图像信号处理将在后面说明。后级信号处理单元202是输入经过在倍率色差校正单元210中进行的处理的象差校正图像信号，并对象差校正图像信号进行诸如颜色变换、颜色插值处理、Y校正之类图像信号处理操作的部分。[倍率色差]其中由于透镜的折射率随光的波长而变化，因此图像的倍率随光的颜色而变化， 从而发生色移的现象被称为倍率色差。图3A和:3B示意图解说明在拍摄图像的图像平面 300上发生的倍率色差的状态。作为在图像平面300上发生的倍率色差，图3A利用等高线图解说明倍率色差的色移的大小。另外，关于与图3A中相同的倍率色差的发生状态，图:3B 利用矢量，图解说明色移的大小和方向。另外，在图3A和:3B中，图解说明其中图像平面300 的中心C(分别通过图像平面300上的垂直方向和水平方向的中心的直线的交点)与透镜的光轴L重合的状态。如图3A和;3B中所示，在通常的情况下，倍率色差是其中以光轴为中心，同心地发生色移的现象。另外，色移量随着距光轴的图像高度的增大而增大。如图3A和;3B中所示，透镜的光轴L与图像平面300的中心C重合，以透镜的光轴 L为中心同心地(S卩，点对称地)发生色移。不过，在实际的摄像设备中，由于成像光学系统中的透镜的安装误差，透镜的光轴L和图像平面300的中心C不重合，或者失去色移量的点对称。于是，在一些情况下，可在色移的模式被偏移的状态下发生倍率色差。图4A和4B图解说明其中使色移的模式偏移的倍率色差的发生状态的例子。首先， 图4A和4B中图解说明的倍率色差是其中光轴L脱离图像的中心C的状态。例如，这意味在图像平面300中，与中心C等距离的图像位置之间，图像高度是不同的。另外，例如如图 4A中所示，以光轴L为中心，指示偏移量的等高线的同心形状发生变形。即，失去归因于倍率色差的色移量的点对称。例如，按照本发明的一个实施例，还响应如图4A和4B中所示的色移模式被偏移的状态，校正倍率色差。下面将说明这一点。[本发明的实施例中的倍率色差的表示方法]首先，在本发明的一个实施例中，假定如下近似表示倍率色差。图5A按照和图4B 中相同的方式，利用矢量图解说明在色移模式被偏移的状态下，发生倍率色差的图像平面 300中的色移的数量和方向。在本发明的一个实施例中，在图5A中图解所示的其中色移模式被偏移的倍率色差被分成在图5B中的图像平面300中图解说明的象差分量，和在图5C 中的图像平面300中图解说明的象差分量的条件下，近似表示倍率色差。如图5B中所示，在图5B中图解说明的象差分量是按照在图像平面300的中心C与光轴重合的状态下，色移量以图像平面300的中心C为中心点对称的方式出现的象差分量。另外，例如，色移量变化，以致随着图像高度(距光轴L的距离)的增大而增大。可认为这是排除了透镜的个体可变性因素，比如透镜的安装误差等，仅仅依存于透镜的特性出现的象差分量。另外，在本说明书中，下面把在图5B中图解说明的象差称为“同心象差”。另外，在图5C中图解说明的象差分量是按照在整个图像平面300中，色移的矢量都相同的方式出现的象差分量。即，就该象差分量来说，在图像平面300的任意部分中，其色移量都相同，其色移方向也相同。可认为这是均勻出现在整个图像平面中，而与光轴L的位置和图像高度无关的象差分量。该象差分量是取决于安装误差的存在而出现的象差分量。另外，在本说明书中，下面把在图5C中图解说明的象差称为“均勻象差”。[均勻象差分量的发生的说明]在通常情况下，由于在透镜的中心和边缘之间存在厚度差，从而色移量随图像高度而变化，因此发生倍率色差。不过如上所述，在色移模式被偏移的状态下的倍率色差中， 当只对同心象差分量进行校正时，不能获得足够的校正效果。因此，本申请的发明人以除了在图5B中图解说明的同心象差之外，还由于在图5C中图解说明的均勻象差分量的发生，出现在色移模式被偏移的状态下的倍率色差的假设为根据，进行了测试。即，本申请的发明人进行了利用其中结合均勻象差分量的校正，使用同心象差分量的校正的结构，进行倍率色差校正的测试。通过测试，确认获得实用的足够校正效果。上面提及的均勻象差分量的发生可如下所述。下面将参考图6和图7说明这一点。可认为成为透镜的可变性因素的安装误差包括由透镜的光轴偏离其在平面方向的本来位置引起的偏心要素，和由透镜的光轴偏离其本来角度引起的倾斜要素。首先，参考图6，说明与透镜的偏心对应的均勻象差分量的发生。这里，例如，用虚线指示的透镜IOla的位置对应于不存在任何偏心的正确位置状态。在这种状态下，假定按照物体高度yo获得的绿(G)光和红(R)光的图像高度分别为yg*yr。此时，分别与G光和R光对应的透镜IOla的横向倍率β g和β r用下面的表达式表示。^g = yg/y0β r = yr/y0另外，根据上面的表达式，G光和R光的图像高度yg和分别用下面的表达式表
7J\ οyg = y0 · β gIr = I0' β r随后，通过获得上面说明的两个表达式之间的差分，可按照下面的表达式，获得在不存在任何偏心的状态下，R光相对于G光的色移量(倍率色差量)Ay1。δ Y1 = yr-yg = y0 · ( β Γ" β g)上面的表达式是与物体高度％相关的函数。响应物体高度％的变化，图像高度yg 和It也变化。因此，上面的表达式指出在没有任何偏心的状态下的色移量随距图像高度的距离而变化。下面，设想通过把透镜IOla从用虚线指示的位置移动到用实线指示的位置，产生归因于移动量Ashift的偏心的状态。此时，按照下述表达式，根据表示图像高度78和L 的上述表达式，获得G光的像焦点位置和偏心前的状态相同的物体高度yQ1。
yg-Ashift = (y01) ‘ ^gy01 = (yg-Ashift)/^g另外，按照下述表达式，根据表示图像高度yg和1的上述表达式，和上面的表达式，获得此时R光的像焦点位置yri。yrl- Δ shift = y01 · β ryrl = βτ ‘ (yg-Δ shift)/β g+Δ shift因此，按照下述表达式，能够获得在偏心之后，R光相对于G光的色移量Ay2。Δ y2 = yrl-yg= (yg · ( β Γ- β g) / β g) - ( β r · Δ shift) / β g+Δ shift= ( β r- β g) ‘· Ashift另外，按照和偏心前的色移量Ay1的上述计算表达式相同的方式，上面的表达式也是物体高度I0的函数，从而指出偏心之后的色移量Ay2也随图像高度而变化。另外，可按照下述表达式，表示偏心前后的色移量之间的差，S卩，色移变化量。Δ y2- Δ 71 = (( β g- β r) / β g) · Ashift这里，在上面的表达式的右侧，消除了其系数为物体高度％的一项。即，上面的表达式指出偏心前后的色移的变化量不随图像高度而变化，而只随偏心量(Ashift)变化。 另外，这指出取决于透镜的偏心，在整个图像平面中，沿着相同的色移方向，并且具有相同的色移量发生色移。即，指出发生均勻的象差分量。下面参考图7，说明与透镜的倾斜对应的均勻象差分量的发生。这里，例如，用虚线指示的透镜IOla的位置对应于不出现任何倾斜的正确位置状态。在这样的状态下，R光相对于G光的色移量Ay1用色移量Ay1的上述计算表达式表示。随后，设想其中按照使透镜IOla的光轴指向和透镜IOla在虚线所示位置状态下的光轴成角度θ的方向的方式，倾斜透镜IOla的状态。此时，在从透镜IOla到图像平面的距离为“S”的条件下，按照下面的表达式，根据表示图像高度yg和L的上述表达式，获得 G光的像焦点位置和偏心前的状态相同的物体高度yQ1。y01 = (yg · cos θ -s · sin θ )/β g另外，按照下述表达式，根据表示图像高度L的上述表达式，和上面的表达式，获得此时R光的像焦点位置yri。yrl · cos θ -s · sin θ = (β r/ β g) · (yg · cos θ -s · sin θ )yrl = ( β r/ β g) · yg+(( β g-β r) / β g) · (s · tan θ )因此，按照下述表达式，能够获得在倾斜之后，R光相对于G光的色移量Ay2。Δ y2 = yrl-yg= ( β r- β g) ·· (s · tan θ )上面的表达式也是物体高度％的函数，因此，显然倾斜之后的色移量Ay2也随图像高度而变化。基于此，可按照下面的表达式，表示倾斜前后的色移量之间的差。Δ y2- Δ Y1 = (( β g- β r) / β g) · (s · tan θ )另外，在上面的表达式中，其系数为物体高度％的一项也被消除。从而，上面的表达式指出色移的变化量不随图像高度而变化，而只随光轴的倾角θ变化。S卩，还指出取决于透镜的倾斜，发生均勻的象差分量。另外，根据图6和7的描述，可以认为即使在由于透镜的实际安装误差等，发生透镜的偏心和倾斜的状态下，如此发生均勻的象差分量，以致根据透镜的偏心量和倾角，确定透镜的色移量。另外，认为在摄像设备中实际发生的均勻象差分量作为分别由于透镜组中的每个透镜的偏心而发生的均勻象差分量之和而发生。[倍率色差校正单元的结构]在上面提及的倍率色差能够被分成上述同心象差分量和均勻象差分量的假定之下，按照本发明的实施例的倍率色差校正单元210(图2)执行用于倍率色差校正的图像信号处理。下面，说明本发明的第一实施例中的倍率色差校正单元210的结构和信号处理的例子。图8图解说明对应于本发明的第一实施例的结构的例子，作为图2中图解说明的倍率色差校正单元210。图8中图解说明的倍率色差校正单元210包括颜色像素选择单元 211，图像高度计算单元212，同心象差校正量计算单元213，均勻象差校正量计算单元214， 色移目的地像素值计算单元215，和像素值校正单元216。另外，倍率色差校正单元210保存和保持同心象差校正数据表240和均勻象差校正数据表250。如上所述，倍率色差校正单元210输入的校正目标图像信号具有RAW图像数据格式，包括按照用于光电变换单元中的受光元件的像素的滤色器阵列，分别对应于红色(R)、 绿色(G)和蓝色(B)的颜色像素信号。颜色像素选择单元211从输入校正目标图像信号中选择和提取R像素信号和B像素信号，并依据预定定时顺序向像素值校正单元216输出作为处理目标像素，从R像素信号和B像素信号中选择的一个像素信号。另外，颜色像素选择单元211选择和提取G像素信号，并输出G像素信号作为要从倍率色差校正单元210输出的象差校正像素信号的G信号分量。另外，按照本发明的第一实施例的倍率色差校正单元 210校正作为目标的构成R图像平面的像素和构成B图像平面的像素中的每个像素的像素值。颜色像素选择单元211还把处理目标像素的坐标P(m，n)的信息输出给图像高度计算单元212。在颜色像素选择处理的时候，颜色像素选择单元211识别每个像素的坐标。此外， 颜色像素选择单元211把指示被选为处理目标像素的像素的颜色是R和G中的哪一个的处理目标颜色信息，输出给同心象差校正量计算单元213和均勻象差校正量计算单元214。图像高度计算单元212是计算与输入的处理目标像素的坐标P(m，η)对应的图像平面上的图像高度的部分。同心象差校正数据表240是保存与同心象差分量对应的校正数据的表格。同心象差校正数据表MO的表结构的例子，和保存在同心象差校正数据表MO中的校正数据的获取方法的例子将在后面说明。另外，实际上，同心象差校正数据表240被保存在包括在倍率色差校正单元210中的存储器，图1中图解说明的ROM 113等中。所述存储器和ROM 113 是在权利要求中描述的同心象差校正数据保持单元的例子。同心象差校正量计算单元213是计算与同心象差分量对应的校正量的部分。为此，同心象差校正量计算单元213输入作为透镜控制信息，来自摄像机控制单元102的孔径值、变焦位置和焦点位置，和输入在图像高度计算单元212中计算的图像高度值。此外，同心象差校正量计算单元213输入来自颜色像素选择单元211的处理目标颜色信息。在透镜控制信息中，孔径值指示对于包括在光学透镜单元101中的孔径光阑设定的孔径值。变焦位置指示包括在光学透镜单元101中的变焦透镜的位置。焦点位置指示包括在光学透镜单元101中的聚集透镜的位置。如上所述，在摄像机控制单元102执行诸如曝光控制，变焦，聚集控制之类的摄像机控制操作的时候，摄像机控制单元102计算并保持孔径值，变焦位置和焦点位置作为其控制结果。另外，同心象差校正量计算单元213从同心象差校正数据表MO中，选择与孔径值、变焦位置、焦点位置、图像高度值和处理目标颜色信息指示的颜色的组合对应的校正量。另外，利用选择的校正量，同心象差校正量计算单元213计算对应于同心象差分量的校正量。均勻象差校正数据表250是保存与均勻象差分量对应的校正量的表格。均勻象差校正数据表250的表结构的例子，和保存在均勻象差校正数据表250中的校正量数据的获取方法的例子将在后面说明。另外，实际上，均勻象差校正数据表250也被保存在包括在倍率色差校正单元210中的存储器，图1中图解说明的ROM 113等中。所述存储器和ROM 113 是在权利要求中描述的均勻象差校正数据保持单元的例子。均勻象差校正量计算单元214是计算与均勻象差分量对应的校正量的部分。为此，均勻象差校正量计算单元214输入来自摄像机控制单元102的孔径值信息，变焦位置信息和焦点位置信息。另外，均勻象差校正量计算单元214输入来自颜色像素选择单元211 的处理目标颜色信息。另外，均勻象差校正量计算单元214从均勻象差校正数据表250中， 选择与孔径值信息，变焦位置信息，焦点位置信息和处理目标颜色信息指示的颜色的组合对应的校正数据。另外，利用选择的校正量，均勻象差校正量计算单元214计算与均勻象差分量对应的校正量。色移目的地像素值计算单元215是利用按照上述方式计算的对应于同心象差分量的校正量和对应于均勻象差分量的校正量，计算色移目的地像素的像素值的部分。色移目的地像素是由于归因于倍率色差的偏移，光实际上被聚焦到的像素，所述光本来要被聚焦到处理目标像素的位置。像素值校正单元216进行校正每个处理目标像素的像素值的处理。为此，像素值校正单元216进行用色移目的地像素值计算单元215计算的色移目的地像素的像素值，重写处理目标像素的像素值的处理。包括色移目的地像素值计算单元215和像素值校正单元 216的部分是在权利要求中描述的像素值校正单元的例子。另外，例如，数字信号处理器(DSP)等执行程序，从而实现图8中图解说明的倍率色差校正单元210中的各个部分。另外，倍率色差校正单元210中的某一部分的至少一种功能可通过用CPU 111执行程序来实现。另外，倍率色差校正单元210中的各个部分或者某一部分的至少一种功能也可用硬件实现。[同心象差校正数据表的结构的例子]下面参考图9，说明同心象差校正数据表240的结构的例子。图9示意地图解说明同心象差校正数据表MO的结构的例子。当说明图9时，假定变量i (0 < i < ni)表示孔径值，变量ζ (0 < ζ < nz)表示变焦位置，变量f (0 < f < nf)表示焦点位置，变量y (0 < f <ny)表示图像高度值。例如，实际的孔径值，实际的变焦位置，实际的焦点位置和实际的图像高度值的数值都可以具有小数部分。不过，可以假定用变量i、z、f和y表示的孔径值， 变焦位置，焦点位置和图像高度值都是整数值。另外，变量c(0 ^c < 2)表示要作为校正处理目标的光的颜色(处理目标颜色)。这里在处理目标颜色包括两种颜色R和B的时候， 假定当变量c为“0”时，变量c表示红色(R)，当变量c为“ 1”时，变量c表示蓝色⑶。首先，通常关于用变量c表示的各种处理目标颜色R和B，分割在图9中图解说明的同心象差校正数据表M0。基于此，首先，为处理目标颜色R，提供其中保存响应于孔径值 i和变焦位置ζ的矩阵(组合)而获得的(niXnz)项校正数据Ml的二维表格。上述二维表格中的各项校正数据241是对应于一个焦点位置的数值。于是，按照如图9中图解说明的方式，提供其中保存响应于从“0”到“nf-1”的各个焦点位置f而获得的校正数据241的nf个二维表格。从而，获得其中保存与孔径值i，变焦位置ζ和焦点位置 f的组合对应的校正数据241的三维表格。另外，上面说明的三维表格是对应于一个图像高度值y的表格。于是，按照如图9 中图解说明的方式，准备其中保存分别对应于从“0”到“ny-1”的图像高度值y的校正数据 241的ny个三维表格。从而，获得其中保存与孔径值i，变焦位置z，焦点位置f和图像高度值y的组合对应的校正数据241的四维表格。另外，响应处理目标颜色B(c= 1)，也准备所述四维表格。这样，同心象差校正数据表240保存根据孔径值i，变焦位置ζ，焦点位置f，图像高度值y和处理目标颜色c的每种组合而获得的校正数据Ml。即，同心象差校正数据表MO 具有作为五维表格的结构。从而，构成同心象差校正数据表MO的校正数据Ml的项数是 (niXnzXnf XnyXnc) 0同心象差校正数据表MO的结构意味作为同心象差分量，沿着图像高度方向发生的色移量随诸如孔径光阑，变焦位置，焦点位置之类的光学系统的条件，及诸如图像高度和光的颜色之类的各个要素而变化。[对应于同心象差分量的校正数据的获取方法的例子]下面，说明同心象差校正数据表240中的校正数据241的获取方法的例子。例如， 为光学透镜单元101采用的透镜的特性是典型特性。这意味在图3A和:3B中图解说明的同心象差中，归因于图像高度的色移量的变化等等也是透镜的典型特性。于是，通过根据透镜的特性进行模拟，能够获得构成同心象差校正数据表240的校正数据Ml。更具体地说，例如，如下获得对应于R光的校正数据Ml。即，对于R光和G光，在诸如一个孔径值i，一个变焦位置z，一个焦点位置f和一个图像高度值1之类的各个参数的组合条件下进行模拟， 并计算通过这种模拟获得的R光相对于G光的色移量。另外，计算抵消所述色移量，并使R 光的位置与G光的位置一致的校正量，该校正量被定义为上述校正数据Ml。通过对所有其它参数的每种组合条件也进行这种模拟，获得对应于R光的所有各项校正数据Ml。另外， 按照相同的方式，就B光来说，关于上述参数的每种组合条件，对B光和G光进行模拟，获得 B光相对于G光的色移量，从而获得校正数据Ml。另外，如上在图5A中所述，同心象差分量并不取决于成像光学系统的个体可变性，从而假定同心象差分量的偏移量是仅仅取决于透镜本身的特性确定的。基于此，包括根据按照如上所述的方式进行的模拟而获得的校正数据241的同心象差校正数据表240可通用于如摄像机100的产品。另外，当不仅在R光和B光中，而且在G光中也发生倍率色差时，可以执行倍率象差校正，以致R、G和B之间的像焦点位置的相对偏移彼此一致。于是，在本发明的一个实施例中，假定G光被用作基准，进行倍率色差校正，以致结果剩余的R光和B光都被聚焦到与所述G光相同的位置。于是，在本发明的一个实施例中，当获得校正数据Ml时，获得R光和B光相对于G光的色移量。另外，在本说明书中，“校正量”是解决色移所必需的“象差校正量”，其单位是倍率，像素值，或者图像平面大小的相对值，等等。另外，色移量是由于象差而发生的色移量， 意味“象差的发生量”。另外，其单位是倍率，像素值，和图像平面大小的相对值之一。当在上面的说明中，首先获得色移量，并根据获得的色移量获得作为校正量的校正数据241时，色移量可被没有变化地保存为校正数据Ml。在这种情况下，在把表示成校正数据Ml的色移量变换成校正量之后，同心象差校正量计算单元213可根据变换的校正量，计算实际处理所必需的校正量的数值。具体地说，例如，如果倍率作为单位，那么校正量和色移量之间的关系用等式(校正量=1/色移量)表示。另外，如果像素值，或者图像平面大小的相对值作为单位，那么校正量和色移量之间的关系用等式(校正量=-色移量) 表示。总之，上述两种关系都简单，从而，能够用较少的计算量，容易地进行色移量和校正量之间的变换。[均勻象差校正数据表的结构的例子]图10图解说明均勻象差校正数据表250的结构的例子。如图10中图解所示，均勻象差校正数据表250保存与诸如孔径值i，变焦位置z，焦点位置f，处理目标颜色c和校正量方向分量d之类参数的每种组合对应的校正数据251。即，均勻象差校正数据表250具有作为五维表格的结构。虽然作为均勻象差分量的色移量随诸如以孔径光阑，变焦位置和焦点位置为基础的光学系统的条件，和光的颜色之类的各个要素而变化，不过作为均勻象差分量的色移量并不随图像高度而变化，如上所述。于是，形成均勻象差校正数据表250，作为不包括基于图像高度值y的校正数据251的表格。另外，可按照这样的方式处理均勻象差分量，以致指示其移动方向和移动量的矢量被分成水平方向移动量分量和垂直方向移动量分量。于是，在均勻象差校正数据表250 中，作为一个参数，设定对应于水平方向和垂直方向的校正量方向分量d。另外，具有光学手抖动校正功能的摄像设备已流行。在光学手抖动校正方法中，驱动用于响应手抖动的状态改变光轴的透镜组(光学防振透镜组)，以致沿着摇移和俯仰方向倾斜透镜组。另一方面，沿着与光轴垂直的平面方向移动光学防振透镜组。如上所述的这种光学防振透镜组的位置状态的变化也是改变归因于象差的色移量的因素。于是，当摄像机100包括光学防振透镜组时，可以假定均勻象差校正数据表250具有下述结构。S卩，假定均勻象差校正数据表250具有通过进一步结合图10中图解说明的五维表格的结构和光学防振透镜组的位置的参数而获得的六维表格的结构。另外，按照相同的方式，同心象差校正数据表240也可具有通过进一步结合图9中图解说明的五维表格的结构和光学防振透镜组的位置的参数而获得的六维表格的结构。不过在这方面，光学防振透镜组的位置的变化主要影响归因于均勻象差的色移量。于是，例如，光学防振透镜组的位置参数的结合对均勻象差校正非常有效。另外，作为手抖动校正功能，还存在一种响应手抖动的状态，驱动成像器(对应于图1中的光电变换单元10 ，以致沿着其平面方向移动成像器的方法。在这种情况下，代替上面提及的光学防振透镜组的位置参数，可以结合成像器的位置作为参数。
另外，作为用于构成同心象差校正数据表240和均勻象差校正数据表250的参数的组合，可以排除在图9和图10中图解说明的参数之一。具体地说，当采用单个聚集透镜时，变焦位置ζ是固定的，从而不必结合变焦位置ζ作为参数。此外，用于构成同心象差校正数据表240和均勻象差校正数据表250的透镜控制信息并不局限于上面引用的例子。在上面的说明中，假定透镜控制信息包括孔径光阑，变焦位置和焦点位置。可以认为这些信息指示光学透镜单元101(图1)中的活动部分的设定状态。例如，当光学透镜单元101具有包括除孔径光阑，变焦位置和焦点位置外的某种活动部分时，可以结合指示所述活动部分的设定状态的信息的参数。[对应于均勻象差分量的校正数据的获取方法的例子]下面说明均勻象差校正数据表250中的校正数据251的获取方法的例子。作为同心象差分量的色移量并不取决于归因于成像光学系统的安装误差等的个体可变性。另一方面，均勻象差分量随成像光学系统的安装误差等而发生，同样根据图6和7的描述明白，均勻象差分量的色移量随个体可变性而变化。于是，为了获得均勻象差校正数据表250中的校正数据251，必须在生产过程中对每个产品进行测量和分析。下面说明获得校正数据251的方法的具体例子。首先，作为第一个例子，就孔径值 i，变焦位置ζ和焦点位置f来说，分别预先定义典型mi个值，典型的mz个值，和典型的mf 个值。另外，相对于这些孔径值i，变焦位置ζ和焦点位置f的每种组合模式，如下获得校正数据251。即，测量在通过成像而获得的图像平面的中心发生的R光和B光分别相对于G 光的色移量，及其色移方向。随后，根据测量的色移量和色移方向，获得分别对应于垂直方向分量和水平方向分量的校正数据251。例如，如上面在图3A和;3B，图5B等中图解所示，作为同心象差分量的色移量取决于图像高度，在所摄图像的图像平面的中心变成接近于零。从而，可以认为在图像平面的中心发生的色移对应于均勻象差分量。下面说明这种方法的第二个例子。在第二个例子中，按照和第一个例子相同的方式，在预先定义典型的mi个值，典型的mz个值和典型的mf个值之后，同样关于这些孔径值 i，变焦位置ζ和焦点位置f的每种组合模式进行测量。基于此，在第二个例子中，假定通过拍摄图IlA中图解说明的图表图像400进行测量。在图IlA图解说明的图表图像400中，显示沿着水平方向通过图像平面的中心C 的直线Lnl，和沿着垂直方向通过图像平面的中心C的直线Ln2。另外，例如，在这两条直线 Lnl和Ln2中，实际设定和背景颜色不同的预定颜色。另外，在测量时，测量在相对于水平方向的直线Lnl的垂直方向上发生的R光和 B光分别相对于G光的色移量。就同心象差分量来说，由于其色移是按照色移从图像平面的中心开始同心扩散的方式发生的，因此在水平方向的直线Lnl上不发生垂直方向的色移。因此，在水平方向的直线Lnl上发生的垂直方向的色移的测量，意味在不发生归因于同心象差分量的色移的状态下，能够测量归因于均勻象差分量的色移量在垂直方向的矢量分量。另外，可关于像素阵列中的每一列进行此时的色移量的测量，或者可以每隔一定时间间隔单独进行此时的色移量的测量。例如，通过把所述时间间隔设定成不丧失测量结果的可靠性的范围内的尽可能大的值，能够缩短测量所需的时间。另外，对于R光和B光，分别计算按照如上所述的方式测量的垂直方向的矢量分量的平均值。随后，按照相同的方式，测量在相对于垂直方向的直线Ln2的水平方向上发生的R 光和B光分别相对于G光的色移量，并分别关于R光和B光，计算测量的色移量的平均值。 另外，根据如上所述的相同原因，在垂直方向的直线Ln2上发生的水平方向的色移的测量， 意味在不发生归因于同心象差分量的色移的状态下，能够测量归因于均勻象差分量的色移量在水平方向的矢量分量。另外，根据按照如上所述的方式计算的对应于R光和B光的垂直方向和水平方向的各个矢量分量，分别关于水平方向分量和垂直方向分量计算校正量， 该校正量被定义为校正数据251。另外，就按照如第二个例子中的方式利用图表图像获得校正数据的方法来说，还可考虑除图11之外的各种类型。于是，将参考图IlB和IlC及图12A-12C，说明利用其它图表图像的其它例子。首先说明图11B。在图IlB中图解说明的图表图像400A中，在通过图像的中心C 的虚拟水平线Lh的左右两侧的位置，分别描述水平条401和401。按照相同的方式，在通过图像的中心C的虚拟垂直条Lv的上下两侧的位置，分别描述垂直条402和402。这种情况下，通过测量沿着与水平条401和401垂直的方向发生的R光和B光分别相对于G光的色移量，测量归因于均勻象差分量的色移量在垂直方向的矢量分量。这种情况下，通过测量沿着与垂直条402和402垂直的方向发生的R光和B光分别相对于G光的色移量，测量归因于均勻象差分量的色移量在水平方向的矢量分量。随后，在图IlC中图解说明的图表图像400B中，分别在图IlB中图解说明的右水平条401和左水平条401的上面和下面，间隔一定的距离另外增加水平条401a和401b。 这种情况下，分别关于图表图像400B中的左右水平条401，左右水平条401a和左右水平条 401b，测量在垂直方向发生的色移量。按照相同的方式，分别关于图表图像400B中的上下垂直条402，上下垂直水平条40 和上下垂直条402b，测量在水平方向发生的色移量。这种情况下，由于可增加能够在图像的水平中心和垂直中心附近被测量的像素的数目，因此预计能够提高测量再现性(噪声耐量)。随后，在图12A中图解说明的图表图像400C中，按照预定的行数和列数，在整个图像上排列圆点403。另外，例如，在测量的时候，测量用虚线指示的部分中的色移量。即，测量在虚拟水平线Lh的左右两侧的区域中的圆点403中发生的垂直方向的色移量。另外，测量在虚拟垂直线Lv的上下两侧的区域中的圆点403中发生的水平方向的色移量。例如，在图表图像400C是在象差的测量中通常使用的图表图像之一的时候，根据使用这样的普通图表图像的测量，也可获得按照本发明的实施例的校正数据251。另外，在图12B中图解说明的图表图像400D专用于获得本发明的实施例中的均勻象差的校正数据251，只使用由上面说明的图12A的虚线部分指示的圆点403。另外，在图12C中图解说明的图表图像400E包括其中用圆点403的阵列替换在图 11中图解说明的直线Lnl和直线Ln2的模式。因此，其测量方法和图IlA相同。在校正数据251的获取方法的上述第一个例子中，由于只测量在所拍图像的图像平面的中心的色移量，因此测量的工作量及时间和劳力较少，从而关于这一点，第一个例子效率高。另一方面，在参考图IlA说明的第二个例子中，测量在整个图像上设定的直线Ll 和L2周围的色移量。于是，测量范围被扩大，从而能够获得高精度的测量结果。在这方面，在图IlB和11C，以及图12A-12C中图解说明的例子也和第二个例子相同。总之，在参考图 11A-11C和图12A-12C说明的使用图表图像的测量方法中，包括经过由成像获得的图像的中心的虚拟水平线和虚拟垂直线的预定区域被用作目标，单独测量垂直方向和水平方向的色移量。在本发明的一个实施例中，按照如上所述的方式，创建和保存同心象差校正数据表240和均勻象差校正数据表250。虽然如图9中图解所示，同心象差校正数据表240是五维表格，不过只有图像高度值y是与图像平面位置相关的参数。另外，由于均勻象差分量并不取决于像素位置，因此创建包括光学系统的参数与象差的水平方向分量和垂直方向分量的组合的五维表格，如图10中图解所示。另一方面，例如，在现有技术中，使用对于每个像素来说，还包括与光学系统的参数的每种组合对应的校正值的校正数据。与这样的校正数据相比，在本发明的一个实施例中，即使结合同心象差校正数据表240和均勻象差校正数据表250，其数据尺寸也大大降低。另外例如，可以考虑其中把一个图像平面分成大小约为 (20X15)像素的多个块，保存在每个块的中心坐标的色移移动量，在校正处理时，内插和使用保存的色移量的结构。不过即使在这样的结构中，由于与图像上的位置对应的数据是以块为单位保持的，因此本发明的实施例具有更小的数据量。另外，就均勻象差校正数据表250来说，尽管对每个产品进行测量，以处理透镜的个体可变性，不过在测量的时候，使用孔径值i，变焦位置ζ和聚集位置f的数目有限的组合模式作为代表性模式。基于此，在测量的时候，只需要测量在图像平面的中心，或者在与图 IlA中图解说明的图表图像400中的直线Ll和L2对应的部分中的色移。总之，利用如此少量的作业，即使对各个产品进行测量，变成产品量产的妨碍因素的作业量的增加也较小。[倍率色差校正单元的处理过程的例子]图13和14中图解说明的流程图是由图8中图解说明的倍率色差校正单元210执行的处理过程的例子。另外，在图中图解说明的每个步骤中执行的处理由构成倍率色差校正单元210的各个部分之一任意执行。另外，例如，在图中图解说明的每个步骤中执行的处理由CPU 111或数字信号处理器(DSP)通过执行程序实现。另外，在图中图解说明的每个步骤中执行的处理也可用硬件实现。首先，同心象差校正量计算单元213和均勻象差校正量计算单元214从摄像机控制单元102获得透镜控制信息(步骤S901)。这里，如上所述，透镜控制信息是目前在光学透镜单元101中设定的孔径值，变焦位置和焦点位置的信息。随后，同心象差校正量计算单元213计算与在上述步骤S901中获得的透镜控制信息对应的同心象差校正量Timgl (步骤S902)。例如，可如下计算同心象差校正量Timgl。这里，假定与在上述步骤S901中获得的透镜控制信息对应的孔径值，变焦位置和焦点位置分别用Pi, Pz和Pf表示。另外，假定孔径值Pi,变焦位置Pz和焦点位置Pf都包括整数部分(i)和到预定小数位的小数部分(f)，并用下述表达式之一表示。Pi = Pi^PifPz = pzi+pzfPf = Pfi+Pff另外，当选择同心象差校正数据表240中的任意校正数据241时，同心象差校正量计算单元213如下指定校正数据Ml。即，利用基于整数的孔径值i，变焦位置z，焦点位置f，图像高度值y和处理目标颜色c的组合，指定校正数据Ml。如上所述，这对应于同心象差校正量计算单元213保存分别对应于基于整数的孔径值i，变焦位置z，焦点位置f，图像高度值y和处理目标颜色c的组合的校正数据Ml。按照这种方式指定的校正数据241被表示成 Tcal [i] [ζ] [f] [y] [c]。另外，同心象差校正量计算单元213从同心象差校正数据表240访问并读取由 Tcal[Pii] [pJ [Pfi] [y] [c]指定的所有各项校正数据Ml。此时，就每个图像高度值y和处理目标颜色c来说，保存在同心象差校正数据表240中的所有值是目标。因此，用Tcal [Pii] [pzi] [pfi] [y] [c]指定的校正数据24的项数用(nyXnc)表示。另外，同心象差校正量计算单元213从同心象差校正数据表MO中，访问和读取用 Tcal[Pii+l] [pzi+l] [pfi+l] [y] [c]指定的所有各项校正数据 Ml。用 Tcal[Pii+l] [pzi+l] [pfi+l] [y] [c]指定的校正数据24的项数也用(nyXnc)表示。之后，同心象差校正量计算单元213计算同心象差校正量Timgl [y] [c]。为了进行计算，利用上面说明的用 TcaUpii] [pj [pfi] [y] [C]和 Tcal[Pii+l] [pzi+l] [pfi+l] [y] [c]指示的校正数据M，进行基于下述表达式的计算。Timgl [y] H
1 1 1 [Pzi+j] [Pfi
i=0 J=O k=0
■{(i-i)+(-r-plf }-{(i-j)+(-r-pzf }-{(i-k)+(-r-Pff}S卩，根据孔径值pi，变焦位置pz和焦点位置Pf的整数值，获得成为插值源的各项校正数据 241。这些是 Tcal [Pii] [p J [pfi] [y] [c]和 Tcal [Pii+1] [pzi+l] [pfi+l] [y] [c]。 另外，利用成为插值源的校正数据对1，和孔径值pi，变焦位置pz和焦点位置Pf的各个小数值Pif，Pzf和Pff，进行三维线性插值。按照这种方式计算的插值数值是同心象差校正量 Timgl [y] [c]0另外，同心象差校正量Timgl [y] [c]的数目也是(nyXnc) 0另外，尽管这里利用线性插值计算同心象差校正量Timgl [y] [c]，不过也可采用另一种插值处理方法或另一种计算方法。随后，图像高度计算单元212计算在根据校正目标图像信号的像素阵列形成的图像上的中心像素坐标C(h0，W0)(步骤S903)。当计算后面说明的每个处理目标像素P(m，n) 的图像高度时，使用中心像素坐标C。这里，在上面提及的图像上，中心像素坐标C(h0，W0) 对应于响应同心象差分量而获得的光轴的位置。这对应于在不考虑任何安装误差的理想状态下，成像元件的成像平面上的透镜光轴的位置。另外，作为这种情况下的像素阵列，例如存在Bayer阵列。另外，作为中心像素坐标C(h0，W0)的计算处理的最简单例子，当由构成校正目标图像信号的所有颜色形成的图像的垂直方向大小和水平方向大小分别为h和w时，中心像素坐标被计算为C(h/4，W/4)。不过在这方面，实际上在一些情况下，中心像素坐标C (h0，W0)被设定为根据光学透镜单元101的设计条件等，相对于成像元件的成像平面，透镜光轴被移动到的位置。在这种情况下，理想的是计算透镜光轴的上述偏移量被反映到的中心像素坐标C(h0，w0)。另外，由于在这种情况下，透镜光轴的位置被固定，因此代替执行在步骤S903中执行的计算处理，可以进行其中保存中心像素坐标C(h0，wO)的值，并且读出这些值的处理。另外，例如，存在其中透镜光轴被物理倾斜的手抖动校正功能。当按照本发明的实施例的摄像机100 包括这样的手抖动校正功能时，理想的是按照响应手抖动校正控制而变化的透镜光轴相对于图像的位置，动态地计算中心像素坐标C(hO，WO)的值。因此，与由手抖动校正控制引起的透镜光轴的位置的变化无关，能够以较高的准确度进行倍率色差校正。随后，图像高度计算单元212计算与100%图像高度对应的距离(100%图像高度关联距离)rlO (步骤S904)。在由校正目标图像信号的像素阵列形成的图像平面上，100% 图像高度指示离图像平面的中心最远的位置的图像高度。从而，例如，100%图像高度关联距离rlO是从四边形图像平面的对角形的交点到四边形图像平面的角的直线距离。不过在这方面，这里假定100%图像高度关联距离rlO是只包括成为随后进行的处理的目标的R或 B的颜色像素的颜色图像平面上的直线距离。例如，当像素阵列是Bayer阵列时，只包括R 像素的颜色图像平面(R图像平面)为h/2高和w/2宽。按照相同的方式，只包括B像素的颜色图像平面(B图像平面)也为V2高和w/2宽。从而，R图像平面和B图像平面的每个 100%图像高度关联距离都用下述表达式表示。另外，在下述表达式中，“sqrt”表示平方根运算。sqrt ((h/4)2+ (w/4)2)随后，例如，颜色像素选择单元211向指示处理目标颜色的变量c赋值“O” (步骤 S905)。在本发明的一个实施例中，假定对应于“O”的变量c的处理目标颜色为红色(R)，对应于“1”的变量c的处理目标颜色为蓝色(B)。之后，颜色像素选择单元211从校正目标图像信号中，提取由当前变量c指示的处理目标颜色的子采样图像(步骤S906)。即，颜色像素选择单元211提取仅仅包括变量c指示的处理目标颜色的像素的图像信号。之后，对于指示构成处理目标颜色的子采样图像的像素之中的处理目标像素P的坐标的变量(m，n)的组合，颜色像素选择单元211设定初始值(步骤S907)。例如，指示处理目标像素P的坐标(m，n)的数据被传给图像高度计算单元212。例如，图像高度计算单元212计算从颜色像素选择单元211传来的处理目标像素坐标P (m, η)的径向距离r (步骤S908)，此外把计算的径向距离r转换成图像高度值yr (步骤S909)。首先，例如，利用处理目标像素P(m，n)的各个坐标值和在上述步骤S903中计算的中心像素坐标(hO，w0)，按照下述表达式能够计算径向距离r。r = sqrt ((m_hO)2+ (n-wO)2)随后，按照下面的表达式，能够计算处理目标像素P(m，η)对应的图像高度值y,。 在下面的表达式中，对应于图像高度100%的图像高度值为ny-Ι。另外，r 10指示在上述步骤S904中计算的100%图像高度关联距离。yr = (r/rlO) X (ny-1)另外，按照上面的表达式计算的图像高度值L包括整数部分(i)和小数部分(f)， 从而，图像高度值It用下述表达式表示。yr = yri+yrf
随后，同心象差校正量计算单元213进行计算与处理目标像素P对应的同心象差校正量M的处理(步骤S910)。为了进行这个处理，首先，同心象差校正量计算单元213从颜色像素选择单元211输入指示当前变量c的处理目标颜色信息。另外，同心象差校正量计算单元213从图像高度计算单元212输入在上述步骤S909中计算的图像高度值y-基于此，根据当前变量c和图像高度值It的整数部分yH，同心象差校正量计算单元213从在步骤S902中计算的同心象差校正量Timgl之中选择两个后面的校正量。即，同心象差校正量计算单元213选择由Timgl [yj [c]指定的校正量，和由Timgl [yH+l] [c]指定的校正量。随后，利用同心象差校正量Timgl[yJ [c]和Timgl [yri+l] [c]，及图像高度值yr， 同心象差校正量计算单元213计算关于处理目标像素P的同心象差校正量M。例如，也可按照基于下述表达式的线性插值计算，计算同心象差校正量M。另外，同心象差校正量M是校正倍率。
_ M =Yj Timgl[yn + i\ch\ {(1 - /)+ (- l)Z+1 . yrf }
z = 0随后，如图14中所示，均勻象差校正量计算单元214进行计算均勻象差校正量 Timg2的处理(步骤S911)。为此，首先利用在上述步骤S901中获得的孔径值Pi，变焦位置 Pz和焦点位置Pf，均勻象差校正量计算单元214获得必需的校正数据251。S卩，均勻象差校正量计算单元214从均勻象差校正数据表250读出和获得由Tca2[Pii] [pzi] [pfi] [d] [c]指定的所有各项校正数据251。另外，均勻象差校正量计算单元214读出和获得由Tca2 [Pii+1] [pzi+l] [pfi+l] [d] [c]指定的所有各项校正数据 251。作为 Tca2[Pii] [ρ J [pfi] [d] [c]获得的校正数据251的项数为4(mdXmc)。按照相同的方式，作为Tca2[Pii+l] [pzi+l] [pfi+l] [d] [c]获得的校正数据251的项数也为4。随后，利用按照如上所述的方式获得的Tca2[Pii] [PJ [pfi] [d] [c]和Tca2[Pii+l] [pzi+l] [pfi+l] [d] [C]，均勻象差校正量计算单元214进行下述计算。从而，计算均勻象差校正量 Timg2[d] [c]。
0277]
权利要求
1.一种图像处理设备，包括 同心象差校正量计算单元，所述同心象差校正量计算单元被配置成相对于输入图像信号中的处理目标像素，计算作为倍率色差的分量的同心象差的同心象差校正量，同心象差导致从图像的中心同心地发生色移；均勻象差校正量计算单元，所述均勻象差校正量计算单元被配置成相对于处理目标像素，计算作为倍率色差的分量的均勻象差的均勻象差校正量，所述均勻象差导致在整个图像上均勻地发生色移方向和色移量；和像素值校正单元，所述像素值校正单元被配置成根据计算的同心象差校正量和计算的均勻象差校正量，校正处理目标像素的像素值。
2.按照权利要求1所述的图像处理设备，还包括同心象差校正数据保持单元，所述同心象差校正数据保持单元被配置成保存与至少包括光的颜色和图像高度的组合的每种同心象差条件对应的同心象差校正量，作为同心象差校正量数据；和均勻象差校正数据保持单元，所述均勻象差校正数据保持单元被配置成保存与至少包括光的颜色的每种均勻象差条件对应的均勻象差校正量，作为均勻象差校正量数据，其中同心象差校正量计算单元选择和处理目标像素对应于的同心象差条件对应的同心象差校正量数据，并利用选择的同心象差校正量数据计算同心象差校正量，均勻象差校正量计算单元选择和处理目标像素对应于的均勻象差条件对应的均勻象差校正量数据，并利用选择的均勻象差校正量数据计算均勻象差校正量。
3.按照权利要求2所述的图像处理设备，其中同心象差校正量数据指示与响应同心象差条件而发生的图像高度方向的色移量对应的校正量，均勻象差校正量数据指示与响应均勻象差条件而发生的色移量和色移方向对应的校正量。
4.按照权利要求2所述的图像处理设备，其中均勻象差校正量数据包括与对作为目标的预定区域测量的水平方向色移量对应地获得的水平方向校正量，所述预定区域包括经过拍摄图像的中心部分的虚拟垂直线；和与对作为目标的预定区域测量的垂直方向校正量对应地获得的垂直方向校正量，所述预定区域包括经过拍摄图像的中心部分的虚拟水平线。
5.按照权利要求2所述的图像处理设备，其中同心象差校正量数据指示与同心象差条件对应的校正量，所述同心象差条件包括光的颜色，图像高度，和当拍摄作为输入图像信号的来源的图像时使用的预定透镜控制信息的组合，均勻象差校正量数据指示与均勻象差条件对应的校正量，所述均勻象差条件包括光的颜色和当拍摄输入图像信号的图像时使用的预定透镜控制信息的组合。
6.按照权利要求5所述的图像处理设备，其中透镜控制信息是指示透镜单元中的一个或多个预定活动部分中的每一个的控制状态的信息。
7.按照权利要求2所述的图像处理设备，其中从以透镜的特性为基础的模拟计算同心象差校正量数据。
8.按照权利要求1所述的图像处理设备，还包括均勻象差分量关联边缘检测单元，所述均勻象差分量关联边缘检测单元被配置成从输入图像信号中检测与均勻象差对应的边缘；和同心象差分量关联边缘检测单元，所述同心象差分量关联边缘检测单元被配置成从像素值校正单元已根据均勻象差校正量校正了其像素值的输入图像信号中，检测与同心象差对应的边缘，其中均勻象差校正量计算单元根据由于均勻象差而在均勻象差分量关联边缘检测单元检测的每个边缘中出现的色移量，计算处理目标像素的均勻象差校正量，同心象差校正量计算单元根据由于同心象差而在同心象差分量关联边缘检测单元检测的每个边缘中出现的色移量，计算处理目标像素的同心象差校正量，像素值校正单元根据同心象差校正量，校正已根据均勻象差校正量校正的处理目标像素的像素值。
9.按照权利要求8所述的图像处理设备，其中均勻象差分量关联边缘检测单元检测在输入图像信号的图像中的水平径向方向的图像部分附近的垂直方向的边缘，和检测在输入图像信号的图像中的垂直径向方向的图像部分附近的水平方向的边缘，同心象差分量关联边缘检测单元检测在输入图像信号的图像中、至少一个预定径向方向中的每个径向方向的图像部分附近的径向方向的边缘。
10.按照权利要求8所述的图像处理设备，其中均勻象差分量关联边缘检测单元和同心象差分量关联边缘检测单元都相对于每个检测的边缘，检测所述边缘的像素值的变化方向的种类，均勻象差校正量计算单元利用与由均勻象差分量关联边缘检测单元检测的像素值的变化方向的种类相关的统计结果，计算均勻象差校正量，同心象差校正量计算单元利用与由同心象差分量关联边缘检测单元检测的、相对于每个检测边缘的像素值的变化方向的种类相关的统计结果，计算同心象差校正量。
11.按照权利要求1所述的图像处理设备，还包括同心象差校正数据保持单元，所述同心象差校正数据保持单元被配置成保存与至少包括光的颜色和图像高度的组合的每种同心象差条件对应的同心象差校正量，作为同心象差校正量数据；和均勻象差分量关联边缘检测单元，所述均勻象差分量关联边缘检测单元被配置成从输入图像信号中检测与均勻象差对应的边缘，其中同心象差校正量计算单元选择与处理目标像素对应于的同心象差条件对应的同心象差校正量数据，并利用选择的同心象差校正量数据计算同心象差校正量，均勻象差校正量计算单元根据由于均勻象差而在均勻象差分量关联边缘检测单元检测的每个边缘中出现的色移量，计算处理目标像素的均勻象差校正量。
12.—种图像处理方法，包括下述步骤相对于输入图像信号中的处理目标像素，计算作为倍率色差的分量的同心象差的同心象差校正量，同心象差导致从图像的中心同心地发生色移；相对于处理目标像素，计算作为倍率色差的分量的均勻象差的均勻象差校正量，所述均勻象差导致在整个图像上均勻地发生色移方向和色移量；和根据计算的同心象差校正量和计算的均勻象差校正量，校正处理目标像素的像素值。
13. 一种程序，所述程序使计算机执行同心象差校正量计算过程，用于相对于输入图像信号中的处理目标像素，计算作为倍率色差的分量的同心象差的同心象差校正量，同心象差导致从图像的中心同心地发生色移；均勻象差校正量计算过程，用于相对于处理目标像素，计算作为倍率色差的分量的均勻象差的均勻象差校正量，所述均勻象差导致在整个图像上均勻地发生色移方向和色移量；禾口像素值校正过程，用于根据计算的同心象差校正量和计算的均勻象差校正量，校正处理目标像素的像素值。
全文摘要
本发明涉及一种图像处理设备，图像处理方法和程序。所述图像处理方法包括下述步骤相对于输入图像信号中的处理目标像素，计算作为倍率色差的分量的同心象差的同心象差校正量，同心象差导致从图像的中心同心地发生色移；相对于处理目标像素，计算作为倍率色差的分量的均匀象差的均匀象差校正量，所述均匀象差导致在整个图像上均匀地发生色移方向和色移量；和根据计算的同心象差校正量和计算的均匀象差校正量，校正处理目标像素的像素值。
文档编号H04N9/04GK102316326SQ20111014588
公开日2012年1月11日 申请日期2011年6月1日 优先权日2010年6月30日
发明者入泽元太郎, 加藤卓也, 姜亨明, 木下弘征, 桥野司, 湊笃郎, 西尾研一 申请人:索尼公司