专利名称：图像记录/再现装置、图像拾取装置以及色像差校正方法
技术领域：
本发明涉及一种图像记录和再现装置、图像拾取装置以及色像差(chromatic aberration)校正方法，其中，可以顺利地校正在拾取穿过图像拾取透镜的图像光时产生的色像差，并且，本发明具体涉及一种适于在例如摄像机或数字静止照相机中使用的图像记录和再现装置、图像拾取装置以及色像差校正方法。
背景技术：
例如，摄像机或数字静止照相机包括图像拾取透镜；用于将穿过该图像拾取透镜的图像光转换成电图像信号的图像拾取部件；以及照相机信号处理部件，用于处理该图像信号，其中，输出信号从该照相机信号处理部件输出到外部，并被记录在记录介质中。
这里，使用被称为光学透镜的透镜作为图像拾取透镜。此外，例如，来自对象(object)、穿过该图像拾取透镜的图像光被分光滤光器(spectroscopicfilter)分离成三原色红(R)、绿(G)和蓝(B)光；该图像光被聚焦在由CCD、CMOS传感器等形成的图像拾取部件的图像拾取表面上；并被转换成电图像信号。
另一方面，在摄像机或数字静止照相机中迅速推进小型化，并且图像拾取透镜也需要该小型化。因此，为了使图像拾取透镜小型化，经常用使用单个透镜或少许透镜的图像拾取透镜来代替如前所述的组合并使用多个透镜的图像拾取透镜。此外，为了实现小型化，现有技术中的透镜被具有较小直径的透镜所代替，并且出于降低价格的目的而被采用廉价材料的透镜所代替。然而，采用这种小型化的图像拾取透镜，难以充分控制在透镜中产生的诸如所谓的色像差的画面质量降低。
具体地说，在光学透镜中，在由例如分光滤光器分离的红(R)、绿(G)以及蓝(B)的每个波长下，透镜的折射率不同，使得发生这样的现象，其中，例如如图5所示，红色(R)图像形成于绿色(G)图像外部，而蓝色(B)图像形成于绿色(G)图像内部。因此，存在这样的问题，其中，例如，即使在拍摄单色图像的情况下，也会在图像边缘出现颜色模糊(blur)(色移(color shift))。
因此，为了控制由于这种放大的色差(也称为横向色像差)而导致的诸如颜色模糊或分辨率降低等的画面质量劣化，通常组合大量透镜，以在图像拾取透镜内部进行校正。然而，在上述小型化图像拾取透镜中，仅在图像拾取透镜内部充分控制这种画面质量劣化变得困难。
为了应付这种困难，以前提出了一种例如在公开的日本专利申请第H5-3568中公开的装置，作为用于控制上述由于放大的色差而导致的诸如颜色模糊或分辨率降低的画面质量劣化的手段。
具体地说，在所公开的装置中，从CCD(图像拾取器件)导出的R、G、B的每种颜色的图像信号被一次转换成数字数据，并分别被临时存储在单独的场存储器(field memory)中；此外，基于图像拾取透镜的驱动状态如变焦距(zoom focall length)和焦点位置，可以通过单独移动每个整个场存储器的矢量来放大或缩小存储在每个场存储器中的每个图像，并随后再次组合R、G、B，以校正在摄像机的图像拾取透镜中出现的色移。
同时，当利用例如手持的小型摄像机或数字静止照相机拍摄图像时，存在可能发生由于所谓的照相机抖动等导致的图像模糊的可能性。因此，为了消除诸如图像模糊的缺点，在小型摄像机或数字静止照相机中安装了称为照相机抖动校正器件的器件。图6示出了安装了照相机抖动校正器件的摄像机或数字静止照相机的方框图。
在图6中，来自对象(未示出)、穿过图像拾取透镜50的图像光在包括CCD、CMOS传感器等的图像拾取部件51的图像拾取表面上形成图像，并被转换成电图像信号，其中所述电图像信号包括例如亮度(intensity)(Y)信号和两个色差(color-difference)(Cb、Cr)信号。该图像信号被提供给照相机-信号处理电路52，在照相机-信号处理电路52中，进行诸如所谓的γ校正的信号处理，以便产生用于通用视频设备的普通图像信号。
另一方面，为了检测所谓的照相机抖动，在此示例中，使用例如两个陀螺传感器(gyro-sensor)53P和53Y来检测在俯仰(Pitch)和偏转(Yaw)方向上由于照相机抖动而导致的角速度。此外，从图像拾取透镜50中检测由例如用户操作的图像拾取透镜50的变焦距。此外，为了检测变焦距，可以采用来自例如由用户操作的手动输入部件54的操作信号。
此外，将陀螺传感器53P和53Y检测到的角速度信号提供给高通滤波器(HPF)55P和55Y，在这里去除DC分量；另一方面，将关于上述变焦距的数据提供给表56，并从那些数据中查找必要的操作系数；并且这些操作系数被提供给乘法器57P和57Y，并在那里与来自高通滤波器55P和55Y的信号相乘。此外，还分别将来自乘法器57P和57Y的输出信号提供给积分器58P和58Y。
因此，从那些积分器58P和58Y导出关于由照相机抖动改变的图像拾取透镜50的角度的信息。将关于照相机抖动的角度信息通过限幅电路(limitercircuit)59P和59Y提供给例如图像拾取部件51，并且控制从图像拾取部件51取出图像信号的位置。具体地说，例如，图像拾取部件51被提供有比原始图像的大小更宽的图像拾取表面，并且从该图像拾取表面上取出必要的图像，以便清除由于照相机抖动导致的波动。
以这一方式，在小型摄像机或数字静止照相机中执行所谓的照相机抖动校正。此外，也可以采用下面的方法，作为除了如上所述控制从照相机部件51取出图像信号的位置以外进行照相机抖动校正的手段，其中，由图像拾取部件51拾取的所有图像信号被一次存储在存储器60中，并随后控制从存储器60读出图像信号的位置，或者移动图像拾取透镜50的部分透镜位置，以进行校正。
此外，除了使用上述陀螺传感器53P和53Y以外，还可以利用其它手段来取出关于由照相机抖动改变的图像拾取透镜50的角度的信息；例如，如图7所示，通过将来自图像拾取部件51的图像信号存储在帧存储器61中，并随后在比较器电路62中将该帧存储器61之前和之后的图像信号互相比较，可以从背景等中的图像的位移计算关于照相机抖动的角度信息。此外，可以在所有上述照相机抖动校正手段中使用所计算的关于照相机抖动的角度信息。
然而，已经证实，在执行这种照相机抖动校正时，如果试图补偿由于放大的色差导致的诸如颜色模糊或分辨率降低的画面质量劣化，则不能进行充分地校正。具体地说，在上述设备中，当移动每个整个场存储器的矢量时，中心必须与图像拾取透镜的光轴一致；然而，如果执行照相机抖动校正，则光轴的位置被移动，并且难以与中心一致。
由于该原因，在过去，不能与照相机抖动校正同时执行对例如由于色像差导致的画面质量劣化的补偿。然而，在具有少量像素的传统类别的系统中，特别是在拍摄需要照相机抖动校正的画面时，例如由于色像差导致的画面质量劣化较不明显。然而，后来，作为要求画面像素数量增大的结果，由于色像差等导致的画面质量劣化的影响在每种情形下都变得显著。
具体地说，当通过如上所述使每种颜色的图像放大和缩小来执行对画面质量劣化的补偿时，存在这样的问题不能同时进行照相机抖动校正。因此，本专利申请的发明者之前已经在日本专利申请第2002-59191号中提出了一种图像记录和再现装置、图像拾取装置以及色像差校正方法，以便解决在补偿画面质量劣化和照相机抖动校正之间的上述问题。
然而，作为对在上述小型摄像机或数字静止照相机中的图像拾取透镜内发生的色移的验证的结果，所发生的色移量也受到光圈(iris)的孔径大小和图像拾取透镜中对象的透镜图像高度的影响。应当注意，对象的透镜图像高度是在相关对象的图像中距以光轴为中心的坐标的距离。
图8示出了在距底部分别为图像高度0.0、图像高度0.5、图像高度0.7、图像高度0.9和图像高度1.0的点处，光圈孔径大小(水平轴)和三原色(红R、绿G、和蓝B)光的成像位置的移动量(垂直轴)之间的关系，其中将透镜中心表示为图像高度0.0，而将透镜边缘表示为图像高度1.0。在该图的左侧示出了光轴的垂直平面(切向)的特性，而在该图的右侧示出了光轴的水平平面(径向(sagitial))的特性。此外，缩放位置和焦点位置固定在某些点处。
具体地说，在图8所示的每条曲线中，为每种颜色(R、G、B)绘制根据每个图像高度点的光经过图5示出的光圈孔径的位置而产生的色像差的大小。注意，在左侧的切向特性曲线中，水平轴的正侧示出了穿过光圈孔径上部的光的特性，而其负侧示出了穿过光圈孔径下部的光的特性。此外，在右侧的径向特性曲线中省略了负侧，这是因为该特性是对称地出现的。
此外，对切向和径向方向，垂直轴上的单位是毫米，并且正侧表示透镜的外侧，而负侧表示靠近透镜中心的一侧。此外，绿色(G)的特性曲线经过零点，并且其它红色(R)和蓝色(B)的特性曲线以对于绿色(G)的相对值表示。
因此，从图8了解到，色像差出现的方向及其大小根据图像拾取透镜中光圈的孔径大小以及对象的透镜图像高度而波动。因此，存在不仅校正在上述透镜中出现的色差、还针对光圈的孔径大小和对象的透镜图像高度而校正在图像拾取透镜中产生的色移的必要性。
本申请是考虑到上述问题而作出的，并且旨在解决以下问题由于图像拾取透镜等的小型化而导致的放大色像差引起的诸如颜色模糊和分辨率降低的画面质量劣化、仅通过图像拾取透镜来充分控制这种画面质量劣化的困难、以及还针对图像拾取透镜中的光圈孔径大小以及对象的透镜图像高度来校正在图像拾取透镜中产生的色移的必要性。
发明内容
在本发明的权利要求1中，使用用于放大或缩小每种原色信号的图像的部件、以及用于检测光圈的驱动状态和其中的对象的透镜图像高度的部件，来控制转换系数和以光轴为中心的坐标，以便根据所检测的信号放大或缩小该图像。
因此，在小型化的图像拾取透镜中出现的画面质量劣化可以通过处理所拾取的图像信号来校正，并且还可以针对光圈的孔径大小以及图像拾取透镜中的对象的透镜图像高度来执行很好的校正处理。
此外，根据本发明的权利要求2，由于包括用于将从分辨率转换部件输出的信号转换或逆转换成外部输出图像信号或记录图像信号的信号转换部件、用于输出外部输出图像信号的外部输出部件、以及/或者用于在记录介质中记录或再现记录图像信号的记录和再现部件，因此，可以将对其执行校正处理的图像信号记录在诸如软盘和半导体存储卡的记录介质中，并且还可以将其输出到外部视频装置等中。
根据本发明的权利要求3，由于可以将从照相机信号处理部件输出的信号通过记录和再现部件记录在记录介质中，并且将关于在拾取图像时由检测部件检测的图像拾取透镜的驱动状态和照相机抖动校正量的信息、与从照相机信号处理部件输出的信号一起记录在记录介质中，因此，即使在连续拍摄等时没有时间进行校正处理的情况下，也能很好地记录图像信号。
根据本发明的权利要求4，包括切换部件，用于在从照相机信号处理部件输出的信号和来自任意外部输入部件或记录和再现部件的图像信号之间进行切换，来自该切换部件的信号被提供给颜色信号转换部件，并且，控制部件被提供有用户接口(interface)，用来对用于放大或缩小的转换系数和以光轴为中心的坐标进行任意设置，使得可以很好地执行由其它照相机装置记录的图像信号的校正处理。
根据本发明的权利要求5，将关于在拾取图像信号时由检测部件检测的图像拾取透镜的驱动状态以及照相机抖动校正量的信息与所述图像信号一起记录在由记录和再现部件再现的记录介质中，根据由记录和再现部件再现的信息来控制分辨率转换部件中用于放大或缩小的转换系数和以光轴为中心的坐标，使得可以使用相同的照相机装置来很好地执行记录在记录介质中的图像信号的校正处理。
根据本发明的权利要求6，使用屏幕上所检测的像素的坐标和以光轴为中心的坐标之间的差来检测对象的透镜图像高度，从而能够很好地执行图像信号的校正处理。
根据本发明的权利要求7，包括能够控制聚焦位置的自动调焦部件，受到控制的聚焦位置的坐标表示所检测的整个屏幕的像素，并被用于检测对象的透镜图像高度，从而可以简化对未聚焦部分的色像差校正，并且可以显著减少电路规模、处理时间、功率消耗、控制软件、透镜数据存储存储器等。
根据本发明的权利要求8，进一步检测图像拾取透镜的驱动状态以及照相机抖动校正量，除了所述所检测的输出之外，还根据所述进一步检测的输出，控制分辨率转换部件中用于放大或缩小的转换系数和以光轴为中心的坐标，从而可以执行更好的图像信号校正处理。
此外，根据本发明的权利要求9，使用用于放大或缩小每种原色信号的图像部件、以及用于检测光圈的驱动状态以及其中的对象的透镜图像高度的部件，来根据所检测的信号控制用于图像的放大或缩小的转换系数和以光轴为中心的坐标。
因此，在小型化的图像拾取透镜中发生的画面质量劣化可以通过处理所拾取的图像信号来进行校正，并且还可以针对图像拾取透镜中的光圈孔径大小以及对象的透镜图像高度来执行很好的校正处理。
此外，根据本发明的权利要求10，由于包括用于将从分辨率转换部件输出的信号转换或逆转换成外部输出图像信号或记录图像信号的信号转换部件、用于输出外部输出图像信号的外部输出部件、以及/或者用于在记录介质中记录或再现记录图像信号的记录和再现部件，因此可以将对其执行校正处理的图像信号记录在诸如软盘和半导体存储卡的记录介质中，并且还可以将其输出到外部视频装置等中。
根据本发明的权利要求11，由于可以将从照相机信号处理部件输出的信号通过记录和再现部件记录在记录介质中，并且将关于在拾取图像时由检测部件检测的图像拾取透镜的驱动状态和照相机抖动校正量的信息、与从照相机信号处理部件输出的信号一起记录在该记录介质中，因此，即使在连续拍摄等时没有时间进行校正处理的情况下，也可以很好地记录图像信号。
根据本发明的权利要求12，包括切换部件，用于在从照相机信号处理部件输出的信号和来自任意外部输入部件或记录和再现部件的图像信号之间进行切换，来自该切换部件的信号被提供给颜色信号转换部件，并且，控制部件被提供有用户接口，用来对用于放大或缩小的转换系数和以光轴为中心的坐标进行任意设置，使得可以很好地执行由其它照相机装置记录的图像信号的校正处理。
根据本发明的权利要求13，将关于在拾取图像信号时由检测部件检测的图像拾取透镜的驱动状态以及照相机抖动校正量的信息与所述图像信号一起记录在由记录和再现部件再现的记录介质中，根据由记录和再现部件再现的信息来控制分辨率转换部件中用于放大或缩小的转换系数和以光轴为中心的坐标，使得可以使用相同的照相机装置来很好地执行记录在记录介质中的图像信号的校正处理。
根据本发明的权利要求14，使用屏幕上所检测的像素的坐标和以光轴为中心的坐标之间的差来检测对象的透镜图像高度，从而能够很好地执行图像信号的校正处理。
根据本发明的权利要求15，包括能够控制聚焦位置的自动调焦部件，受到控制的聚焦位置的坐标表示所检测的整个屏幕的像素，并被用于检测对象的透镜图像高度，从而可以简化对未聚焦部分的色像差校正，并且可以显著减少电路规模、处理时间、功率消耗、控制软件、透镜数据存储存储器等。
根据本发明的权利要求16，进一步检测图像拾取透镜的驱动状态以及照相机抖动校正量，包括所检测的检测输出，控制分辨率转换部件中用于放大或缩小的转换系数，并且执行对以光轴为中心的坐标的放大或缩小的控制，从而可以执行更好的图像信号校正处理。
此外，根据本发明的权利要求17，使用用于放大或缩小每种原色信号的图像部件、以及用于检测图像拾取透镜中光圈的驱动状态和对象的透镜图像高度的部件，来根据所检测的信号控制用于图像的放大或缩小的转换系数和以光轴为中心的坐标。
因此，在小型化的图像拾取透镜中发生的画面质量劣化可以通过处理所拾取的图像信号来进行校正，并且还可以针对图像拾取透镜中的光圈孔径大小以及对象的透镜图像高度来执行很好的校正处理。
此外，根据本发明的权利要求18，将从分辨率转换部件输出的信号转换成外部输出图像信号或记录图像信号，并且输出该外部输出图像信号，以及/或者将该记录图像信号记录在记录介质中，使得可以将对其执行校正处理的图像信号记录在诸如软盘以及半导体存储卡的记录介质中，并且还可以将其输出到外部视频装置等中。
根据本发明的权利要求19，由于可以将从照相机信号处理部件输出的信号记录在记录介质中，并且将关于在拾取图像时检测的图像拾取透镜中光圈的驱动状态和对象的透镜图像高度的信息、或者与其对应的校正信息与所述输出信号一起记录在记录介质中，因此，即使在连续拍摄等时没有时间进行校正处理的情况下，也能很好地记录图像信号。
根据本发明的权利要求20，包括切换部件，用于在从照相机信号处理部件输出的信号和来自任意外部输入或记录介质的图像信号之间切换，来自切换部件的信号被转换成至少三种原色信号，针对原色信号的每种颜色进行图像的放大或缩小，并对用于放大或缩小的转换系数以及以光轴为中心的坐标进行任意设置，使得可以很好地对由其它照相机装置记录的图像信号的校正处理。
根据本发明的权利要求21，将关于在拾取图像信号时由检测部件检测的光圈的驱动状态和照相机抖动校正量的信息、或者其对应的校正信息与所述图像信号一起记录在由记录和再现部件再现的记录介质中，并且根据所再现的信息控制用于放大或缩小的转换系数和以光轴为中心的坐标，使得能够使用相同的照相机装置来很好地执行对记录在记录介质中的图像信号的校正处理。
根据本发明的权利要求22，使用屏幕上所检测的像素的坐标和以光轴为中心的坐标之间的差来检测对象的透镜图像高度，从而能够很好地执行图像信号的校正处理。
根据本发明的权利要求23，包括能够控制聚焦位置的自动调焦部件，受到控制的聚焦位置的坐标表示所检测的整个屏幕的像素，并被用于检测对象的透镜图像高度，从而可以简化对未聚焦部分的色像差校正，并且可以显著减少电路规模、处理时间、功率消耗、控制软件、透镜数据存储存储器等。
根据本发明的权利要求24，进一步检测图像拾取透镜的驱动状态以及照相机抖动校正量，包括所检测的检测输出，控制分辨率转换部件中用于放大或缩小的转换系数，并且执行对以光轴为中心的坐标的放大或缩小的控制，从而可以执行更好的图像信号校正处理。
图1是示出摄像机或数字静止照相机的配置的方框图，其中，对所述摄像机或数字静止照相机应用了根据本发明实施例的图像记录和再现装置、图像拾取装置或色像差校正方法；图2是示出其相关部件的配置的实施例的方框图；图3A和3B是用于解释其操作的图；图4A和4B是用于解释自动聚焦处理的图；图5是用于解释色像差和光圈的图；图6是用于解释传统照相机抖动校正部件的方框图；图7是用于对其进行解释的示图；图8是示出在每个图像高度处光圈孔径大小与光的三原色的成像位置的移动量之间关系的特性曲线图。
具体实施例方式
本发明包括用于对原色信号的每个颜色执行图像的放大或缩小的部件、以及用于检测图像拾取透镜中的光圈的孔径大小和对象的透镜图像高度的部件，其中，根据检测输出来控制用于图像的放大或缩小的转换系数以及以光轴为中心的坐标；并且，据此，可以通过处理所拾取的图像信号来校正小型化的图像拾取透镜中发生的画面质量降低，并且还可以在图像拾取中针对光圈的孔径大小以及对象的透镜图像高度进行很好的校正处理。
下面，参考附图对本发明进行解释；图1是示出摄像机或数字静止照相机的配置的实施例的方框图，其中，对所述摄像机或数字静止照相机应用了根据本发明的图像记录和再现装置、图像拾取装置和色像差校正方法。
在图1中，来自对象(未示出)的图像光通过图像拾取透镜1聚焦在由CCD、CMOS传感器等构成的图像拾取部件2的图像拾取表面上，并被转换成电图像信号，该电图像信号包括例如亮度信号(Y)以及两个色差(Cb、Cr)信号。
将该图像信号提供给A/D转换电路3，并将模拟格式的图像信号转换成数字格式的图像数据。此外，将该转换后的图像数据提供给照相机信号处理电路4，在数字处理中进行被称为γ-校正等的信号处理，并且形成用于通用视频装置的普通图像信号。此外，来自照相机信号处理电路4的输出信号由开关5选择，并被提供给色像差校正单元6。
另一方面，使用例如两个传感器7P和7Y来检测由于照相机抖动而导致的俯仰和偏转方向上的角速度，并且将检测到的信号提供给在例如控制微型计算机8中的照相机抖动校正矢量计算单元9。此外，检测诸如变焦距和焦点位置的图像拾取透镜1的驱动状态，并将其提供给转换比率计算单元10。应当注意，例如，用户从手动操作输入单元11输入的操作信号可用来检测图像拾取透镜1的驱动状态。
此外，例如，在控制微型计算机8内的照相机抖动校正矢量计算单元9中执行与由图6示出的上述电路配置中由交替的长和短虚线包围的处理等效的操作，其中，例如，利用该操作来获得由于照相机抖动而波动的图像拾取透镜的角度信息。此外，将在该控制微型计算机8中计算的照相机抖动校正矢量提供给例如图像拾取部件2，以便执行照相机抖动校正。
同时，从该照相机抖动校正矢量获得图像拾取透镜1的以光轴为中心的移动矢量(shift vector)，并将其提供给色像差校正单元6。具体地说，照相机抖动校正矢量相当于图像拾取透镜1的光轴中心的移动，并且，例如，根据该照相机抖动校正矢量来控制从图像拾取部件2中取出图像信号的位置。然后，通过将该照相机抖动校正矢量的正和负符号颠倒而获得所取出的图像信号中的以光轴为中心的移动矢量。
此外，检测在图像拾取透镜1中提供的光圈31的孔径大小，并将其提供给转换比率计算单元10。于是，来自使用光度计部件的自动孔径机构(未示出)的控制信号、或者来自手动操作输入部件11的操作信号例如可用于检测光圈31的孔径大小。具体地说，可以将这些控制信号和操作信号用作光圈31的孔径大小的检测信号。
此外，将正对其执行校正处理的像素的坐标从色像差校正单元6提供给转换比率计算单元10，并且获得与从照相机抖动校正矢量得到的图像拾取透镜1的光轴中心的上述移动矢量的差，作为对象的透镜图像高度。然后，根据光圈31的孔径大小和对象的透镜图像高度、以及图像拾取透镜1的诸如上述变焦距以及焦点位置的驱动状态，在控制微型计算机8中计算每种颜色的转换比率。
此外，将在控制微型计算机8中计算的该每种颜色的转换比率提供给色像差校正单元6。具体地说，根据光圈31的孔径大小、对象的透镜图像高度、图像拾取透镜1的变焦距和焦点位置等，确定由于图5示出的色像差导致的图像的改变比率KR和KB[红色(R)的图像大小的比率KR、和蓝色(B)的图像大小的比率KB，其中将绿色(G)的图像大小假设为1]，并且从这些检测信号中获得比率KR和KB。
首先，例如，从图8的特性曲线获得对于光圈31的孔径大小和对象的透镜图像高度的比率KR和KB。具体地说，在图8中，每种颜色的垂直方向的差对应校正量。然后，当缩小蓝光(B)的图像大小以便与例如绿光(G)的图像相匹配时，从图8的特性曲线中读出这两种颜色的成像位置的差。
此外，当在光圈31的任意孔径大小和对象的透镜图像高度下从图8的特性曲线读出的差是例如20μm、并且图像拾取部件2的单位单元(unit cell)尺寸是例如2.7μm×2.7μm时，所述差变为20μm/2.7μm＝7.4个像素，并且如果对蓝光(B)的图像执行如使整个图像缩小7.4个像素这种校正处理，则蓝光(B)的图像可以与绿光(G)的图像相匹配。
因此，可以从图8的上述特性曲线获得与光圈31的孔径大小和对象的透镜图像高度的比率KR和KB。此外，由于在图8的特性曲线中缩放位置和焦点位置固定在某个点处，因此通过将根据图像拾取透镜1的变焦距、焦点位置等的比率与以这种方式获得的比率KR和KB相加，获得用于在色像差校正单元6中执行的校正的最终转换比率。
此外，在色像差校正单元6中执行例如如图2所示的处理。具体地说，将来自开关5的信号提供给矩阵运算电路21，并且，例如，执行从例如上述亮度(Y)信号和两个色差(Cb、Cr)信号到三原色(R、G、B)信号的转换。将这些转换后的三原色(R、G、B)信号分别被写入在输入侧的图像存储器22R、22G和22B，并将该写入的图像数据提供给执行图像的放大/缩小的分辨率转换电路23。
此外，将上述关于转换比率的数据以及关于图像拾取透镜的光轴的移动矢量的数据提供给该分辨率转换电路23。此外，在该分辨率转换电路23中，根据上述关于图像拾取透镜的光轴的移动矢量的数据，对红(R)、绿(G)和蓝(B)的每个图像确定图像中的光轴中心位置，并且以此位置为中心，根据上述关于转换比率的数据，执行用于该图像的放大/缩小的分辨率转换。
然后，将来自该分辨率转换电路23的图像数据写入输出侧的图像存储器24R、24G和24B。注意，22R、22G和22B的图像存储器可以与24R、24G和24B的图像存储器共享。此外，读出写入图像存储器24R、24G和24B的图像数据，并将其提供给矩阵运算电路25，并且执行从例如三原色(R、G、B)信号到例如亮度(Y)信号和两个色差(Cb、Cr)信号的转换。
因此，当提供与如图3A所示被理想聚焦的图像相比具有如图3B左端所示的色像差的图像时，例如，在分辨率转换电路23中，将该图像分离成三原色(R、G、B)，在这三种颜色中，红色(R)的图像被缩小，而蓝色(B)的图像被放大，使得每个图像的大小相等。然后，再次组合三原色(R、G、B)的这些图像，并且形成与如图3B右端所示被理想聚焦的图像接近的图像。
此外，通过将此图像数据提供给矩阵运算电路25，例如，在上述分辨率转换电路23中再次形成为与理想聚焦的图像接近的图像的图像数据被再次转换为亮度(Y)信号和两个色差(Cb、Cr)信号，并被从色像差校正单元6取出。然后，由开关12选择从该色像差校正单元6取出的亮度(Y)信号和两个色差(Cb、Cr)信号、或者到色像差校正单元6的输入信号。
将由开关12选择的信号提供给显示处理电路13，并将其中例如亮度(Y)信号和两个色差(Cb、Cr)信号被转换成预定格式的显示信号的图像数据提供给诸如液晶显示器的显示装置14，并进行显示。可替换地，也可以将由该开关12选择的信号提供给外部输出部件(未示出)，以便将其输出到外部视频装置等。
此外，将由开关12选择的信号提供给数据压缩电路15，并且压缩后的图像数据通过数据插入电路16而被提供给记录和再现装置17，以便被记录在诸如软盘和半导体存储卡的记录介质中。此外，将来自记录和再现装置17的再现信号提供给数据解压缩电路18。然后，将解压缩后的图像数据提供给开关5，使得可以选择解压缩后的图像数据或来自上述照相机信号处理电路4的输出信号。
因此，在此装置中，在色像差校正单元6中校正色像差之后，在显示装置14中显示例如由图像拾取部件2拾取的图像数据，并且将校正后的图像数据记录在记录和再现装置17中的记录介质中。此外，在色像差校正单元6中校正色像差之后，还在显示装置14中显示从在记录和再现装置17中的记录介质再现的图像数据，并且还将校正后的图像数据记录在记录和再现装置17中的记录介质中。
因此，例如在拾取图像时记录在记录介质中而未校正色像差的图像数据在校正了该图像数据的色像差之后被显示在显示装置14中，并且可以使用该校正后的图像数据来重写记录在记录和再现装置17内的记录介质中的图像数据。具体地说，当在连续拍摄等时没有时间进行校正时，仅在拍摄时进行记录，并在再现时执行校正以重新记录校正后的数据。
此外，在该情况下，可以通过例如与该图像数据一起记录关于拾取图像时以光轴为中心的移动矢量的数据和关于转换比率的数据，来顺利地执行在再现时对图像数据的色像差的校正处理。
具体地说，在上述装置中，例如，关于来自照相机抖动校正矢量计算单元9的以光轴为中心的移动矢量的数据、以及关于来自转换比率计算单元10的转换比率的数据在数据I/O电路19中被制作成预定的数据格式，并在数据插入电路16中被插入来自数据压缩电路15的图像数据。此外，在数据I/O电路19中获得从记录和再现装置17再现的信号中包括的数据，并在再现时将其提供给色像差校正单元6中。
因此，当在诸如连续拍摄等拾取图像时没有时间进行校正的情况下，例如，与该图像数据一起记录关于拾取该图像时的以光轴为中心的移动矢量的数据、以及关于转换比率的数据。然后，在再现时，使用与图像数据一起记录的这些关于以光轴为中心的移动矢量的数据以及关于转换比率的数据，可以顺利地执行图像数据的色像差的校正处理，并且还可以执行校正后的数据的重新记录。
然而，使用这种在图像拾取时的以光轴为中心的移动矢量数据和转换比率数据的校正仅能在使用相同的照相机装置执行记录和再现的情况中。具体地说，即使型号相同，图像拾取透镜的光轴中心也会略微不同，并且利用另一照相机装置记录的数据可能不会被校正。因此，当判断记录和再现是否由相同的照相机装置执行时，与所述数据一起记录例如单个装置的ID代码。
此外，在上述装置中，转换比率计算单元10被提供有例如任意用户接口输入20，其中利用该用户接口输入20，可以任意改变例如上述转换比率数据，并且可以任意设置色像差校正单元6中的校正比率。因此，例如，在使用另一照相机装置记录的图像数据的情况下、以及在未与图像数据一起记录转换比率数据的情况下，可以使用该用户接口输入装置20来进行所希望的校正。
此外，当使用这种用户接口输入20执行所希望的校正时，例如，通过开关12来任意地选择图像数据，在色像差校正单元6中的校正之前的图像和在该校正之后的图像可被任意地切换并被显示在显示装置14上。因此，可以容易地比较校正前的图像和校正后的图像，并且可以顺利地执行在所希望的校正时由用户进行的操作。
例如，当将显示装置14用作取景器，并且当已经校正的图像数据被显示在显示装置14上而不经过色像差校正单元6时，也可以利用开关12来选择图像数据。此外，当在上述连续拍摄等情况下拾取图像的时候仅执行记录而不执行校正时，也利用开关12来选择图像数据。然而，当提供将输入输出到色像差校正单元6而不进行任何处理的通过模式(through mode)时，也可以将该通过模式用作开关12的替代方式。
因此，在上述实施例中，使用用于对原色信号的每种颜色执行图像放大或缩小的部件、以及用于检测在图像拾取透镜中光圈透镜的孔径大小和对象的透镜图像高度的部件，来根据检测输出控制用于图像的放大或缩小的转换系数以及以光轴为中心的坐标，使得可以通过处理所拾取的图像信号来校正在小型化的图像拾取透镜中发生的画面质量劣化，并且还可以针对图像拾取透镜中光圈的孔径大小以及对象的透镜图像高度进行很好的校正处理。
因此，根据本发明，可以容易地解决传统手段中的问题，其中，在传统手段中，由于图像拾取透镜的小型化等导致的放大色像差引起诸如颜色模糊和分辨率降低的画面质量劣化，仅仅通过图像拾取透镜来充分控制这种图像质量劣化较为困难，此外，也有必要针对图像拾取透镜中光圈的孔径大小和对象的透镜图像高度而校正在图像拾取透镜中发生的色移。
在上述实施例中，执行图像处理的点的坐标被用作透镜图像高度。具体地说，在图2中，基于从存储器控制器32提供给图像存储器22R、22G和22B的地址，获得执行图像处理的点的坐标。然后，将当前执行处理的图像中的点的坐标提供给图1的方框图中计算分辨率转换比率的控制微型计算机8。
因此，在控制微型计算机8中，认为受到处理的坐标和透镜中心的坐标之间的差等于透镜图像高度，并且基于这个差来计算色像差的大小，以获得分辨率转换比率。然而，利用这种方法，存在这样的可能性，即电路规模、处理时间、功率消耗、控制软件、透镜数据存储存储器等变得非常大。
因此，考虑使用例如在摄像机或数字静止照相机中采用的自动聚焦处理来减小这些电路规模等。因此，以下处理通常被称为例如自动聚焦。
具体地说，在图1中，提供一种或若干种具有变化的中心频率和通带幅度的高通滤波器，作为检测电路33。当监控来自滤波器的(所检测的)输出时，图像越靠近聚焦点，就出现越多图像细节(高频部分)，使得检测结果变得更大。此外，布置一种或若干种检测帧。随后，当移动这些检测帧并改变其大小时，在图像中检测应该被聚焦的对象或者不应被聚焦的对象。
随后，在移动检测帧以自动聚焦并改变其大小时在该图像中检测到焦点之后，将从此焦点的坐标到透镜轴中心的坐标的距离视为透镜图像高度的值，计算着重于透镜图像高度的色像差校正的量，并由此对聚焦在输出图像中的精细限定的部分进行最佳色像差校正，以获得显著的画面质量改善效果。
换句话说，当通过将更多重点置于聚焦部分而执行对代表点的处理时，即使图像高度不与图像的每个部分对应，也可以大大地简化控制色像差校正的方法。
这里，具体地说，例如，假设存在用于如图4A所示的自动聚焦的检测帧，并且每个帧的运动以及尺寸改变都是有可能的。用于自动聚焦的检测帧通常是在图像中心及其附近处的多路复用帧，并用来检测进出内部帧的对象的出现(appearance)。此外，还存在用于在不能识别要聚焦的点的情况下、或者在执行初始状态处理的情况下检测整个屏幕的帧。
随后，使用这些检测帧来对应(correspond with)透镜图像高度，其中，所述透镜图像高度是如图4B所示的与透镜中心坐标的距离。具体地说，在图4B中，按照近似同心的方式将图像高度的种类分成从1到6的若干种。此外，在存在聚焦对象的情况下，例如，在图4B的区域“3”中，将该区域“3”和透镜中心坐标之间的差作为透镜图像高度，计算与其对应的色像差校正量，并使用区域“3”的最佳分辨率转换比率来处理整个屏幕。
因此，可以对聚焦的精细限定的部分执行最佳色像差校正，可以简化对未聚焦部分的色像差校正，并且可以显著减少电路规模、处理时间、功率消耗、控制软件、透镜数据存储存储器等。
因此，根据上述图像记录和再现装置，包括图像拾取透镜；用于将穿过图像拾取透镜的图像光转换为电图像信号的图像拾取部件；照相机信号处理部件，用于处理该图像信号；颜色信号转换部件，用于将来自照相机信号处理部件的输出信号转换或逆转换成至少三原色信号；分辨率转换部件，用于执行原色信号的每种颜色的图像的放大或缩小；检测部件，用于检测图像拾取透镜中光圈的驱动状态和对象的透镜图像高度；以及控制部件，用于根据来自检测部件的检测输出，而控制分辨率转换部件中用于放大或缩小的转换系数和以光轴为中心的坐标，使得可以很好地校正例如在小型化的图像拾取透镜中发生的画面质量劣化。
此外，根据上述图像拾取装置，包括图像拾取透镜；用于将穿过图像拾取透镜的图像光转换为电图像信号的图像拾取部件；照相机信号处理部件，用于处理该图像信号；颜色信号转换部件，用于将来自照相机信号处理部件的输出信号转换或逆转换成至少三种原色信号；分辨率转换部件，用于执行原色信号的每种颜色的图像的放大或缩小；检测部件，用于检测图像拾取透镜中光圈的驱动状态以及对象的透镜图像高度；以及控制部件，用于根据来自检测部件的检测输出，控制分辨率转换部件中用于放大或缩小的转换系数以及以光轴为中心的坐标，使得可以很好地校正例如在小型化的图像拾取透镜中发生的画面质量劣化。
此外，根据在图像记录和再现装置或图像拾取装置中采用的上述色像差校正方法，其中所述图像记录和再现装置或图像拾取装置包括图像拾取透镜、用于将穿过图像拾取透镜的图像光转换为电图像信号的图像拾取部件、以及用于处理该图像信号的照相机信号处理部件，将来自照相机信号处理部件的输出信号转换为至少三种原色信号，对原色信号的每种颜色执行图像的放大或缩小，检测图像拾取透镜中光圈的驱动状态以及对象的透镜图像高度，并且根据其检测输出而控制用于放大或缩小的转换系数和以光轴为中心的坐标，使得可以很好地校正例如在小型化的图像拾取透镜中发生的画面质量劣化。
尽管已经描述了本发明的实施例，但是应当理解，本发明不限于这些实施例，而是可以在不背离本发明的精神或范围的情况下进行各种修改。
权利要求
1.一种图像记录和再现装置，包括图像拾取透镜；图像拾取部件，用于将穿过所述图像拾取透镜的图像光转换为电图像信号；照相机信号处理部件，用于处理所述图像信号；颜色信号转换部件，用于将来自所述照相机信号处理部件的输出信号转换或逆转换成至少三种原色信号；分辨率转换部件，用于对所述原色信号的每种颜色执行图像的放大或缩小；检测部件，用于检测所述图像拾取透镜中光圈的驱动状态和对象的透镜图像高度；以及控制部件，用于根据来自所述检测部件的检测输出，控制所述分辨率转换部件中用于放大或缩小的转换系数和以光轴为中心的坐标。
2.根据权利要求1的图像记录和再现装置，还包括信号转换部件，用于将来自所述分辨率转换部件的输出信号转换或逆转换成外部输出图像信号或记录图像信号；以及外部输出部件，用于输出所述外部输出图像信号，和/或记录和再现部件，用于在记录介质中记录或再现所述记录图像信号。
3.根据权利要求2的图像记录和再现装置，其中，在所述记录和再现部件中，将来自所述照相机信号处理部件的输出信号记录在所述记录介质中，并且关于在拾取图像时由所述检测部件检测到的、所述图像拾取透镜中的光圈的驱动状态和对象的透镜图像高度的信息或者与其对应的校正信息，与来自所述照相机信号处理部件的输出信号一起被记录在所述记录介质中。
4.根据权利要求1的图像记录和再现装置，还包括切换部件，用于在来自所述照相机信号处理部件的输出信号和来自任意外部输入部件或记录和再现部件的图像信号之间进行切换；其中，将来自所述切换部件的信号提供给所述颜色信号转换部件，并且所述控制部件被提供有用户接口，用来对用于放大或缩小的所述转换系数和以光轴为中心的坐标进行任意设置。
5.根据权利要求4的图像记录和再现装置，其中，将关于在拾取图像信号时由所述检测部件检测的图像拾取透镜中所述光圈的驱动状态和对象的透镜图像高度的信息、或者与其对应的校正信息，与所述图像信号一起记录在所述记录和再现部件中再现的记录介质中，并且根据在所述记录和再现部件中再现的所述信息，控制所述分辨率转换部件中用于放大或缩小的转换系数和以光轴为中心的坐标。
6.根据权利要求1的图像记录和再现装置，其中，使用屏幕上所检测的像素坐标和以光轴为中心的坐标之间的差，来检测对象的所述透镜图像高度。
7.根据权利要求1的图像记录和再现装置，还包括自动调焦部件，能够控制聚焦位置；其中，使所述受到控制的聚焦位置的坐标代表整个屏幕的所述所检测的像素，以便被用于检测所述对象的透镜图像高度。
8.根据权利要求1的图像记录和再现装置，其中，进一步检测图像拾取透镜的所述驱动状态以及照相机抖动校正量，并且除了所述所检测的输出之外，还根据所述进一步检测的输出，控制所述分辨率转换部件中用于放大或缩小的转换系数和用于所述放大或缩小的以光轴为中心的坐标。
9.一种图像拾取装置，包括图像拾取透镜；图像拾取部件，用于将穿过所述图像拾取透镜的图像光转换为电图像信号；照相机信号处理部件，用于处理所述图像信号；颜色信号转换部件，用于将来自所述照相机信号处理部件的输出信号转换或逆转换成至少三种原色信号；分辨率转换部件，用于对所述原色信号的每种颜色执行图像的放大或缩小；检测部件，用于检测所述图像拾取透镜中光圈的驱动状态以及对象的透镜图像高度；以及控制部件，用于根据来自所述检测部件的检测输出，控制所述分辨率转换部件中用于放大或缩小的转换系数以及以光轴为中心的坐标。
10.根据权利要求9的图像拾取装置，还包括信号转换部件，用于将来自所述分辨率转换部件的输出信号转换或逆转换成外部输出图像信号或记录图像信号；以及外部输出部件，用于输出所述外部输出图像信号，和/或记录和再现部件，用于在记录介质中记录或再现所述记录图像信号。
11.根据权利要求10的图像拾取装置，其中，在所述记录和再现部件中，将来自所述照相机信号处理部件的输出信号记录在所述记录介质中，并且将关于在拾取图像时由所述检测部件检测的所述图像拾取透镜中光圈的驱动状态和对象的透镜图像高度的信息、或者与其对应的校正信息，与来自所述照相机信号处理部件的输出信号一起记录在所述记录介质中。
12.根据权利要求9的图像拾取装置，还包括切换部件，用于在来自所述照相机信号处理部件的输出信号和来自任意外部输入部件或记录和再现部件的图像信号之间进行切换；其中，将来自所述切换部件的信号提供给所述颜色信号转换部件，并且所述控制部件被提供有用户接口，用于对用于放大或缩小的所述转换系数和以光轴为中心的坐标进行任意设置。
13.根据权利要求12的图像拾取装置，其中，将关于拾取图像信号时由所述检测部件检测的图像拾取透镜中所述光圈的驱动状态和对象的透镜图像高度的信息、或者与其对应的校正信息，与所述图像信号一起记录在所述记录和再现部件中再现的记录介质中，并且根据在所述记录和再现部件中再现的所述信息，控制所述分辨率转换部件中用于放大或缩小的转换系数和以光轴为中心的坐标。
14.根据权利要求9的图像拾取装置，其中，使用屏幕上所检测的像素坐标和以光轴为中心的坐标之间的差，来检测所述对象的透镜图像高度。
15.根据权利要求9的图像拾取装置，还包括自动调焦部件，能够控制聚焦位置；其中，使得所述受到控制的聚焦位置的坐标代表整个屏幕的所述所检测的像素，以便被用于检测所述对象的透镜图像高度。
16.根据权利要求9的图像拾取装置，其中，进一步检测所述图像拾取透镜的驱动状态以及照相机抖动校正量，并且除了所述所检测的输出之外，还根据所述进一步检测的输出，在所述分辨率转换部件中控制用于放大或缩小的转换系数和用于所述放大或缩小的以光轴为中心的坐标。
17.一种在图像记录和再现装置或图像拾取装置中使用的色像差校正方法，所述图像记录和再现装置或图像拾取装置包括图像拾取透镜、用于将穿过所述图像拾取透镜的图像光转换为电图像信号的图像拾取部件、以及用于处理所述图像信号的照相机信号处理部件，该方法包括以下步骤将来自所述照相机信号处理部件的输出信号转换成至少三种原色信号；对所述原色信号的每种颜色执行图像的放大或缩小；以及检测所述图像拾取透镜中光圈的驱动状态和对象的透镜图像高度，并根据其检测输出而控制用于放大或缩小的所述转换系数和以光轴为中心的坐标。
18.根据权利要求17的色像差校正方法，还包括以下步骤将来自所述分辨率转换部件的输出信号转换成外部输出图像信号或记录图像信号；以及输出所述外部输出图像信号，和/或在记录介质中记录所述记录图像信号。
19.根据权利要求18的色像差校正方法，还包括步骤使来自所述照相机信号处理部件的输出信号能被记录在所述记录介质中，并且将关于拾取图像时检测的所述图像拾取透镜中光圈的驱动状态和对象的透镜图像高度的信息、或者与其对应的校正信息，与所述输出信号一起记录在所述记录介质中。
20.根据权利要求17的色像差校正方法，其中，所述图像记录和再现装置或图像拾取装置还包括切换部件，用于在来自所述照相机信号处理部件的输出信号和来自任意外部输入部件或来自记录介质的图像信号之间进行切换，该方法还包括步骤把来自所述切换部件的信号转换成至少三种原色信号，和对所述原色信号的每种颜色执行图像的放大或缩小，以及对用于放大或缩小的所述转换系数和以光轴为中心的坐标进行任意设置。
21.根据权利要求20的色像差校正方法，还包括以下步骤将关于拾取图像信号时检测的所述图像拾取透镜中光圈的驱动状态和对象的透镜图像高度的信息、或者与其对应的校正信息，与所述图像信号一起记录在所述记录介质中；以及根据所述再现信息，控制用于放大或缩小的所述转换系数和以光轴为中心的坐标。
22.根据权利要求17的色像差校正方法，其中，使用屏幕上所检测的像素的坐标和以光轴为中心的坐标之间的差，来检测所述对象的透镜图像高度。
23.根据权利要求17的色像差校正方法，其中，所述图像记录和再现装置或图像拾取装置还包括能够控制聚焦位置的自动调焦部件，其中，使所述受到控制的聚焦位置的坐标代表整个屏幕的所述所检测的像素，以便被用于检测所述对象的透镜图像高度。
24.根据权利要求17的色像差校正方法，还包括以下步骤检测所述图像拾取透镜的驱动状态以及照相机抖动校正量，并且除了所述所检测的输出之外，还根据所述进一步检测的输出，在所述分辨率转换部件中控制用于放大或缩小的所述转换系数和控制用于放大或缩小的所述以光轴为中心的坐标。
全文摘要
针对成像透镜部分中光圈的孔径值以及针对对象的透镜图像高度执行很好的校正。开关(5)选择来自照相机信号处理电路(4)的输出信号，以将其提供给色差校正部分(6)。转换比率计算部分(10)接收在成像透镜部分(1)中提供的光圈(31)的孔径值，并且还从色差校正部分(6)接收进行了校正的像素的坐标。此外，转换比率计算部分(10)接收成像透镜部分(1)的驱动状态如变焦距和焦点位置、以及照相机移动校正矢量。随后，确定各颜色的转换比率，并将其提供给色差校正部分(6)。此外，由色差校正部分(6)校正的信号被数据压缩电路(15)压缩，并随后被提供给记录/再现装置17以便被记录在记录介质上。来自记录/再现装置(17)的再现信号被数据解压缩电路(18)解压缩，并随后被提供给开关(5)。
文档编号H04N9/04GK1759600SQ20038011018
公开日2006年4月12日 申请日期2003年12月24日 优先权日2003年2月6日
发明者冈田深雪 申请人:索尼株式会社