图像处理设备及其控制方法

专利名称：图像处理设备及其控制方法
技术领域：
本发明涉及一种图像处理设备及其控制方法，尤其涉及一种进行色像差校正 (chromatic aberration correction)
背景技术：
诸如数字照相机等的摄像设备用于各种用途。然而，形成被摄体图像所使用的镜 头的各种像差使该被摄体图像的图像质量下降。例如，倍率色像差在所形成的被摄体图像 中产生色偏移。摄像设备所使用的图像传感器的像素数逐年增加，因此像素大小不断缩小。伴随 着该趋势，连在传统的摄像设备中由于很小而不会造成严重问题的倍率色像差都已成为图 像质量下降的原因。为了通过图像处理校正色偏移，已经提出一种从要校正的图像获得要校正的色偏 移量(即，校正量)的技术。从图像获得色偏移量的技术采用了使用图像的边缘部分上各 颜色成分之间的相关性的方法。例如日本特开2000-299874号公报提出了通过检测使与边缘相对应的各颜色 成分的像素的距离之间的差的总和最小的位置来获得色偏移量的方法。此外日本特开 2006-020275号公报提出了从原始数据检测边缘并且获得使边缘部分上的两种颜色成分的 阵列之间的误差最小的位移范围作为色偏移范围的方法。如日本特开2000-299874号公报和日本特开2006-020275号公报所述，在使用各 颜色成分之间的相关性的色偏移量获得方法中，如图IA所示，经常出现在发生模糊的边缘 上不能获得精确的色偏移量的情况。结果，边缘部分上的色相(hue)在校正前后大幅变化， 因此不能获得满意的校正效果。例如，如图IA所示，假定G(绿色)成分和R(红色)成分之间不存在色偏移，但G 成分(或R成分)和B(蓝色)成分之间存在色偏移。在这种情况下，图像中与图IA中的 阴影部分相对应的部分为黄色。当使用通过如日本特开2000-299874号公报或日本特开 2006-020275号公报所述的方法获得的色偏移量来校正该色偏移时，例如，校正后的像素值 如图IB所示，因此图像中与阴影部分相对应的部分在过校正时变为蓝色。图IA和IB所示 的边缘部分在校正前为黄色，并且在校正后变为蓝色，这使得观察者在他或她对校正前的 边缘部分和校正后的边缘部分进行比较时，感觉不自然。这是因为作为对B成分进行校正 以使得使B成分和G成分(或R成分)的阵列之间的误差最小的结果，生成了过校正部分。 一种方法通过调整校正后的边缘部分的色相来减轻这种不自然感，但该方法可能改变被摄 体的原始色调。

发明内容
已经考虑到现有技术的上述问题作出了本发明。本发明提供了如下图像处理设备 及其控制方法，其中该图像处理设备可以从图像中获得能够在抑制校正前后图像的边缘部分的颜色变化时、适当地校正色偏移的针对倍率色像差的校正量。根据本发明的一个方面，提供一种图像处理设备，用于校正包括多个颜色层的所 拍摄图像中的色偏移，所述图像处理设备包括获得部件，用于获得在所拍摄图像中所包 括的图像的边缘部分上第二颜色层相对于第一颜色层的色偏移量；以及校正部件，用于使 用根据所述色偏移量生成的校正数据来校正所述第二颜色层的像素值，其中，所述获得部 件包括色差计算部件，所述色差计算部件用于在所述第二颜色层的包括所述边缘部分的关 注区域相对于所述第一颜色层移动至的多个位置中的各位置处，针对所述第一颜色层和所 述第二颜色层的关注区域中的多对像素，计算所述第一颜色层和所述第二颜色层之间的色 差，以及所述获得部件用于获得所述第二颜色层的如下移动量作为所述第二颜色层相对于 所述第一颜色层的色偏移量在该移动量的情况下，所述色差计算部件在所述第二颜色层 的关注区域未移动时计算出的色差与所述色差计算部件在所述第二颜色层的关注区域已 移动时计算出的色差之间的变化大小落入预定范围内，并且所述第一颜色层和所述第二颜 色层的关注区域中的像素之间的色差的绝对值和最小。根据本发明的另一方面，提供一种图像处理设备的控制方法，所述图像处理设备 用于校正包括多个颜色层的所拍摄图像中的色偏移，所述控制方法包括以下步骤获得步 骤，用于获得在所拍摄图像中所包括的图像的边缘部分上第二颜色层相对于第一颜色层的 色偏移量；以及校正步骤，用于使用根据所述色偏移量生成的校正数据来校正所述第二颜 色层的像素值，其中，所述获得步骤包括色差计算步骤，所述色差计算步骤用于在所述第二 颜色层的包括所述边缘部分的关注区域相对于所述第一颜色层移动至的多个位置中的各 位置处，针对所述第一颜色层和所述第二颜色层的关注区域中的多对像素，计算所述第一 颜色层和所述第二颜色层之间的色差，以及在所述获得步骤中，获得所述第二颜色层的如 下移动量作为所述第二颜色层相对于所述第一颜色层的色偏移量在该移动量的情况下， 所述色差计算步骤在所述第二颜色层的关注区域未移动时计算出的色差与所述色差计算 步骤在所述第二颜色层的关注区域已移动时计算出的色差之间的变化大小落入预定范围 内，并且所述第一颜色层和所述第二颜色层的关注区域中的像素之间的色差的绝对值和最通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。


图IA和IB是用于说明边缘部分的色偏移的图；图2是作为根据本发明实施例的图像处理设备的示例的摄像设备的功能框图；图3是示出根据本发明实施例的摄像设备的色偏移校正处理的流程图；图4A是示出针对各像高所分割的区域的示例的图；图4B是示出校正数据的示例的图；图5是用于说明图3的步骤S102中的色偏移量获得处理的详细内容的流程图；图6是示出本发明实施例中的关注边缘、关注区域和关注线的示例的图；图7A和7B是用于说明图5的步骤S205和S211中的色差评价处理的详细内容的 一个示例和另一示例的流程图；图8A和8B是示出校正时的色差的示例的图；6
图9A 9D是示出校正时的色偏移的示例的图；以及图10是用于说明图5的步骤S205和S211中的色差评价处理的详细内容的又一 示例的流程图。
具体实施例方式现在将根据附图来详细说明本发明的典型实施例。尽管为了便于说明和理解，以下要说明的实施例是基于特定结构的，但本发明不 局限于这种特定结构。此外，尽管以下实施例将说明获得两个颜色成分(颜色层)例如G层和R层之间 的色偏移量的方法，但可以同样获得另一对颜色层即G层和B层之间的色偏移量。第一实施例图2是根据本实施例的摄像设备100的功能框图。摄像设备100包括摄像光学系统10、图像传感器20、A/D转换单元30、颜色分离单 元40、边缘提取单元50、包括色差计算单元61的校正数据生成单元60、以及校正单元70。摄像光学系统10在图像传感器20上形成被摄体图像。在本实施例中，图像传感 器20是二维排列光电转换元件并且包括一般的原色滤波器的单板彩色图像传感器。原色 滤波器具有以下结构透过主波长范围分别位于650nm、550nm和450nm附近的三类单位滤 波器(R滤波器、G滤波器和B滤波器)以每类单位滤波器与一个光电转换元件相对应的方 式进行二维排列。因而，各光电转换元件接收透过一类单位滤波器的光，并且输出表示接收 到的光的强度的电信号。因此，单板彩色图像传感器的各光电转换元件仅可以输出R、G和 B层其中之一的强度。这意味着从图像传感器20输出的所拍摄图像是彩色马赛克图像。A/D转换单元30将作为模拟电压从图像传感器20输出的彩色马赛克图像转换成 适合于后续图像处理的数字数据。颜色分离单元40对彩色马赛克图像进行插值，以生成在所有像素中具有全部的 RGB颜色信息的彩色图像。注意，在本实施例中，插值方法可以属于已提出的各种方法中的任意方案，诸如基 于位于目标像素附近并且形成与该目标像素的颜色层相同的颜色层的像素的值的插值以 及基于邻接目标像素并且形成与该目标像素的颜色层不同的颜色层的像素的值的插值等。边缘提取单元50从所生成的彩色图像检测边缘。基于与边缘提取单元50检测到 的边缘有关的信息，校正数据生成单元60从彩色图像获得倍率色像差的校正量，并生成倍 率色像差的校正数据。校正单元70使用由校正数据生成单元60生成的校正数据来校正彩 色图像的倍率色像差。倍率饩像差的校ιΗ处理整体过程图3是示出由边缘提取单元50、校正数据生成单元60和校正单元70来校正倍率 色像差的处理的序列的流程图。首先，在步骤SlOl中，边缘提取单元50从由颜色分离单元40生成的彩色图像中 检测边缘。这是因为由于摄像光学系统10的倍率色像差引起的色偏移在图像的边缘部分 上显著显现。在从图像检测边缘时使用Y(亮度)层。可以根据R、G和B层使用已知的等 式来计算Y层。可选地，可以使用G层的值作为Y层。
注意，可以通过将在步骤SlOl中要检测的边缘限定为像素值在从光学中心起的 半径方向上大幅变化的边缘，来获得精确的色偏移量。另外注意，由于因倍率色像差引起的 色偏移在Y层中表现为模糊，因此检测预定数量的连续像素的值在宽度方向上单调且连续 增加或减少的具有一定宽度的边缘。在步骤S102中，校正数据生成单元60针对步骤SlOl中检测到的各边缘获得色偏 移量。后面将说明获得色偏移量的操作的详细内容。可以在基于光学中心和各边缘之间的 位置关系将在步骤S102中要获得的色偏移的方向确定为上/下方向、左/右方向、斜右上 /斜左下方向和斜左上/斜右下方向的其中之一时，简化步骤S102中的处理。假定步骤S102中获得的色偏移量在R层(或B层)相对于G层向着光学中心偏 移的情况下具有负值，并且在R层(或B层)在与光学中心相反的方向上偏移的情况下具 有正值。在步骤S103中，校正数据生成单元60通过根据步骤SlOl中检测到的各边缘的像 高和步骤S102中获得的各边缘的色偏移量获得像高和色偏移之间的关系，来生成校正数 据。这里，像高表示与对应于光学中心的像素(以下称为图像中心或光学中心)相距的距离。将详细说明在步骤S 103中由校正数据生成单元60生成校正数据的过程。(1)获得相对于像高的色偏移率M为M = D/L，其中，L是步骤SlOl中检测到的边 缘的像高，并且D是步骤S102中获得的色偏移量。(2)如图4A所示，针对各像高将图像分割成8个区域hi h8，并且选择各个边缘 所属的区域。(3)对图像中检测到的各个边缘进行(1)和(2)中的处理，并且针对各区域获得色 偏移率M的平均值，并将该平均值确定为各区域的色偏移率。(4)如图4B所示，根据像高和各区域的色偏移率计算描述像高和色偏移率之间的 关系的高次多项近似式F(I)，并将该高次多项近似式F(I)确定为校正数据。图4B示出使 用三次多项式计算校正数据的例子。可以对彩色图像中包含的所有边缘进行边缘检测和色偏移量获得。然而，可以 通过当在针对各像高所分割得到的8个区域的各区域中已经累积了数量等于或大于特定 阈值的色偏移率时结束对属于该区域的边缘的检测和色偏移量获得这两者，来提高处理效 率，同时维持色偏移率的给定可靠性。此外，仅使用针对各像高所分割得到的8个区域中的已发现要检测的边缘的区域 来计算高次多项近似式，这样即使对于没有发现要检测的边缘的区域，也可以生成校正数 据。在步骤S 104中，校正单元70使用步骤S 103中生成的校正数据来对彩色图像进 行色偏移校正。首先，校正单元70在要校正的层(R层和B层)的像素(X，Y)中，根据该像素(X， Y)的像高，使用校正数据和多项近似式F(I)来获得色偏移率Μ。注意，通过使用光学中心 作为其原点(0，0)的坐标系来表示像素坐标。接着，校正单元70按照如下获得通过色偏移校正所生成的像素坐标(XI，Yl)。Xl=MXX
Yl=MXY最后，校正单元70通过一般的插值处理，在要校正的层中生成与坐标(XI，Yl)相 对应的像素值，并将该像素值确定为像素(X，Y)的像素值。对所有的像素进行这些操作以 进行它们的色偏移校正。饩偏移量获得处理接着，将参考图5所示的流程图来说明步骤S102中的色偏移量获得处理的详细内容。尽管图5示出获得G和B层之间的色偏移量的处理，但同样可以获得G层和R层 之间的色偏移量。因此，为了获得G层和R层之间的色偏移量，在以下说明中可以将“B层” 替换为“R层”。首先将说明步骤S201中校正前的差值绝对值和的获得。如图6所示，在将包括要获得色偏移量的关注边缘部分的矩形区域设置为要获得 差值绝对值和的区域(以下称为关注区域)时，可以基于关注边缘的宽度和亮度的变化量 来设置该关注区域的大小。边缘的宽度表示要进行边缘检测的Y层中其值单调增加或减少 的连续像素的数量。例如，在将边长是边缘宽度的约3 5倍的正方形区域设置为关注区 域时，可以获得满意的效果。校正数据生成单元60在G层和B层中，分别针对关注区域中的像素Gi和Bi (i = 1 η)，使用以下等式获得差值绝对值和SO。SO = I Gl-Bl I +1G2-B2 +· · · +1 Gn-Bn接着将说明步骤S202中校正前的色差获得。如图6所示，将通过关注区域的中心的、沿色偏移量获得方向的一条线(m个像素) (以下称为关注线)设置为要计算色差的区域(色差获得区域)。在该例子中，由于关注区 域位于图像的右上处，因此在斜右上/斜左下方向上获得色偏移量。也就是说，基于图像中 边缘所在的位置来确定关注线的方向。色差计算单元61分别针对G层和B层中的关注线内的各对像素Gj和Bj (j = 0 m-1)，使用以下等式计算色差C0，以获得由所计算的各对像素之间的色差构成的色差阵列 CO [m]。CO [j] = Bj-Gj可以通过在获得色差时校正各关注线内的像素值来进行更加精确的色差评价。例 如，可以对G层中的关注线上的像素值进行校正，以使得G层中的关注线上的最大像素值与 B层中的关注线上的最大像素值相等。在这种情况下，色差计算单元61可以按照如下等式 获得色差阵列CO [m]Gmax =G层中的关注线上的最大像素值Bmax =B层中的关注线上的最大像素值Gj' = Bmax/GmaxXGjCO [j] = Bj-Gj'在步骤S203中，校正数据生成单元60使B层中的关注区域(或整个B层)在检 测色偏移量的方向上向着光学中心移动1个像素。在图6所示的例子中，设(X，y)为B层 中的关注区域的左上角上的像素B 1的坐标，则移动后的关注区域的左上角上的像素的坐标为(x-1，y-l)。也就是说，当B层中的关注区域(或整个B层)在该方向上向着光学中 心移动1个像素时，像素Bl的位置也从(X，y)移动至(X-1，y-l)。因此，校正数据生成单 元60通过对G层中(x，y)处的像素G 1和(x-l，y_l)处的像素B 1之间的差值绝对值、G层中(x+1，y)处的像素G2和(X，y-l)处的像素B 2之间的差值绝对值.....以及G层中(x+P，y+q)处的像素Gn和(x+p-1，y+q-Ι)处的像素&ι之间的差值绝对值进行求和，来获 得差值绝对值和SO。
在步骤S204中，与步骤S202相同，色差计算单元61针对G层中的关注线和移动 后的B层中的关注区域中的关注线上的各对像素，计算色差C[j]，以获得由所计算的各对 像素之间的色差构成的色差阵列C[m]。注意，在关注线所属的层移动时，该关注线也移动。在步骤S205中，校正数据生成单元60评价所获得的色差。图7A是示出步骤S205中的色差评价处理的详细内容的流程图。校正数据生成单元60从在步骤S202中获得的校正前的色差阵列CO [m]中获得最 大值和最小值(S301)。然后，校正数据生成单元60使用常数K按照如下等式定义阈值Tmax 和 Tmin(S302)COmax 在步骤S 202中获得的校正前的色差阵列CO [m]的最大值COmin 在步骤S 202中获得的校正前的色差阵列CO [m]的最小值Tmax = C0max+KTmin = COmin-K尽管常数K根据例如图像数据是原始数据还是JPEG数据而大不相同，但期望这两 种情况下均基于像素的灰度级数来确定常数K。例如，对于16，383灰度级的原始数据，常数 K可以约为100 150。对于255灰度级的JPEG图像，常数K可以约为15 20。校正数据生成单元60从步骤S204中获得的色差阵列C[m]中获得最大值和最小 值(S303)，并且使用步骤S302中定义的阈值Tmax和Tmin，通过以下处理判断色差是OK还 是 NG(S304)。更具体地，设Cmax为步骤S204中获得的色差阵列C[m]的最大值，并且Cmin为步 骤S204中获得的色差阵列C[m]的最小值，则在步骤S304中判断为在最大值Cmax等于或 小于阈值Tmax并且最小值Cmin等于或大于阈值Tmin的情况下，色差为OK ；否则，色差为NG。图8A和8B示出阈值iTmax和Tmin与色差阵列CO [m]和C[m]之间的关系。图8A 示出所设置的阈值Tmax和Tmin与校正前的色差阵列C0[m]之间的关系。图8B示出阈值 Tmax和Tmin与B层中的关注区域移动了 1 3个像素时的色差阵列C[m]之间的关系。在 该例子中，在关注区域移动了 1个像素或2个像素的情况下，判断为0K，而在关注区域移动 了 3个像素的情况下，判断为NG。图9A 9D与图8A和8B相对应地分别示出校正前的边缘的状态和关注区域移动 了 1 3个像素时的经过了色偏移的边缘的状态。在关注区域移动了 3个像素且判断为NG 时，发生B层的过校正，因此如从图9D可以看出，边缘的颜色在校正后从校正前的黄色变为' τπ. ο返回参考图5，仅当在步骤S205中进行色差评价时判断为OK时，才执行步骤 S206。与步骤S201相同，校正数据生成单元60在G层的关注区域中和移动后的B层的关注区域中获得差值绝对值和S[j]。在步骤S 207中，校正数据生成单元60判断关注区域是否已经移动了预先设置的 最大移动量。如果关注区域尚未移动该最大移动量，则处理返回至步骤S203。关注区域的 最大移动量必须大于色偏移量。然而，过大的最大移动量使处理效率下降。本发明的发明 人根据经验推断出与关注区域的边长相等(即，大约相当于边缘宽度的3 5倍)的移动 量足以作为最大移动量。如果在步骤S205中判断为色差为NG或在步骤S207中判断为关注区域已经移动 了最大移动量，则在步骤S208中，校正数据生成单元60复位该关注区域。在该处理中，当 在步骤S203 S207中B层的关注区域向着光学中心顺次移动的同时进行色差评价和差值 绝对值和获得之后，使B层的关注区域返回至校正前的位置。在步骤S209 S213的处理中，在使B层的关注区域从校正前的位置开始沿着与 光学中心相反的方向顺次移动的同时，进行色差评价和差值绝对值和获得。除关注区域的 移动方向以外，步骤S209 S213中的处理分别与步骤S203 S207中的处理相同，并且将 不给出对这些处理的说明。在步骤S214中，校正数据生成单元60从先前获得的差值绝对值和中检测最小值， 并且将针对最小差值绝对值和的关注区域的移动量确定为色偏移量。此时，如果R层(或 B层)相对于G层向着光学中心偏移，则假定色偏移量为负。相反，如果R层(或B层)相 对于G层在与光学中心相反的方向上偏移，则假定色偏移量为正。这样，在本实施例中，不是仅通过基于差值绝对值和对像素值之间的相似度的判 断来确定色偏移量，而是通过基于色差的变化量判断在过校正时是否预期发生边缘部分上 的颜色变化，从而在没有发生过校正的范围内确定色偏移量。这使得可以获得不会使观察 者在他或她对校正前的边缘部分和校正后的边缘部分进行比较时感到不自然的适当的色偏移量。尽管在本实施例中获得色偏移量的精度为1个像素，但在步骤S214中，可以通过 在判断最小差值绝对值和时对所获得的差值绝对值和进行插值，获得小于1个像素的精度 的色偏移量。可选地，在步骤S203和S209中，可以通过对关注区域中的像素进行插值使该 关注区域以小于1个像素的步长为单位偏移，从而获得小于1个像素的精度的色偏移量。此外，尽管在本实施例中对一维关注线进行步骤S202和S210中的色差获得以及 步骤S205和S211中的色差评价，然而可以对差值绝对值和获得所使用的二维关注区域进 行上述两种处理。同样在这种情况下，除在二维关注区域中在二维范围内检测最小值和最 大值以外，可以在无需任何变化的情况下实现步骤S205和S211中的色差评价。第二实施例接着将说明本发明的第二实施例。除步骤S205和S211中要实现的色差评价方法 以外，第二实施例与第一实施例相同，并且将仅说明该色差评价方法。图7B是第二实施例中用于说明步骤S205和S211中要实现的色差评价的详细内 容的流程图。在第二实施例的色差评价中，校正数据生成单元60针对色差C0[j]和C[j]中的j 的所有值(0 m-1) (S404和S405)进行以下的过程以判断是否存在被判断为NG的像素判断校正前后色差的符号是否反转(S401)(因此，判断校正是否导致校正之后色差的符号相对于校正前的符号反转)，以及在校正前后色差的符号并未反转(因此校正没有导致反转)的情况下，判断为色 差的变化量超过色差评价阈值1 (Ta)的像素为NG(S402)，或者在校正前后色差的符号反转(因此校正导致反转)的情况下，判断为校正后的色 差绝对值超过色差评价阈值2 (Tb)的像素为NG(S403)。校正数据生成单元60在所有j的像素均未被判断为NG的情况下，判断为色差为 OK (S404 和 S405)。尽管色差评价阈值Ta和Tb根据例如图像数据是原始数据还是JPEG数据而大不 相同，但期望在两种情况下均基于像素的灰度级数来确定色差评价阈值Ta和Tb。例如，对 于16，383灰度级的原始数据，色差评价阈值Ta和Tb这两者可以约为100 150。对于255 灰度级的JPEG图像，色差评价阈值Ta和Tb这两者可以约为15 20。根据本实施例，对各像素进行色差评价。因此，除第一实施例的效果以外，即使关 注线上的色差的最大值或最小值很少变化，也可以抑制生成二者之间的色差大幅变化的像 素对的校正。第三实施例接着将说明本发明的第三实施例。除步骤S205和S211中要实现的色差评价方法 以外，第三实施例与第一实施例和第二实施例相同，并且将仅说明色差评价方法。图10是第三实施例中用于说明步骤S205和S211中要实现的色差评价的详细内 容的流程图。首先，校正数据生成单元60使用色差计算单元61来计算校正前的色差阵列C0[m] 中的色差的正值的总和以及色差阵列CO [m]中的色差的负值的绝对值的总和(S501)，并且 计算校正后的色差阵列C[m]中的色差的正值的总和以及色差阵列C[m]中的色差的负值的 绝对值的总和(S502)。校正数据生成单元60通过以下来判断色差是OK还是NG 在正值的总和以及负值的绝对值的总和这两者在校正之后与校正之前相比减少 的情况下，判断为0K(S503)，在正值的总和以及负值的绝对值的总和这两者在校正之后与校正之前相比增加 的情况下，判断为NG(S504)，在正值的总和在校正之后增加并且负值的绝对值的总和在校正之后减少的情况 下，如果正值的总和的增加量等于或小于阈值T，则判断为0K，或者如果正值的总和的增加 量超过该阈值T，则判断为NG(S505和S507)，或者在正值的总和在校正之后没有增加并且负值的绝对值的总和在校正之后增加的 情况下，如果负值的绝对值的总和的增加量等于或小于阈值T，则判断为0K，或者如果负值 的绝对值的总和的增加量超过阈值T，则判断为NG(S505和S506)。尽管色差评价阈值T根据例如图像数据是原始数据还是JPEG数据而大不相同，但 期望在这两种情况下均基于像素的灰度级数和关注区域的大小来确定色差评价阈值T。根据本实施例，基于校正前后的色差的正值的总和以及该色差的负值的绝对值的 总和的增加/减少来评价该色差。因而，该评价基于校正前后整个关注区域的色差的总体 变化。同样在本实施例中，由于可以抑制使校正前后的色差大幅变化的校正，因此反过来可以抑制过校正。其它实施例第一实施例至第三实施例所述的色差评价方法不是排他性的，并且可以组合使用 这些方法。可以根据例如图像特征来动态地选择这些判断方法的其中之一。此外，在上述实施例中，将本发明应用于作为图像处理设备的例子的、包括光学系 统和图像传感器的摄像设备。然而，在本发明中，光学系统和图像传感器并非是必须的。可 以从具有多个颜色层并且使用摄像镜头所拍摄的任意图像数据获得色偏移量，并且图像数 据格式和数据获得方法不限于特定的图像数据格式和数据获得方法。此外，用作摄像设备 100的控制单元(未示出)的计算机可以利用软件来实现图2所示的A/D转换单元30、颜 色分离单元40、边缘提取单元50、校正数据生成单元60和校正单元70中的至少一部分。还可以通过读出并执行存储装置上所记录的程序以进行上述实施例的功能的系 统或设备的计算机(或者CPU或MPU等的装置)以及通过以下方法来实现本发明的各方面， 其中，系统或设备的计算机通过例如读出并执行存储装置上所记录的程序以进行上述实施 例的功能，来进行该方法的各步骤。由于该目的，例如经由网络或者从用作存储装置的各种 类型的记录介质(例如，计算机可读介质)向计算机提供该程序。本发明的另一实施例提供一种图像处理设备(100)，用于校正所拍摄图像中的色 偏移，所述所拍摄图像包括多个颜色层，所述图像处理设备包括获得部件(60)，用于从所述所拍摄图像的边缘部分获得第二颜色层相对于第一颜 色层的色偏移量；以及校正部件(70)，用于使用根据由所述获得部件获得的色偏移量生成的校正数据来 校正所述第二颜色层的像素值，其中，所述获得部件(60)用于(i)获得构成所述第一颜色层的包括所述边缘部分的关注区域的各像素与所述第 二颜色层的相同关注区域的相应像素之间的色差的绝对值和；(ii)获得构成所述第一颜色层的关注区域内的色差获得区域的各像素与所述第 二颜色层的关注区域内的相同色差获得区域的相应像素之间的色差；(iii)使所述第二颜色层的关注区域相对于所述第一颜色层移动预定移动量；(iv)获得构成所述第一颜色层的关注区域内的色差获得区域的各像素与所述第 二颜色层的移动后的关注区域内的色差获得区域的相应像素之间的色差；(ν)获得构成所述第一颜色层的关注区域的各像素与所述第二颜色层的移动后的 关注区域的相应像素之间的色差的绝对值和；(vi)重复 iii-v 至少一次；(vii)当在ii和iv中获得的色差之间的差落入预定范围内并且ν中获得的和最 小时，确定所述第二颜色层相对于所述第一颜色层的移动量；以及(viii)获得vii中确定出的移动量作为所述色偏移量。本发明的实施例还提供一种图像处理设备的控制方法，所述图像处理设备用于校 正包括多个颜色层的所拍摄图像的色偏移，所述控制方法包括以下步骤(i)获得构成第一颜色层的包括边缘部分的关注区域的各像素与第二颜色层的相 应关注区域的相应像素之间的色差的绝对值和；13
(ii)获得构成所述第一颜色层的关注区域内的色差获得区域的各像素与所述第 二颜色层的关注区域内的相应色差获得区域的相应像素之间的色差；(iii)使所述第二颜色层的关注区域相对于所述第一颜色层移动预定移动量；(iv)获得构成所述第一颜色层的关注区域内的色差获得区域的各像素与所述第 二颜色层的移动后的关注区域内的色差获得区域的相应像素之间的色差；(ν)获得构成所述第一颜色层的关注区域的各像素与所述第二颜色层的移动后的 关注区域的相应像素之间的色差的绝对值和；(vi)重复 iii-v;(vii)当在ii和iv中获得的色差之间的差落入预定范围内并且ν中获得的和最 小时，确定所述第二颜色层相对于所述第一颜色层的移动量；(viii)获得vii中确定出的移动量作为色偏移量；以及(ix)使用根据Viii中获得的色偏移量所生成的校正数据来校正所述第二颜色层 的像素值。本发明的另一实施例提供一种图像处理设备(100)，用于校正包括多个颜色层的 所拍摄图像中的色偏移，所述图像处理设备包括获得部件(60)，用于获得在所拍摄图像中所包括的图像的边缘部分上第二颜色层 相对于第一颜色层的色偏移量；以及校正部件(70)，用于使用根据所述色偏移量生成的校正数据来校正所述第二颜色 层的像素值，其中，所述获得部件包括色差计算部件(61)，所述色差计算部件用于在所述第二 颜色层的包括所述边缘部分的关注区域相对于所述第一颜色层移动至的多个位置中的各 位置处，针对所述第一颜色层和所述第二颜色层的关注区域中的多对像素，计算所述第一 颜色层和所述第二颜色层之间的色差，以及所述获得部件用于获得所述第二颜色层的如下移动量作为所述第二颜色层相对 于所述第一颜色层的色偏移量在该移动量的情况下，所述色差计算部件在所述第二颜色 层的关注区域未移动时计算出的色差与所述色差计算部件在所述第二颜色层的关注区域 已移动时计算出的色差之间的变化大小落入预定范围内，并且所述第一颜色层和所述第二 颜色层的关注区域中的像素之间的色差的绝对值和最小。本发明的又一实施例提供一种图像处理设备(100)的控制方法，所述图像处理设 备用于校正包括多个颜色层的所拍摄图像中的色偏移，所述控制方法包括以下步骤获得步骤(S102)，用于获得在所拍摄图像中所包括的图像的边缘部分上第二颜色 层相对于第一颜色层的色偏移量；以及校正步骤(S104)，用于使用根据所述色偏移量生成的校正数据来校正所述第二颜 色层的像素值，其中，所述获得步骤610 包括色差计算步骤(S203、S204)，所述色差计算步骤 (S203、S204)用于在所述第二颜色层的包括所述边缘部分的关注区域相对于所述第一颜色 层移动至的多个位置中的各位置处，针对所述第一颜色层和所述第二颜色层的关注区域中 的多对像素，计算所述第一颜色层和所述第二颜色层之间的色差，以及在所述获得步骤中，获得所述第二颜色层的如下移动量作为所述第二颜色层相对于所述第一颜色层的色偏移量(S214)在该移动量的情况下，所述色差计算步骤在所述第 二颜色层的关注区域未移动时计算出的色差与所述色差计算步骤在所述第二颜色层的关 注区域已移动时计算出的色差之间的变化大小落入预定范围内，并且所述第一颜色层和所 述第二颜色层的关注区域中的像素之间的色差的绝对值和最小。 尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的 典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功 能。
权利要求
1.一种图像处理设备，用于校正包括多个颜色层的所拍摄图像中的色偏移，所述图像 处理设备包括获得部件，用于获得在所拍摄图像中所包括的图像的边缘部分上第二颜色层相对于第 一颜色层的色偏移量；以及校正部件，用于使用根据所述色偏移量生成的校正数据来校正所述第二颜色层的像素值，其中，所述获得部件包括色差计算部件，所述色差计算部件用于在所述第二颜色层的 包括所述边缘部分的关注区域相对于所述第一颜色层移动至的多个位置中的各位置处，针 对所述第一颜色层和所述第二颜色层的关注区域中的多对像素，计算所述第一颜色层和所 述第二颜色层之间的色差，以及所述获得部件用于获得所述第二颜色层的如下移动量作为所述第二颜色层相对于所 述第一颜色层的色偏移量在该移动量的情况下，所述色差计算部件在所述第二颜色层的 关注区域未移动时计算出的色差与所述色差计算部件在所述第二颜色层的关注区域已移 动时计算出的色差之间的变化大小落入预定范围内，并且所述第一颜色层和所述第二颜色 层的关注区域中的像素之间的色差的绝对值和最小。
2.根据权利要求1所述的图像处理设备，其特征在于，所述获得部件用于计算所述第 一颜色层和所述第二颜色层的关注区域中的各对像素之间的色差的绝对值和。
3.根据权利要求2所述的图像处理设备，其特征在于，所述色差计算部件用于计算所 述第一颜色层和所述第二颜色层的关注区域内的色差获得区域中的各对像素之间的色差。
4.根据权利要求3所述的图像处理设备，其特征在于，所述色差获得区域是线。
5.根据权利要求3所述的图像处理设备，其特征在于，所述色差计算部件用于在所述 第一颜色层的关注区域和所述第二颜色层的关注区域对应的情况下，计算所述第一颜色层 和所述第二颜色层的关注区域内的色差获得区域中的各对像素之间的色差；以及所述色差 计算部件还用于在所述第二颜色层的关注区域相对于所述第一颜色层进行了移动的情况 下，计算所述第一颜色层的关注区域内的色差获得区域和所述第二颜色层的关注区域内的 色差获得区域中的各对像素之间的色差。
6.根据权利要求1所述的图像处理设备，其特征在于，所述第二颜色层的关注区域向 着所拍摄图像的光学中心和/或远离所拍摄图像的光学中心移动。
7.根据权利要求1所述的图像处理设备，其特征在于，各对像素在各自的关注区域中 的位置相同。
8.根据权利要求1所述的图像处理设备，其特征在于，所述第二颜色层的所述移动量 对应于如下情况下所述第二颜色层的关注区域相对于所述第一颜色层的移动量所述色差 计算部件在所述第二颜色层的关注区域未移动时计算出的色差与所述色差计算部件在所 述第二颜色层的关注区域已移动时计算出的色差之间的变化大小落入所述预定范围内，并 且所述第一颜色层和所述第二颜色层的关注区域中的像素之间的色差的绝对值和最小。
9.根据权利要求1所述的图像处理设备，其特征在于，构成所拍摄图像的各颜色层对 应于所拍摄图像的特定颜色成分的像素值。
10.根据权利要求1至9中任一项所述的图像处理设备，其特征在于，如果所述色差计算部件在所述第二颜色层的关注区域已移动时计算出的关注区域中的色差的最大值相对于所述色差计算部件在所述第二颜色层的关注区域未移动时计算出 的关注区域中的色差的最大值的增加量不大于预定阈值，并且所述色差计算部件在所述第 二颜色层的关注区域已移动时计算出的关注区域中的色差的最小值相对于所述色差计算 部件在所述第二颜色层的关注区域未移动时计算出的关注区域中的色差的最小值的减少 量不大于所述预定阈值，则所述获得部件判断为所述色差计算部件在所述第二颜色层的关 注区域未移动时计算出的色差与所述色差计算部件在所述第二颜色层的关注区域已移动 时计算出的色差之间的变化大小落入所述预定范围内。
11.根据权利要求1至9中任一项所述的图像处理设备，其特征在于，如果在所述第一颜色层和所述第二颜色层的关注区域中计算出的各对像素之间的色 差满足如下条件之一，则所述获得部件判断为所述色差计算部件在所述第二颜色层的关注 区域未移动时计算出的色差与所述色差计算部件在所述第二颜色层的关注区域已移动时 计算出的色差之间的变化大小落入所述预定范围内(1)所述色差计算部件在所述第二颜色层的关注区域未移动时计算出的关注区域中的 色差与所述色差计算部件在所述第二颜色层的关注区域已移动时计算出的关注区域中的 色差具有相同的符号，并且色差的变化量不大于第一预定阈值，以及(2)所述色差计算部件在所述第二颜色层的关注区域未移动时计算出的关注区域中的 色差与所述色差计算部件在所述第二颜色层的关注区域已移动时计算出的关注区域中的 色差具有相反的符号，并且在所述第二颜色层的关注区域已移动时计算出的关注区域中的 色差的绝对值不大于第二预定阈值。
12.根据权利要求1至9中任一项所述的图像处理设备，其特征在于，所述色差计算部件计算由所述色差计算部件在所述第二颜色层的关注区域未移动时 计算出的关注区域中的正色差的总和以及负色差的绝对值的总和，并且计算由所述色差计 算部件在所述第二颜色层的关注区域已移动时计算出的关注区域中的正色差的总和以及 负色差的绝对值的总和，以及如果满足如下条件之一，则所述获得部件判断为所述色差计算部件在所述第二颜色层 的关注区域未移动时计算出的色差与所述色差计算部件在所述第二颜色层的关注区域已 移动时计算出的色差之间的变化大小落入所述预定范围内(1)所述色差计算部件在所述第二颜色层的关注区域已移动时计算出的关注区域中的 正色差的总和相对于所述色差计算部件在所述第二颜色层的关注区域未移动时计算出的 关注区域中的正色差的总和减少，并且所述色差计算部件在所述第二颜色层的关注区域已 移动时计算出的关注区域中的负色差的绝对值的总和相对于所述色差计算部件在所述第 二颜色层的关注区域未移动时计算出的关注区域中的负色差的绝对值的总和减少，(2)所述色差计算部件在所述第二颜色层的关注区域已移动时计算出的关注区域中的 正色差的总和相对于所述色差计算部件在所述第二颜色层的关注区域未移动时计算出的 关注区域中的正色差的总和增加，所述色差计算部件在所述第二颜色层的关注区域已移动 时计算出的关注区域中的负色差的绝对值的总和相对于所述色差计算部件在所述第二颜 色层的关注区域未移动时计算出的关注区域中的负色差的绝对值的总和减少，并且正色差 的总和的增加量不大于预定阈值，以及(3)所述色差计算部件在所述第二颜色层的关注区域已移动时计算出的关注区域中的正色差的总和相对于所述色差计算部件在所述第二颜色层的关注区域未移动时计算出的 关注区域中的正色差的总和减少，所述色差计算部件在所述第二颜色层的关注区域已移动 时计算出的关注区域中的负色差的绝对值的总和相对于所述色差计算部件在所述第二颜 色层的关注区域未移动时计算出的关注区域中的负色差的绝对值的总和增加，并且负色差 的绝对值的总和的增加量不大于所述预定阈值。
13. 一种图像处理设备的控制方法，所述图像处理设备用于校正包括多个颜色层的所 拍摄图像中的色偏移，所述控制方法包括以下步骤获得步骤，用于获得在所拍摄图像中所包括的图像的边缘部分上第二颜色层相对于第 一颜色层的色偏移量；以及校正步骤，用于使用根据所述色偏移量生成的校正数据来校正所述第二颜色层的像素值，其中，所述获得步骤包括色差计算步骤，所述色差计算步骤用于在所述第二颜色层的 包括所述边缘部分的关注区域相对于所述第一颜色层移动至的多个位置中的各位置处，针 对所述第一颜色层和所述第二颜色层的关注区域中的多对像素，计算所述第一颜色层和所 述第二颜色层之间的色差，以及在所述获得步骤中，获得所述第二颜色层的如下移动量作为所述第二颜色层相对于所 述第一颜色层的色偏移量在该移动量的情况下，所述色差计算步骤在所述第二颜色层的 关注区域未移动时计算出的色差与所述色差计算步骤在所述第二颜色层的关注区域已移 动时计算出的色差之间的变化大小落入预定范围内，并且所述第一颜色层和所述第二颜色 层的关注区域中的像素之间的色差的绝对值和最小。
全文摘要
本发明公开了一种图像处理设备及其控制方法，该图像处理设备能够从图像中获得能够适当校正色偏移的针对倍率色像差的校正量，同时抑制校正前后图像的边缘上的颜色变化。在获得一个颜色层和另一个颜色层之间的色偏移量时，针对关注区域中所包括的各对像素计算校正色偏移前后的色差。判断校正前后的色差的变化量是否落入预定范围内。在判断为校正前后的色差的变化量落入预定范围的范围内获得色偏移量。
文档编号H04N9/04GK102055988SQ20101053503
公开日2011年5月11日 申请日期2010年11月4日 优先权日2009年11月4日
发明者加纳明 申请人:佳能株式会社