专利名称：色修正方法以及色修正装置的制作方法
技术领域：
本发明涉及修正图像颜色的技术，特别是涉及在每一个预定的色区进行适宜的修正的修正方法及其装置。
背景技术：
在以数码照相机为代表的摄像装置中，一般使用单板式CCD。在CCD的整个面上配置滤色片，通过内插颜色得到彩色图像。该滤色片的光谱灵敏度特性对每种颜色不同，另外，由于人们具有对于树木的绿色或者天空的蓝色、比起实际颜色更喜好记忆中的鲜艳的色彩这样的特性，因此进行颜色的修正使其成为喜好的颜色(记忆色)。
一般地，作为这种色修正方法，按区域分割基于图像数据的RGB信号或者YCbCr信号的颜色，对各区域按照预先设定的增益进行放大，或者计算色修正矩阵，进行颜色的修正。作为这种色修正方法的具体例子，如在专利文献1中记载的那样，在色差信号平面中，首先由通过原点的区域边界线把色调分割为多个区域，把输入色差信号的位置矢量分割为邻接的两个区域边界线的矢量分量。进而，由变换矩阵对区域边界线的矢量进行一次变换，实现色变换，从而在色调的整个范围中仅对于任意范围内的色调进行色修正。
专利文献1特开2002-176656号「色修正电路」公报专利文献2特开2000-115588号「摄像装置、摄像装置的控制方法以及存储介质」公报然而，如果利用这样的方法，则如在专利文献2中记述的那样，即使在调整了白平衡以后，由于镜头的偏差或者摄像元件的光谱灵敏度特性的偏差，存在产生色偏差这样的问题。其结果，产生色偏，在原本灰色或者白色等无色彩的颜色中带有偏离的方向的颜色。因此，在现有的色修正方法中，存在色偏被强调了的问题。
发明内容
本发明以解决这样的问题为目的，通过在修正矩阵中设置用于修正色偏的平行移动分量，从而修正色偏，之后按每个区域选择颜色地、而且能够进行颜色从区域的边界连续变化的修正地进行色修正。
本发明的色修正方法判定输入的色信号矢量属于由通过色信号平面的原点的区域边界线所分割的色信号平面的哪一个区域，对于判定为上述色信号矢量所属的区域，使用预先设定的修正矩阵，变换上述色信号矢量，从而修正上述色信号矢量，作为上述修正矩阵，使用具有进行平行移动的分量和进行线性变换的分量的修正矩阵。
这样，依据本发明的色修正方法，在进行色修正的变换时，由于构成为在进行线性变换的分量的基础上，包括进行平行移动的分量，因此能够进行防止色偏的变换。
图1是表示本发明实施形态1的色修正装置的结构的框图。
图2表示本发明实施形态1的色平面区域的例子。
图3表示色信号的表现形式与色饱和度的计算方法的对应关系。
图4表示本发明实施形态2的色平面区域的例子。
图5表示本发明实施形态3的色平面区域的例子。
符号的说明1亮度·色差变换单元2色区判定单元3第1边界的信号修正单元4第2边界的信号修正单元5修正综合单元
6修正校正单元具体实施方式
实施形态1图1是表示本发明实施形态1的色修正装置的结构图。图1中，色修正装置包括亮度·色差变换单元1、色区判定单元2、第1边界的信号修正单元3、第2边界的信号修正单元4、修正综合单元5、修正校正单元6。其中，色区判定单元2相当于构成色区判定装置的部位。第1边界的信号修正单元3、第2边界的信号修正单元4、修正综合单元5相当于构成信号修正装置的部位。下面说明动作。
亮度·色差变换单元1把从摄像元件得到的RGB信号变换成YCbCr、YUV、L*a*b*、L*u*v*、HSV的某一种亮度信号和色信号。以下说明亮度·色差变换单元1把RGB信号变换成YCbCr信号的情况。
色区判定单元2是相当于色区判定装置的部位，判定色信号存在的区域。这里使用
色区判定单元2中的色区判定的方法。图2中，设置以CbCr平面的原点为起点的4个区域边界线101、102、103、104。然后，由该区域边界线如图示那样把CbCr平面分割成区域201、区域202、区域203、区域204。
进而，把从原点朝向区域边界线101的方向的矢量记为u1，把从原点朝向区域边界线102的方向的矢量记为u2，把从原点朝向区域边界线103的方向的矢量记为u3，把从原点朝向区域边界线104的方向的矢量记为u4。把这样的矢量u1、u2、u3、u4称为规定各区域的矢量。即，矢量u1、u2是规定区域201的矢量，u2、u3是规定区域202的矢量，进而，u3、u4是规定区域203的矢量，u4、u1是规定区域204的矢量。
如果把向区域边界线102的方向使u1旋转90°的矢量记为u12，把向区域边界线101的方向使u2旋转90°的矢量记为u21，则当某个色信号矢量x＝(Cb，Cr)T存在于区域201中时，矢量x与矢量u12、u21的内积满足公式(1)。
u12·x≥0且u21·x≥0(1)同样，当矢量x存在于区域202中时，成为[数2]u23·x≥0且u32·x≥0(2)同样，当矢量x存在于区域203中时，成为[数3]u34·x≥0且u43·x≥0(3)同样，当矢量x存在于区域204中时，成为[数4]u41·x≥0且u14·x≥0(4)上述中，T表示矢量的转置。
这样，色区判定单元2预先求对于规定区域201、202、203、204的各矢量的正交矢量与色信号矢量的内积，依次判定这样得到的内积是否满足从公式(1)到公式(4)中哪一个条件，判定色信号矢量存在的区域。最终，色区判定单元2作为识别色信号矢量存在的区域的信息，把u1、u2、u3、u4中某两个区域规定矢量作为第1区域规定矢量和第2区域规定矢量输出。第1区域规定矢量输入到第1边界的信号修正单元3，第2区域规定矢量输入到第2边界的信号修正单元4。
接着，第1边界的信号修正单元3和第2边界的信号修正单元4根据由色区判定单元2求出的2个区域规定矢量，进行输入的亮度信号Y和色信号CbCr的修正。这里，把第1区域规定矢量记为ui，把第2区域规定矢量记为uj，把对于ui、uj的修正矩阵记为Ai、Aj，进而把用色修正矩阵Ai、Aj修正了的结果分别记为(Yi，Cbi，Cri)、(Yj，Cbj，Crj)。第1边界的信号修正单元3和第2边界的信号修正单元4进行公式(5)以及公式(6)所示的运算，修正亮度信号Y和色信号CbCr。
Yi′Cbi′Cri′1=AiYCbCr1---(5)]]>Yj′Cbj′Crj′1=AjYCbCr1---(6)]]>另外，公式(5)中，Ai由公式(7)给出。另外，把公式(7)的脚注i置换为j的矩阵是Aj。
Ai=UiViOl]]>Ui=αibicidieifigihiii]]>Vi=jikili]]>(7)在公式(7)中，色修正矩阵Ai的各分量由进行线性变换的矩阵分量Ui和进行平行移动的矩阵分量Vi构成。这种变换作为仿射变换而被公知的。进行线性变换的Ui的各分量是由摄像元件的滤色片的特性和用于再现为记忆色的修正量决定的。进行平行移动的Vi的各分量根据无色彩的偏移决定修正量。
修正综合单元5根据信号矢量与区域边界线的距离关系，把由第1边界的修正单元3所得的修正结果与由第2边界的修正单元4所得的修正结果加权并综合。具体地讲，把由第1边界的修正单元3所得的修正结果记为pi’＝(Yi’，Cbi’，Cri’)T、pi’＝(Yi’，Cbi’，Cri’)T，把规定矢量x存在的区域的区域边界线与矢量x的距离记为hi、hj，进行公式(8)所示的合成，得到成为合成结果的信号矢量ps=(Ys，Cbs，Crs)T。
ps=hjhi+hjp′i+hihj+hjp′j---(8)]]>在公式(8)中，根据公式(9)计算距离hi。
hi=|x→|2·|u→i|2-(x→·u→i)2|u→i|2---(9)]]>修正校正单元6在亮度信号和色饱和度包含在预定区域内的情况下，把修正综合单元5使用公式(8)计算出的修正结果ps作为最终的修正结果而采用并输出。进而，在亮度信号和色饱和度没有包含在预定的区域内的情况下，调整输入信号矢量p＝(Y，Cb，Cr)T中的修正结果ps的影响程度，把调整后的值作为最终的修正结果输出。
如果具体地说明这些处理则如下。即，修正校正单元6根据公式(10)计算色饱和度C。
C=Cb2+Cr2---(10)]]>修正校正单元6判定色饱和度C是否包含在以C1为下限值、以C2为上限值的预定的值域中。另外，C1、C2是根据CCD等的摄像元件的S/N比预先设定的值。进而，修正校正单元6根据判定结果，如从公式(11)到公式(13)所示那样决定系数ks。
0≤C＜C1的情况ks=CCl---(11)]]>C1≤C≤C2的情况ks＝1(12)
C2＜C≤CMAX的情况ks=CMAX+CCMAX+C2---(13)]]>这里，适用公式(12)的情况相当于在预定的值域内包括色饱和度C的情况。另外，作为适用公式(11)的情况是色饱和度C过低没有包含在该值域中的情况。进而，作为适用公式(13)的情况是色饱和度C过高没有包含在该值域中的情况。另外，在公式(13)中，CMAX是色饱和度的最大值。
然后，修正校正单元6使用这样决定的系数ks，根据公式(14)计算ps’。
ps′＝ks×ps+(l-ks)×p(14)接着，修正校正单元6根据亮度信号Y修正由公式(14)计算出的ps’。为此，修正校正单元6首先判定亮度信号Y是否包含在以Y1为下限值，以Y2为上限值的预定的值域中。另外，Y1、C2是根据CCD等摄像元件的S/N比预先设定的值。进而，修正校正单元6根据判定结果如从公式(15)到公式(17)所示那样决定系数ky。
0≤Y＜Y1的情况ky=YY1---(15)]]>Y1≤Y≤Y2的情况ky＝1(16)Y2＜Y≤YMAX的情况ky=YMAX-YYMAX-Y2---(17)]]>这里，适用公式(16)的情况相当于在预定的值域中包括亮度信号Y的情况。另外，作为适用公式(15)的情况是亮度信号Y过低没有包含在该值域中的情况。进而，作为适用公式(17)的情况是亮度信号Y过高没有包含在该值域中的情况。另外，在公式(17)中，YMAX是亮度信号的最大值。
而且，修正校正单元6使用这样决定的系数ky，根据公式(18)计算py”。
ps″＝ky×ps′+(l-ky)×p(18)至此为止，对于在亮度、色差变换单元1中，把RGB信号变换成YCbCr的亮度和色信号的情况进行了说明，而也可以使用YUV、L*a*b*、L*u*v*、HSV等其它的表现形式。在进行向各种表现形式的变换的情况下，色饱和度表现为如图3所示的图表。在各种表现形式中进行同样的修正处理，通过对于色饱和度或者亮度进行修正抑制处理，能够进行修正。
如上所述，在本发明实施形态1的色修正方法中，通过使用具有平行移动的分量的修正矩阵，具有能够修正色偏、进行色修正的效果。
另外，通过使用与分割色区的边界线的距离的加权，具有能够实现颜色从边界平滑地变化的色修正的效果。进而，通过使用亮度和色饱和度的大小，取得修正后的信号与修正前信号之比，具有能够调整针对亮度和色饱和度低的信号的修正，抑制S/N比增加的效果。
另外，在本实施形态1中，示出了把CbCr平面分割为4个区域的例子，而区域的分割数不限定于4个，也可以是任意的数量。
实施形态2在实施形态1中，修正综合单元5计算规定输入矢量x存在的CbCr平面的区域的区域边界线与矢量x的距离，通过进行基于计算出的距离的加权，实现了区域边界中的修正结果的连续性，而为了计算在加权中使用的距离，需要进行求平方根的运算，有时出现计算负荷高的情况。为此在实施形态2中，说明即使不进行平方根运算，也能够进行与实施形态1等价的加权运算的色修正装置。
这里，参照图4，说明实施形态2的修正综合单元5的处理。另外，假定关于其它部位的结构与实施形态1的色修正装置相同，省略关于各个构成要素的说明。图4中，色信号矢量x位于区域201中，把色信号矢量的端点记为P，从端点P向区域边界线101、102引垂线的垂足记为H1、H2，进而考虑通过P的直线210，把直线210与区域边界线101、102的交点记为U、V。
如果考虑CbCr平面原点O与交点U、V的距离(线段OU和线段OV的长度)相等的直线210，则由于三角形OUV由于成为等腰三角形，因此∠OUV＝∠OVU。进而，H1是从P引向区域边界线101的垂线的垂足，H2是从P引向区域边界线102的垂线的垂足，因此是∠PH1U＝∠PH2V。从而，三角形PH1U与三角形PH2V相似。
这里，用脚注x表示各点的水平坐标，用脚注y表示垂直坐标。即，用(Px，Py)、(Ux，Uy)、(Vx，Vy)表示P、U、V的坐标。这种情况下，成为下式。
PU:‾PV‾=PxUx‾:PxVx‾=PyUy‾:PyVy‾---(19)]]>这里，Ux、Uy、Vx、Vy由公式(20)给出。
Ux=Pxky-Pykxkululx,]]>Uy=Pxky-Pykxkululy]]>Vx=Pxky-Pykxku2u2x,]]>Vy=Pxky-Pykxku2u2y---(20)]]>式中，kx、ky、ku1、ku2由公式(21)给出。
kx＝|u1|u2x-|u2|u1x，ky＝|u1|u2y-|U2|u1y，ku1＝u1xky--u1ykx-， ku2＝u2xky--u2ykx-(21)从而，如公式(22)那样计算公式(8)的距离的加权系数。
h2h1+h2=VP‾UV‾=VxPx‾UxVx‾=VyPy‾UyVy‾---(22)]]>h2h1+h2=UP‾UV‾=UxPx‾UxVx‾=UyPy‾UyVy‾]]>由公式(20)以及公式(21)给出的Ux、Uy、Vx、Vy、kx、ky、ku1、ku2如果区域的区域边界线确定则是能够唯一决定的值。因此，在设定了区域的分割方法时，也一起计算这些值，预先存储其计算结果。进而，在色修正时，使用存储的Ux、Uy、Vx、Vy，按照公式(22)计算加权系数即可。由此，由于即使不进行平方根运算，也能够计算加权系数，因此能够减少运算量。
如上所述，在本发明实施形态2的色修正装置中，在根据把色信号平面分割成区域的区域边界线与色信号的点的距离而调整修正的程度的基础上，代替需要平方根运算的距离运算，仅按照基于色信号的点与区域边界线的几何关系的加减法的组合而计算加权系数，因此能够减少运算量。
实施形态3这里，参照图5，说明实施形态3的修正综合单元的处理。在色信号矢量P存在于由区域边界线101和区域边界线102分割的区域201中的情况下，把色信号矢量P在区域边界线101和区域边界线102的方向上分别分解成平行的矢量。如果把以这些矢量的始点为原点O时的终点分别记为P1、P2，则P1成为区域边界线101上的点，P2成为区域边界线102上的点，四角形OP1PP2成为平行四边形。
因此成为下式。
OP1‾=PP2‾,OP2‾=PP1‾---(23)]]>如果把从点P引向区域边界线101和区域边界线102的垂线的垂足分别记为H1、H2，则由于三角形PH1P1与三角形PH2P2相似，因此 PH1‾:PH2‾=PP1‾:PP2‾---(24)]]>从而，公式(8)的距离的加权系数成为下式。
h2h1+h2=OP1‾OP1‾+OP2‾]]>h1h1+h2=OP2‾OP1‾+OP2‾---(25)]]>这里，如果把规定区域边界线101的矢量记为u1＝(u1x，u1y)T，把规定区域边界线102的矢量记为u2＝(u2x，u2y)T，则线段OP1、OP2的长度由公式(26)、公式(27)给出。
OP1‾=u2yPx-u2xPyD|u1|---(26)]]>OP2‾=u1xPy-u1yPxD|u2|---(27)]]>其中，在公式(26)、(27)中，D由下式给出。
D＝u1xu2y-u2xu1y(28)在公式(28)中，由于如果决定了规定区域的方向矢量，则D是唯一决定的数，因此如果能够在进行区域分割的设定时，同时设定或者用一次计算预先求出，则能够减少运算量。
如上所述，在本发明实施形态3的色修正方法中，通过在与分割色区的边界线的距离的加权中，沿着邻接的边界线的2个方向分解色信号的位置矢量，把各方向的矢量的大小用作为加权系数，从而在距离的计算中不需要平方根的运算，具有能够减少运算量的效果。
实施形态4在实施形态1中的色区判定单元2中，根据方向矢量规定色调方向的边界，预先求方向矢量的正交矢量，根据该正交矢量与色信号矢量的内积的结果，判定色调中的色区。而除此以外，也可以根据色信号矢量与方向矢量的内积，进行色区的判定。
如果把规定色区的方向矢量ui、uj构成的角度记为θ，把各个矢量与色信号矢量x构成的角度记为α、β，则在满足α＜θ而且β＜θ的情况下，色信号矢量x存在于由ui、uj设定的区域内。这里，由于α、β、θ成为比180度小的角，因此cosα＜cosθ而且cosβ＜cosθ成立。
由此，[数23]x·ui|x||ui|<ui·uj|ui||uj|]]>且x·uj|x||uj|<ui·uj|ui||uj|---(29)]]>从而，[数24]x·uj|x||uj|<ui·uj]]>且x·uj|x||uj|<ui·uj---(30)]]>在公式(30)的条件成立的情况下，色信号矢量x存在于由矢量ui、uj规定的边界。因此，通过判定该条件是否成立，即使不求出正交矢量也能够进行色区的判定。
本发明能够例如在以数码照相机为代表的摄像装置中或者对作为其摄像结果的图像数据进行修正方面广泛适用。
权利要求
1.一种色修正方法，该色修正方法判定输入的色信号矢量属于由通过色信号平面的原点的区域边界线所分割的色信号平面的哪一个区域，对于判定为上述色信号矢量所属的区域，使用预先设定的修正矩阵，对上述色信号矢量进行变换，从而修正上述色信号矢量，其特征在于，作为上述修正矩阵，使用具有进行平行移动的分量和进行线性变换的分量的修正矩阵。
2.一种色修正装置，该色修正装置判定输入的色信号矢量属于由通过色信号平面的原点的区域边界线所分割的色信号平面的哪一个区域，对于判定为上述色信号矢量所属的区域，使用预先设定的修正矩阵，对上述色信号矢量进行变换，从而修正上述色信号矢量，其特征在于具备，作为上述修正矩阵，使用具有进行平行移动的分量和进行线性变换的分量的修正矩阵，对上述色信号矢量进行仿射变换，从而得到修正结果的色信号矢量的信号修正单元。
3.根据权利要求2所述的色修正装置，其特征在于，具备判定输入的色信号矢量属于由通过色信号平面的原点的区域边界线所分割的色信号平面的哪一个区域，输出分割判定为上述色信号矢量所属的区域的第1区域边界线和第2区域边界线的色区判定单元，上述信号修正单元作为具有进行平行移动的分量和进行线性变换的分量的修正矩阵，使用第1区域边界线的修正矩阵和第2区域边界线的修正矩阵，对上述色信号矢量进行变换，综合由第1区域边界线的修正矩阵所得的一次变换结果和由上述第2区域边界线的修正矩阵所得的变换结果，得到修正结果的色信号矢量。
4.根据权利要求2所述的色修正装置，其特征在于，上述信号修正单元根据判定为输入的色信号矢量所属的色信号平面的区域的边界线与上述色信号矢量的距离关系，把由第1区域边界线的修正矩阵所得的变换结果和由第2区域边界线的修正矩阵所得的变换结果加权并综合，得到修正结果的色信号矢量。
全文摘要
在把色平面区域分割为多个区域，对每个所分割的区域用不同的方法进行修正的色修正方法中，防止由于变换色信号矢量而产生的色偏。判定输入色信号矢量属于由通过色信号平面的原点的区域边界线所分割的色信号平面的哪一个区域，对于判定为输入色信号矢量所属的区域，使用预先设定的修正矩阵，对输入色信号矢量进行变换，从而修正输入色信号矢量，此时，作为修正矩阵，使用具有进行平行移动的分量和进行线性变换的分量的修正矩阵。
文档编号H04N9/64GK1973553SQ20048004336
公开日2007年5月30日 申请日期2004年11月25日 优先权日2004年11月25日
发明者坂口隆明, 青木透, 的场成浩 申请人:三菱电机株式会社