图像处理装置及图像处理方法
【专利摘要】本发明提供一种图像处理装置及图像处理方法。白平衡控制电路基于闪光灯单元发光时拍摄的图像数据计算第一白平衡校正值，并基于所述闪光灯单元不发光时拍摄的图像数据计算第二白平衡校正值。所述白平衡控制电路获取与所述闪光灯单元发光时拍摄的图像数据相对应的图像拍摄条件或者从所述闪光灯单元发光时拍摄的图像数据的颜色信息中获得的场景信息。所述白平衡控制电路基于所述图像拍摄条件或者所述场景信息，对所述第一白平衡校正值和所述第二白平衡校正值中的至少一个进行校正。
【专利说明】图像处理装置及图像处理方法【技术领域】
[0001]本公开一般性地涉及图像处理，更具体地涉及应用于图像数据的白平衡控制技术。
【背景技术】
[0002] 诸如数字照相机和数字摄像机的使用图像传感器的摄像装置具有称为白平衡控制功能的功能。该功能用于调整拍摄的图像数据的色调。存在包括手动白平衡控制和自动白平衡控制的两种白平衡控制。根据手动白平衡控制，首先，拍摄白色被摄体的图像。接着，基于图像计算白平衡系数，并将计算获得的白平衡系数应用到整个画面。根据自动白平衡控制，从拍摄的图像数据自动检测认为是白色的部分。接着，基于各颜色的颜色分量的平均值来计算白平衡系数，并将获得的白平衡系数应用到整个画面。
[0003]根据传统的自动白平衡控制，如果闪光灯单元在存在除闪光灯单元以外的光源的场景下闪光，则将如上所述计算出的白平衡系数应用到整个画面。因此，考虑到各光源的色调，难以进行白平衡控制。例如，在环境光包括来自诸如白炽灯光源的低色温度光源的光的情况下，如果白平衡被调整适合闪光灯光，则无法获得与低色温度光源匹配的白平衡。这是因为闪光灯单元是高色温度光源。另一方面，如果白平衡被调整适合低色温度光源，则无法获得与闪光灯光匹配的白平衡。此外，如果进行白平衡控制使得白平衡被调整适合低温光源和高温光源的中间，则由于白平衡与两种光源都不对应，因此由闪光灯光照射的区域的色调发蓝，而由低色温度光源照射的区域发红。
[0004]针对这种情况，日本专利第3540485号公报讨论了用于控制白平衡的技术。根据该技术，针对各任意被摄体区域将在闪光灯单元发光时拍摄的图像数据与闪光灯单元不发光时拍摄的图像数据进行比较，并获得数据的比。此外，根据比的值来确定闪光灯光的贡献率。接着，使用根据所确定的贡献率针对各被摄体区域选择的白平衡控制值，来进行白平衡控制。
[0005]然而，根据日本专利第3540485号公报讨论的技术，由于在针对各区域选择白平衡控制值之后，进行显影处理，因此，诸如颜色再现控制的控制可能无法与白平衡控制值适当地匹配。
[0006]此外，在使用日本专利第3540485号公报讨论的技术的情况下，在闪光灯单元发光时拍摄的图像数据与闪光灯单元不发光时拍摄的图像数据之间存在时滞。因此，当被摄体移动或者摄像装置自身移动时，可能发生关于闪光灯照射范围或者闪光灯光量的检测错误。因此，在物体的边界部分可能发生色调偏差。特别地，当以高倍率变焦拍摄图像时，由于即使摄像装置的轻微运动也会造成闪光灯照射范围或者闪光灯光量的检测错误，因此更有可能发生色调的偏差。
【发明内容】
[0007]本公开旨在提供一种图像处理装置，其能够减轻物体的边界部分的色调的偏差，并向用户提供期望的图像。
[0008]根据本公开的方面，提供了一种图像处理装置，该图像处理装置包括:校正值计算单元，其被配置为基于闪光灯单元发光时拍摄的图像数据计算第一白平衡校正值，并基于所述闪光灯单元不发光时拍摄的图像数据计算第二白平衡校正值；获取单元，其被配置为获取与所述闪光灯单元发光时拍摄的图像数据相对应的图像拍摄条件或者从所述闪光灯单元发光时拍摄的图像数据的颜色信息中获得的场景信息；校正单元，其被配置为基于所述图像拍摄条件或者所述场景信息，对所述第一白平衡校正值和所述第二白平衡校正值中的至少一个进行校正；生成单元，其被配置为基于从所述校正单元输出的所述第一白平衡校正值，由所述闪光灯单元发光时拍摄的图像数据生成第一图像数据，并基于从所述校正单元输出的所述第二白平衡校正值，由所述闪光灯单元不发光时拍摄的图像数据生成第二图像数据；分量计算单元，其被配置为基于所述闪光灯单元不发光时拍摄的图像数据的亮度值与所述闪光灯单元发光时拍摄的图像数据的亮度值，来计算外部光的亮度分量与来自所述闪光灯单元的光的亮度分量；以及合成单元，其被配置为基于所述第一图像数据的亮度分量与所述第二图像数据的亮度分量之间的差分，合成所述第一图像数据和所述第二图像数据。
[0009]通过以下参照附图对示例性实施例的描述，本公开的其他特征将变得清楚。
【专利附图】
【附图说明】
[0010]图1示出了根据本公开的第一示例性实施例的摄像装置的配置。
[0011]图2是示出白平衡(WB)校正值的计算处理的流程图。
[0012]图3A和图3B示出了白色检测区域。
[0013]图4示出了按照时间顺序的拍摄控制。
[0014]图5示出了静态图像拍摄模式下的WB校正值与电子取景器(EVF)拍摄模式下的WB校正值。
[0015]图6是示出考虑环境气氛的色调来计算第二 WB校正值的方法的图。
[0016]图7是示出根据第一示例性实施例的图像数据的合成处理的流程图。
[0017]图8示出了焦距与合成调整率之间的关系。
[0018]图9示出了与色温度差分和运动量相对应的合成调整率。
[0019]图10示出了用于计算照射率的被摄体区域的剪切。
[0020]图11是示出根据本公开的第二示例性实施例的图像数据的合成处理的流程图。
[0021]图12示出了与饱和度和对比度相对应的合成调整率。
【具体实施方式】
[0022]以下将参照附图详细描述本公开的各种示例性实施例、特征和方面。
[0023]图1示出了根据本公开的第一示例性实施例的摄像装置的配置。根据本实施例的摄像装置是根据本公开的图像处理装置的应用例。在图1中，固态图像传感器101包括电荷耦合器件(CXD)传感器或者互补金属氧化物半导体(CMOS)传感器。固态图像传感器101的表面被例如诸如拜耳(Bayer)滤镜的红色、绿色、蓝色(RGB)滤色镜覆盖，从而能够进行彩色拍摄。[0024]中央处理单元(CPU) 114计算用于使整个图像变亮的快门速度和光圈值。CPU114还计算聚焦镜头的驱动量，使得聚焦区域中的被摄体对焦。由CPU114计算出的曝光值(快门速度或者光圈值)和聚焦镜头的驱动量被输出至控制电路113，从而根据各值控制各个相应部件。白平衡(WB)控制电路103基于存储在存储器102中的图像数据来计算WB校正值，并通过使用计算出的WB校正值，对存储在存储器102中的图像数据进行WB校正。以下将描述由WB控制电路103进行的WB校正值的计算方法的详情。如本文使用的，术语“单元”通常指用于实现目的的软件、固件、硬件或其他部件的任意组合。
[0025]颜色转换矩阵电路104对经历WB控制电路103的WB控制的图像数据的颜色增益进行调整，以使用最佳颜色来再现图像数据，并且将数据转换为色差信号R-Y和B-Y。低通滤波器(LPF)电路105限定色差信号R-Y和B-Y的频带。色度抑制(CSUP)电路106抑制具有LPF电路105限定的频带的图像数据中的饱和部分的伪色信号。具有WB控制电路103校正的白平衡的图像数据也被输出到生成亮度信号Y的亮度信号(Y)生成电路111。边缘增强电路112对生成的亮度信号Y进行边缘增强处理。
[0026]RGB转换电路107将从CSUP电路106输出的色差信号R-Y和B-Y以及从边缘增强电路112输出的亮度信号Y转换为RGB信号。伽马(Y )校正电路108对RGB信号进行灰度校正。颜色亮度转换电路109将校正了灰度的RGB信号转换为YUV信号。联合图像专家组(JPEG)压缩电路110压缩YUV信号。从JPEG压缩电路110输出的信号被作为图像数据记录在外部记录介质或者内部记录介质上。
[0027]接下来，详细描述由WB控制电路103进行的计算WB校对值的方法。首先，参照图2所示的流程图，描述当进行主曝光时(在闪光灯单元发光时)用来校正白平衡的第一 WB校正值(第一白平衡校正值)的计算方法。基于闪光灯单元发光时拍摄的图像数据(以下称为使用闪光灯拍摄的图像数据)来计算第一 WB校正值。图2所示的处理是由计算单元进行的处理的示例。
[0028]在步骤S201中，WB控制电路103读出存储在存储器102中的、使用闪光灯单元的闪光拍摄的图像数据，并将图像数据划分为预定的m个块。在步骤S202中，WB控制电路103对块(I至m)的各颜色的像素值进行相加并求平均值，并计算平均颜色值(R[i]，G[i]，B[i])。此外，冊控制电路103根据以下公式计算颜色评价值(&[丨]，07山)。
[0029]Cx[i]= (R[i]-B[i])/Y[i] X1024
[0030]Cy[i]= (R[i]+B[i]-2G[i] ) /Y[i] X 1024
[0031]其中，Y[i]=(R[i]+2G[i]+B[i])/4
[0032]WB控制电路103使用具有图3A所示的坐标轴的图来进行白色检测。x坐标(Cx)的负方向表示当拍摄高色温度被摄体的白色时的颜色评价值，而正方向表示当拍摄低色温度被摄体的白色时的颜色评价值。此外，y坐标(Cy)表示光源的绿色分量的程度。绿色分量朝I坐标的负方向变大。如果绿色分量大，则表示光为荧光。
[0033]在步骤S203中，WB控制电路103确定在步骤S202中计算出的第i块的颜色评价值(Cx[i]，Cy[i])是否在预先确定的白色检测范围301内(参见图3A)。由于闪光灯单元是已知光源，因此白色检测范围301的检测范围被限制。如果第i块的颜色评价值(Cx [i]，Cy [i])在白色检测范围301内(步骤S203中“是”)，则处理进入步骤S204。另一方面，如果第i块的颜色评价值(Cx [i]，Cy [i])不在白色检测范围301内(步骤S203中“否”)，则处理跳过步骤S204并进入步骤S205。
[0034]在步骤S204中，WB控制电路103确定第i块是否是白色，并对块的颜色平均值(R[i]，G[i]，B[i])进行积分。步骤S203和步骤S204中的处理可以由以下公式表示:
【权利要求】
1.一种图像处理装置，该图像处理装置包括: 计算单元，其被配置为基于闪光灯单元发光时拍摄的图像数据计算第一白平衡校正值，并基于所述闪光灯单元不发光时拍摄的图像数据计算第二白平衡校正值； 获取单元，其被配置为获取与所述闪光灯单元发光时拍摄的图像数据相对应的图像拍摄条件或者基于所述闪光灯单元发光时拍摄的图像数据的颜色信息而获得的场景信息； 校正单元，其被配置为基于所述图像拍摄条件或者所述场景信息，对所述第一白平衡校正值和所述第二白平衡校正值中的至少一个进行校正； 生成单元，其被配置为基于从所述校正单元输出的所述第一白平衡校正值，由所述闪光灯单元发光时拍摄的图像数据生成第一图像数据，并基于从所述校正单元输出的所述第二白平衡校正值，由所述闪光灯单元不发光时拍摄的图像数据生成第二图像数据； 分量计算单元，其被配置为基于所述闪光灯单元不发光时拍摄的图像数据的亮度值与所述闪光灯单元发光时拍摄的图像数据的亮度值，来计算外部光的亮度分量与来自所述闪光灯单元的光的亮度分量；以及 合成单元，其被配置为基于所述第一图像数据的亮度分量与所述第二图像数据的亮度分量之间的差分，合成所述第一图像数据和所述第二图像数据。
2.根据权利要求1所述的图像处理装置，其中，所述图像拍摄条件包括当拍摄到所述闪光灯单元发光时拍摄的图像数据时的摄影镜头的焦距、被摄体距离、所述闪光灯单元的闪光指数以及ISO感光度中的至少一个。
3.根据权利要求1所述的图像处理装置，其中，所述场景信息包括所述闪光灯单元发光时拍摄的图像数据的饱和度和对比度中的至少一个。
4.根据权利要求1所述的图像处理装置，所述图像处理装置还包括: 色温度差分计算单元，其被配置为计算所述第一白平衡校正值和所述第二白平衡校正值的色温度的差分；以及 运动量计算单元，其被配置为计算被摄体或者摄像装置的运动量， 其中，所述校正单元还基于所述色温度的差分和所述运动量，对所述第一白平衡校正值和所述第二白平衡校正值中的至少一个进行校正。
5.根据权利要求1所述的图像处理装置，其中，所述校正单元对所述第一白平衡校正值和所述第二白平衡校正值中的至少一个进行校正，使得所述第一白平衡校正值和所述第二白平衡校正值彼此接近。
6.根据权利要求1所述的图像处理装置，其中，基于针对各块的所述外部光的亮度分量和来自所述闪光灯单元的光的亮度分量，所述合成单元针对各块计算所述第一图像数据和所述第二图像数据的合成比率。
7.根据权利要求6所述的图像处理装置，其中，所述合成单元使用像素插值处理，由各块的合成比率计算各像素的合成比率。
8.根据权利要求1所述的图像处理装置，其中，所述合成单元根据各块的亮度值确定是否执行相应块的合成处理。
9.根据权利要求1所述的图像处理装置，其中，所述校正单元校正所述第一白平衡校正值和所述第二白平衡校正值中的至少一个，使得在所述图像拍摄条件表示第一变焦倍率的情况下，与在所述图像拍摄条件表示比所述第一变焦倍率小的第二变焦倍率的情况下相比，所述第一白平衡校正值影响较小。
10.根据权利要求1所述的图像处理装置，其中，所述校正单元校正所述第一白平衡校正值和所述第二白平衡校正值中的至少一个，使得所述图像拍摄条件或所述场景信息表示到达拍摄的图像数据的被摄体的、来自所述闪光灯单元的光量越小，则所述第一白平衡校正值的影响越小。
11.一种由图像处理装置执行的图像处理方法，所述图像处理方法包括以下步骤: 基于闪光灯单元发光时拍摄的图像数据计算第一白平衡校正值，并基于所述闪光灯单元不发光时拍摄的图像数据计算第二白平衡校正值； 获取与所述闪光灯单元发光时拍摄的图像数据相对应的图像拍摄条件或者基于所述闪光灯单元发光时拍摄的图像数据的颜色信息而获得的场景信息； 基于所述图像拍摄条件或者所述场景信息，对所述第一白平衡校正值和所述第二白平衡校正值中的至少一个进行校正； 基于所校正的第一白平衡校正值，由所述闪光灯单元发光时拍摄的图像数据生成第一图像数据，并基于所校正的第二白平衡校正值，由所述闪光灯单元不发光时拍摄的图像数据生成第二图像数据； 基于所述闪光灯单元不发光时拍摄的图像数据的亮度值与所述闪光灯单元发光时拍摄的图像数据的亮度值，来计算外部光的亮度分量与来自所述闪光灯单元的光的亮度分量；以及 基于所述第一图像数据的 亮度分量与所述第二图像数据的亮度分量之间的差分，合成所述第一图像数据和所述第二图像数据。
【文档编号】H04N9/04GK103581638SQ201310325585
【公开日】2014年2月12日 申请日期:2013年7月30日 优先权日:2012年8月1日
【发明者】大内谦治 申请人:佳能株式会社