专利名称：图像处理方法、图像处理装置及其程序的制作方法
技术领域：
本发明涉及对利用数字照相机拍摄的数字图像的信号值进行校正的图像处理方法、图像处理装置及其程序。
背景技术：
以往，在作成附加在身份证、各种许可证、护照等上的证明用照片的图像处理装置中，拍摄输入被摄体(人物)的上半身像并打印输出。在这些图像处理装置中进行图像的校正，以便即使在输入条件变动时也能够作成相同状态的印刷物。具体来讲，提出了利用鼠标等指定图像的肤色区域，通过与标准数据比较来校正肤色的方法(例如，专利文献1等)。
并且，在作成证明用照片的图像处理装置中，通过调节椅子15的高度进行拍摄使得脸部在画面上的区域处于一定的范围内，所以通过使用该位置数据和具有肤色的像素区域，自动提取要校正的脸部区域，算出使用了脸部区域的颜色平均浓度的特性值。另外，提出下述方法，根据预先设定的标准图像的脸部区域的颜色平均浓度和所提取的脸部区域的颜色平均浓度的偏差量，求出校正系数，使用该校正系数来校正图像数据(例如，专利文献2、专利文献3)。
另外，在专利文献2中，也提出了下述方法，算出包括脸部区域以外的衣服区域的特性值，求出重视脸部区域和衣服区域的特性值(例如对颜色平均浓度进行加权平均得到的脸部区域的特性值)的校正值。
专利文献1 特开平5-68262号公报专利文献2 特开平10-221773号公报专利文献3 特开2000-261650号公报但是，在图像是将要再现的存储介质的动态范围较广的图像时，上述各方法虽然在使图像变亮、变暗的方向上均能获得良好效果，但是象用数字照相机拍摄的图像数据那样，在只具有8位存储范围的图像中，R、G、B值只能在0～255的范围内表示，超过该范围的信息将会丢失。在过度曝光拍摄的图像的脸部区域内也呈现出超过(R、G、B)＝(255、255、255)的区域，即使想要把这种脸部浓度校正合适，也只会变成灰色，未必能够校正成所期望的图像。并且，即使没有过度曝光拍摄，多数情况下使包括脸部的图像变暗的校正也只能得到脸部暗淡的图像。
发明内容
本发明就是鉴于上述课题而提出的，其目的在于，提供一种在对利用数字照相机等拍摄得到的数字图像的浓度进行校正时，不会使被摄体的脸部泛白或发暗的图像处理方法、图像处理装置及执行该方法的程序。
本发明的图像处理方法校正拍摄得到的摄影图像的平均信号值使其与规定的基准值一致，其特征在于，具有判定步骤，比较从所述摄影图像得到的平均信号值和所述规定的基准值，判定是使所述摄影图像变亮的校正还是变暗的校正；校正步骤，仅在通过该判定步骤判定为是使所述摄影图像变亮的校正时，作成具有对所述摄影图像的像素的信号值进行规定校正量的校正而得到的校正信号值的校正图像，该校正步骤在所述摄影图像的像素的信号值表示的亮度大于等于规定亮度的信号值中，随着所述摄影图像的信号值表示的亮度变亮而逐渐减小所述校正量。
并且，本发明的图像处理装置校正拍摄得到的摄影图像的平均信号值使其与规定的基准值一致，其特征在于，具有判定单元，其比较从所述摄影图像得到的平均信号值和所述规定的基准值，判定是使所述摄影图像变亮的校正还是变暗的校正；校正单元，其仅在通过该判定单元判定为是使所述摄影图像变亮的校正时，作成具有对所述摄影图像的像素的信号值进行规定校正量的校正而得到的校正信号值的校正图像，
该校正单元在所述摄影图像的像素的信号值表示的亮度大于等于规定亮度的信号值中，随着所述摄影图像的信号值表示的亮度变亮而逐渐减小所述校正量。
并且，本发明的程序使计算机执行校正拍摄得到的摄影图像的平均信号值使其与规定的基准值一致的图像处理方法，其特征在于，具有判定步骤，比较从所述摄影图像得到的平均信号值和所述规定的基准值，判定是使所述摄影图像变亮的校正还是变暗的校正；校正步骤，仅在通过该判定步骤判定为是使所述摄影图像变亮的校正时，作成具有对所述摄影图像的像素的信号值进行规定校正量的校正而得到的校正信号值的校正图像，该校正步骤在所述摄影图像的像素的信号值表示的亮度大于等于规定亮度的信号值中，随着所述摄影图像的信号值表示的亮度变亮而逐渐减小所述校正量。
“从摄影图像得到的平均信号值”可以是摄影图像整体的平均信号值，也可以是摄影图像局部的平均信号值。
“信号值”是辉度浓度、RGB浓度、光量线性辉度值和RGB值等。
并且，该校正步骤优选使所述校正信号值在明亮方向上不饱和。
并且，所述摄影图像可以是包括脸部区域的图像。
并且，从摄影图像得到的平均信号值优选是所述脸部区域的平均信号值。
并且，所述校正量优选被设定成不对具有比所述摄影图像的脸部区域中的信号值中最亮的信号值还亮的信号值的像素的信号值进行校正。
根据本发明，比较从摄影图像得到的平均信号值和基准值，只在使摄影图像变亮的方向上进行校正，在信号值大于等于规定亮度时，逐渐减小校正量或使校正信号值在明亮方向上不饱和，可以把摄影图像校正成合适的信号值，并且不会使脸部泛白。另外，也不会得到象脸部那样的低浓度区域因校正而变暗的图像。
并且，如果平均信号值是摄影图像中包含的脸部区域的平均信号值，则通常可以校正成使脸部浓度恒定的状态。
并且，如果把摄影图像的脸部区域中的信号值中最亮的信号值校正成为基准值，则脸部区域不会泛白。
图1是表示本发明的图像处理装置的概略结构的图。
图2是说明图像处理装置的处理动作的图。
图3是表示浓度值的柔和化的图(之一)。
图4是表示浓度值的柔和化的图(之二)。
图5是表示边缘提取滤波器的一例的图。
图6是说明梯度矢量的图。
图7是表示人物脸上的梯度矢量的方向的图。
图8是表示显示脸部特征的位置的一个示例的图。
图9是表示求出脸部区域的平均浓度值的区域的一个示例的图。
图10是表示信号值的柔和化的图(之三)。
图11是光学浓度曲线的图。
具体实施例方式
以下，参照附图对实施本发明的图像处理方法的图像处理装置的实施方式进行说明。
本发明的图像处理装置1如图1所示，具有判定单元10，其判定是使摄影图像P1变亮的校正还是变暗的校正；校正单元20，其仅在通过判定单元10判定为是使摄影图像P1变亮的校正时，作成将摄影图像P1的像素的信号值校正成接近基准值的校正图像P2。并且，图像处理装置1还具有从摄影图像P1检测脸部区域的脸部区域检测单元30。
摄影图像P1是利用数字照相机等拍摄的数字图像数据。
判定单元10在对摄影图像P1进行校正使其成为接近基准值的图像时，比较从摄影图像P1得到的平均信号值和规定的基准值，判定是在变暗的方向还是在变亮的方向上校正摄影图像P1。
校正单元20作成具有对摄影图像P1的各像素的信号值Y进行规定校正量dY的校正而得到的校正信号值X的校正图像P2，以使摄影图像P1的平均信号值接近基准值。
脸部检测单元30从摄影图像P1中检测出好像是脸的区域作为脸部区域。对脸部检测方法没有特别限定，但作为一例，可以列举基于肤色·圆形状提取的脸部检测，基于脸部轮廓·圆形状提取的脸部检测，基于胴体·圆形状提取的脸部检测，基于眼部(脸内部结构)·圆形状提取的脸部检测，基于头发部提取·圆形状提取的脸部检测等(详细情况请参照本申请人的特开平8-184925号公报等)。
此处，根据图2说明利用本发明的图像处理装置1对摄影图像P1的信号值进行校正的处理动作。此处，说明把信号值作为辉度浓度、以辉度浓度为基准进行校正的情况。
摄影图像P1的校正为，通过算出摄影图像P1的平均浓度值，校正摄影图像P1使其接近标准图像的基准值，但是，由于数字图像数据只在规定位宽(例如8位)的范围中具有像素信息，所以，在对过度曝光拍摄的脸部这样的区域中进行量化时，超过规定辉度的像素的像素值全部变为(R、G、B)＝(255、255、255)，超过该值的信息将会丢失。因此，即使在变暗的方向上校正像素值，过度曝光拍摄的脸部区域也只会变为灰色，得不到良好的效果。所以，在校正摄影图像P1使其接近基准值的情况下，在变亮的方向上进行校正，而不在变暗的方向上进行校正。
首先，判定单元10判定是使摄影图像P1在变暗的方向上变化，还是在变亮的方向上变化。
首先，根据摄影图像P1的原图像作成RGB浓度的图像和辉度值Y的Y浓度图像(S1、S2)。把RGB值变换为YCrCb值的变换公式如下。
Y＝0.299R+0.587G+0.114B (1)Cr＝0.500R-0.419G-0.081B (2)Cb＝-0.169R-0.332G+0.500B(3)因此，算出摄影图像P1的浓度Y，算出摄影图像P1的平均浓度值Yaverage(S3)。为了使摄影图像P1只进行变亮的校正而不进行变暗的校正，比较平均浓度值和基准值Ytarget，在Yaverage＞Ytarget时进行校正，在Yaverage＜Ytarget时不进行校正。
在校正单元20中，只在Yaverage＞Ytarget时进行校正，从校正图像P2的各像素的浓度值X减去校正量dY，求出校正浓度值X。
X＝Y-dY(4)并且，可以利用Ytarget和Yaverage根据公式(5)求出校正量dY(S4)。
dY＝Ytarget-Yaverage(5)并且，为了通常将被摄体的脸部区域的浓度校正成恒定，公式(5)的平均浓度值Yaverage可以使用后述的脸部检测单元30所检测的脸部区域的平均浓度值。
但是，如果一律校正成变明亮，则在低浓度部位(图3(a)的D部分)，校正后的浓度值成为负值，该部分的浓度值被作为0来处理。因此，在低浓度部位呈现泛白的区域。
所以，如图3所示，对小于等于浓度值H(＞dY)的低浓度部位进行柔和化处理，使校正量dY逐渐减小，使得校正浓度值X小于等于0。例如，为了使整个区域中没有泛白的区域，如图3(b)所示，确定校正量dY＝f1(Y)，使输入浓度(摄影图像P1)和输出浓度(校正图像P2)的关系成为L1这样的关系(参照该图(a))。或者，利用后述的脸部检测单元30检测脸部区域，为了使以存在于所检测的脸部区域中的像素为基准的脸部区域的数据不泛白，如图4(b)所示，以脸部区域中的最小浓度min-Y为基准确定校正量dY＝f2(Y)，使输入浓度(摄影图像P1)和输出浓度(校正图像P2)的关系成为L2这样的关系(参照该图(a))。
因此，在脸部检测单元30例如进行基于肤色·圆形状提取的脸部检测时，首先从摄影图像P1进行肤色提取和圆形状提取，由此检测脸部区域(S5)。即，从摄影图像P1检测出各像素的色相和色度，提取出可以推测为人的肤色的像素区域(肤色区域)，然后，由于人的脸一般是椭圆形，所以从所提取的肤色区域提取被推测为人脸的(椭)圆形状，把其作为脸部区域候选。另外，也可以采用特开平8-122944号、特开平9-80652号、特开平9-101579号、特开平9-138470号、特开平9-138471号等各公报中公开的各种主要部位提取方法。
另外，使用学习了判明是脸部的多个样本图像、和判明不是脸部的多个样本图像的识别器，对作为脸部区域候选而被提取的区域是否真的是脸部区域进行判别。
例如，对摄影图像P1的脸部区域实施由图5(a)所示的水平方向边缘检测滤波器实现的滤波处理，检测水平方向的边缘，对摄影图像P1的脸部区域S0实施由图5(b)所示的垂直方向边缘检测滤波器实现的滤波处理，检测垂直方向的边缘。并且，如图6所示，根据摄影图像P1上的各像素的水平方向边缘的大小H和垂直方向边缘的大小V，算出各像素的梯度矢量K。这样算出的梯度矢量K在图像是图7(a)所示的人物脸部的情况下，如图7(b)所示，在眼睛和嘴那样的较暗的部分朝向眼睛和嘴的中央，在鼻子那样较亮的部分从鼻子位置朝向外侧。并且，由于眼睛的浓度变化大于嘴部，所以眼睛的梯度矢量K大于嘴部。
并且，在判明是脸部的样本图像中拍摄的眼睛、面颊部分、额头部分的位置处于根据脸部大小而大致确定的位置处，基于被摄体的个体差异较小。因此，如图7(b)所示，根据梯度矢量检测右眼和左眼的中心位置，以该右眼和左眼的中心位置为基准，在所提取的脸部区域的规定位置处，设定如图8所示的成为右眼中心的位置Q1、成为右侧面颊部分的位置Q2、成为额头部分的位置Q3和成为左侧面颊的位置Q4，求出各位置的梯度矢量K，根据由该梯度矢量K得到的特征量(例如梯度矢量K的方向和大小)，使用判明是脸部的多个样本图像和判明不是脸部的多个样本图像，进行识别器的学习。
识别器构成为例如能够获得正值的图像是脸部的可能性大，能够获得负值的图像是脸部的可能性小，把所得到的值较大的部分判定为脸部区域。
因此，从利用脸部检测单元30得到的脸部区域，按照前面所述由浓度梯度检测右眼和左眼的中心位置，如图9所示，以两眼的中心位置之间的距离D为基准，可以由存在于一边为D的正方形内的像素求出所述的脸部的平均浓度值和最小浓度值min-Y。
并且，从YCrCb值逆变换为RGB值的变换公式如下。
R＝Y+1.402Cr (6)G＝Y-0.714Cr-0.344Cb (7)B＝Y+1.772Cb (8)因此，在使摄影图像P2的浓度值Y变明亮，并且变明亮的程度相当于校正量dY的情况下，从摄影图像P2的RGB值(R、G、B)求出校正图像P2的RGB值(R′、G′、B′)(S6)。
R′＝R+f(Y) (9)G′＝G+f(Y) (10)B′＝B+f(Y) (11)其中，f( )f1( )或f2( )。
并且，辉度和光学浓度的关系为图11所示的光学浓度曲线。在对拍摄人物所得到的证明用照片等进行校正的情况下，最好根据经验将浓度值校正为0.4～0.5的范围。并且，上述柔和化的低浓度区域的浓度值H是光学浓度的值，如果设定在0.7～1.0之间，则能够获得所期望的结果。
以上说明了把辉度浓度作为基准进行校正的情况，但是，对RGB的各个浓度可以进行与上述相同的校正。例如，根据R值、G值、B值的各个平均信号值和各目标值，利用公式(5)同样求出校正量，使与图3(b)或图4(b)同样地小于等于规定浓度值的低浓度部位柔和化，求出RGB的校正量。
R′＝R+f(R) (12)G′＝G+f(G) (13)B′＝B+f(B) (14)其中，f( )f1( )或f2( )。
并且，此时，由于脸部区域的R值浓度较低，所以如果求出脸部区域中的R值的最小浓度值min-R，并进行使R值大于等于最小浓度值min-R的校正(把图4的Y值作为R值，把min-Y作为min-R)，可以进一步减小脸部区域泛白的情况。
另外，以上说明了在8位浓度轴上进行校正的情况，但也可以在光量线性信号轴上进行校正。具体来讲，在把通常的8位辉度浓度Y8bit变换为光量线性辉度信号值Ylinear时可以利用公式(15)，Ylinear＝{(Y8bit/255+0.055)/1.055}1/0.45(15)从光量线性辉度信号Ylinear到辉度浓度Ydensity的信号可以根据公式(16)求出。
Ydensity＝-log10(Ylinear) (16)该情况时，光量线性辉度信号值的校正量dYlinear可以根据基准值Ytarget和平均信号值Yaverage并利用公式(17)求出，dYlinear＝Ytarget/Yaverage (17)校正后的光量线性辉度信号值Xlinear可以根据公式(18)求出。
Xlinear＝Ylinear·dYlinear (18)并且，dYlinear如图10(b)所示，小于等于规定的信号值H的部位被柔和化，输入信号(摄影图像P1)和输出信号(校正图像P2)的关系成为该图(a)的L所示的关系。
上述公式(15)～(18)对RGB也能够获得相同的关系，也可以利用光量线性RGB信号对RGB浓度进行校正。
并且，作为图像处理装置，也可以是把可以执行上述图像处理装置的各种功能的程序存储在记录介质中，并安装在个人电脑或工作站等计算机上得到的装置，或者把通过网络下载的程序安装在计算机上得到的装置。
如上所述，在校正数字图像的浓度时，对人物脸部较多出现的低浓度部位实施柔和化处理，可以进行使整个区域没有泛白区域的校正。
权利要求
1.一种图像处理方法，校正拍摄得到的摄影图像的平均信号值使其与规定的基准值一致，其特征在于，具有判定步骤，比较从所述摄影图像得到的平均信号值和所述规定的基准值，判定是使所述摄影图像变亮的校正还是变暗的校正；校正步骤，仅在通过该判定步骤判定为是使所述摄影图像变亮的校正时，作成具有对所述摄影图像的像素的信号值进行了规定校正量的校正而得到的校正信号值的校正图像，该校正步骤在所述摄影图像的像素的信号值表示的亮度大于等于规定亮度的信号值中，随着所述摄影图像的信号值表示的亮度变亮而逐渐减小所述校正量。
2.根据权利要求1所述的图像处理方法，其特征在于，该校正步骤使所述校正信号值在明亮方向上不饱和。
3.根据权利要求1或2所述的图像处理方法，其特征在于，所述摄影图像是包括脸部区域的图像。
4.根据权利要求3所述的图像处理方法，其特征在于，从所述摄影图像得到的平均信号值是所述脸部区域的平均信号值。
5.根据权利要求3或4所述的图像处理方法，其特征在于，所述校正量被设定成不对具有比所述摄影图像的脸部区域中的信号值中最亮的信号值还亮的信号值的像素的信号值进行校正。
6.一种图像处理装置，校正拍摄得到的摄影图像的平均信号值，使其与规定的基准值一致，其特征在于，具有判定单元，其比较从所述摄影图像得到的平均信号值和所述规定的基准值，判定是使所述摄影图像变亮的校正还是变暗的校正；校正单元，其仅在通过该判定单元判定为是使所述摄影图像变亮的校正时，作成具有对所述摄影图像的像素的信号值进行了规定校正量的校正而得到的校正信号值的校正图像，该校正单元在所述摄影图像的像素的信号值表示的亮度大于等于规定亮度的信号值中，随着所述摄影图像的信号值表示的亮度变亮而逐渐减小所述校正量。
7.一种程序，使计算机执行校正拍摄得到的摄影图像的平均信号值使其与规定的基准值一致的图像处理方法，其特征在于，具有判定步骤，比较从所述摄影图像得到的平均信号值和所述规定的基准值，判定是使所述摄影图像变亮的校正还是变暗的校正；校正步骤，仅在通过该判定步骤判定为是使所述摄影图像变亮的校正时，作成具有对所述摄影图像的像素的信号值进行了规定校正量的校正而得到的校正信号值的校正图像，该校正步骤在所述摄影图像的像素的信号值表示的亮度大于等于规定亮度的信号值中，随着所述摄影图像的信号值表示的亮度变亮而逐渐减小所述校正量。
全文摘要
图像处理方法、图像处理装置及其程序。本发明的课题是在对数字图像进行浓度校正时，不使被摄体的脸部泛白或发暗。在本发明中，比较从摄影图像(P1)得到的平均信号值和规定的基准值，判定是使所述摄影图像变亮的校正还是变暗的校正。仅在通过判定步骤判定为是使摄影图像(P1)变亮的校正时，作成具有对摄影图像(P1)的像素的信号值(Y)进行规定校正量的校正而得到的校正信号值的校正图像(P2)。此时，在摄影图像(P1)的像素的信号值表示的亮度大于等于规定亮度时，随着信号值变亮而逐渐减小校正量。
文档编号G06T5/40GK1716999SQ20051006663
公开日2006年1月4日 申请日期2005年4月19日 优先权日2004年4月19日
发明者青山达也 申请人:富士写真胶片株式会社