专利名称：彩色图像处理方法、彩色图像处理设备以及彩色图像处理程序的制作方法
技术领域：
本发明涉及彩色图像的图像处理，具体涉及一种彩色图像处理方法、一种彩色图像处理设备以及一种彩色图像处理程序，实现实际上由彩色成像设备拍摄的彩色图像中对象的颜色校正以及该对象的期望颜色再现从而改善纹理。
背景技术：
作为改善由彩色成像设备拍摄的彩色图像的图像质量的技术，已经提出了一种使得彩色图像中的特定对象的颜色(例如，肉色、植物的绿色以及蓝天)接近该对象的所记录颜色并从而再现期望颜色的技术。例如，专利文献1公开了一种与彩色图像的颜色校正有关的技术。在专利文献1 中，从图像中的对象区域中提取代表颜色，并且通过将该代表颜色与用于校正的预定中心颜色相比较来确定RGB校正参数。然后，通过对根据到中心颜色的距离应用这些校正参数的强度加以控制来校正每个像素。具体地，已经提出了一种通过以下操作集中校正对象的颜色的技术将颜色信息(即，彩色图像中每个像素的RGB值)转换成色调、饱和度以及亮度；计算该颜色与颜色空间中用于校正的中心颜色之间的距离；以及根据距离调整校正强度。在该技术中，基于RGB颜色空间中校正参数的加法/减法来执行颜色校正。例如， 在人脸的肉色情况下，根据到用于校正的中心颜色的距离，来计算针对每个像素的校正量。 如果要使脸部区域在整体上更亮，则根据到用于校正的中心颜色的上述距离，将校正参数与实质上位于整个脸部区域的每个像素的RGB值相加，或者从实质上位于整个脸部区域的每个像素的RGB值中减去校正参数。此外，专利文献2公开了一种与输入图像中脸部区域的检测有关的技术。专利文献3公开了一种颜色校正设备和方法，其中，当对光谱-彩色图像数据进行颜色校正时，将该特定颜色转换到维度低于原始维度的颜色空间中；在低维度的颜色空间中进行颜色校正；以及根据低维度产生适当维度的特定颜色。此外，专利文献4公开了一种技术，该技术将原始颜色空间转换成具有不同参考白色的颜色系统之间的目标颜色空间，而同时使观看颜色的方式(way)与原始颜色空间中观看颜色的方式保持不变。具体地，从原参考白色(即，原始颜色空间的参考白色)的色温中恢复原参考白色的光谱功率分布特性。此外，从目标参考白色(即，目标颜色空间的参考白色)的色温中恢复目标参考白色的光谱功率分布特性。然后，通过使用给定颜色的三色激励值、原参考白色的光谱功率分布特性以及人类的颜色匹配函数，来恢复原始颜色空间中给定颜色的表面反射率。此外，基于恢复的表面反射率、目标参考白色的恢复的光谱功率分布特性以及人类的颜色匹配函数，来获得作为目标颜色空间中的颜色的三色激励值。专利文献5公开了一种技术，该技术自动进行对各种照明环境下所拍摄的自然图像中重要对象的优异白色校正。具体地，提取特定对象的体表(body surface)颜色，并且针对所提取的体表颜色设置最优颜色校正参数。这样，能够自动进行对各种照明环境下所拍摄的自然图像中重要对象的颜色校正。注意，专利文献3、4和5中所公开的发明与以下描述的本发明的具有完全不同的配置。专利文献6提出了将用于人类皮肤反射建模技术应用于脸部图像的呈现。在该方法中，通过3D扫描仪对脸部进行扫描来获得脸部的3D(三维)形状。然后，通过沿着不同方向从不同视点照亮脸部来获得多个脸部图像。通过使用脸部扫描数据和图像数据来估计总反射率和法向量图。然后，使用光纤频谱仪，通过扫描下表面反射率来获得透射率图。将总反射率分成下表面散射和(镜面)表面反射率两个分量。引文列表专利文献专利文献1专利文献2专利文献3专利文献4专利文献5专利文献6非专利文献非专利文献 1 “ Face detection based on Generalized LVQ" Toshinori Hosoi, Tetsuaki Suzuki, Atushi Satoh, FIT2002, 1-30 (Sep. 2002)非专利文献 2 : " Image engineering series 10, Color image reproduction theory,Fundamentals of color management" Joji Tajima,MARUZEN Co. ,Ltd. September 30，1996，p. 33-39
发明内容
技术问题上述专利文献1和2以及非专利文献1和2的公开通过引用合并于此。在下文中描述根据本发明对现有技术的分析。如专利文献1的情况，在使用颜色的三种特性(例如，RGB和/或彩色图像数据的色调、饱和度以及亮度)的彩色图像处理技术中，存在对象的原始纹理会劣化的问题。这是因为当对图像中特定对象的颜色进行校正以使得图像更亮时，会引起以下现象在将校正参数与其他颜色分量(绿色和蓝色)相加，或者从其他颜色分量(绿色和蓝色)中减去时，最初具有高像素值的颜色分量(例如，红色)饱和。如果针对对象的整个区域执行该过程，则对象区域中颜色信息或像素值的分散(dispersion)变得更窄，并因此劣化对象区域中明显的纹理。在专利文献6中，尽管针对脸部图像的呈现提出人类皮肤反射建模，但是需要特殊的测量设备，即，光纤频谱仪。因此，很难对普通彩色图像处理的颜色校正应用该技术。相应地，期望开发一种彩色图像处理，可以仅使用输入图像通过更容易的技术来实现，并且能够抑制彩色图像中对象区域中的纹理的劣化。本发明的目的是提供一种彩色图像处理方法、一种彩色图像处理设备以及一种彩日本专利 No. 3264273(0036 到 0045 段)日本待审专利申请公开No. 2003-317084(0019到0021段)日本待审专利申请公开No. 2004-45189日本待审专利申请公开No. 10-229499日本待审专利申请公开No. 2001-92956日本待审专利申请公开No. 2006-277748色图像处理程序，实现彩色成像设备所拍摄的彩色图像中特定对象的对象区域的期望颜色再现并且从而改善纹理。问题的解决方案根据本发明的彩色图像处理方法的一个方面是一种彩色图像处理方法，包括基于输入图像来检测对象区域；获得对象区域的颜色信息和3D信息；基于颜色信息和3D信息，来恢复对象区域的镜面分量和体反射分量中包含的阴影；通过从颜色信息中去除镜面分量和阴影来计算漫反射系数(albedo)；使用颜色信息和漫反射系数来恢复表面反射率; 通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数；以及通过将阴影和镜面分量与校正漫反射系数相加来计算对象区域的再现颜色，并从而产生输出图像。此外，根据本发明的彩色图像处理设备的一个方面是一种彩色图像处理设备，包括图像信息获取单元，基于输入图像来检测对象区域，并且获得对象区域的颜色信息和 3D信息；反射信息恢复单元，基于颜色信息和3D信息，来恢复对象区域的镜面分量和体反射分量(或者漫射(diffuse)分量)中包含的阴影；漫反射系数计算单元，通过从颜色信息中去除镜面分量和阴影来计算漫反射系数；漫反射系数校正处理单元，使用颜色信息和漫反射系数来恢复表面反射率；并且通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数；以及再现颜色计算单元，通过将阴影和镜面分量与校正漫反射系数相加来计算对象区域的再现颜色，并从而产生输出图像。此外，根据本发明的存储了彩色图像处理程序的计算机可读记录介质的一个方面是一种存储了彩色图像处理程序的计算机可读记录介质，所述彩色图像处理程序使计算机执行以下操作图像信息获取过程，基于输入图像来检测对象区域，并且获得对象区域的颜色信息和3D信息；反射信息恢复过程，基于颜色信息和3D信息，来恢复对象区域的镜面分量和体反射分量中包含的阴影；漫反射系数计算过程，通过从颜色信息中去除镜面分量和阴影来计算漫反射系数；漫反射系数校正处理过程，使用颜色信息和漫反射系数来恢复表面反射率，并且通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数；以及再现颜色计算过程，通过将阴影和镜面分量与校正漫反射系数相加来计算对象区域的再现颜色，并从而产生输出图像。本发明的有利效果根据本发明，能够实现对彩色成像设备所拍摄的彩色图像中特定对象的期望颜色再现，并从而改善纹理。
图1是示出了根据本发明示例实施例的一个方面的彩色图像处理方法的过程流的示意图；图2是示出了根据本发明示例实施例的彩色图像处理设备的配置示例的框图；图3是用于说明根据本发明第一示例实施例的彩色图像处理方法的过程示例的流程图；图4是用于说明自动检测输入图像中的对象区域并获得颜色信息的过程的图；图5是示出了具有平均肉色的日本人的脸部区域的表面反射率的示例的图；图6是示出了 CIE日光的均值第一和第二主分量向量的图7是示出了基本向量的示例的图，基本向量是通过收集对象的表面反射率并对这些表面反射率执行主分量分析而获得的；图8示出了特性参数bi(i = 1至3)的空间中执行的与对象区域的颜色有关的校正；图9是示出了根据本发明第一示例实施例的彩色图像处理设备的配置示例的框图；图10是用于说明根据本发明第二示例实施例的彩色图像处理方法的过程示例的流程图；以及图11是示出了根据本发明第二示例实施例的彩色图像处理设备的配置示例的框图。
具体实施例方式下文中参照
本发明的示例实施例。为了阐明说明，根据需要部分地省略和简化以下描述和附图。贯穿附图，具有相同配置和功能的组件和等同部件由相同符号表示，并且省略对它们重复说明。对根据本发明的示例实施例的一个方面进行说明。在本发明中，当要对输入图像中特定对象的颜色进行校正时，使用从输入图像恢复的特定对象的3D (三维)形状(也被称作“3D”信息)以及图像拍摄时照明的几何条件(也被称作“几何信息”)来计算特定对象上出现的镜面分量(高亮)和包含阴影的漫射分量。接着，通过使用颜色信息(漫反射系数)以高精确度来恢复对特定对象加以表示的表面反射率，颜色信息是通过从特定对象的原始颜色信息中去除对镜面分量和包含在漫射分量(下文中被称作“体反射分量”)中的阴影的影响来获得的。然后，进行校正，以使表面反射率接近于对象的更加期望的预定参考表面反射率。然后，使用校正表面反射率以及镜面分量和包含在体反射分量中的阴影来计算特定对象的再现颜色。这样，特定对象的颜色校正后的再现颜色看起来更自然，并且特定对象由更期望的颜色表示。图1示出了根据本发明示例实施例的彩色图像处理方法的过程流。I.首先，将输入图像和与输入图像有关的信息提供给彩色图像处理设备(图像信息获取过程)。具体地，提供输入图像，并且根据输入图像指定特定对象。通过指定特定对象，对要校正漫反射系数的区域(对象区域)进行检测。此外，获得特定对象的3D形状和颜色信息(对象区域的颜色)。II.接着，恢复特定对象的反射信息(反射信息恢复过程)。具体地，基于3D形状恢复照明的几何条件。接着，使用颜色信息、3D形状以及照明几何条件来恢复镜面分量和包含阴影的体反射分量。在该过程中，从输入图像的每个像素的像素值中去除镜面分量。并且将由漫反射系数和体反射分量的乘积表示的分量分离。注意，体反射分量是包含阴影信息的分量。III.计算特定对象的漫反射系数(漫反射系数计算过程)。具体地，通过用从去除了镜面分量的像素值除以体反射分量中包含的阴影来计算漫反射系数。IV.校正漫反射系数(漫反射系数校正过程)。具体地，使用特定对象的颜色信息和漫反射系数来计算表面反射率。然后，使所计算的表面反射率接近参考表面反射率。这样，校正漫反射系数。V.通过将镜面分量和包含在体反射分量中的阴影与校正漫反射系数相加来计算特定对象的再现颜色(再现颜色计算过程)。在该说明书中，假定从特定对象中检测到的对象区域包括多个像素。此外，每个像素具有颜色信息，并且颜色信息可以被称作“像素值”。还假定颜色信息至少包含镜面分量和体反射分量，并且还可以包含其他颜色信息。此外，在以下说明中，特定对象和对象区域彼此没有区别，除非另外指定。漫反射系数是通过从包含在特定对象中的阴影的颜色信息中去除镜面分量和体反射分量而获得的颜色信息。即，漫反射系数是通过从特定对象的颜色信息(从输入图像中获得颜色信息)中去除镜面分量(闪光)和包含在体反射分量中的阴影来获得的。因此， 漫反射系数可以被视为特定对象本身的颜色信息。通过将镜面分量与漫反射系数和包含阴影的体反射分量的乘积相加，来获得(表示)对象区域的颜色信息。体反射分量包含阴影信息。参考表面反射率是根据特定对象预先定义的表面反射率。后续将进一步说明参考表面反射率。此外，图2示出了根据本发明示例实施例的彩色图像处理设备的配置示例。彩色图像处理设备100包括图像信息获取单元110、反射信息恢复单元120、漫反射系数计算单元130、漫反射系数校正处理单元140以及再现颜色计算单元150。图像信息获取单元110从外部接收输入图像，基于输入图像指定特定对象，以及检测特定对象的对象区域。此外，图像信息获取单元110获得颜色信息和对象区域的3D (三维)形状。反射信息恢复单元120基于颜色信息和3D形状，来恢复对象区域的阴影信息、镜面分量以及包含阴影的体反射分量。具体地，反射信息恢复单元120通过使用3D信息来恢复照明(照明的辐照度)的几何信息，并且通过使用3D形状和照明几何信息，来恢复镜面和包含阴影的体反射分量。后续说明这些过程的细节。漫反射系数计算单元130通过从颜色信息中减去镜面分量并且将所获得值除以体反射分量中包含的阴影来计算漫反射系数。漫反射系数校正处理单元140通过使用颜色信息和漫反射系数来恢复表面反射率，并且通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数。在该示例中，漫反射系数校正处理单元140包括光谱功率分布恢复单元141和漫反射系数校正单元142。 光谱功率分布恢复单元141通过使用对象区域的颜色信息来恢复光谱功率分布。漫反射系数校正单元142通过使用恢复的照明光谱功率分布和漫反射系数来恢复对象区域的表面反射率。此外，漫反射系数校正单元142基于恢复的表面反射率，通过校正漫反射系数来计算校正漫反射系数。再现颜色计算单元150通过将镜面分量和体反射分量中的阴影与校正反射率相加来计算对象区域的再现颜色，并且通过使用计算的再现颜色来产生输出图像。下文中参照特定示例实施例来继续说明。[第一示例实施例]首先，参照
根据本发明第一示例所述的彩色图像处理方法的过程流。使用图2所示彩色图像处理设备100的配置示例来进行一下说明。图3是用于说明根据本发明第一示例实施例的彩色图像处理方法的流程图。为了说明起见，假定图像的颜色系统是RGB颜色系统。即，图像的颜色通过R(红色)、B(绿色) 和B(蓝色)来表示，并且表示为“颜色信息RGB”。注意，毫无疑问，除了 RGB颜色系统以外， 本发明还适合于其他颜色系统。为了在图像质量方面改善任意给定彩色图像中特定对象的纹理，重新计算彩色图像中对象区域中的每个像素的再现颜色。注意，特定对象不限于任何具体对象，假定，即使当各个单独特定对象彼此不同， 即，即使当存在个体差异，也可以基于从彩色图像获得的特性将对象确定为假定对象，这是因为一般颜色信息和纹理的一般性。首先，图像信息获取单元110从输入图像中自动检测特定对象(步骤Si)。在该过程中，图像信息获取单元110获得针对检测到的特定对象的对象区域的颜色信息。如图4所示，通过使用颜色信息、纹理等来从输入彩色图像中检测特定对象。关于假定特定对象是人脸来进行以下说明。当特定对象是人脸时，使用诸如眼睛、鼻子和嘴之类的特征来检测脸部区域。作为用于检测脸部区域的技术，例如可以使用非专利文献2中所公开的脸部检测方法。该技术是一种脸部检测方法，该方法通过将基于图像的技术与用于检测眼睛的基于特征的技术相结合、使用一般学习向量量化来获得。此外，作为用于检测输入图像中脸部区域的技术，可以使用专利文献2中所公开的用于检测图像中眼睛的方法。即，如果从输入图像中检测到眼睛的位置，则可以容易地估计脸部区域。注意，一般地，上述两种技术通过使用单色信息来检测脸部。然而，能够通过合并检测到的脸部区域是否是肉色(或肤色)的附加确定来提高脸部区域检测的精度。关于肉色确定方法，可以使用在专利文献1中所公开的图像直方图的技术。脸部检测方法不限于上述两种技术，也可以使用其他技术。尽管在上述说明中描述了从任意给定输入图像中自动检测脸部作为要检测的对象的情况，但是除了脸部以外，要检测的对象还可以是任何对象。注意，为了自动检测除了脸部以外的对象，可以使用一种通过将图像数据的视觉特性信息与预配准的对象区域相比较来自动检测对象的方法。接着，光谱功率分布恢复单元141根据输入图像中特定对象的颜色信息(对象区域的颜色)，来恢复拍摄输入图像时照明的颜色信息(照明的光谱功率分布)(步骤S2)。在该过程中，通过使用彩色图像中对象区域的颜色信息和/或对象的表面反射率来恢复拍摄输入图像时可能要使用的照明(或照亮)的颜色信息(即，光谱功率分布特性)。具体地，获得对象区域的颜色信息RGB，并且基于所获得的颜色信息RGB来获得XYZ 颜色系统中的三色激励值XYZ。然后，基于输入图像中对象区域的三色激励值CTZ和对象的表面反射率，来恢复光谱功率分布。下文中以更加具体的方式说明由图像信息获取单元110执行以获得针对从输入图像自动检测到的特定对象的对象区域的颜色信息的过程。图4是说明用于自动检测输入图像中的对象区域并从而获得颜色信息的过程的概要的图。注意，作为对象区域的颜色信息，可以使用位于对象所占据的区域内像素的平均颜色、中值颜色(中值)、模式颜色(模式)等中的一个作为对象区域的颜色信息。在该示例中，获得对象区域的颜色信息RGB，并且基于所获得的颜色信息RGB来获得XYZ颜色系统中的三色激励值XYZ。后续说明是关于以下假定进行的关于输入图像的颜色信息RGB，预先指定该颜色信息RGB的RGB荧光体的色度和白色的色度，以及RGB数据与显示设备的发射强度之间的关系是线性的。在这种情况下，输入图像的RGB与三色激励值CTZ之间的关系由以下所示表达式 (1)来表示在表达式中，RX是3 X 3变换矩阵。如果确定了 RGB荧光体的色度与白色的色度，则可以唯一计算该变换矩阵RX。作为用于计算变换矩阵RX的方法，例如可以使用非专利文献2中所公开的技术。 此外，当当前使用彩色图像显示设备是sRGB(标准RGB)显示设备时，可以使用由IEC(国际电工委员会)指定的变换矩阵。对于表达式(1)，也可以并入黑色的MZ值作为偏移项。接着，光谱功率分布恢复单元141计算照明的光谱功率分布。照明光谱功率分布时拍摄输入图像是照明的颜色信息。注意“拍摄输入图像时的照明”是照亮输入图像中对象的照明(光源)。首先，根据通过表达式(1)获得的图像中对象区域的三色激励值XYZ以及对象的表面反射率来产生用于恢复光谱功率分布的观测方程。使用对象区域的表面反射率、照亮对象的照明的光谱功率分布以及人类视觉的颜色匹配函数，由以下所示表达式(2)来表示基于CTZ颜色系统指示对象区域的颜色的三色激励值X^。X = / I(A)R(A)X(A)dAY = f Ι(λ)Κ(λ)γ(λ) λ (2)Z = / I(A)R(A)Z(A)dA_在表达式中，λ是波长；Ι(λ)是照明光谱功率分布；以及R(X)是对象区域的表面反射率。函数χ(λ)、γ(λ)和ζ(λ)是颜色匹配函数，并且是公知的函数。在可见光线的波长范围上执行积分。当将通过表达式(1)计算的三色激励值CTZ代入到表达式O)的左手侧时，表达式⑵变成照明光谱功率分布I (λ)和表面反射率R(X)的观测方程，照明光谱功率分布 I (λ)和表面反射率R(X)是未知的。然而，在当前状态下，不能根据表达式( 计算作为波长的连续函数的I ( λ )和 R(X)。假定可以预先限制或确定指示了对象区域的颜色的表面反射率)，尽管会有一定程度的误差，也可以作为已知值来处理表面反射率R(X)。因此，表达式(2)变成单独I (λ)的观测方程。例如，如果对象是日本人的脸部，则具有平均肉色的日本人的脸部区域的表面反射率(作为示例如图5所示)可以用作表达式(2)中的R(X)。图5是示出了具有平均肉色的日本人的脸部区域的表面反射率。水平轴指示波长(nm)，垂直轴指示表面反射率(％)。即使当对象不是脸部，也可以预先获得被选择为具有通过对该对象执行多次测量而获得的表面反射率的平均或代表颜色的对象区域的表面反射率，并且可以将所获得表面反射率代入表达式O)的R(X)中。预先获得对象区域的表面反射率，并存储在彩色图像处理设备100内(例如，存储在漫反射系数校正处理单元140内)。不能根据当前表达式O)以分析方法计算照明光谱功率分布I (λ)，当前表达式 (2)是照明光谱功率分布Ι(λ)的观测方程。这是因为照明光谱功率分布I (λ)固有地由可见光线范围中的无限维度波形来表示。然而，如果Ι(λ)可以由更少的参数来表示，则该问题会被解决。CIE日光是CIE(国际照明委员会)根据相对光谱功率分布指定的用于测量的光源，并且已知理想近似平均分量和两个主分量的线性和。图6是示出了 CIE日光的平均分量、第一和第二主分量向量的图。水平轴指示波长(nm)，垂直轴指示照明或光源的每个波长处的光谱功率分布。根据该图，如下所示表示照明光谱功率分布I (λ)。Ι(λ) = IdXj+hljXj+hljX) (3)表达式(3)中的项IiU) (i =0至2)是图6所示照明的平均和偏置向量。系数^(i = 1至2)是相应偏置向量的权重系数，并且是表示照明的颜色的特性参数。通过将表达式⑶的I ( λ )代入表达式⑵，获得具有两个未知特性参数％和 %(表示照明的颜色)的线性联立方程。此外，可以容易地计算特性参数％和％。通过将所获得的表示照明颜色的特性参数％和％代入表达式( ，获得照明光谱功率分布I(A)0通过上述过程获得的照明光谱功率分布用作拍摄输入图像时的照明光谱功率分布1(入)。接着，图像信息获取单元110恢复图像中特定对象的3D形状(步骤s;3)。关于假定特定对象是人脸进行说明。因此，可以使用下述文献(下文中被称作“非专利文献3”) 中所公开的技术。在该技术中，通过使用具有与预先准备的人脸的形状有关的平均3D信息的脸部模型，根据2D (二维)图像估计人脸的3D形状。非专利文献 3: “ Recognition of Non-Frontal Facial Images by Pose Conversion using Generic 3D Face Model" Rui Ishiyama,IEICE,General Conference 2007，D-12-085,2007, p. 201。上述技术是特定对象是人脸的情况下专用的3D形状恢复方法。然而，该技术也能够通过将非专利文献3中所公开的技术扩展至那些特定对象，来根据输入图像恢复其他特定对象的粗略3D形状，假定即使当存在个体差异时，特定对象也具有大体普遍的形状。注意，恢复输入图像中特定对象的3D形状的事实意味着，在每个像素位置处的法
向向量二 。
12
输入图像中特定对象的表观颜色(apparent color)受到场景中照明以及照明相对于对象的几何条件的影响。即，当照明和对象的几何条件改变时，对象的表观颜色也改变。此外，接着，恢复照明相对于输入图像中特定对象的几何条件(步骤4)。在本发明中，应用简单物理反射模型，以表示实际表观颜色。以下三个文献(下文中分别被称作非专利文献4、5和6)示出了与这种物理模型有关的技术。非专利文献 4 :R. Basri and D. Jacobs, “ Lambertian Reflectance and Linear Subspaces" , Proc. IEEE Intl.Conf. Computer Vision 01, pp.383-389,2001。非专禾丨J 文献 5 :R. Ramamoorthi and P. Hanrahan, " An efficient representation for irradiance environment maps" , [online], Proc. ACM SIGGRAPH 01, pp. 497-500,2001. Searched on January 26,2009,the Internet < URL :http://wwwl. cs. Columbia, edu/ ravir/papers/envmap/envmap. pdf>。非专禾丨J文献 6 :Ravi Ramamoorthi and Pat Hanrahan " On the relationship between radiance and irradiance -determining the illumination from images of a convex Lambertian object" , J. Opt. Soc. Am. A/Vol. 18, No.10/0ctober 2001。根据非专利文献4和5，当忽略投影(cast shadow)和邻近照明时，对象区域的表观辐射E由法向向量;;的函数单独表示，并且通过使用球面谐波来理想近似。当来自方向向
量二的远距离照明表示为)时，如下所示表示理想漫射半球对象Ω 上的辐射
权利要求
1.一种彩色图像处理方法，包括 基于输入图像来检测对象区域； 获得对象区域的颜色信息和3D信息；基于颜色信息和3D信息，来恢复对象区域的镜面分量和包含阴影的体反射分量； 通过从颜色信息中去除镜面分量和体反射分量中的阴影来计算漫反射系数； 使用颜色信息和漫反射系数来恢复表面反射率； 使用表面反射率，通过校正漫反射系数，来计算校正漫反射系数；以及通过将体反射分量中的阴影和镜面分量与校正漫反射系数相加来计算对象区域的再现颜色，并从而产生输出图像。
2.根据权利要求1所述的彩色图像处理方法，其中，在表面反射率的恢复中，使用颜色信息来恢复照明光谱功率分布，并且使用照明光谱功率分布和漫反射系数来恢复对象区域的表面反射率。
3.根据权利要求2所述的彩色图像处理方法，其中，在校正漫反射系数的计算中，通过使用根据对象区域预先定义且存储在参考表面反射率存储存储器中的参考表面反射率来校正表面反射率，以计算再现表面漫反射系数，并且使用再现表面反射率来校正漫反射系数。
4.根据权利要求3所述的彩色图像处理方法，其中，三个或更多个参考表面反射率存储在参考表面反射率存储存储器中，以及在校正漫反射系数的计算中，使用三个或更多个参考表面反射率来校正表面反射率。
5.根据权利要求2至4中任一项所述的彩色图像处理方法，其中，除了颜色信息以外， 还使用根据对象区域预先定义的代表表面反射率来恢复照明光谱功率分布。
6.根据权利要求1至5中任一项所述的彩色图像处理方法，其中，在校正漫反射系数的计算中，创建用于校正漫反射系数的校正公式，并且使用所述校正公式通过矩阵变换，来计算校正漫反射系数。
7.一种彩色图像处理设备，包括图像信息获取装置，基于输入图像来检测对象区域，并且获得对象区域的颜色信息和 3D信息；反射信息恢复装置，基于颜色信息和3D信息，来恢复对象区域的镜面分量和包含阴影的体反射分量；漫反射系数计算装置，通过从颜色信息中去除镜面分量和体反射分量中的阴影来计算漫反射系数；漫反射系数校正处理装置，使用颜色信息和漫反射系数来恢复表面反射率；并且通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数；以及再现颜色计算装置，通过将体反射分量中的阴影和镜面分量与校正漫反射系数相加来计算对象区域的再现颜色，并从而产生输出图像。
8.根据权利要求7所述的彩色图像处理设备，其中，漫反射系数校正处理装置包括 光谱功率分布恢复装置，使用颜色信息来恢复照明光谱功率分布；表面反射率恢复装置，使用照明光谱功率分布和漫反射系数，来恢复对象区域的表面反射率；以及校正漫反射系数计算装置，通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数。
9.根据权利要求8所述的彩色图像处理设备，其中，漫反射系数校正处理装置还包括参考表面反射率存储存储器，存储根据对象区域预先定义的参考表面反射率，以及校正漫反射系数计算装置通过使用参考表面反射率来校正表面反射率，以计算再现表面反射率，并且使用再现表面反射率来校正漫反射系数。
10.根据权利要求9所述的彩色图像处理设备，其中，参考表面反射率存储存储器存储三个或更多个参考表面反射率，以及校正漫反射系数计算装置使用三个或更多个参考表面反射率，来校正表面反射率。
11.根据权利要7所述的彩色图像处理设备，其中，漫反射系数校正处理装置包括 光谱功率分布恢复装置，使用颜色信息来恢复照明光谱功率分布；以及漫反射系数校正装置，使用照明光谱功率分布和漫反射系数来恢复对象区域的表面反射率，使用表面反射率来产生用于创建漫反射系数的校正公式，以及使用所述校正公式通过矩阵变换来计算校正漫反射系数。
12.根据权利要求11所述的彩色图像处理设备，其中漫反射系数校正处理装置还包括参考表面反射率存储存储器，存储对象区域的参考表面反射率，以及漫反射系数校正装置通过使用参考表面反射率来校正表面反射率，以计算再现表面反射率，并且使用再现表面反射率来创建校正公式。
13.根据权利要求8至12中任一项所述的彩色图像处理设备，其中，光谱功率分布恢复装置包括代表表面反射率存储存储器，存储对象区域的代表表面反射率，以及除了颜色信息以外，还使用对象区域的代表表面反射率来恢复照明光谱功率分布。
14.一种存储了彩色图像处理程序的计算机可读记录介质，所述彩色图像处理程序使计算机执行以下操作图像信息获取过程，基于输入图像来检测对象区域，并且获得对象区域的颜色信息和 3D信息；反射信息恢复过程，基于颜色信息和3D信息，来恢复对象区域的镜面分量和体反射分量；漫反射系数计算过程，通过从颜色信息中去除镜面分量和体反射分量来计算漫反射系数；漫反射系数校正处理过程，使用颜色信息和漫反射系数来恢复表面反射率，并且通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数；以及再现颜色计算过程，通过将体反射分量和镜面分量与校正漫反射系数相加来计算对象区域的再现颜色，并从而产生输出图像。
15.根据权利要求14所述的存储了彩色图像处理程序的计算机可读记录介质，其中， 漫反射系数校正处理过程包括光谱功率分布恢复过程，使用颜色信息来恢复照明光谱功率分布；以及漫反射系数校正过程，使用照明光谱功率分布和漫反射系数来恢复对象区域的表面反射率，并且通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数。
16.根据权利要求15所述的存储了彩色图像处理程序的计算机可读记录介质，其中， 在漫反射系数校正过程中，通过使用根据对象区域预先定义且存储在参考表面反射率存储存储器中的参考表面反射率来校正表面反射率，以计算再现表面漫反射系数，并且使用再现表面反射率来校正漫反射系数。
17.根据权利要求16所述的存储了彩色图像处理程序的计算机可读记录介质，其中，三个或更多个参考表面反射率存储在参考表面反射率存储存储器中，以及在漫反射系数校正过程中，使用三个更或多个参考表面反射率来校正表面反射率。
18.根据权利要求15至17中任一项所述的存储了彩色图像处理程序的计算机可读记录介质，其中，除了颜色信息以外，还使用根据对象区域预先定义的代表表面反射率来恢复照明光谱功率分布。
19.根据权利要求14至18中任一项所述的存储了彩色图像处理程序的计算机可读记录介质，其中，在漫反射系数校正过程中，创建用于校正漫反射系数的校正公式，并且使用所述校正公式通过矩阵变换来计算校正漫反射系数。
全文摘要
本发明提供了一种彩色图像处理方法和设备，以实现彩色成像设备所拍摄的彩色图像中特定对象的对象区域的期望颜色再现，并且从而改善纹理。一种彩色图像处理设备(100)，包括图像信息获取单元(110)，基于输入图像来检测对象区域，并且获得对象区域的颜色信息和3D信息；反射信息恢复单元(120)，基于颜色信息和3D信息，来恢复对象区域的镜面分量和包含阴影的体反射分量；漫反射系数计算单元(130)，通过从颜色信息中去除镜面分量和体反射分量中的阴影来计算漫反射系数；漫反射系数校正处理单元(140)，使用颜色信息和漫反射系数来恢复表面反射率；并且通过使用表面反射率来校正漫反射系数，以计算校正漫反射系数；以及再现颜色计算单元(150)，通过将体反射分量中的阴影和镜面分量与校正漫反射系数相加来计算对象区域的再现颜色，并从而产生输出图像。
文档编号H04N1/60GK102301391SQ201080005610
公开日2011年12月28日 申请日期2010年1月27日 优先权日2009年1月27日
发明者塚田正人 申请人:日本电气株式会社