专利名称：用于虚拟展示系统的单色图像区域色彩置换方法
技术领域：
本发明涉及一种用于虚拟展示系统的单色图像区域色彩置换方法。
背景技术：
色彩置换是图像和视频处理中很重要的一类操作。在许多处理任务中，需要对目标的颜色作出改变。色彩置换的难点在于不仅要保证被置换的区域显示正确的颜色，还需要保证置换区域内合理的亮度分布信息。在提供质材置换定制功能的虚拟展示系统中，色彩置换算法更是直接决定了置换效果的真实感。目前的色彩置换操作大体分为两类对黑白图像的着色和对彩色图像的色彩改变。
对黑白图像的着色又可以分为两类方法一种是提供一个和待着色图像场景相近的源图，使用源图上的颜色自动对目标图着色。一般来说，首先从源图和目标图划出一些有意义的矩形区域，比如天空、树木、草地、公路等。对于每一对分别来自源图和目标图的矩形区域做色彩配准。配准的方式是将源图中的像素分为若干子集，对目标图上的每个像素找到最匹配的一个子集，然后使用源图的色度值和目标图的亮度值构成最终的颜色。色彩配准之后，再利用目标图上已经着色的区域作为源区域为其他像素着色。另一种是直接对需要着色的区域的部分象素赋予颜色，然后根据一定的规则扩散这些新颜色。扩散的原理是在时间和空间上相邻的像素，若其有相近的亮度，则应该有相近的颜色。在实现中，该假设被描述为一个二阶的代价方程，从而将着色问题转化为一个优化问题来求解，代价最小的解即为最终的着色方案。上述的两种方法都需要进行一定的交互操作，着色效果对交互操作的结果依赖性比较强。
对于彩色图像的色彩置换也需要两幅场景内容比较相近的图像，一幅是源图，一幅是目标图。这种色彩置换是整体色调的置换，在将目标图和源图都变换到某个主观色彩空间，比如lαβ空间后，求出在各个轴上的均值和均方差，这些值被认为是代表了图像的整体色调。对于目标图像，求出每个像素在各个轴上和相应均值的差。利用源图和目标图的各轴向均方差对这个差值进行缩放，即可求得结果图。自动实现这种算法需要源图和目标图场景内容非常相似，否则就需要人工指定源图和目标图上哪些区域在内容上是匹配的。因此，这种方法的实用性不强。
前述的着色算法在使用中都有一定局限性，难以满足虚拟展示系统的需要。比如，这些算法的计算量都很大，无法让用户实时地得到质材置换的效果。有些方法只能处理一些特殊的场景，比如自然风景，难以做到细节上的准确性。最重要的问题在于，这些方法都是简单地使用保持原始亮度改变色度的方式。根据色度学和物理光学的原理，在颜色替换后亮度分布是不可能维持不变的。因而，上述算法都无法保证结果在亮度分布上的真实效果性。
图6给出了本发明和普通HSV色度替换方法的对比效果。将两个形状相同但颜色不同的塑料杯，放在正对视线的位置上。用一盏荧光灯从固定的高度，以和视线方向成45度角的位置照射。拍摄设备是佳能EOS D30数码单反相机，使用自动白平衡方式。本发明的方法处理这两幅图像，分别求出这两个杯子的参考颜色。用青色杯子的参考颜色作为新颜色替换到红色杯子上，得到如图6(d)的结果。同时，目标图所有像素以及待替换的颜色转换到HSV空间，然后对每个像素使用待替换颜色的色度值和原始颜色的亮度及饱和度值构造新的颜色，得到如图6(c)的结果。通过对比可以发现，本章的算法结果跟真实图像更为接近，而普通HSV算法的结果亮度变化范围存在较大的误差。
发明内容
本发明的目的是提供一种用于虚拟展示系统的单色图像区域色彩置换方法。
用于虚拟展示系统的单色图像区域色彩置换方法的步骤如下1)估计漫反射分量的归一化色度Λ，其步骤为(1)对目标区域内的颜色信号重采样，避免噪声的影响，(2)将重采样后的颜色信号归一化，(3)将归一化后的信号投影到一个特定平面，(4)求利用投影结果的最外围点，(5)将最外围点反投影，计算出漫反射分量的归一化色度向量；2)估计入射光分量的归一化色度，将入射光简化为白光，使用单位向量Γ＝{1/，1/，1/}作为入射光的归一化色度；3)使用漫反射分量的色度和入射光分量的色度对所有颜色信号进行最小二乘分解，求得两个参数集合Sα和Sβ，这两个参数是每个颜色信号对于漫反射分量和入射光分量得线性组合系数，即对于颜色信号Cp，其参数αp和βp满足Cp＝αp×Λ+βp×Γ式14)估计参考颜色的颜色值，求出一个参考颜色作为被替换的颜色，其步骤为(1)选择所有值β接近0的采样点，从中选取α值最大的5％，设其均值为αm，(2)算出参数对(αm，0)所对应的颜色作为参考颜色值；5)色彩置换，其步骤为(1)设一个像素点为B，令B在物体颜色的色度单位向量上的投影XB作为其物体颜色分量，计算B点新的参数公式如下α′=α+β×cos(θ)n]]>式2β′＝β其中θ是漫反射颜色单位向量Λ和入射光单位颜色向量Γ的夹角，n是参考颜色的模值，(2)设新颜色值为Cn，置换后的颜色CB’的计算方式如下
CB′＝α′×Cn+β′×Γ式3所说的颜色信号重采样步骤为1)将所有的像素颜色值从RGB空间转化到HSV空间，2)做所有颜色信号的色度直方图，其横轴为色度分格，纵轴为属于每个色度分格的颜色信号数目，然后用一个高斯函数拟合这个直方图，求出其中值为x0，方差为δ，取所有色度值在[x0-δ，x0+δ]范围内的颜色信号作为新的采样值。
对归一化后的信号投影是设由漫反射单位向量Λ和入射光单位向量Γ张成的平面为Φ，设另有一个平面Ψ过原点且垂直于Φ，做过某颜色信号点且垂直于Ψ的直线，该直线与Ψ的交点即该颜色信号点的投影点，具体计算方法为设采样点中某个颜色信号p，其颜色值为Cp＝{Rp，Gp，Bp}，归一化之后变为Cpn＝{Rpn，Gpn，Bpn}，其中Rpn2+Gpn2+Bpn2＝1，则p点在Ψ平面上的坐标计算如下xp=2×Rpn-Gpn-Bpn3yp=2×Gpn-Rpn-Bpn3]]>式4求投影结果的最外围点步骤为1)取所有投影点与原点连线的方位角的均值，做一条由原点发出的射线，2)将所有投影点投影到射线上，取最远的10％个点的平均位置做为最外围的投影点；反投影计算是求得最外围的投影点坐标(xo，yo)后，联合式4和式5求解Λ＝{Rpn，Gpn，Bpn}；Rpn2+Gpn2+Bpn2＝1式5本发明可以快速有效地为图像上的单色目标区域替换上新的颜色，待替换区域的光影效果得到很好的保留，替换结果具有很强的真实感。本发明的方法中的反射分量估计步骤只需进行一次，计算结果可以保存下来，在后续的置换操作中应用，因此本方法的计算速度极快。同传统方法不同，本发明的色彩置换过程不需要任何人工交互，极大地方便了用户使用。
图1是用于虚拟展示系统的单色图像区域色彩置换方法流程图；图2是本发明的重采样过程中使用的色度直方图；图3是本发明的投影法求漫反射色度单位向量的示意图；图4是本发明的拟和投影点过程的示意图；图5是本发明的计算新线性系数的示意图；图6(a)(b)(c)(d)是本发明和普通色度替换算法的效果对比实验；图7是本发明的色彩置换效果示例1；
图8是本发明的色彩置换效果示例2；图9是本发明的色彩置换效果示例3。
具体实施例方式
用于虚拟展示系统的单色图像区域色彩置换方法的原理是对于单色目标区域，根据二色反射模型，区域内的像素颜色值应该是物体表面漫反射分量和镜面反射分量颜色值的线性组合。本方法首先估计光源和物体本身颜色的归一化色度向量。然后利用最小二乘法对每个像素进行分解，得到该像素的漫反射分量线性系数和境面反射分量线性系数。最后，根据这些系数和新颜色值确定最终的颜色值。本方法所基于的二色反射模型能够很好地模拟表面反射的物理过程，因此本方法取得的置换结果非常真实。其步骤为1)估计漫反射分量的颜色单位向量Λ，其步骤为(1)对目标区域内的颜色信号重采样，避免噪声的影响。在估计漫反射分量的色度之前，为避免噪声的影响，需要先对目标区域内的像素进行重新采样。将所有的像素颜色值转化到HSV空间，根据色度H通道的定义和白光单位向量Γ以及式1可推知，在理想情况下，所有颜色信号应该有相同的色度值，因此用色度作为采样标准。做所有像素的色度直方图，如图2所示。用一个高斯函数拟合这个直方图，设其中值为x0方差为δ。取所有色度值在[x0-δ，x0+δ]范围内的像素值作为新的采样值。
(2)将重采样后的颜色信号归一化，即使得该向量的三个分量的平方和为1。
(3)将归一化后的信号投影到一个特定平面，根据二色反射模型的假设，理想情况下，所有的颜色信号都应落在由单位向量Λ和Γ张成的平面Φ上。设另有一个平面Ψ过原点且垂直于Φ，因为Γ是白光单位向量，若将颜色信号归一化后投影到平面Ψ上，则应该落在Ψ上的一条线段PQ上。其中P点所对应的向量应该和Λ具有同样的方向。因此，若求出P点，然后将其反投到颜色空间中并归一化，便可以求得Λ。整个投影过程如图3所示设采样点中某个像素p，其颜色值为Cp＝{Rp，Gp，Bp}，归一化之后变为Cpn＝{Rpn，Gpn，Bpn}，其中Rpn2+Gpn2+Bpn2＝1。则p点在Ψ平面上的坐标计算如下xp=2×Rpn-Gpn-Bpn3yp=2×Gpn-Rpn-Bpn3]]>式4(4)求利用投影结果的最外围点在实际图像中，相机的非线性操作、噪声、压缩损失等因素造成的失真使得并非所有的点都能落在平面Φ上，很多采样点会分布于Φ的两侧。因此，采样点在平面Ψ上的投影也不是完全落在线段PQ上。我们使用一个简单的拟合方法来解决这个问题。首先取所有点的方位角的均值，做一条由原点发出的射线，该射线能比较准确地代表PQ的方向。将所有点投影到射线上，取距离原点最远的点P’的坐标反投到颜色空间中。拟合的过程如图4所示，在实际计算中，取最远的10％个点的平均位置值最为漫反射分量颜色单位向量的投影点。
(5)将最外围点反投影，计算出漫反射分量的归一化色度向量；2)估计境面反射分量的颜色单位向量在二色反射模型中，假设境面反射分量的颜色就是入射光的颜色。在入射光颜色较为接近白光的情况下，相机的白平衡处理可以有效地去除光源色温的影响。这种处理可以理解为对每个颜色通道的敏感度函数做调整以满足∫wE(λ)RR(λ)dλ=∫wE(λ)RG(λ)dλ=∫wE(λ)RB(λ)dλ]]>式6其中E(λ)是入射光光谱分布，RR(λ)、RG(λ)、RB(λ)分别是三个通道的敏感度函数。此时境面反射分量的单位颜色向量为Γ＝{1/，1/，1/}。由于多数图像捕获设备都内置白平衡处理机制，能够消除光源色温对图像颜色的影响，所以本方法简单地使用单位向量Γ＝{1/，1/，1/}作为境面反射分量的颜色单位向量；3)使用漫反射分量和境面反射分量的颜色单位向量对所有颜色信号进行最小二乘分解，求得两个参数集合Sα和Sβ，这两个参数是每个颜色信号对于漫反射分量和境面反射分量得线性组合系数，即对于颜色信号Cp，其参数αp和βp满足Cp＝αp×Λ+βp×Γ式14)估计参考颜色的颜色值，考虑到单从一幅图像无法求出物体真实的漫反射系数，本方法求一个特殊的颜色值作为参考颜色，以这个参考颜色为基准实现较为真实的色彩置换。首先选择所有值β接近0的采样点，从这些点中选取α值最大的5％，设其均值为αm。以参数对(αm，0)所对应的颜色作为参考颜色值。这个参考颜色将被替换为新的颜色。
5)为了体现新颜色的亮度特征，我们提出了新的线性系数。设一个像素点为B，令B在物体颜色的色度单位向量上的投影XB作为体颜色分量，如图5所示。以每个像素点的物体颜色分量与参考颜色的模值之比作为新的物体颜色线性系数，计算公式如式2，其中θ是物体颜色方向向量Λ和入射光颜色方向向量Γ的夹角，n是参考颜色的模值。在进行色彩置换时，用新颜色的模值作为n值计算与新颜色对应的线性系数。然后再用新颜色的方向向量和新线性系数按照式3计算结果颜色值。色彩置换的步骤为1)设一个像素点为B，令B在物体颜色的色度单位向量上的投影XB作为其物体颜色分量，计算B点新的参数公式如下α′=α+β×cos(θ)n]]>式2β′＝β其中θ是漫反射颜色单位向量Λ和境面反射颜色单位向量Γ的夹角，n是参考颜色的模值，2)设新颜色值为Cn，置换后的颜色CB’的计算方式如下CB′＝α′×Cn+β′×Γn式3
这里给出一些对实际图像进行色彩置换的处理结果。从示例中可以看出无论是对几乎全部是漫反射的区域(图7)，还是类似纱线质地的有一定透明感的区域(图8)，还是亮度变化范围较大的目标区域(图9)，本章的置换算法均能取得较好的效果。
权利要求
1.一种用于虚拟展示系统的单色图像区域色彩置换方法，其特征在于方法的步骤如下1)估计漫反射分量的归一化色度Λ，其步骤为(1)对目标区域内的颜色信号重采样，避免噪声的影响，(2)将重采样后的颜色信号归一化，(3)将归一化后的信号投影到一个特定平面，(4)求利用投影结果的最外围点，(5)将最外围点反投影，计算出漫反射分量的归一化色度向量；2)估计入射光分量的归一化色度，将入射光简化为白光，使用单位向量Γ={1/3,1/3,1/3}]]>作为入射光的归一化色度；3)使用漫反射分量的色度和入射光分量的色度对所有颜色信号进行最小二乘分解，求得两个参数集合Sα和Sβ，这两个参数是每个颜色信号对于漫反射分量和入射光分量得线性组合系数，即对于颜色信号Cp，其参数αp和βp满足Cp＝αp×Λ+βp×Γ 式14)估计参考颜色的颜色值，求出一个参考颜色作为被替换的颜色，其步骤为(1)选择所有值β接近0的采样点，从中选取α值最大的5％，设其均值为αm，(2)算出参数对(αm，0)所对应的颜色作为参考颜色值；5)色彩置换，其步骤为(1)设一个像素点为B，令B在物体颜色的色度单位向量上的投影XB作为其物体颜色分量，计算B点新的参数公式如下α′=α+β×cos(θ)n]]>β′＝β式2其中θ是漫反射颜色单位向量Λ和入射光单位颜色向量Γ的夹角，n是参考颜色的模值，(2)设新颜色值为Cn，置换后的颜色CB’的计算方式如下CB′＝α′×Cn+β′×Γ 式3。
2.根据权利要求1所述的一种用于虚拟展示系统的单色图像区域色彩置换方法，其特征在于所说的颜色信号重采样步骤为1)将所有的像素颜色值从RGB空间转化到HSV空间，2)做所有颜色信号的色度直方图，其横轴为色度分格，纵轴为属于每个色度分格的颜色信号数目，然后用一个高斯函数拟合这个直方图，求出其中值为x0，方差为δ，取所有色度值在[x0-δ，x0+δ]范围内的颜色信号作为新的采样值。
3.根据权利要求1所述的一种用于虚拟展示系统的单色图像区域色彩置换方法，其特征在于所说的对归一化后的信号投影是设由漫反射单位向量Λ和入射光单位向量Γ张成的平面为Φ，设另有一个平面ψ过原点且垂直于Φ，做过某颜色信号点且垂直于ψ的直线，该直线与ψ的交点即该颜色信号点的投影点，具体计算方法为设采样点中某个颜色信号p，其颜色值为Cp＝{Rp，Gp，Bp}，归一化之后变为Cpn＝{Rpn，Gpn，Bpn}，其中Rpn2+Gpn2+Bpn2＝1，则p点在ψ平面上的坐标计算如下xp=2×Rpn-Gpn-Bpn3yp=2×Gpn-Rpn-Bpn3]]>式4。
4.根据权利要求1所述的一种用于虚拟展示系统的单色图像区域色彩置换方法，其特征在于所说的求投影结果的最外围点步骤为1)取所有投影点与原点连线的方位角的均值，做一条由原点发出的射线，2)将所有投影点投影到射线上，取最远的10％个点的平均位置做为最外围的投影点。
5.根据权利要求1所述的一种用于虚拟展示系统的单色图像区域色彩置换方法，其特征在于所说的反投影计算是求得最外围的投影点坐标(xo，yo)后，联合式4和式5求解Λ＝{Rpn，Gpn，Bpn}；Rpn2+Gpn2+Bpn2＝1 式5。
全文摘要
本发明公开了一种虚拟展示系统的单色图像区域色彩置换方法。本方法基于二色反射模型，其步骤为1)估计入射光颜色单位向量；2)估计漫反射分量颜色单位向量先重采样颜色信号，然后利用投影方法得到一个最接近物体实际颜色的参考颜色单位向量；3)使用入射光向量和参考颜色向量对所有象素进行最小二乘分解，得到每个象素的线性系数；4)对于每个象素，构造一个新的线性系数，然后使用目标颜色值计算最终的结果颜色。使用本发明的方法可以快速有效地实现色彩置换，而且本方法的置换结果能够真实地反映物体表面的光影效果。本方法不需要用户交互，计算量小，具有很好的实用价值。
文档编号H04N1/60GK1852393SQ20061005035
公开日2006年10月25日 申请日期2006年4月14日 优先权日2006年4月14日
发明者王鹏, 张明敏, 潘志庚 申请人:浙江大学