专利名称：一种快速多视点视频颜色校正方法
技术领域：
本发明涉及一种视频的处理方法，尤其是涉及一种快速多视点视频颜色校正方法。
背景技术：
进入本世纪以来，随着数字2D(二维)视频技术日趋成熟，以及计算机、通信及网络技术的快速发展，引发了人们对新一代数字电视系统的强烈需求，其具有视点交互、立体感等现有数字电视系统所不具备的特征，自由视点电视(FTV，Free Viewpoint Television)能够让用户从不同的视角欣赏场景，被认为是下一代数字电视系统的发展方向。在FTV系统中，如何提高多个视频信号的视频压缩效率以降低传输带宽资源占用， 以及如何在三维视频系统用户端合成高质量的任意视点图像是需要解决的两个核心问题。由于FTV系统在采集图像的过程中各相机的基线不在同一水平轴上，场景光照、相机 CCD (Charge-coupled Device,电荷耦合元件)噪声、快门速度和曝光等要素不一致，因此会导致不同相机采集的图像的颜色值差别很大，将给后续的视频编码、虚拟视点绘制和多视点视频三维显示带来极大的困难，可能会使三维视频系统用户端在任意视点图像合成时出现错误。因此，有效的多视点视频颜色校正方法是提高视频压缩效率，特别是改善任意视点图像质量的关键技术。目前已提出了一些针对多视点图像的颜色校正方法，如动态规划、K-L变换、 Retinex颜色恒常性理论、规正参数调节、噪声预处理与主成分分析、区域分割与跟踪等算法。然而，这些颜色校正方法更多地考虑如何提升校正精确性，而对多视点视频的颜色校正应当有别于现有的多视点图像的颜色校正，这是因为一方面，由于多视点视频在视点间和时间上同时进行参考，如何对多视点视频进行合理的颜色校正，以保证在时间和空间上的颜色一致性是一个亟需解决的问题；另一方面，由于颜色校正方法的复杂度一般都比较高， 如何通过利用多视点视频的时域相关性进行快速跟踪、如何根据多视点视频系统对跟踪的不同要求而自适应地选择跟踪的方式，以降低颜色校正计算复杂度、提高颜色校正精确性， 都是对多视点视频进行颜色校正的过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种在保证多视点视频颜色校正精确性的同时，能够有效降低颜色校正计算复杂度的快速多视点视频颜色校正方法。本发明解决上述技术问题所采用的技术方案为一种快速多视点视频颜色校正方法，其特征在于包括以下步骤①将由多视点视频系统拍摄的未经处理的且颜色空间为YUV的多视点视频定义为原始多视点视频，将原始多视点视频中的一个视点定义为目标视点，记为T，将原始多视点视频中的其它视点定义为源视点，记为S ；在空域上该原始多视点视频包括目标视点原始视频和源视点原始视频，目标视点原始视频主要由若干个帧组的目标视点图像组成，源视点原始视频主要由若干个帧组的源视点图像组成，其中，YUV颜色空间的三个颜色分量中的第1个颜色分量为亮度分量，记为Y，第2个颜色分量为第一色度分量，记为U,第3个颜色分量为第二色度分量，记为V ；②将目标视点原始视频中第i个帧组第j时刻的目标视点图像记为广、,j,k(x， y)}，将源视点原始视频中第i个帧组第j时刻的源视点图像记为I^Ii, j,k(x，y)}，将目标视点原始视频中每个帧组第1时刻的目标视点图像定义为目标视点关键帧图像，将目标视点原始视频中除每个帧组第1时刻的目标视点图像外的目标视点图像定义为目标视点非关键帧图像，将源视点原始视频中每个帧组第1时刻的源视点图像定义为源视点关键帧图像，将源视点原始视频中除每个帧组第1时刻的源视点图像外的源视点图像定义为源视点非关键帧图像，其中，1 < i < N，N为目标视点原始视频和源视点原始视频包含的帧组的个数，1 < j < Ngop, Ngop表示帧组的长度，i · NG0P+j表示第i个帧组第j时刻的目标视点图像或第i个帧组第j时刻的源视点图像的帧号，k = 1，2，3分别表示YUV颜色空间的三个颜色分量，(x，y)表示图像中的像素点的坐标位置，mI^k(Ly)表示I^I^kO^y)}中坐标位置为(χ，y)的像素点的第k个颜色分量的颜色值，feiIi,^(x, y)表示I^Ii.j.kU，y)}中坐标位置为(χ，y)的像素点的第k个颜色分量的颜色值；定义目标视点原始视频和源视点原始视频中当前待处理的第i个帧组为当前帧组；③通过主颜色提取算法分别估计出目标视点原始视频中当前帧组的目标视点关键帧图像l^lu.kU，y)}和源视点原始视频中当前帧组的源视点关键帧图像l^lu.kU， y)}的主颜色信息，分别记为mGiil和⑶Θ U，⑴Θ U= {(τ) μ ‘ ia,k, (τ)σ ‘ ia,k},⑶ ， ！ = {(s) μ ' Uk，6)。' u.J，其中，⑴μ' Uk表示riu.kO^y)}的主颜色的第k个颜色分量的颜色值的均值，(Τ) σ ‘ IU表示(mIi,uU，y)}的主颜色的第k个颜色分量的颜色值的标准差，(s) μ ‘ iu表示Ι 、uU，y)}的主颜色的第k个颜色分量的颜色值的均值，(s) σ ‘ iu表示I^Ii,uU，y)}的主颜色的第k个颜色分量的颜色值的标准差；④将(mIiIkO^yM中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值(τ) Ii,Lk(X^y)与I^Ii,uO^y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值(s) ii.uOcy)的乘性误差记为 Iwa^k= (τ)σ ‘‘ i.u，将(mI^kOcy)I 中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值mI^k(Ly)与I^Ii,uO^y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值(S)I^k(Ly)的加性误差记为、… ^k= (τ)μ ‘ un.k· (s)y ‘ i,u，然后根据(mI^kOcy)}和 I^D，y)}中各个对应的像素点的各个颜色分量的颜色值的乘性误差和加性误差，对{⑸〗^k(x，y)}的每个像素点的各个颜色分量进行颜色校正，(0I^kU, y) = a,,^k ·⑶lia,k(x，γ)+、"，其中，(c) Ii,Lk(X^y)为I^ii,uUdM经颜色校正后的校正图像中坐标位置为(x，y)的像素点的第 k个颜色分量的颜色值；⑤选择跟踪方式对源视点原始视频中当前帧组的各个源视点非关键帧图像的每个像素点的各个颜色分量进行颜色校正，对于源视点原始视频中当前帧组的第j'时刻的源视点非关键帧图像,k(X，y)}，l < j'彡NTOP，如果选择的跟踪方式为同步跟踪方式，则执行步骤⑥至⑦，如果选择的跟踪方式为非同步跟踪方式，则执行步骤⑧至⑩；对源视点原始视频中当前帧组的各个源视点非关键帧图像的每个像素点的各个颜色分量完成颜色校正后，执行步骤 ；⑥通过区域检测算法分别估计出目标视点原始视频中当前帧组第j'时刻的目标视点非关键帧图像(mIi,j, ,k(x，y)}和第j' -1时刻的目标视点图像(mIi,」，-!,,(χ,γ)}的背景颜色信息，分别记为⑴Θ'",和⑴ ' ^ —”⑴ ' ^ = {⑴μ〃 ,k，(T)0〃 i, η}，(Τ)Θ' W^1=Py" w -^，⑴。〃 _。}，其中，(τ)μ〃 "^表示广^.,，々， y)}的背景颜色的第k个颜色分量的颜色值的均值，⑴O “ ，k表示(mIi, ’k(X，y)}的背景颜色的第k个颜色分量的颜色值的标准差，(τ)μ 〃 ,,j, Ik表示{(τ)Ιμ, (x, y)}的背景颜色的第k个颜色分量的颜色值的均值，(τ)σ 〃 —U表示(mIi, ^k(χ, y)}的背景颜色的第k个颜色分量的颜色值的标准差，Kj' ( Ngop ；通过区域检查算法分别估计出源视点原始视频中当前帧组第j'时刻的源视点非关键帧图像{(s)IiJ ,k(X，y)}和第j' -1时刻的源视点图像{(s、, j, -!,,(χ, y)}的背景颜色信息，分别记为⑶Θ' ^和6) ' ,,j, δ)Θ' ,,J, = {(5)μ “ ,k，(S)o〃 i,, ,k}， (s)0' i,,—=!⑶ μ〃 ^-u，6、" ^ J，其中，(s)y 〃 ^^表示产乂^⑴… 的背景颜色的第k个颜色分量的颜色值的均值，(s)0 〃 ^，k表示{(S)I^ ,k(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，(s) μ “ ,,j, Ik表示(χ, y)}的背景颜色的第k个颜色分量的颜色值的均值，〃 —U表示{( IM, ^k(x, y)}的背景颜色的第k个颜色分量的颜色值的标准差，1 < j' ( Ngop ；⑦将(mIi,」，,k(x, y)}中坐标位置为(X，y)的像素点的第k个颜色分量的颜色值 mIi,, ,k(x，y)与{(s、,」，，k(x，y)}中坐标位置为(X，y)的像素点的第k个颜色分量的颜色值(s、,」，，k(x，y)的乘性误差记为屮，」，，k，将{(τ、,」，，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值mIi,, ,k(x, y)与((S)Iiij, ,k(x, y)}中坐标位置为(x，y) 的像素点的第k个颜色分量的颜色值(S)I^ ,k(x,y)的加性误差记为^」，，k，然后根据已得到的屮，」，-U和、」，-u，快速估计得到屮，」，，k和A,」，，k，再利用屮，」，，k和hj，k对产、, j- ,k(x，y)}的每个像素点的各个颜色分量进行颜色校正，(aIiij, ,k(x，y) =aU], ,k'(s)IU],, k(x，,k，其中，i0Ii, J, ,k(x, y)为{(s、,」，,k(x, y)}经颜色校正后的校正图像中坐标位置为(X，y)的像素点的第k个颜色分量的颜色值；⑧通过主颜色提取算法分别估计出目标视点原始视频中其余各个帧组的目标视点关键帧图像和源视点原始视频中其余各个帧组的源视点关键帧图像的主颜色信息，得到目标视点原始视频中所有帧组的目标视点关键帧图像和源视点原始视频中所有帧组的源视点关键帧图像的主颜色信息集合，分别记为广) 。}和{6) ^}，将所有目标视点关键帧图像的帧号作为控制顶点，将所有目标视点关键帧图像的主颜色信息集合广) 。}作为节点矢量，通过B样条曲线拟合算法分别估计出所有目标视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，分别记为I1 = (T)fu,k(Xl)和Y1 = mf。,k(Xl)，将所有源视点关键帧图像的帧号作为控制顶点，将所有源视点关键帧图像的主颜色信息集合{(S) 〃} 作为节点矢量，通过B样条曲线拟合算法分别估计出所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，分别记为Y1 = (S)fu,k(Xl)和7工=(S)f。,k(Xl)，其中，(T) fu,k()表示所有目标视点图像的各个颜色分量的颜色值的均值曲线变化函数，(T)f。,k0表示所有目标视点图像的各个颜色分量的颜色值的标准差曲线变化函数，(s)fu,k0表示所有源视点图像的各个颜色分量的颜色值的均值曲线变化函数，(s)f。,k0表示所有源视点图像的各个颜色分量的颜色值的标准差曲线变化函数，X1表示均值和标准差曲线变化函数的输入变量，Y1表示均值和标准差曲线变化函数的输出变量；⑨根据所有目标视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，估计得到目标视点原始视频中当前帧组第j'时刻的目标视点非关键帧图像(mIi, , k(x，y)}的主颜色信息，记为(Τ)Θ ，⑴Θ“ = {(τ)μ ‘ ^ ,k，(τ)σ ‘ ,J，根据所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，估计得到源视点原始视频中当前帧组第j'时刻的源视点非关键帧图像((S)Ii, j, ,k(X，y)}的主颜色信息，记为(s) i,,， ^=^Y(S)0' ^,丄其中，^乂彡队…⑴口' USk=mL, k(i -Ngop+j' )，(τ)σ' ^ik=mUi-Nmp+ )，⑶μ' W, ,k= (s)fu,ka ·Ν⑶ P+j')，⑩根据已得到的mGi,」，和(s^i,」，，计算(mIi,,k(X，y)}中坐标位置为(x，y) 的像素点的第k个颜色分量的颜色值与,k(x，y)}中坐标位置为(x，y)的像素点的
k、
第k个颜色分量的颜色值的乘性误差和加性误差，分别记为\ j- , k和、j- , k，Bi, y , k — (T) σ ' ,k/(S) σ ' ^ ,k'ey ,k =⑴ μ ' i.j' ,^aijj- ,k · (S) μ ' i, j' ,k，再利用 Bi,, ,k 和 j-，k对I6、,」，，k(x，y)}的每个像素点的各个颜色分量进行颜色校正，i0Ii,j- ,k(x，y) = a,, ,Z(S)Ii,, ,k(x,y)+ei,J, ,k，其中，(0Ii,, ,k(x,y)为{(s、,, ,k(x,y)}经颜色校正后的校正图像中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值； 将目标视点原始视频和源视点原始视频中下一个待处理的帧组作为当前帧组， 然后返回执行步骤③，直至对源视点原始视频中所有帧组的源视点图像完成颜色校正。所述的步骤③中通过主颜色提取算法估计{^ImO^y)}和I^Ii,uUd)}的主颜色信息的具体过程为③-1、在YUV颜色空间以白、黑、红、黄、绿、蓝、粉红、紫、橙、灰和棕11种基本颜色来表示基本颜色分类的集合Ω，Ω = {111 < 1 < 11}，其中，1表示基本颜色分类的标记；③-2、分别计算{^I^kO^y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值与11种基本颜色的颜色值之间的欧式距离，然后找出最小的欧式距离代价，记为 COSTmin，再将COSTmin对应的基本颜色分类的标记作为最佳颜色分类的标记，记为!11，将{(1, !,,(χ,γ)}中坐标位置为(x，y)的像素点属于第m个基本颜色分类的概率设为1，记为Pm(x， y) = 1，将(mIi,uU，》}中坐标位置为(x，y)的像素点属于其余所有基本颜色分类的概率设为0，记为Pn(x，y) = 0，其中，m e Ω，η e Ω , η ^ m, PmO和PnO表示概率函数；③-3、分别对(mIi,uU，y)}中的每个像素点属于11个基本颜色分类的概率集
r(D-
}进行累加操作，得到(mIi,uU，y)}属于11个基本颜色分类的
累计概率集合，记为{
权利要求
1. 一种快速多视点视频颜色校正方法，其特征在于包括以下步骤①将由多视点视频系统拍摄的未经处理的且颜色空间为YUV的多视点视频定义为原始多视点视频，将原始多视点视频中的一个视点定义为目标视点，记为T，将原始多视点视频中的其它视点定义为源视点，记为S ；在空域上该原始多视点视频包括目标视点原始视频和源视点原始视频，目标视点原始视频主要由若干个帧组的目标视点图像组成，源视点原始视频主要由若干个帧组的源视点图像组成，其中，YUV颜色空间的三个颜色分量中的第 1个颜色分量为亮度分量，记为Y，第2个颜色分量为第一色度分量，记为U,第3个颜色分量为第二色度分量，记为V;②将目标视点原始视频中第i个帧组第j时刻的目标视点图像记为(mIi,j,k(x, y)}， 将源视点原始视频中第i个帧组第j时刻的源视点图像记为I^I^kky)}，将目标视点原始视频中每个帧组第1时刻的目标视点图像定义为目标视点关键帧图像，将目标视点原始视频中除每个帧组第1时刻的目标视点图像外的目标视点图像定义为目标视点非关键帧图像，将源视点原始视频中每个帧组第1时刻的源视点图像定义为源视点关键帧图像，将源视点原始视频中除每个帧组第1时刻的源视点图像外的源视点图像定义为源视点非关键帧图像，其中，1 < i < N，N为目标视点原始视频和源视点原始视频包含的帧组的个数， 1 ^ j ^ Ngop, Ngop表示帧组的长度，i · NroP+j表示第i个帧组第j时刻的目标视点图像或第i个帧组第j时刻的源视点图像的帧号，k= 1，2，3分别表示YUV颜色空间的三个颜色分量，(x，y)表示图像中的像素点的坐标位置，mI^k(Ly)表示riukO^yM中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值，(S)IukO^y)表示PlukO^y)}中坐标位置为(χ，y)的像素点的第k个颜色分量的颜色值； 定义目标视点原始视频和源视点原始视频中当前待处理的第i个帧组为当前帧组；③通过主颜色提取算法分别估计出目标视点原始视频中当前帧组的目标视点关键帧图像{( I^kO^y)}和源视点原始视频中当前帧组的源视点关键帧图像I^Ii,uO^y)}的主颜色信息，分别记为⑴Θ u和(s) Θ ^ mO U= {(τ)μ ‘ UYmO' ^1J,⑶ ,1= {(s) μ ‘ ^r(S)O' ^丄其中， “' “^表示广 ，丨，^，…的主颜色的第！^个颜色分量的颜色值的均值，(τ) σ ‘ iu表示(mIi,uU，y)}的主颜色的第k个颜色分量的颜色值的标准差， μ ‘ Lu表示{巧^&，Y)}的主颜色的第k个颜色分量的颜色值的均值，(s) σ ‘ IU表示((S)Ii,uU，y)}的主颜色的第k个颜色分量的颜色值的标准差；④将I^I^kO^y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值mIu, k(x, y)与I^Ii,uU，》}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值wIi, "(χ，》的乘性误差记为a^kdi.u= (τ)σ ‘ uV '…，将{ ^办》}中坐标位置为(X，y)的像素点的第k个颜色分量的颜色值mI^k(Ly)与((S)Ii,uUdM中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值(S)I^k(Ly)的加性误差记为e^k，、 U= (τ)μ ‘i,u，然后根据{(τ)υχ，γ)}和((S)I^kOcyM 中各个对应的像素点的各个颜色分量的颜色值的乘性误差和加性误差，对l^lu.kU，y)}的每个像素点的各个颜色分量进行颜色校正，raI^kOcy) = a,,^k · teiI^kU, y)+ei,u，其中，i0Ii, !,,(χ,γ)为I^Ii,uO^y)}经颜色校正后的校正图像中坐标位置为(x，y)的像素点的第k 个颜色分量的颜色值；⑤选择跟踪方式对源视点原始视频中当前帧组的各个源视点非关键帧图像的每个像素点的各个颜色分量进行颜色校正，对于源视点原始视频中当前帧组的第j'时刻的源视点非关键帧图像广、』，k(x，y)}，l < j'彡NTOP，如果选择的跟踪方式为同步跟踪方式，则执行步骤⑥至⑦，如果选择的跟踪方式为非同步跟踪方式，则执行步骤⑧至⑩；对源视点原始视频中当前帧组的各个源视点非关键帧图像的每个像素点的各个颜色分量完成颜色校正后，执行步骤 ；⑥通过区域检测算法分别估计出目标视点原始视频中当前帧组第j'时刻的目标视点非关键帧图像I^Ii,」，,k(x,y)}和第j' -1时刻的目标视点图像广、,」，-i;k(x,y)}的背景颜色信息，分别记为⑴Θ' μ.,和⑴Θ' α+ Θ' ^ ={(Τ)μ〃 ，k，⑴σ〃k}，⑴ Θ' h=I^P" —u， 。" -。}，其中，⑴μ"…”表示！⑴^,，々， y)}的背景颜色的第k个颜色分量的颜色值的均值，(τ)σ " ^，k表示(mIij ,k(x,y)}的背景颜色的第k个颜色分量的颜色值的标准差，(τ)μ 〃 ,,j, ik表示{(τ)Ιμ, (χ, y)}的背景颜色的第k个颜色分量的颜色值的均值，(τ)σ 〃 —u表示(mIi, ^k(χ, y)}的背景颜色的第k个颜色分量的颜色值的标准差，Kj' ( Ngop ；通过区域检查算法分别估计出源视点原始视频中当前帧组第j'时刻的源视点非关键帧图像,k(x，y)}和第j' -1时刻的源视点图像-uUd)}的背景颜色信息， 分别记为⑶ Θ ‘ ^ 和⑶ Θ' ^j, _i;(s)0' i,, = {⑶ μ〃 ^( 〃i,j' = i(s) μ " ,j' (s) o “ —。！，其中，⑶口〃 ^，k表示{(%,」，，k(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，(s)0 〃 ^，k表示{(S)I^ ,k(x，y)}的背景颜色的第 k个颜色分量的颜色值的标准差，(S) μ “ ^ ik表示-uO^y)}的背景颜色的第k 个颜色分量的颜色值的均值，(s)0 〃 ,,j- -u表示-uU，y)}的背景颜色的第k个颜色分量的颜色值的标准差，1 < j' ^ Ngop ；⑦将{(τ)Ιμ,,k(x, y)}中坐标位置为(X，y)的像素点的第k个颜色分量的颜色值(τ) Ii, j- ,k(x, y)与Ι6、,」，,k(x, y)}中坐标位置为(χ，y)的像素点的第k个颜色分量的颜色值wIi,, ,k(x，y)的乘性误差记为a^ ,k，将{(τ)Ιμ., ,k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值mIiij, ,k(x，y)与,k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值(S)Iiij, ,k(x, y)的加性误差记为ei,」，，k，然后根据已得到的屮，」，-u和、」，-u，快速估计得到屮，」，，k和A,」，，k，再利用屮，」，，k和hj，k对产、, j- ,k(x，y)}的每个像素点的各个颜色分量进行颜色校正，(aIiij, ,k(x，y) =aU], ,k'(s)IU],, k(x，,k，其中，i0Ii, j, ,k(x, y)为{(s、,」，,k(x, y)}经颜色校正后的校正图像中坐标位置为(X，y)的像素点的第k个颜色分量的颜色值；⑧通过主颜色提取算法分别估计出目标视点原始视频中其余各个帧组的目标视点关键帧图像和源视点原始视频中其余各个帧组的源视点关键帧图像的主颜色信息，得到目标视点原始视频中所有帧组的目标视点关键帧图像和源视点原始视频中所有帧组的源视点关键帧图像的主颜色信息集合，分别记为广 〃}和{6) 〃}，将所有目标视点关键帧图像的帧号作为控制顶点，将所有目标视点关键帧图像的主颜色信息集合广) 。}作为节点矢量，通过B样条曲线拟合算法分别估计出所有目标视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，分别记为Y1 = (T)fu,k(Xl)和Y1 = mf。,k(Xl)，将所有源视点关键帧图像的帧号作为控制顶点，将所有源视点关键帧图像的主颜色信息集合产) 。}作为节点矢量，通过B样条曲线拟合算法分别估计出所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，分别记Sy1 = (s)fu,k(Xl)和7工=(s)f。,k(Xl)，其中，(T)fu, k()表示所有目标视点图像的各个颜色分量的颜色值的均值曲线变化函数，(T)f。,k0表示所有目标视点图像的各个颜色分量的颜色值的标准差曲线变化函数，(s)fu,k0表示所有源视点图像的各个颜色分量的颜色值的均值曲线变化函数，(s)f。,k0表示所有源视点图像的各个颜色分量的颜色值的标准差曲线变化函数，X1表示均值和标准差曲线变化函数的输入变量，Y1表示均值和标准差曲线变化函数的输出变量；⑨根据所有目标视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，估计得到目标视点原始视频中当前帧组第j'时刻的目标视点非关键帧图像(mIi,」，，k(x，y)} 的主颜色信息，记为(Τ) Θ",，(τ) Θ", = {(τ) μ ‘ U, ,k，⑴σ ‘ ^ ,J，根据所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，估计得到源视点原始视频中当前帧组第j'时刻的源视点非关键帧图像{(%,」，，k(x，y)}的主颜色信息，记为(S)Gi, j,，(S)Gi, J' = {(s)y ‘ W(S)O' ^,丄其中，^乂彡队评，⑴口' ^ ,k =⑴fu,k(i.N⑶P+J·')， (T)0' Lpk=mUi^Uj')，⑶μ' ^ ,k=⑶fu,k(i.N⑶ p+J·' )，(s)0' U,，k=(S)fo,k(i -NG0P+j')；⑩根据已得到的,和(s^i,,，计算{(%.」，,k(x,y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值与产、』,k(x, y)}中坐标位置为(X，y)的像素点的第k 个颜色分量的颜色值的乘性误差和加性误差，分别记为Si^，k和e^ ,,,a^., ,k = (τ) σ ‘ ^,k/(S) σ 'e^j, jk = (τ)μ ' i,广 ^ai, , , k · (s) μ ' i, , , k，再利用 Bi, , , k 和 ei,」，，k对产、,」，，k(x，y)}的每个像素点的各个颜色分量进行颜色校正，(%,r ,k(x，y) = a,,j,, k· (S)Ii,, ,k(x,y)+ei,J, ,k，其中，(G)Ii,j, ,k(x，y)为((S)IiJ ,k(x,y)}经颜色校正后的校正图像中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值； 将目标视点原始视频和源视点原始视频中下一个待处理的帧组作为当前帧组，然后返回执行步骤③，直至对源视点原始视频中所有帧组的源视点图像完成颜色校正。
2.根据权利要求1所述的一种快速多视点视频颜色校正方法，其特征在于所述的步骤 ③中通过主颜色提取算法估计{^ImO^y)}和I^Ii,uO^y)}的主颜色信息的具体过程为③-1、在YUV颜色空间以白、黑、红、黄、绿、蓝、粉红、紫、橙、灰和棕11种基本颜色来表示基本颜色分类的集合Ω，Ω = {111 < 1 < 11}，其中，1表示基本颜色分类的标记；③-2、分别计算(mIiil, k(x，y)}中坐标位置为(χ，y)的像素点的第k个颜色分量的颜色值与11种基本颜色的颜色值之间的欧式距离，然后找出最小的欧式距离代价，记为 COSTmin，再将COSTmin对应的基本颜色分类的标记作为最佳颜色分类的标记，记为!11，将{(1, !,,(χ,γ)}中坐标位置为(x，y)的像素点属于第m个基本颜色分类的概率设为1，记为Pm(x， y) = 1，将(mIi,uU，》}中坐标位置为(x，y)的像素点属于其余所有基本颜色分类的概率设为0，记为Pn(x，y) = 0，其中，m e Ω，η e Ω , η ^ m, PmO和PnO表示概率函数；③-3、分别对(mIiil,k(x，y)}中的每个像素点属于11个基本颜色分类的概率集合 (P1(X^y) 11彡1彡11}进行累加操作，得到{( I^kO^y)}属于11个基本颜色分类的累计(πΛ概率集合，记为{Pl|i彡ι彡11}，其中，^= Σ Pl(^y)/ Σ Σ p^y)，ψ表示图像
3.根据权利要求1或2所述的一种快速多视点视频颜色校正方法，其特征在于所述的步骤⑥中通过区域检测算法估计,k(x,y)}和(mIi,」，-uO^y)}的背景颜色信息的具体过程为⑥-1、计算(mIi,, ,k(x, y)}中坐标位置为(X，y)的像素点与(mIi,, ^,,(x, y)}中坐标位置为(x，y)的像素点的亮度分量的颜色值的绝对差，记为D^ ,!(Xjy)jDi^., ,^χ,γ) =mIi,j' ,!(X^y)-mIi,-uOcy) I，计算{(τ)ΙΜ·, ,kU，y)}中坐标位置为 U，y)的像素点与(mIi,」，-uOcy)}中坐标位置为(x，y)的像素点的亮度分量的颜色值的平均绝对方差，记为一 =去Σ，其中，“ I I ”为绝对值符号，M表示图像包含的像素点的总个数，Ψ表示图像中所有像素点的集合，mIi,^ y)表示, k(x, y)}中坐标位置为(X，y)的像素点的亮度分量的颜色值，mIq, -ia(x, y)表示(mIi, j- -!,,(χ, y)}中坐标位置为(χ，y)的像素点的亮度分量的颜色值，Kj' ^ Ngop ；⑥-2、将(mIi,,,k(x, y)}中所有满足条件Α，;,，办，；^久吃。的像素点作为, k(x，y)}和(mIi,」，-uOcy)}的背景像素点，分别计算(mIi,」，，k(x，y)}的背景像素点的各个颜色分量的颜色值的均值⑴μ “ ^，k和标准差(Τ) σ “ ^ ,k，将(τ) μ “ ^，k和⑴σ “,, ,，k作为,k(x，y)}的背景颜色信息，记为⑴Θ' ^，(Τ)Θ' ^ ={(τ)μ〃(τ) O ” ,,J, ,k}，分别计算(mIi,-uO^y)}的背景像素点的各个颜色分量的颜色值的均值 (Τ)μ〃 W, -U 和标准差(Τ)ο 〃 W, -U，将⑴ μ 〃 ,J' -U 和⑴O" ^ -U 作为广IiJ k(x，y)}的背景颜色信息，记为⑴Θ' W, -i，⑴Θ' W, <={( “〃 U, ^，⑴σ〃 U, i J，其中，β为大于O的加权参数；所述的步骤⑥中通过区域检测算法估计I^Ii,」，，k(x，y)}和」，-uU^)}的背景颜色信息的具体过程采用与步骤⑥-1至⑥_2相同的操作，获取,k(x,y)}和产、, J- -^k (x, y)}的背景颜色信息，分别记为⑶Θ ‘ W,和(s) Θ ‘ W,,,⑶Θ ‘ = {(s) μ “,,(S) //ι (S) Ω /一 f(s) ., II(S) //1j' , k' υ i, j' , kJ ‘ ^ i,j' -ι — 1 μ i, j' -i,k， υ i, j' -i,kJ °
4.根据权利要求3所述的一种快速多视点视频颜色校正方法，其特征在于所述的步骤 ⑦中获取a^，k和e^，k的具体过程为⑦-1、将(mIi,,,k(x,y)}与{(Τ)Ι^, ^,,(χ,γ)}中坐标位置为(x，y)的像素点的第k 个颜色分量的颜色值的乘性误差记为<^ = (T)<r-u /，将(mIi, ,k(x，y)}与 (mIi,」，-!,,(χ, y)}中坐标位置为(χ，y)的像素点的第k个颜色分量的颜色值的加性误差记为ei’j.’Jc ,ei,j\k — ( )"。'—U ~aiJ\k . ( ^J\k ；⑦-2、将,k(x,y)}与I^Ii,, ^,,(χ,γ)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的乘性误差记为= {S)aKr_u / ,，将{(s) Ii,, ,k(x，y)}与 I^Ii,」，-uU，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的加性误差 ⑦-3、根据已得到的 ,」，^k和、」，_ljk,快速估计得到 ,」，，k和、」，，k，
5.根据权利要求4所述的一种快速多视点视频颜色校正方法，其特征在于所述的步骤 ⑧中通过主颜色提取算法分别估计出目标视点原始视频中其余各个帧组的目标视点关键帧图像和源视点原始视频中其余各个帧组的源视点关键帧图像的主颜色信息的过程，采用与所述的步骤③中通过主颜色提取算法估计广)1^0^，7)}和I^Ii,uO^y)}的主颜色信息的具体过程相同的操作方法。
6.根据权利要求5所述的一种快速多视点视频颜色校正方法，其特征在于所述的步骤 ⑧中通过B样条曲线拟合算法估计所有目标视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数的具体过程为⑧-1、将所有目标视点关键帧图像的帧号作为控制顶点，将目标视点原始视频中第i 个帧组的目标视点关键帧图像的帧号记为ti;将目标视点原始视频中第i个帧组的目标视点关键帧图像的正规化的B样条基底函数记为Ni, x (X1)，其中，X1表示函数的输入变量，X1 ^ Ngop · N, Ngop表示帧组的长度，N为目标视点原始视频和源视点原始视频包含的帧组的个数，1表示迭代次数，1^1；@-2、采用& -(1动001~递推公式，计算得到队,100经过1'次迭代的正规化的B样 条基底函数，记为 Ni,!, (X1)表示Ni, Jx1)经过1' -1次迭代的正规化的B样条基底函数，ti+1, 4表示目标视点原始视频中第i+Γ -1个帧组的目标视点关键帧图像的帧号，ti+1,表示目标视点原始视频中第i+Γ个帧组的目标视点关键帧图像的帧号，Ni+^ (X1)表示目标视点原始视频中第i+Ι个帧组的目标视点关键帧图像的正规化的B样条基底函数Ni+1,Jx1)经过1' -1 次迭代的正规化的B样条基底函数，ti+1表示目标视点原始视频中第i+Ι个帧组的目标视点关键帧图像的帧号，如果、^ X1 < U1JjNia(X1) = 1，否则，Niil(X1) = O5Nia(X1)表示 Nia(X1)经过1次迭代的正规化的B样条基底函数；⑧-3、将所有目标视点关键帧图像的主颜色信息集合{ 〃}作为节点矢量，估计得到所有目标视点图像的各个颜色分量的颜色值的均值曲线变化函数，记为Y1 = mfu,k(Xl)， {T)fuM (A ) = Σ {τ)μιΧ,Νυ,(χχ)，其中，(T)fu, k ()表示所有目标视点图像的各个颜色分量的颜色 值的均值曲线变化函数，X1表示函数的输入变量，Y1表示函数的输出变量；⑧-4、采用与步骤⑧-1至⑧-3相同的操作，估计得到所有目标视点图像的各个颜色分量的颜色值的标准差曲线变化函数，记为Y1 = mf。,k(Xl)，其中，mf。,k0表示所有目标视点图像的各个颜色分量的颜色值的标准差曲线变化函数；所述的步骤⑧中通过B样条曲线拟合算法估计所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数的具体过程，采用与步骤⑧-1至⑧_4相同的操作，估计得到所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，分别记为Y1 = w^k(X1)和 Y1 = (Ux1)
全文摘要
本发明公开了一种快速多视点视频颜色校正方法，本发明方法将所有的多视点视频图像分为关键帧图像和非关键帧图像两类，对于关键帧图像，通过提取主颜色信息来实现精确的颜色校正，而对于非关键帧图像，则通过时域跟踪来实现快速的颜色校正，在保证颜色校正精确性的同时大大降低了颜色校正的计算复杂度；本发明方法根据颜色校正方法对复杂性和实时性的要求，设计了同步跟踪和非同步跟踪两种方式，同步跟踪方式能对实现颜色校正的同步处理但计算复杂度较高，而非同步跟踪方式虽然不能实现颜色校正的同步处理但计算复杂度较低，这样能够实现自适应跟踪，大大提高了颜色校正方法的有效性。
文档编号H04N9/78GK102223545SQ201110163378
公开日2011年10月19日 申请日期2011年6月17日 优先权日2011年6月17日
发明者蒋刚毅, 邵枫, 郁梅 申请人:宁波大学