一种基于全概率模型的多视点深度图增强系统的制作方法
【专利摘要】本发明实施例公开了一种基于全概率模型的多视点深度图增强系统。该系统包括如下步骤：图像预处理步骤：将像素矢量聚合为超像素矢量；颜色信息分类步骤：使用狄利克雷混合模型模拟超像素矢量分布，并运用变分法估测模型参数，得出超像素矢量的概率密度函数，根据概率进行分类；深度信息分类和增强步骤：基于颜色信息分类结果，使用高斯混合模型模拟深度图像素矢量分布，并运用变分法估计模型参数，根据所得概率密度函数对深度图像素进行细分，将各像素深度值更新为所在类内深度均值，完成深度图增强。利用本发明实施例，能够得到层次更加清晰，结构更加紧凑的深度图，从而提高基于深度绘制的多视点图像合成质量，具有很大的实用价值。
【专利说明】一种基于全概率模型的多视点深度图增强系统
【技术领域】
[0001] 本发明涉及多视点图像合成方法的改善，着重描述了一种基于全概率模型的深度 图增强系统，从而达到提高多视点图像合成质量的目的。
【背景技术】
[0002] 随着3D技术逐渐走入人们的生活，多视点视频作为一种应运而生的新兴数字媒 体越来越受到大家的关注。多视点视频是通过在一个场景不同视角放置多台摄像机，可以 更加真实、生动的还原场景，为用户提供交互式操作功能。但若想将这种3D视频表示方法 应用到诸如自由视点电视（FTV)，远程医疗，交融式会议电视等多媒体业务中，图像质量，视 频连贯性等还需要达到更高标准。
[0003] 由于拍摄现场的摄像机数目限制，我们只能从有限的视角获取图景信息，若想流 畅展示物体的全部视角，需要我们进行多视点图像合成。多视点图像合成大致分为三个步 骤：图像的预处理、图像信息的处理与聚类、图像合成。其中，如何利用有限的信息以及如何 有效的处理信息对多视点图像的合成质量有决定性作用。在数字图像处理中，图像的颜色 作为最重要的视觉特征之--直被广泛应用。K-means算法作为一种简单的聚类方法常被 用于图像颜色信息的分割聚类。这一聚类方法虽然简单，但未能考虑像素间的关联性，且需 要在聚类前确定聚类数目。因此，我们需要探索一种更高效的方法对图像的颜色信息进行 聚类。
[0004] 近年来，在图像合成过程中除了运用图像所包含的颜色信息，能够提供几何信息 的深度图也开始得到广泛关注。深度图可以用一个二维矩阵表示，矩阵中每个像素值表示 的是场景中各点与摄像机的距离。相比于2D的普通图像，深度信息可用于对场景内的物体 进行更加精确的区分。然而，在多数研究中，深度图常用立体匹配算法进行估计，忽视了像 素间的连续性，层次模糊的深度图可能会给图像合成造成负面影响。因此，如何充分利用图 像信息对深度图进行增强，即得到分布更加紧凑、层次更加清晰的深度图，对基于深度的图 像绘制结果具有重要意义。
[0005] 另外，3D图像的合成需要对海量图片进行处理，加之图像高清化、超清化的趋势， 如何对原图像进行预处理，从而迅速高效的进行图像合成，对于多视点视频的流畅性也具 有十分重要的意义。
【发明内容】
[0006] 为了解决基于深度的图像绘制技术中所使用的深度图连续性缺陷以及层次模糊 的问题，本发明提供一种以基于全概率模型的深度图增强系统，改善了合成效果。
[0007] 为达到上述目的，本发明提出的基于全概率模型的多视点深度图增强系统包括下 列步骤：
[0008] 步骤一.图像预处理步骤：针对高清（超清）图片包含的庞大像素数量，对原始图 像进行超像素聚类，降低图像处理的计算复杂度；
[0009]步骤二.颜色信息聚类步骤：有效的颜色信息聚类是深度图增强的基础，本文使 用狄利克雷混合模型（DMM-Dirichlet mixture model)逼近三维超像素向量的分布，并运 用变分贝叶斯方法（VB-Variational Bayes)估计模型参数，从而获得作为颜色聚类依据的 责任矩阵R ;
[0010] 步骤三.深度信息聚类及增强步骤：
[0011] A、深度信息聚类步骤：在颜色信息聚类结果的基础上，按照各像素的深度值再细 分出不同子类，此处对一维深度像素矢量用贝塔混合模型（BMM-Beta Mixture Model)建 模；
[0012] B、深度图增强步骤：计算步骤A中所得子类内像素矢量的深度均值，更新原始深 度值，最终完成深度图的增强，得到层次更加清晰，结构更加紧凑的深度图。
[0013] 在步骤一所述的图像预处理步骤中，可选用K-means，SLIC(Simple-Linear_Itera tive-Clustering)等聚类方法将相似度高的像素聚合为超像素，便于对图像的进一步处 理。
[0014] 在步骤二所述颜色信息聚类步骤中，对三维超像素矢量用狄利克雷混合模型进行 逼近，并运用变分推断法估计分布参数，从而计算出像素矢量的概率密度，得到作为聚类依 据的责任矩阵R。此步骤具体过程如下：
[0015] 1)对步骤一所得三维超像素矢量Sm归一化，得到三维向量xk，
【权利要求】
1. 一种基于全概率模型的多视点深度图增强系统，其特征在于，包括以下步骤： 步骤一.图像预处理步骤：针对高清（超清）图片包含的庞大像素数量，对原始图像进 行超像素聚类，降低图像处理的计算复杂度； 步骤二.颜色信息聚类步骤：有效的颜色信息分类是深度图增强的基础，本文使用狄 利克雷混合模型（DMM-Dirichletmixturemodel)逼近三维超像素向量的分布，并运用变 分贝叶斯方法（VB-VariationalBayes)估计模型参数，从而获得作为颜色分类依据的责任 矩阵R; 步骤三.深度信息聚类及增强步骤： A、 深度信息聚类步骤：在颜色信息分类结果的基础上，按照各像素的深度值再细分出 不同子类，此处对一维深度像素矢量用贝塔混合模型（BMM-BetaMixtureModel)建模； B、 深度图增强步骤：计算步骤A中所得子类内像素矢量的深度均值，更新原始深度值， 最终完成深度图的增强，得到层次更加清晰，结构更加紧凑的深度图。
2. 如权利要求1所述的一种基于全概率模型的多视点深度图增强系统，其特征在于， 步骤二所述的颜色信息聚类步骤为： 1) 对步骤一所得三维超像素矢量Sm归一化，得到三维向量xk，=丨人=3: 2) 用狄利克雷混合模型对超像素向量进行建模，模型表示为： -T(Y1iUk)K DHSmIW，uk>0; nk=1r(uk)k=i 结合变分推断法估计模型参数，得到超像素矢量的概率密度函数： M ? Zi(^in5LZ)=FlViTr iDir ?0<^<1； W=1 /=1 3) 根据概率密度函数的到责任矩阵R，，其中，f=[#,...,心丫中 各元素表示超像素Sm属于第i类的概率，判定依据如下：
3. 如权利要求1所述的一种基于全概率模型的多视点深度图增强系统，步骤A所述的 深度信息聚类步骤以颜色信息聚类结果为基础，进行基于深度信息的子类划分；鉴于深度 信息为一维向量且其值有界（如：分布在〇?255区间），可以用贝塔混合模型对其进行建 模，此步骤具体过程如下： 1) 将与颜色像素矢量Vnr位置对应的深度矢量dm做同样聚类，第i深度簇表示为 D1. ； 2) 用贝塔混合模型对深度矢量dm建模，并运用变分法估计模型参数，从而得到深度矢 量概率密度函数为：
其中，Φω表示第i深度类的类内像素索引序号；τ= [T1,...，τJt表示贝塔混合 模型各部分的权值；模型参数μPA1等可由变分法估计获得； 从而可通过概率密度函数得到作为深度信息聚类依据的责任矩阵： κ{η)-ΚοΧΦ- >Γ=?^\...4Γ]Γ·^ 其中，元素表示深度矢量4属于子类1的概率，把第i簇内深度矢量归为第1类的 依据为：
4.如权利要求1所述的一种基于全概率模型的多视点深度图增强系统，步骤B所述的 深度图增强步骤为： 1) 计算深度图子类内的深度均值，其计算公式为：
其中，Y(il)表示深度矢量的索引序号，Γν(Λ)表示深度矢量V属于第1子类的概率； 2) 得到各深度簇深度均值后，将各深度矢量值更新为所在子类深度均值，从而完成深 度图增强。
【文档编号】H04N13/00GK104320649SQ201410612458
【公开日】2015年1月28日 申请日期:2014年11月4日 优先权日:2014年11月4日
【发明者】马占宇, 黄迪 申请人:北京邮电大学