适用于DIBR预处理过程的深度图鲁棒平滑滤波方法与流程

本发明属于三维视频技术领域，具体涉及2D/3D的视频转换技术，特别是一种适用于DIBR预处理过程的深度图鲁棒平滑滤波方法。

背景技术：

目前，三维(3D)视频逐渐普及，中国中央电视台(CCTV)也在2012年元旦之际试播了3D频道，3D视频已经逐渐成为了当前发展的一种趋势。然而，视频源不足成为制约这一产业兴起的主要瓶颈。在这种情况下，将2D视频转为3D视频是解决此问题的有效途径。

将2D视频转为3D视频总的来说存在两种渲染方式：其中一种是通过采用某种方法从单一的视频帧中直接重建出具有视差的左右眼图像对；另一种是基于深度图的渲染(Depth Image-based Rendering，DIBR)，它的转换结果是在原视频的基础上附加了每一帧所对应的深度图，最后由嵌入DIBR处理模块的显示终端输出转换为双目立体视频后就可以进行观赏(参见“电影2D/3D转换技术概述[J]”，刘伟、吴毅红、胡占义，《计算机辅助设计与图形学学报》，2012,24(1):14-28)。与前者相比，后者以其具有的三个独到特点：高效的压缩传输效率、与现有2D技术和不同设备的兼容性强以及在实时立体视频生成上具有的景深调整和快速渲染合成等技术优势，在新兴的3DTV、3D移动终端等市场占有绝对的主导地位，是3D渲染技术未来发展的方向。

DIBR渲染是基于深度图的2D/3D转换方法中的重要步骤，它可以利用深度信息渲染出虚拟的立体视频，从而最终完成2D到3D“质的转变”。虽然这种技术有很多的优势，但是仍然有其局限性。由于DIBR从参考图像中根据深度图转换的映射关系虚拟出左右眼图像，视点的变化可能导致原图像中被前景物体遮挡的部分背景区域在新图像中暴露出来，而这部分区域在变换过程中没有对应的纹理映射，因此就会在目标图像上产生空洞现象。这个问题是DIBR技术近年来的研究热点，也是提高3D图像质量的重要方面。针对这个问题目前常采用如附图1所示的处理流程，通过在DIBR前加入深度图预处理环节及在DIBR后基于图像修复技术来完成空洞的填补。由此可见，深度图预处理是DIBR技术中的一个重要环节。

但是在2D/3D视频转换中，深度图通常是利用2D视频中的一个或多个线索通过算法来预估合成的，难以保证合成深度图的完整性和精确性。特别是近年来越来越流行的全自动算法，直接面向海量的视频进行高效的转换，由于没有人工的修正，不完整的深度图区域影响了DIBR系统渲染出的3D视频效果质量。

技术实现要素：

有鉴于此，本发明方法提出了一种适用于DIBR预处理过程的深度图鲁棒平滑滤波方法。与目前传统方法不同，本方法没有在DIBR深度图平滑前增加额外的深度图预修正环节，而是在维度变换域下通过一致性分布图将深度图修正环节统一在联合滤波的框架下，这样将深度图预修正在深度图平滑过程中同时进行，在实现3D视频的转换效果提升的同时保证了算法的运行效率。

为达到上述目的，本发明采用以下技术方案：

一种适用于DIBR预处理过程的深度图融合方法，包括如下步骤：

A)对原始深度图D_Ori和纹理图像I_texture分别进行边缘检测，进行一致性分析，并生成一致性分布图I_c；

B)在维度变换域下结合纹理图像I_texture和一致性分布图I_c，对原始深度图D_Ori进行联合滤波，生成平滑后的深度图D_Fin；

其中，步骤A)的边缘检测所使用的算子为图像处理中的常用算子，如Sobel算子、Roberts算子、Prewitt算子、Laplacian算子及Canny算子；

其中，步骤A)的一致性分布图I_c具体定义为：

其中，G_D和G_I分别表示原始深度图D_Ori和纹理图像I_texture中检测出来的边缘。ξ₁为预设的常数，描述纹理图像和原始深度图的一致性，取值范围为0.1～0.5。

其中，步骤B)中在维度变换域下的联合滤波为:滤波函数定义如下：

D_Fin[n]＝(1-a^d)D_Ori[n]+a^dD_Fin[n-1]

其中，D_Ori[n]表示初始深度图上一行或一列的像素值，a∈(0,1)是扩散函数的反馈系数，d表示维度变换域中相邻样本x_n和x_n-1之间的距离。

其中，维度变换域中相邻样本x_n和x_n-1之间的距离定义为：

d＝ct(x_n)-ct(x_n-1)

其中，ct(u)表示维度变换域，维度变换过程为:

其中，|I′_texture(x)|表示输入纹理图像的梯度强度，σ_s和σ_r分别是滤波器空间和值域参数，用来调节滤波的影响，σ_s取值范围为200～2500，σ_r取值范围为0.1～10。σ_c是一致性影响因子，取值范围为10～100。

其中，滤波过程为迭代过程，且为实现对称滤波，如果在一次迭代中滤波按照从左到右，从上到下的顺序在图像中进行，则下一次迭代中滤波按照从右到左、从下到上的顺序进行。迭代次数为2～10次。

本发明的有益效果是：本发明中的一致性分布图在高效的维度变换空间下结合纹理特征对原始深度图进行联合滤波，能够在反映结构化的分布信息同时，根据深度图各部分的完整性情况自适应的调整滤波强度从而实现对深度图的修复。基于DIBR的2D/3D转换过程依赖于某个或多个线索从2D视频流中生成相应的深度图，特别是全自动转换方法生成的深度图经常出现局部不完整区域，本发明方法可以在深度图平滑滤波的同时实现深度图不完整区域的自适应扩散修正，避免了传统滤波过程前特定的预修正环节，从而实现了一种DIBR预处理过程中深度图的鲁棒平滑滤波。

附图说明

图1是现有的DIBR系统处理流程图；

图2是本发明的方法流程图；

图3是采用本发明方法的深度图及虚拟图像效果对比图。

具体实施方式

下面结合附图和实施例对本发明作进一步描述；

图1显示了现有的DIBR系统处理流程。其中，DIBR渲染处理是2D/3D转换方法中的重要步骤，它描述了一个精确的点到点的映射关系，可以利用深度信息渲染出虚拟的立体视频，从而最终完成2D到3D“质的转变”。虽然这种技术有很多的优势，但是仍然有其局限性。由于DIBR从参考图像中根据深度图转换的映射关系虚拟出左右眼图像，视点的变化可能导致原图像中被前景物体遮挡的部分背景区域在新图像中暴露出来，而这部分区域在变换过程中没有对应的纹理映射，因此就会在目标图像上产生空洞现象。

现有的系统中有两个环节来解决这个问题，如图1所示，对于输入的原始深度图，一般先经过一个DIBR前的预处理过程对深度图进行平滑滤波，以此通过深度图部分结构的优化减小渲染时大部分空洞的发生；再经过DIBR后的一个空洞填补方法，进一步修复渲染过程中保留的少量空洞。

需要说明的是，在实际2D/3D转换中，尤其是近年来越来越流行的全自动转发流程中，深度图通常是利用2D视频中的一个或多个线索通过算法来预估合成的，难以有效保证合成深度图的完整性和精确性。那么在这种情况下，传统的DIBR系统无法直接对原始深度图进行平滑以减少空洞，在预平滑环节前还须另外增加额外的深度图预修正步骤来对不完整的深度图进行修复，这样会在一定程度上降低转换效率。

针对这个问题，本发明方法在维度变换域下通过一致性分布图将深度图修正统一到了深度图预平滑过程中，既提高了传统模式的转换效率，又能够实现更加鲁棒的深度图平滑滤波。

本发明方法是以纹理图像和原始深度图作为输入的数据源，经过处理后生成鲁棒平滑后的深度图。图2是本发明的方法流程图，结合图2对本发明的具体实施方式进行描述。

本发明方法通过维度变换域下的联合滤波，将深度图预修正和预平滑两个环节统一起来，具体包括以下步骤：

A)对原始深度图D_Ori和纹理图像I_texture分别进行边缘检测，进行一致性分析，并生成一致性分布图I_c。

研究结果发现，在人类视觉中，人眼对物体边缘的分布最敏感，因此在2D/3D转换中，所述完整的深度图可以理解为深度图中的物体边缘和纹理图像中的物体边缘具有高度的一致性。基于此，本发明方法通过两者的边缘检测比对来进行一致性分析并生成一致性分布图。

在实施例中，边缘检测所使用的算子可以为目前图像处理中的常用的各类算子，如Sobel算子、Roberts算子、Prewitt算子、Laplacian算子及Canny算子。一致性分布图I_c具体定义为：

其中，G_D和G_I分别表示原始深度图D_Ori和纹理图像I_texture中检测出来的边缘。ξ₁为预设的常数，描述纹理图像和原始深度图的一致性，取值范围为0.1～0.5，ξ₁之所以定义为较小的常数，是为了与维度变换域中定义的联合滤波器统一起来，使当深度图边缘和纹理图像边缘一致性较高时，能够抑制本区域深度图的平滑，从而减小本区域原始深度图的修正；反之，当深度图边缘和纹理图像边缘一致性较低时，能够增强本区域深度图的平滑，从而实现本区域原始深度图的修正；

B)在维度变换域下结合纹理图像I_texture和一致性分布图I_c，对原始深度图D_Ori进行联合滤波，生成平滑后的深度图D_Fin；

结合纹理特征和上一步得到的一致性分布信息，这里在维度变换域下利用联合滤波器的形式对原始深度图进行滤波。传统的双边滤波器仅仅考虑纹理特征，而本发明方法扩展得到的联合滤波器在此基础上加入了一致性约束，因此能够根据完整性分析来通过控制边缘的扩散程度在滤波的同时实现对深度图的修正；

滤波函数定义如下：

D_Fin[n]＝(1-a^d)D_Ori[n]+a^dD_Fin[n-1]

其中，D_Ori[n]表示原始深度图上一行或一列的像素值，a∈(0,1)是扩散函数的反馈系数，d表示维度变换域中相邻样本x_n和x_n-1之间的距离；

这里的维度变换域是用2011年Eduardo S.L.Gastal等人在文章“Domain transform for edge-aware image and video processing”中提出的方法得到的变换空间，它的最大优势是在能够保证图像纹理特征的前提下将多维空间降为一维空间，从而大大提高了计算效率。具体而言，ct(u)表示维度变换域，维度变换过程为:

其中，|I′_texture(x)|表示输入纹理图像的梯度强度，σ_s和σ_r分别是滤波器空间和值域参数，用来调节传播的影响。σ_s取值范围为200～2500，σ_r取值范围为0.1～10，σ_c是一致性影响因子，取值范围为10～100；

上述定义即是联合滤波器的核心，可以看到，前两项将纹理图像中反映的场景结构特征被考虑在内，第三项是本发明方法基于一致性分布图加入的约束，实现对深度图完整性的自适应判断和修正。虽然联合滤波约束较多，但是由于维度变换空间下维数的降低，它的运算效率远远大于传统二维空间下的联合滤波器。

传统的深度平滑滤波器是在二维空间下运行的，上述定义的维度变换过程虽然大大提高了运算效率，却只是一维空间下的滤波器。为了达到同样的效果，在具体的实施例中，滤波用迭代的方式来实现。又因为上述定义的维度变换过程非对称，所以为实现对称滤波，如果在一次迭代中滤波按照从左到右，从上到下的顺序在图像中进行，则下一次迭代中滤波按照从右到左、从下到上的顺序进行。迭代次数为2～10次，一般迭代3次滤波效果可达到稳定，仿真实验中迭代次数为3次。

以下为本发明方法的实验验证。

1)实验条件：

在CPU为Core^TM2Quad CPU Q9400＠2.66GHz，内存4G，Windows 7系统上进行了实验；

2)实验内容：

以下参照图3来具体描述根据本发明方法的实验实现细节；

图3是对两组实验图像处理时的情况。其中，图3(a)和图3(d)是原始的纹理图像。第一组实验图像的原始深度图是用基于Depthfrom Motion技术获得的深度线索再经过处理得到的结果(参见文献“An efficient method for automatic stereoscopic conversion”)，如图3(b)所示；而第二组实验图像的原始深度图是用基于Structure From Motion技术获得的深度线索再经过Delaney三角化得到的结果(参考文献“On Creating Depth Maps from Monoscopic Video using Structure From Motion”)，如图3(e)所示。可见两组实验图像获得的原始深度图与纹理图像对比，在完整性和精确性上与实际情况相差较大，如果采用传统方法不经过额外的深度图修正环节，无法直接进行滤波平滑。图3(c)和图3(f)是用本方明方法直接对原始深度图进行鲁棒滤波的结果，可见在滤波的同时深度图在完整性已经得到了较好的修复。如图3(c)所示，原始深度图中树木底部和花坛之间的空洞区域已经得到了填充；如图3(f)所示，原始深度图中屋顶部分经滤波修正后阁楼窗户的轮廓已经清晰可见。由此可见本发明方法在深度图平滑滤波过程中的鲁棒性和高效性。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。