一种自适应深度图滤波方法
【技术领域】
[0001] 本发明属于三维视频处理技术领域，特别涉及基于深度的三维视频中深度图的滤 波方法。
【背景技术】
[0002] 基于深度的三维视频内容由纹理图和深度图组成，纹理图直观的呈现了物体的纹 理特征，深度图反映了物体与相机之间的距离，利用基于深度图像的绘制技术可以合成指 定的虚拟视纹理图像。其中作为虚拟视合成的重要信息，深度图在采集、压缩和传输过程中 往往会引入大量噪声，这些噪声会在合成过程中引起严重的几何失真。深度图滤波方法能 够有效去除深度图中的噪声，进而提高虚拟视合成质量。
[0003] 基于深度的三维视频中，深度图的滤波方法有多种。S.J.Liu等提出了三边滤波 器，此种滤波方法通过对待滤波像素周围的参考像素信息进行加权平均来计算滤波结果。 在权值的计算方面，考虑了深度像素相似性、纹理像素相似性和像素位置邻近性三方面内 容，此方法能够在去除噪声的同时，保护深度图的物体边缘。在三边滤波器的基础上，为了 提高滤波后深度图在时域方向上的连续性，C.M.Cheng将相邻帧中包含的像素作为参考像 素，共同参与加权平均过程。并在三边滤波器权值计算的基础上考虑了像素点间时域的临 近性，提高了滤波后深度图在时域的连续性。然而，上述加权平均的方法容易造成深度图中 物体边界的模糊，进而降低合成视质量。因此，鲁棒性更强的中值滤波方法被人们广泛接 受，且取得了较好的滤波效果。F.Jager等在三边滤波器的基础上选取与待滤波像素位置距 离较近、深度值较相似、纹理值较相似的像素参与中值滤波过程，保持了物体边界的清晰。
[0004] 在基于深度的三维视频中，像素点包含深度值和纹理值了两方面含义。但现有技 术在考虑像素点相关性时都是单独考虑这两方面因素。现有技术在进行像素运动估计的过 程中通常只参考纹理信息，但深度信息也反应了物体的运动状态，从而导致运动估计的不 准确。此外，现有技术在选择参与滤波像素的过程中，对所有像素点采用同样方法。然而， 深度图滤波的目的是使平滑区域更加平滑，同时使物体边界更加清晰。因此，对平滑区域和 边界区域应采用不同的方法对参与滤波的像素进行选择。
【发明内容】
[0005] 本发明在现有技术的基础上，利用空域和时域像素作为参考像素，并用中值计算 滤波结果，提出了一种自适应深度图滤波方法。本发明定义了像素向量的概念，此概念联合 运用了像素包含的纹理和深度信息，在计算像素之间相关性的过程中，自适应的调节纹理 值和深度值对计算结果的影响。在像素向量定义的基础上，本发明首先在待滤波深度图和 邻域深度图中找到参考像素点，在时域参考像素点的选择过程中，利用像素向量对待滤波 像素点的运动进行预测，并根据预测结果进行参考像素点的选择。然后，在参考像素点中筛 选出与待滤波像素非常相关的像素点。本发明对平滑区域和边界区域在筛选与待滤波像素 非常相关的像素点的过程中采用了不同的方法，能更加准确的筛选出最终参与滤波的像素 点。最后，利用这些像素点的深度值计算中值，获得滤波结果。
[0006] 本发明提出了一种自适应深度图滤波方法，为便于本发明叙述，下面给出本发明 中几个名词的定义：
[0007] 像素向量：对于像素点p，所述像素点p的像素向量为巧=(UA)，其中，Tp为所 述像素点P对应的纹理像素值，Dp为所述像素点p的深度像素值，Ap为所述像素点p的深 度像素值的权重。
[0008] 像素向量距离：对于像素点a和像素点b，所述像素点a和所述像素点b的像素向 量距离为
【主权项】
1. 一种自适应深度图滤波方法，其特征在于，包括如下步骤： 51、 定义空域参考深度图和时域参考深度图，具体步骤如下： 定义当前时刻t对应的深度图为空域参考深度图，定义时刻m对应的深度图为时域参 考深度图，其中，m = t-n, t+1,…，t+n，η为正整数； 52、 对SI所述空域参考深度图、时域参考深度图、空域参考深度图对应的纹理图和时 域参考深度图对应的纹理图进行个像素的镜像扩展，在扩展后的空域参考深度图 中确定空域参考像素窗口，在扩展后的时域参考深度图中确定时域参考像素窗口，具体如 下： 521、 以Sl所述空域参考深度图中当前待滤波像素点ρ为中心,确定一个大小为f Xf 的矩形窗口 Wt，所述Wt为空域参考像素窗口； 522、 在Sl所述时域参考深度图中找出与p对应位置的像素点记作pm,以所述像素点pm 为中心确定一个r Xr的矩形运动搜索范围C，其中，r > f ; 523、 在S22所述运动搜索范围C中找出与S21所述当前待滤波像素点p像素向量距离 最近的点冗，具体如下： 5231、 对S22所述运动搜索范围C中的像素点建立像素向量，对于C中的像素点i，记 像素向量为R = (ΚΛ)，其中，Ti为所述像素点i对应的纹理像素值，Di为所述像素点i的 深度像素值，为所述像素点i的深度像素值的权重，利用所述，对当前待滤波像素 p建 立像素向量5 = (%，，Tp为所述像素点p对应的纹理像素值，D p为所述像素点p的深 度像素值； 5232、 计算S22所述运动搜索范围C中各像素点与S21所述当前待滤波像素 p的像素 向量距离，选出与S21所述当前待滤波像素 p的像素向量距离最小的像素点，记作K ; 524、 以S232所述像素点K为中心确定一个大小为f X f的矩形窗口，记作Wm，所述化为 时域参考像素窗口； 53、 在S21所述空域参考像素窗口 Wt和S24所述时域参考像素窗口 ^中选出满足阈值 的像素点，所述阈值包括最大纹理像素阈值、最小纹理像素阈值、最大深度像素阈值和最小 深度像素阈值，具体如下： 531、 利用边界检测方法判断S21所述空域参考像素窗口 Wt是否包含边界，若包含边界 则转到S32,若不包含边界则转到S33 ; 532、 利用S21所述空域参考像素窗口 Wt确定最大纹理像素阈值、最小纹理像素阈值、 最大深度像素阈值和最小深度像素阈值，具体如下： 5321、 对S21所述空域参考像素窗口 Wt中的各像素点建立像素向量，对于Wt中的像素 点j，记像素向量为5 = ，其中，Tj为所述像素点j对应的纹理像素值，Dj为所述像 素点j的深度像素值，λ t为所述像素点j的深度像素值的权重； 5322、 在S21所述空域参考像素窗口 Wt中，比较两两像素点之间的像素向量距离，找到 像素向量距离最大的两个像素点A1和W ; 5323、 对S21所述空域参考像素窗口 Wt中的像素点进行分类， 对于S21所述空域参考像素窗口 Wt中的像素点1，若像素点1与像素点A1的像素向量 距离小于像素点1和像素点P,2的像素向量距离，则1与P,1分为一类，否则，与W分为一类； 选择与S21所述待滤波像素点p为同一类的像素点，记为集合Φ，所述集合Φ包含像 素点的数量记为k ; 5324、 提取S323所述集合Φ中各像素的纹理像素值，记作集合Φτ，对所述集合Φτ* 的纹理像素值按由大到小的顺序进行排序，选择排序后的第p/((/-i)/2)q个值作为最大纹 理像素阈值选择排序后的第卜_&/((/-1)/2):||个值作为最小纹理像素阈值 5325、 提取S323所述集合Φ中各像素的深度像素值，记作集合ΦΒ，对所述集合 的深度像素值按由大到小的顺序进行排序，选择排序后的第个值作为最大深 度像素阈值『C,，选择排序后的第^-^/((/-1)/2)2|1个值作为最小深度像素阈值Γ/4; 533、 在S21所述空域参考像素窗口 Wt中确定最大深度像素阈值？= +Λ和最小深 度像素阈值17C ，其中为Wt中最大深度像素值，为Wt中最小深度像素值，h为 自定义阈值且1彡h彡5,最大纹理像素阈值Γ/4, e[d255]，最小纹理像素阈值174" e[0,d]， 其中为Wt中最大纹理像素值，7I为Wt中最小纹理像素值； 534、 在S21所述空域参考像素窗口 Wt和S24所述时域参考像素窗口 W m中选出满足阈 值的像素点，记作集合Ω，所述满足阈值的像素点纹理像素值在最小纹理像素阈值和最大 纹理像素阈值之间且深度像素值在最小深度像素阈值和最大深度像素阈值之间； S4、计算S34所述集合Ω中深度像素值的中值作为滤波结果。
2. 根据权利要求1所述一种自适应深度图滤波方法，其特征在于：S1所述1 < η < 3。
3. 根据权利要求1所述一种自适应深度图滤波方法，其特征在于：S2所述f为奇数且 7彡f彡15, r为奇数且f彡r彡3f。
4. 根据权利要求1所述一种自适应深度图滤波方法，其特征在于：S231所述 巧为町中最大纹理像素值，巧为w中最小纹理像素值，处为 C 1中最大深度像素值，地为C中最小深度像素值,若☆ =γλ5或说=地，则疋=1。
5. 根据权利要求1所述一种自适应深度图滤波方法，其特征在于：若S232所述距离最 小的像素点有多个，记作集合〇,则在集合〇中选择与S22所述像素点P ni欧式距离最小的像 素点作为运动搜索结果，若所述集合0中与S22所述像素点Pni欧式距离最小的像素点有多 个，记作集合Q，则在『:中对集合Q中像素点按照从上到下、从左到右的顺序进行搜索，选择 最先搜索到的像素点作为运动搜索结果。
6. 根据权利要求1所述一种自适应深度图滤波方法，其特征在于：S31所述边界检测方 法为Canny边界检测方法。
7. 根据权利要求1所述一种自适应深度图滤波方法，其特征在于：若S322所述像素向 量距离最大的两个像素点有多组，记作集合E，则在集合E中选择欧氏距离最大的一组像素 点，若所述集合E中存在多组欧氏距离最大的像素点，记作集合F，则在Wt中对集合F中包 含的像素点按照从上到下、从左到右的顺序进行搜索，选择最先搜索到的像素点所在组作 为结果。
8.根据权利要求1所述一种自适应深度图滤波方法，其特征在于：S4所述计算集合Ω 中深度像素值的中值作为滤波结果，若集合Ω中像素数量为偶数时，则选择中间两个像素 值中较大的一个值作为中值计算结果。
【专利摘要】本发明属于三维视频处理技术领域，特别涉及基于深度的三维视频中深度图的滤波方法。本发明在待滤波深度图和邻域深度图中找到参考像素点，利用像素向量对待滤波像素点的运动进行预测，根据预测结果进行参考像素点的选择。在参考像素点中筛选出与待滤波像素非常相关的像素点。对平滑区域和边界区域在筛选与待滤波像素非常相关的像素点的过程中采用了不同的方法，能更加准确的筛选出最终参与滤波的像素点。本发明提高了滤波后各时刻的深度图在时域方向的连续性。对平滑区域和边界区域采用不同的方法，可以使平滑区域更加平滑，同时保持了深度图的边界特征，并有一定的深度图边界修正能力，使得合成图像的边缘区域失真明显减少，质量得到了明显提高。
【IPC分类】H04N13-00
【公开号】CN104683783
【申请号】CN201510007440
【发明人】朱策, 王昕 , 周益民, 付闻浩, 程洪
【申请人】电子科技大学
【公开日】2015年6月3日
【申请日】2015年1月8日