基于稀疏失真模型表示的深度图像空洞修复和去噪方法
【技术领域】
[0001] 本发明涉及一种深度图像处理方法，尤其是涉及一种基于稀疏失真模型表示的深 度图像空洞修复和去噪方法。
【背景技术】
[0002] 目前，3D视频技术已经飞快的发展，并已广泛地应用于虚拟现实、娱乐消费等方 面。与传统的2D视频相比，自由视点视频系统(Free Viewpoint Video，FVV)允许用户自由 选择观看角度，能够给观看者强烈的立体视觉冲击，是3D视频技术的一个重要发展方向。多 视点彩色加深度视频(Multi-view Video plus Depth，MVD)是自由视点视频系统的一种主 流数据格式。该格式的自由视点视频系统能够提供更广的视角，立体层次更加丰富。在该格 式的自由视点视频系统中，多视点编码器将输入的多路彩色视频及深度视频编码成码流传 到客户端，在客户端利用接收到的码流解码出彩色视频和深度视频，由于解码出的视点是 有限的，因此为了能够连续地切换观看3D场景的视点，需要使用基于深度的虚拟视点绘制 (Depth Image Based Rendering，DIBR)技术利用已获得的彩色视频及对应的深度视频绘 制足够多的虚拟视点。在自由视点视频系统中，深度视频表征的是目标场景与相机之间的 距离信息。常见的深度视频获取方法有:软件估计和深度相机拍摄。通常软件估计需要对应 的彩色图像，并且估计的深度图像平坦区域也并不是很准确;深度相机拍摄的深度图像可 以直观的获得准确的深度信息。随着近几年科技的快速发展，深度相机有着广泛地应用，深 度相机有T0F(Time of flight)和KinedTOF相机虽然在某些场合很有用，但是拍摄分辨 率不高且价格昂贵;Kinect相机具有更高的拍摄分辨率且价格低廉，但是，由于Kinect相机 是通过红外线测量距离获取物体的深度信息的，因此将会受到光滑物体多次反射、透明物 体折射、散射和遮挡等诸多环境因素的干扰，而这些环境因素的干扰会导致深度图像出现 空洞，并且由于Kinect采集过程中光电元件的灵敏度存在不均衡性，因此生成的深度图像 会出现噪声。深度图像失真将严重影响绘制虚拟视点的质量，从而会影响整个自由视点视 频系统的性能。因此，对修复深度图像空洞并去除噪声的工作至关重要。
[0003] 深度图像的修复过程中有时并没有将与之对应的彩色图像作为参考，如何准确地 修复深度图像中空洞区域并去除噪声，是迫切需要解决的问题。经典的深度图像修复方法 有双边滤波(BF)和快速匹配法(FMM)，它们都是利用深度图像空间相关性进行空洞修复和 噪声去除，但并不能很好的修复深度图像边界上出现的空洞，也不适用于高噪声的深度图 像失真。
【发明内容】
[0004] 本发明所要解决的技术问题是提供一种基于稀疏失真模型表示的深度图像空洞 修复和去噪方法，其降低了深度图像出现的空洞和噪声对深度图像的质量的影响，从而改 善了虚拟视点绘制的质量。
[0005] 本发明解决上述技术问题所采用的技术方案为:一种基于稀疏失真模型表示的深 度图像空洞修复和去噪方法，其特征在于包括以下步骤：
[0006] ①取一个立体图像库，该立体图像库中的所有立体图像的尺寸大小一致;然后从 该立体图像库中抽取出Ntrain幅无失真深度图像，其中，5 dain〈Nku，Nku表示该立体图像库 中包含的立体图像的总幅数;接着根据抽取出的所有无失真深度图像中的所有像素点的像 素值，构成一个训练样本矩阵，记为Xt rain，其中，Xtrain的维数为Η X Μ，M=W X Ntrain，W表示该 立体图像库中的立体图像的宽度，H表示该立体图像库中的立体图像的高度，N train表示抽取 出的无失真深度图像的幅数，Xtrain由抽取出的Ntrain幅无失真深度图像的矩阵表示按序排 列成一排形成，即X train中的每W个列向量为抽取出的一幅无失真深度图像的矩阵表示;并根 据剩余的所有无失真深度图像中的所有像素点的像素值，构成一个测试样本矩阵，记为 Xtest，其中，Xtest的维数为HXM'，M'=WXNtest，Ntest = Nku-Ntrain，Xtest由乘丨j余的Ntest幅无失真 深度图像的矩阵表示按序排列成一排形成，即Xtest中的每W个列向量为剩余的一幅无失真 深度图像的矩阵表示;再将X train输入到K-SVD字典学习模型中进行训练，获得Xtrain的过完 备字典，记为D train，其中，Dtrain的维数为64 X 512;
[0007] ②将宽度为W且高度为Η的待处理的失真深度图像记为Idis，将Idis对应的无失真深 度图像记为Iorg;然后建立Idis的空洞失真模型，表示为:Z = P · X+ν，将Z中坐标位置为（i，j) 的元素的值记为2(1，」），2(丨，」）=?(1」）\乂（丨，」）+4丨，」），其中，2为1 (^的矩阵表示，父为 I〇rg的矩阵表示，P表示空洞掩膜矩阵，v表示高斯噪声矩阵，Z、P和X及v的维数均为HXW，1< i <W，1 < j <H，P(i, j)表示P中坐标位置为（i, j)的元素的值，X(i, j)表示X中坐标位置为 (1，」）的元素的值，^(1，」)表示￥中坐标位置为(1，」）的元素的值；
[0008] ③将Z输入到K-SVD字典学习模型中进行训练，获得Z的过完备字典，记为Ddis，其 中，〇&的维数为64X512;然后将Z和D dl4li入到正交匹配跟踪模型中，输出得到Z的稀疏系 数向量，记为adis，其中，adis的维数为512 X ((H-7) X (W-7));接着令Z = Transform(Ddis X adis+ε)，其中，Transform()用于将维数为64 X ((H-7) X (W-7))的矩阵转换为维数为Η X W的 矩阵，ε表示维数为64 X ((H-7) X (W-7))的训练误差矩阵；再忽略ε，将Z进一步表示为
[0009] ④获取1&的非空洞区域的初步去噪矩阵，记为Zdn，将Zdn中坐标位置为（i，j)的元 素的值记为Zdn( i，j)，
其中，ZdW维数为H XW，l<i<W，l 仝H，k表示去噪系数，_/)表示乏中坐标位置为（i，j)的元素的值，C (i，j)表示（i，j)位置 处维数转换重叠的次数；
[0010] ⑤获取Idis的与纹理无关的噪声矩阵，记为Zdf，Zdf = Z-Zdn，其中，Zdf的维数为HXW; 然后将Zdf输入到奇异性凹形非局部均值滤波模型中实现噪声去除，得到噪声去除后的结 果，记为Z'df，其中，Z'df的维数为HXW;接着根据Z dn和Z'df，获得Idis的非空洞区域的最终去 噪矩阵，记为Zr，Zr = Zdn+Z ' df，其中，Zr的维数为Η X W ;
[0011] ⑥获取空洞掩膜矩阵Ρ，将Ρ中坐标位置为（i，j)的元素的值记为P(i，j)，
，其中，Zr ( i，j )表示Zr中坐标位置为（i，j )的元素的值，ΤΗ表 示设定的判定阈值；
[0012] ⑦将xtest和Dtrain输入到正交匹配跟踪模型中，实现匹配跟踪，输出得到Xtest的稀 疏系数向量，记为atrain，其中，atrain的维数为512X ((H-7) X (W-7));然后令Xtest = Transform(DtrainXatrain+e);接着忽略 ε，将Xtest进一步表示为
[0013] ⑧根据2_和P，获得Idls的重构深度图像的矩阵表示，记为2:,:将f中坐标位置为 (i，j)的元素的值记为i(U)，
其中，X…表示 3L?中坐标位置为(i，j)的元素的值。
[0014] 所述的训练误差矩阵ε中的每个元素的值都取0.01。
[0015] 所述的步骤④中取k = 0.13。
[0016] 所述的步骤⑤中的奇异性凹形非局部均值滤波模型中的滤波参数为4。
[0017] 所述的步骤⑥中取TH=20。
[0018]所述的步骤③和所述的步骤⑦中的Transform!；)的转换过程为：
[0019] a 1、假设Fcmt = Tranform(Fin)，其中，Fcmt为输出矩阵，Fcmt的维数为Η X W，Fin为输入 矩阵，FiW维数为64 X ((H-7) X (W-7));
[0020] a2、令t表示迭代次数，并令t的初始值为1;
[0021 ] &3、令(^(1+1^，7+11)表示第1:次迭代时(1+1^，7+11)位置处维数转换重叠的次数，(^(1+ k，y+h)=Ct-Hx+kj+hHl，其中，当t=l时令C*-Hx+kj+h):。，当t 关 1时C*-Hx+kj+h)表 示第t-1次迭代时(x+k，y+h)位置处维数转换重叠的次数，1 <x<W-8，l <H-8，1 <k<8, 1 <h<8；
[0022] a4、令It(x+k，y+h)表示第t次迭代后用来记录转换后的维数为HXW的矩阵中坐标 位置为(x+k，y+h)的元素的值，/'(.r +左〇..十/?)=厂1 (.r + A% j十/?)十〇, /?)，其中，当t = 1时令 广Hx+kj+h):。，当t关1时广Hx+kj+h)表示第t-Ι次迭代后用来记录转换后的维数为Η X W的矩阵中坐标位置为(x+k，y+h)的元素的值，1 < k < 8，1 < h < 8，G认>)表示维数为8 X 8的< 中坐标位置为(k，h)的元素的值，表示第t次迭代时取Fin中的第t列中的所有元素 转换为8 X 8维度排列形式形成的一个矩阵；
[0023] a5、判断t是否小于(H-7)X(W_7)，如果是，则令t = t+l，然后返回步骤a3继续执 行，否则，结束迭代过程，令C(i，jOzCYx+kj+k)，并令I(i，jOzlYx+kj+h)，其中，t = t+ l、C(i，j)=Ct(X+k，y+k)和I(i，j) = lt(X+k，y+h)中的"="为赋值符号，1 < i 1，1 < j
[0024] a6、令〇_,./) = ^4，:其中^。以1，」)表示?。11冲坐标位置为（1，」）的元素的值。
[0025] 与现有技术相比，本发明的优点在于：
[0026] 1)本发明方法通过提前学习真实的无失真深度图像的特征，建立过完备字典，在 处理过程中仅需在线训练失真深度图像的特征，并且在失真深度图像的重建过程中采用了 正交匹配跟踪模型，由于正交匹配跟踪模型简洁高效，因此大大降低了整个过程处理的复 杂度。
[0027] 2)本发明方法在保护失真深度图像边界的同时去除了平坦区域的噪声，提高了后 续空洞提取因子即空洞掩膜矩阵的获取和重建过程的准确度，从而使得绘制虚拟视点的质 量有所提尚。
[