专利名称：一种三维视频的编码方法、解码方法、编码器和解码器的制作方法
技术领域：
本发明涉及三维视频编码技术领域，特别是提出一种基于维纳滤波的三维视频编
码/解码方法及编码/解码装置。
背景技术：
随着多媒体通信技术的不断发展，传统的二维平面图像视频，甚至固定视点的三维图像视频，已经不能再满足人们的视觉感知需求。近些年，在医学，军事，娱乐等众多应用领域内都出现了对于自由视点视频和三维视频的需求。例如，能够自由切换观看视角的自由视点显示设备，以及向不同位置的观看者显示不同广视角视频的三维电视。为了实现这些应用，高效的多视点视频编码技术显得尤为重要。在多视点视频编码中，由于拍摄角度的差异，多个摄像机在拍摄同一场景时，生成的视点间存在一定的几何失真。视点合成预测(VSP)技术是针对补偿几何失真提出的，其主要思想是:在编码端重复利用深度信息以及编码重建的纹理视频信息合成一个视点图像，并将其用作当前编码图像的参考图像，这种算法使得生成的视点图像比视点间参考图像更加接近当前编码图像，从而可以大大减少视点间的数据冗余。进一步地说，视点合成预测技术在图像帧级别的实现可以简单描述为:利用参考视点以及场景的几何信息来合成虚拟视点的图像，并将这些虚拟视点的合成图像作为当前编码视点的参考帧用来预测编码。因此，视点合成的参考帧的图像质量大大影响着编码预测的精度和准度。若能提高视点合成参考帧的图像质量，则能够一定的提高编码性能。现有技术的视点合成预测技术的缺点在于，视点合成参考帧的质量不够高，从而直接影响了相关视频序列的编码性能。本发明通过利用维纳滤波的方法，将已生成的视点合成参考帧进行滤波优化，提高了视点合成参考帧的质量，进而提高了编码的精准度和编码性能。
发明内容
本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。为此，本发明的一个目的在于提出一种编码效率高、视频质量好的三维视频编码/解码方法。本发明的另一个目的在于提出一种编码效率高、视频质量好的三维视频编码/解码装置。根据本发明实施例的三维视频的编码方法，包括:一种三维视频的编码方法，其特征在于，包括:S1.对参考视点的深度图和纹理图进行编码，得到参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec ；S2.根据所述参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec以及相应的相机参数，通过三维几何变换，得到目标视点合成参考帧VS_rec ；S3.获取参考视点原始纹理图T_orig并作为原始信号，将所述目标视点合成参考帧VS_rec作为加噪后的信号，进行维纳滤波，得到优化目标视点合成参考帧VS_rec_Wiener，并解得维纳滤波器系数；以及S4.将所述优化目标视点合成参考帧VS_rec_wiener加入参考帧集，并将所述维纳滤波器系数写入码流。可选地，通过求解维纳霍夫方程计算所述维纳滤波器系数。可选地，所述维纳滤波器中:定义输入像素Xk和维纳滤波器输出像素zk，其中维纳滤波器的输出Zk由滤波器支集{S}中的重建像素Ji组成，支集大小为L+1,权值为Ci,
则维纳滤波器函数为’输入像素Xk和维纳滤波后的像素Zk间的残差信号C定
义为:errork = zk_xk,通过使具有滤波器抽头{cj的均方差最小化而优化维纳滤波器:c,=argmin￡[errort2]，为了找到iilerror〗]的最小值，对Ci取导数并通过令导数等于零而推导出滤
波器抽头X ￡{(y,.Xy7WciHEKy,Xxi)]=0，其中 i = 0，......，L，记{y}的自相关函
acT.MS}
数以及{y}和{x}的互相关函数分别为ryy(i)=E[yk yk+1]和rxJi)=E[xk yk+1]，则用矩阵形
式重写为:
权利要求
1.一种三维视频的编码方法，其特征在于，包括:参考视点的深度图和纹理图进行编码，得到参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec ；据所述参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec以及相应的相机参数，通过三维几何变换，得到目标视点合成参考巾贞VS_rec ；取参考视点原始纹理图T_orig并作为原始信号，将所述目标视点合成参考帧
2.如权利要求1所述的三维视频的编码方法，其特征在于，通过求解维纳霍夫方程计算所述维纳滤波器系数。
3.如权利要求1所述的三维视频的编码方法，其特征在于，所述维纳滤波器中: 定义输入像素Xk和维纳滤波器输出像素zk，其中维纳滤波器的输出Zk由滤波器支集{S}中的重建像素yi组成，支集大小为L+1，权值为Ci，则维纳滤波器函数为:
4.一种三维视频的解码方法，其特征在于，包括:收包含由根据权利要求1-3任一项所述的三维视频的编码方法得到的码流，准备逐帧解码参考帧图像；断所述参考帧图像的类型，如果是目标视点合成参考帧，则执行S31-S34，如果是独立视点参考帧，则执行S4 ；码流中提取参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec ；码流中提取相应的相机参数，结合所述参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec，通过三维几何变换，得到目标视点合成参考帧VS_rec ；码流中提取所述维纳滤波系数，对所述目标视点合成参考帧VS_rec进行降噪滤波，得到最终目标视点合成参考帧VS_rec_final ;和取最终目标视点合成参考帧VS_rec_final的信息，完成视频图像的解码过程；S4.直接读取所述参考帧图像的信息，完成视频图像的解码过程。
5.一种三维视频的编码器，其特征在于，包括:码重建模块，所述重建模块用于对参考视点的深度图和纹理图进行编码，得到参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec ；何变换模块，所述几何变换模块用于根据所述参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec以及相应的相机参数，通过三维几何变换，得到目标视点合成参考巾贞VS_rec ；纳滤波计算模块，所述滤波模块以参考视点原始纹理图T_orig作为原始信号，以所述目标视点合成参考帧VS_rec作为加噪后的信号，进行维纳滤波，得到优化目标视点合成参考帧VS_rec_Wiener，并解得维纳滤波器系数；以及流发送模块，所述编码发送模块将所述优化目标视点合成参考帧VS_rec_wiener加入参考帧集，并将所述维纳滤波器系数写入码流，随后发送。
6.如权利要求5所述的三维视频的编码器，其特征在于，所述维纳滤波计算模块中，通过求解维纳霍夫方程计算所述维纳滤波器系数。
7.如权利要求5所述的三维视频的编码器，其特征在于，所述维纳滤波器中: 定义输入像素Xk和维纳滤波器输出像素zk，其中维纳滤波器的输出Zk由滤波器支集{S}中的重建像素yi组成，支集大小为L+1，权值为Ci，则维纳滤波器函数为:Zi=,SyV:C' ’输入像素Xk和维纳滤波后的像素Zk间的残差信号C定义为:errork = zk_xk，通过使具有滤波器抽头IcJ的均方差最小化而优化维纳滤波器:Cy=OrgminjEIerrort2]，为了找到iIerroA的最小值，对Ci取导数并通过令导数等于零而推导出滤波器抽头:会￡10皿^]=2([￡版)(6)}<:,)-2￡[仅)叫]=0，其中土 = O，......，L，记的自相关函数以及{y}OCiMS}和{x}的互相关函数分别为ryy(i)=E[yk yk+1]和rxy(i)=E[xk yk+1]，则用矩阵形式重写为:
8.—种三维视频的解码器，其特征在于，包括: 码流接收模块，所述码流接收模块用于接收由根据权利要求5-7任一项所述的三维视频的编码器发送的码流，准备逐帧解码参考帧图像； 判断模块，所述判断模块用于判断所述参考帧图像的类型，如果是目标视点合成参考帧，则依次进入重建模块、几何变换模块、维纳滤波计算模块和解码读取模块，如果是独立视点参考帧，则直接进入所述解码读取模块； 所述重建模块，所述重建模块用于从码流中提取参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec ； 所述几何变换模块，所述几何变换模块用于从码流中提取相应的相机参数，结合所述参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec，通过三维几何变换，得到目标视点合成参考巾贞VS_rec ；所述维纳滤波计算模块，所述维纳滤波计算模块用于从码流中提取所述维纳滤波系数，对所述目标视点合成参考巾贞VS_rec进行降噪滤波,得到最终目标视点合成参考巾贞VS_rec_final，并发送给所述解码读取模块作为更新后的参考帧图像； 所述解码读取模块，用于读取所述`参考帧图像的信息，完成视频图像的解码过程。
全文摘要
本发明提出一种三维视频的编码方法、解码方法及其编码器和解码器，其中编码方法包括步骤对参考视点的深度图和纹理图进行编码，得到参考视点编码重建深度图和参考视点编码重建纹理图；根据参考视点编码重建深度图和参考视点编码重建纹理图以及相应的相机参数，通过三维几何变换，得到目标视点合成参考帧；获取参考视点原始纹理图并作为原始信号，将目标视点合成参考帧作为加噪后的信号，进行维纳滤波，得到优化目标视点合成参考帧，并解得维纳滤波器系数；将优化目标视点合成参考帧加入参考帧集，并将维纳滤波器系数写入码流。本发明具有提高编码效率，改善视频质量的优点。
文档编号H04N7/26GK103108187SQ20131005909
公开日2013年5月15日 申请日期2013年2月25日 优先权日2013年2月25日
发明者戴琼海, 马茜 申请人:清华大学