3d视频编码中的虚拟深度值的方法和装置的制造方法
【专利说明】3D视频编码中的虚拟深度值的方法和装置
[0001]相关申请的交叉参考
[0002]本发明要求2012年9月21日申请的的序列号为61/703，901、名称为“Method toRetrieve Depth Values for 3D Video Coding”的美国临时专利申请的优先权，以及2012年10月9日申请的的序列号为61/711，314、名称为“Method to Predict Mot1n Vectorfor 3D Video Coding”的美国临时专利申请的优先权。上述美国临时专利申请通过参考并入于此。
技术领域
[0003]本发明涉及三维视频编码。特别地，本发明涉及用于3D视频编码的虚拟深度值的派生。
【背景技术】
[0004]近年来，三维(3D)电视已经成为一种带给观看者精彩的观看体验的技术趋势。已经开发出各种技术以使能3D观看。在这些技术中，多视图视频是这些技术中的用于3DTV的关键技术。现有的视频是二维(2D)媒体，其仅仅从相机的角度给观看者提供场景的单个视图。然而，多视图视频能够提供动态场景的任意的视点，以及给观看者提供生动的感觉。
[0005]一般通过同时使用多个相机俘获场景来创建多视图视频，其中合适地放置多个相机，以便每个照相机从一个视点俘获场景。因此，多个相机将俘获对应于多个视图的多个视频序列。为了提供更多的视图，使用更多的相机以生成具有与视图关联的大量视频序列的多视图视频。因此，多视图视频将要求较大的存储空间以储存和/或高的带宽以发送。因此，多视图视频编码技术在此邻域中已经发展以减少所要求的存储空间或传送带宽。
[0006]一种明确的方法可以是简单地将现有的视频编码技术独立地应用到每个单个视图视频序列并忽视不同视图间的任何相关。这样的编码系统将是非常低效率的。为了改进多视图视频编码(mult1-view video coding，MVC)的效率，典型的多视图视频编码利用视图间冗余。因此，大多数3D视频编码(3DVC)系统考虑与多个视图和深度图关联的视频数据的相关。MVC采用时间和空间预测以改进压缩效率。在MVC发展的过程中，提出一些宏模块级别的编码工具，包含照度补偿、自适应参考滤波、运动跳过模式以及视图合成预测。提出这些编码工具以利用多个视图之间的冗余。照度补偿用于补偿不同视图之间的照度变化。自适应参考滤波用于减少由于相机之间聚焦不匹配的变化。运动跳过模式允许当前视图中的运动向量从其他视图推断。应用视图合成预测以从其他视图预测一幅当前视图。
[0007]在MVC，然而，深度图和相机参数不编码。在新一代3D视频编码(3DVC)的近来标准化发展中，纹理数据、深度数据和相机参数都编码。由于深度数据和相机参数在新一代3D视频编码(3DVC)技术中的存在，需要研宄纹理图像和深度图之间的关系以进一步改进压缩能力。深度图和纹理图像具有高的相关，因为他们都对应于相同的几何形状。纹理数据和深度数据之间的冗余可以经由对应相关来利用。例如，深度图可用更高编码增益或者更低编码时间来帮助纹理图像压缩。此外，深度图可以转换以呈现纹理图像中的对应对，这将有益于视图间(inter-view)预测过程。
[0008]在3D视频编码中，因为纹理和深度之间的冗余，纹理数据和深度数据的编码顺序总是个问题。在3D视频编码的早期标准发展过程中，对于基于AVC的3D视频编码(3D-AVC)的编码顺序选择为在编码从属视图中的纹理数据之前编码深度数据。然而，对于基于HEVC的3D视频编码(3D-HEVC)的编码顺序选择为在编码从属视图中的深度数据之前编码纹理数据。在文献中揭示了允许灵活编码顺序的技术，其改变用于3D-HEVC的编码顺序。用于纹理的编码效率可通过参考深度信息来改善。深度信息有助于以很多方式来改进编码效率。3D-AVC 中的基于深度的运动向量预测(Depth-based mot1n vector predict1n，DMVP)使用编码后的深度，以改进运动向量预测的精确度。深度图有助于识别用于运动参数预测的视图间候选(inter-view candidate)。视图合成预测(View Synthesis Predict1n,VSP)是流行的主题，其从其他视图变形的帧识别视图间参考。在视图合成预测中，第一视图的纹理数据和深度数据首先编码/解码。第二视图可以通过将第一视图变形到第二视图位置来预测。深度图有助于纹理图片变形到正确位置。
[0009]编码工具，例如，运动向量传承和视图间运动参数预测还利用深度信息，以改进当前块的预测。在3DVC标准的近来发展过程中，已经揭示预测的深度图(PDM)算法以为当前纹理图像提供深度信息。预测的深度图从编码后的视差向量派生或从编码后的视图的深度图变形。当前块可以由从预测的深度图派生的运动参数来编码。相邻块视差向量(neighboring block disparity vector,NBDV)已经在文献中揭不。NBDV使用来自相邻块中的视图间预测的视差向量(disparity vector，DV)，以改进运动向量预测。尽管NBDV替代早期的基于PDM的方法，然而，仍然证明了深度信息在3D-AVC中是有用的。因为深度信息在改进编码效率上是有用的，获取当前块的深度信息的方法变得重要。需要开发一种方法以生成用于三维视频编码的虚拟深度信息。
【发明内容】
[0010]本发明揭露了一种使用虚拟深度信息用于三维视频编码或解码的方法和装置。对于从属视图中的当前纹理块，并入本发明的方法首先派生所估计的视差向量以定位编码后的视图中的对应纹理块。与编码后的视图中的对应纹理块同等位置的编码后的视图中的同等位置的深度块识别并用于派生虚拟深度信息。本发明的一个方面陈述所估计的视差向量的派生过程。所估计的视差向量可基于从属视图中的当前纹理块的视差向量候选来派生。视差向量候选可以从从属视图中的当前纹理块的空间或时间相邻块来派生，或从对应于当前纹理块的时间并列纹理块的一个或多个空间或时间相邻块，其中空间或时间相邻块是视差补偿预测的(DCP)块，或视差向量运动补偿预测的(DV-MCP)块。例如，视差向量候选可对应于一个或多个空间或时间相邻块中的所有视差向量或部分视差向量的平均、最大、最小或中值。视差向量候选可以从从属视图中的编码后的全局几何模型中派生。
[0011]所估计的视差向量可以根据搜寻顺序从视差向量候选确定。在另一实施例中，用于所估计的视差向量的派生过程包含从视差向量候选选择初始视差向量，以获取编码后的视图中的深度参考块；从深度参考块提取第二视差向量，其中第二视差向量从编码后的视图中的对应纹理块指向从属视图中的第一位置；确定初始视差向量和第二视差向量之间的一致性误差；以及从视差向量候选中选出导致最小一致性误差的一个视差向量候选作为所估计的视差向量。在又一实施例中，用于所估计的视差向量的派生过程包含获取对应于一个视差向量候选的编码后的视图中的深度参考块；从深度参考块提取转换后的视差向量；确定转换后的视差向量和一个视差向量候选之间的一致性误差；以及选择具有最小一致性误差的一个转换后的视差向量作为所估计的视差向量。
[0012]本发明的另一方面陈述所派生的虚拟深度信息的使用。在一个应用中，所派生的