用于处理3d场景的一个或更多个视频的方法
【技术领域】
[0001]本发明总体涉及对多视图视频编码，更具体地说，涉及用于预测压缩的对3D多视图视频编码。
【背景技术】
[0002]多视图视频编码对于诸如三维电视(3DTV)、自由视点电视(FTV)以及多照相机监视等应用是不可缺少的。多视图视频编码也被称为是动态光场压缩。如这里使用的，编码可以包括例如在编解码器中编码、解码或编码和解码这两者。
[0003]深度图像被认为是新兴3D视频编码标准中的数据格式的一部分。使用深度图像作为辅助信息以执行预测编码被称为视图合成预测(VSP)。
[0004]在常规视频编码(例如，根据H.264AVC (高级视频编码)和H.265HEVC (高效率视频编码)标准的编码)中，使用来自相邻块的运动信息以导出运动矢量。然后，所导出的运动矢量用作运动矢量预测子(MVP)，以预测针对当前块的运动矢量。然后，编码并发送当前运动矢量与MVP之间的运动矢量差(MVD)。
[0005]图1示出了对当前块编码的常规方法。步骤110从相邻块导出被称为Mot1nDerive的运动矢量或视差矢量。步骤120通过应用旨在使得残留差最小化的运动估计技术，确定针对当前块的被称为Mot1nCurrent的运动矢量或视差矢量。步骤130计算并对运动矢量差编码:(Mot1nDiff = Mot1nCurrent-Mot1nDerive)。最后，步骤 140 对残留块编码。
[0006]图2示出了相应的现有技术编码器。元件201示出图片的一部分中的块。在元件201中，当前块由星号表示，并且相邻块由点”表示。从如元件201中所示的相邻块，导出202运动矢量或视差矢量。从202所导出的运动矢量或视差矢量充当运动矢量预测子(MVP)203。
[0007]通过参照纹理基准图片缓冲204，对当前块执行205运动估计，以产生206针对当前块的运动矢量(Mot1nCurrent)。
[0008]在计算207MVP与Mot1nCurrent之间的差分之后，获得208运动矢量差分(MVD)，该MVD 208被编码209到比特流210中。
[0009]来自运动估计205的另一个输出是基准图片，该输出充当纹理预测子211。然后，通过基于纹理预测子211和当前图片215执行212纹理预测，获得纹理残留213。纹理残留213也被编码214为该比特流的一部分。
[0010]图3示出解码器。从如元件301中所示的相邻块，导出302运动矢量或视差矢量。所导出的运动矢量或视差矢量充当运动矢量预测子(MVP) 303。
[0011]从编码后的比特流310，解码309运动矢量差分(MVD) 308并且馈送到加法器307。将运动矢量预测子303和运动矢量差分308相加307，然后获得针对当前块的运动矢量Mot1nCurrent 306。
[0012]从编码后的比特流310，解码314纹理残留图片313。将当前运动矢量306和纹理残留图片输入到运动补偿模块305。与纹理参照缓冲304—起执行运动补偿，并且最后输出315解码后的图片。
【发明内容】
[0013]一种通过使用针对纹理编码的后向弯曲来执行视图合成预测(VSP)的方法和系统，其中，在纹理分量之后对深度分量编码。
[0014]常规地，基于前向弯曲的视图合成预测通常使用来自基准视图的纹理和深度分量。虽然前向弯曲通常提供高保真性，但是基于前向弯曲的VSP的主要缺点是大幅增加编解码器的复杂性。
[0015]相反，如这里公开的基于后向弯曲的视图合成预测(B-VSP)较不复杂。因此，基于后向弯曲的VSP在特定应用上是期望的。另外，基于后向弯曲的VSP帮助基于块的VSP基准生成。
[0016]不利地，基于后向弯曲的VSP通常要求深度优先编码。S卩，在来自相同访问单元的相应纹理分量之前对深度分量编码。访问单元是相同时刻的所有分量(纹理和深度)的集合。深度优先编码阻止需要访问相应的纹理分量的任何深度编码工具的使用。
[0017]为了利用基于后向弯曲的VSP的优点，同时避免深度优先编码，本实施方式使用来自相邻块的运动矢量或视差矢量，以从之前编码的深度图像导出深度块，该深度图像诸如在先前的访问单元(或相同访问单元但是来自其他视点)中编码的深度图像。因此，所导出的深度块被认为是针对要编码的当前块的估计深度块，其最终用于基于后向弯曲的VSP。
[0018]发明效果
[0019]常规地，基于前向弯曲的视图合成预测通常使用来自基准视图的纹理和深度分量。前向弯曲通常以较高的成本提供高保真性。相反，本发明的视图合成预测针对纹理编码而使用后向弯曲，并且不要求在纹理分量之前对深度分量编码。另外，基于后向弯曲的VSP帮助基于块的VSP基准生成，这较不复杂并且具有实施优点。
[0020]为了使得能够进行基于后向弯曲的VSP，同时避免深度优先编码，本发明使用来自相邻块的运动矢量或视差矢量，以从先前编码的深度图像导出深度块，该深度图像诸如在先前的访问单元(或相同访问单元但是来自其他视点)中编码的深度图像。
【附图说明】
[0021]图1是使用相邻运动信息对当前块的运动信息编码的现有技术的方法的流程图；
[0022]图2是现有技术的编码器的框图；
[0023]图3是现有技术的解码器的框图；
[0024]图4是根据本发明的实施方式的利用后向VSP预测来使用相邻运动信息或视差信息对当前块编码的方法的流程图；
[0025]图5A是根据本发明的实施方式的使用空间预测的编码器的框图；
[0026]图5B是根据本发明的实施方式的使用时间预测的编码器的框图；
[0027]图6A是根据本发明的实施方式的使用空间预测的解码器的框图；
[0028]图6B是根据本发明的实施方式的使用时间预测的解码器的框图；
[0029]图7是根据本发明的实施方式的编码方法的流程图；
[0030]图8是根据本发明的实施方式的解码方法的流程图；
[0031]图9是根据本发明的实施方式的从相邻块的估计深度值的示例；
[0032]图10是根据本发明的实施方式的从相邻块估计深度值的另一个示例；以及
[0033]图11是示出根据本发明的实施方式的使用B-VSP模式的在深度锚图片中的块的解码处理的流程图。
【具体实施方式】
[0034]本发明的实施方式提供了一种用于基于后向弯曲技术来生成视图合成预测(VSP)基准图片的方法和系统。本方法不使用深度优先编码。本方法使用从相邻块到当前的运动信息或视差信息，以导出针对要编码的当前块的深度块。然后，使用所导出的深度块执行后向弯曲。如这里使用的，视图合成从场景的一个或更多个视频生成合成视频，在场景的一个或更多个视频中，由以特定姿态排布的相应照相机获取了 3D场景的各个视频，并且其中各个照相机的视图与至少一个其他照相机的视图交叠。
[0035]与使用来自相邻块的运动信息的常规视图合成相比，本实施方式特征在于导出深度块并且基于所导出的深度块形成采样块以预测当前块。
[0036]本实施方式公开了使用来自相邻块的运动信息或视差信息的不同方式。具体地说，所导出的运动信息或视差信息直接用于导出深度块，D印thDerive，该深度块进一步用于形成针对当前块中的用于采样值的预测子。
[0037]图4示出根据本发明的实施方式的用于编码的方法。针对各个当前块401执行步骤。
[0038]步骤410，从相邻块获得运动矢量或视差矢量。
[0039]步骤420，基于相应的基准深度图像和运动矢量或视差矢量确定深度块。
[0040]步骤430，使用后向弯曲，基于深度值生成预测块；以及
[0041]步骤440，使用该预测块针对当前块执行预测编码。
[0042]图5A示出可比较的编码器框图。从元件501中所示的相邻块，导出502运动矢量或视差矢量Mot1nDerive (MVP) 503。可选择地，Mot1nDerive或将促进解码器来确定Mot1nDerive的辅助信息可以被编码并用信号通知550，并且是编码后的比特流510的一部分。