编码和解码方法及装置与流程

编码和解码方法及装置
1.技术领域
1.本发明实施方案中的至少一个实施方案整体涉及一种用于视频编码或解码的方法和装置，并且更具体地涉及一种用于mvd(多视图+深度)数据的视频编码或解码的方法和装置。
2.

背景技术：

2.图像和视频专家若干年来一直在研究多视图图像或视频内容(来自多个相机的多个视图)的压缩。通常考虑两种类型的内容：称为多视图(mv)内容的内容，其包括同步图像，每个图像对应于在同一场景上的不同视点；以及称为多视图+深度内容(mvd)的内容，其中mv内容由场景的深度信息补充。
3.在2015年，为了改善多视图内容的编码效率，采用了hevc(iso/iec23008-2-mpeg-h part 2、高效视频编码/itu-t h.265)的两种扩展：
4.·
用于mv内容的mv-hevc；
5.·
用于mvd内容的3d-hevc。
6.在mv-hevc中，除了hevc空间帧内图像预测(即，帧内预测)和时间帧间图像预测(即，帧间预测)之外，引入了利用在视图之间的相似度的视图间预测模式。选择第一视图作为参考，并且使用基于视差的运动预测来相对于该参考视图对至少第二视图进行编码。图11示出了在时间和视图间方向两者上在mv内容的图像之间的相互依赖关系的示例。视图view0表示在没有任何视图间预测的情况下可解码以保持可与hevc向后兼容的参考视图。在时间点t0处，视图view1和view2未被编码为所有帧内图像(i图像)，但是使用视图view0的在t0处的重建图像作为参考图像来进行编码/解码以用于预测。不仅使用视图view1的图像作为参考图像而且使用视图view0的在时间t1处的图像来对视图view1的在时间t1处的图像进行编码/解码。
7.测试mv-hevc的内容仅是立体内容或多视图内容，但是仅有“3”个视图被所对准的相机获取。但是，在该mv-hevc方法后，视图间预测仅基于在相邻视图之间的视差估计利用与相邻视图的冗余。该方法不适于由相机阵列捕获的内容。
8.在3d-hevc中，采用了与用于mv-hevc的相同的方法，但是也考虑了密集深度信息的发射(即，每个视图的每个像素一个深度信息)。由于内容是相同的，因此采用了与相邻视图相同的视图间方法。引入了视图间预测的更复杂的组合，包括附加深度信息的使用。
9.为了在预测模式选择中使用深度信息，引入了基本视图合成预测模式(vsp)。基本vsp模式针对当前块使用对应于与当前块相邻的块的深度信息的视差运动向量。深度信息用于从参考视图得到作为当前块的预测器的纹理块。由于在纹理之后对当前块的深度进行解码，因此所使用的深度信息是已经重建的相邻块中的一个相邻块。所重建的相邻块的深度值通常被认为是视图间预测的次优深度值。
10.希望提出允许提供改善的vsp模式的解决方案。
3.

技术实现要素：

11.在第一方面，本发明实施方案中的一个或多个实施方案提供了一种用于解码的方法，该方法包括：
12.获得包括多视图视频内容的至少一个参考视图和当前视图的一组视图的视图参数，其中每个视图包括纹理层和深度层；
13.针对该组视图的至少一对参考视图和当前视图，生成中间预测图像，从而将正向投影方法应用于参考视图的像素以将这些像素从参考视图的相机坐标系投影到当前视图的相机坐标系，预测图像包括允许重建图像数据的信息；
14.将从至少一个中间预测图像获得的至少一个最终预测图像存储在当前视图的重建图像缓冲器中；
15.从存储在所述缓冲器中的图像重建当前视图的当前图像，所述缓冲器包括所述至少一个最终预测图像。
16.在第二方面，本发明实施方案中的一个或多个实施方案提供了一种用于编码的方法，该方法包括：
17.获得包括多视图视频内容的至少一个参考视图和当前视图的一组视图的视图参数，其中每个视图包括纹理层和深度层；
18.针对该组视图的至少一对参考视图和当前视图，生成中间预测图像，从而将正向投影方法应用于参考视图的像素以将这些像素从参考视图的相机坐标系投影到当前视图的相机坐标系，预测图像包括允许重建图像数据的信息；
19.将从至少一个中间预测图像获得的至少一个最终预测图像存储在当前视图的重建图像缓冲器中；以及，
20.从存储在所述缓冲器中的图像重建当前视图的当前图像，所述缓冲器包括所述至少一个最终预测图像。
21.在第三方面，本发明实施方案中的一个或多个实施方案提供了一种用于解码的设备，该设备包括：
22.用于获得包括多视图视频内容的至少一个参考视图和当前视图的一组视图的视图参数的装置，其中每个视图包括纹理层和深度层；
23.用于针对一组视图的至少一对参考视图和当前视图生成中间预测图像，从而将正向投影方法应用于参考视图的像素以将这些像素从参考视图的相机坐标系投影到当前视图的相机坐标系的装置，预测图像包括允许重建图像数据的信息；
24.用于将从至少一个中间预测图像获得的至少一个最终预测图像存储在当前视图的重建图像缓冲器中的装置；
25.用于从存储在所述缓冲器中的图像重建当前视图的当前图像的装置，所述缓冲器包括所述至少一个最终预测图像。
26.在第四方面，本发明实施方案中的一个或多个实施方案提供了一种用于编码的设备，该设备包括：
27.用于获得包括多视图视频内容的至少一个参考视图和当前视图的一组视图的视图参数的装置，其中每个视图包括纹理层和深度层；
28.用于针对一组视图的至少一对参考视图和当前视图生成中间预测图像，从而将正
向投影方法应用于参考视图的像素以将这些像素从参考视图的相机坐标系投影到当前视图的相机坐标系的装置，预测图像包括允许重建图像数据的信息；
29.用于将从至少一个中间预测图像获得的至少一个最终预测图像存储在当前视图的重建图像缓冲器中的装置；
30.用于从存储在所述缓冲器中的图像重建当前视图的当前图像的装置，所述缓冲器包括所述至少一个最终预测图像。
31.在第五方面，本发明实施方案中的一个或多个实施方案提供了一种装置，该装置包括根据第三方面和/或第四方面的设备。
32.在第六方面，本发明实施方案中的一个或多个实施方案提供了一种信号，该信号包括按照根据第二方面的用于编码的方法或由根据第四方面的用于编码的设备生成的数据。
33.在第七方面，本发明实施方案中的一个或多个实施方案提供了一种计算机程序，该计算机程序包括用于实现根据第一方面或第二方面的方法的程序代码指令。
34.在第八方面，本发明实施方案中的一个或多个实施方案提供了一种信息存储装置，该信息存储装置存储用于实现根据第一方面或第二方面的方法的程序代码指令。
35.在第九方面，一个或多个实施方案还提供了一种用于发射或接收根据第六方面的信号的方法和装置。
36.在第十方面，一个或多个实施方案还提供了一种计算机程序产品，该计算机程序产品包括用于执行上述方法中的任一方法的至少一部分的指令。
37.在前述方面中的任一方面的实施方案中，允许重建图像数据的信息包括纹理数据和深度数据。
38.在前述方面中的任一方面的实施方案中，正向投影方法包括：
39.将去投影应用于参考视图的当前像素以从参考视图的相机坐标系去投影到世界坐标系来获得去投影像素，该去投影使用获取参考视图的相机(称为参考相机)的位姿矩阵、参考相机的逆内参矩阵和与当前像素相关联的深度值；
40.使用获取当前视图的相机(称为当前相机)的内参矩阵和外参矩阵将去投影像素投影到当前视图的坐标系中以获得正向投影像素，每个矩阵从视图参数获得；以及，
41.如果所获得的正向投影像素不对应于当前相机的像素网格上的像素，则选择所述像素网格中最接近正向投影像素的像素以获得经校正的正向投影像素。
42.在前述方面中的任一方面的实施方案中，该方法包括填充每个中间投影图像或最终投影图像中的孤立缺失像素。
43.在前述方面中的任一方面的实施方案中，允许重建图像数据的信息包括运动信息。
44.在前述方面中的任一方面的实施方案中，正向投影方法包括：
45.将去投影应用于参考视图的当前像素以从参考视图的相机坐标系去投影到世界坐标系来获得去投影像素，该去投影使用获取参考视图的相机(称为参考相机)的位姿矩阵、参考相机的逆内参矩阵和与当前像素相关联的深度值；
46.使用获取当前视图的相机(称为当前相机)的内参矩阵和外参矩阵将去投影像素投影到当前视图的坐标系中以获得正向投影像素，每个矩阵从视图参数获得；
47.如果所获得的正向投影像素不对应于当前相机的像素网格上的像素，则选择所述像素网格中最接近正向投影像素的像素以获得经校正的正向投影像素；
48.计算表示在正向投影像素或经校正的正向投影像素与参考视图的当前像素之间的位移的运动向量。
49.在前述方面中的任一方面的实施方案中，该方法包括填充每个中间投影图像或最终投影图像中的孤立缺失运动信息。
50.在前述方面中的任一方面的实施方案中，至少一个最终投影图像是中间投影图像。
51.在前述方面中的任一方面的实施方案中，至少一个最终投影图像从至少两个中间预测图像的聚合产生。
52.在前述方面中的任一方面的实施方案中，该方法包括针对至少一对参考视图和当前视图，在将正向投影方法应用于参考视图的像素之前对参考视图的深度层进行子采样。
53.在前述方面中的任一方面的实施方案中，该方法包括从被计算为两个单向预测器块的加权和的双向预测器块重建当前图像的当前块，每个单向预测器块从存储在当前视图的重建图像缓冲器中的一个图像提取，单向预测器块中的至少一个单向预测器块从存储在所述缓冲器中的最终预测图像提取。
54.在前述方面中的任一方面的实施方案中，根据单向预测器块的像素的置信率来修改加权和中使用的至少一个权重。
55.在前述方面中的任一方面的实施方案中，由sei消息提供每个视图的视图参数。
56.在前述方面中的任一方面的实施方案中，表示允许重建当前视图的每个最终预测图像的信息的语法元素被包括在切片头中或序列头中，或者被包括在图像头中或同步点或图像的层级处。
57.在前述方面中的任一方面的实施方案中，多视图视频内容被编码在编码视频流中或从编码视频流中解码，并且其中当当前块根据使用最终预测图像生成用于当前块的预测器块的预测模式(称为vsp模式)来进行编码时，根据vsp模式对当前块的编码由编码视频流的对应于所述当前块的部分中的标记显式地发信号通知或由表示存储在当前视图的重建图像缓冲器中的重建图像列表中的最终预测图像的索引的语法元素隐式地发信号通知。
58.在前述方面中的任一方面的实施方案中，编码视频流的对应于所述当前块的一部分包括表示运动信息的语法元素。
59.在前述方面中的任一方面的实施方案中，运动信息表示运动向量细化和/或存储在当前视图的重建图像缓冲器中的最终预测图像列表中的最终预测图像的索引。
60.在前述方面中的任一方面的实施方案中，当在合并或跳过模式中编码的当前块从在vsp模式中编码的块继承其编码参数时，所述当前块还继承vsp参数。
4.附图说明
61.图1示意性地示出了适于获取mvd内容的相机阵列的示例；
62.图2示意性地表示了适于对由相机阵列提供的mvd内容进行编码的处理模块；
63.图3示意性地表示了适于对表示mvd内容的编码视频流进行解码的处理模块；
64.图4示意性地示出了能够实现编码模块或解码模块的处理模块的硬件架构的示例，其中实现了各个方面和实施方案；
65.图5示出了其中实现了各个方面和实施方案的系统的示例的框图；
66.图6示意性地描绘了用于对图像进行分区的方法；
67.图7示意性地描绘了用于对表示一个视图的编码视频流进行编码的方法的示例；
68.图8示意性地描绘了用于对表示一个视图的编码视频流进行解码的方法的示例；
69.图9示意性地描绘了用于对表示多视图内容的编码视频流进行编码的方法的示例；
70.图10示意性地描绘了用于对表示多视图内容的编码视频流进行解码的方法的示例；
71.图11示意性地表示了mv内容的视图间依赖关系的示例；
72.图12示意性地表示了在世界坐标系与相机坐标系之间的转变；
73.图13a示意性地描绘了在预测图像生成过程中使用的正向投影方法的示例；
74.图13b示意性地描绘了图13a中描绘的正向投影方法的示例的另一个表示；
75.图14a描绘了预测图像生成过程的第一实施方案；
76.图14b描绘了预测图像生成过程的第二实施方案的细节；
77.图15描绘了预测图像生成过程的第三实施方案；
78.图16描绘了预测图像生成过程的第四实施方案；
79.图17示意性地描绘了不使用视图间预测的视频压缩方法的语法解析过程的基本实施方案；
80.图18示意性地描绘了使用新vsp模式的视频压缩方法的语法解析过程的第一实施方案；
81.图19示意性地描绘了使用新vsp模式的视频压缩方法的语法解析过程的第二实施方案；
82.图20示意性地描绘了使用新vsp模式的视频压缩方法的语法解析过程的第三实施方案；
83.图21示意性地描绘了使用新vsp模式的视频压缩方法的语法解析过程的第四实施方案；
84.图22a描绘了预测图像生成过程的第五实施方案；
85.图22b描绘了预测图像生成过程的第六实施方案的细节；
86.图23描绘了预测图像生成过程的第七实施方案；
87.图24示意性地示出了mv-hevc和3d-hevc编解码器的典型的编码结构和图像依赖关系；并且，
88.图25描绘了预测图像生成过程的第八实施方案；
5.具体实施方式
89.在以下描述中，一些实施方案使用在由itu-t和iso/iec专家联合协作组(称为联合视频专家组(jvet))开发的名称为“通用视频编码(vvc)”的国际标准的上下文中或在hevc、mv-hevc或3d-hevc的上下文中开发的工具。然而，这些实施方案不限于对应于vvc、hevc、mv-hevc或3d-hevc的视频编码/解码方法，并且适用于其他视频编码/解码方法，而且适用于适于mvd内容的其他图像编码/解码方法。
90.在下文中描述的实施方案中，提出了新vsp模式。
91.在下文中，图24、图6、图7和图8描述了允许引入一些术语的基本实施方案。
92.图24示意性地示出了mv-hevc和3d-hevc编解码器的典型的编码结构和图像依赖关系。
93.已知mv和3d-hevc采用多层方法，其中层被复用到一个比特流中并且可相互依赖。在mv和3d-hevc中，层可表示与特定相机相关的场景的纹理、深度或其他辅助信息。属于同一相机的所有层表示为视图；而携带同一类型的信息(例如，纹理或深度)的层在3d视频的范围内通常被称为分量。
94.图24示出了典型的编码结构，其包括两个视图，即，视图“0”(也称为基本视图)2409和视图1 2410。每个视图包括两个层。视图0 2409包括由纹理图像2401和纹理图像2405构成的第一层和由深度图像2403和深度图像2407构成的第二层。视图1 2410包括由纹理图像2402和2406构成的第一层和由深度图像2404和2408构成的第二层。
95.示出两个相继时间：通过设计选择，与同一捕获或显示时间实例相关联的所有图像被包含在一个接入单元(au)中。图像2401、2402、2403和2404在同一au 0 2411中。图像2405、2406、2407和2408在同一au 12412中。通常要求基本层与hevc单层轮廓相符，并且因此是基本视图的纹理分量。
96.在au中的基本层图像后的图像的层表示为增强层，并且除基本视图之外的视图表示为增强视图。在au中，所有分量要求相同视图次序。为了有利于组合编码，3d-hevc中进一步要求特定视图的深度分量紧接其纹理分量。图24中描绘了并且下文中进一步讨论了在不同层和au中的图像之间的依赖关系的概述。
97.在mv-hevc中，除使用同一视图和分量但在不同au中的图像的常规的时间图像间预测(由图24中的与缩写tiip相关联的箭头表示)之外，mv-hevc允许从在同一au和分量中但在不同视图中的图像的预测，这在下文中表示为视图间预测(由图24中的与缩写ivp相关联的箭头表示)。对于视图间预测，可使用来自其他视图的解码图像作为当前图像的参考图像。
98.与当前图像的当前块相关联的运动向量当与同一视图的时间参考图像相关时可以是时间的(在下文中标示为tmv)，或者当与视图间参考图像相关时可以是视差mv(在下文中标示为dmv)。可使用现有块层级hevc运动补偿模块，其以相同方式操作而不管mv是tmv还是dmv。
99.为了提高压缩性能，3d-hevc通过允许新类型的层间预测来扩展mv-hevc。如图24所指示，新预测类型如下：
100.·
组合的时间和视图间预测(由图24中的具有缩写tii+ivp的箭头表示)，其涉及在同一分量中但在不同au和不同视图中的图像；
101.·
分量间预测(由图24中的具有缩写icp的箭头表示)，其涉及在同一au和视图中但在不同分量中的图像；
102.·
组合的分量间和视图间预测(由图24中的具有缩写icip的箭头表示)，其涉及在同一au中但在不同视图和分量中的图像。
103.与mv-hevc相比的另外的设计变化在于，除了样本和运动信息之外，还可预测或推断残差、视差和分区信息。纹理和深度编码工具的详细概述提供于文档“高效视频编码的多视图和3d扩展的概述(overview of the multiview and 3d extensions of high efficiency video coding)，ieee视频技术电路和系统汇刊，第26卷，第1期，2016年1月，
g.tech；y.chen；k.m
ü
ller；j-r.ohm；a.vetro；y-k.wang”中。
104.由于在hevc与vvc之间的相似度，应当可将mv和3d-hevc的上下文中限定的压缩工具调适成适于vvc的上下文以获得能够处理多视图内容(具有或不具有深度信息)的编解码器。如在hevc的上下文中，在vvc的上下文中，仅包括纹理信息的多视图内容的基本层应当与vvc完全地兼容。
105.图6、图7和图8提醒了可用于对多视图内容的基本层进行编码的基本压缩方法的一些关键特征。
106.图6示出了原始视频10的像素图像11所经历的分区的示例。在此认为像素由对应于多视图内容的基本层的三个分量组成：一个亮度分量和两个色度分量。相同分区可应用于多视图内容的所有层，即，纹理层和深度层。另外，相同分区可应用于其他数量的分量或层，例如，一个包括四个分量(一个亮度分量、两个色度分量和一个透明度分量)的纹理层和一个深度层。
107.图像划分为多个编码实体。首先，如图6中的参考标号13所表示，图像划分为称为编码树单元(ctu)的块的网格。ctu由n
×
n个亮度样本块以及两个对应的色度样本块组成。n是二的幂，例如最大值为“128”。其次，图像划分为一个或多个图块行和图块列，图块是覆盖图像的矩形区域的ctu序列。在一些视频压缩方案中，图块可划分为一个或多个砖块，每个砖块由图块内的至少一个ctu行组成。在图块和砖块的概念之上，存在另一编码实体，称为切片，其可包含图像的至少一个图块或图块的至少一个砖块。
108.在图6的示例中，如参考标号12所表示，图像11划分为三个切片s1、s2和s3，每个切片包括多个图块(未表示)。
109.如图6中的参考标号14所表示，ctu可分区为称为编码单元(cu)的一个或多个子块的分层树的形式。ctu是分层树的根(即，父节点)，并且可分区为多个cu(即，子节点)。如果每个cu未进一步分区为较小cu，则每个cu成为分层树的叶；或者如果每个cu进一步分区为较小cu(即，子节点)，则每个cu成为较小cu的父节点。可使用不同类型的分层树：四叉树，其中ctu或cu划分为相等大小的四个正方形cu；二叉树，其中ctu(或cu)可水平地或竖直地分区为相等大小的“2”个矩形cu；三叉树，其中ctu(或cu)可水平地或竖直地分区为“3”个矩形cu。
110.在图6的示例中，首先，使用四叉树类型分区将ctu 14分区为“4”个正方形cu。左上cu是分层树的叶，因为其未进一步分区，即，其不是其他cu的父节点。再次使用四叉树类型分区将右上角的cu进一步分区为“4”个较小正方形cu。使用二叉树类型分区将右下角的cu竖直地分区为“2”个矩形cu。使用三叉树类型分区将左下角的cu竖直地分区为“3”个矩形cu。
111.在图像的编码期间，分区是自适应的，每个ctu被分区以便优化压缩效率标准。
112.在一些视频压缩方案中，出现了预测单元(pu)和变换单元(tu)的概念。实际上，在该情况下，用于预测的编码实体(即，pu)和用于变换的编码实体(即，tu)可以是对cu的子划分。例如，如图6所表示，大小为2n
×
2n的cu可划分为大小为n
×
2n或大小为2n
×
n的pu 1411。另外，所述cu可划分为大小为n
×
n的“4”个tu 1412或大小为的“16”个tu。
113.在本技术中，术语“块”或“图像块”可用于指ctu、cu、pu和tu中的任一者。另外，术语“块”或“图像块”可用于指宏块、分区和子块，并且更一般地指众多大小的样本的阵列。
114.在本技术中，术语“重建”和“解码”可互换使用，术语“像素”和“样本”可互换使用，
术语“图像”、“图片”可互换使用。在mvd数据的特定上下文中，与图24中的au类似，在时间t处的帧被认为是包括每个视图的对应于时间t的图像(纹理和深度)的实体。通常但不一定，术语“重建”在编码器侧处使用，而“解码”在解码器侧处使用。
115.图7示意性地描绘了由编码模块执行的用于对视频流进行编码的方法。设想了该用于编码的方法的变型，但是为了清楚起见，以下描述了图7的用于编码的方法，而未描述所有预期变型。具体地，所述的用于编码的方法应用于多视图内容的基本层，所述基本层的每个像素包括一个亮度分量和两个色度分量。未进一步描述适于多视图内容并特别是深度层的编码的特定编码工具。
116.当前原始图像501的编码在步骤502期间以当前原始图像501的分区开始，如关于图6所描述。因此，当前图像501分区为ctu、cu、pu、tu等。对于每个块，编码模块确定在帧内预测与帧间预测之间的编码模式。
117.帧内预测包括在步骤503期间根据帧内预测方法从预测块预测当前块的像素，该预测块从位于要编码的当前块的因果关系附近的重建块的像素导出。帧内预测的结果是指示使用附近块的哪些像素的预测方向，以及通过计算当前块与预测块之间的差而得到的残差块。
118.帧间预测包括从当前图像(该图像被称为参考图像)之前或之后的图像的像素块(称为参考块)预测当前块的像素。在根据帧间预测方法对当前块进行编码期间，由运动估计步骤504根据相似度标准确定参考图像的最接近当前块的块。在步骤504期间，确定指示由索引标识的参考图像中的参考块的位置的运动向量。参考图像的所述运动向量和所述索引在运动补偿步骤505期间使用，在该运动补偿步骤期间以当前块与参考块之间的差的形式计算残差块。应当指出的是，在此仅描述单预测帧间预测。还存在双预测帧间预测(或b模式)，对于该双预测帧间预测，当前块与两个运动向量相关联，从而在两个不同图像中指定两个参考块(每个参考块由参考图像索引指定)，该块的残差块然后是两个残差块的平均值。
119.需注意，帧内预测和帧间预测是基于空间和时间预测的通用原理而包括许多模式的通用术语。
120.在选择步骤506期间，由编码模块选择所测试的预测模式中根据速率/失真标准优化压缩性能的预测模式。当选择预测模式时，在步骤507期间变换残差块，并且在步骤509期间量化残差块。需注意，编码模块可跳过变换，并对未变换的残差信号直接应用量化。当根据帧内预测对当前块进行编码时，在步骤510期间，由熵编码器对预测方向以及所变换和量化的残差块进行编码。当根据帧间预测对当前块进行编码时，根据从对应于位于要编码的块附近的重建块的一组运动向量选择的预测向量来预测块的运动向量。接下来在步骤510期间，由熵编码器以运动残差和用于识别预测向量的索引的形式对运动信息(包括运动向量残差、运动向量预测器的索引、参考图像的索引)进行编码。在步骤510期间，由熵编码器对所变换和量化的残差块进行编码。需注意，编码模块可绕过变换和量化，即，对残差应用熵编码，而不应用变换或量化过程。熵编码的结果插入到编码视频流511中。
121.在量化步骤509之后，重建当前块，使得对应于该块的像素可用于将来预测。该重建阶段也称为预测环路。因此，在步骤512期间将逆量化应用于所变换和量化的残差块，并且在步骤513期间应用逆变换。根据用于在步骤514期间获得的块的预测模式，重建块的预
测块。如果根据帧间预测对当前块进行编码，则在步骤516期间，编码模块应用使用当前块的运动向量的运动补偿，以便识别当前块的参考块。如果根据帧内预测对当前块进行编码，则在步骤515期间，使用对应于当前块的预测方向来重建当前块的参考块。将参考块和重构的残差块相加，以便获得重构的当前块。
122.在重建后，在步骤517期间，将旨在减少编码伪像的环路内后置滤波应用于重建块。该后置滤波称为环路内后置滤波，因为该后置滤波发生在预测环路中，以获得与解码器相同的参考图像的编码，从而避免在编码与解码之间的漂移。例如，环路内后置滤波包括解块滤波和sao(样本自适应偏移)滤波。在熵编码步骤510期间，在编码视频流511中引入表示环路内解块滤波器的激活或停用以及在被激活时所述环路内解块滤波器的特性的参数。当重建块时，将其在步骤518期间插入到存储在重建图像存储器519(也称为参考图像存储器、参考图像缓冲器或解码图片缓冲器(dpb))中的重建图像中。然后，这样存储的重构图像可用作待编码的其他图像的参考图像。
123.图8示意性地描绘了由解码模块执行的用于对根据关于图7描述的方法编码的编码视频流511进行解码的方法。设想了该用于解码的方法的变型，但是为了清楚起见，以下描述了图8的用于解码的方法，而未描述所有预期变型。
124.解码是逐块进行的。对于当前块，其在步骤610期间以当前块的熵解码开始。熵解码允许获得块的预测模式。
125.如果已经根据帧间预测对块进行编码，则熵解码允许获得预测向量索引、运动残差、在参考图像上的索引和残差块。在步骤608期间，使用预测向量索引和运动残差来重建当前块的运动向量。
126.如果已经根据帧内预测对块进行编码，则熵解码允许获得预测方向和残差块。由解码模块实现的步骤612、613、614、615、616和617分别在所有方面都与由编码模块实现的步骤512、513、514、515、516和517相同。在步骤618中，将解码块保存在解码图像中并将解码图像存储在dpb 619中。当解码模块对给定图像进行解码时，存储在dpb 619中的图像与由编码模块在所述给定图像的编码期间存储在dpb 519中的图像相同。也可由解码模块输出解码的图像，以例如进行显示。
127.图1示意性地示出了适于获取mvd内容的相机阵列的示例。
128.图1表示相机阵列10，该相机阵列包括定位在4
×
4网格上的“16”个相机10a至10p。相机阵列10的每个相机聚焦在同一场景上并能够获取例如其中像素包括一个亮度分量和两个色度分量的图像。例如连接到相机阵列10的计算装置或测量装置(未表示)用于生成由相机阵列10的相机生成的每个图像的深度图。在图1的示例中，与图像相关联的每个深度图具有与所述图像相同的分辨率(即，深度图包括所述图像的每个像素的深度值)。因此，相机阵列10生成包括“16”个纹理层和“16”个深度层的mvd内容。对于这种相机阵列，在所捕获的视图之间的重叠是重要的。这是以下实施方案的目标，以改善可用这种多视图内容实现的总压缩率。
129.相机阵列10的每个相机与内在和外在相机参数相关联。如本文档将描述，解码器需要这些参数以创建预测图像。在实施方案中，以sei(补充增强信息)消息的形式向解码器提供内在和外在参数。h.264/avc和hevc中限定了sei消息以传达元数据。
130.表tab1描述了适于传达相机阵列的内在和外在参数的sei消息的语法。该语法与
hevc中的多视图获取信息sei消息语法(g.14.2.6节)的语法相同。
[0131][0132][0133]
表tab1
[0134]
以下描述的实施方案的一个目标是基于至少一个其他视图来改善一个视图的预测。由于我们以如上所述的由相机阵列捕获的多视图内容为目标，相机中的任何相机可提供针对相邻视图中的一些或全部视图的良好预测。为了创建当前视图的当前图像的预测图像，使用先前解码的视图及其相关联的相机参数和与当前视图相关联的相机参数。需注意，视图中的纹理层或深度层可使用新vsp模式。
[0135]
考虑被校准为普通针孔的相机和所述相机的内参矩阵考虑被校准为普通针孔的相机和所述相机的内参矩阵
[0136]
·
f代表从出射光瞳到传感器的距离，以像素表达，并且在文献中通常被滥用为“焦距”。在表tab1中，该信息用以下一组参数描述：
[0137]
sign_focal_length_x[i]u(1)exponent_focal_length_x[i]u(6)mantissa_focal_length_x[i]u(v)
[0138]
·
代表所谓的“主点”的像素坐标，即，针孔到传感器上的正交投影。在表1中，该信息用以下一组参数描述：
[0139]
sign_principal_point_x[i]u(1)exponent_principal_point_x[i]u(6)mantissa_principal_point_x[i]u(v)sign_principal_point_y[i]u(1)exponent_principal_point_y[i]u(6)mantissa_principal_point_y[i]u(v)
[0140]
·
α和γ分别代表像素的纵横比和传感器的偏斜系数。表1中未直接地表达α值，而是αf值：
[0141]
sign_focal_length_y[i]u(1)exponent_focal_length_y[i]u(6)mantissa_focal_length_y[i]u(v)
[0142]
·
表1中将γ值描述为：
[0143][0144][0145]
如果是相机的坐标系(cs)中的给定点的坐标，则该给定点在图像中的投影的坐标由以下给出(以像素为单位)：
[0146][0147]
其中符号≡代表齐次向量之间的等价关系：
[0148][0149]
令代表相机的位姿矩阵，其中和和分别代表相机的在参考坐标系(cs)中的取向和位置。相机的外部矩阵由下式定义：
[0150][0151]
对于每个相机，在表tab1中，r和t矩阵由以下描述：
[0152][0153]
如果和分别代表同一点在相机cs和参考cs中的坐标，则并且图12表示了从参考cs到相机cs以及从相机cs到参考cs的投影。
[0154]
现在，考虑给定相机c正在提供当前视图。相机c与内参矩阵kc和位姿矩阵pc相关联。令为由相机c获取的当前视图的图像中的当前像素，并且z为其假定深度。由与对应于当前像素的内参矩阵kc′
和外参矩阵qc′
相关联的相机c
′
提供的参考视图的图像的像素由以下给出：
[0155]
[0156]
图9示意性地描绘了用于对表示mvd内容的编码视频流进行编码的方法的示例。
[0157]
图9的方法是允许对第一视图501和第二视图501b进行编码的方法。在该示例中，如在图24中那样，第一视图包括具有纹理数据的基本层(层“0”)和具有深度数据的层“1”。第二视图包括具有纹理数据的层“2”和具有深度数据的层“3”。为了简化表示，仅表示了两个视图的编码，但是可通过图9的方法对更多视图进行编码。例如，可通过图9的编码方法对由相机阵列10生成的“16”个视图进行编码。
[0158]
在实施方案(9a)中，第一视图501被认为是从中直接地或间接地预测所有其他视图的根视图。在没有任何视图间或层间预测的情况下对第一视图501进行编码。在一个实施方案中，并行地或顺序地分别对层“0”和层“1”进行编码。在一个实施方案中，使用关于图7描述的相同步骤502、503、504、505、506、507、508、509、510、512、513、514、515、516、517、518和519对层“0”和层“1”进行编码。换句话说，使用图7的方法对第一视图501的纹理和深度数据进行编码(这对应于图24中的箭头tiip)。
[0159]
在实施方案(9b)中，使用图7的方法对层“0”进行编码，但是所述方法针对层“1”略微地修改以结合3d hevc中定义的模式来预测来自所述视图的纹理层的视图的深度层(这对应于图24中的箭头icp)。
[0160]
在实施方案(9c)中，通过包括分别与步骤502、503、504、505b、507、508、509、510、512、513、514、515、516、517、518和519相同的步骤502b、503b、504b、505b、507b、508b、509b、510b、512b、513b、515b、516b、517b、518b和519b的过程来对第二视图501b的纹理层(层“2”)进行编码。
[0161]
在步骤521中由处理模块20生成新预测图像并引入到dpb 519b中。在步骤522中由处理模块20使用该新预测图像确定第二视图501b的纹理层的当前图像的当前块的预测器，称为vsp预测器。由vsp预测器进行的预测对应于在下文中的新vsp模式，也简称为vsp模式。
[0162]
vsp模式与传统的帧间模式非常地类似。实际上，当引入在dpb 519b中时，在步骤521期间生成的新预测图像被视为用于时间预测的通常的参考图像(即使在步骤521期间生成的预测图像与第二视图501b的纹理层的当前图像在时间上共定位)。因此，新vsp模式可被认为是使用通过视图间预测生成的特定参考图像的帧间模式。步骤522包括运动估计步骤和运动补偿步骤。以运动信息和残差的形式对使用vsp模式编码的块进行编码，运动信息包括在步骤521期间生成的预测图像的标识符。
[0163]
在步骤506b期间，处理模块20执行步骤，该步骤与步骤506的不同仅在于除了通常的帧内和帧间预测器之外，还考虑在步骤522期间生成的vsp预测器。类似地，处理模块20执行步骤514b，该步骤与步骤514的不同仅在于新vsp模式属于可潜在地应用于当前块的一组预测模式。如果在步骤506b期间，针对当前块选择新vsp模式，则在步骤523期间，处理模块20重建对应vsp预测器。
[0164]
在实施方案(9d)中，使用相同步骤502b、503b、504b、505b、506b、507b、508b、509b、510b、512b、513b、514b、515b、516b、517b、518b、519b、521、522和523来对第二视图501b的深度层(层“3”)进行编码。因此，将新vsp模式应用于第二视图501b的深度层(层“3”)。更一般地，可将vsp模式应用于从另一个视图预测的视图的深度层。
[0165]
在实施方案(9e)中，层“3”的编码结合3d hevc中定义的模式来预测来自所述视图的纹理层的视图的深度层(这对应于图24中的箭头icp)。
[0166]
在图9的示例中，从第一视图501对第二视图501b进行编码，其中在没有任何视图间预测的情况下对至少纹理层“0”进行编码。当通过图9的方法对多于两个视图进行编码时，可从在没有任何视图间预测的情况下对至少纹理层进行编码的视图(例如，从第一视图501)或从用视图间预测对纹理层进行编码的视图(例如，从第二视图501b)对任何第三视图进行编码。
[0167]
如可看出，图9的编码方法包括两个编码层，每个视图一个编码层。当然，如果对多于两个视图进行编码，则图9的编码方法应当包括与视图的数量一样多的编码层。在图9的示例中，每个编码层具有其自己的dpb。换句话说，每个视图与其自己的dpb相关联。
[0168]
如在下文中将描述，dpb中的图像由多个参考索引进行索引：
[0169]
·
ref_idx：dpb中要使用的参考图像的索引；
[0170]
·
ref_idx_l0：存储在dpb中的参考图像列表l0中要使用的参考图像的索引。为了对在帧t上的视图i进行解码，ref_idx_l0所指的列表包括不同帧的视图i；
[0171]
·
ref_idx_l1：存储在dpb中的参考图像列表l1中要使用的参考图像的索引。为了对在帧t上的视图i进行解码，ref_idx_l1所指的列表包括不同帧的视图i；
[0172]
·
ref_idx2：在时间上对应于当前图像的参考图像中的要使用的参考图像的索引。索引ref_idx2仅指通过正向投影生成的图像。为了对在帧t上的视图i进行解码，ref_idx2所指的列表包括对应于帧t的参考图像。
[0173]
图10示意性地描绘了用于对表示多视图内容的编码视频流进行解码的方法的示例。
[0174]
在对应于实施方案(9a)的实施方案(10a)中，并行地或顺序地分别对层“0”和层“1”进行解码。在实施方案中，使用关于图8描述的相同步骤608、610、612、613、614、615、616、617、618、619对层“0”和层“1”进行解码。换句话说，使用图8的方法对第一视图501的纹理和深度数据进行解码(这对应于图24中的箭头tiip)。
[0175]
在对应于实施方案(9b)的实施方案(10b)中，使用图8的方法对层“0”进行解码，但是所述方法针对层“1”略微地修改以结合3d hevc中定义的模式(这对应于图24中的箭头icp)。
[0176]
在对应于实施方案(9c)的实施方案(10c)中，通过包括分别与步骤608、610、612、613、615、616、617、618、619相同的步骤608b、610b、612b、613b、615b、616b、617b、618b、619b的过程对第二视图501b的纹理层(层“2”)进行解码。在步骤621中，处理模块20生成与在步骤521期间生成的图像相同的新预测图像并将该图像引入到dpb 619b中。处理模块20执行步骤614b，该步骤与步骤614的不同仅在于新vsp模式属于可潜在地应用于当前块的一组预测模式。如果在步骤506b期间，已经针对当前块选择了新vsp模式，则在步骤623期间，处理模块20重建对应vsp预测器。
[0177]
在对应于实施方案(9d)的实施方案(10d)中，使用相同步骤608b、610b、612b、613b、614b、615b、616b、617b、618b、619b、621和623对第二视图501b的深度层(层“3”)进行解码。
[0178]
如可看出，图10的解码方法包括两个编码层，每个视图一个编码层。当然，如果对多于两个视图进行解码，则图9的解码方法将包括与视图的数量一样多的解码层。在图9的示例中，每个解码层具有其自己的dpb。换句话说，每个视图与其自己的dpb相关联。
[0179]
图2示意性地表示了适于对由相机阵列提供的mvd内容进行编码的处理模块。
[0180]
在图2中，表示了仅包括两个相机10a和10b的相机阵列10的简化表示。相机阵列10的每个相机使用可以是有线或无线的通信链路与处理模块20进行通信。在图2中，处理模块20在编码视频流中对由相机阵列10使用以下描述的新vsp模式生成的多视图内容进行编码。
[0181]
图3示意性地表示了适于对表示mvd内容的编码视频流进行解码的处理模块。
[0182]
在图3中，处理模块20对编码视频流进行解码。处理模块20由可以是有线或无线的通信链路连接到显示设备26，该显示设备可显示从解码产生的图像。显示设备例如是虚拟现实头戴式耳机、3d tv或计算机显示器。
[0183]
图4示意性地示出了能够实现编码模块或解码模块的处理模块20的硬件架构的示例，该处理模块能够实现下文描述的不同实施方案。作为非限制性示例，处理模块20包括由通信总线205连接的以下项：包含一个或多个微处理器的处理器或cpu(中央处理单元)200、通用计算机、专用计算机和基于多核心架构的处理器；随机存取存储器(ram)201；只读存储器(rom)202；存储单元203，该存储单元可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(eeprom)、只读存储器(rom)、可编程只读存储器(prom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、磁盘驱动器和/或光盘驱动器，或者存储介质读取器，诸如sd(安全数字)卡读取器和/或硬盘驱动器(hdd)和/或网络可访问存储设备；至少一个通信接口204，该至少一个通信接口用于与其他模块、设备或装备交换数据。通信接口204可包括但不限于被配置为通过通信信道发射和接收数据的收发器。通信接口204可包括但不限于调制解调器或网卡。
[0184]
如果处理模块20实现解码模块，则通信接口204使得例如处理模块20能够接收编码视频流并提供解码视频流。
[0185]
如果处理模块实现编码模块，则通信接口204使得例如处理模块20能够接收要编码的原始图像数据并提供编码视频流。
[0186]
处理器200能够执行从rom 202、外部存储器(未示出)、存储介质或通信网络加载到ram 201中的指令。当处理模块20上电时，处理器200能够从ram 201读取指令并执行这些指令。这些指令形成计算机程序，该计算机程序使得例如由处理器200实现关于图9描述的编码方法或关于图10描述的解码方法，该解码和编码方法包括以下在本文档中描述的各个方面和实施方案。
[0187]
所述编码或解码方法的全部或部分算法和步骤可通过由诸如dsp(数字信号处理器)或微控制器的可编程机器执行一组指令而以软件形式实现，或者可通过诸如fpga(现场可编程门阵列)或asic(专用集成电路)的机器或专用部件而以硬件形式实现。
[0188]
图5示出了系统2的示例的框图，其中实现了各个方面和实施方案。系统2可体现为包括以下描述的各种部件的设备，并且被配置为执行本文档描述的一个或多个方面和实施方案。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器、虚拟现实头戴式耳机和服务器。系统2的元件可单独地或组合地体现在单个集成电路(ic)、多个ic和/或分立部件中。例如，在至少一个实施方案中，系统2包括实现解码模块或编码模块的一个处理模块20。然而，在另一个实施方案中，系统2可包括实现解码模块的一
个处理模块20和实现编码模块的一个处理模块20，或者实现解码模块和编码模块的一个处理模块20。在各种实施方案中，系统2经由例如通信总线或通过专用输入和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统2被配置为实现本文档描述的一个或多个方面和实施方案。
[0189]
在一个实施方案中，系统2包括至少一个处理模块20，该至少一个处理模块能够实现编码模块或解码模块中的一者或两者。
[0190]
处理模块20的输入可通过如框22所示的各种输入模块来提供。此类输入模块包括但不限于：(i)射频(rf)模块，其接收例如由广播器空中发射的rf信号；(ii)分量(comp)输入模块(或一组comp输入模块)；(iii)通用串行总线(usb)输入模块；和/或(iv)高清晰度多媒体接口(hdmi)输入模块。图5未示出的其他示例包括复合视频。
[0191]
在各种实施方案中，框22的输入模块具有如本领域所已知的相关联相应输入处理元件。例如，rf模块可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的rf模块包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。rf部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，rf模块及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的rf信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，rf模块包括天线。
[0192]
另外地，usb和/或hdmi模块可包括用于跨usb和/或hdmi连接将系统2连接到其他电子设备的相应接口处理器。应当理解，输入处理(例如reed-solomon纠错)的各个方面可根据需要例如在单独的输入处理ic内或在处理模块20内实现。类似地，usb或hdmi接口处理的各方面可根据需要在单独的接口ic内或在处理模块20内实现。解调、纠错和解复用的流被提供给处理模块20。
[0193]
系统2的各种元件可设置在集成外壳内，在集成外壳内，各种元件可使用合适的连接布置(例如，如本领域已知的内部总线，包括ic间(i2c)总线、布线和印刷电路板)互连并且在其间发射数据。例如，在系统2中，处理模块20通过总线205与所述系统2的其他元件互连。
[0194]
处理模块20的通信接口204允许系统2在通信信道21上通信。例如，可在有线和/或无线介质中实现通信信道21。
[0195]
在各种实施方案中，使用诸如wi-fi网络，例如ieee 802.11(ieee是指电气和电子工程师协会)之类的无线网络将数据流式发射或以其他方式提供给系统2。这些实施方案的wi-fi信号通过适用于wi-fi通信的通信信道21和通信接口204接收。这些实施方案的通信信道21通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以用于允许流式应用和其他云上通信。其他实施方案使用机顶盒向系统2提供流式数
据，该机顶盒通过输入块22的hdmi连接递送数据。还有其他实施方案使用输入块22的rf连接向系统2提供流式数据。如上所述，各种实施方案以非流式的方式提供数据。此外，各种实施方案使用除了wi-fi以外的无线网络，例如蜂窝网络或蓝牙网络。提供给系统2的数据包括例如由相机阵列10提供的mvd信号。
[0196]
系统2可向各种输出设备提供输出信号，包括经由显示器接口23向显示器26、经由音频接口24向扬声器27和经由接口25向其他外围设备28提供输出信号。各种实施方案的显示器26包括例如触摸屏显示器、有机发光二极管(oled)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器26可用于电视机、平板电脑、膝上型电脑、蜂窝电话(移动电话)、智能电话、虚拟实时头戴式耳机或其他设备。显示器26还可与其他部件集成在一起(例如，如在智能电话中)，或者是单独的(例如，膝上型电脑的外部监视器)。在实施方案的各种示例中，其他外围设备28包括独立数字视频光盘(或数字多功能光盘，两个术语都是dvr)、光盘播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用提供基于系统2的输出的功能的一个或多个外围设备28。例如，盘播放器执行播放系统2的输出的功能。
[0197]
在各种实施方案中，控制信号使用诸如av.link、消费电子产品控制(cec)或其他通信协议的信令在系统2与显示器26、扬声器27或其他外围设备28之间传送，该其他通信协议使得能够在有或没有用户干预的情况下进行设备到设备控制。输出设备可通过相应接口23、24和25经由专用连接通信地耦接到系统2。另选地，输出设备可使用通信信道21经由通信接口204连接到系统2。显示器26和扬声器27可与电子设备(诸如电视机)中的系统2的其他部件集成在单个单元中。在各种实施方案中，显示接口23包括显示驱动器，诸如例如定时控制器(tcon)芯片。
[0198]
例如，如果输入22的rf部分是单独机顶盒的一部分，则显示器26和扬声器27可另选地与其他部件中的一个或多个部件分开。在显示器26和扬声器27为外部部件的各种实施方案中，输出信号可经由专用输出连接(包括例如hdmi端口、usb端口或comp输出)提供。
[0199]
各种具体实施参与解码。如本技术中所用，“解码”可涵盖例如对所接收的编码视频流执行的过程的全部或部分，以便产生适于显示的最终输出。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和预测。在各种实施方案中，此类过程还包括或另选地包括由本技术描述的各种具体实施的解码器执行的过程，例如用于对新vsp模式进行解码。
[0200]
短语“解码过程”是具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
[0201]
各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本技术中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码视频流的全部或部分过程。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、预测、变换、量化和熵编码。在各种实施方案中，此类过程还包括或另选地包括由本技术描述的各种具体实施的编码器执行的过程，例如，用于根据新vsp模式来进行编码。
[0202]
短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
[0203]
需注意，如本文所用的语法元素(例如，标记vsp和索引ref_idx2)是描述性术语。因此，它们不排除使用其他语法元素名称。
[0204]
当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。
[0205]
各种实施方案是指速率失真优化。具体地，在编码过程期间，通常考虑在速率与失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。速率失真优化通常表述为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重构信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重构的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。
[0206]
本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实施，
[0207]
该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“pda”)以及便于最终用户之间信息通信的其他设备。
[0208]
提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本技术通篇的各个地方的任何其他变型不一定都是指相同的实施方案。
[0209]
另外，本技术可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。
[0210]
此外，本技术可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
[0211]
另外，本技术可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。
[0212]
应当理解，例如，在“a/b”、“a和/或b”以及“a和b中的至少一者”、“a和b中的一者或多者”的情况下，使用以下“/”、“和/或”以及“至少一种”、“一者或多者”中的任一种旨在涵盖仅选择第一列出的选项(a)，或仅选择第二列出的选项(b)，或选择两个选项(a和b)。作为进一步的示例，在“a、b和/或c”和“a、b和c中的至少一者”、“a、b和c中的一者或多者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(a)，或仅选择第二列出的选项(b)，或仅选择第三列出的选项(c)，或仅选择第一列出的选项和第二列出的选项(a和b)，或仅选择第一列
出的选项和第三列出的选项(a和c)，或仅选择第二列出的选项和第三列出的选项(b和c)，或选择所有三个选项(a和b和c)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。
[0213]
而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器发信号通知表示新vsp模式的信息。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免发射任何实际功能，在各种实施方案中实现了位节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标记等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。
[0214]
对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的编码视频流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对编码视频流进行编码以及使用编码视频流调制载波。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。
[0215]
图13a示意性地描绘了在预测图像生成过程中使用的正向投影方法的示例。图13b是图13a的正向投影方法的另一种表示。在步骤521和621期间使用图13a和图13b的正向投影过程。将正向投影过程应用于由相机m获取的第一视图的像素，以将这些像素从第一视图的相机坐标系投影到由相机n获取的第二视图的相机坐标系。每个像素被认为包括纹理信息和深度信息。
[0216]
在步骤130中，处理模块20将去投影应用于第一视图的当前像素p(u,v)以从第一视图的相机坐标系去投影到参考坐标系(即，世界坐标系)来获得如图13b所表示的去投影像素pw。去投影使用相机m的位姿矩阵pm、相机m的逆内参矩阵和与当前像素相关联的深度值。使用由处理模块20例如从表tab1中描述的sei消息获得的相机参数定义位姿矩阵pm和内参矩阵km。
[0217]
在步骤131中，处理模块20使用相机n的内参矩阵kn和外参矩阵qn将去投影像素pw投影到第二视图的坐标系中。同样，使用由处理模块20例如从表tab1中描述的sei消息获得的相机参数定义内参矩阵kn和外参矩阵qn。当该投影未落入到相机n区域中时，该投影被拒绝。当该投影落入到相机n区域中时，该投影最有可能不落入到真实像素上，而是落入在“4”个像素之间。
[0218]
在步骤132中，处理模块20选择相机n的像素网格中最接近去投影像素pw的投影的像素p’(u’,v’)。最接近的像素例如是相机n的像素网格中使距去投影像素pw的投影的距离最小化的像素。距离例如计算为在网格的像素的坐标与去投影像素pw的投影之间的平方差的和的平方根(或计算为绝对差的和)。
[0219]
通过图13a和图13b的正向投影过程获得的像素p’(u’,v’)保持投影像素p(u,v)的
纹理值和深度值。该组像素p’(u’,v’)形成所投影的图像。
[0220]
图14a描绘了预测图像生成过程的第一实施方案。
[0221]
在图14a的实施方案(也称为实施方案(14a))中，已经发信号通知一个视图将用作重建当前视图的可能的预测器。
[0222]
图14a描述的过程包括在图9的编码方法的步骤521期间和图10的解码方法的步骤621期间执行的步骤140至143，以从第一视图501生成参考图像来对第二视图501b的当前图像进行编码。
[0223]
在步骤140中，处理模块20获得参考视图(例如，第一视图501)和当前视图(例如，第二视图501b)的相机参数(即，视图参数)。当在步骤521期间执行图14a的过程时，处理模块20直接地从相机阵列10的相机或从用户获得这些参数。当在步骤621期间执行图14a的过程时，处理模块20从sei消息(例如，表tab1中描述的sei消息)或从用户获得这些参数。
[0224]
在步骤141中，处理模块20生成预测图像g(k)，从而在参考视图(例如，第一视图501)与当前视图(例如，第二视图501b)之间应用图13a和图13b描述的正向投影方法。旨在将预测图像g(k)引入当前视图的dpb(例如，dpb 519b(或619b))中以变成当前视图的当前图像的第k个预测图像。
[0225]
从成功预测产生的预测图像g(k)的每个像素保持参考视图的对应投影像素的纹理值和深度值。在正向投影之后，孤立缺失像素可保留(由于不成功投影未落入第二视图区域中)。
[0226]
在步骤142中，处理模块20填充孤立缺失像素。在一个实施方案中，孤立缺失像素填充有相邻像素值的平均值。在另一个实施方案中，孤立缺失像素填充有相邻像素值的中值。在另一个实施方案中，孤立缺失像素填充有默认值(对于在8个位上编码的值，通常是128)。
[0227]
在步骤143中，处理模块20将预测图像g(k)存储在当前视图的dpb中。
[0228]
在步骤144中，处理模块20使用被包括在当前视图的dpb中的参考图像重建当前视图的当前图像，dpb包括预测图像g(k)。
[0229]
当图14a的过程应用于图9的编码方法中时，生成包括步骤502b、503b、504b、505b、506b、507b、508b、509b、510b、512b、513b、514b、515b、516b、517b、518b、519b、522和523。
[0230]
当图14a的过程应用于图10的解码方法中时，生成包括步骤608b、610b、612b、613b、614b、615b、616b、617b、618b、619b和623。
[0231]
图14b描绘了预测图像生成过程的第二实施方案的细节。
[0232]
在图14b的实施方案(也称为实施方案(14b))中，若干视图可用于预测当前视图。例如，如果返回到图9，则在时刻t处，第一视图的图像(纹理和深度)和第二视图的图像已经被编码和重建，并且准备好使用从第一视图和第二视图的重建图像生成的预测图像来对第三视图的图像进行编码。类似地，如果返回到图10，则在时刻t处，第一视图的图像(纹理和深度)和第二视图的图像已经被重建，并且准备好使用从第一视图和第二视图的重建图像生成的预测图像来对第三视图的图像进行解码。
[0233]
在实施方案(14b)中，使用多个视图来生成一个聚合预测图像以重建当前视图。更精确地，在实施方案(14b)中，针对多个视图中的每个视图生成预测图像，并且从多个预测图像生成聚合预测图像。
[0234]
在步骤140中，处理模块20获得多个视图中的每个视图和当前视图的相机参数(即，视图参数)。
[0235]
与实施方案(14a)相比，步骤141替换为步骤1411至1415。
[0236]
在步骤1411中，处理模块20将变量j初始化为“0”。变量j用于枚举多个视图中的所有视图。
[0237]
在步骤1412中，处理模块20生成预测图像g(k)j，从而在视图j与当前视图之间应用图13a和图13b描述的正向投影方法。例如，视图j是第一视图501或第二视图501b，并且当前视图是第三视图。
[0238]
在步骤1413中，处理模块20将变量j的值与多个视图中的视图数量nb_views进行比较。如果j《nb_views，则步骤1413之后进行步骤1414，其中j递增一个单位。
[0239]
步骤1414之后进行步骤1412，在此期间，生成新预测图像g(k)j。
[0240]
如果j＝nb_views，则步骤1413之后进行步骤1415，在此期间，将预测图像g(k)j聚合以生成旨在存储在当前视图的dpb中的聚合预测图像g(k)。
[0241]
在聚合过程的实施方案中，通过保持多个预测图像中的第一预测图像g(k)j的像素值(纹理和深度值)来聚合预测图像g(k)j。第一预测图像是例如预测图像g(k)
j＝0
。
[0242]
在聚合过程的实施方案中，通过保持从最靠近当前视图的视图j生成的预测图像g(k)j的像素值(纹理和深度值)来聚合预测图像g(k)j。如果若干视图与当前视图的距离相同(即，存在若干最靠近的视图)，则随机地选择若干最靠近的视图中的最靠近的视图。例如，在相机阵列10中，假设只有由相机10a生成的第一视图和由相机10c生成的第二视图可用于预测由相机10b生成的当前视图。然后，第一视图和第二视图是当前视图的最靠近的视图，并且与当前视图的距离相同。随机地选择第一视图和第二视图中的一者以将像素值提供给聚合预测图像g(k)。
[0243]
在聚合过程的实施方案中，通过保持预测图像g(k)j的像素值(纹理和深度值)具有最佳质量来聚合预测图像g(k)j。例如，表示像素的质量的信息是应用于包括所述像素的所变换的块的量化参数的值。预测图像g(k)j中的像素的质量决定了在其上应用正向投影以获得预测图像g(k)j的图像的像素的(即，量化参数的)质量。
[0244]
在聚合过程的实施方案中，通过保持预测图像g(k)j的像素值(纹理和深度值)具有最接近的深度值(z缓冲器算法)来聚合预测图像g(k)j。
[0245]
在聚合过程的实施方案中，通过在已经从预测图像g(k)j预测聚合预测图像g(k)的相邻像素时保持预测图像g(k)j的像素值(纹理和深度值)来聚合预测图像g(k)j。
[0246]
在聚合过程的实施方案中，通过计算预测图像g(k)j的像素值(纹理和深度值)的平均值、加权平均值、中值来聚合预测图像g(k)j。
[0247]
步骤1415之后进行步骤142，在此期间，处理模块20填充聚合预测图像g(k)中的孤立缺失像素。
[0248]
在步骤143中，将聚合预测图像g(k)存储在当前视图的dpb中。
[0249]
在步骤144中，处理模块20使用被包括在当前视图的dpb中的参考图像重建当前视图的当前图像，dpb包括聚合预测图像g(k)。
[0250]
图15描绘了预测图像生成过程的第三实施方案。
[0251]
在图15的实施方案(也称为实施方案(15))中，与实施方案(14b)类似，若干视图可
用于预测当前视图。
[0252]
在实施方案(15)中，针对多个视图中的每个视图生成预测图像。然而，代替如在实施方案14b中那样生成聚合预测图像并将所述聚合预测图像插入当前视图的dpb中，在实施方案(15)中，将每个所生成的预测图像插入dpb中。
[0253]
在步骤140中，处理模块20获得多个视图中的每个视图和当前视图的相机参数(即，视图参数)。
[0254]
在步骤1501中，处理模块20将变量j初始化为“0”。变量j用于枚举多个视图中的所有视图。
[0255]
在步骤1502中，处理模块20生成预测图像g(k)j，从而在视图j与当前视图之间应用图13a和图13b描述的正向投影方法。
[0256]
在步骤1503中，处理模块20填充聚合预测图像g(k)中的孤立缺失像素。
[0257]
在步骤1504中，处理模块20将预测图像g(k)j存储在当前视图的dpb中。
[0258]
在步骤1505中，处理模块20将变量j的值与多个视图中的视图数量nb_views进行比较。如果j《nb_views，则步骤1505之后进行步骤1506，其中j递增一个单位。
[0259]
步骤1506之后进行步骤1502，在此期间，生成新预测图像g(k)j。
[0260]
如果j＝nb_views，则步骤1505之后进行步骤144。在步骤144中，处理模块20使用被包括在当前视图的dpb中的参考图像重建当前视图的当前图像，dpb包括多个预测图像g(k)j。
[0261]
在实施方案15的变型中，除了预测图像g(k)j之外，将从预测图像g(k)j生成的聚合预测图像和/或从预测图像g(k)j的子集生成的聚合预测图像插入当前视图的dpb中。
[0262]
在实施方案15的变型中，代替预测图像g(k)j，将从预测图像g(k)j生成的聚合预测图像和从预测图像g(k)j的子集生成的聚合预测图像插入当前视图的dpb中，或者仅将从预测图像g(k)j的子集生成的聚合预测图像插入当前视图的dpb中。
[0263]
图16描绘了预测图像生成过程的第四实施方案。
[0264]
图16的实施方案(也称为实施方案(16))的目的是降低预测图像的生成的复杂性。在实施方案(16)中，用于生成当前视图的图像的预测图像的参考视图的每个图像划分为块。然后，对参考视图的图像的深度层进行子采样，以便每个块仅保持一个深度值。因此，对于正向投影，块的所有像素使用相同深度值。定义选择与块相关联的深度值的策略。该策略可包括以下方法中的一种方法：
[0265]
·
块的一个特定像素的深度值表示块：例如，左上块或中间块；
[0266]
·
块(具有平均位置)的平均深度值或中值深度值表示块；
[0267]
·
更频繁的深度值(具有相关联的位置或中心位置)表示块；
[0268]
实施方案(16)从步骤140开始，在此期间，处理模块20获得参考视图和当前视图的相机参数(即，视图参数)。
[0269]
在步骤161中，处理模块20将变量n初始化为“1”。
[0270]
在步骤162中，处理模块20检查变量n_sub的值，从而确定是否对参考视图的图像应用子采样。如果n_sub＝1，则不对参考视图的深度层应用子采样。在这种情况下，步骤162之后进行步骤141，在此期间，处理模块20生成预测图像g(k)，从而在参考视图与当前视图之间应用图13a和图13b描述的正向投影方法。
[0271]
在步骤143中，将预测图像g(k)存储在当前视图的dpb中。
[0272]
步骤143之后进行步骤142，在此期间，处理模块20填充孤立缺失像素。
[0273]
在步骤144中，处理模块20使用被包括在当前视图的dpb中的参考图像重建当前视图的当前图像，dpb包括预测图像g(k)。
[0274]
如果n_sub》1，则对参考视图的深度层应用子采样。在一个实施方案中，当n_sub》1时，n_sub是二的倍数。如果参考视图的图像具有宽度w和高度h，则所述图像例如划分为具有相等大小的个块。
[0275]
步骤162之后进行步骤163，在此期间，处理模块20使用针对所述选择定义的策略来选择参考视图的图像的块编号n的深度值。
[0276]
在步骤164中，针对参考视图的图像的块编号n，处理模块20生成预测块gblock(n,k)，从而在参考视图与当前视图之间应用图13a和图13b描述的正向投影方法。
[0277]
在步骤165中，处理模块20将预测块gblock(n,k)存储在当前视图的dpb中的与参考视图的图像的块编号n的位置共定位的位置处。
[0278]
在步骤166中，处理模块20将变量n的值与参考视图的图像中的块的数量nb_blocks进行比较。如果n《nb_blocks，则步骤166之后进行步骤167，在此期间，变量n递增一个单位。步骤167之后进行步骤162以将正向投影应用于新块。
[0279]
如果n＝nb_blocks，则步骤166之后进行已经说明的步骤142和144。需注意，在参考视图的图像的nb_blocks内的环路结束时，块gblock(n,k)的组合形成预测图像g(k)。
[0280]
在实施方案(16)的变型中，与实施方案(14b)和(15)类似，实施方案(16)可应用于多个参考视图的图像以获得多个预测图像。
[0281]
在该变型的实施方案中，多个预测图像中的预测图像存储在当前视图的dpb中。
[0282]
在该变型的实施方案中，多个预测图像中的预测图像聚合以形成聚合预测图像，并且聚合预测图像存储在当前视图的dpb中。
[0283]
在该变型的实施方案中，多个预测图像中的预测图像的至少一个子集聚合以形成聚合预测图像，并且每个聚合预测图像存储在当前视图的dpb中。
[0284]
在该变型的实施方案中，除了多个预测图像中的预测图像之外并且除了聚合多个预测图像中的所有预测图像的聚合预测图像之外，多个预测图像中的预测图像的至少一个子集聚合以形成聚合预测图像，并且每个聚合预测图像存储在当前视图的dpb中。
[0285]
在实施方案(16)的变型中，参考视图的图像划分为具有不等大小的块。例如，所述图像划分为其中深度值均一(例如，在最小深度值与最大深度值之间的差异不超过最小深度值的+或-10％的区域中)的大的块(128
×
128、64
×
64、32
×
32、16
×
16或8
×
8)和其中深度值不均一(例如，在最小深度值与最大深度值之间的差异超过最小深度值的+或-10％的区域中)的小的块(4
×
4或2
×
2)。
[0286]
在称为实施方案双向的实施方案中，实施方案(14a)、(14b)、(15)和(16)的至少一个预测图像用于向使用双预测(即，双预测帧间预测)预测的当前图像的当前块提供参考块(即，vsp预测器块)。在这种情况下，当前块与两个运动信息相关联，从而指定两个不同图像中的两个参考块，然后，该块的残差块是两个残差块的平均值，即，第一参考块由权重w0＝1/2进行加权，并且第二参考块由权重w1＝1/2进行加权。如下获得当前块的样本s
curr
：
[0287][0288]
其中s0是第一参考块的样本，并且s1是第二参考块的样本。
[0289]
在称为实施方案wp的实施方案中，实施方案(14a)、(14b)、(15)和(16)的至少一个预测图像用于向使用加权预测(wp)预测的当前图像的当前块提供参考块(即，vsp预测器块)。在这种情况下，当前块与两个运动信息相关联，从而指定两个不同图像中的两个参考块，然后，该块的残差块是两个残差块的加权平均值，第一参考块由权重w0进行加权，并且第二参考块由权重w1进行加权。同样，如下获得当前块的样本s
curr
：
[0290][0291]
需注意，实施方案wp可使用样本的加权来推广到所有模式，例如三角形模式。
[0292]
如上所见，正向预测可生成包括孤立缺失像素的预测图像。迄今为止，使用空穴填充过程填充孤立缺失像素。然而，空穴填充过程仅提供对真实像素的近似。
[0293]
在实施方案双向和实施方案wp的变型(称为具有所修改的加权的实施方案)中，修改加权过程以考虑表示预测图像的样本(即，像素)的置信率的值。在该变型中，如下获得当前块的样本s
curr
：
[0294][0295]
其中mask0取决于样本w0中的置信率，并且mask1取决于样本w1中的置信率。
[0296]
在具有所修改的加权的实施方案的第一变型中，当样本s0(或s1)通过空穴填充获得时，mask0(或mask1)等于零，否则等于“1”。如果mask0＝mask1＝0,则处理模块20将默认值提供给scurr。
[0297]
在具有所修改的加权的实施方案的第二变型中，当样本s0(或s1)通过空穴填充获得时，mask0(或mask1)设置为低正值(例如，“1”)，否则设置为高正值(例如，“10000”)。换句话说，在样本s0(或s1)通过空穴填充获得时的值mask0(或mask1)低于在样本s0(或s1)通过正向投影直接获得时的值mask0(或mask1)。
[0298]
在具有所修改的加权的实施方案的第三变型中，样本的置信率取决于所述样本与其邻域中的样本的相似度。例如，类似于在其邻域中的样本的样本s0(或s1)与高于与不同于其邻域中的样本的样本s0(或s1)相关联的值mask0(或mask1)的值mask0(或mask1)相关联。在两个样本之间的差异例如计算为在两个样本的值之间的差异的平方根。
[0299]
在具有所修饰的加权的实施方案的第四变型中，样本的置信率取决于所述样本与在其邻域中的样本的相似度并取决于被应用来获得所述样本的过程(空穴填充或直接正向投影)。
[0300]
在具有所修改的加权的实施方案的第五变型中，预测图像的样本的置信率在块层级(通常为4
×
4大小)而不是像素层级处进行计算。与块的样本相关联的值mask0(或mask1)取决于所述块的样本的平均置信率。
[0301]
在具有所修改的加权的实施方案的第六变型中，预测图像的样本的置信率取决于其深度值与其他深度图的一致性。考虑视图n的具有深度dn的样本位置pn到视图m上的正向
投影对应于具有深度dm的样本位置pm。如果具有深度dm的样本位置pm到视图n上的正向投影到达样本位置pn，则在样本位置pn处的深度dn被认为是一致深度。否则，在样本位置pn处的深度dn不被认为是与视图m一致的。相同过程被应用于其他视图，并且然后，可确立在不一致到完全一致之间的在样本位置pn处的深度dn的得分。样本的置信率与其深度的一致性成比例。
[0302]
在一些情况下，使用双向帧间预测模式或加权预测来预测的块可使用来自预测图像的一个参考块和来自未通过正向预测获得的图像的一个参考块。在具有所修改的加权的实施方案的第三变型、第四变型、第五变型和第六变型中，未通过正向预测获得的图像的样本被认为是具有最高可能置信率的样本。例如，如果mask0(或mask1)的可能值是：
[0303]
·“0”和“1”，未通过正向预测获得的图像的样本与等于“1”的值mask0(或mask1)相关联；
[0304]
·“1”和“10000”，未通过正向预测获得的图像的样本与等于“10000”的值mask0(或mask1)相关联；
[0305]
·
在“0”与“1”之间，未通过正向预测获得的图像的样本与等于“1”的值mask0(或mask1)相关联；
[0306]
·
在“1”与“10000”之间，未通过正向预测获得的图像的样本与等于“10000”的值mask0(或mask1)相关联。
[0307]
为了减少在解码器侧上的负担并克服将使用视图间预测的顺应性解码器的最大复杂性，在对应于编码mvd数据的编码视频流(例如，编码视频流511和/或511b)中发信号通知在当前视图与用于生成预测图像的视图之间的关系。从该信令中，解码器可有利地预先计算预测图像。这种方法的优点是允许使用具有极少变化的传统解码器，因为仅修改了参考图片缓冲器填充(即dpb填充)。
[0308]
在下文中，提出称为view_parameter的语法元素，其表示允许重建预测图像或聚合预测图像并适于以上呈现的实施方案的信息。在一个实施方案中，将所述语法元素view_parameter插入编码视频流中的切片头的层级处。在另一个实施方案中，将语法元素view_parameter插入序列头(即，序列参数集(sps))中、一个图像或由多个图像共享的图像头(即，图片参数集(pps))中或编码视频流中的同步点或图像的层级处(例如，在idr(瞬时解码刷新)图像的头中)。每次解码器接收到所述语法元素时，该解码器就可更新其关于视图之间的关系的知识。
[0309]
[0310]
表tab2
[0311]
表tab2表示适于其中仅一个预测图像或仅一个聚合预测图像插入当前视图的dpb中的实施方案(当仅生成一个预测图像或仅生成一个聚合预测图像时，通常是实施方案(14a)、(14b)和实施方案(16))的语法元素view_parameter的第一型式。
[0312]
语法元素view_parameter的第一型式包括参数view_id，该参数代表当前视图的唯一标识符。如果当前视图不是针对帧进行解码的第一视图，则标记vsp_flag指示vsp模式是否用于当前视图。参数number_of_inter_view_predictor_used表示用于对当前视图进行解码的最大视图数量(已经解码)。参数predictor_id[view_id][i]提供每个视图的标识符，用于创建当前视图的预测图像。在一个实施方案中，用于对当前视图进行解码的最大视图数量固定为“8”。在这种情况下，需要“3”个位来对参数predictor_id[view_id]进行编码。
[0313]
当然，只有在两个视图的相机参数在解码器侧处可用时，即，如果表tab1中描述的sei消息由解码器接收和解码，在第一视图与第二视图之间的视图间预测是可能的。
[0314][0315]
表tab3
[0316]
表tab3表示适于其中多个预测图像和/或多个聚合预测图像插入当前视图的dpb中的实施方案(当生成多个预测图像或多个聚合预测图像时，通常是实施方案(15)和实施方案(16))的语法元素view_parameter的第二型式。
[0317]
在这种情况下，当前视图可与多个参考视图相关联。在语法元素view_parameter的该第二型式中，参数number_inter_view_predictor_minus1指定用于由参数view_id标识的当前视图的视图间预测的预测图像或聚合预测图像的数量。参数number_inter_view_predictor_used_minus1针对每个预测图像或聚合预测图像指定用于生成所述预测图像或聚合预测图像的多个参考视图。在预测图像的情况下，参数parameter number_inter_view_predictor_used_minus1设置为一。参数predictor_id指定哪个视图或哪些视图用于生成预测图像或聚合预测图像。
[0318]
如从表tab2和tab3中可看出，可由标记vsp_flag在语法元素view_parameter中的切片头层级处激活vsp模式。
[0319]
如果被包括在该切片中的块有可能使用vsp模式，则在切片层级处的信号通知允
许向解码器进行指示。然而，它不指定切片中的哪个块实际上使用vsp模式。
[0320]
在一个实施方案中，当在切片层级处激活时，在块层级处发信号通知vsp模式的实际使用。
[0321]
图17示意性地描绘了不使用vsp模式的视频压缩方法的语法解析过程的基本实施方案。
[0322]
图17的基本实施方案基于表tab4中描述的块(也称为预测单元(pu))的语法。当对当前块进行解码时，该基本实施方案由解码器执行。然而，编码器对符合解码器能够解码的内容的语法进行编码。
[0323]
在步骤1700中，处理模块20确定是否在跳过模式中对当前块进行编码。如果是，则处理模块20对当前块的标识符merge_idx进行解码。标识符merge_idx标识当前块的邻域中的哪个候选块提供用于对当前块进行解码的信息。在对标识符merge_idx进行解码之后，应用适于跳过模式的解码过程对当前块进行解码。
[0324]
如果未在跳过模式中对当前块进行编码，则在步骤1701中，处理模块20确定是否在帧内模式中对当前块进行编码。如果是，则在步骤1702中使用帧内模式解码过程对当前块进行解码。
[0325]
如果未在帧内模式中对当前块进行编码，则在步骤1703中，处理模块确定是否在合并模式中对当前块进行编码。如果在合并模式中对当前块进行编码，则在步骤1704中，处理模块对当前块的标识符merge_idx进行解码。在对标识符merge_idx进行解码之后，应用适于合并模式的解码过程对当前块进行解码。
[0326]
如果未在合并模式中对当前块进行编码，则在步骤1705中，处理模块20确定是否在双向或单向帧间预测模式中对当前块进行编码。
[0327]
如果在单向帧间预测模式中对当前块进行编码，则步骤1705之后进行步骤1712，在此期间，处理模块20对存储在dpb中的参考图像列表中的一个索引(ref_idx_l0或ref_idx_l1)进行解码。该索引指示哪个参考图像提供当前块的预测器块。
[0328]
在步骤1713中，处理模块20对当前块的运动向量细化mvd进行解码。
[0329]
在步骤1714中，处理模块20对指示运动向量预测器的运动向量预测器索引进行解码。通过该运动信息，处理模块20对当前块进行解码。
[0330]
当在双向预测模式中对当前块进行编码时，则步骤1705之后进行步骤1706，在此期间，处理模块20对存储在dpb中的参考图像列表中的第一索引(ref_idx_l0)进行解码。
[0331]
在步骤1707中，处理模块20对当前块的第一运动向量细化mvd进行解码。
[0332]
在步骤1708中，处理模块20对指示第一运动向量预测器的第一运动向量预测器索引进行解码。
[0333]
在步骤1709中，处理模块20对存储在dpb中的参考图像列表中的第二索引(ref_idx_l1)进行解码。
[0334]
在步骤1710中，处理模块20对当前块的第二运动向量细化mvd进行解码。
[0335]
在步骤1711中，处理模块20对指示第二运动向量预测器的第二运动向量预测器索引进行解码。
[0336]
通过该运动信息，处理模块20生成两个预测器并使用这两个预测器对当前块进行解码。
[0337][0338][0339]
表tab4
[0340]
图18示意性地描绘了使用新vsp模式的视频压缩方法的语法解析过程的第一实施方案。
[0341]
图18的实施方案(在下文中称为实施方案(18))基于表tab5中描述的块的语法。在表tab4和表tab5的语法之间的差异以粗体表示。当对当前块进行解码时，该实施方案由解码器执行。然而，编码器对符合解码器能够解码的内容的语法进行编码。
[0342][0343][0344]
表tab5
[0345]
如在下文中将描述，在实施方案(18)中，由标记vsp在块层级处发信号通知vsp模式的使用。当标记vsp＝1时，针对当前块激活vsp模式。否则，将其停用。此外，在实施方案(18)中，当在vsp模式中对块进行编码时，预测器块与当前块共定位。因此，无需运动向量就能从参考图像(其在该情况下为预测图像或聚合预测图像)得到块预测器。另外，如稍后关于图18将描述，当从同一预测图像或聚合预测图像提取两个预测器块时，vsp模式和双向帧间预测的组合是不可能的。实际上，由于在vsp模式中，每个预测器与当前块共定位，在双向
帧间预测的情况下，两个预测器块是相同的。
[0346]
当仅一个预测图像或聚合预测图像插入当前层的dpb中时，实施方案(18)的语法和解析方法适于实施方案(14a)、(14b)和(16)。
[0347]
在步骤1800中，处理模块20确定是否在跳过模式中对当前块进行编码。如果是，则在步骤1804中，处理模块20对当前块的标识符merge_idx进行解码。在对标识符merge_idx进行解码之后，应用适于跳过模式的解码过程对当前块进行解码。
[0348]
如果未在跳过模式中对当前块进行编码，则在步骤1801中，处理模块20确定是否在帧内模式中对当前块进行编码。如果是，则在步骤1802中使用帧内模式解码过程对当前块进行解码。
[0349]
如果未在帧内模式中对当前块进行编码，则在步骤1803中，处理模块确定是否在合并模式中对当前块进行编码。如果在合并模式中对当前块进行编码，则在步骤1806中，处理模块对当前块的标识符merge_idx进行解码。在对标识符merge_idx进行解码之后，应用适于合并模式的解码过程对当前块进行解码。
[0350]
如果未在合并模式中对当前块进行编码，则在步骤1807中，处理模块20确定是否在双向或单向帧间预测模式中对当前块进行编码。
[0351]
如果在单向帧间预测模式中对当前块进行编码，则步骤1807之后进行步骤1808，在此期间，处理模块20对标记vsp进行解码以确定是否在vsp模式中对当前块进行编码。如果在vsp模式中对当前块进行编码，则处理模块20根据vsp模式解码过程来对当前块进行解码。换句话说，从存储在当前视图的dpb中的预测图像的(或聚合预测图像的)块预测当前块。在这种情况下，dpb中的预测图像的(或聚合预测图像的)位置是隐含的并且是解码器已知的(即，预测图像(或聚合预测图像)系统地处于dpb中的相同位置)。
[0352]
如果未在vsp模式中对当前块进行编码，则步骤1808之后进行步骤1810，在此期间，处理模块20对存储在dpb中的参考图像列表中的一个索引(ref_idx_l0或ref_idx_l1)进行解码。
[0353]
在步骤1811中，处理模块20对当前块的运动向量细化mvd进行解码。
[0354]
在步骤1812中，处理模块20对指示运动向量预测器的运动向量预测器索引进行解码。通过该运动信息，处理模块20对当前块进行解码。
[0355]
当在双向预测模式中对当前块进行编码时，步骤1807之后进行步骤1813，在此期间，处理模块20对标记vsp进行解码以确定是否从预测图像(或从聚合预测图像)获得当前块的第一预测器块。如果从预测图像(或从聚合预测图像)获得当前块的第一预测器块，则在与步骤1809相同的步骤1814中，获得第一预测器块。步骤1814之后进行步骤1819，在此期间，处理模块20对存储在dpb中的参考图像列表中的索引(ref_idx_l1)进行解码。
[0356]
在步骤1820中，处理模块20对当前块的运动向量细化mvd进行解码。
[0357]
在步骤1821中，处理模块20对指示运动向量预测器的运动向量预测器索引进行解码。通过在步骤1819、1820和1821中获得的运动信息，处理模块20确定第二预测器块。通过这两个预测器，处理模块20确定双向预测器对当前块进行解码。
[0358]
如果未从预测图像(或从聚合预测图像)获得当前块的第一预测器块，则处理模块执行分别与步骤1810、1811和1812相同的步骤1815、1816和1817以获得第一预测器。
[0359]
在步骤1818中，处理模块20对标记vsp进行解码以确定是否从预测图像(或从聚合
预测图像)获得当前块的第二预测器块。如果从预测图像(或从聚合预测图像)获得当前块的第二预测器块，则在与步骤1809相同的步骤1822中，获得第二预测器块。使用第一预测器块和第二预测器块，处理模块对当前块进行解码。
[0360]
如果未从预测图像(或从聚合预测图像)获得当前块的第二预测器块，则在步骤1819中，处理模块20对存储在dpb中的参考图像列表中的第二索引(ref_idx_l1)进行解码。
[0361]
在步骤1820中，处理模块20对当前块的第二运动向量细化mvd进行解码。
[0362]
在步骤1821中，处理模块20对指示第二运动向量预测器的第二运动向量预测器索引进行解码。
[0363]
通过在步骤1815、1816、1817、1819、1820和1821中获得的运动信息，处理模块20对当前块进行解码。
[0364]
在实施方案(18)的变型中，在步骤1804期间，处理模块20对当前块的vsp标记进行解码。如果针对当前块激活vsp模式，则处理模块20执行与步骤1809相同的步骤1805。如果未针对当前块激活vsp模式，则处理模块20执行步骤1806。
[0365]
图19示意性地描绘了使用新vsp模式的视频压缩方法的语法解析过程的第二实施方案。
[0366]
图19的实施方案(在下文中称为实施方案(19))基于表tab6中描述的块的语法。在表tab4和表tab6的语法之间的差异以粗体表示。当对当前块进行解码时，该实施方案由解码器执行。然而，编码器对符合解码器能够解码的内容的语法进行编码。
[0367]
[0368][0369]
表tab6
[0370]
实施方案(19)与实施方案(18)非常类似。实施方案(19)与实施方案(18)的不同之处在于，在vsp模式中编码的块的语法包括表示运动向量差mvd的语法元素。该特征的结果是，当从同一预测图像或聚合预测图像提取两个预测器块时，vsp模式和双向帧间预测的组合是可能的。实际上，在实施方案(19)中，运动向量差mvd的存在允许获得两个不同预测器块。
[0371]
当仅一个预测图像或聚合预测图像插入当前层的dpb中时，实施方案(19)的语法和解析方法适于实施方案(14a)、(14b)和(16)。
[0372]
实施方案(19)包括分别与步骤1800至1808、1810至1813、1815至1821相同的步骤1900至1908、1910至1913、1915至1921。
[0373]
当针对当前块激活vsp模式时，步骤1908之后进行步骤1909，在此期间，针对当前块计算运动向量差mvd。该运动向量差mvd允许指示预测图像或聚合预测图像中的预测器块。然后，使用所述预测器来对当前块进行解码。
[0374]
当vsp标记指定从预测图像或从聚合预测图像生成当前块的第一预测器时，步骤1913之后进行步骤1914，在此期间，针对当前块计算运动向量差mvd。该运动向量差mvd允许指示预测图像或聚合预测图像中的第一预测器块。
[0375]
在步骤1914之后进行步骤1918。当vsp标记指定从预测图像或从聚合预测图像生成当前块的第二预测器时，步骤1918之后进行步骤1922，在此期间，针对当前块计算运动向量差mvd。该运动向量差mvd允许指示预测图像或聚合预测图像中的第二预测器块。从第一预测器和第二预测器对当前块进行解码，如在双向预测模式中那样。
[0376]
需注意，步骤1905与步骤1909相同。
[0377]
图20示意性地描绘了使用新vsp模式的视频压缩方法的语法解析过程的第三实施方案。
[0378]
图20的实施方案(在下文中称为实施方案(20))基于表tab7中描述的块的语法。在表tab4和表tab7的语法之间的差异以粗体表示。当对当前块进行解码时，该实施方案由解码器执行。然而，编码器对符合解码器能够解码的内容的语法进行编码。
[0379]
实施方案(20)与实施方案(19)非常类似。实施方案(20)与实施方案(19)的不同在于，在vsp模式中编码的块的语法不再包括表示运动向量差mvd的语法元素，但是包括存储
在dpb中的参考图像列表中的至少一个索引(ref_idx2_l0或ref_idx2_l1)。该索引指示哪个预测图像提供当前块的预测器块。该特征的结果是，vsp模式和双向帧间预测的组合现在是可能的。实际上，在实施方案(20)中，在双向帧间预测指示两个不同预测图像(或聚合预测图像)的情况下存在两个索引允许获得两个不同预测器块。
[0380]
当多个预测图像或聚合预测图像插入当前层的dpb中时，实施方案(20)的语法和解析方法适于实施方案(15)和(16)。
[0381]
实施方案(20)包括分别与步骤1900至1908、1910至1913、1915至1921相同的步骤2000至2008、2010至2013、2015至2021。
[0382]
实施方案(19)的步骤1909替换为实施方案(20)中的步骤2009。在步骤2009中，处理模块(20)对表示在时间上对应于(即，在与其相同的帧中)包括当前块的图像的预测图像或聚合预测图像中的参考图像的列表l0(或l1)中的索引的语法元素ref_idx2_l0(或ref_idx2_l1)进行解码。处理模块20从由索引ref_idx2_l0(或ref_idx2_l1)指示的预测图像(或聚合预测图像)提取与当前块在空间上共定位的预测器块。然后，处理模块使用所获得的预测器块来对当前块进行解码。
[0383]
实施方案(19)的步骤1914替换为实施方案(20)中的步骤2014。在步骤2014中，处理模块(20)对表示在时间上对应于(即，在与其相同的帧中)包括当前块的图像的预测图像或聚合预测图像中要使用的参考图像的第一列表l0中的索引的语法元素ref_idx2_l0进行解码。处理模块20从由索引ref_idx2_l0指示的预测图像(或聚合预测图像)提取与当前块在空间上共定位的第一预测器块。
[0384]
实施方案(19)的步骤1922替换为实施方案(20)中的步骤2022。在步骤2022中，处理模块(20)对表示在时间上对应于(即，在与其相同的帧中)包括当前块的图像的预测图像或聚合预测图像中要使用的参考图像的第二列表l1中的索引的语法元素ref_idx2_l1进行解码。处理模块20从由索引ref_idx2_l1指示的预测图像(或聚合预测图像)提取与当前块在空间上共定位的第二预测器块。
[0385]
在步骤2021或2022之后，处理模块20使用第一预测器和第二预测器来对当前块进行解码，如在双预测帧间模式中那样。
[0386]
需注意，步骤2005与步骤2009相同。
[0387]
[0388][0389]
表tab7
[0390]
图21示意性地描绘了使用新vsp模式的视频压缩方法的语法解析过程的第四实施方案。
[0391]
图21的实施方案(在下文中称为实施方案(21))基于表tab8中描述的块的语法。在表tab4和表tab8的语法之间的差异以粗体表示。当对当前块进行解码时，该实施方案由解码器执行。然而，编码器对符合解码器能够解码的内容的语法进行编码。
[0392]
实施方案(21)与实施方案(18)非常类似。然而，在实施方案(21)中，在块的层级处使用vsp模式从参考图像的索引(ref_idx_l0或ref_idx_l1)推断，而不是由标记vsp明确地指定。
[0393]
当仅一个预测图像或聚合图像插入当前层的dpb中时，实施方案(21)的语法和解析方法适于实施方案(14a)、(14b)和(16)。
[0394]
实施方案(21)包括分别与步骤1800至1803、1805至1807、1809至1812、1814至1817、1819至1822相同的步骤2100至2103、2105至2107、2109至2112、2114至2117、2119至2122。
[0395]
在步骤2104中，如果指示参考图像列表中的对应于预测图像或聚合预测图像的参考图像的索引ref_idx2_l0或索引ref_idx2_l1继承自由标识符merge_idx指示的候选块，
则处理模块20认为针对当前块激活vsp模式。
[0396]
在步骤2108中，如果指示参考图像列表l0中的参考图像的索引ref_idx_l0指示预测图像或聚合预测图像，则认为针对当前块激活vsp模式。例如，ref_idx_l0＝0指定对应于预测图像或聚合预测图像的参考图像。
[0397]
在步骤2113中，如果指示参考图像列表l0中的参考图像的索引ref_idx_l0指示预测图像或聚合预测图像，则处理模块20认为从预测图像或聚合预测图像获得当前块的第一预测器。
[0398]
在步骤2118中，如果指示参考图像列表l1中的参考图像的索引ref_idx_l1指示预测图像或聚合预测图像，则处理模块20认为从预测图像或聚合预测图像获得当前块的第二预测器。例如，ref_idx_l1＝0指定对应于预测图像或聚合预测图像的参考图像。
[0399][0400]
[0401]
表tab8
[0402]
在表tab8的语法中，仅在函数is_vsp_generated返回为假的情况下对运动向量差mvd和运动向量预测器索引mvp进行解码。该函数is_vsp_generated定义为：is_vsp_generated(idx)
[0403]
·
如果参考索引idx是指从同一帧中的视图生成的帧，则返回为真；
[0404]
·
否则返回为假。
[0405]
在实施方案(18)的变型(在下文中称为实施方案(18bis))中，当在合并模式中或跳过模式中对当前块进行编码时，未针对当前块对标记vsp进行编码。在这种情况下，处理模块20首先对标识符merge_idx进行解码，并且确定是否在vsp模式中对由标识符merge_idx指示的候选块进行编码。如果在vsp模式中对候选块进行编码，则当前块从候选块继承vsp参数，并且使用这些参数对当前块进行解码。否则，应用通常的合并模式解码过程对当前块进行解码。该实施方案(18bis)基于表tab9中描述的块的语法。
[0406]
实施方案(18)、(18bis)、(19)、(20)和(21)可组合以获得附加的实施方案。
[0407]
例如，在vsp模式中编码的当前块的语法可包括运动向量差mvd和表示在时间上对应于(即，在与其相同的帧中)包括当前块的图像的预测图像或聚合预测图像中要使用的参考图像的第一列表l0中和/或第二列表l1中的索引的语法元素ref_idx2_l0和/或ref_idx2_l1。这对应于实施方案(19)和(20)的组合。
[0408]
在另一个示例中，在vsp模式中编码的当前块的语法可包括运动向量差mvd，并且vsp模式的使用可从语法元素ref_idx_l0和/或ref_idx_l1推断，而不是由标记vsp指示。这对应于实施方案(19)和(21)的组合。
[0409]
在另一个示例中，在vsp模式中编码的当前块的语法可包括语法元素ref_idx2_l0和/或ref_idx2_l1，并且vsp模式的使用可从语法元素ref_idx_l0和/或ref_idx_l1推断，而不是由标记vsp指示。这对应于实施方案(20)和(21)的组合。
[0410]
在其他示例中：
[0411]
·
实施方案(18bis)可与实施方案(19)、(20)和(21)组合；
[0412]
·
实施方案(19)、(20)和(21)可组合；
[0413]
·
实施方案(19)、(20)、(21)和(22)可组合；
[0414]
·
等。
[0415][0416][0417]
表tab9
[0418]
迄今为止，认为用于视图间预测的投影图像(或聚合投影图像)包括每个像素纹理数据和深度数据。在称为基于mi(运动信息)的vsp实施方案的另一个实施方案中，预测图像(和聚合预测图像)替换为称为mi(运动信息)预测图像(或mi聚合预测图像)的图像，该图像仅包括针对每个像素或像素子集的运动信息。
[0419]
在基于mi的vsp实施方案中，图13a的正向投影过程包括附加的步骤133。在步骤133期间，处理模块20计算表示在通过步骤130至132的正向投影获得的像素p’(u’,v’)与投影像素p(u,v)之间的位移的运动向量mv。该运动向量mv旨在存储在mi预测图像中。
[0420]
在下文中，描述了基于mi的vsp实施方案对实施方案(14a)、(14b)、(15)和(16)的
影响。
[0421]
在基于mi的vsp实施方案中，实施方案(14a)被修改并变成实施方案(14a_mi)。实施方案(14a_mi)在图22a中表示。
[0422]
实施方案(14a_mi)的第一步骤是已经关于实施方案(14a)描述的步骤140。
[0423]
在步骤141_mi中，处理模块20生成mi预测图像mi(k)，从而在参考视图(例如，第一视图501)与当前视图(例如，第二视图501b)之间应用步骤130至133的正向投影。旨在将mi预测图像mi(k)引入当前视图的dpb(例如，dpb 519b(或619b))中以变成当前视图的当前图像的第k个预测图像。
[0424]
在步骤142_mi中，处理模块20填充孤立缺失运动信息。在实施方案中，孤立缺失运动信息填充有相邻像素运动信息。在另一个实施方案中，孤立缺失运动信息填充有默认值(通常是运动向量＝(0,0))。在另一个实施方案中，孤立缺失运动信息被认为是无效的，并且表示运动信息的有效性的标记与每个运动信息相关联。
[0425]
在步骤143_mi中，处理模块20将mi预测图像mi(k)存储在当前视图的dpb中。
[0426]
在步骤144_mi中，处理模块20使用被包括在当前视图的dpb中的参考图像重建当前视图的当前图像，dpb包括mi预测图像mi(k)。处理模块20使用mi预测图像mi(k)来生成预测图像g(k)。实际上，被包括在mi预测图像mi(k)中的运动信息用于将运动补偿应用于参考图像中的由该运动信息指定的每个像素。
[0427]
任选地，实施方案(14a_mi)包括步骤220，该步骤包括减少mi预测图像mi(k)中的运动信息的量。实际上，具有针对图像的每个像素位置的运动信息代表着大量数据。在一个实施方案中，mi预测图像mi(k)划分为大小为n
×
m的块，其中n和m是二的倍数，并且小于所述mi预测图像mi(k)的宽度和高度。针对每个n
×
m块仅保持一个运动信息。换句话说，运动信息按因子n
×
m进行子采样。在实施方案n＝m＝4中，一个运动信息保持不超过“16”运动信息。
[0428]
在实施方案中，子采样包括在n
×
m运动信息中选择每个块的一个特定运动信息。
[0429]
在实施方案中，子采样包括在n
×
m运动信息中选择每个块的中值(中值使用运动向量的范数来计算)。
[0430]
在实施方案中，子采样包括在n
×
m运动信息中选择出现最多的运动信息。
[0431]
在实施方案中，子采样包括选择对应于整个子块的视图中的最小深度(z缓冲器算法)的运动信息。
[0432]
在实施方案中，子采样包括保持n
×
m运动信息中的第一投影值。
[0433]
在基于mi的vsp实施方案中，实施方案(14b)被修改并变成实施方案(14b_mi)。实施方案(14b_mi)在图22b中表示。
[0434]
与实施方案(14b)相比，在实施方案中(14b_mi)，步骤1412替换为步骤1412_mi，并且步骤1415替换为步骤1415_mi。
[0435]
在步骤1412_mi中，处理模块20生成mi预测图像mi(k)j，从而在视图j与当前视图之间应用步骤130至133的正向投影方法。
[0436]
在步骤1415_mi中，处理模块20从预测图像mi(k)j计算聚合mi预测图像mi(k)，所述预测图像mi(k)旨在存储在当前视图的dpb中。
[0437]
在聚合过程的实施方案中，通过保持多个mi预测图像中的第一mi预测图像mi(k)j的运动信息来聚合预测图像mi(k)j。第一mi预测图像是例如预测图像mi(k)
j＝0
。
[0438]
在聚合过程的实施方案中，通过保持从最靠近当前视图的视图j生成的预测图像mi(k)j的运动信息来聚合mi预测图像mi(k)j。如果若干视图与当前视图的距离相同(即，存在若干最靠近的视图)，则随机地选择若干最靠近的视图中的最靠近的视图。例如，在相机阵列10中，假设只有由相机10a生成的第一视图和由相机10c生成的第二视图可用于预测由相机10b生成的当前视图。然后，第一视图和第二视图是当前视图的最靠近的视图，并且与当前视图的距离相同。选择第一视图和第二视图中的一者以将运动信息提供给mi聚合预测图像mi(k)。
[0439]
在聚合过程的实施方案中，通过保持预测图像mi(k)j的运动信息具有最佳质量来聚合mi预测图像mi(k)j。例如，表示像素的质量的信息是应用于包括所述像素的所变换的块的量化参数的值。
[0440]
在聚合过程的实施方案中，通过保持预测图像mi(k)j的运动信息具有最接近的深度值(z缓冲器算法)来聚合mi预测图像mi(k)j。
[0441]
在聚合过程的实施方案中，通过在已经从预测图像mi(k)j预测聚合mi预测图像mi(k)的相邻像素时保持预测图像mi(k)j的像素值(纹理和深度值)来聚合mi预测图像mi(k)j。
[0442]
在聚合过程的实施方案中，通过计算mi预测图像mi(k)j的运动信息的平均值、加权平均值、中值来聚合mi预测图像mi(k)j。
[0443]
需注意，运动信息包括表示运动向量的信息和表示参考图像列表中的参考图像上的索引(例如，ref_idx_l0、ref_idx_l1、ref_idx2_l0、ref_idx2_l1)的信息。
[0444]
如从以上可看出，在实施方案(14b_mi)中，子采样(步骤220)在聚合mi预测图像mi(k)上执行。在实施方案(14b_mi)的变型中，在每个mi预测图像mi(k)j上执行子采样(步骤220)。
[0445]
从从以上可看出，在实施方案(14b_mi)中，子采样(步骤220)和聚合步骤1415_mi是单独步骤。在实施方案(14b_mi)的变型中，子采样在聚合步骤期间执行。
[0446]
在基于mi的vsp实施方案中，实施方案(15)被修改并变成实施方案(15_mi)。实施方案(15_mi)在图23中表示。
[0447]
与实施方案(15)相比，在实施方案(15_mi)中，步骤1502替换为步骤1502_mi，步骤1503替换为步骤1503_mi，步骤1504替换为步骤1504_mi，并且步骤144替换为步骤144_mi。
[0448]
步骤1502_mi与步骤1412_mi相同。
[0449]
步骤1503_mi与步骤142_mi相同，不同在于空穴填充过程被应用于mi预测图像mi(k)j而不是mi预测图像mi(k)。
[0450]
在步骤1504_mi期间，预测图像mi(k)j存储在当前视图的dpb中。
[0451]
实施方案(15_mi)中的步骤144_mi与实施方案(14b_mi)中的步骤144_mi相同，不同在于当前视图的dpb包括数量nb_views个mi预测图像mi(k)j。
[0452]
在实施方案(15_mi)的变型中，在步骤1503_mi与1504_mi之间引入子采样步骤220。
[0453]
在实施方案(15_mi)的变型中，除了预测图像mi(k)j之外，将从预测图像mi(k)j生成的聚合预测图像和/或从预测图像mi(k)j的子集生成的聚合预测图像插入当前视图的dpb中。
[0454]
在实施方案(15_mi)的变型中，代替预测图像mi(k)j，将从预测图像mi(k)j生成的聚合预测图像和从预测图像mi(k)j的子集生成的聚合预测图像插入当前视图的dpb中，或者仅将从预测图像mi(k)j的子集生成的聚合预测图像插入当前视图的dpb中。
[0455]
在基于mi的vsp实施方案中，实施方案(16)被修改并变成实施方案(16_mi)。实施方案(16_mi)在图25中表示。
[0456]
与实施方案(16)相比，在实施方案(16_mi)中，步骤164替换为步骤164_mi，步骤165替换为步骤165_mi，步骤141替换为步骤141_mi，步骤143替换为步骤143-mi，步骤142替换为步骤142_mi，并且步骤144替换为步骤144_mi。
[0457]
实施方案(16_mi)中的步骤141_mi与实施方案(14a_mi)的步骤141_mi相同。
[0458]
实施方案(16_mi)中的步骤143_mi与实施方案(14a_mi)的步骤143_mi相同。
[0459]
实施方案(16_mi)中的步骤142_mi与实施方案(14a_mi)的步骤142_mi相同。
[0460]
实施方案(16_mi)中的步骤144_mi与实施方案(14a_mi)的步骤144_mi相同。
[0461]
在步骤164_mi中，处理模块20生成预测运动信息块miblock(n,k)，从而在参考视图与参考视图的图像的块编号n的当前视图之间应用步骤130至133描述的正向投影方法。
[0462]
在步骤165_mi中，处理模块20将块miblock(n,k)存储在当前视图的dpb中的与参考视图的图像的块编号n的位置共定位的位置处。
[0463]
在实施方案(16_mi)的变型中，与实施方案(14b)和(15)类似，实施方案(16)可应用于多个参考视图的图像以获得多个mi预测图像。
[0464]
在该变型的实施方案中，多个mi预测图像中的mi预测图像存储在当前视图的dpb中。
[0465]
在该变型的实施方案中，多个mi预测图像中的mi预测图像聚合以形成mi聚合预测图像，并且聚合mi预测图像存储在当前视图的dpb中。
[0466]
在该变型的实施方案中，多个mi预测图像中的mi预测图像的至少一个子集聚合以形成聚合mi预测图像，并且每个聚合mi预测图像存储在当前视图的dpb中。
[0467]
在该变型的实施方案中，除了mi预测图像之外并且除了聚合多个预测图像中的所有预测图像的聚合mi预测图像之外，多个mi预测图像中的mi预测图像的至少一个子集聚合以形成聚合mi预测图像，并且每个聚合mi预测图像存储在当前视图的dpb中。
[0468]
实施方案双向、wp和具有所修改的加权的实施方案对所有基于mi的vsp实施方案(即，实施方案(14a)、(14b)、(15)和(16))应用相同方式。
[0469]
迄今为止，运动信息被认为包括表示运动向量的信息和表示参考图像列表中的参考图像上的索引(例如，ref_idx_l0、ref_idx_l1、ref_idx2_l0、ref_idx2_l1)的信息。在基于mi的vsp实施方案的变型中，当mi预测图像mi(k)划分为大小为n
×
m的块时，与每个n
×
m块相关联的运动信息包括运动的仿射模型的参数，从而允许从参考视图的n
×
m块的像素而不是表示运动向量的信息确定当前视图中的当前块的像素。
[0470]
当仅一个mi预测图像或聚合mi预测图像插入当前层的dpb中时，实施方案(18)和(18bis)的语法和解析方法适于实施方案(14a_mi)、(14b_mi)和(16_mi)。
[0471]
当仅一个mi预测图像或聚合mi预测图像插入当前层的dpb中时，实施方案(19)的语法和解析方法适于实施方案(14a_mi)、(14b_mi)和(16_mi)。
[0472]
当多个mi预测图像或聚合mi预测图像插入当前层的dpb中时，实施方案(20)的语
法和解析方法适于实施方案(15_mi)和(16_mi)。
[0473]
当仅一个mi预测图像或聚合mi预测图像插入当前层的dpb中时，实施方案(21)的语法和解析方法适于实施方案(14a_mi)、(14b_mi)和(16_mi)。
[0474]
组合实施方案(18)、(18bis)、(19)、(20)和(21)的特征的实施方案也适用于基于mi的vsp实施方案。
[0475]
以上描述了多个实施方案。这些实施方案的特征可以单独提供或以任何组合形式提供。此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：
[0476]
·
包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号。
[0477]
·
对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号进行创建和/或传输和/或接收和/或解码。
[0478]
·
根据所描述的实施方案中的任一个实施方案执行mvd编码或解码的电视机、机顶盒、移动电话、平板电脑或其他电子设备。
[0479]
·
根据所描述的实施方案中的任一个实施方案执行mvd解码并(例如，使用监视器、屏幕或其他类型的显示器)显示所得的图像的电视机、机顶盒、移动电话、平板电脑或其他电子设备。
[0480]
·
调谐(例如，使用调谐器)信道以接收包括编码视频流的信号并根据所描述的实施方案中的任一个实施方案进行多视图解码的电视机、机顶盒、移动电话、平板电脑或其他电子设备。
[0481]
·
通过空中(例如，使用天线)接收包括编码视频流的信号并根据所描述的实施方案中的任一个实施方案进行mvd解码的电视机、机顶盒、移动电话、平板电脑或其他电子设备。