虚拟基准视图的制作方法

专利名称：虚拟基准视图的制作方法
技术领域：
描述了涉及编码系统的实现方式。各种具体实现方式涉及虚拟基准视图。
背景技术：
已广泛认识到，多视图视频编码是服务于各种应用的关键技术，这些应用包括 自由视点的和三维的(3D)视频应用、家庭娱乐和监视。另外，深度数据可以与每个视图 相关联。深度数据对于视图合成一般是实质性的。在那些多视图应用中，所涉及的视频 和深度数据的量通常是巨大的。因此，存在至少对如下框架的需求该框架帮助提高了 执行独立视图的联播(simulcast)的当前视频编码方案的编码效率。多视图视频源包括同一场景的多个视图。结果，多视像之间通常存在高相 关程度。因此，除了时间冗余之外还可以采用视图冗余。例如可以通过跨过不同的视图 执行视图预测来采用视图冗余。在一种实际情形中，多视图视频系统将利用稀疏布置的相机来捕获场景。然 后可以通过视图合成/内插利用可用的深度数据和捕获的视图来生成这些相机之间的视 图。另外，一些视图可以只是携带深度信息，然后在解码器处被利用相关联的深度数据 进行合成。也可以利用深度数据生成中间虚拟视图。在这样的稀疏系统中，捕获的视图 之间的相关性可能不是很大并且跨视图的预测可能是非常有限的。

发明内容
根据一个一般方面，针对对应于第一视图位置的第一视像访问编码后视频 信息。访问从不同于第一视图位置的虚拟视图位置描绘第一视像的基准图像。基准 图像基于第一视图位置和第二视图位置之间的位置的合成图像。针对对应于第二视图位 置的第二视像访问编码后视频信息，其中第二视像已被基于基准图像而编码。 利用第二视像和基准图像的编码后视频信息对第二视像解码，以产生解码后的 第二视像。根据另一个一般方面，访问对应于第一视图位置的第一视像。针对不同于 第一视图位置的虚拟视图位置，基于第一视像合成虚拟图像。对与第二视图位置相 对应的第二视像进行编码。该编码使用基于虚拟图像的基准图像。第二视图位置不 同于虚拟视图位置。该编码产生了编码后的第二视像。在附图和下面的描述中给出了一个或多个实现方式的细节。即使以一种具体方 式来描述，也应当清楚，可以按各种方式来配置或体现实现方式。例如，一种方式可以作为方法而 执行，或者体现为设备(例如，被配置为执行一组操作的设备或者存储用于 执行一组操作的指令的设备)，或者用信号来体现。其他方面和特征将从以下结合附图和 权利要求而考虑的详细描述中变得清楚。


图1是用于与深度信息一起发送和接收多视图视频的系统的实现方式的示图。图2是用于从深度为(K = 3)的3个输入视图生成9个输出视图(N = 9)的框 架的实现方式的示图。图3是编码器的实现方式的示图。图4是解码器的实现方式的示图。图5是视频发送器的实现方式的框图。图6是视频接收器的实现方式的框图。图7A是编码过程的实现方式的示图。图7B是解码过程的实现方式的示图。图8A是编码过程的实现方式的示图。图8B是解码过程的实现方式的示图。图9是深度图(depth map)的示例。图IOA是未进行孔洞填充的变形后图片的示例。图IOB是进行了孔洞填充的图IOA的变形后图片的示例。图11是编码过程的实现方式的示图。图12是解码过程的实现方式的示图。图13是连续虚拟视图生成器的实现方式的示图。图14是编码过程的实现方式的示图。图15是解码过程的实现方式的示图。
具体实施例方式在至少一种实现方式中，提出了一种框架来使用虚拟视图作为基准。在至少一 种实现方式中，提出了使用如下虚拟视图该虚拟视图不与将被预测为附加基准的视图 并置。在另一种实现方式中，还提出了连续对虚拟基准视图进行精炼，直到满足某一个 质量与复杂性的折衷为止。然后可以包括若干虚拟生成的视图作为附加基准，并且可以 用高级别来表明它们在基准列表中的位置。因此，至少一些实现方式所解决的至少一个问题是利用虚拟视图作为附加基准 对多视图视频序列的高效编码。多视图视频序列是两个或更多个视频序列的集合，这两 个或更多个视频序列从不同的视点捕获了同一场景。自由视点电视(FTV)是一种新的框架，该框架包括多视图视频和深度信息的编 码后表示，并且将高质量的中间视图的生成定位在接收器处。这为自动立体显示器使能 了自由视点功能和视图生成。图1示出了根据本发明原理的实施例的用于与深度信息一起发送和接收多视图 视频的示例性系统100，本发明的原理可应用于该系统。在图1中，视频数据用实线表示，深度数据用短划线表示，元数据用点线表示。系统100例如可以是但不限于自由视 点电视系统。在发送器侧110，系统100包括三维(3D)内容产生器120，其具有用于从 相应的多个源接收视频、深度和元数据中一个或多个的多个输入端。这种源可以包括但 不限于立体相机111、深度相机112、多相机装置113和二维/三维(2D/3D)转换处114。 一个或多个网络130可用于发送与多视图视频编码(MVC)和数字视频广播(DVB)有关 的视频、深度和元数据中的一个或多个。在接收器侧140，基于深度图像的绘制器150执行基于深度图像的绘制以将信号 投影到各种类型的显示器。基于深度图像的绘制器150能够接收显示配置信息和用户偏 好。基于深度图像的绘制器150的输出可被提供给2D显示器161、M视图3D显示器 162和/或头部跟踪的立体显示器163中的一个或多个。 为了减少要发送的数据量，密集的相机阵列(VI、V2...V9)可被子采样，并且仅 稀疏的相机集合实际上捕获场景。图2示出了根据本发明原理的实施例的用于从深度为 (K = 3)的3个输入视图生成9个输出视图(N = 9)的示例性框架200，本发明的原理可 应用于该框架。框架200包括自动立体3D显示器210(其支持多个视图的输出)、第一 基于深度图像的绘制器220、第二基于深度图像的绘制器230和用于解码后数据的缓冲器 240。解码后数据是称为多个视图加深度(MVD)数据的表示。9个相机用Vl至V9表 示。三个输入视图的相应深度图用Dl、D5和D9表示。可以利用可用的深度图(D1、 D5、D9)生成所捕获的相机位置(例如Posl、Pos2、Pos3)之间的任何虚拟相机位置， 如图2所示。在图2中可以看到，捕获数据的实际相机(VI、V5和V9)之间的基线可 能是很大的。结果，这些相机之间的相关性被显著减小并且这些相机的编码效率可能不 高，这是因为编码效率仅依赖于时间相关性。在至少一个所描述的实现方式中，提议解决该问题，即提高具有大基线的相机 的编码效率。解决方案不限于多视图视图编码，而是可应用于多视图深度编码。图3示出根据本发明原理的实施例的示例性编码器300，本发明的原理可应用于 该编码器。编码器300包括组合器305，组合器305的输出端以信号通信方式与变换器 310的输入端相连。变换器310的输出端以信号通信方式与量化器315的输入端相连。 量化器315的输出端以信号通信方式与熵编码器320的输入端和逆量化器325的输入端相 连。逆量化器325的输出端以信号通信方式与逆变换器330的输入端相连。逆变换器 330的输出端以信号通信方式与组合器335的第一同相输入端相连。组合器335的输出端 以信号通信方式与内部预测器345的输入端和解块滤波器350的输入端相连。解块滤波 器350例如去除沿着宏块边界的伪像(artifact)。解块滤波器350的第一输出端以信号通 信方式与基准图片存储库355 (用于时间预测)的输入端和基准图片存储库360 (用于视图 间预测)的第一输入端相连。基准图片存储库355的输出端以信号通信方式与运动补偿 器375的第一输入端和运动估计器380的第一输入端相连。运动估计器380的输出端以 信号通信方式与运动补偿器375的第二输入端相连。基准图片存储库360的输出端以信 号通信方式与差别估计器370的第一输入端和差别补偿器365的第一输入端相连。差别 估计器370的输出端以信号通信方式与差别补偿器365的第二输入端相连。解块滤波器350的第二输出端以信号通信方式与基准图片存储库371 (用于虚拟 图片生成)的输入端相连。基准图片存储库371的输出端以信号通信方式与视图合成器372的第一输入端相连。虚拟基准视图控制器373的第一输出端以信号通信方式与视图合成器372的第二输入端相连。熵解码器320的输出端、虚拟基准视图控制器373的第二输出端、模式决定模块 395的第一输出端和视图选择器302的输出端各自可作为编码器300的各个输出端，用于 输出比特流。开关388的第一输入端(用于视图i的图片数据)、第二输入端(用于视图 j的图片数据)和第三输入端(用于合成后视图的图片数据)各自可作为编码器的各个输 入端。视图合成器372的输出端(用于提供合成后的视图)以信号通信方式与基准图片 存储库360的第二输入端和开关388的第三输入端相连。视图选择器302的第二输出端 确定哪个输入(例如，视图i、视图j或合成后视图的图片数据)被提供给开关388。开 关388的输出端以信号通信方式与组合器305的同相输入端、运动补偿器375的第三输入 端、运动估计器380的第二输入端和差别估计器370的第二输入端相连。内部预测器345 的输出端以信号通信方式与开关385的第一输入端相连。差别补偿器365的输出端以信号 通信方式与开关385的第二输入端相连。运动补偿器375的输出端以信号通信方式与开 关385的第三输入端相连。模式决定模块395的输出端确定哪个输入被提供给开关385。 开关385的输出端以信号通信方式与组合器335的第二同相输入端和组合器305的反相输 入端相连。图3的一些部分也可被独立地或总地称为编码器、编码单元或访问单元，例如 块310、315和320。类似地，例如块325、330、335和350可被独立地或总地称为解码
器或解码单元。图4示出了根据本发明原理的实施例的示例性解码器400，本发明的原理可应用 于该解码器。解码器400包括熵解码器405，熵解码器405的输出端以信号通信方式与逆 量化器410的输入端相连。逆量化器的输出端以信号通信方式与逆变换器415的输入端相 连。逆变换器415的输出端以信号通信方式与组合器420的第一同相输入端相连。组合 器420的输出端以信号通信方式与解块滤波器425的输入端和内部预测器430的输入端相 连。解块滤波器425的输出端以信号通信方式与基准图片存储库440 (用于时间预测)的 输入端、基准图片存储库445 (用于视图间预测)的第一输入端和基准图片存储库472 (用 于虚拟图片生成)的第一输入端相连。基准图片存储库440的输出端以信号通信方式与 运动补偿器435的第一输入端相连。基准图片存储库445的输出端以信号通信方式与差 别补偿器450的第一输入端相连。比特流接收器401的输出端以信号通信方式与比特流解析器402的输入端相连。 比特流解析器402的第一输出端(用于提供残余比特流)以信号通信方式与熵解码器405 的输入端相连。比特流解析器402的第二输出端(用于提供控制哪个输入被开关455选 择的控制句法)以信号通信方式与模式选择器422的输入端相连。比特流解析器402的 第三输出端(用于提供运动向量)以信号通信方式与运动补偿器435的第二输入端相连。 比特流解析器402的第四输出端(用于提供差别向量和/或照明偏移)以信号通信方式与 差别补偿器450的第二输入端相连。比特流解析器402的第五输出端(用于提供虚拟基 准视图控制信息)以信号通信方式与基准图片存储库472的第二输入端和视图合成器471 的第一输入端相连。基准图片存储库472的输出端以信号通信方式与视图合成器的第二 输入端相连。视图合成器471的输出端以信号通信方式与基准图片存储库445的第二输入端相连。将会认识到，照明偏移是可选的输入，取决于实现方式，其可能被使用，也可能不被使用。开关455的输出端以信号通信方式与组合器420的第二同相输入端相连。开关 455的第一输入端以信号通信方式与差别补偿器450的输出端相连。开关455的第二输 入端以信号通信方式与运动补偿器435的输出端相连。开关455的第三输入端以信号通 信方式与内部预测器430的输出端相连。模式模块422的输出端以信号通信方式与开关 455相连，用于控制哪个输入被开关455选择。解块滤波器425的输出可作为解码器的输 出ο图4的一些部分也可被独立地或总地称为访问单元，例如比特流解析器402和任 何其他提供对特定的数据或信息的访问的块。类似地，例如块405、410、415、420和 425可被独立地或总地称为解码器或解码单元。图5示出了根据本发明原理的实现方式的视频发送系统500，本发明的原理可应 用于该系统。视频发送系统500例如可以是利用各种媒介(例如卫星、电缆、电话线或 陆上广播)中的任意媒介来发送信号的头端或发送系统。可以通过因特网或某种其他网 络来提供发送。视频发送系统500能够生成并传递包括虚拟基准视图的视频内容。这是通过生 成(一个或多个)编码后信号实现的，这(一个或多个)编码后信号包括一个或多个虚拟 基准视图或者能够用于在例如可以具有解码器的接收器端合成一个或多个虚拟基准视图 的信息。视频发送系统500包括编码器510和能够发送编码后信号的发送器520。编码器 510接收视频信息，基于视频信息合成一个或多个虚拟基准视图，并且从其生成(一个或 多个)编码后信号。编码器510例如可以是上面详细描述的编码器300。发送器520例如可适用于发送具有一个或多个比特流的节目信号，这一个或多 个比特流代表编码后图片和/或与其有关的信息。典型的发送器执行诸如以下各项中的 一项或多项之类的功能提供纠错编码，对信号中的数据进行交织，对信号中的能量进 行随机化，以及将信号调制到一个或多个载体上。发送器可以包括天线(未示出)或者 与天线相接口。因此，发送器520的实现方式可以包括或者限于调制器。图6示出了视频接收系统600的实现方式的示图。视频接收系统600可以被配 置为通过各种媒介(例如卫星、电缆、电话线或陆上广播)接收信号。可以通过因特网 或某种其他网络来接收信号。视频接收系统600例如可以是蜂窝电话、计算机、机顶盒、电视或者其他接收 编码后视频并且例如为了向用于显示或者为了存储而提供解码后视频的设备。因此，视 频接收系统600可将其输出提供给例如电视屏幕、计算机监视器、计算机(为了存储、处 理或显示)或者某种其他存储、处理或显示设备。视频接收系统600能够接收并处理包括视频信息的视频内容。此外，视频接收 系统600能够合成和/或以其他方式再现一个或多个虚拟基准视图。这是通过接收(一 个或多个)编码后信号实现的，这(一个或多个)编码后信号包括视频信息和一个或多个 基准视图或者能够用来合成一个或多个虚拟基准视图的信息。视频接收系统600包括能够接收编码后信号(例如在本申请的实现方式中描述的信号)的接收 器610和能够对接收到的信号进行解码的解码器620。接收器610例如可适用于接收具有多个比特流的节目信号，这些比特流代表编 码后图片。典型的接收器执行诸如以下各项中的一项或多项之类的功能接收经过调制 和编码的数据信号，对来自一个或多个载体的数据信号进行解调，对信号中的能量解除 随机化，对信号中的数据解除交织，以及对信号进行纠错解码。接收器610可以包括天 线(未示出)或者与天线相接口。接收器610的实现方式可以包括或者限于解调器。解码器620输出包括视频信息和深度信息的视频信号。解码器620例如可以是 在上面详细描述的解码器400。图7A示出了根据本发明原理的实施例的用于对虚拟基准视图进行编码的方法 700的流程图。在步骤705，访问从第一视图位置处的设备取得的第一视像。在步 骤710，对第一视像编码。在步骤715，访问从第二视图位置处的设备取得的第二视 像。在步骤720，基于重构的第一视像合成虚拟图像。虚拟图像估计如果从不 同于第一视图位置的虚拟视图位置处的设备取得图像则该图像看起来将是什么样子。在 步骤725，对虚拟图像编码。在步骤730，以重构的虚拟图像作为重构的第一视像的 附加基准，对第二视像编码。第二视图位置不同于虚拟视图位置。在步骤735，发 送经编码的第一视像、经编码的虚拟视像和经编码的第二视像。在方法700的一种实现方式中，用来合成虚拟图像的第一视像是第一视图 图像的重构版本，并且基准图像是虚拟图像。在图7A的一般过程的其他实现方式以及本申请中描述的其他过程(例如包括图 7B、8A和8B的过程)中，虚拟图像(或者重构物)可以是在对第二视像编码时使 用的仅有的基准图像。另外，实现方式可以允许虚拟图像作为输出在解码器处显示。许多实现方式编码并发送虚拟视像。在这样的实现方式中，可以在由假定 基准解码器(HRD)(例如包括在编码器或者独立的HRD检查器中的HRD)执行的验证中 考虑该发送和在该发送中使用的比特。在当前的多视图编码(MVC)标准中，为每个视 图分开执行HRD校验。如果第二视图是从第一视图预测的，则在发送第一视图时使用 的速率在为第二视图进行编码后图片缓冲器(CPB)的HRD检查(验证)时被计算。这 说明了如下事实为了对第二视图解码，第一视图被缓冲。各种实现方式使用与刚刚针 对MVC所描述的理论相同的理论。在这样的实现方式中，如果所发送的虚拟视图基准 图像是第一视图和第二视图之间的，则用于虚拟视图的HRD模型参数被插入到序列参数 集(SPS)中，就好像它是真实视图一样。另外，当为第二视图检查CPB的HRD—致性 (验证)时，按照用于说明对虚拟视图的缓冲的公式来计算用于虚拟视图的速率。图7B示出了根据本发明原理的实施例的用于对虚拟基准视图进行解码的方法 750的流程图。在步骤755，接收信号，该信号包括从第一视图位置处的设备取得的第一 视像、仅用作基准的虚拟图像(不存在诸如显示虚拟图像之类的输出)和从第二视图 位置处的设备取得的第二视像的编码后视频信息。在步骤760，对第一视像解 码。在步骤765，对虚拟视像解码。在步骤770，对第二视像和用作解码后的 第一视像的附加基准的解码后虚拟视像进行解码。图8A示出了根据本发明原理的实施例的用于对虚拟基准图像进行编码的方法 800的流程图。在步骤805，访问从第一视图位置处的设备取得的第一视像。在步骤810，对第一视像编码。在步骤815，访问从第二视图位置处的设备取得的第二视 像。在步骤820，基于重构的第一视像合成虚拟图像。虚拟图像估计如果从不 同于第一视图位置的虚拟视图位置处的设备取得图像则该图像看起来将是什么样子。在 步骤825，利用所生成的虚拟图像作为重构的第一视像的附加基准，对第二视像 编码。第二视图位置不同于虚拟视图位置。在步骤830，生成控制信息，该控制信息表 明多个视图中的哪个视图被用作基准图像。在这样的情况中，基准图像例如可以是以下 各项之一(1)在第一视图位置和第二视图位置之间的半程处的合成视图； (2)与正被编码的当前视图相同位置的合成视图，该合成视图是通过以下方式递 增地合成的开始的时候在半程点处生成视图的合成，然后利用其结果来合成在正被编 码的当前视图位置处的另一视图；(3)非合成视像；(4)虚拟图像；以及(5)从虚拟图像合成的另一分离的合成图像，基准图像在第一视像和第二视 像之间的位置处或者在第二视像的位置处。在步骤835，发送编码后的第一视像、编码后的第二视像和编码后的控 制信息。图8A的过程以及本申请中描述的各种其他过程还可以包括编码器处的解码步 骤。例如，编码器可以利用合成的虚拟图像对编码后的第二视像进行解码。这预期 产生重构的第二视像，该重构的第二视像与解码器将产生的内容相匹配。使用 重构物作为基准图像，编码器然后可以利用重构物对随后的图像进行编码。这样，编码 器使用第二视像的重构物对随后的图像进行编码，并且解码器将同样使用重构物对 随后的图像进行解码。结果，编码器可以例如使其速率失真优化和对编码模式的选择基 于解码器预期将产生的同一最终输出(随后的图像的重构物)。该解码步骤例如可以在操 作825之后的任一点处执行。图8B示出了根据本发明原理的实施例的用于对虚拟基准图像进行解码的方法 800的流程图。在步骤855，接收信号。该信号包括从第一视图位置处的设备取得的第 一视像的编码后视频信息、从第二视图位置处的设备取得的第二视像和如何生 成仅用作基准的虚拟图像(无输出)的控制信息。在步骤860，对第一视像解码。 在步骤865，利用控制信息生成/合成虚拟视像。在步骤870，使用生成的/合成的 虚拟视像作为解码后的第一视像的附加基准，对第二视像解码。实施例1 可以利用3D变形(warping)技术从已有的视图生成虚拟视图。为了获得虚拟视 图，使用关于相机内部和外部参数的信息。内部参数例如可以包括但不限于焦距、缩放 和其他内部特性。外部参数例如可以包括但不限于位置(平移(translation))、定向(平 摇、倾斜、旋转)和其他外部特性。另外，还使用场景的深度图。图9示出了根据本发 明原理的实施例的示例性深度图900，本发明的原理可应用于该深度图。具体地，深度图 900是用于视图0的。用于3D变形的透视投影矩阵可被如下表示
PM = A[R|t] (1)其中，A、R和t分别表示内部矩阵、旋转矩阵和平移向量，并且这些值被称为 相机参数。可以利用投影方程将像素位置从图像坐标投影到3D世界坐标。式(2)是投 影方程，其包括深度数据和式(1)。式(2)可被变换成式(3)。Pref{x,y,\)-D = A[R\t]-Pwc{x,y,z,\)(2)Pwc (χ, y，ζ) = R1 · A-1 · Pref(χ，y，1) · D-R1 · t (3)其中，D表示深度数据，P表示基准图像坐标系中的齐次坐标或3D世界坐标上 的像素位置，并且P表示3D世界坐标系中的齐次坐标。在投影之后，3D世界坐标形式 的像素位置通过式(4)而被映射到希望的目标图像中的位置，式(4)是式(1)的逆形式。Ptarget (x, y，1) = A · R · (Pwc (x，y，ζ)+R1 · t) (4)于是，可以相对于基准图像中的像素位置得到目标图像中的正确像素位置。此 后，将像素值从基准图像上的像素位置拷贝到目标图像上的投影像素位置。为了合成虚拟视图，可以使用基准视图和虚拟视图的相机参数。然而，不一定 用信号通知虚拟图像的相机参数的完整集合。如果虚拟视图仅仅是水平面中的移位(例 如见图2的从视图1到视图2的示例)，则只有平移向量需要被更新并且其余参数保持不 变。在诸如参考图3和4所示出并描述的装置300和装置400之类的装置中，一种编 码结构将是视图5使用视图1作为预测环路中的基准。然而，如上面所提及的，由于 他们之间的很大基线距离，相关性将是有限的，并且视图5使用视图1作为基准的概率将 是非常低的。可以将视图1变形到视图5的相机位置，然后使用该虚拟生成的图片作为附加基 准。然而，由于很大的基线，虚拟视图将具有许多可能并不琐碎到足以填充的孔洞或者 更大的孔洞。即使在孔洞填充之后，最终图像也可能不具有用作基准的可接受的质量。 图IOA示出了未进行孔洞填充的示例性变形后图片1000。图IOB示出了进行了孔洞填充 的图IOA的示例性变形后图片1050。从图IOA可以看到，在跳霹雳舞者的左边和帧的右 侧存在若干孔洞。这些孔洞然后被利用像修补之类的孔洞填充算法而被填充，并且结果 可在图IOB中看到。为了解决大基线问题，作出如下提议不是直接将视图1变形到视图5的相机 位置，而是变形到作为视图1和视图5之间的某处的位置，例如这两个相机之间的中点。 该位置离视图1比离视图5近，并且将潜在地具有更少的和更小的孔洞。与具有大基线 的较大孔洞相比，这些更小的/更少的孔洞更易于管理。实际上，可以生成这两个相机 之间的任意位置而不是直接生成与视图5相对应的位置。事实上，可以生成多个虚拟相 机位置作为附加基准。在线性和 并列相机布置的情况中，通常只需要用信号通知与所生成的虚拟位置 相对应的平移向量，这是因为所有其他信息应当是已经可得的。为了支持一个或多个附 加变形后基准的生成，提议在例如切片头部(sliceheader)中增加句法。所提议的切片头 部句法的一个实施例在表1中示出。所提议的虚拟视图信息句法的一个实施例在表2中 示出。如表1中的逻辑(用斜体示出)所表明的，表2中给出的句法仅在表1中指定的条件得到满足时才存在。这些条件是当前切片是EP或EB切片；并且简档是多视图视 频简档。注意，表2包括P、EP、B和EB切片的“10”信息，并且还包括B和EB切 片的“U”信息。通过使用适当的基准列表排序句法，可以创建多个变形后基准。例 如，第一基准图片可以是原来的基准，第二基准图片可以是在该基准和当前视图之间的 点处的变形后基准，并且第三基准图片可以是在当前视图位置处的变形后基准。表 权利要求
1.一种方法，包括访问第一视像的编码后视频信息，所述第一视像对应于第一视图位置； 访问从不同于所述第一视图位置的虚拟视图位置描绘所述第一视像的基准图 像，其中该基准图像基于所述第一视图位置和所述第二视图位置之间的位置的合成图 像；访问第二视像的编码后视频信息，所述第二视像对应于第二视图位置，所 述第二视像已被基于所述基准图像编码；以及 利用所述第二视像和所述基准图像的编码后视频信息对所述第二视像解 码，以产生解码后的第二视像。
2.如权利要求1所述的方法，还包括合成所述基准图像。
3.如权利要求1所述的方法，还包括编码并发送所述基准图像。
4.如权利要求1所述的方法，还包括接收所述基准图像。
5.如权利要求1所述的方法，其中，所述基准图像是原来的基准图像的重构。
6.如权利要求1所述的方法，还包括接收表明多个视图中的哪个视图对应于所述 基准图像的虚拟视图位置的控制信息。
7.如权利要求6所述的方法，还包括接收所述第一视像和所述第二视像。
8.如权利要求1所述的方法，还包括发送所述第一视像和所述第二视像。
9.如权利要求1所述的方法，其中，所述第一视像包括原来的第一视像的重 构版本。
10.如权利要求1所述的方法，其中，所述基准图像是从所述第一视像合成的虚 拟图像。
11.如权利要求1所述的方法，其中，所述基准图像是所述合成图像。
12.如权利要求1所述的方法，其中，所述基准图像是从所述合成图像合成的另一分 离的合成图像，并且所述基准图像在所述第一视像和所述第二视像之间的位置 处或者在所述第二视像的位置处。
13.如权利要求1所述的方法，其中，所述基准图像是通过以下方式递增地合成的 开始的时候在所述第一视图位置和所述第二视图位置之间的位置处生成所述第一视 像的合成，然后利用其结果来合成与所述第二视图位置更近的另一图像。
14.如权利要求1所述的方法，还包括使用所述解码后的第二视像在编码器处 对随后的图像编码。
15.如权利要求1所述的方法，还包括使用所述解码后的第二视像在解码器处 对随后的图像解码。
16.—种设备，包括用于访问第一视像的编码后视频信息的装置，所述第一视像对应于第一视 图位置；用于访问从不同于所述第一视图位置的虚拟视图位置描绘所述第一视像的基准 图像的装置，其中该基准图像基于所述第一视图位置和第二视图位置之间的位置的合成图像；用于访问第二视像的编码后视频信息的装置，所述第二视像对应于第二视 图位置，所述第二视像已被基于所述基准图像编码；以及用于利用所述第二视像和所述基准图像的编码后视频信息对所述第二视像 解码，以产生解码后的第二视像的装置。
17.如权利要求16所述的设备，其中，所述设备被实现在视频编码器和视频解码器中 的至少一者中。
18.—种处理器可读介质，其上存储了用于使得处理器执行至少以下操作的指令 访问第一视像的编码后视频信息，所述第一视像对应于第一视图位置； 访问从不同于所述第一视图位置的虚拟视图位置描绘所述第一视像的基准图像，其中该基准图像基于所述第一视图位置和第二视图位置之间的位置的合成图像；访问第二视像的编码后视频信息，所述第二视像对应于第二视图位置，所 述第二视像已被基于所述基准图像编码；以及利用所述第二视像和所述基准图像的编码后视频信息对所述第二视像解 码，以产生解码后的第二视像。
19.一种装置，包括被配置为执行至少以下操作的处理器访问第一视像的编码后视频信息，所述第一视像对应于第一视图位置； 访问从不同于所述第一视图位置的虚拟视图位置描绘所述第一视像的基准图 像，其中该基准图像基于所述第一视图位置和第二视图位置之间的位置的合成图像；访问第二视像的编码后视频信息，所述第二视像对应于第二视图位置，所 述第二视像已被基于所述基准图像编码；以及利用所述第二视像和所述基准图像的编码后视频信息对所述第二视像解 码，以产生解码后的第二视像。
20.—种装置，包括访问单元，用于(1)访问第一视像的编码后视频信息，所述第一视像对 应于第一视图位置，以及(2)访问第二视像的编码后视频信息，所述第二视像 对应于第二视图位置，所述第二视像已被基于基准图像而编码；存储设备，用于访问所述基准图像，所述基准图像从不同于所述第一视图位置的虚 拟视图位置描绘所述第一视像，其中所述基准图像基于所述第一视图位置和所述第 二视图位置之间的位置的合成图像；以及解码单元，用于利用所述第二视像和所述基准图像的编码后视频信息对所述第 二视像解码，以产生解码后的第二视像。
21.如权利要求20所述的装置，其中，所述访问单元包括编码单元和比特流解析器。
22.—种被格式化成包括信息的视频信号，该视频信号包括第一视图部分，包括第一视像的编码后视频信息，所述第一视像对应于第 一视图位置；第二视图部分，包括第二视像的编码后视频信息，所述第二视像对应于第 二视图位置，所述第二视像已被基于基准图像编码；以及基准部分，包括表示出所述基准图像的编码后信息，所述基准图像从不同于所述第一视图位置的虚拟视图位置描绘所述第一视像，其中所述基准图像基于所述第一视 图位置和所述第二视图位置之间的位置的合成图像。
23.如权利要求22所述的视频信号，其中，表示出所述基准图像的编码后信息包括控 制信息，该控制信息表示出在合成所述基准图像时解码器使用的基准图像的虚拟视图位置。
24.如权利要求22所述的视频信号，其中，表示出所述基准图像的编码后信息包括所 述基准图像的编码。
25.—种视频信号结构，包括第一视图部分，针对第一视像的编码后视频信息，所述第一视像对应于第 一视图位置；第二视图部分，针对第二视像的编码后视频信息，所述第二视像对应于第 二视图位置，所述第二视像已被基于基准图像编码；以及针对指示出所述基准图像的编码后信息的基准部分，所述基准图像从不同于所述第 一视图位置的虚拟视图位置描绘所述第一视像，其中所述基准图像基于所述第一视 图位置和所述第二视图位置之间的位置的合成图像。
26.如权利要求25所述的视频信号结构，其中，所述基准部分针对指示出所述基准图 像的视图位置的编码后信息。
27.—种处理器可读介质，其上存储了视频信号结构，包括第一视图部分，包括第一视像的编码后视频信息，所述第一视像对应于第 一视图位置；第二视图部分，包括第二视像的编码后视频信息，所述第二视像对应于第 二视图位置，所述第二视像已被基于基准图像而编码；以及基准部分，包括表示出所述基准图像的编码后信息，所述基准图像从不同于所述第 一视图位置的虚拟视图位置描绘所述第一视像，其中所述基准图像基于所述第一视 图位置和所述第二视图位置之间的位置的合成图像。
28.—种装置，包括访问单元，用于(1)访问第一视像的编码后视频信息，所述第一视像对 应于第一视图位置，以及(2)访问第二视像的编码后视频信息，所述第二视像 对应于第二视图位置，所述第二视像已被基于基准图像编码；存储设备，用于访问所述基准图像，所述基准图像从不同于所述第一视图位置的虚 拟视图位置描绘所述第一视像，其中所述基准图像基于所述第一视图位置和所述第 二视图位置之间的位置的合成图像；解码单元，用于利用所述第二视像和所述基准图像的编码后视频信息对所述第 二视像解码，以产生解码后的第二视像；以及调制器，用于调制包括所述第一视像和所述第二视像的信号。
29.—种装置，包括解调器，用于接收并解调信号，该信号包括第一视像的编码后视频信息和第二 视像的编码后视频信息，所述第一视像对应于第一视图位置，所述第二视 像对应于第二视图位置，所述第二视像已被基于基准图像编码；访问单元，用于访问所述第一视像的编码后视频信息和所述第二视像的编 码后视频信息；存储设备，用于访问所述基准图像，所述基准图像从不同于所述第一视图位置的虚 拟视图位置描绘所述第一视像，其中所述基准图像基于所述第一视图位置和所述第 二视图位置之间的位置的合成图像；以及解码单元，用于利用所述第二视像和所述基准图像的编码后视频信息对所述第 二视像解码，以产生解码后的第二视像。
30.如权利要求29所述的装置，还包括用于合成所述基准图像的视图合成器。
31.—种方法，包括访问对应于第一视图位置的第一视像；针对不同于所述第一视图位置的虚拟视图位置，基于所述第一视像来合成虚拟 图像；以及对对应于第二视图位置的第二视像编码，该编码使用基于所述虚拟图像的基准 图像，并且所述第二视图位置不同于所述虚拟视图位置，所述编码产生了编码后的第二 视像。
32.如权利要求31所述的方法，其中，所述基准图像是所述虚拟图像。
33.—种设备，包括用于访问对应于第一视图位置的第一视像的装置；用于针对不同于所述第一视图位置的虚拟视图位置，基于所述第一视像来合成 虚拟图像的装置；以及用于对对应于第二视图位置的第二视像编码的装置，该编码使用基于所述虚拟 图像的基准图像，并且所述第二视图位置不同于所述虚拟视图位置，所述编码产生了编 码后的第二视像。
34.—种装置，包括编码单元，用于访问对应于第一视图位置的第一视像，并且用于对对应于第二 视图位置的第二视像编码，所述编码使用基于虚拟图像的基准图像，并且所述第二 视图位置不同于所述虚拟视图位置，所述编码产生了编码后的第二视像；以及视图合成器，用于基于所述第一视像来合成所述虚拟图像，其中所述虚拟图像 针对的是不同于所述第一视图位置和所述第二视图位置的虚拟视图位置。
35.—种装置，包括编码单元，用于访问对应于第一视图位置的第一视像，并且用于对对应于第二 视图位置的第二视像编码，所述编码使用基于虚拟图像的基准图像，并且所述第二 视图位置不同于所述虚拟视图位置，所述编码产生了编码后的第二视像；视图合成器，用于基于所述第一视像来合成所述虚拟图像，其中所述虚拟图像 针对的是不同于所述第一视图位置和所述第二视图位置的虚拟视图位置；以及调制器，用于调制包括所述编码后的第二视像的信号。
全文摘要
描述了各种实现方式。若干实现方式涉及虚拟基准视图。根据一个方面，针对第一视像来访问编码后信息。访问从不同于第一视图的虚拟视图位置描绘第一视像的基准图像。基准图像基于第一视图和第二视图之间位置的合成图像。针对基于基准图像而编码了的第二视图来访问编码后信息。对第二视像解码。根据另一个方面，访问第一视像。针对不同于第一视图的虚拟视图位置，基于第一视像来合成虚拟图像。利用基于虚拟图像的基准图像对第二视像编码。第二视图不同于虚拟视图位置。编码产生了编码后的第二视像。
文档编号H04N7/26GK102017632SQ200980116077
公开日2011年4月13日 申请日期2009年3月3日 优先权日2008年3月4日
发明者尹鹏, 帕文·拜哈斯·潘迪特, 田东 申请人:汤姆逊许可证公司