使用低分辨率深度图的视图合成的制作方法

使用低分辨率深度图的视图合成的制作方法
【专利摘要】基于获得的纹理数据和深度图，执行视图合成。深度图的分辨率在x方向上低至纹理数据的分辨率的dw分之一，并且在y方向上低至dh分之一。通过执行除法x/dw和y/dh，将纹理像素位置x、y变换成非整数深度图像素位置，并且将这些非整数深度图像素位置舍入到整数深度图像素位置，以及至少基于在整数深度图像素位置和/或相邻位置的获得的纹理数据和深度图值，合成视图。
【专利说明】使用低分辨率深度图的视图合成

【技术领域】
[0001] 本公开内容涉及3D视频的编码，3D视频除一个或多个视频视图外，还包含一个或 多个相关联的深度图。

【背景技术】
[0002] 视图合成VS描述在虚拟摄像头位置使用在参考摄像头位置的视频视图/纹理数 据和相关联深度图合成视频视图的过程。VS能够用作3D视频压缩方案的一部分，并且随后 示为视图合成预测VSP。在如在运动图像专家组MPEG的工作中考虑的一些3D视频压缩方 案中，以降低的分辨率，即，比相关联视频数据更低的分辨率将深度图编码。工作当前在有 关ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11的3D视频编码扩展开发的联合工 作组（jointcollaborativeteam)内继续进行。
[0003] 然而，常规VS及因此VSP算法要求在与视频数据相同分辨率的深度信息。问题是 如何使用低分辨率深度图数据执行VSP。VSP可以是3D视频编码器和解码器的一部分，但 也可在外部执行。例如，可在3D视频解码后为图像再现应用它。操作可在诸如移动电话、 平板、膝上型计算机、PC、机顶盒或电视机等装置中执行。
[0004] 稍微更详细地说，3D视频的编码和压缩涉及降低在例如立体(双摄像头)或多视图 (几个摄像头）图像序列的图像序列中的数据量，图像序列除包含纹理数据的一个或多个视 频视图外，还包含一个或多个相关联深度图。也就是说，对于一个或几个视频视图，相关联 深度图可用，从与相关联视频视图相同的摄像头位置描述场景的深度。借助于深度图，包含 的视频视图能够用于生成用于例如在包含的视频视图之间的位置或者在用于包含的视频 视图的位置外的位置的另外视频视图。图1中示出通过视图合成生成另外视图的过程。
[0005] 图1示出带有第一摄像头位置和第二摄像头位置的两个原摄像头位置的示例。对 于这些位置，视频视图102U06和相关联深度图104U08均存在。通过使用单个视频视图 和深度图，能够如图1中在虚拟摄像头位置〇的视频视图112所示，使用视图合成生成在虚 拟摄像头位置的另外视图。备选，两对或更多对视频视图和深度图能够如图1中虚拟摄像 头位置0. 5所示，用于生成在第一与第二摄像头位置之间虚拟摄像头位置的另外视图114。
[0006] -般情况下，在视图合成过程中，对于视频视图中的每个像素，存在相关联深度图 像素。使用已知技术，能够将深度图像素变换成差异值。差异值能够视为映射在原位置与合 成位置之间像素的值，例如，在创建合成图像时原图像中的图像点在水平方向上"移动"多 少个像素。差异值能够用于确定相对于虚拟摄像头位置，相关联视频像素的目标位置。因 此，通过再使用在相应目标位置的相关联视频像素，可形成合成视图。
[0007] 传统"单一"（一个摄像头）视频序列能够通过使用以前图像预测用于图像的像素 值而进行有效压缩，并且只将预测后的差别编码(帧间视频编码)。对于带有多个视图和视 频与深度图的3D视频的情况，借助于视图合成，能够生成另外的预测参考。例如，在压缩带 有相关联深度图的两个视频视图时，能够将用于第一摄像头位置的视频视图和相关联深度 图用于生成另外的预测参考以便用于第二视频视图的编码。此过程是在图2中示出的视频 合成预测。
[0008] 在图2中，在第一摄像头位置的视频视图202和相关联深度图204用于合成在虚 拟第二摄像头位置的虚拟视图214形式的参考图片。随后，将虚拟视图214形式的合成参 考图片用作预测参考以便将在第二摄像头位置的视频视图216和深度图218编码。要注意 的是，此预测在概念上类似于常规(单一）视频编码中的"帧间"预测。如在常规视频编码中 一样，预测是在编码器和解码器侧均执行的规范(标准化）过程。
[0009] 在MPEG标准化中的"3DV"活动中，VSP被视为潜在编码工具。另外，考虑了深度 图以降低的分辨率的编码。也就是说，深度图具有比相关联视频视图更低的分辨率。这是 要降低要编码和传送的数据量，以及降低解码的复杂性，即，降低解码时间。另一方面，视频 合成算法一般依赖视频视图和深度图具有相同分辨率的事实。因此，在MPEG中的当前测试 模型/参考软件(基于H. 264/AVC的MPEG3D的视频编码/解码算法，在开发中）中，在VSP 中使用深度图前将深度图上采样到完全(视频视图）分辨率。
[0010] 执行深度图上采样的一种方案是使用"双线性"过滤。另外，几种算法已在MPEG中 提议用于改进上采样的深度图的质量，并且因此改进VSP操作的准确度，旨在获得更佳的 3D视频编码效率。
[0011] 在MPEG中的当前测试模型中，以降低的分辨率将深度图编码。借助于帧间预测将 深度图本身编码。也就是说，低分辨率深度需要存储为用于将来预测的参考帧。另外，深度 图被上采样到完全(视频视图)分辨率以便用于VSP。这意味着在给定时刻，低分辨率深度图 和上采样的深度图均需要存储(在编码器和解码器中）。例如，假设有8比特深度表示、 的视频分辨率和W*H/4的深度图分辨率，要为低分辨率深度图存储的数据量为W*H/4字节 (对于完全HD分辨率大约为500千字节)，并且要为完全分辨率深度图（要用于VSP)存储的 另外数据量为W*H字节(对于完全HD大约为2M字节)。
[0012] 此类方案的一个缺陷是对上采样的深度图的另外存储要求。第二个缺陷是与深度 图上采样相关联的计算要求。
[0013] 这两个缺陷对利用此类方案的3D视频编码系统的压缩效率有影响。也就是说，3D 视频编码受在VSP中使用的VS过程的质量影响，并且因此受用于VS的深度图影响。


【发明内容】

[0014] 一个目的是减轻至少一些上述缺点并且因此根据第一方面提供了一种执行视图 合成的方法。方法包括： -获得包括沿X方向布置和沿y方向布置的像素的纹理数据， -获得深度图，深度图与所述获得的纹理数据相关联，并且其中，深度图的分辨率在X方向上低至纹理数据的分辨率的dw分之一，并且在y方向上低至dh分之一， _通过执行除法x/dw和y/dh，将纹理像素位置x、y变换成非整数深度图像素位置， -将非整数深度图像素位置舍入到整数深度图像素位置，以及 _至少基于在整数深度图像素位置的获得的纹理数据和深度图值，合成视图。
[0015] 在一些实施例中，合成的步骤转而至少基于与整数深度图像素位置相邻的获得的 纹理数据和深度图值。也使用在整数深度图像素位置的深度图值，执行此类实施例的变化。 这些实施例包括其中使用随在整数深度图像素位置深度图值变化的深度图值、在与整数深 度图像素位置相邻的位置的深度图值，及在非整数深度图像素位置到整数深度图像素位置 的舍入中获得的舍入误差，执行视图的合成的那些实施例。
[0016] 换而言之，概括而言，这些方面避免在现有技术中要求的深度图上采样，并且因此 避免与另外的存储器和计算复杂性要求有关的问题。
[0017] 也就是说，由于不要求(存储/传送）高分辨率深度图，因此，本文中所述实施例具 有降低的存储器消耗的优点。实施例也涉及降低的计算复杂性和良好的编码效率。
[0018] 根据第二方面，提供一种装置，包括配置成如上所概述处理纹理数据和深度图数 据的数字处理部件、存储器部件和通信部件。
[0019] 根据第三方面，提供了一种包括软件指令的非短暂性计算机程序产品，软件指令 在处理器中执行时，执行如上所概述的方法。
[0020] 其它方面提供能够在硬件装置中及在软件中实现的视频编码器和视频解码器。
[0021] 这些其它方面的效果和优点对应于如上结合第一方面概述的效果和优点。

【专利附图】

【附图说明】
[0022] 图1是以示意图方式示出视图合成的图， 图2是以示意图方式示出视图合成预测的图， 图3a以示意图方式示出舍入过程， 图3b是方法的流程图， 图4a_d是以示意图方式示出的舍入过程， 图4e是方法的流程图， 图5a以示意图方式示出舍入过程， 图5b是方法的流程图， 图6a和6b分别以示意图方式示出3D视频编码器和解码器，以及 图7是装置的以示意图方式示出的框图。

【具体实施方式】
[0023] 如上所示，在VS中，在将像素位置（x，y)(假设x，y是整数索引位置）的视频像素 映射到虚拟摄像头位置时，要求在位置（x，y)的深度图。如果深度图只在低分辨率(例如， 水平方向低至dw分之一和垂直方向低至dh分之一的分辨率，例如，dw=dh=2)可用，则对应 深度图像素位置能够确定为（x/dw,y/dh)。如果x/dw和y/dh均为整数位置，则对应深度 图像素存在。如果x/dw或y/dh任一项为非整数，则要求"中间"深度图值，但该值不可用。 解决方案1是使用索引舍入，即，在VSP中使用在位置（round(x/dw),round(y/dh))的深 度图值。
[0024] 此处，运算"round(...) "能够表示舍入到最近整数位置，或者舍入到最近更小的 整数位置（由于它截去要舍入的数字的小数部分，实现特别简单，因此，它是优选的，或者所 谓的"整数除法")，或者舍入到最近更大整数位置。
[0025] 舍入过程能够如图3a和3b中所示。
[0026] 在图3a中，暗色点表示在深度图中的整数索引位置，并且浅色点表示非整数索引 位置。也就是说，对于暗色点，x/dw和y/dh均是整数值，并且对于浅色点，x/dw和y/dh任 一项或两者均为非整数。对于暗色点，深度值可用并且能够用于VSP。对于浅色点，索引位 置被舍入到最近更小的整数位置，如用于三个浅色点的虚线箭头所示。对于剩余浅色点，舍 入以类似方式进行。
[0027] 模拟显示，使用此过程只产生比基于在MPEG测试模型中使用的双线性内插的深 度图上采样(大约0. 06%比特率增大）稍微更差的压缩效率，而在计算复杂性和存储器要求 方面要求的少得多。
[0028] 图3b中示出实施此类过程的示范方法的流程图。方法从两个获得步骤302、304 开始，其中，在获得步骤302中，获得包括沿x方向布置和沿y方向布置的像素的纹理数据。 一般情况下，如技术人员将认识到的一样，x和y方向定义三角坐标系统，并且纹理数据能 够包括视频中贞。
[0029] 在获得步骤304中，获得深度图形式的深度图数据。深度图与获得的纹理数据相 关联，并且深度图的分辨率（即空间分辨率）在x方向上低至纹理数据的分辨率的dw分之 一，并且在y方向上低至dh分之一。
[0030] 要注意的是，即使图3b中的流程可产生获得步骤302、304按顺序执行的印象，这 些步骤302、304也能够以任何顺序执行，并且也能够同时，即并行执行。
[0031] 随后执行变换步骤306,其中，通过执行除法x/dw和y/dh，将纹理像素位置x、y变 换成非整数深度图像素位置。
[0032] 随后，执行舍入步骤308,其中，将非整数深度图像素位置舍入到整数深度图像素 位置。例如，能够向比非整数深度图像素位置更小的最近整数深度图像素位置执行非整数 深度图像素位置到整数深度图像素位置的舍入。
[0033] 随后，执行合成步骤310,其中，至少基于在整数深度图像素位置的获得的纹理数 据和深度图值，合成视图。
[0034] 作为图3a和3b中例示过程的变化，在低分辨率深度图中获得索引位置（即， (round(x/dw),round(y/dh))，即图3a中的相关联暗色点)后，能够将深度图像素的邻居视 为获得要在VSP中使用的深度值。这些变化包括如下的计算，并且将参照图4a_4e例示。
[0035] 假设低分辨率深度图表示为D(u,v)。假设（a,b) =(round(x/dw)，round(y/dh))。 假设用于VSP的结果深度值为V(a，b)。V(a，b)能够例如计算为表1中的示例1-9。

【权利要求】
1. 一种执行视图合成的方法，包括： -获得（302)包括沿x方向布置和沿y方向布置的像素的纹理数据， -获得（304)深度图，所述深度图与所述获得的纹理数据相关联，并且其中所述深度图 的分辨率在x方向上低至所述纹理数据的分辨率的dw分之一，并且在y方向上低至dh分 之一， -通过执行除法x/dw和y/dh，将纹理像素位置x、y变换（306)成非整数深度图像素位 置， -将所述非整数深度图像素位置（308)舍入到整数深度图像素位置，以及 -至少基于在所述整数深度图像素位置的所述获得的纹理数据和深度图值，合成 (310)视图。
2. -种执行视图合成的方法，包括： -获得（402, 502)包括沿x方向布置和沿y方向布置的像素的纹理数据， -获得（404,504)深度图，所述深度图与所述获得的纹理数据相关联，并且其中所述深 度图的分辨率在x方向上低至所述纹理数据的分辨率的dw分之一，并且在y方向上低至dh 分之一， -通过执行除法x/dw和y/dh，将纹理像素位置x、y变换（406, 506)成非整数深度图像 素位置， -将所述非整数深度图像素位置（408, 508)舍入到整数深度图像素位置，以及 _至少基于与所述整数深度图像素位置相邻的所述获得的纹理数据和深度图值，合成 (410,510)视图。
3. 如权利要求2所述的方法，其中也使用在所述整数深度图像素位置的深度图值执行 所述视图的所述合成。
4. 如权利要求3所述的方法，其中使用随在所述整数深度图像素位置的所述深度图值 变化的深度图值、在与所述整数深度图像素位置相邻的位置的深度图值，及在所述非整数 深度图像素位置到整数深度图像素位置的所述舍入中获得的舍入误差，执行所述视图的所 述合成（510)。
5. 如权利要求1到4任一项所述的方法，其中向小于所述非整数深度图像素位置的最 近整数深度图像素位置执行所述非整数深度图像素位置到整数深度图像素位置的所述舍 入。
6. 如权利要求2到5任一项所述的方法，其中借助于过滤运算，组合在所述整数深度图 像素位置和/或相邻位置的所述深度值。
7. 如权利要求6所述的方法，其中所述过滤运算是膨胀运算。
8. -种配置成执行如权利要求1到7任一项所述方法的视频编码器￠02)。
9. 一种配置成执行如权利要求1到7任一项所述方法的视频解码器￠12)。
10. -种装置（700)，包括配置成如权利要求1到7任一项所述处理纹理数据和深度图 数据的数字处理部件（702)、存储器部件（704, 705)和通信部件（706)。
11. 如权利要求10所述的装置，其中所述处理部件、存储器部件和通信部件至少形成 视频编码器的一部分。
12. 如权利要求10所述的装置，其中所述处理部件、存储器部件和通信部件至少形成 视频解码器的一部分。
13. -种包括软件指令的非短暂性计算机程序产品（705)，所述软件指令在处理器中 执行时，执行如权利要求1到7任一项所述的方法。
14. 如权利要求13所述的非短暂性计算机程序产品，其中所述软件指令至少形成视频 编码器的一部分。
15. 如权利要求13所述的非短暂性计算机程序产品，其中所述软件指令至少形成视频 解码器的一部分。
【文档编号】H04N19/597GK104350748SQ201380020291
【公开日】2015年2月11日 申请日期:2013年3月22日 优先权日:2012年4月19日
【发明者】B.乔汉斯森, T.鲁塞特 申请人:瑞典爱立信有限公司