用于在预测3维图像的视点间运动矢量时导出视差矢量的方法
【技术领域】
[0001]本发明涉及用于编码3维(3D)图像的方法和设备，并且更具体地，涉及用于在预测3D图像的视点间运动矢量时导出视差矢量的方法。
【背景技术】
[0002]多视点3D电视具有下述优点:因为能够观看到取决于观察者的位置的3D图像，所以提供了更自然的3D效果，但是多视点3D电视具有下述缺点:不可能提供所有视点的图像，以及甚至在传输方面需要大量成本。因此，需要通过使用经传输的图像针对不存在的视点来制作图像的中间视点图像合成技术。
[0003]在中间视点图像合成中，关键核心是通过获得两个图像的相似度而将视差表示为视差矢量(DV)的视差估计。
[0004]此外，在3D图像的情况下，每个像素包括归因于图像的特征的深度信息和像素信息，并且编码器可以计算深度信息或深度图，以将多视点图像信息以及深度信息传输至解码器。
[0005]在这种情况下，使用运动矢量预测。当前预测单元的相邻块的运动矢量被用作预测运动矢量的候选块，并且具有深度信息的3D图像需要一种用于通过使用深度信息或深度图来简单并高效地导出视差矢量的方法。
【发明内容】
[0006]本发明提供了用于在预测3D图像的视点间运动矢量时导出视差矢量的方法，该方法被用于降低当在预测3D图像的视点间运动矢量过程中导出视差矢量时的复杂度。
[0007]本发明还提供了用于在预测使用所述方法的3D图像的视点间运动矢量时导出视差矢量的方法。
[0008]一方面，所述方法当目标参考图像是预测3D图像的视点间运动矢量时的视点间预测图像并且当前块的相邻块的视点间运动矢量不可用时，根据与所述当前块相关联的深度图中的最大深度值来导出视差矢量，以代替所述不可用的视点间运动矢量，该方法包括通过下述操作来导出视差矢量:通过针对当前块搜索与当前块相关联的深度图中的预定数量的深度样本而获得最大深度值。
[0009]可以通过下述操作来导出最大视差矢量:通过针对由四个8X8大小的块组成的16X16的块大小搜索各个8X8大小的块的四个角的深度样本而获得最大深度值。
[0010]可以通过下述操作来导出最大视差矢量:通过针对由十六个8X8大小的块组成的32X32的块大小搜索各个8X8大小的块的四个角的深度样本而获得最大深度值。
[0011]另一方面，所述方法当目标参考图像是预测3D图像的视点间运动矢量时的视点间预测图像并且当前块的相邻块的视点间运动矢量不可用时，根据与所述当前块相关联的深度图中的最大深度值来导出视差矢量，以代替所述不可用的视点间运动矢量，该方法包括通过下述操作来导出视差矢量:通过根据当前块的大小自适应地搜索与当前块相关联的深度图中的不同数量的深度样本而获得最大深度值。
[0012]可以通过下述操作来导出最大视差矢量:通过根据预测单元(PU)的大小自适应地仅搜索κ(κ是正整数)个深度样本而获得最大深度值。
[0013]可以通过下述操作来导出最大视差矢量:通过针对由四个8X8大小的块组成的16X16的块大小搜索各个8X8大小的块的四个角的深度样本而获得最大深度值。
[0014]可以通过下述操作来导出最大视差矢量:通过针对由十六个8X8大小的块组成的32X32的块大小搜索各个8X8大小的块的四个角的深度样本而获得最大深度值。
[0015]又一方面，所述方法当目标参考图像是预测3D图像的视点间运动矢量时的视点间预测图像并且当前块的相邻块的视点间运动矢量不可用时，根据与所述当前块相关联的深度图中的最大深度值来导出视差矢量，以代替所述不可用的视点间运动矢量，该方法包括通过下述操作来导出视差矢量:在不考虑当前块的大小的情况下，通过针对具有预定大小的当前块搜索与所述具有预定大小的当前块相关联的深度图中的不同数量的深度样本而获得最大株度值。
[0016]根据用于在预测3D图像的视点间运动矢量时导出视差矢量的方法，在当前块的相邻块的特定视点间运动矢量不可用时，通过下述操作来导出视差矢量:搜索当前块中的预定数量的深度样本，并且接着获得最大深度值。因此，与用于通过针对NXN大小的当前块中的所有NXN深度样本获得最大深度值来导出视差矢量的方法相比，能够显著改善复杂度。
[0017]此外，在当前块的相邻块的特定视点间运动矢量不可用时，通过下述操作来导出视差矢量:通过根据当前块的大小，例如预测单元的大小自适应地搜索相应块中的不同数量的深度样本，并且接着获得最大深度值。因此，与用于针对固定的块大小而搜索深度样本的方法相比，能够增加编码增益/解码增益。
【附图说明】
[0018]图1A与图1B是描述根据本发明的示例性实施方式的用于导出视差矢量的方法的示意图。
[0019]图2Α至图21是描述根据本发明的另一示例性实施方式的用于导出视差矢量的方法的示意图。
[0020]图3是描述根据本发明的示例性实施方式的用于导出视差矢量的方法的流程图。
【具体实施方式】
[0021]本发明可以具有各种修改和各种示例性实施方式，并且将在附图中示出并详细地描述具体的示例性实施方式。
[0022]但是，这并不将本发明局限于具体的示例性实施方式，并且应当理解的是，本发明涵盖在本发明的思想和技术范围内的所有的修改、等同物以及替换物。
[0023]诸如第一或第二的术语可以被用以描述各种部件，但所述各种部件不被上述术语所限制。上述术语仅用以区分一个部件与另一部件。例如，在不偏离本发明的范围的情况下，第二部件可以被称为第一部件，并且类似地，第一部件可以被称为第二部件。诸如和/或的术语包括多个相关项的组合或者多个相关项中的任何项。
[0024]应当理解的是，当描述将元件“耦接”或“连接”到另一元件时，可以将该元件“直接耦接”或“直接连接”到另一元件，或者通过第三元件将其“耦接”或“连接”到另一元件。与此相反，应当理解的是:当描述将元件“直接耦接”或“直接连接”到另一元件时，应当理解为在该元件与该另一元件之间没有元件存在。
[0025]在本申请中使用的术语仅用以描述具体的示例性实施方式，并且不意图限制本发明。如果在上下文中不存在明显相反的含义，则单数形式可以包括复数形式。在本申请中，应当理解的是，术语“包括”或“具有”表示存在说明书中描述的特征、数量、步骤、操作、部件、零件或其组合，但术语“包括”或“具有”不事先排除存在或添加一个或更多个其他特征、数量、步骤、操作、部件、零件或组合的可能性。
[0026]如果没有被相反地定义，则本文中所使用的包括技术术语或科学术语的所有术语具有与本领域的普通技术人员通常所理解的含义相同的含义。通常使用的词典中所定义的术语应当被解释为具有与相关领域的背景下的含义相同的含义，并且除非在本发明中被明确定义，否则不被解释为理想地或过于正式的含义。
[0027]在下文中，将参考附图更详细地描述本发明的优选实施方式。在描述本发明时，为了便于全面理解，相同的附图标记指的是相同的元件，并且将省略对相同元件的重复描述。
[0028]在下文中，编码单元(⑶)具有正方形像素大小，并且可以具有2N2N(单位:像素)的可变的大小。CU可以具有递归编码单元结构。可以由CU单元来配置帧间预测、帧内预测、变换、量化、去块滤波和熵编码。
[0029]预测单元(PU)是用于执行帧间预测或帧内预测的基本单元。
[0030]当基于H.264/AVC来执行3D视频编码时，在执行时间运动矢量预测以及视点间运动矢量预测的情况下，如果目标参考图像是时间预测图像，则当前块的相邻块的时间运动矢量被用于运动矢量预测。在这种情况下，当时间运动矢量不可用时，则使用零矢量。通过当前块的相邻块的运动矢量的中值来导出时间运动矢量预测。
[0031]另一方面，当基于H.264/AVC或者比H.264/AVC更高效的视频编码方法来执行3D视频编码时，在执行视点间运动矢量预测的情况下，如果目标参考图像是视点间预测图像，贝IJ当前块的相邻块的视点间运动矢量被用于运动矢量预测被用于视点间预测。在这种情况下，当相邻块的特定视点间运动矢量不可用时，则使用由与当前块有关的深度块(可替选地，深度图)中的最大深度值所变换(可替选地，导出)的最大视差矢量来代替不可用的特定视点间运动矢量。另外，如现有的H.264/AVC的运动矢量预测那样，可以通过当前块的相邻块的视点间运动矢量的中值来导出视点间运动矢量预测。
[0032]这样，当基于H.264/AVC或者比H.264/AVC更高效的视频编码方法来执行3D视频编码时，在如上所述的当前块的相邻块的特定视点间运动矢量不可用的情况下，为了通过使用深度块(可替选地，深度图)中的最大深度值来获得最大视差矢量(DV)，例如，在PU是16X16的宏块的情况下，因为需要搜索256个深度样本，所以需要执行255次比较操作并且其计算是非常复杂的。从而，在这种情况下，作为导出视差矢量的更简单的方法，通过下述操作来导出最大视差矢量:仅搜索K个深度样本，例如当K = 4时的16X 16的宏块的角的四个深度样本而不是256个深度样本，并且接着获得最大深度值。通过简化，要被访问的深度样本的数量从256大大减少到4，并且需要的比较次数从255大大减少到3。
[0033]根据本发明的示例性实施方式，当基于H.264/AVC或者比H.264/AVC更高效的视频编码方法来执行3D视频编码时，根据I3U的大小(例如，16X16,64X64或者32X32像素)，通过自适应地仅搜索K个深度样本并且获得最大深度值来导出最大视差矢量，例如K是等于4、16、32、60、61、74以及90的正整数。
[0034]具体地，当考虑到使用比H.264/AVC的16X16的宏块更大的32X32像素以及64X64