3d视频编码/解码方法和设备的制造方法

3d视频编码/解码方法和设备的制造方法
【专利摘要】本发明提供一种3D视频解码方法和设备。根据本发明的3D视频解码方法包括下述步骤：使用纹理图片的运动信息，确定是否应用用于引导深度图片的运动向量的运动向量继承；当确定应用运动向量继承时，深度图片内的当前块引导到用于运动向量继承的子块大小的深度子块；从与深度子块相对应的纹理图片内的纹理块引导深度子块的运动向量；以及基于深度子块的运动向量，通过生成深度子块的预测采样来引导当前块的重建采样。
【专利说明】
3D视频编码/解码方法和设备
技术领域
[0001]本发明涉及与视频编译相关联的技术，并且更加具体地，涉及3D视频图片的编译。
【背景技术】
[0002]近年来，对高分辨率和高质量视频的需要已经在各种应用领域中增长。然而，视频数据的分辨率和质量变得越高，视频数据的量变得越大。
[0003]因此，当使用诸如现有的有线或者无线宽带线传送视频数据或者视频数据被存储在现有的存储介质中时，传送成本及其存储成本增加。能够使用高效率的视频压缩技术以有效地传送、存储和再现高分辨率和高质量的视频数据。
[0004]另一方面，随着处理高分辨率/大容量视频的能力的实现，使用3D视频的数字广播服务已经作为下一代广播服务引起注意。3D视频能够使用多视图信道提供真实感和沉浸感。
[0005]3D视频能够在诸如自由视点视频(FVV)、自由视点TV(FTV)、3DTV、监视以及家庭娱乐的各种领域中使用。
[0006]不同于单个视图视频，使用多视图的3D视频在具有相同的图片顺序计数POC的视图之间具有高的相关性。因为以多个邻近的相机拍摄相同的场景，即，除视差和微小的照度差值之外，多个视图、多视图视频具有几乎相同的信息，并且因此不同的视图在其间具有高的相关性。
[0007]因此，在不同的视图之间的相关性能够被考虑用于编码/解码多视图视频，并且能够获得对于编码和/或解码当前视图的需求的信息。例如，能够参考在另一视图中的块来预测或者解码在当前的视图中要解码的块。

【发明内容】

[0008]技术问题
[0009]本发明提供一种用于在三维(3D)视频编译中从纹理图片导出深度图片的运动向量的方法和设备。
[0010]本发明提供一种用于在3D视频编译中使用运动向量继承(MVI)通过子块导出深度图片的运动向量的方法和设备。
[0011]本发明提供一种用于在3D视频编译中导出不具有运动信息的深度图片中的子块的运动向量的方法和设备。
[0012]技术方案
[0013]根据本发明的一个实施例，提供一种3D视频解码方法。3D视频解码方法包括:使用关于纹理图片的运动信息来确定是否应用导出深度图片的运动向量的运动向量继承；当确定应用运动向量继承时导出深度图片中的当前块作为用于运动向量继承的具有子块大小的深度子块;从与深度子块相对应的纹理图片中的纹理块导出深度子块的运动向量；以及基于深度子块的运动向量，通过生成深度子块的预测采样来导出当前块的重建采样。
[0014]根据本发明的另一实施例，提供一种3D视频解码设备。3D视频解码设备包括:预测单元，该预测单元使用关于纹理图片的运动信息来确定是否应用导出深度图片的运动向量的运动向量继承，当确定应用运动向量继承时导出深度图片中的当前块作为用于运动向量继承的具有子块大小的深度子块，从与深度子块相对应的纹理图片中的纹理块导出深度子块的运动向量，以及基于深度子块的运动向量通过生成深度子块的预测采样来导出当前块的重建采样。
[0015]有益效果
[0016]根据本发明，在3D视频编译中，可以从纹理图片中导出深度图片的运动向量，从而增加编译效率。
[0017]根据本发明，在3D视频编译中，可以使用MVI通过子块导出深度图片的运动向量，从而增加预测效果。
[0018]根据本发明，在3D视频编译中，可以导出在不具有运动信息的深度图片中的子块的运动向量，从而增加预测效果。
【附图说明】
[0019]图1简要地图示本发明可应用的3维(3D)视频编码和解码过程。
[0020]图2简要地图示本发明可应用的视频编码设备的结构。
[0021]图3简要地图示本发明可应用的视频解码设备的结构。
[0022 ]图4简要地图示本发明可应用的多视图视频编译。
[0023]图5简要地图示使用运动向量继承(MVI)导出深度图片的运动向量的过程。
[0024]图6简要地图示使用MVI通过子块导出深度图片的运动向量的过程。
[0025]图7简要地图示根据本发明的实施例的当使用MVI通过子块导出用于深度图片的运动向量时填充用于不具有运动向量的子块的运动向量的方法。
[0026]图8是简要地图示根据本发明的实施例的使用MVI通过子块导出用于深度图片的运动向量的方法的流程图。
【具体实施方式】
[0027]可以以各种形式修改本发明并且本发明可以具有各种实施例，并且将会在附图中图示其特定的实施例。然而，这些实施例不是旨在限制本发明。在下面的描述中使用的术语被用于仅描述特定的实施例，并且不旨在限制本发明的技术精神。单数的表达包括复数的表达，只要其已经清楚地不同地阅读。在本描述中的诸如“包括”和“具有”的术语旨在指示在下面的描述中使用的特征、数目、步骤、操作、要素、组件、或者其组合存在，并且因此应理解，不排除一个或者多个不同特征、数目、步骤、操作、要素、组件、或者其组合的存在或者添加的可能性。
[0028]另一方面，为了对不同特定功能的解释的方便起见独立地绘制在本发明中描述的附图的元件，并且不意指通过独立的硬件或者独立的软件体现元件。例如，元件之中的两个或更多个元件可以被组合以形成单个元件，或者一个元件可以被分离成多个元件。在没有脱离本发明的概念的情况下其中元件被组合和/或分离的实施例属于本发明的范围。
[0029]在下文中，将会参考附图详细地描述本发明的实施例。在下文中，在整个附图中相同的附图标记被用于指示相同的元件，并且关于相同的元件的相同的描述将会被省略。
[0030]在本说明书中，像素或者像元可以意指组成一个图片的最小单元。此外，“采样”可以用作指示特定像素的值的术语。采样通常指示像素的像素，但是可以仅指示亮度(Iuma)分量的像素值或者仅指示色度分量的像素值。
[0031]单元可以意指图片的图片处理或者特定位置的基本单元。在一些情况下单元可以与诸如块或者区域的术语混合地使用。在通常情况下，MXN个块可以指示通过M列和N行或者变换系数组成的采样的集合。
[0032]图1简要地图示本发明可应用的3维(3D)视频编码和解码过程。
[0033]参考图1，3个视频编码器编码视频图片和深度和相机参数以输出为比特流。
[0034]可以通过相对于需要视频图片(纹理图片)的像素在相机和主题之间的距离信息(深度信息)组成深度图。例如，深度图可以是通过根据比特深度标准化深度信息获得的图片。在这种情况下，可以通过在没有色度表达的情况下记录的深度信息构成深度图。
[0035]通常，因为距主题的距离和视差相互成反比例，所以可以通过使用相机参数从深度图的深度信息中推导指示在视图之间的相关性的视差信息。
[0036]包括深度图和相机信息以及常规的彩色图片，S卩，视频图片(纹理图片)的比特流可以通过网络或者存储介质被发送给解码器。
[0037]解码器接收比特流以重建视频。当3D视频解码器用作解码器时，3D视频解码器可以从比特流解码视频图片，和深度图和相机参数。可以基于解码的视频图片、深度图和相机参数合成对于多视图显示所要求的视图。在这种情况下，当使用的显示器是立体显示器时，可以通过使用在重建的多视图之中的两个图片显示3D图片。
[0038]当使用立体视频解码器时，立体视频解码器可以从比特流中重建要入射到两只眼睛的两个图片。立体显示器可以通过使用视图差异或者在左眼入射的左图片和在右眼入射的右图片之间的视差显示3D图片。当多视图显示器与立体视频解码器一起使用时，可以通过基于两个重建的图片产生其他视图显示多视图。
[0039]当使用2D解码器时，2D图片被重建以通过2D显示器输出该图片。2D显示器被使用，但是当3D视频解码器或者立体视频解码器用作解码器时，重建的图片中的一个可以通过2D显示器输出。
[0040]在图1的配置中，视图合成可以通过解码器或者显示器来执行。此外，解码器和显示器可以是一个装置或者分开的装置。
[0041]在图1中，为了容易描述，描述3D视频解码器、立体视频解码器，和2D视频解码器是分开的解码器，但是一个解码装置可以执行所有的3D视频解码、立体视频解码和2D视频解码。此外，3D视频解码装置可以执行3D视频解码，立体视频解码设备可以执行立体视频解码，并且2D视频解码设备可以执行2D视频解码。此外，多视图显示器可以输出2D视频或者立体视频。
[0042]图2简要地图示本发明可应用的视频编码装置的结构。
[0043]参考图2，视频编码装置200包括图片分割单元205、预测单元210、减法单元215、变换单元220、量化单元225、重排单元230、熵编码单元235、去量化单元240、反变换单元245、加法单元250、滤波单元255和存储器260。
[0044]图片分割单元205可以将输入图片分离为至少一个处理单元块。在这种情况下，处理单元块可以是编译单元块、预测单元块，或者变换单元块。可以根据四树结构从最大编译单元块分离作为编译的单元块的编译单元块。作为从编译单元块分割的块的预测单元块可以是采样预测的单元块。在这种情况下，预测单元块可以被划分为子块。作为编译单元块的变换单元块可以根据四树结构分离，并且可以是推导变换系数的单元块，或者从变换系数推导残留信号的单元块。
[0045]在下文中，为了方便描述，编译单元块被称为编译块或者编译单元，并且预测单元块被称为预测块或者预测单元，并且变换单元块被称为变换块或者变换单元。
[0046]预测块或者预测单元可以意指块状的特定区域或者预测采样的阵列。此外，变换块或者变换单元可以意指块状的特定区域或者变换系数或者残留采样的阵列。
[0047]预测单元210可以执行用于处理目标块(在下文中，被称为当前块)的预测，并且产生包括用于当前块的预测采样的预测块。由预测单元210执行的预测的单元可以是编译块、变换块或者预测块。
[0048]预测单元210可以决定内部预测应用于当前块还是中间预测应用于当前块。
[0049]在内部预测的情况下，预测单元210可以基于在当前块所属的图片(在下文中，当前图片)中的邻近块像素推导用于当前块的预测采样。在这种情况下，预测单元210可以(i)基于当前块的邻近参考采样的平均值或者插值推导预测采样，或者(ii)相对于在当前块的邻近块之中的预测目标像素基于存在于特定方向的参考采样推导预测采样。为了容易描述，(i)的情形称为非定向模式，并且(ii)的情形称为定向模式。预测单元210可以通过使用应用于邻近块的预测模式决定应用于当前块的预测模式。
[0050]在中间预测的情况下，预测单元210可以基于由在共置的图片上的运动向量指定的采样推导用于当前块的预测采样。预测单元10应用跳过模式、合并模式和MVP模式的任何一个以推导用于当前块的预测采样。在跳过模式和合并模式的情形下，预测单元210可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，不发送在预测采样和原始采样之间的差异(残留)。在MVP模式的情况下，邻近块的运动向量被用作运动向量预测器(MVP)以推导当前块的运动向量。
[0051]在中间预测的情况下，邻近块包括存在于当前图片中的空间邻近块和存在于共置的图片中的空间邻近块。运动信息包括运动向量和共置的图片。在跳过模式和合并模式中，当使用空间邻近块的运动信息时，在共置的图片列表上最高的图片可以被用作共置的图片。
[0052]在编码相关视图的情况下，预测单元210可以执行视图间预测。
[0053]预测单元210可以配置包括另一视图的图片的共置的图片列表。对于视图间预测，预测单元210可以推导视差向量。不同于指定在当前视图中的另一个图片中与当前块相对应的块的运动向量，视差向量可以指定在与当前图片相同的接入单元的另一个视图中与当前块相对应的块。
[0054]预测单元210可以基于视差向量指定在深度视图中的深度块，并且执行合并列表、视图间运动预测、照度补偿(1C)、视图合成等的配置。
[0055]用于当前块的视差向量可以通过使用相机参数从深度值推导，或者从在当前的或者另一视图中的邻近块的运动向量或者视差向量推导。
[0056]例如，预测单元210可以将对应于参考视图的空间运动信息的视图间合并候选(IvMC)、对应于视差向量的视图间视差向量候选(IvDC)、通过视差的移位推导的移位的IvMC、从与当前块是在深度图上的块情况对应的纹理推导的纹理合并候选(T)、通过使用视差从纹理合并候选推导的视差导出合并候选(D)、基于视图合成导出的视图合成预测合并候选(VSP)等添加到合并候选列表。
[0057]在这种情况下，在应用于相关视图的合并候选列表中包括的候选的数目可能受到预先确定的值的限制。
[0058]此外，预测单元210可以通过应用视图间运动向量预测基于视差向量预测当前块的运动向量。在这种情况下，预测单元210可以基于在相应的深度块中最大深度值的变换导出视差向量。当通过将视差向量添加到参考视图中的当前块的采样位置指定参考视图中的参考采样的位置时，包括参考采样的块可以用作参考块。预测单元210可以将参考块的运动向量用作当前块的候选运动参数或者运动向量预测器候选，并且将视差向量用作用于DCP的候选视差向量。
[0059]减法单元215产生残留采样，该残留采样是在原始采样和预测采样之间的差。当应用跳过模式时，减法单元215可以不产生如上所述的残留采样。
[0060]变换单元210通过以变换块为单元使用变换残留的采样产生变换系数。量化单元225量化变换系数以产生量化的变换系数。
[0061 ]重排单元230重新排序量化的变换系数。重排单元230可以通过扫描方法以ID向量形状重新排序块状的量化的变换系数。
[0062]熵编码单元235可以执行量化的变换系数的熵编码。作为熵编码，可以使用例如包括指数Golomb、上下文自适应可变长编译(CAVLC)、上下文自适应二进制算术编译(CABAC)等的编码方法。除了量化的变换系数之外，熵编码单元235可以共同地或者分别地编码对于视频重建所要求的信息(例如，语法元素的值等)。
[0063]熵编码的信息可以作为比特流的形式通过网络抽象化层的单元被发送或者存储。
[0064]去量化单元240将量化的变换系数去量化以产生变换系数。逆变换单元245将变换系数逆变换以产生残留采样。
[0065]加法单元250将残留采样和预测采样相加以重建图片。残留采样和预测采样通过块的单元彼此相加以产生重建块。在此，加法单元250被描述为单独的部件，但是，加法单元250可以是预测单元210的一部分。
[0066]滤波器单元255可以将去块滤波器和/或偏移应用于被重建的图片。通过去块滤波和/或偏移可以校正在人为或者重建的图片中的块边界的量化过程期间的失真。该偏移可以通过采样的单元被应用，并且在去块滤波的处理完成之后被应用。
[0067]存储器260可以存储被重建的图片或者对于编码/解码所要求的信息。例如，存储器60可以存储被用于中间预测/视图间预测的图片。在这种情况下，被用于中间预测/视图间预测的图片可以由共置的图片集或者共置的图片列表来指定。
[0068]在此，描述一个编码装置编码独立视图或者相关视图，但是这是为了易于描述并且单独的编码装置被配置用于每个视图或者单独的内部模块(例如，用于每个视图的预测单元)可以被配置用于每个视图。
[0069]图3简要地图示本发明可应用的视频解码装置的结构。
[0070]参考图3，视频解码装置300包括熵解码单元310、重排单元320、去量化单元330、逆变换单元340、预测单元350、加法单元360、过滤器单元370和存储器380。
[0071]当输入包括视频信息的比特流时，视频解码装置300可以重建视频以对应于其中视频信息由视频编码装置处理的过程。
[0072]例如，视频解码装置300可以通过使用在视频编码装置中应用的处理单元执行视频解码。在这种情况下，视频解码的处理单元块可以是编译单元块、预测单元块，或者变换单元块。作为解码的单元块的编译单元块可以根据四树结构从最大编译单元块分离。作为从编译单元块分割的块的预测单元块可以是采样预测的单元块。在这种情况下，预测单元块可以被划分为子块。作为编译单元块的变换单元块可以根据四树结构被分离，并且可以是导出变换系数的单元块或者从变换系数导出残留信号的单元块。
[0073]熵解码单元310解析比特流以输出对于视频重建或者图片重建所要求的信息。例如，熵解码模块310可以基于指数Go I omb、CAVLC、CABAC等解码比特流中的信息并且输出对于视频重建所要求的语法元素的值、与残留相关联的变换系数的量化的值等。
[0074]当多个视图被处理以便于再现3D视频时，可以为每个视图输入比特流。可替选地，关于各自的视图的信息可以在比特流中被复用。在这种情况下，熵解码单元310解复用该比特流以解析用于每个视图的被解复用的比特流。
[0075]重排单元320可以以2D块形式重排量化的变换系数。重排单元320可以执行重排以对应于由编码装置执行的系数扫描。
[0076]去量化单元330基于(去)量化的参数去量化被量化的变换系数以输出变换系数。可以从编码装置用信号发送用于导出被量化的参数的信息。
[0077]逆变换单元340逆变换该变换系数以导出残留采样。
[0078]预测单元350可以执行用于当前块的预测并且产生包括用于当前块的预测采样的预测块。由预测单元350执行的预测的单元可以是编译块、变换块或者预测块。
[0079]预测单元350可以决定内部预测应用于当前块还是中间预测应用于当前块。在这种情况下，用于决定应用内部预测或者中间预测的单元和用于产生预测采样的单元可以相互不同。另外，用于在中间预测和内部预测中产生预测采样的单元也可以相互不同。
[0080]在内部预测的情况下，预测单元350可以基于在当前图片中的邻近块像素导出用于当前块的预测采样。预测单元350可以基于当前块的邻近参考块通过应用定向模式或者非定向模式导出用于当前块的预测采样。在这种情况下，可以通过使用邻近块的内部预测模式决定要应用于当前块的预测模式。
[0081]在中间预测的情况下，预测单元350可以基于由共置的图片上的运动向量指定的采样导出用于当前块的预测采样。预测单元10应用跳过模式、合并模式和MVP模式的任何一个以导出用于当前块的预测采样。
[0082]在跳过模式和合并模式的情形下，预测单元350可以使用邻近块的运动信息作为当前块的运动信息。在这种情况下，邻近块可以包括空间邻近块和时间邻近块。
[0083]预测单元350可以将合并候选列表配置成可用的邻近块的运动信息，并且由在合并候选列表上的合并索引指示的信息可以用作当前块的运动向量。可以从编码装置用信号发送该合并索引。运动信息包括运动向量和共置的图片。在跳过模式和合并模式中，当使用时间邻近块的运动信息时，在共置的图片列表上的最高的图片可以用作共置的图片。
[0084]在跳过模式的情况下，不同于合并模式，不发送在预测采样和原始采样之间的差异(残留)。
[0085]在MVP模式的情况下，邻近块的运动向量被用作运动向量预测器(MVP)以导出当前块的运动向量。在这种情况下，邻近块可以包括空间邻近块和时间邻近块。
[0086]在编码相关视图的情况下，预测单元350可以执行视图间预测。在这种情况下，预测单元350可以配置包括另一视图的图片的共置的图片列表。
[0087]对于视图间预测，预测单元350可以导出视差向量。预测单元350可以基于视差向量指定在深度视图中的深度块，并且执行合并列表、视图间运动预测、照度补偿(1C)、视图合成等的配置。
[0088]用于当前块的视差向量可以通过使用相机参数从深度值导出，或者从在当前或者另一视图中的邻近块的视差向量或者运动向量导出。可以从编码装置用信号发送相机参数。
[0089]当合并模式应用于相关视图的当前块时，预测单元350可以将与参考视图的时间运动信息相对应的IvDC、与视差向量相对应的IvDC、通过视差向量的移位导出的移位IvMC、从与当前块是在深度图上的块的情形相对应的纹理导出的纹理合并候选(T)、通过使用视差从纹理合并候选导出的视差推导合并候选(D)、基于视图合成导出的视图合成预测合并候选(VSP)等添加到合并候选列表。
[0090]在这种情况下，包括在应用于相关视图的合并候选列表中的候选的数目可能受到预先确定的值的限制。
[0091]此外，预测单元350可以通过应用视图间运动向量预测基于视差向量预测当前块的运动向量。在这种情况下，预测单元350可以使用在由视差向量指定的参考视图中的块作为参考块。预测单元350可以使用参考块的运动向量作为候选运动参数或者当前块的运动向量预测器候选并且使用视差向量作为用于DCP的候选视差向量。
[0092]加法单元360将残留采样和预测采样相加以重建当前块或者当前图片。加法单元360以块为单元相加残留采样和预测采样以重建当前图片。当应用跳过模式时，因为残留没有被发送，所以预测采样可以变为重建采样。在此，加法单元360被描述为单独的组件，但是加法单元360可以是预测单元350的一部分。
[0093]滤波器单元370可以将去块滤波和/或偏移应用于重建的图片。在这种情况下，偏移可以被适应地应用为采样单元的偏移。
[0094]存储器380可以存储重建的图片或者对于解码所要求的信息。例如，存储器380可以存储被用于中间预测/视图间预测的图片。在这种情况下，被用于中间预测/视图间预测的图片可以由共置的图片集或者共置的图片列表指定。重建的图片可以用作被共置的图片。
[0095]此外，存储器380可以根据输出顺序输出重建的图片。为了再现3D图片，虽然未图示，输出单元可以显示多个不同的视图。
[0096]在图3的示例中，描述了一个解码装置解码独立视图和相关视图，但这是为了易于描述并且本发明不限于此。例如，每个解码装置可以对于每个视图操作，并且一个解码装置可以包括与其中的每个视图相对应的操作单元(例如，预测单元)。
[0097]多视图视频编译可以对与当前图片属于相同的接入单元(AU)的另一视图使用被编译的数据编译当前图片，从而增加当前视图的视频编译效率。在此，AU可以指的是具有相同的POC的图片的集合。POC对应于转动以显示图片。
[0098]在多视图编译中，可以通过AU编译视图或者可以通过视图编译图片。根据给定的顺序可以编译视图。被首先编译的视图可以被称为基本视图或者独立视图。在独立的视图被编译之后要参考另一视图编译的视图可以被称为相关视图。当当前视图是相关视图时，被用作用于编译当前视图的参考的另一视图可以被称为参考视图。
[0099]图4简要地图示本发明可应用的多视图视频编译。
[0100]在编译多视图视频中，根据预先定义的视图编译顺序编译在一个AU中具有不同的视图标识符(ID)但是具有相同的POC的图片。
[0101]例如，如在图4中所图示，假定按照视图VO和视图Vl的顺序编译两个视图(视图VO和视图VI)。在此，在AU中被首先编译的视图VO是基本视图或者独立视图并且接下来被编译的视图Vl是相关视图。
[0102]参考属于基本视图，不是另一视图的图片编译基本视图。参考已经编译的另一视图编译紧跟基本视图的相关视图。
[0103]在多视图视频编译中，可以参考已经编译的图片执行用于属于相关视图的编译单元(CU)的中间预测。在此，参考具有相同的视图1D的图片执行预测的方法被称为运动补偿预测(MCP)，同时在相同的AU中参考具有不同的视图1D的图片的预测的方法被称为视差补偿预测(DCP)。
[0104]例如，参考图4，参考属于与块A相同的视图(Vl)的图片，块A可以经历MCP以导出预测采样。参考在相同的AU中与块B不同的视图(VO)中的图片，块B可以被经历DCP以导出预测米样。
[0105]同时，3D视频具有一般的颜色图像信息的纹理图片和具有关于纹理图片的深度信息的深度(或者深度-映射)图片。
[0106]可以(同时)参考关于来自于相同视图的纹理图片的编译信息编译深度图片。即，可以参考关于具有与深度图片相同的POC的纹理图片的编译信息编译深度图片。
[0107]因为深度图片可以同时与纹理图片同时捕获或者通过同时计算关于纹理图片的深度信息产生，所以深度图片和纹理图片同时具有非常高的相关性。
[0108]因此，在编译深度图片中，关于已经编译的纹理图片的信息，诸如关于纹理图片的块分割信息或者运动信息，可以被使用。例如，关于纹理图片的相同的运动信息可以被用于深度图片，其被称为运动参数继承(MPI)。特别地，从纹理图片继承运动向量的方法被称为运动向量继承(MVI)。
[0109]图5简要地图示使用MVI导出深度图片的运动向量的过程。
[0110]参考图5，在与深度图片510中的当前块520相同的位置处从纹理图片530中的相应块540继承运动向量。例如，可以从相应块540的中心导出运动向量550以被用作用于当前块520的运动向量560。在此，当在与当前块520相同的位置处的相应块540是内部预测块时，相应块540的运动向量550没有被继承。
[0111]图5图示从纹理图片中的相应块的中心导出运动信息并且将该运动信息应用于深度图片中的当前块的方法。根据另一方法，纹理图片中的相应块被分割成具有有规则的大小的子块并且通过要被应用于深度图片中的当前块的被分割的子块得到运动信息。在此，相应块可以是预测单元(PU)，并且子块可以是子HJ。
[0112]图6简要地图示使用MVI通过子块导出深度图片的运动向量的过程。
[0113]图6的实施例图示从纹理图片通过子块(子PU)导出深度图片的运动向量的方法。
[0114]参考图6，可以从纹理图片630中的相应块640继承用于深度图片610的用于当前块620的运动向量。在此，可以通过子块实现运动向量的继承。
[0115]当当前块620是PU(或者预测块)时，在当前块620中的子块Cl和在相应块640中的子块C’I至C’4是子PU(或者子预测块)。
[0116]子PU的大小可以被设置为NX M(N和M是大于O的整数)并且可以基于被定义的子PU的大小从相应块640中的子块C’I至C’4得到用于在当前块620中的子块Cl至C4的运动向量，不论关于在纹理图片中的块的最初分割信息如何。
[0117]在此，在子中从其得到运动信息的位置可以是子PU的中心或者子的左上位置。
[0118]如上所述，当通过子PU从纹理图片导出用于深度图片的运动信息时，可能不存在用于特定的子PU的运动信息。在下文中，本发明提供当使用MVI通过子PU导出用于深度图片的运动信息时填充用于不具有运动信息的子PU的运动信息的方法。
[0119]图7简要地图示根据本发明的实施例的当使用MVI通过子块导出用于深度图片的运动向量时填充用于不具有运动向量的子块的运动向量的方法。
[0120]参考图7，当使用MVI通过子块导出运动向量时，根据预先定义的子块大小可以分割当前要编译(编码/解码)的深度图片710的深度块720。预先定义的子块大小可以是从编码设备用信号发送的信息，其可以是N X M大小(N和M是大于O的整数)。
[0121]深度块720的每个被分割的子块(在下文中，在深度块720中的子块被称为深度子块)可以在与纹理图片730中的每个深度子块的相应位置处从纹理子块获得运动向量。
[0122]在此，深度块720可以是预测块或者PU，并且深度子块可以是子预测块或者子PU。
[0123]纹理图片730可以是与深度图片710同时的图片，S卩，具有与深度图片710相同的POC的图片，并且可以是具有与深度图片710相同的视图1D的图片。纹理子块可以是在与深度子块的相同位置处存在的纹理图片730中的预测块(或者PU)。纹理块740可以是在与深度块720相同的位置处存在的纹理图片730中的预测块(或者PU)。
[0124]在从纹理图片730中的纹理子块导出用于深度子块的运动向量中，可以不存在纹理子块742的运动向量。例如，当在内部预测模式下编译纹理子块时，可以不存在运动向量。在这样的情况下，相应的深度子块722可以不从纹理子块742获得运动向量。
[0125]在此，相邻块的运动向量可以填充用于深度子块722的运动向量。相邻块的运动向量可以是左或者上深度子块(或者纹理子块)的运动向量。
[0126]可替选地，预先定义的运动向量可以填充用于深度子块722的运动向量。预先定义的运动向量可以是通过来自于相邻块(NBDV)或者深度导向的(depth-oriented)NBDV的视差向量指示的块的运动向量。可替选地，预先定义的运动向量可以是作为最后导出的运动向量的最新运动向量，其可以连续地更新。可替选地，预先定义的运动向量可以是零向量(O，O)。在此，从相邻块导出的视差向量被称为NBDV并且通过使用深度信息修改从NBDV导出的视差向量获得的视差向量被称为DoNBDV。
[0127]可替选地，在深度块720中的特定位置处存在的运动向量可以填充用于深度子块722的运动向量。在此，特定位置可以是块中的中心位置、左上位置、右下位置等。
[0128]例如，计算在深度块720中的特定位置(例如，当前位置)。如果与特定位置相对应的纹理子块的运动向量存在，则纹理子块的运动向量可以被定义为默认运动向量。参考图7，与深度块720的中心位置相对应的纹理块740的子块可以是纹理子块744。在此，如果纹理子块744的运动向量存在，则此运动向量可以被设置为用于深度块720的默认运动向量。如果在导出用于深度子块的运动向量中从纹理子块没有填充运动信息，则默认运动向量可以被设置为用于深度子块722的运动向量。
[0129]如上所述，当在特定位置处存在的运动向量被定义以用作默认运动向量时，在特定位置处的运动向量的不存在使得本身不能设置为默认运动向量。在这样的情况下，取决于是否默认运动向量被设置可以确定是否执行MVI。例如，当默认运动向量没有被设置时，用于深度块720的MVI不可以被执行。可替选地，当默认运动向量没有被设置时，通过NBDV或者DoNBDV指示的运动向量或者零向量可以被设置为用于不具有运动向量的深度子块722的运动向量。
[0130]图8是根据本发明的实施例的使用MVI通过子块导出用于深度图片的方法的流程图。可以通过在图2中图示的编码设备和图3中图示的解码设备执行图8的方法。为了描述的方便，本实施例图示通过图2的编码设备和图3的解码设备的预测单元执行方法。
[0131]参考图8，预测单元确定是否应用MVI(S800)。
[0132]如上所述，MVI指的是使用关于纹理图片的运动信息导出用于深度图片的运动向量的方法。即，关于纹理图片的相同运动信息可以被用于深度图片。
[0133]解码设备可以基于从编码设备用信号发送的信息确定是否将MVI应用于深度图片。
[0134]当确定将MVI应用于深度图片时，预测单元导出深度图片中的当前块作为应用MVI的深度子块(S810)。
[0135]当前块可以是作为用于执行预测的单元的预测块或者PU。
[0136]可以基于用于MVI的子块大小信息确定深度子块。用于MVI的子块大小信息是从编码设备用信号发送的信息，其可以是N X M大小(N和M是大于O的整数)。
[0137]预测单元从纹理图片通过深度子块导出运动(S820)。更加具体地，预测单元可以导出在与深度子块的相同位置处存在的纹理图片中的纹理块(纹理子块)并且可以将纹理块的运动向量设置为用于深度子块的运动向量。
[0138]纹理图片是与深度图片同时的图片，其可以具有与深度图片相同的POC和相同的视图1D。
[0139]在此，当不存在关于纹理块的运动信息(例如，在内部预测模式中编译纹理块时)，深度子块可以不从纹理图片的纹理块获得运动向量。
[0140]在这样的情况下，预测单元可以导出如在上面图7中所描述的用于深度子块的运动向量。
[0141]例如，预测单元可以从与当前块的特定位置(中心位置、左上位置、右下位置等)相对应的纹理图片中的相应块导出默认运动向量。如果在导出用于深度子块的运动向量中不存在关于纹理块的运动信息，则预测单元可以将默认运动向量设置为用于深度子块的运动向量。
[0142]在此，当不存在关于相应块的运动信息时，也不能够导出默认运动向量。即，可能不能够设置默认运动向量。在这样的情况下，预测单元可以基于是否默认运动向量被设置确定是否执行MVI。例如，当默认运动向量没有被设置时，预测单元不可以执行用于当前块的MVI。可替选地，当默认运动向量没有被设置时，预测单元可以将由NBDV或者DoNBDV指示的运动向量设置为用于深度子块的运动向量。
[0143]在另一示例中，当在导出用于深度子块的运动向量中不存在关于纹理块的运动信息时，预测单元可以将相邻块的运动向量设置为用于深度子块的运动向量。相邻块的运动向量可以是左或者上深度子块的运动向量。可替选地，相邻块的运动向量可以是被布置在不具有运动信息的纹理块的左侧或者上侧上的纹理块的运动向量。
[0144]在又一示例中，当在导出用于深度子块的运动向量中不存在关于纹理块的运动信息时，预测单元可以将预先定义的运动向量设置为用于深度子块的运动向量。例如，预先定义的运动向量可以是零向量、作为最后导出的运动向量的最新运动向量、或者由NBDV或者DoNBDV指示的块的运动向量。
[0145]预测单元基于所导出的深度子块的运动向量生成深度子块的预测采样(S830)。
[0146]例如，预测单元可以使用由参考图片中的深度子块的运动向量指示的区域中的采样作为用于深度子块的预测采样。
[0147]预测单元可以基于深度子块的预测采样构造用于当前块的预测采样并且可以添加当前块的预测采样和残留采样以导出重建的块。
[0148]如上所述，当从相应的纹理图片的纹理块中导出用于当前要被编译(编码/解码)的深度图片中的当前块的运动向量时，PU或者子PU可以被用作单元。在本发明中，附加的标志可以被用于自适应地选择PU或者子HJ中的一个作为单元。
[0149]在上述示例性系统中，已经基于使用作为一系列步骤或者块的流程图描述了方法，但是方法不限于本发明的步骤的顺序，并且任何步骤可以以与前述步骤或者顺序不同的步骤或者顺序出现或者可以与前述步骤或者顺序同时出现。前述的实施例包括各种方面的示例。因此，能够进行属于随附的权利要求的本发明的所有的其他替代、修改以及变化。
【主权项】
1.一种三维(3D)视频解码方法，包括: 使用关于纹理图片的运动信息来确定是否应用导出深度图片的运动向量的运动向量继承； 当确定应用所述运动向量继承时，导出所述深度图片中的当前块作为用于所述运动向量继承的具有子块大小的深度子块； 从与所述深度子块相对应的纹理图片中的纹理块导出所述深度子块的运动向量；以及 基于所述深度子块的运动向量，通过生成所述深度子块的预测采样来导出所述当前块的重建采样。2.根据权利要求1所述的3D视频解码方法，进一步包括:从与所述当前块的中心位置相对应的纹理图片的相应块导出默认运动向量， 其中，当不存在关于所述纹理块的运动信息时，所述深度子块的运动向量的导出将所述默认运动向量设置为所述深度子块的运动向量。3.根据权利要求2所述的3D视频解码方法，其中，当不存在关于所述相应块的运动信息时，所述深度子块的运动向量的导出将由来自于相邻块(NBDV)或者深度导向的NBDV的视差向量所指示的块的运动向量或者零向量设置为所述深度子块的运动向量。4.根据权利要求2所述的3D视频解码方法，其中，当不存在关于所述相应块的运动信息时，所述深度子块的运动向量的导出不将所述运动向量继承应用于所述深度子块。5.根据权利要求1所述的3D视频解码方法，其中，当不存在关于所述纹理块的运动信息时所述深度子块的运动向量的导出将相邻块的运动向量设置为所述深度子块的运动向量，以及所述相邻块的运动向量是被定位在所述深度子块的左侧或者上侧上的块的运动向量。6.根据权利要求1所述的3D视频解码方法，其中，当不存在关于所述纹理块的运动信息时所述深度子块的运动向量的导出将预先定义的运动向量设置为所述深度子块的运动向量，以及所述预先定义的运动向量是由NBDV或者DoNBDV所指示的块的运动向量、零向量、在所述纹理块中的特定位置处的子块的运动向量、或者最后导出的最新运动向量。7.根据权利要求1所述的3D视频解码方法，其中，所述纹理图片是具有与所述深度图片相同的图片顺序计数(POC)和相同的视图标识符(ID)的图片。8.根据权利要求1所述的3D视频解码方法，其中，所述纹理块是在与所述纹理图片中的深度子块相同的位置处的块。9.根据权利要求1所述的3D视频解码方法，其中，所述子块具有基于从编码器接收到的信息所确定的大小。10.根据权利要求1所述的3D视频解码方法，其中，所述当前块是预测块。11.一种三维(3D)视频解码设备，包括: 预测单元，所述预测单元使用关于纹理图片的运动信息来确定是否应用导出深度图片的运动向量的运动向量继承， 当确定应用所述运动向量继承时，导出所述深度图片中的当前块作为用于所述运动向量继承的具有子块大小的深度子块， 从与所述深度子块相对应的纹理图片中的纹理块导出所述深度子块的运动向量，以及 基于所述深度子块的运动向量，通过生成所述深度子块的预测采样来导出所述当前块的重建采样。12.根据权利要求11所述的3D视频解码设备，其中，所述预测单元从与所述当前块的中心位置相对应的纹理图片的相应块导出默认运动向量，以及当不存在关于所述纹理块的运动信息时将所述默认运动向量设置为所述深度子块的运动向量。13.根据权利要求12所述的3D视频解码设备，其中，当不存在关于所述相应块的运动信息时，所述预测单元将由来自于相邻块(NBDV)或者深度导向的NBDV的视差向量所指示的块的运动向量或者零向量设置为所述深度子块的运动向量。14.根据权利要求12所述的3D视频解码设备，其中，当不存在关于所述相应块的运动信息时，所述预测单元不将所述运动向量继承应用于所述深度子块。15.根据权利要求11所述的3D视频解码设备，其中，当不存在关于所述纹理块的运动信息时所述预测单元将相邻块的运动向量设置为所述深度子块的运动向量，以及所述相邻块的运动向量是被定位在所述深度子块的左侧或者上侧上的块的运动向量。16.根据权利要求11所述的3D视频解码设备，其中，当不存在关于所述纹理块的运动信息时所述预测单元将预先定义的运动向量设置为所述深度子块的运动向量，以及所述预先定义的运动向量是由NBDV或者DoNBDV所指示的块的运动向量、零向量、在所述纹理块中的特定位置处的子块的运动向量、或者最后导出的最新运动向量。17.根据权利要求11所述的3D视频解码设备，其中，所述纹理图片是具有与所述深度图片相同的图片顺序计数(POC)和相同的视图标识符(ID)的图片。18.根据权利要求11所述的3D视频解码设备，其中，所述纹理块是在与所述纹理图片中的深度子块相同的位置处的块。19.根据权利要求11所述的3D视频解码设备，其中，所述子块具有基于从编码器接收到的信息所确定的大小。20.根据权利要求11所述的3D视频解码设备，其中，所述当前块是预测块。
【文档编号】H04N13/00GK106068649SQ201580012725
【公开日】2016年11月2日
【申请日】2015年3月10日 公开号201580012725.5, CN 106068649 A, CN 106068649A, CN 201580012725, CN-A-106068649, CN106068649 A, CN106068649A, CN201580012725, CN201580012725.5, PCT/2015/2275, PCT/KR/15/002275, PCT/KR/15/02275, PCT/KR/2015/002275, PCT/KR/2015/02275, PCT/KR15/002275, PCT/KR15/02275, PCT/KR15002275, PCT/KR1502275, PCT/KR2015/002275, PCT/KR2015/02275, PCT/KR2015002275, PCT/KR201502275
【发明人】柳先美, 南廷学, 芮世薰
【申请人】Lg电子株式会社