本申请是申请人于2013年7月22日向中国专利局提交的申请号为201280006137.3,国际申请号为pct/kr2012/007176,发明名称为“用于引导合并候选块的方法和使用该方法的设备”的发明申请的分案申请。
本发明涉及一种编码和解码视频的方法,并且尤其涉及一种导出合并候选块的方法以及使用该方法的装置。
背景技术:
近来,在各种应用领域中对诸如高清晰度(hd)视频和超高清晰度(uhd)视频的具有高分辨率和高质量的视频的需求不断增加。随着视频的分辨率和质量变得更高,视频的大小与现有的视频相比相对地增加,因此,在该视频利用诸如现有的布线或者无线宽带网络被传输或者被存储在现有存储介质中的情况下,传输成本和存储成本将增加。为了解决因为分辨率和质量变得更高而产生的这些问题,可以使用高效率的视频压缩技术。
视频压缩技术包括各种技术,诸如:用于从当前画面之前或者之后的画面来预测包括在当前画面中的像素值的(画面)间预测技术、用于通过使用在当前画面内的像素信息来预测包括在当前画面中的像素值的(画面)内预测技术,以及用于将较短代码分配给高出现频率值并且将较长代码分配给低出现频率值的熵编码技术,并且,通过使用这种视频压缩技术,视频数据可以被高效地压缩,以进行传输或者存储。
技术实现要素:
技术问题
本发明的第一目的是提供一种利用并行处理来导出合并候选的方法。
本发明的第二目的是提供一种用于执行利用并行处理来导出合并候选的方法的装置。
技术方案
根据用于实现如上所述的本发明的第一目的的本发明的一个方面,提供一种获得合并候选块的方法。该方法可以包括对运动估计区域(mer)相关信息进行解码;确定预测目标块和空间合并候选块是否被包括在相同的mer中;以及在预测目标块和空间合并候选块包括在相同mer中时,如果确定不使用空间合并候选块的合并候选块,则决定空间合并候选块为不可用的合并候选块。该方法还可以包括:如果预测目标块和空间合并候选块被包括在相同mer中,则根据mer的大小和预测目标块的大小来适应性地确定空间合并候选块。如果mer的大小是8×8并且预测目标块的大小是8×4或者4×8,可以利用包括位于mer外部的点的块来代替预测目标块的空间合并候选块中的至少之一。该方法还可以包括确定空间合并候选块是否包括在仍未被解码的mer中。该方法还可以包括:如果预测目标块和空间合并候选块被包括在相同mer中,则利用包括在其它mer中的块来代替空间合并候选块。根据包括在相同mer中的空间合并候选块的位置,所代替的空间合并候选块可以是被适应性地代替为包括在与预测目标块不同的mer中的空间合并候选块。mer相关信息可以是有关mer的大小的信息并且在画面单元中传输。确定预测目标块和空间合并候选块是否包括在相同的mer中可以包括根据基于预测目标块的位置信息、空间合并候选块的位置信息以及mer的大小信息的确定式来确定预测目标块和空间合并候选块是否被包括在相同的mer中。
根据上述用于实现本发明的第二目的的本发明的另一方面,提供一种图像解码装置。该装置可以包括:熵解码单元,用于对运动估计区域相关信息进行解码;以及预测单元,用于确定预测目标块和空间合并候选块是否被包括在相同的mer中,并且如果预测目标块和空间合并候选块被包括在相同的mer中,则将该空间合并候选块决定为不可用的合并候选块。该预测单元可以是在预测目标块和空间合并候选块包括在相同mer中的情况下根据mer的大小和预测目标块的大小来适应性地确定空间合并候选块的预测单元。如果mer的大小是8×8并且预测目标块的大小是8×4或者4×8,则预测单元可以利用包括位于该mer外部的点的块来代替该预测目标块的空间合并候选块中的至少之一。该预测单元可以确定空间合并候选块模块是否包括在仍未被解码的mer中。该预测单元可以是在预测目标块和空间合并候选块被包括在相同的mer中时利用包括在其它mer中的块来代替空间合并候选块的预测单元。根据包括在相同mer中的空间合并候选块的位置,所代替的空间合并候选块可以是被适应性地代替为包括在与预测目标块不同的mer中的空间合并候选块。mer相关信息可以是有关mer的大小的信息并且被在画面单元中传输。预测单元可以是基于根据预测目标块的位置信息、空间合并候选块的位置信息以及mer的大小信息的确定式来确定预测目标块和空间合并候选块是否包括在相同的候选块mer中的预测单元。
根据本发明的又一个方面,提供了一种解码视频信号的方法,所述方法包括:获取用于标识配置画面的配置参考索引,所述配置画面具有当前块的时间合并候选块;基于所述配置参考索引确定所述配置画面;根据所述配置画面中的所述时间合并候选块获取运动预测相关信息;生成包括所述时间合并候选块的合并候选列表;基于运动信息获取所述当前块的预测样本;通过使用所述当前块的所述预测样本和剩余样本,获取所述当前块的重构样本;以及将解块滤波器应用于所述重构样本。
技术效果
根据本发明的示例性实施例中描述的获得合并候选块的方法以及使用该方法的装置,并行处理可以通过并行地执行获得合并候选块的方法来实现,从而,可以降低计算量以及实施的复杂度。
附图说明
图1是图示根据本发明的示例性实施例的视频编码器的框图。
图2是图示根据本发明的另一示例性实施例的视频解码器的框图。
图3是图示根据本发明的示例性实施例的用于应用合并模式和跳跃模式的候选块的概念视图。
图4是图示根据本发明的示例性实施例的决定合并候选块的方法的概念视图。
图5是图示根据本发明的示例性实施例的根据mer的大小来决定合并候选块的方法的概念视图。
图6是图示确定当前块的空间合并候选块是否是可获得的方法的概念视图。
图7是图示根据本发明的示例性实施例的在合并模式中获取空间合并候选块的方法的流程图。
图8是图示根据本发明的示例性实施例的应用合并模式的间预测的方法的流程图。
具体实施方式
虽然可以做出各种变形例和示例性实施例,但是在本文中仅参考附图充分描述特定的示例性实施例。然而,本发明不应该被理解为仅仅限于在本文中提出的示例性实施例而是应该被理解为覆盖落入本发明的范围和技术术语的所有变形例、等效例或者替换例。在该附图的各处,相同附图标记指代相同的元件。
要理解的是:尽管可能在本文中使用术语“第一”、“第二”等描述各种元件,但是这些元件不应该被这些术语限制。这些术语仅仅被用于将一个元件与其它区分开。这些术语仅仅被用于将一个元件与另一元件区分开。例如,在不脱离本发明的教示的情况下,第一元件可以被称为第二元件,并且类似地,第二元件可以被称为第一元件。术语“和/或”包括多个关联的列出项的组合或者多个关联的列出项中的任一个。
要理解的是:在特征或者元件被称为被“连接”或者“耦接”到另一个特征或者元件时,它可以直接地连接或者耦接到另一个元件或者可以有居间元件。相反,在特征或者元件被称为被“直接地连接”或者“直接地耦接”到另一个元件时,要理解的是:不存在居间元件。
本文所使用的术语仅仅是用于描述特定的实施例并且不意味着限制本发明的示例性实施例。除非上下文另外清楚地指出,单数形式“一”、“一个”以及“这个”意味着也包括复数形式。要理解的是:尽管术语“包括”或者“包含”在被用于本文中时指定所陈述的特征、整体、步骤、操作、元件、部件或者它们的任何组合的存在,但是不排除一个或更多其它特征、整体、步骤、操作、元件、部件或者它们的任何组合的存在或者附加。
以下参考附图详细地描述本发明。以下,相同的附图标记在附图各处被用于指代相同部分并且省略相同部分的重复说明。
图1是图示根据本发明的示例性实施例的视频编码器的框图。
参考图1,视频编码器100可以包括画面分割模块110、间预测模块120、内预测模块125、变换模块130、量化模块135、重新布置模块160、熵编码模块165、解量化模块140、逆变换模块145、滤波模块150以及存储器155。
图1中示出的每个模块被分别地示出,以便提供视频编码器中的功能的不同特征,而不意味着表示每个模块作为分离的硬件或者软件部件单元被配置。即,为了说明的目的,每个模块作为各个元件被列出,而各模块中的至少两个模块可以被合并为一个元件,或者一个模块可以被分成多个元件来执行功能,并且其中各个模块被合并或者划分的实施例没有脱离本发明的本质而被包括在本发明的权利要求范围内。
此外,一部分元件可以不是用于执行本发明中的实质的功能的不可缺少的元件,而仅仅是用于提高性能的选择性的元件。本发明可以仅仅利用对实施本发明的本质是必要的元件并且排除仅以提高性能所使用的元件来被实施,并且仅包括实质的元件并且排除仅用于提高性能的选择性的元件的配置也被包括在本发明的权利要求范围内。
画面分割模块110可以将输入画面拆分为至少一个处理单元。在这里,处理单元可以是预测单元(pu)、变换单元(tu)或者译码单元(cu)。画面分割模块110可以将一个画面拆分成多个译码单元、预测单元以及变换单元的组合,并且可以基于预定标准(例如成本函数),通过选择译码单元、预测单元以及变换单元的一个组合来编码该画面。
例如,一个画面可以被分割成多个译码单元。为了分割该译码单元,可以使用诸如四叉树形结构的递归树形结构,并且具有作为根的画面或者最大译码单元的被拆分为其它译码单元的译码单元可以被拆分为具有数量和所拆分的译码单元一样多的子节点。不再根据某一限制被进一步拆分的译码单元变为叶节点。换句话说,在假设对于一个译码单元仅仅正方形分割(squarepartitioning)是可用时,一个译码单元可以被拆分为四个不同的译码单元。
以下,在本发明的示例性实施例中,译码单元不仅可以被用来指用于编码的单元而且可以指用于解码的单元。
预测单元在一个译码单元内利用具有相同大小的正方形或者矩形的形状被分割。
在基于译码单元来生成用于执行内预测的预测单元时,如果译码单元不是最小的译码单元,则可以在不以n×n单元的形式被拆分为多个预测单元的情况下执行内预测。
预测模块可以包括:用于执行间预测的间预测模块120和用于执行内预测的内预测模块125。对于预测单元,预测模块可以确定是否执行间预测或者是否执行内预测,并且可以确定根据每个预测方法的特定信息(例如内预测模式、运动向量、参考画面等)。在这里,用于执行预测的处理单元以及用于确定预测方法的处理单元以及特定的细节可以不相同。例如,预测方法和预测模式可以在预测单元中被确定并且预测可以在变换单元中被执行。所生成的预测块和初始块之间的剩余值(剩余块)可以被输入到变换模块130。此外,用于预测的预测模式信息、运动向量信息等可以与要被发送到解码器的剩余值一起被在熵编码模块135中进行编码。在使用特定的编码模式时,可能不通过预测模块120、125生成预测块,而是初始块因为要被发送到解码器而被编码。
间预测模块可以基于当前画面之前或之后的画面中的至少一个画面的信息在预测单元上进行预测。间预测模块可以包括参考画面插值模块、运动预测模块以及运动补偿模块。
参考画面插值模块可以被从存储器155提供参考画面信息,并且可以根据参考画面以小于整个像素单元的形式生成像素信息。在亮度像素的情况下,可以使用基于dct的8抽头插值滤波器,其中,滤波系数被改变以生成比整个像素单元小1/4像素的单元的像素信息。在色度信号的情况下,可以使用基于dct的4抽头插值滤波器,其中滤波系数被改变以生成比整个像素单元小1/8像素的单元的像素信息。
运动预测模块可以基于通过参考画面差值模块进行插值的参考画面来执行运动预测。对于获取运动向量的方法,可以使用诸如fbma(完全基于搜索的块匹配算法)、tss(三级搜索)或者nts(新三级检索算法)的各种方法。运动向量可以基于被插值的像素在1/2或者1/4像素的单元中具有运动向量值。运动预测模块可以通过改变运动预测方法来预测当前的预测单元。作为运动预测方法,可以使用诸如跳跃模式、合并模式或者高级运动向量预测(amvp)模式的各种方法。
根据本发明的示例性实施例,在执行间预测时,运动估计区域(mer)可以被限定为并行地执行预测。例如,在使用合并模式或者跳跃模式来执行间预测时,可以确定预测目标块和空间合并候选块是否包括在相同mer中,并且在预测目标块和空间合并候选块不包括在相同mer中时,可以通过确定空间合并候选块是否包括在仍然未被解码的mer内来确定合并候选块,或者可以确定空间合并候选块不可得到。以下,在本发明的示例性实施例中,描述在执行间预测时预测单元的操作。
间预测单元可以基于关于与当前块相邻的参考像素的信息来生成预测单元,其中参考像素是当前画面内的像素。如果当前预测单元的相邻块是间预测在其上被执行使得参考像素是间预测在其上被执行的像素的块,则包括在间预测在其上被执行的块内的参考像素可以利用内预测在其上被执行的相邻块的参考像素来代替。换句话说,在参考像素不可用时,不可用的参考像素可以利用可用的参考像素中的至少一个参考像素来代替。
内预测可以具有根据预测方向使用关于参考像素的信息的定向预测模式以及在执行预测时不使用方向信息的非定向模式。用于预测关于亮度样本的信息的模式和用于预测关于色度样本的信息的模式可以是不同的。此外,用于亮度样本的内预测模式的信息或者预测的亮度信号的信息可以被用于预测关于色度样本的信息。
如果在执行内预测时预测单元的大小和变换单元的大小相同,则可以对基于处于预测单元的左侧的像素、处于左上部区域的像素以及处于上部区域上的像素的预测单元执行内预测。然而,在当执行内预测时预测单元的大小和变换单元的大小不同的情况下,可以通过使用基于该变换单元的参考像素来执行内预测。此外,可以使用仅相对于最小译码单元的nxn分割的内预测。
在内预测方法中,根据预测模式,模式依赖内平滑(mdis)滤波器可以被应用到参考像素,以生成预测块。应用到参考像素的mdis滤波期的种类可以不同。为了执行内预测,当前预测单元的内预测模式可以从相邻当前预测单元的预测单元的内预测模式来预测。当通过使用从相邻的预测单元所预测的模式信息来预测当前预测单元的预测模式时,如果当前预测单元的内预测模式和相邻的预测单元是相同的,则可以使用预定的标记信息来发送当前预测单元和相邻预测单元的预测模式相同的信息,并且如果当前预测单元和相邻预测单元的预测模式是不同的,则可以通过熵编码来解码当前块的预测模式信息。
此外,剩余块包括剩余值信息,该剩余值信息是基于在预测模块120、125中生成的预测单元执行预测的预测单元与预测单元的初始块之间的差。所生成的剩余块可以被输入到变换模块130。变换模块130可以通过使用诸如离散余弦变换(dct)或者离散正弦变换(dst)的变换方法来变换包括初始块和在预测模块120,125中生成的预测单元的剩余值信息的剩余块。是否应用dct或者dst以便变换剩余块可以基于用于生成剩余块的预测单元的内预测模式信息来被确定。
量化模块135可以对由变换模块130变换为频域的值进行量化。依据图像的重要性或者块,可以改变量化参数。由量化模块135输出的值可以被提供到解量化模块140和重新布置模块160。
重新布置模块160可以重新布置关于剩余值的量化系数值。
重新布置模块160可以通过系数扫描方法将二维阵列的块形式的系数修改为一维向量的形式。例如,在重新布置模块160中,可以通过使用对角线扫描模式从dc系数到高频域中的系数进行扫描,以将其重新布置为一维向量形式。根据变换单元的大小和内预测模式,代替对角线扫描模式,可以使用在列方向上扫描块形式的二维系数的垂直扫描模式或者在行方向上扫描块形式中的二维系数的水平扫描模式。换句话说,根据变换单元的大小和内预测模式可以确定使用对角线扫描模式、垂直扫描模式以及水平扫描模式之间的哪一个扫描模式。
熵编码模块165基于从重新布置模块160输出的值来执行熵编码。熵编码可以使用诸如例如指数哥伦布、上下文自适应二进制算术编码(cabac)的各种编码方法。
熵编码单元165可以对来自重新布置模块160和预测模块120、125的诸如译码单元的剩余系数信息和块类型信息、预测模式信息、分割单元信息、预测单元信息、传输单元信息、运动向量信息、参考画面信息、块的插值信息、滤波信息、mer信息等的各种信息。
熵编码单元165可以通过使用诸如cabac的熵编码方法来对从重新布置模块160输入的译码单元中的系数值执行熵编码。
解量化模块140和逆变换模块145对由量化模块135量化的值进行解量化,并且逆向地变换由变换模块130变换的值。由解量化模块140和逆变换模块145生成的剩余值可以被添加到通过包括在预测模块120、125中的运动估计模块、运动补偿模块和内预测模块预测的预测单元,以生成重构块。
滤波模块150可以包括解块滤波器、偏移校正模块以及自适应环路滤波器(alf)中的至少之一。
解块滤波器可以除去由于在重构画面中的各块之间的边界而生成的块失真。为了确定是否执行解块滤波,可以基于包括在块内的几列或者几行内的像素来确定是否对当前块应用解块滤波。当对块应用解块滤波时,可以依据所需要的解块滤波强度来应用强滤波器或者弱滤波器。同样地,在应用解块滤波器中,在执行垂直滤波以及水平滤波时,水平方向滤波和垂直方向滤波可以被并行地处理。
偏移校正模块可以针对执行了解块滤波的图像以像素单元来校正相对于原始画面的偏移。为了执行相对于特定画面的偏移校正,可以使用将包括在图像内的像素分成预定数量的区域、确定偏移要在其上被执行的区域以及将偏移应用到相应的区域或者通过考虑每个像素的边缘信息来应用该偏移的方法。
自适应环路滤波器(alf)可以基于所滤波的重构图像和原始图像的比较来执行滤波。在将包括在图像中的像素分成预定组并且确定要被应用到相应组的滤波器后,可以将该滤波应用到确定为与各自的滤波器不同的每一组。关于是否应用alf的信息可以通过译码单元(cu)被发送并且要被应用的alf的大小和系数对于每个块可以是不同的。alf可以具有各种形状,因此滤波器中的许多系数对于每个滤波器可以是不同的。alf的滤波相关信息(滤波器系数信息、alf接通/关断信息、滤波形状信息等)可以被包括并且以比特流中设置的预定参数进行传输。
存储器155可以存储从滤波模块150输出的重构块或者画面,并且在执行间预测时,所存储的重构块或者画面可以被提供到预测模块120、125。
图2是示出根据本发明的另一示例性实施例的图像解码器的框图。
参考图2,视频解码器可以包括熵解码模块210、重新布置模块215、解量化模块220、逆变换模块225、预测模块230、235、滤波模块240以及存储器245。
在视频比特流被从视频编码器输入时,所输入的比特流可以以与视频编码器中的处理顺序相反的顺序被解码。
熵解码模块210可以按照在视频编码器的熵编码模块中执行熵编码相反的顺序来执行熵解码。用于在通过熵解码模块210解码的信息中生成预测块的信息可以被提供到预测模块230、235,并且在熵解码模块中被熵解码的剩余值可以被输入到重新布置模块215。
熵解码模块210可以解码与由编码器执行内预测和间预测有关的信息。如上所述,在具有用于视频编码器中的内预测和间预测的预定约束时,与当前块的内预测和间预测有关的信息可以基于该约束通过执行熵解码来提供。
重新布置模块215可以基于编码器的重新布置方法来执行通过熵解码模块210进行了熵解码的比特流的重新布置。表示为一维向量形式的系数可以被重构并且以二维块形式被重新布置。
解量化模块220可以基于从编码器和重新布置系数块提供的量化参数来执行解量化。
逆变换模块225可以对相对于由变换模块执行的dct和dst的由视频编码器执行的量化的结果执行逆dct和逆dst。逆变换可以基于由视频编码器确定的传输单元来执行。在视频编码器的变换模块中,dct和dst可以根据诸如预测方法、当前块的大小以及预测方向的多个信息来选择性地执行,并且视频解码器的逆变换模块225可以基于在视频编码器的变换模块中执行的变换信息来执行逆变换。
预测模块230、235可以基于与生成从熵解码模块210提供的预测块有关的信息以及先前解码的块或者从存储器245提供的画面的信息来生成预测块。
预测模块230、235可以包括预测单元确定模块、间预测模块以及内预测模块。预测单元确定模块可以接收诸如预测单元信息、内预测方法的预测模式信息以及从熵解码器输入的间预测方法的运动预测相关信息的各种信息,基于所接收的信息来区分当前译码单元中的预测单元,并且确定是在预测单元上执行间预测还是在预测单元上执行内预测。间预测单元通过使用由视频编码器提供的当前预测单元的间预测需要的信息,基于包括当前预测单元的当前画面的先前画面和后续画面之间的至少一个画面中包括的信息,来执行对于当前预测单元的间预测。
为了执行间预测,基于译码单元可以确定包括在相应的译码单元中的预测单元中的运动预测方法是跳跃模式、合并模式还是amvp模式。
根据本发明的示例性实施例,在执行间预测时,运动估计区域(mer)可以被限定为并行地执行该预测。例如,在使用合并或者跳跃来执行间预测时,可以确定预测目标块和空间合并候选块是否被包括在相同mer中。在预测目标块和空间合并候选块不被包括在相同mer中时,通过确定空间合并候选块是否被包括在仍未被解码的mer中,空间合并候选块可以被确定为不可用的,或者空间合并候选块可以被确定为合并候选块。在本发明的示例性实施例中详细地描述了预测模块的操作。
内预测模块可以基于当前画面内的像素信息来生成预测块。在预测单元是用于执行内预测的预测单元时,可以基于由视频编码器提供的预测单元的内预测模式信息来执行内预测。内预测模块可以包括该mdis滤波器、参考像素插值模块以及dc滤波器。mdis滤波器是用于对当前块的参考像素执行滤波的模块,并且是否应用滤波可以根据当前预测单元的预测模式来被确定和应用。通过使用预测单元的预测模式和由视频编码器提供的mdis滤波信息可以对当前块的参考像素执行滤波。在当前块的预测模式是不执行滤波的模式时,可以不应用mdis滤波器。
在预测单元的预测模式是用于基于内插参考像素的像素值来执行内预测的预测单元时,参考像素差值模块可以通过内插参考像素在小于整数值的像素单元中生成参考像素。在当前预测单元的预测模式是在没有内插参考像素的情况下成预测块的预测模式时,可以不插入参考像素。如果当前块的预测模式是dc模式,则dc滤波器可以通过滤波来生成预测块。
重构块或者画面可以被提供到滤波模块240。滤波模块240可以包括解块滤波器、偏移校正模块以及alf。
关于解块滤波器是否被应用到相应块或者画面以及如果解块滤波器被应用则是应用强滤波器还是弱滤波器的信息可以从视频编码器提供。视频解码器的解块滤波器可以被从视频编码器提供关于解块滤波器的信息并且对视频解码器中的相应块执行解块滤波。与视频编码器相同,垂直解块滤波和水平解块滤波首先被执行,而垂直解块和水平解块中的至少之一可以在交叠区域中被执行。在垂直解块滤波和水平解块滤波的交叠区域中,可以执行先前没有被执行的垂直解块滤波或者水平解块滤波。通过该解块滤波处理,解块滤波的并行处理成为可能。
偏移校正模块可以基于应用到图像的偏移校正的类型和偏移值信息来在重构画面上执行偏移校正。
alf可以基于比较原始图像和经过滤波的重构图像的值来执行滤波。可以基于关于是否应用alf的信息、关于从解码器提供的alf系数的信息将alf应用到译码单元。alf信息可以被包括在要被提供的特定的参数集内。
存储器245可以存储要被用作参考画面或者参考块的重构画面或者块,并且重构画面可以被提供到输出模块。
如上所述,尽管译码单元被用于指代示例性实施例中的译码的单元,但是译码单元可以是用于不仅执行编码也执行解码的单元。以下,根据本发明的示例性实施例的图3至图11中描述的预测方法可以通过诸如包括在图1和图2内的预测模块的元件来执行。
图3是示出根据本发明的示例性实施例的用于应用合并模式和跳跃模式的候选块的概念视图。
以下,为了说明的目的,描述了本发明的示例性实施例中的合并模式;然而,相同的方法可以被应用到跳跃模式并且这种实施例也被包括在本发明中的权利要求的范围内。
参考图3,为了通过合并模式来执行间预测,可以使用空间合并候选块300、305、310、315、320和时间合并候选块350、355。
在位于相对于预测目标块的位置的预测目标块的左上部的点(xp,yp)具有预测目标块的宽度npsw和预测目标块的高度spsh时,空间合并候选块300、305、310、315、320中的每个块可以是包括点(xp-1,yp+npsh-minpusize)的第一块300、包括点(xp+npsw-minpusize,yp-1)的第二块305、包括点(xp+npsw,yp-1)的第三块310、包括点(xp-1,yp+npsh)的第四块315以及包括点(xp-minpusize,yp-1)的第五块320中之一。
时间合并候选可以使用多个候选块和第一col块(配置块)350可以是包括位于col画面(配置画面)的点(xp+npsw,yp+npsh)的块。如果第一col块350不存在或者不可用(例如,如果第一col块不执行间预测),则作为替代可以使用包括位于col画面的点(xp+(npsw>>1),yp+(npsh>>1))的第二col块355。
根据本发明的示例性实施例,为了在执行运动预测时并行地使用合并模式执行间预测,可以确定是否使用相对于某一区域的合并候选块。例如,为了确定用于执行合并模式的合并候选块,相对于具有某一大小的预定区域,可以确定合并候选块是否与预测目标块一起位于预定区域内,以确定是否使用合并候选块或者利用其它合并候选块来代替,从而相对于预定区域并行地执行运动预测。以下将描述本发明的示例性实施例中的使用合并模式的并行运动预测方法。
图4是示出根据本发明的示例性实施例的确定合并候选块的方法的概念视图。
参考图4,假设最大译码单元(lcu)被拆分为四个运动估计区域(mer)。
如果第一预测块pu0被包括在第一mer(mer0)中,相似于图4,在通过使用合并模式对第一预测块pu0执行间预测时,五个空间合并候选块400、405、410、415、420可以作为空间合并候选块存在。五个合并候选块400、405、410、415、420可以位于不包括在第一mer(mer0)内的位置中,并且可以是在其上已经执行编码/解码的块。
第二预测块(pui)是包括在第二mer(mer1)中的预测块并且用于使用合并模式来执行间预测的空间合并候选块430、435、440、445、450中的四个合并候选块430、435、445、450可以是位于第二mer(mer1)内的块和属于当前执行预测的相同mer的块。剩余一个合并候选块440可以是处于当前的mer的右侧的块和包括在其上还未执行编码/解码的lcu或者mer中的块。
根据本发明的示例性实施例,在当前块的合并候选块和当前块属于相同mer时,当前块的合并候选块被排除并且处于另一个位置中的至少一个块的运动信息可以根据当前块的大小和mer大小作为合并候选块被增加。
包括处于在垂直或者水平方向上的其它mer中的点的块可以被添加为合并候选块。替换地,属于处于最靠近候选块的位置中的其它mer的块可以被添加为合并候选块。替换地,根据当前块的形式和大小在预定位置中的块可以被添加为合并候选块。
例如,如果合并候选块435位于第二预测单元(pu1)的上侧并且合并候选块450位于第二预测单元的左上侧,包括位于垂直方向上的第二mer的外部的点的块455、460可以作为代替的合并候选块被使用。对于位于第二预测单元的左侧的合并候选块430和位于第二预测单元的左下侧的合并候选块445,包括在水平方向上的mer外部的点的块465、470可以作为代替的合并候选块被使用。在块与当前预测单元一起被包括在相同mer中并且因此不能作为合并候选块被使用时,合并候选块可以根据合并候选块的位置利用包括在其它mer中的点的其它块来代替。
如果是第三预测块(pu2),与第三预测块一起包括在相同mer中的合并候选块475可以被代替为使用由位于在垂直方向上的上侧的块480。此外,作为本发明的另一个示例性实施例,通过利用包括在不是垂直或者水平方向上的方向中的其它mer中的块来代替空间合并候选块的位置,可以代替合并候选块的位置,并且该示例性实施例也被包括在本发明的权利要求范围内。
可以执行以下步骤,以便执行用于确定合并候选块的方法。
1)对运动估计区域(mer)相关信息进行解码的步骤
mer相关信息可以包括关于mer的大小的信息。可以基于关于mer的大小和预测目标块的大小的信息来确定预测目标块是否被包括在mer中。
2)确定预测目标块和空间合并候选块是否被包括在相同的mer中的步骤
在预测目标块和空间合并候选块被包括在相同的mer中的情况下,可以执行后面的步骤,以根据mer的大小和预测目标块的大小来适应性地确定空间合并候选块。
3)在预测目标块和空间合并候选块被包括在相同的mer中时确定空间合并候选块不可用的步骤
在预测目标块和空间合并候选块被包括在相同的mer中时,空间合并候选块可以被确定为不可用,并且包括在相同的mer中的空间合并候选可以利用其它候选块来代替。此外,如下所述,在利用合并模式的间预测中可以不使用被确定为不可用的合并候选块。
根据本发明的另一个示例性实施例,也可以应用不使用包括在与预测目标块相同的mer中的合并候选块的方法。
例如,在合并候选块中,包括在编码/解码已经在其上执行并且与预测当前在其上执行的当前mer不同的mer中的块对于并行地应用合并模式的间预测是可用的。该块可以被用作利用合并模式的间预测候选块。然而,属于预测当前被执行的mer的块可以不作为用于利用合并模式的间预测的间预测候选块而使用。编码/解码未被执行的块也可以不作为间预测候选块被使用。该示例性实施例也包括在本发明的权利要求范围内。
图5是示出根据本发明的示例性实施例的基于mer的大小来确定合并候选块的方法的概念视图。
参考图5,根据mer的大小和当前预测单元的大小可以适应性地确定合并候选。例如,在对应于合并候选a、b、c、d、e的位置之一的合并候选被与当前预测单元包括在相同的mer中的情况下,合并候选块被确定为不可用。在这里,在其它位置处的至少一个块的运动信息可以根据当前块的大小和mer的大小作为合并候选块被添加。
在图5中,假设mer的大小是8×8并且预测目标块是4×8。在mer大小是8×8时,包括在预测目标块中的块a属于与预测目标块相同的mer并且块b、c、d以及e被包括在与预测目标块不同的mer中。
如果是块a,该块可以用包括在不同的mer中的块(例如,块a’)的位置来被代替。因此,根据本发明的示例性实施例,在当前块的合并候选块和当前块属于相同mer时,当前块的合并候选块可以从用于合并候选块的块中被排除,使得可以根据当前块的大小和mer大小将在其它位置中的至少一个块的运动信息添加为合并候选块。
根据本发明的示例性实施例,mer的大小信息可以被包括在要被发送的高等级句法信息中。
以下的表格1与传输在高等级句法中的关于mer的大小信息的方法相关。
<表格1>
参考表格1,基于诸如画面参数集的包括在高等级句法结构中的句法要素log2_parallel_merge_level_minus2可以获取mer的大小信息。句法要素log2_parallel_merge_level_minus2也可以被包括在画面参数集之外的高等级句法结构中,并且该示例性实施例也被包括在本发明的权利要求范围内。
以下的表格2描述log2_parallel_merge_level_minus2的值和mer的大小之间的关系。
<表格2>
参考表格2,log2_parallel_merge_level_minus2的值可以具有从0到4内的值,并且mer尺寸的大小可以根据句法要素的值来不同地指定。在mer是0时,它与没有使用mer而使用合并模式来执行间预测的相同。
在本发明的示例性实施例中,包括mer的大小信息的句法要素可以被表示并且用作术语“mer大小信息句法要素”,并且如表格2中的限定mer大小信息句法要素是一个示例,并且可以使用各种不同的方法来指定mer大小,并且这种句法要素表达方法也被包括在本发明的权利要求范围内。
图6是示出确定当前块的空间合并候选块是否可用的方法的概念视图。
参考图6,基于预测目标块600和与预测目标块600相邻的空间合并候选块650的位置、以及mer大小信息句法要素,可以确定空间合并候选块的可用性。
在假设(xp,yp)处于预测目标块的左上部的点并且(xn,yn)是处于合并候选块的左上部的点时,通过以下的数学式1和数学式2可以确定空间合并候选块是否可用。
<数学式1>
(xp>>(l0g2_parallel_merge_level_minus2+2))
==(xn>>(log2_parallel_merge_level_minus2+2))
<数学式2>
(yp>>(log2_parallel_merge_level_minus2+2))
==(yn>>(log2_parallel_merge_level_minus2+2))
上述数学式1和数学式2是用于确定合并候选块和预测目标块是否被包括在相同的mer中的示例性式子。此外,可以通过使用除了上述确定方法之外的只要没有脱离本发明的本质的方法来确定合并候选块和预测目标块是否被包括在相同的mer中。
图7是示出根据本发明的示例性实施例的在合并模式中获取空间合并候选块的方法的流程图。
参考图7,对mer相关信息进行解码(步骤s700)。
如上所述,mer相关信息可以是句法要素信息并且可以被包括在高等级句法结构中。基于解码的mer相关信息,可以确定空间合并候选块和预测目标块是否被包括在相同的mer中或者在不同的mer中。
确定空间合并候选块和预测目标块是否被包括在相同的mer中(步骤s710)。
根据本发明的示例性实施例,在当前块的合并候选块和当前块被包括在相同的mer中时,当前块的合并候选块可以被排除,并且根据当前块的大小和mer大小可以将在与合并候选块不同的位置中的至少一个块的运动信息添加为合并候选块(步骤s720)。根据本发明的另一个示例性实施例,在空间合并候选块和预测目标块被包括在相同的mer中时,代替使用包括在该mer中的空间合并候选块作为合并候选块,包括在具有其它位置的其它mer中的块可以代替空间合并候选块来执行间预测。
此外,在另一个示例性实施例中,在空间合并候选块和预测目标块被包括在相同mer中时,如上所述,包括在mer中的空间合并候选块可以不被用作合并候选块。
在空间合并候选块和预测候选块不被包括在相同的mer中时,基于相应的空间合并候选块来执行间预测(步骤s730)。
图8是示出根据本发明的示例性实施例的使用合并模式的间预测的方法的流程图。
参考图8,从空间合并候选得出运动预测相关信息(步骤s800)。
可以从预测目标块的相邻预测单元来得出空间合并候选块。为了得出空间合并候选块,可以提供预测单元的宽度和高度信息、mer信息、单个mcl标记(singlemclflag)信息以及关于分割的位置的信息。基于上述输入信息,根据空间合并候选的位置可以得出关于空间合并候选的可用性的信息(可用标记n(availableflagn))、参考画面信息(refidxl0、refidxl1)、列表使用信息(predflagl0n、predflagl1n)以及运动向量信息(mvl0n、mvl1n)。空间合并候选可以是与预测目标块相邻的多个块。
根据本发明的一个示例性实施例,空间合并候选块可以被划分为如下的三种:1)不包括在相同mer中并且已经被编码或者解码的空间合并候选块,2)包括在相同mer中的空间合并候选块,以及3)在其上编码和解码还未被处理的空间合并候选块。
根据本发明的示例性实施例,为了在mer的单元中并行地执行间预测,在用于执行间预测的空间合并候选块中,不包括在相同mer中并且已经被编码或者解码的空间合并候选块可以被用作空间合并候选块。此外,代替包括在相同mer中的空间合并候选块的位置的空间合并候选块可以被用作空间合并候选块。换句话说,根据本发明的示例性实施例,在当前块的合并候选块和当前块被包括在相同mer中时,当前块的合并候选块可以被排除并且在其它位置中的至少一个块的运动信息可以根据当前块的大小和mer大小添加为合并候选块。如上所述,可以通过包括解码mer(运动估计区域)相关的信息的步骤、确定预测目标块和空间合并候选块是否包括在相同的mer中的步骤,以及在预测目标块和空间合并候选块包括在相同mer中时确定用于利用合并模式的间预测空间合并候选块是不可用的步骤,来执行确定合并候选块的方法。
根据本发明的另一个示例性实施例,在用于执行间预测的空间合并候选块中,仅是不包括在相同mer中并且已被编码或者解码的空间合并候选块可以被用来执行间预测。
得出时间合并候选的参考画面指数值(步骤s810)。
时间合并候选的参考画面指数值是包括时间合并候选(col块)的col画面的索引值,并且可以通过如下的特定的条件被得出。例如,在处于预测目标块的左上部的点是(xp,yp),预测目标块的宽度是npsw以及预测目标块的高度是npsh时,如果1)存在对应于位置(xp-1,yp+npsh-1)的预测目标块的相邻预测单元、2)用于得出参考画面索引的相邻预测单元的分割索引值为0、3)用于得出参考画面索引的相邻预测单元不是使用内预测模式执行预测的块,以及4)预测目标块和用于得出参考画面索引的相邻预测单元没有被包括在相同mer(运动估计区域)中,则时间合并候选块的参考画面索引值可以被确定为与相邻预测单元(以下被称为“用于得出参考画面索引的相邻预测单元”)的参考画面索引值相同的值。如果没有满足上述条件,则时间合并候选的参考画面索引值可以被设置为0。
确定时间合并候选块并且从时间合并候选块得出运动预测相关信息(步骤s820)。
为了确定时间合并候选块(col块)并基于确定的时间合并候选块(col块)得出运动预测相关信息,可以基于诸如例如col块对预测目标块是否可用、或者预测目标块的位置是否相对于lcu(例如,预测目标块的位置是否位于相对于lcu的底边界或右边界)的情况来确定用于得出时间预测运动向量的col块的位置。通过基于确定的col块的参考画面信息和运动预测向量信息得出运动预测相关信息,可以从时间合并候选块(col块)得出运动预测相关信息。
构建合并候选块列表(步骤s830)。
合并候选块列表可以通过包括空间合并候选和时间合并候选中至少之一来被构建。包括在合并候选列表中的空间合并候选和时间合并候选可以利用固定的优先级来布置。
合并候选列表可以通过包括固定数量的合并候选来被构建。在合并候选不足以生成固定数量的合并候选时,可以通过结合合并候选的运动预测相关信息来生成合并候选,或者通过添加零向量作为合并候选来生成合并候选列表。
如上所述,得出合并候选的上述方法不仅可以被用于使用合并模式的帧间预测方法中,而且也可以被用于使用跳跃模式的帧间预测模式中,并且该示例性实施例也包括在本发明的权利要求范围内。
此外,本发明还可以被配置如下:
方案1.一种获得合并候选的方法,所述方法包括:
对运动估计区域(mer)相关信息进行解码;
确定预测目标块和空间合并候选块是否被包括在相同的运动估计区域中;以及
如果所述预测目标块和所述空间合并候选块被包括在相同的运动估计区域中,则将所述空间合并候选块决定为不可用的合并候选块。
方案2.如方案1所述的方法,还包括:
如果所述预测目标块和所述空间合并候选块被包括在相同的运动估计区域中,则根据所述运动估计区域的大小和所述预测目标块的大小来适应性地决定空间合并候选块。
方案3.如方案2所述的方法,其中,如果所述运动估计区域的大小是8×8并且所述预测目标块的大小是8×4或者4×8,则所述预测目标块的空间合并候选块中至少之一被用包括位于所述运动估计区域外部的点的块来代替。
方案4.如方案1所述的方法,还包括:
确定所述空间合并候选块是否包括在仍未被解码的运动估计区域中。
方案5.如方案1所述的方法,还包括:
如果所述预测目标块和所述空间合并候选块被包括在相同的运动估计区域中,则用包括在其它运动估计区域中的块来代替所述空间合并候选块。
方案6.如方案5所述的方法,其中,根据包括在所述相同运动估计区域中的所述空间合并候选块的位置,所代替的空间合并候选块是适应性地被代替为包括在与所述预测目标块不同的运动估计区域中的空间合并候选块。
方案7.如方案1所述的方法,其中,所述运动估计区域相关信息是与所述运动估计区域的大小有关的信息,并且所述运动估计区域相关信息在画面单元中传输。
方案8.如方案1所述的方法,其中,所述确定预测目标块和空间合并候选块是否被包括在相同的运动估计区域中是这样的步骤:根据基于所述预测目标块的位置信息、所述空间合并候选块的位置信息以及所述运动估计区域的大小信息的确定式来确定所述预测目标块和所述空间合并候选块是否被包括在相同的运动估计区域中。
方案9.一种视频解码装置,包括:
熵解码模块,用于解码运动估计区域(mer)相关信息;以及
预测模块,用于确定预测目标块和空间合并候选块是否被包括在相同的运动估计区域中,并且如果所述预测目标块和所述空间合并候选块被包括在相同运动估计区域中,则将所述空间合并候选块决定为不可用的合并候选块。
方案10.如方案9所述的视频解码装置,其中,如果所述预测目标块和所述空间合并候选块被包括在相同的运动估计区域中,则所述预测模块根据所述运动估计区域的大小和所述预测目标块的大小来适应性地决定空间合并候选块。
方案11.如方案10所述的视频解码装置,其中,如果所述运动估计区域的大小是8×8并且所述预测目标块的大小是8×4或者4×8,则所述预测模块用包括位于所述运动估计区域外部的点的块来代替所述预测目标块的空间合并候选块中的至少之一。
方案12.如方案9所述的视频解码装置,其中,所述预测模块确定所述空间合并候选块是否被包括在仍未被解码的运动估计区域中。
方案13.如方案9所述的视频解码装置,其中,如果所述预测目标块和所述空间合并候选块被包括在相同的运动估计区域中,则所述预测模块用包括在其它运动估计区域中的块来代替所述空间合并候选块。
方案14.如方案13所述的视频解码装置,其中,根据包括在所述相同运动估计区域中的所述空间合并候选块的位置,所代替的空间合并候选块是适应性地被代替为包括在与所述预测目标块不同的运动估计区域中的空间合并候选块。
方案15.如方案9所述的视频解码装置,其中,所述运动估计区域相关信息是与所述运动估计区域的大小有关的信息,并且所述运动估计区域相关信息在画面单元中传输。
方案16.如方案9所述的视频解码装置,其中,所述预测模块根据基于所述预测目标块的位置信息、所述空间合并候选块的位置信息以及所述运动估计区域的大小信息的确定式来确定所述预测目标块和所述空间合并候选块是否被包括在相同运动估计区域中。
虽然已经参考示例性实施例描述本公开,但本领域技术人员将理解的是:在不脱离由以下权利要求限定的本发明的精神和范围下,可以做出各种改变以及变形。