插值方法和使用其的预测方法
【专利摘要】本发明涉及通过使用当前图片的像素采样和参考图片的像素采样来执行用于在屏幕之间预测的插值的方法、以及使用其的预测方法。按照本发明的插值方法包括：计算用于产生预测块的运动信息；以及基于整数采样集产生部分像素采样，整数采样集包括插值滤波器被应用到其的整数像素采样，在这里，整数采样集包括在当前图片的恢复的整数像素采样之中的用于产生部分像素采样的至少一个当前整数采样，以及部分像素采样对应于在整数像素采样之中的离预先确定的参考像素采样的部分像素单位的偏移位置。
【专利说明】插值方法和使用其的预测方法
【技术领域】
[0001]本发明涉及一种视频压缩技术，并且更具体而言，涉及在图片间预测中的插值方法。
【背景技术】
[0002]近年来，对高分辨率和高质量图像的需要已经在各种应用领域中增长。由于图像具有较高的分辨率和较高的质量，有关图像的数据量增长越来越多。因此，当使用介质，诸如现有的有线或无线宽带线路传送图像数据，或者图像数据存储在现有的存储介质中时，数据的传送成本和存储成本增长。
[0003]为了有效地传送、存储和再现有关高分辨率和高质量图像的信息，可以使用高效率的图像压缩技术。
【发明内容】
[0004]技术问题
[0005]本发明的一个目的是提供用于有效地执行图片间预测的插值方法和设备。
[0006]本发明的另一个目的是提供共同地使用当前图片的重建的像素采样和参考图片的参考像素采样的插值方法和设备。
[0007]本发明的再一个目的是提供用于通过将平滑滤波器应用于当前图片的重建的像素采样，以便在通过插值产生的预测的块(预测块)的边界处减少中断，来执行插值的方法和设备。
[0008]本发明的再一个目的是提供用于使解码器识别有关用于插值的当前图片的重建的像素采样的信息的方法和设备。
[0009]技术的解决方案
[0010]按照本发明的一个方面，提供了一种插值方法，包括步骤:计算用于产生预测的块的运动信息；以及基于整数采样集产生分数像素采样，所述整数采样集包括插值滤波器被应用到其的整数像素采样，其中整数采样集包括在当前图片的重建的整数像素采样之中的用于产生分数像素采样的至少一个当前整数采样，以及其中分数像素采样对应于在整数像素采样之中的离预先确定的参考像素采样的以分数像素为单位的偏移位置。
[0011]在这个方面中，可以对亮度像素执行插值方法，以及产生分数像素采样的步骤可以包括根据参考像素采样的位置，将预先确定数目的当前整数采样设置为被包括在整数采样集中。
[0012]例如，当参考像素采样位于离在用于插值的参考图片的参考采样区域和当前图片的重建的像素采样区域之间的边界的第一整数采样列或者行中时，三个当前整数采样可以被包括在整数采样集中，当参考像素采样位于离边界的第二整数像素采样列或者行中时，两个当前整数采样可以被包括在整数采样集中，以及当参考像素采样位于离边界的第三整数像素采样列或者行中时，一个当前整数采样可以被包括在整数采样集中。[0013]按照该方面的插值方法可以进一步包括步骤:在产生分数像素采样之前，将使用当前图片的至少一个重建的像素采样和至少一个参考像素采样的平滑滤波器应用于在当前整数采样之中的至少一个当前整数采样。
[0014]在这种情况下，在产生分数像素采样之前，平滑滤波器可以应用于最靠近于在用于插值的参考图片的参考采样区域和当前图片的重建的像素采样区域之间的边界的当前整数采样。
[0015]在这个方面中，可以对色度像素执行插值方法，以及产生分数像素采样的步骤可以包括根据参考像素采样的位置，将预先确定数目的当前整数采样设置为被包括在整数采样集中。
[0016]例如，当参考像素采样位于离在用于插值的参考图片的参考采样区域和当前图片的重建的像素采样区域之间的边界的第一整数采样列或者行中时，一个当前整数采样可以被包括在整数采样集中。
[0017]当对色度像素执行插值方法时，按照该方面的插值方法可以进一步包括步骤:在产生分数像素采样之前，将使用当前图片的至少一个重建的像素采样和至少一个参考像素采样的平滑滤波器应用于在当前整数采样之中的至少一个当前整数采样。
[0018]按照该方面的插值方法可以进一步包括步骤:确定是否从编码器发送隐含的或者明确的命令以使用当前图片的重建的整数像素采样来创建分数像素采样，以及当确定发送命令时，当前图片的重建的整数像素采样用于产生分数像素采样。
[0019]在这种情况下，该明确的命令可以是与像素位置信息和有关参考像素采样的阵列的信息一起从编码器发送到解码器的1-比特标记信息。
[0020]当在当前预测单元的邻近块的运动矢量和当前预测单元的运动矢量之间的差值等于或者小于预先确定的阈值时，可以确定发送隐含的命令以使用当前图片的重建的整数像素采样来产生分数像素采样。
[0021]此外，可以对亮度像素执行插值方法，以及当参考整数采样位于离用于插值的参考图片的参考采样区域的上或者左边界的第三整数采样行/列内时，当前图片的重建的整数像素采样可以用于插值。
[0022]可以对色度像素执行插值方法，以及当参考整数采样位于离用于插值的参考图片的参考采样区域的上或者左边界的第一整数采样行/列内时，在不从编码器接收命令的情况下，当前图片的重建的整数像素采样被用于插值。
[0023]按照本发明的另一个方面，提供了一种插值设备，包括:预测单元确定模块，该预测单元确定模块确定在当前编译单元中的预测单元；以及插值模块，该插值模块基于整数像素采样来产生分数像素采样，其中插值模块基于像素采样位置信息和有关参考像素采样阵列的信息，通过将插值滤波器应用于预先确定数目的整数像素采样来产生分数像素采样，其中在当前图片的重建的整数像素采样之中的至少一个整数像素采样被包括在插值滤波器被应用到其的整数像素采样中，以及其中分数像素采样对应于在整数像素采样之中的离预先确定的参考像素采样的以分数像素为单位的偏移位置。
[0024]假设插值滤波器被应用到其的整数像素采样是亮度像素采样，当参考像素采样位于离用于插值的参考图片的参考采样区域和当前图片的重建的像素采样区域之间的边界的第一整数采样列或者行中时，三个当前整数采样可以被包括在整数采样集中，当参考像素采样位于离边界的第二整数像素采样列或者行中时，两个当前整数采样可以被包括在整数采样集中，以及当参考像素采样位于离边界的第三整数像素采样列或者行中时，一个当前整数采样可以被包括在整数采样集中。
[0025]假设插值滤波器被应用到其的整数像素采样是色度像素采样，当参考像素采样位于离在用于插值的参考图片的参考采样区域和当前图片的重建的像素采样区域之间的边界的第一整数采样列或者行中时，一个当前整数采样可以被包括在整数采样集中。
[0026]按照本发明的再一个方面，提供了一种间预测方法，包括步骤:计算用于产生预测的块的运动信息；当运动矢量指示子像素位置时，以子像素为单位执行产生像素采样的插值处理；以及基于运动矢量和像素采样以子像素为单位产生预测的块，其中参考图片的像素采样和当前图片的重建的像素采样共同地用于插值处理。
[0027]在这个方面中，用于插值的当前图片的重建的像素采样可以位于当前预测单元的上侧或者左侧区域中。
[0028]在执行插值处理的步骤之前，可以对当前图片的重建的像素采样来执行使用参考图片的至少一个像素采样和当前图片的重建的像素采样中的至少一个的平滑处理。
[0029]按照本发明的再一个方面，提供了一种插值方法，该方法包括步骤:计算用于产生预测的块的运动信息；以及当运动矢量指示子像素位置时，以子像素为单位来执行产生像素采样的插值处理，其中当前图片的重建的像素采样和参考图片的像素采样共同地用于插值处理。
[0030]在这个方面中，用于插值的当前图片的重建的像素采样可以位于当前预测单元的上侧或者左侧区域中。
[0031]在执行插值处理的步骤之前，可以对当前图片的重建的像素采样执行使用参考图片的至少一个像素采样和当前图片的重建的像素采样中的至少一个的平滑处理。
[0032]有益效果
[0033]按照本发明的方面，可以通过共同地使用当前图片的重建的像素采样和参考图片的参考像素采样执行插值来提高图片间预测的效率。
[0034]按照本发明的方面，可以通过将平滑滤波器应用于当前图片的重建的像素采样执行插值，在通过插值产生的预测的块的边界处减少中断。
[0035]按照本发明的方面，可以通过使解码器识别有关用于插值的当前图片的重建的像素采样的信息和执行插值，提高视频编码/解码的精度。
【专利附图】
【附图说明】
[0036]图1是示意地图示按照本发明实施例的视频编码器的框图。
[0037]图2是示意地图示按照本发明实施例的最大编译单元被分割为至少一个编译单元的示例的示意图。
[0038]图3是示意地图示按照本发明实施例的预测模块的概念图。
[0039]图4是示意地图示按照预测模式的预测的块的形式的示意图。
[0040]图5是示意地图示按照本发明实施例的视频解码器的框图。
[0041]图6是示意地图示按照本发明实施例的视频解码器的预测模块的概念图。
[0042]图7是示意地图示在间预测中用于参考图片的亮度像素的1/4单位采样插值的分数采样和整数采样的位置的示意图。
[0043]图8是示意地图示用于色度像素的1/8单位采样插值的分数采样和整数采样的位置的示意图。
[0044]图9是示意地图示按照本发明实施例的共同地使用参考图片和当前图片的采样来执行插值示例的示意图。
[0045]图10是示意地图示包括重建的当前图片的像素和参考图片的像素采样的、用于插值的采样阵列的示意图。
[0046]图11是示意地图示在对应于预测单元的参考块中根据参考整数采样的位置的示例的示意图。
[0047]图12是示意地图示按照本发明实施例的用于亮度像素采样的插值区域的示意图。
[0048]图13是示意地图示按照本发明实施例的用于色度像素采样的插值区域的示意图。
[0049]图14至18是示意地图示在对应于预测单元的参考块中根据参考整数采样的位置的示例的示意图。
[0050]图19是示意地图示按照本发明实施例的在解码器中产生预测的块的方法的流程图。
【具体实施方式】
[0051]本发明可以以各种形式修改，并且可以具有各种实施例，并且其特定的实施例将在附图中图示，并且进行详细描述。但是，这些实施例不意欲限制本发明。在以下的描述中使用的术语仅用于描述特定的实施例，但是，不意欲用于限制本发明的技术精神。单数的表示包括复数的表示，只要其明显读起来不同。在本说明书中，术语，诸如“包括”和“具有”意欲用于指示存在以下的描述中使用的特点、数目、步骤、操作、元件、组件，或者其组合，并且因此，应该理解，不排除存在或者增加一个或多个不同的特点、数目、步骤、操作、元件、组件，或者其组合的可能性。
[0052]另一方面，在本发明描述的附图中的元件在图像编码器和图像解码器中为解释不同的特定功能的便利的目的独立地绘制，并且不意味该元件由单独的硬件或者单独的软件实施。例如，在该元件之中的两个或更多个元件可以被组合以形成单个元件，或者一个元件可以被分割分多个元件。不脱离本发明的概念，该元件被组合和/或分割的实施例属于本发明的范围。
[0053]在下文中，本发明示例性实施例将参考伴随的附图详细描述。在该附图中相同的元件将由相同的附图标记引用，并且将不会重复对相同的元件的描述。
[0054]图1是示意地图示按照本发明实施例的视频编码器的框图。参考图1，视频编码器100包括图片分割模块图片分割模块105、预测模块110、变换模块115、量化模块120、重排模块125、熵编码模块130、去量化模块135、逆变换模块140、去块滤波器145、ALF (适应性环路滤波器)150和存储器155。
[0055]图片分割模块105可以将输入图片分割为至少一个处理单元。在这里，处理单元可以是预测单元(在下文中，称为“PU”)、变换单元(在下文中，称为“TU”)、或者编译单元(在下文中，称为“CU”)。如稍后将描述的，视频编码器100由预测单元执行内预测或者间预测、由变换单元变换视频以及由编译单元对视频进行编码。
[0056]如稍后将描述的，预测模块110包括执行间预测处理的间预测模块、和执行内预测处理的内预测模块。预测模块Iio根据预测模式对从图片分割模块105提供的预测单元执行间预测或者内预测，并且产生预测的块(预测块)。在产生的预测块(预测的块)和初始块之间的残留被输入给变换模块115。用于预测的预测模式信息、运动矢量信息等通过熵编码单元130与残留值一起被编码，并且被发送给解码器。
[0057]变换模块115可以将当前编译单元分割为至少一个变换单元。此时，变换单元115可以使用用于计算传送成本的预先确定的成本函数选择最佳传送单元。变换模块115可以使用DCT (离散余弦变换)和/或DST (离散正弦变换)变换残留块，残留块包括在初始块和由预测模块110产生的预测的块之间的残留值信息。变换模块115可以基于编译单元确定变换单元。
[0058]量化模块120可以量化由变换模块115变换到频率域的残留值，并且可以产生量化系数。由量化模块120计算的值被提供给去量化模块155和重排模块125。
[0059]重排模块125可以重排该量化系数。通过重排该量化系数，可以提高在熵编码模块130中的编译效率。重排模块125可以通过使用系数扫描方法以二维块的形式到一维矢量的形式重排该量化系数(残留值)。重排模块125可以基于从量化模块发送的系数的随机统计数据，通过改变系数扫描的顺序提高在熵编码模块130中的熵编码效率。
[0060]熵编码模块130可以对通过重排模块125重排的量化系数执行熵编码处理。熵编码方法的示例包括指数golomb方法、CAVLC(上下文适应性可变长度编译)方法和CABAC(上下文适应性二进制运算编译)方法。熵编码模块130可以对各种信息进行编码，诸如从重排模块125和预测模块110发送的编译单元的量化系数信息和块类型信息、预测模式信息、分割单元信息、预测单元信息、传送单元信息、运动矢量信息、参考帧信息、块插值信息，和滤波信息。
[0061]例如，熵编码模块130可以使用合并和跳跃方法、预测单元合并方法、AMVP(高级运动矢量预测)方法等以对运动矢量信息进行编码。
[0062]该合并和跳跃方法是使用在当前块的邻近块(合并候选块)之中的选择块(合并块)的运动预测信息(诸如，运动矢量和参考图片索引)产生预测的块的方法。在合并和跳跃方法中残留信号是0，但是，在类似地使用候选块的运动预测信息的预测单元合并方法中残留信号不是O。在合并和跳跃方法中有关跳跃、合并块的索引等的信息被编码和发送，并且在预测单元合并方法中残留信号与合并块的索引一起被编码和发送。
[0063]在AMVP方法中，运动预测信息可以从AMVP候选块提供。在AMVP方法中，除了在相同图片中的邻近块之外，候选块包括在参考图片中对应于相同位置的共处一地的块。因此，当使用AMVP方法时，除了参考图片索引之外，运动矢量预测器和运动矢量的残留值被编码和被发送给解码器。运动矢量的残留值是在选择的AMVP候选块和当前预测单元之间的运动矢量的差值。
[0064]去量化模块135去量化由量化模块120量化的值。逆变换模块140反向地变换由变换模块115去量化的值。由去量化模块135和逆变换模块140产生的残留值可以与由预测模块110预测的预测的块合并以产生重建的块。[0065]滤波器模块145将去块滤波器和/或ALF(适应性环路滤波器)应用于重建的图片。
[0066]去块滤波器可以在重建的图片中除去在块之间的边界处产生的块失真。
[0067]ALF (适应性环路滤波器)基于(已经由去块滤波器滤波的块)的重建的图片与原始图片比较的结果值执行滤波处理。在亮度信号的情况下，有关是否应用ALF的信息可以由编译单元(CU)发送，并且要应用的ALF的大小和系数可以根据该块而变化。
[0068]另一方面，滤波器模块145可以不必对用于间预测的重建的块执行滤波处理。
[0069]存储器150可以存储重建的块或者由滤波器模块145计算的图片。可以将存储在存储器150中的重建的块或者图片提供给执行间预测的预测模块110。
[0070]在下文中，将更详细地描述由编码器的元件执行的编码视频信息的处理。
[0071]首先，将描述图片的编译单元、预测单元和变换单元。作为由视频编码器执行编码处理的单元的编码单元(其是图片的分割单元)可以称为CU。编译单元可以具有诸如64 X 64、32 X 32、16 X 16和8 X 8的大小。编译单元可以具有基于四树结构的深度，并且可以被分割。具有最大大小的编译单元可以定义为最大编译单元(LCU)，并且具有最小大小的编译单元可以定义为最小的编译单元(SCU)。编码器可以将有关LCU和SCU的信息发送给解码器，或者可以将有关LCU的信息和有关SCU的信息以及有关可能的分割次数的信息的任何一个发送给解码器。
[0072]基于如上所述的四树结构是否对编译单元进行分割可以由标记信息，诸如分割标记指示。
[0073]图2是示意地图示按照本发明实施例的最大编译单元被分割为至少一个编译单元的示例的示意图。编码单元是否被分割可以由深度信息和分割标记指示。
[0074]可以基于LCU的大小信息、深度信息和分割标记信息将编译单元分割为多个较小的编译单元。LCU的大小信息、分割深度信息和有关是否分割当前编译单元的信息可以包括比特流的序列参数集(SPS)，并且可以将当前编译单元的分割信息发送给视频解码器。
[0075]参考图2，当IXU具有65X64的大小时，S200表示在四树结构中具有O深度的块。在S200中的左块表示指示是否被分割的标记是O的情形，并且表示在四树结构中具有O深度的块(最大编译单元)没有被分割。在S200中的右块表示指示是否被分割的标记是I的情形，并且表示具有深度O的块被分割为具有32X32大小的矩形形式的四个编译单元。
[0076]S210表示具有深度I的块，当IXU的大小是64X64时，其被分割一次。具有深度I的编译单元的大小是32X32。在S210的左块中，分割标记是0，并且具有32X 32大小的编译单元没有被分割，并且被作为单个编译单元进行编码。在S210的右块中，分割标记是1，并且具有32X32大小的编译单元被分割为具有16X16大小的四个编译单元。
[0077]以相同的方式，在四树结构中的一个块可以根据深度信息顺序地被分割为具有最小大小的编码单元。例如，S220表示当最大编译单元的大小是64X64，并且最大深度是4 (可能的分割次数是4)时，编译单元被分割为具有最小大小的编译单元。在这里，最小的编译单元不能再分割为更小的CU，并且因此不具有分割标记。
[0078]为了便利的目的，已经描述最大编译单元和根据其限定可能的分割次数(最大深度)，而且，可以如上所述限定最小的编译单元和可能的分割次数(最大深度)。例如，当最小的编译单元被设置为8X8，并且可能的分割次数被设置为4时，最大编译单元(64X64)可以从最小的编译单元(8X8)推导。在这里，已经描述最大编译单元和最小的编译单元分别是64 X 64和8 X 8，但是，SCU和IXU可以变得大于或者小于在以上提及的示例中的那些。
[0079]图3是示意地图示按照本发明实施例的预测模块的概念图。
[0080]参考图3，预测模块300可以包括间预测模块310和内预测模块320。
[0081]间预测模块310可以基于当前图片的先前的图片和/或后续的图片的至少一个图片的信息来预测预测单元。内预测单元320可以基于在当前图片中的像素信息预测预测单元。根据预测模式，也就是说，根据是否执行内预测或者间预测，图片分割模块105对预测单元进行分割。此时，编译单元可以是在内预测模式中具有2NX2N或者NXN(这里N是整数)大小的预测单元，编译单元可以是在内预测模式中具有2NX2N、2NXN、NX2N或者NXN大小的预测单元。
[0082]图4是示意地图示基于预测模式的预测的块的形式的示意图，这里图示在编码单元400的内预测模式中的可能的预测单元410、以及在其间预测模式中的可能的预测单元420。
[0083]间预测模块选择用于以上提及的预测单元的参考图片，并且选择在整数像素采样的单元中具有预测单元的相同大小的参考块。然后，间预测模块产生预测的块，其最类似于当前预测单元，其最小化残留信号，并且其在整数像素采样的单元中，诸如在1/2像素采样和1/4像素采样的单元中最小化要编码的运动矢量的幅值。
[0084]在这里，运动矢量可以以小于整数像素的采样为单位表示，并且可以以用于亮度像素的1/4像素为单位标识，并且可以以用于色度像素的1/8像素为单位表示。
[0085]已经由间预测模块选择的参考图片的索引和有关运动矢量的信息被编码和被发送给解码器。
[0086]图5是示意地图示按照本发明实施例的视频解码器的框图。参考图5，视频解码器500包括熵解码模块510、重排模块515、去量化模块520、逆变换模块525、预测模块530、滤波器模块535和存储器540。
[0087]当视频比特流被从编码器输入时，该输入的比特流可以以视频信息由视频编码器处理的顺序相反的顺序解码。
[0088]例如，当视频编码器使用可变长度编译(VLC)表以执行熵编码处理时，熵解码模块510可以实现相同的VLC表，并且可以执行熵解码处理。熵解码模块510可以使用计数器，或者类似于熵编码模块的直接交换方法改变码字分配表，并且可以使用改变的码字分配表执行熵解码处理。
[0089]可以将在由熵解码模块510解码的信息之中的用于产生预测的块的信息提供给预测模块530，并且由熵解码模块熵解码的残留值可以输入给重排模块515。
[0090]重排模块515可以基于在视频编码器中使用的重排方法重排由熵解码模块510熵解码的比特流。重排模块515可以将以一维矢量的形式表示的系数重建和重排为以二维块的形式的系数。重排模块515可以提供有与由视频编码器执行的系数扫描有关的信息，并且可以基于由视频编码器执行的扫描的扫描顺序使用反向地扫描系数的方法执行重排。
[0091]该去量化模块520可以基于从编码器提供的量化参数和重排的块的系数值执行去量化。
[0092]逆变换模块525可以对来自视频编码器的量化结果执行已经由视频编码器的变换模块执行的DCT和DST的逆DCT和/或逆DST。逆变换可以基于由视频编码器确定的传送单元执行。视频编码器的变换模块可以根据多个信息，诸如预测方法、当前块的大小和预测方向有选择地执行DCT和DST，并且视频解码器的逆变换模块525可以基于有关由视频编码器的变换模块执行的变换的变换信息执行逆变换。
[0093]例如，在4X4块的情况下，逆变换模块525可以根据块的内预测模式有选择地使用逆DCT和逆DST执行逆变换处理，或者可以通过DCT和DST的组合有选择地应用1D-DCT+1D-DCT、1D-DCT+1D-DST、1D-DST+1D-DCT 或者 1D-DST+1D-DST。块的内预测模式信息可以从预测模块提供。逆变换模块525可以基于从视频编码器提供的分割单元信息通过分割单元执行逆变换处理。
[0094]预测模块530可以基于从熵解码模块510提供的预测的块产生信息、以及有关从存储器540提供的预先地解码的块或者图片的信息来产生预测的块。可以使用由预测模块530产生的预测的块、以及从逆变换模块625提供的残留块来产生重建的块。
[0095]重建的块和/或图片可以提供给滤波器模块535。滤波器模块535对重建的块和/或图片执行去块滤波处理和/或自适应环路滤波处理。例如，滤波器模块535可以包括去块滤波器和/或ALF。
[0096]存储器540可以存储用作参考图片或者参考块的重建的图片或者块，并且可以将重建的图片提供给输出模块。
[0097]图6是示意地图示按照本发明实施例的视频解码器的预测模块的概念图。
[0098]参考图6，预测模块600可以包括间预测模块610和内预测模块620。
[0099]当预测单元的预测模式是间预测模式时，间预测模块610可以基于包括当前预测单元的当前图片的先前的图片和后续的图片的至少一个图片的信息，使用为当前预测单元的间预测所必需的信息，例如，有关从视频编码器提供的运动矢量和参考图片索引的信息对当前预测单元执行间预测处理。
[0100]在这里，在确认接收到编译单元的跳越标记、合并标记等之后，可以推导运动信息以对应于其。例如，当确认熵解码模炔基于跳越标记使用跳跃模式时，运动预测信息，诸如运动矢量和参考图片索引(其被包括在由预测单元的合并索引指示的合并和跳跃候选块中)可以用作当前预测单元的运动信息。可替选地，当确认预测单元是预测单元合并块时，在五个预测单元合并候选块(包括位于预测单元周围的四个空间合并候选块和位于参考图片中的一个时间合并候选块)之中的一个预测单元合并候选块的运动信息可以用作预测单元的运动信息。当确认预测单元是AMVP块时，预测单元的运动信息可以使用在围绕当前预测单元的两个空间AMVP候选块和包括在另一个图片中的时间AMVP候选块之中的有关使用明^个AMVP块的信息以及在使用的AMVP候选块和当前块之间的运动矢量差值信息从视频编码器获得。
[0101]当在有关如上所述获得的预测单元的运动信息中的运动矢量不是整数像素单元时，例如，当亮度像素的运动矢量指示1/2或者1/4像素位置，或者色度像素的运动矢量指示1/2、1/4或者1/8像素位置时，间预测模块610可以执行产生小于整数单元的像素采样的插值处理，以便产生预测的块。稍后将描述插值处理的特定细节。
[0102]当预测单元的预测模式是内预测模式时，内预测模块620可以基于在当前图片中的像素信息产生预测的块。[0103]图6图示预测模块600包括为解释便利的目的各自的功能元件，但是，本发明不局限于这种配置，并且该预测模块可以作为用于执行以上提及的功能的单个元件实施。
[0104]另一方面，在间预测中，预测的块可以使用基于块的运动补偿从一个或多个预先地处理的图片(参考图片)产生。也就是说，当前图片的预测单元可以基于参考图片使用间预测来预测。例如，预测的块是通过使用当前预测单元的运动估算从参考图片中选择出来的，以及计算在当前预测单元的参考位置和预测的块的参考位置之间的运动矢量。
[0105]运动矢量(在当前块和参考块之间的差值)可以具有小于整数单元的采样分辨率，例如，对于亮度分量可以具有1/4采样的分辨率，并且对于色度分量可以具有1/8采样的分辨率。因此，更加类似于当前预测单元的预测的块可以通过插值从整数采样(全采样)产生分数采样，诸如1/2单位像素采样、1/4单位像素采样和1/8单位像素采样，并且从包括分数采样的区域选择预测的块来选择。
[0106]小于整数单位的分数像素采样可以基于全采样使用插值滤波器产生。如上所述，用于亮度像素的运动矢量的分辨率是1/4像素采样，并且小于整数像素的像素信息可以通过插值以1/4像素为单位产生。为了对亮度像素执行插值处理，可以使用具有不同滤波器系数的8抽头插值滤波器(基于DCT的插值滤波器)。
[0107]用于色度像素的运动矢量的分辨率是1/8像素采样，并且小于整数像素的像素信息可以通过插值以1/8像素为单位产生。为了对色度像素执行插值处理，可以使用具有不同滤波器系数的4抽头插值滤波器。
[0108]图7是示意地图示在间预测中在参考图片中以亮度像素的1/4单位采样插值的分数采样和整数采样的位置的示意图。在图7图示的像素的位置700之中，阴影线(由大写字母指示的)位置对应于 整数采样，并且非阴影线(由小写字母指示的)对应于分数采样。
[0109]参考图7，I在区域中基于一个整数像素通过插值采样产生/4像素单元的分数像素采样。在下文中，为了解释便利的目的，将描述在区域710中基于整数像素采样A0，O的分数像素采样通过插值产生的示例。
[0110]表1示出在滤波器中根据像素位置的系数的示例，滤波器应用于产生小于亮度像素的整数像素单元的像素信息。
[0111]表1
[0112]
像素位置I滤波器系数
TTi{-1,4,-10, 57, 19，-1, 3,-1}
2/1{-1,4,-11,40, 40，—11，4,-1}
1/?{-1, 3，—7，19，57, —10，4，—1}
[0113]参考表1，在图7中1/4像素单元的采样a。，。、、。、cQ，Q、d。，。、!!。，。和nQ，Q可以通过将8抽头滤波器应用于接近的整数采样，并且对滤波的值执行剪裁(clip)操作由表达式I计
笪
ο
[0114]表达式I
[0115]a。，。= Clip3(0，(I << 14)-1, (_A—3，0+4*A—2，0_10*A—，。-7*A2，0+4*A3，0_A4，0+offsetl) >> Shiftl)
[0116]b。，。= Clip3(0，(I < < 14)-1，(_A—3，q+4*A—2，q-10*A—υ+ΑΟ-Α。，q_11*A2，0+4*A3，0_A4，0+offsetl) >> Shiftl)
[0117]c0，0 = Clip3(0，(I < < 14)-1, (_A—3，0+3*A—2，0_7*A—υ+Ι^Αο,ο+δΤ-ΑΙ,ο-ΙΙ-Αι0+4*A3，0_A4，0+offsetl) >> Shiftl)
[0118]d。，。= Clip3(0，(I << 14)-1, (_A。，—3+4*A。，—2_10*A。，—
3_A0，4+offsetl) >> Shiftl)
[0119]h。，。= Clip3(0，(I < < 14)-1, (-A0, _3+4^A0, _2-10^A0, ^+40^,0+40^A0,!-1l^A0,2+4*A0，3_A0，4+offsetl) >> Shiftl)
[0120]n。，。= Clip3(0，(I << 14)-1, (_A。，—3+4*A。，—2_7*A。，—Al^Au+ST-Au-K^Aw+^Ao，3_A0，4+offsetl) >> Shiftl)
[0121]在这里，剪裁操作如表达式2定义。
[0122]表达式2
[0123]
【权利要求】
1.一种插值方法，包括步骤: 计算用于产生预测的块的运动信息；以及 基于整数采样集来产生分数像素采样，所述整数采样集包括插值滤波器被应用到其的整数像素采样， 其中，所述整数采样集包括在当前图片的重建的整数像素采样之中的用于产生分数像素采样的至少一个当前整数采样，以及 其中，所述分数像素采样对应于在整数像素采样之中的在离预先确定的参考像素采样以分数像素为单位的偏移位置。
2.根据权利要求1所述的插值方法，其中，对亮度像素执行插值方法，以及 其中，所述产生分数像素采样的步骤包括根据所述参考像素采样的位置，将预先确定数目的当前整数采样设置为被包括在整数采样集中。
3.根据权利要求2所述的插值方法，其中，当所述参考像素采样位于离在用于插值的参考图片的参考采样区域和当前图片的重建的像素采样区域之间的边界的第一整数采样列或者行中时，三个当前整数采样被包括在所述整数采样集中， 其中，当所述参考像素采样位于离所述边界的第二整数像素采样列或者行中时，两个当前整数采样被包括在所述整数采样集中，以及 其中，当参考像素采样位于离所述边界的第三整数像素采样列或者行中时，一个当前整数采样被包括在所述整数采样集中。
4.根据权利要求3所述 的插值方法，进一步包括步骤:在产生所述分数像素采样之前，将使用当前图片的至少一个重建的像素采样和至少一个参考像素采样的平滑滤波器应用于在当前整数采样之中的至少一个当前整数采样。
5.根据权利要求3所述的插值方法，进一步包括步骤:在产生所述分数像素采样之前，将使用当前图片的至少一个重建的像素采样和至少一个参考像素采样的平滑滤波器应用于最靠近在用于插值的参考图片的参考采样区域和当前图片的重建的像素采样区域之间的边界的当前整数采样。
6.根据权利要求1所述的插值方法，其中，对色度像素执行所述插值方法，以及 其中，所述产生分数像素采样的步骤包括根据所述参考像素采样的位置，将预先确定数目的当前整数采样设置为被包括在所述整数采样集中。
7.根据权利要求6所述的插值方法，其中，当所述参考像素采样位于离在用于插值的参考图片的参考采样区域和当前图片的重建的像素采样区域之间的边界的第一整数采样列或者行中时，一个当前整数采样被包括在所述整数采样集中。
8.根据权利要求7所述的插值方法，进一步包括步骤:在产生所述分数像素采样之前，将使用当前图片的至少一个重建的像素采样和至少一个参考像素采样的平滑滤波器应用于在所述当前整数采样之中的至少一个当前整数采样。
9.根据权利要求1所述的插值方法，进一步包括步骤:确定是否从编码器发送使用当前图片的重建的整数像素采样以产生所述分数像素采样的隐含的或者明确的命令， 其中，当确定发送所述命令时，使用当前图片的重建的整数像素采样以产生所述分数像素采样。
10.根据权利要求9所述的插值 方法，其中，明确的命令是与像素位置信息和有关参考像素采样的阵列的信息一起从编码器发送到解码器的1-比特标记信息。
11.根据权利要求9所述的插值方法，其中，当在当前预测单元的邻近块的运动矢量和当前预测单元的运动矢量之间的差值等于或者小于预先确定的阈值时，确定发送隐含的命令以使用当前图片的重建的整数像素采样来产生所述分数像素采样。
12.根据权利要求1所述的插值方法，其中，对亮度像素执行所述插值方法，以及 其中，当参考整数采样位于离用于插值的参考图片的参考采样区域的上边界或者左边界的第三整数采样行/列内时，当前图片的重建的整数像素采样被用于插值。
13.根据权利要求1所述的插值方法，其中，对色度像素执行所述插值方法，以及 其中，当参考整数采样位于离用于插值的参考图片的参考采样区域的上边界或者左边界的第一整数采样行/列内时，当前图片的重建的整数像素采样被用于插值。
14.一种间预测方法，包括步骤: 计算用于产生预测的块的运动矢量； 当所述运动矢量指示子像素位置时，以子像素为单位执行产生像素采样的插值处理；以及 基于所述运动矢量和像素采样以子像素为单位来产生预测的块， 其中，当前图片的重建的像素采样和参考图片的像素采样被共同地用于所述插值处 理。
15.根据权利要求14所述的间预测方法，其中，当前图片的重建的像素采样位于当前预测单元的上侧或者左侧区域中。
16.根据权利要求14所述的间预测方法，其中，在执行所述插值处理的步骤之前，对当前图片的重建的像素采样执行平滑处理，所述平滑处理使用参考图片的至少一个像素采样和当前图片的重建的像素采样中的至少一个。
17.一种插值方法，包括步骤: 计算用于产生预测的块的运动矢量；以及 当所述运动矢量指示子像素位置时，以子像素为单位执行产生像素采样的插值处理， 其中，当前图片的重建的像素采样和参考图片的像素采样被共同地用于所述插值处理。
18.根据权利要求17所述的插值方法，其中，所述当前图片的重建的像素采样位于当前预测单元的上侧或者左侧区域中。
19.根据权利要求17所述的插值方法，其中，在执行所述插值处理的步骤之前，对所述当前图片的重建的像素采样执行平滑处理，所述平滑处理使用所述参考图片的至少一个像素采样和所述当前图片的重建的 像素采样中的至少一个。
【文档编号】H04N19/523GK103891289SQ201180073166
【公开日】2014年6月25日 申请日期:2011年7月28日 优先权日:2011年6月30日
【发明者】全勇俊, 贾杰, 全柄文, 朴胜煜 申请人:Lg电子株式会社