专利名称：对残差块编码的方法和设备、对残差块解码的方法和设备的制作方法
技术领域：
与示例性实施例一致的设备和方法涉及编码和解码，更具体地讲，涉及对残差块的编码和解码。
背景技术：
随着用于再现和存储高清晰度或高质量视频内容的硬件的发展和供应，对有效地对高清晰度或高质量视频内容编码或解码的视频编解码器的需求正在增加。在现有技术的视频编解码器中，基于具有预定尺寸的宏块根据有限预测模式来对视频进行编码。另外，现有技术的视频编解码器通过使用具有较小尺寸(诸如，4X4或8X8)的变换单元来对残差块进行编码。
发明内容
技术问题现有技术的视频编解码器通过仅使用具有较小尺寸(诸如，4X4或8X8)的变换单元来对残差块进行编码。技术方案示例性实施例提供了一种用于对具有较大尺寸的变换残差块中的有效变换系数信息进行有效地编码和解码的方法和设备。本发明的有益效果根据一个或多个示例性实施例，根据频带单元来产生指示有效变换系数的存在的有效系数标志，从而频带的扫描处理跳过不存在有效变换系数的变换残差块，并且对有效变换系数编码所产生的比特的数量减小。
图1是根据示例性实施例的用于对视频编码的设备的框图；图2是根据示例性实施例的对视频解码的设备的框图；图3是用于描述根据示例性实施例的编码单元的概念的示图；图4是根据示例性实施例的基于编码单元的图像编码器的框图；图5是根据示例性实施例的基于编码单元的图像解码器的框图；图6是示出根据示例性实施例的根据多个深度的多个更深编码单元和多个分区的示图；图7是用于描述根据示例性实施例的编码单元和变换单元之间的关系的示图；图8是用于描述根据示例性实施例的与编码深度相应的多个编码单元的编码信息的示图；图9是根据示例性实施例的根据深度的更深编码单元的示图；图10至图12是用于描述根据一个或多个示例性实施例的编码单元、预测单元和变换单元之间的关系的示图；图13是根据示例性实施例的用于根据示例性表1的编码模式信息描述编码单元、预测单元或分区、和变换单元之间的关系的示图；图14A至14C是用于描述在现有技术领域中的对变换残差块进行编码的处理的参考图；图15是根据示例性实施例的用于对残差块编码的设备的框图；图16A至图16J是用于描述根据一个或多个示例性实施例的将变换残差块分割为多个预定频带单元的示图；图17A和图17B是用于描述根据一个或多个示例性实施例的对有效变换系数进行编码的处理的参考图；图18A和图18B是用于详细地描述根据示例性实施例的对残差块编码的处理的参考图；图19A和图19B是用于描述根据一个或多个示例性实施例的由有效系数编码器产生的变换残差块的编码信息的参考图；图20是示出根据示例性实施例的对残差块编码的方法的流程图；图21是示出根据示例性实施例的对残差块解码的设备的框图；图22是示出根据示例性实施例的对残差块解码的方法的流程图。本发明的最佳实施方式根据示例性实施例的一方面，提供了一种对残差块进行编码的方法，所述方法包括产生当前块的预测块；基于预测块和当前块之间的差来产生残差块；通过将残差块变换到频域来产生变换残差块；将变换残差块分割为多个频带单元；对指示多个分割的频带单元中的存在非零有效变换系数的多个频带的多个有效系数进行编码。该示例性实施例的方法，其中，分割变换残差块的步骤包括以如下方式分割变换残差块在低频带分割的单元尺寸小于在高频带分割的单元尺寸。该示例性实施例的方法，其中，分割变换残差块的步骤包括将变换残差块进行四等分，并且将四等分的变换残差块的最低频带再次进行四等分。该示例性实施例的方法，其中，分割变换残差块的步骤包括将变换残差块分割为多个具有相同尺寸的频带单元。该示例性实施例的方法，其中，分割变换残差块的步骤包括通过以预定间隔连接具有相同值的水平频率和垂直频率来分割变换残差块。该示例性实施例的方法，其中，分割变换残差块的步骤包括通过使用变换残差块的多个变换系数来确定变换残差块的图像特性；通过使用确定的图像特性根据变换残差块的多个频带来确定分割尺寸；根据确定的分割尺寸来分割变换残差块。该示例性实施例的方法，其中，确定图像特性的步骤包括使用存在于变换残差块的每个频带中的变换系数的数量和分布中的至少一个来确定图像特性。该示例性实施例的方法，其中，对有效系数标志进行编码的步骤包括针对多个频带单元中的最小低频带单元，不对有效系数标志进行独立编码。该示例性实施例的方法，还包括对重要性图进行编码，其中，重要性图指示存在于多个频带单元中的具有非零有效变换系数的频带单元中的有效变换系数的位置。
该示例性实施例的方法，其中，对重要性图进行编码的步骤包括通过根据每个频带单元中的独立的预定扫描顺序读取多个有效变换系数，对指示存在于具有非零有效变换系数的多个频带单元中的有效变换系数的位置的标志进行编码。该示例性实施例的方法，其中，对重要性图进行编码的步骤包括通过根据预定扫描顺序读取变换残差块中的所有的有效变换系数，对指示存在于具有非零有效变换系数的多个频带单元中的有效变换系数的位置的标志进行编码。该示例性实施例的方法，其中，对重要性图进行编码的步骤包括通过根据预定扫描顺序读取多个频带单元中的有效变换系数，来设置指示多个频带单元中的存在于一个频带单元中的最后有效变换系数的标志；并且设置指示存在于变换残差块中的最后有效变换系数的标志。该示例性实施例的方法，其中分割变换残差块的步骤包括根据从根据多个频带单元的尺寸和形状而预先确定的多个分割形式中选择的分割形式来将变换残差块分割为多个频带单元；指示从多个分割形式中选择的分割形式的分割形式标志信息被添加到包括多个有效标志的编码比特流。根据另一示例性实施例的一方面，提供了一种用于对残差块编码的设备，该设备包括预测器，产生当前块的预测块；减法器，基于预测块和当前块之间的差产生残差块；变换器，通过将残差块变换到频域来产生变换残差块；熵编码器，将变换残差块分割为多个频带单元，并对指示多个分割的频带单元中的存在非零有效变换系数的频带单元的标志进行编码。根据另一示例性实施例的一方面，提供了一种对残差块进行解码的方法，该方法包括从编码比特流提取有效系数标志，有效系数标志指示通过分割当前块的变换残差块而获得的多个分割的频带单元中的存在非零有效变换系数的频带单元；将变换残差块分割为所述多个分割的频带单元；通过使用提取的有效系数标志来确定具有通过分割变换残差块而获得的多个分割的频带单元中的具有有效变换系数的频带单元。所述另一示例性实施例的方法，其中，分割频带单元的步骤包括以如下方式分割变换残差块在低频带分割的单元尺寸小于在高频带分割的单元尺寸。所述另一示例性实施例的方法，其中，分割变换残差块的步骤包括将变换残差块进行四等分，并且将四等分的变换残差块的最低频带进行四等分。所述另一示例性实施例的方法，其中，分割变换残差块的步骤包括将变换残差块分割为多个具有相同尺寸的多个频带单元。所述另一示例性实施例的方法，其中，分割变换残差块的步骤包括通过以预定间隔连接具有相同值的水平频率和垂直频率来分割变换残差块。所述另一示例性实施例的方法，其中，分割变换残差块的步骤包括从编码比特流提取分割形式标志信息，分割形式标志信息指示根据频带单元的尺寸和形状而预先确定的多个分割形式中的用于分割变换残差块的分割形式；根据提取的分割形式标志信息来将变换残差块分割为多个频带单元。所述另一示例性实施例的方法，还包括从编码比特流提取重要性图，重要性图指示存在于多个频带单元中的具有非零有效变换系数的多个频带单元中的非零有效变换系数的位置；通过使用重要性图，来确定存在于具有非零有效变换系数的多个频带单元中的非零有效变换系数的位置。所述另一示例性实施例的方法，其中，重要性图指示根据针对每个频带单元独立的预定扫描顺序的多个频带单元中的有效变换系数的位置。所述另一示例性实施例的方法，其中，重要性图指示根据用于全部变换残差块的预定扫描顺序的多个频带单元中的有效变换系数的位置。所述另一示例性实施例的方法，其中，重要性图包括通过根据预定扫描顺序读取多个频带单元中的有效变换系数来指示存在于多个频带单元中的一个频带单元中的最后有效变换系数的标志、指示存在于变换残差块中的最后有效变换系数的标志。根据另一示例性实施例的一方面，提供了一种用于对残差块解码的设备，该设备包括解析器，从编码比特流提取有效系数标志，有效系数标志指示通过分割当前块的变换残差块而获得的多个分割的频带单元中的存在非零有效变换系数的频带单元；熵解码器，将变换残差块分割为所述多个分割的频带单元，并通过使用提取的有效系数标志来确定通过分割变换残差块而获得的多个分割的频带单元中的具有有效变换系数的频带单元。根据另一示例性实施例的一方面，提供了一种对残差块编码的方法，该方法包括通过将残差块变换到频域来产生变换残差块；将变换残差块分割为多个频带单元；对指示多个频带单元中的存在非零有效变换系数的有效系数标志进行编码。
具体实施例方式下文中，将参照附图来对示例性实施例进行更加充分地描述。将理解，当诸如“至少一个”的表达在一列元素后面时，该表达修改整列元素，而不修改该列中的个别元素。在示例性实施例中，编码单元是在编码器侧对图像数据进行编码的编码数据单元以及在解码器侧对编码图像数据进行解码的编码数据单元。另外，编码深度是指对编码单元进行编码的深度。图1是根据示例性实施例的视频编码设备100的框图。参照图1，视频编码设备100包括最大编码单元分割器110、编码单元确定器120和输出单元130。最大编码单元分割器110可基于当前画面的最大编码单元来分割图像的当前画面。如果当前画面大于最大编码单元，则当前画面的图像数据可被分割为至少一个最大编码单元。根据示例性实施例的最大编码单元可以是具有尺寸为32X32、64X64、U8X128、256 X 256等的数据单元，其中，数据单元的形状是宽度和长度为2的平方的正方形。图像数据可根据至少一个最大编码单元被输出到编码单元确定器120。根据示例性实施例的编码单元可由最大尺寸和深度来表征。深度表示从最大编码单元空间分割编码单元的次数，并且随着深度的加深，可从最大编码单元到最小编码单元根据深度分割更深的编码单元。最大编码单元的深度是最高深度，最小编码单元的深度是最低深度。由于随着最大编码单元的深度加深，与每个深度相应的编码单元的尺寸减小，因此，与更高的深度相应的编码单元可包括多个与更低的深度相应的编码单元。如上所述，当前画面的图像数据根据编码单元的最大尺寸被分割为最大编码单元，并且最大编码单元的每个可包括根据深度被分割的更深的编码单元。由于根据示例性实施例的最大编码单元根据深度被分割，因此包括在最大编码单元中的空间域的图像数据可根据深度被分层地分类。
编码单元的最大深度和最大尺寸可预先确定，其中，编码单元的最大深度和最大尺寸限制最大编码单元的高度和宽度可被分层地分割的总次数。编码单元确定器120对通过根据深度分割最大编码单元的区域获得的至少一个分割区域进行编码，并且根据所述至少一个分割区域确定用于输出编码图像数据的深度。也就是，编码单元确定器120通过基于当前画面的最大编码单元根据深度对更深编码单元中的图像数据进行编码，并且选择具有最少编码误差的深度，来确定编码深度。因此，与确定的编码深度相应的编码单元的编码图像数据被输出到输出单元130。另外，与编码深度相应的编码单元可被看作编码的编码单元。确定的编码深度和根据确定的编码深度的编码图像数据被输出到输出单元130。最大编码单元中的图像数据基于与等于或低于最大深度的至少一个深度相应的更深的编码单元而被编码，并且对图像数据进行编码的结果基于更深的编码单元的每个被比较。在将更深的编码单元的编码误差进行比较之后，具有最小编码误差的深度可被选择。可对每个最大编码单元选择至少一个编码深度。随着编码单元根据深度被分层地分割，并且随着编码单元的数量增加，最大编码单元的尺寸被分割。另外，即使在一个最大编码单元中多个编码单元相应于相同深度，也通过分别测量每个编码单元的图像数据的编码误差来确定是否将与相同深度相应的编码单元中的每一个分割至更低的深度。因此，即使当图像数据被包括在一个最大编码单元中时，图像数据也根据多个深度被分割为多个区域，在一个最大编码单元中编码误差可根据区域而不同，因此编码深度可根据图像数据中的区域而不同。因此，在一个最大编码单元中可确定一个或多个编码深度，并且可根据至少一个编码深度的编码单元来分割最大编码单元的图像数据。因此，编码单元确定器120可确定包括在最大编码单元中具有树结构的编码单元。根据示例性实施例的具有树结构的编码单元包括最大编码单元中所包括的更深的编码单元中与确定为编码深度的深度相应的编码单元。在最大编码单元的相同区域中，编码深度的编码单元可根据深度被分层地确定，在不同的区域中，编码深度的编码单元可被独立地确定。类似地，当前区域中的编码深度可独立于另一区域中的编码深度被确定。根据示例性实施例的最大深度是与从最大编码单元到最小编码单元的分割次数相关的标志。根据示例性实施例的第一最大深度可表示从最大编码单元到最小编码单元的总分割次数。根据示例性实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度级的总数。例如，当最大编码单元的深度是0时，最大编码单元被分割一次的编码单元的深度可被设置为1，并且最大编码单元被分割两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被分割四次的编码单元，则存在深度0、1、2、3和4的5个深度级。因此，第一最大深度可被设置为4，第二最大深度可被设置为5。可根据最大编码单元执行预测编码和变换。还可根据最大编码单元，基于根据等于最大深度的深度或小于最大深度的多个深度的更深编码单元来执行预测编码和变换。可根据正交变换或整数变换的方法来执行变换。由于每当最大编码单元根据深度被分割时，更深的编码单元的数量增加，因此对由于深度的加深而产生的所有的更深的编码单元执行编码(诸如预测编码和变换)。为了描述方便，下文中将在最大编码单元中基于当前深度的编码单元来描述预测编码和变换。
视频编码设备100可不同地选择用于对图像数据编码的数据单元的尺寸和形状中的至少一个。为了对图像数据编码，可执行多个操作(诸如，预测编码、变换和熵编码)，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。例如，视频编码设备100可选择用于对图像数据编码的编码单元以及与该编码单元不同的数据单元，以便对编码单元中的图像数据执行预测编码。为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单元(即，基于不再被分割为与更低深度相应的多个编码单元的编码单元)来执行预测编码。下文中，不再被分割并且变为用于预测编码的基本单元的编码单元将被称为预测单元。通过分割预测单元而获得的分区(partition)可包括通过分割预测单元的高度和宽度中的至少一个而获得的预测单元或数据单元。例如，当2NX2N(其中，N是正整数)的编码单元不再被分割并且变为2NX2N的预测单元时，分区的尺寸可以是2NX2N、2NXN、NX2N或NXN。分区类型的示例包括通过对预测单元的高度和宽度中的至少一个进行对称分割而获得的对称分区、通过对预测单元的高度或宽度进行不对称分割(诸如，1:11或11:1)而获得的分区、通过对预测单元进行几何分割而获得的分区以及具有任意形状的分区。预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2NX2N、2NXN、NX 2N或NXN的分区执行帧内模式或帧间模式。在这种情况下，可仅对2NX 2N的分区执行跳过模式。对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。视频编码设备100还可基于用于对图像数据进行编码的编码单元以及基于与该编码单元不同的数据单元，对编码单元中的图像数据执行变换。为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的数据单元来执行变换。例如，用于变换的数据单元可包括用于帧内模式的数据单元以及用于帧间模式的数据单元。用作变换的基础的数据单元在下文中将被称为变换单元。还可在变换单元中设置指示通过将编码单元的高度和宽度进行分割而达到变换单元的分割次数的变换深度。例如，在2NX 2N的当前编码单元中，当变换单元的尺寸也是2NX 2N时，变换深度可以是0，在当前编码单元的高度和深度中的每一个被分割为两等份(总共被分割为4Λ 1个变换单元)时，变换深度可以是1，并且变换单元的尺寸因此是ΝΧΝ，在当前编码单元的高度和深度中的每一个被分割为四等份(总共被分割为4Λ2个变换单元)时，变换深度可以是2，并且变换单元的尺寸因此是Ν/2ΧΝ/2。例如，可根据分层树结构来设置变换单元，在分层树结构中，更高变换深度的变换单元根据变换深度的分层特性被分割为更低变换深度的四个变换单元。与编码单元类似，编码单元中的变换单元可被递归地分割为更小尺寸的区域，从而可以以区域为单位独立地确定变换单元。因此，可根据具有根据变换深度的树结构的变换，来划分编码单元中的残差数据。根据与编码深度相应的编码单元的编码信息使用关于编码深度的信息以及与预测编码和变换相关的信息。因此，编码单元确定器120确定具有最小编码误差的编码深度，并且确定预测单元中的分区类型、根据预测单元的预测模式以及用于变换的变换单元的尺寸。稍后将参照图3至图12来详细地描述根据示例性实施例的最大编码单元中的根据树结构的编码单元以及确定分区的方法。编码单元确定器120可通过基于拉格朗日乘子(Lagrangian multiplier)使用率失真优化来测量根据深度的更深的编码单元的编码误差。输出单元130在比特流中输出最大编码单元的图像数据以及关于根据编码深度的编码模式的信息，其中，所述图像数据基于由编码单元确定器120确定的至少一个编码深度被编码。可通过对图像的残差数据进行编码来获得编码图像数据。关于根据编码深度的编码模式的信息可包括关于以下内容的信息中的至少一个:编码深度、预测单元中的分区类型、预测模式以及变换单元的尺寸。可通过使用根据深度的分割信息来定义关于编码深度的信息，分割信息指示是否针对更低深度而非当前深度的编码单元来执行编码。如果当前编码单元的当前深度是编码深度，则当前编码单元中的图像数据被编码和输出。在这种情况下，分割信息可被定义为不将当前编码单元分割为更低深度。可选择地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码。在这种情况下，分割信息可被定义为分割当前编码单元以获得更低深度的编码单元。如果当前深度不是编码深度，则对被分割为更低深度的编码单元的编码单元执行编码。在这种情况下，由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低深度的每个编码单元重复地执行编码，因此可对具有相同深度的编码单元递归地执行编码。由于对一个最大编码单元确定具有树结构的编码单元，并且对编码深度的编码单元确定关于至少一个编码模式的信息，因此可对一个最大编码单元确定关于至少一个编码模式的信息。另外，由于图像数据根据深度被分层地分割，因此，最大编码单元的图像数据的编码深度可根据位置而不同，从而可对图像数据设置关于编码深度以及编码模式的信肩、ο因此，输出单元130可将关于相应编码深度和编码模式的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。根据示例性实施例的最小单元是对最低深度的最小编码单元进行分割4次而获得的矩形数据单元。可选择地，最小单元可以是最大矩形数据单元，最大矩形数据单元可被包括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和变换单元。例如，通过输出单元130输出的编码信息可被分类为根据编码单元的编码信息以及根据预测单元的编码信息。根据编码单元的编码信息可包括关于预测模式的信息以及关于分区的尺寸的信息。根据预测单元的编码信息可包括关于以下内容的信息帧间模式的估计方向、帧间模式的参考图像标志、运动矢量、帧内模式的色度分量以及帧内模式的插值方法。另外，关于根据画面、像条或GOP定义的编码单元的最大尺寸的信息以及关于最大深度的信息可被插入比特流的序列参数集(SPS)或头中的至少一个。在视频编码设备100中，更深的编码单元可以是通过将作为上一层的更高深度的编码单元的高度和宽度中的至少一个划分两次而获得的编码单元。例如，在当前深度的编码单元的尺寸是2NX 2N时，更低深度的编码单元的尺寸可以是NXN。另外，具有2NX 2N的尺寸的当前深度的编码单元可包括最多4个更低深度的编码单元。因此，视频编码设备100可通过基于考虑当前画面的特性所确定的最大编码单元的尺寸和最大深度，针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元，来形成具有树结构的编码单元。另外，由于通过使用各种预测模式和变换中的任何一个对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特性来确定最佳编码模式。因此，如果以现有技术的宏块对具有高清晰度的图像或者大量的数据进行编码，则每个画面的宏块的数量过度地增加。因此，对每个宏块产生的压缩信息的条数增加，因此难于发送压缩的信息并且数据压缩效率减小。然而，通过使用根据示例性实施例的视频编码设备100，由于在考虑图像的特征的同时调整编码单元并且在考虑图像的尺寸的同时增加编码单元的最大尺寸，因此可提高图像压缩效率。图2是根据示例性实施例的视频解码设备200的框图。参照图2，视频解码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。用于视频解码设备200的各种操作的各种术语(诸如编码单元、深度、预测单元、变换单元)的定义和关于各种编码模式的信息与以上参照图1对视频编码设备100描述的那些定义和信息类似。接收器210接收编码视频的比特流并对该比特流进行解析。图像数据和编码信息提取器220从解析的比特流提取用于每个编码单元的编码图像数据，并且将提取的图像数据输出到图像数据解码器230，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提取器220可从关于当前画面的头或者SPS提取关于当前画面的编码单元的最大尺寸的信息。另外，图像数据和编码信息提取器220从解析的比特流提取关于根据每个最大编码单元的用于具有树结构的编码单元的编码深度以及编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。也就是说，比特流中的图像数据被分割为最大编码单元，从而图像数据解码器230针对每个最大编码单元对图像数据进行解码。可对关于与编码深度相应的至少一个编码单元的信息来设置关于根据最大编码单元的编码深度和编码模式的信息，并且关于编码模式的信息可包括关于以下内容中的至少一个的信息与编码深度相应的相应编码单元的分区类型、预测模式以及变换单元的尺寸。另外，根据深度的分割信息可被提取作为关于编码深度的信息。由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度和编码模式的信息是关于这样的编码深度和编码模式的信息所述编码深度和编码模式被确定用于当编码器(诸如，根据示例性实施例的视频编码设备100)根据每个最大编码单元针对根据深度的每个更深编码单元重复执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码深度和编码模式对图像数据进行解码来恢复图像。由于关于编码深度和编码模式的编码信息可被分配给相应编码单元、预测单元以及最小单元中的预定数据单元，因此，图像数据和编码信息提取器220可根据预定数据单元提取关于编码深度和编码模式的信息。被分配有相同的关于编码深度和编码模式的信息的预定数据单元可以是包括在相同的最大编码单元中的数据单元。图像数据解码器230通过基于关于根据最大编码单元的编码深度和编码模式的信息对每个最大编码单元中的图像数据进行解码来恢复当前画面。例如，图像数据解码器230可基于提取的关于包括在每个最大编码单元中的具有树结构的编码单元中的每个编码单元的分区类型、预测模式和变换单元的信息来对编码图像数据进行解码。解码处理可包括预测(所述预测包括帧内预测和运动补偿)和反变换。可根据反正交变换或反整数变换的方法来执行反变换。图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的分区类型以及预测模式的信息，根据每个编码单元的分区和预测模式来执行帧内预测和运动补偿中的至少一个。另外，图像数据解码器230可基于关于根据编码深度的编码单元的变换单元的尺寸的信息，根据编码单元中的每个变换单元来执行反变换，从而根据最大编码单元执行反变换。图像数据解码器230可通过使用根据深度的分割信息来确定当前最大编码单元的至少一个编码深度。如果分割信息指示图像数据在当前深度中不再被分割，则当前深度是编码深度。因此，图像数据解码器230可通过使用关于与编码深度相应的每个编码单元的预测单元的分割类型、预测模式以及变换单元的尺寸的信息中的至少一个，来对当前最大编码单元中与每个编码深度相应的至少一个编码单元的编码数据进行解码，并且输出当前最大编码单元的图像数据。例如，可通过观察为编码单元、预测单元和最小单元中的预定数据单元分配的编码信息集，来收集包括具有相同分割信息的编码信息的数据单元，收集的数据单元可被认为是将由图像数据解码器以相同的编码模式解码的一个数据单元。视频解码设备200可获得关于当针对每个最大编码单元递归执行编码时产生最小编码误差的至少一个编码单元的信息，并可使用所述信息来对当前画面进行解码。也就是，可对每个最大编码单元中被确定为最佳编码单元的具有树结构的编码单元进行解码。另外，可考虑图像数据的分辨率和图像数据的量中的至少一个来确定编码单元的最大尺寸。因此，即使图像数据具有高分辨率和大数据量，也可通过使用根据图像数据的特征来自适应地确定的编码单元的尺寸和编码模式以及从编码器接收的关于最佳编码模式的信息来对图像数据进行有效地解码和恢复。现在将参照图3至图13对根据一个或多个示例性实施例的确定具有树结构的编码单元、预测单元和变换单元的方法进行描述。图3是用于描述根据示例性实施例的编码单元的概念的示图。编码单元的尺寸可按照宽度χ高度来表达。例如，编码单元的尺寸可以是64 X 64、32 X 32、16 X 16 或 8 X 8。64 X 64 的编码单元可被分割为 64 X 64、64 X 32、32 X 64 或32X32的分区，32X32的编码单元可被分割为32X32、32X 16、16X32或16X16的分区，16X16的编码单元可被分割为16X16、16X8、8X16或8X8的分区，8X8的编码单元可被分割为8X8、8X4、4X8或4X4的分区。参照图3，这里示例性地提供了具有分辨率1920X1080以及具有最大尺寸64和最大深度2的编码单元的第一视频数据310。此外，这里示例性地提供了具有分辨率 1920X1080以及具有最大尺寸64和最大深度3的编码单元的第二视频数据320。另外，这里示例性地提供了具有分辨率352X288以及具有最大尺寸16和最大深度I的编码单元的第三视频数据330。图3中示出的最大深度表示从最大编码单元到最小编码单元的分割总数。如果分辨率高或者数据量大，则编码单元的最大尺寸可以为大以便增加编码效率并且准确地反映图像的特性。因此，第一视频数据310和第二视频数据320的编码单元的最大尺寸可以是64，其中，第一视频数据310和第二视频数据320具有的分辨率高于第三视频数据330的分辨率。因为由于第一视频数据310的最大深度是2而通过分割最大编码单元两次深度被加深到两层，所以第一视频数据310的编码单元315可包括具有长轴尺寸64的最大编码单元以及具有长轴尺寸32和16的编码单元。同时，因为由于第三视频数据330的最大深度是I通过分割最大编码单元一次深度被加深到一层，因此第三视频数据330的编码单元335 可包括具有长轴尺寸16的最大编码单元以及具有长轴尺寸8的编码单元。因为由于第二视频数据320的最大深度是3而通过分割最大编码单元三次深度被加深到3层，因此第二视频数据320的编码单元325可包括具有长轴尺寸64的最大编码单元以及具有长轴尺寸32、16和8的编码单元。随着深度的加深，可精确地表达详细的信息。图4是根据示例性实施例的基于编码单元的图像编码器400的框图。图像编码器400可执行根据示例性实施例的视频编码设备100的编码单元确定器 120的操作以对图像数据编码。也就是，参照图4，帧内预测器410在帧内模式下对当前帧 405中的编码单元执行帧内预测，运动估计器420和运动补偿器425在帧间模式下通过使用当前帧405和参考帧495对当前帧中的编码单元执行帧间估计和运动补偿。从帧内预测器410、运动估计器420和运动补偿器425输出的数据作为量化的变换系数通过变换器430和量化器440输出。量化的变换系数通过反量化器460和反变换器 470被恢复为空间域中的数据，并且恢复的空间域中的数据在通过去块单元480和环路滤波单元490被后处理之后被输出为参考巾贞495。量化的变换系数可通过熵编码器450作为比特流455被输出。为了使得图像编码器400被应用到视频编码设备100中，图像编码器400的元件 (即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器 450、反量化器460、反变换器470、去块单元480和环路滤波单元490)在考虑每个最大编码单元的最大深度的同时，基于具有树结构的多个编码单元中的每个编码单元执行操作。具体地讲，帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码单元的最大尺寸和最大深度的同时，确定具有树结构的多个编码单元中的每个编码单元的分区和预测模式，并且变换器430确定具有树结构的多个编码单元的每个编码单元中的变换单元的尺寸。图5是根据示例性实施例的基于编码单元的图像解码器500的框图。参照图5，解析器510解析来自比特流505的将被解码的编码的图像数据以及用于解码的关于编码的信息。编码的图像数据通过熵解码器520和反量化器530作为反量化的数据被输出，并且反量化的数据通过反变换器540被恢复为空间域中的图像数据。
帧内预测器550对于空间域中的图像数据在帧内模式下对多个编码单元执行帧内预测，运动补偿器560通过使用参考帧585在帧间模式下对多个编码单元执行运动补偿。经过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过去块单元 570和环路滤波单元580被后处理之后被输出为恢复的帧595。另外，经过去块单元570和环路滤波单元580被后处理的图像数据可被输出为参考帧585。为了在根据示例性实施例的视频解码设备200的图像数据解码器230中对图像数据解码，图像解码器500可执行在解析器510之后执行的操作。为了使得图像解码器500被应用到视频解码设备200中，图像解码器500的元件 (即，解析器510、熵解码器520、反量化器530、反变换器540、帧内预测器550、运动补偿器 560、去块单元570和环路滤波单元580)对于每个最大编码单元基于具有树结构的多个编码单元执行操作。具体地讲，帧内预测550和运动补偿器560对于具有树结构的多个编码单元基于每个的分区和预测模式来执行操作，并且反变换器540对于每个编码单元基于变换单元的尺寸来执行操作。图6是示出根据示例性实施例的根据多个深度的多个更深编码单元和多个分区的示图。根据示例性实施例的视频编码设备100和视频解码设备200使用多个分层的编码单元以考虑图像的特性。多个编码单元的最大高度、最大宽度和最大深度可根据图像的特性被自适应地确定，或者可由用户不同地设置。根据多个深度的多个更深编码单元的尺寸可根据编码单元的预定最大尺寸被确定。参照图6，在根据示例性实施例的多个编码单元的分层结构600中，多个编码单元的最大高度和最大宽度都是64，并且最大深度是4。由于深度沿着分层结构600的纵轴加深，因此更深编码单元的高度和宽度都被分割。另外，作为用于每个更深编码单元的预测编码的基础的预测单元和多个分区沿分层结构600的横轴被显示。也就是说，第一编码单元610是分层结构600中的最大编码单元，其中，深度是0， 尺寸(即，高度乘宽度)是64X64。深度沿纵轴加深，并且存在具有尺寸32X32和深度I 的第二编码单元620、具有尺寸16X 16和深度2的第三编码单元630、具有尺寸8X8和深度3的第四编码单元640以及具有尺寸4X4和深度4的第五编码单元650。具有尺寸4X4 和深度4的第五编码单兀650是最小编码单兀。编码单元的预测单元和多个分区根据每个深度沿横轴排列。也就是说，如果具有尺寸64X64和深度O的第一编码单元610是预测单元，则该预测单元可被分割为包括在第一编码单元610中的多个分区，即具有尺寸64X64的分区610、具有尺寸64X32的多个分区612、具有尺寸32X64的多个分区614、或者具有尺寸32X32的多个分区616。类似地，具有尺寸32X32和深度I的第二编码单元620的预测单元可被分割为包括在第二编码单元620中的多个分区，即具有尺寸32X32的分区620、具有尺寸32X16的多个分区622、具有尺寸16X32的多个分区624以及具有尺寸16X16的多个分区626。类似地，具有尺寸16 X 16和深度2的第三编码单元630的预测单元可被分割为包括在第三编码单元630中的多个分区，即包括在第三编码单元630中的具有尺寸16X16的分区、具有尺寸16X8的多个分区632、具有尺寸8X16的多个分区634以及具有尺寸8X8的多个分区636。类似地，具有尺寸8X8和深度3的第四编码单元640的预测单元可被分割为包括在第四编码单元640中的多个分区，即包括在第四编码单元640中的具有尺寸8X8的分区、具有尺寸8X4的多个分区642、具有尺寸4X8的多个分区644以及具有尺寸4 X 4的多个分区646。具有尺寸4X4和深度4的第五编码单元650是最小编码单元以及最低深度的编码单元。第五编码单元650的预测单元仅被分配给具有尺寸4X4的分区。为了确定最大编码单元610的多个编码单元的至少一个编码深度，视频编码设备 100的编码单元确定器120对包括在最大编码单元610中的与每个深度相应的编码单元执行编码。随着深度的加深，包括相同范围中并且相同尺寸的数据的根据深度的更深编码单元的数量增加。例如，四个与深度2相应的编码单元覆盖包括在一个与深度I相应的编码单元中的数据。因此，为了根据深度比较相同数据的多个编码结果，与深度I相应的编码单元以及与深度2相应的四个编码单元都被编码。为了对多个深度中的当前深度执行编码，沿分层结构600的横轴，通过对与当前深度相应的多个编码单元中的每个预测单元执行编码来对当前深度选择最小编码误差。可选择地，可通过随着深度沿分层结构600的纵轴加深，对每个深度执行编码，根据深度比较最小编码误差，来搜索最小编码误差。在第一编码单元610中的具有最小编码误差的深度和分区可被选作为第一编码单元610的编码深度和分区类型。图7是用于描述根据示例性实施例的编码单元710和变换单元720之间的关系的示图。根据示例性实施例的视频编码设备100或视频解码设备200针对每个最大编码单元根据具有尺寸小于或等于最大编码单元的多个编码单元来对图像进行编码或解码。可基于不长于相应编码单元的多个数据单元来选择在编码期间用于变换的多个变换单元的多个尺寸。例如，在视频编码设备100或视频解码设备200中，如果编码单元710的尺寸是 64 X 64，则可通过使用具有尺寸32X32的多个变换单元720来执行变换。另外，可通过对具有尺寸小于64X64的尺寸32X32、16X16、8X8和4X4的每个变换单元执行变换，来对具有尺寸64X64的编码单元710的数据进行编码，从而具有最小编码误差的变换单元可被选择。图8是用于描述根据示例性实施例的与编码深度相应的多个编码单元的编码信息的示图。参照图8，根据示例性实施例的视频编码设备100的输出单元130可将如下信息作为关于编码模式的信息进行编码和发送关于分区类型的信息800、关于预测模式的信息 810以及关于与编码深度相应的每个编码单元的变换单元的尺寸的信息820。关于分区类型的信息800是关于通过分割当前编码单元的预测单元而获得的分区的形状的信息，其中，所述分区是用于对当前编码单元进行预测编码的数据单元。例如，具有尺寸2NX2N的当前编码单元CU_0可被分割为如下分区中的任何一个具有尺寸 2NX2N的分区802、具有尺寸2NXN的分区804、具有尺寸NX2N的分区806以及具有尺寸NXN的分区808。这里，关于分区类型的信息被设置以指示如下分区之一具有尺寸2NXN 的分区804、具有尺寸NX2N的分区806以及具有尺寸NXN的分区808。关于预测模式的信息810指示每个分区的预测模式。例如，关于预测模式的信息 810可指示对由关于分区类型的信息800指示的分区执行的预测编码的模式，即帧内模式 812、帧间模式814或跳过模式816。关于变换单元的尺寸的信息820指示当对当前编码单元执行变换时将被基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧内变换单元828。根据示例性实施例的视频解码设备200的图像数据和编码信息提取器220可根据每个更深编码单元来提取并使用用信息800、810和820于解码。图9是根据示例性实施例的根据深度的更深编码单元的示图。分割信息可用于指示深度的改变。分割信息指示当前深度的编码单元是否被分割为更低深度的多个编码单元。参照图9，用于对深度O和尺寸2N_0X 2N_0的编码单元900进行预测编码的预测单元910可包括如下分区类型的多个分区具有尺寸2N_0X2N_0的分区类型912、具有尺寸2N_0 X N_0的分区类型914、具有尺寸N_0 X 2N_0的分区类型916以及具有尺寸N_0 X N_0 的分区类型918。尽管图9仅示出通过对预测单元910对称分割而获得的分区类型912至 918，但是应该理解部分类型不限于此。例如，根据另一示例性实施例，预测单元910的多个分区可包括多个不对称分区、具有预定形状的多个分区以及具有几何形状的多个分区。根据每个分区类型对如下分区重复地执行预测编码具有尺寸2N_0X2N_0的一个分区、具有尺寸2N_0XN_0的两个分区、具有尺寸N_0X2N_0的两个分区以及具有尺寸 Ν_0ΧΝ_0的四个分区。可对具有尺寸2N_0X2N_0、N_0X2N_0、2N_0XN_0以及Ν_0ΧΝ_0的多个分区执行帧内模式和帧间模式的预测编码。仅对具有尺寸2N_0X2N_0的分区执行跳过模式的预测编码。包括以分区类型912至918的预测编码的编码误差被比较，并且在多个分区类型中确定最小编码误差。如果一编码误差在分区类型912至916之一中最小，则预测单元910 可不被分割为更低深度。例如，如果该编码误差在分区类型918中最小，则在操作920，深度从O改变为I以分割分区类型918，并且对具有深度2和尺寸Ν_0ΧΝ_0的编码单元930重复地执行编码以
搜索最小编码误差。用于对具有深度I和尺寸2N_1X2N_1 ( = Ν_0ΧΝ_0)的编码单元930进行预测编码的预测单元940可包括如下分区类型的多个分区具有尺寸2N_1X2N_1的分区类型 942、具有尺寸2N _1XN_1的分区类型944、具有尺寸N_1 X 2N_1的分区类型946以及具有尺寸N_1XN_1的分区类型948。作为示例，如果编码误差在分区类型948中最小，则在操作950，深度从I改变为2 以分割分区类型948，并且对具有深度2和尺寸N_2XN_2的编码单元960重复地执行编码以搜索最小编码误差。当最大深度是d时，可执行根据每个深度的分割操作直到当深度变为d-Ι，并且分割信息可被编码直到当深度是O至d-2之一。例如，当执行编码直到在操作970与深度d-2相应的编码单元被分割之后深度是d-Ι时，用于对具有深度d-Ι和尺寸2N_(d-l) X2N_ (d-1)的编码单元980进行预测编码的预测单元990可包括如下分区类型的多个分区具有尺寸2N_(d-l) X2N_(d-l)的分区类型992、具有尺寸2N_(d-l) XN_(d-l)的分区类型 994、具有尺寸N_(d-1) X2N_(d-l)的分区类型996以及具有尺寸N_(d_l) XN_(d_l)的分区类型998。可对如下分区重复地执行预测编码分区类型992至998中的具有尺寸2N_ (d-1) X2N_(d-l)的一个分区、具有尺寸2N_(d-l) XN_(d-l)的两个分区、具有尺寸N_ (d-1) X2N_(d-l)的两个分区、具有尺寸N_(d-1) XN_(d-l)的四个分区，以搜索具有最小编码误差的分区类型。即使当分区类型998具有最小编码误差时，由于最大深度是d，因此具有深度d-1 的编码单元cu_(d-l)不再被分割到更低深度。在这种情况下，当前最大编码单元900的多个编码单元的编码深度被确定为d-Ι并且当前最大编码单元900的分割类型可被确定SN_ (d-1) XN_(d-l)。另外，由于最大深度是d并且具有最低深度d_l的最小编码单兀980不再被分割到更低深度，因此最小编码单元980的分割信息不被设置。数据单元999可以是当前最大编码单元的最小单元。根据示例性实施例的最小单元可以是通过按照4分割最小编码单元980而获得的矩形数据单元。通过重复地执行编码， 根据示例性实施例的视频编码设备100可通过根据编码单元900的多个深度来比较多个编码误差来选择具有最小编码误差的深度以确定编码深度，并且将相应分区类型以及预测模式设置为编码深度的编码模式。同样地，根据多个深度的多个最小编码误差在所有的深度I至d中被比较，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型以及预测模式可被编码并作为关于编码模式的信息被发送。另外，由于编码单元从深度O到编码深度被分割，因此该编码深度的分割信息被设置0，除了编码深度之外的多个深度的分割信息被设置为I。根据示例性实施例的视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的编码深度以及预测单元的信息以对分区912进行解码。视频解码设备200可通过使用根据多个深度的分割信息来将分割信息是O的深度确定为编码深度，并且使用关于相应深度的编码模式的信息用于解码。图10至图12是用于描述根据一个或多个示例性实施例的多个编码单元1010、多个预测单元1060和多个变换单元1070之间的关系的示图。参照图10，多个编码单元1010是最大编码单元中的与由根据示例性实施例的视频编码设备100确定的多个编码深度相应的具有树结构的多个编码单元。参照图11和图 12，多个预测单元1060是多个编码单元1010的每个的多个预测单元的多个分区，多个变换单元1070是多个编码单元1010的每个的多个变换单元。当在多个编码单元1010中最大编码单元的深度是O时，多个编码单元1010和 1054的深度是1，多个编码单元1014、1016、1018、1028、1050和1052的深度是2，多个编码单元 1020、1022、1024、1026、1030、1032 和 1048 的深度是 3，多个编码单元 1040、1042、1044 和1046的深度是4。在多个预测单元1060 中，一些编码单元 1014、1046、1022、1032、1048、1050、1052和1054通过分割多个编码单元1010的编码单元而获得。具体地讲，多个编码单元1014、 1022,1050和1054中的多个分区类型具有尺寸2NXN，多个编码单元1016、1048和1052中的多个分区类型具有尺寸NX 2N，编码单元1032的分区类型具有尺寸NXN。编码单元1010 的多个预测单元和多个分区小于或等于每个编码单元。以小于编码单元1052的数据单元对多个变换单元1070中的编码单元1052的图像数据执行变换或反变换。另外，多个变换单元1070的多个编码单元1014、1016、1022、 1032、1048、1050和1052在尺寸和形状上与多个预测单元1060的多个编码单元1014、 1016、1022、1032、1048、1050和1052不同。也就是说，根据示例性实施例的视频编码设备 100和视频解码设备200可对相同编码单元中的数据单元独立地执行帧内预测、运动估计、 运动补偿、变换和反变换。因此，对最大编码单元的每个区域中的具有分层结构的多个编码单元的每个执行递归编码，以确定最佳编码单元，因此具有递归树结构的多个编码单元可被获得。编码信息可包括关于编码单元的分割信息、关于分区类型的信息、关于预测模式的信息以及关于变换单元的尺寸的信息。示例性表I显示可由视频编码设备100和视频解码设备200设置的编码息。表I表I
权利要求
1.一种对残差块进行解码的方法，所述方法包括从编码比特流提取有效系数标志，其中，有效系数标志根据通过分割当前块的变换残差块而获得的多个频带单元来指示有效变换系数是否存在；将变换残差块分割为多个频带单元；通过使用有效系数标志，在通过分割变换残差块而获得的多个频带单元中确定具有有效变换系数的频带单元。
2.如权利要求1所述的方法，其中，分割频带单元的步骤包括分割变换残差块以致在低频带分割的单元尺寸小于在高频带分割的单元尺寸。
3.如权利要求1所述的方法，其中，分割变换残差块的步骤包括将变换残差块进行四等分，并且将四等分的变换残差块的最低频带再次进行四等分。
4.如权利要求1所述的方法，其中，分割变换残差块的步骤包括将变换残差块分割为多个具有相同尺寸的频带单元。
5.如权利要求1所述的方法，其中，分割变换残差块的步骤包括通过连接具有相同值的水平频率和垂直频率来以预定间隔分割变换残差块。
6.如权利要求1所述的方法，其中，分割变换残差块的步骤包括从编码比特流提取分割形式标志信息，其中，分割形式标志信息指示根据多个频带单元的尺寸和形状而预先确定的多个分割形式中的用于分割变换残差块的分割形式；通过使用提取的分割形式标志信息，来将变换残差块分割为具有预定尺寸和形状的频带单元。
7.如权利要求1所述的方法，还包括从编码比特流提取重要性图，其中，重要性图指示存在于具有有效变换系数的频带单元的有效变换系数的位置；通过使用重要性图，来确定存在于具有有效变换系数的频带单元中的有效变换系数的位置。
8.如权利要求7所述的方法，其中，重要性图根据每个频带单元中独立的预定扫描顺序指示频带单元中的有效变换系数的位置。
9.如权利要求7所述的方法，其中，重要性图根据预定扫描顺序读取变换残差块中的所有的有效变换系数的同时指示检测的有效变换系数的位置。
10.如权利要求7所述的方法，其中，重要性图包括通过根据预定扫描顺序读取频带单元中的有效变换系数来根据频带单元指示最后有效变换系数是否存在的标志，以及指示存在于具有最后有效变换系数的频带单元中的有效变换系数是否是变换残差块的最后有效系数的标志。
11.一种对残差块编码的方法，所述方法包括产生当前块的预测块；产生构成预测块和当前块之间的差的残差块；通过将残差块变换到频域来产生变换残差块；将变换残差块分割为频带单元；根据频带单元来对有效系数标志进行编码，其中，有效系数标志指示对于每个频带单元非零有效变换系数是否存在。
12.如权利要求11所述的方法，其中，对有效系数标志进行编码的步骤包括不对多个频带单元中最小频带单元的有效系数标志进行独立编码。
13.如权利要求11所述的方法，还包括对重要性图进行编码，其中，重要性图指示存在于多个频带单元中的具有非零有效变换系数的频带单元中的有效变换系数的位置。
14.如权利要求13所述的方法，其中，对重要性图进行编码的步骤包括通过根据每个频带单元中的独立的预定扫描顺序读取有效变换系数，对指示存在于具有非零有效变换系数的频带中的有效变换系数的位置的标志进行编码。
15.如权利要求13所述的方法，其中，对重要性图进行编码的步骤包括通过根据预定扫描顺序读取频带单元中的有效变换系数，来根据频带单元设置指示最后有效变换系数是否存在的标志；以及设置指示存在于具有最后有效变换系数的频带单元中的有效变换系数是否是变换残差块的最后有效系数的标志。
全文摘要
提供了对残差块进行编码和解码的方法和设备。对残差块进行编码的方法包括产生当前块的预测块；基于预测块和当前块之间的差来产生残差块；通过将残差块变换到频域来产生变换残差块；将变换残差块分割为多个频带单元；对指示多个频带单元中存在非零有效变换系数的频带单元的有效系数标志进行编码。
文档编号H04N7/50GK102598664SQ201080049289
公开日2012年7月18日 申请日期2010年10月28日 优先权日2009年10月28日
发明者千岷洙, 闵正惠, 韩宇镇 申请人:三星电子株式会社