确定图像编码单元和图像解码单元的帧内预测模式的制造方法与工艺

确定图像编码单元和图像解码单元的帧内预测模式本申请是申请日为2011年4月5日、申请号为201180027802.6、题为“确定图像编码单元和图像解码单元的帧内预测模式”的专利申请的分案申请。技术领域示例性实施例涉及图像的编码和解码，更具体地，涉及对图像编码和解码的方法和设备，其中，通过应用针对亮度分量编码单元确定的帧内预测模式来对色度分量编码单元执行帧内预测。

背景技术：
在图像压缩方法(诸如，运动图像专家组(MPEG)-1、MPEG-2、MPEG-4或H.264/MPEG-4先进视频编码(AVC))中，图像被划分为用于对图像编码的宏块。以能够在帧间预测或帧内预测中使用的所有编码模式对每个宏块编码，随后以根据用于对宏块编码的比特率和基于原始宏块的解码宏块的失真度选择的编码模式对每个宏块编码。随着用于再现和存储高分辨率或高质量视频内容的硬件被开发和提供，越来越需要能够有效地对高分辨率或高质量视频内容编码或解码的视频编解码器。在传统的视频编解码器中，以宏块为单位对视频编码，其中，每个宏块具有预定尺寸。

技术实现要素：
技术问题在传统的视频编解码器中，以宏块为单位对视频编码，其中，每个宏块具有预定尺寸。另外，在传统的视频编解码器中，帧内模式的方向性有限。技术方案示例性实施例包括基于具有多种尺寸的分层编码单元来确定具有多种方向性的亮度分量编码单元的帧内预测模式的方法，以及用于对图像编码和解码的方法和设备，其中，根据包括针对亮度分量编码单元确定的帧内预测模式的候选帧内预测模式对色度分量编码单元执行帧内预测。有益效果根据示例性实施例，通过添加具有多种方向性的亮度分量编码单元的帧内预测模式作为色度分量编码单元的帧内预测模式，可增加色度分量的图像预测效率以及整个图像的预测效率，而不增加吞吐量。附图说明图1是根据示例性实施例的用于对视频编码的设备的框图；图2是根据示例性实施例的用于对视频解码的设备的框图；图3是用于描述根据示例性实施例的编码单元的概念的示图；图4是根据本发明示例性实施例的基于编码单元的图像编码器的框图；图5是根据示例性实施例的基于编码单元的图像解码器的框图；图6是示出根据示例性实施例的根据深度的较深层编码单元和预测单元的示图；图7是用于描述根据示例性实施例的编码单元和变换单元之间的关系的示图；图8是用于描述根据示例性实施例的与编码深度对应的编码单元的编码信息的示图；图9是根据示例性实施例的根据深度的较深层编码单元的示图；图10A和图10B是用于描述根据示例性实施例的编码单元、预测单元和变换单元之间的关系的示图；图11是示出根据示例性实施例的根据编码单元的编码信息的表；图12A到图12C是根据示例性实施例的亮度分量图像和色度分量图像的格式的示图；图13是示出根据示例性实施例的根据亮度分量编码单元的尺寸的多个帧内预测模式；图14A到图14C是用于解释根据示例性实施例的应用于具有预定尺寸的亮度分量编码单元的帧内预测模式的示图；图15是用于解释根据示例性实施例的应用于具有预定尺寸的亮度分量编码单元的帧内预测模式的示图；图16是用于解释根据示例性实施例的具有多种方向性的亮度分量编码单元的帧内预测模式的参考示图；图17是用于解释根据示例性实施例的双线性模式的参考示图；图18是用于解释根据示例性实施例的产生当前亮度分量编码单元的帧内预测模式的预测值的处理的示图；图19是用于解释根据示例性实施例的具有不同尺寸的亮度分量编码单元之间的帧内预测模式的映射处理的参考示图；图20是用于解释根据示例性实施例的将邻近亮度分量编码单元的帧内预测模式映射到代表性帧内预测模式之一的处理的参考示图；图21是用于解释根据示例性实施例的应用于色度分量编码单元的候选帧内预测模式的示图；图22是根据示例性实施例的帧内预测设备的框图；图23是示出根据示例性实施例的确定编码单元的帧内预测模式的方法的流程图；图24是示出根据示例性实施例的确定解码单元的帧内预测模式的方法的流程图；图25是用于解释位于具有(dx,dy)的方向性的延长线上的当前像素和邻近像素之间的关系的示图；图26是用于解释根据示例性实施例的位于根据当前像素的位置具有(dx,dy)的方向性的延长线上的邻近像素的改变；图27和图28是用于解释根据示例性实施例的确定帧内预测模式方向的方法的示图。最佳模式根据示例性实施例的一方面，提供了一种确定当前画面的编码单元的帧内预测模式的方法，所述方法包括：基于最大编码单元和深度将当前画面的亮度分量划分为至少一个亮度分量编码单元，其中，最大编码单元是当前画面被编码的、具有最大尺寸的编码单元，深度指示最大编码单元的分层划分信息；确定所述至少一个亮度分量编码单元的帧内预测模式；对将色度分量编码单元的候选帧内预测模式和所述至少一个亮度分量编码单元的帧内预测模式应用于色度分量编码单元的代价进行比较；基于比较的结果，确定色度分量编码单元的候选帧内预测模式和所述至少一个亮度分量编码单元的确定的帧内预测模式中的具有最小代价的色度分量编码单元的帧内预测模式。根据示例性实施例的一方面，提供了一种用于确定当前画面的编码单元的帧内预测模式的设备，所述设备包括：亮度帧内预测器，确定从最大编码单元划分的亮度分量编码单元的帧内预测模式和深度，其中，最大编码单元是当前画面被编码的、具有最大尺寸的编码单元，深度指示最大编码单元的分层划分信息；色度帧内预测器，对将从最大编码单元划分的色度分量编码单元的候选帧内预测模式和亮度分量编码单元的帧内预测模式应用于色度分量编码单元的代价进行比较，并基于比较的结果，确定色度分量编码单元的候选预测模式和亮度分量编码单元的帧内预测模式中的具有最小代价的色度分量编码单元的帧内预测模式。根据示例性实施例的一方面，提供了一种确定当前画面的解码单元的帧内预测模式的方法，所述方法包括：从比特流提取最大编码单元和深度，其中，所述最大编码单元是当前画面被编码的、具有最大尺寸的编码单元，深度指示最大编码单元的分层划分信息；基于最大编码单元和深度，将待解码的当前画面的亮度分量和色度分量分别划分为至少一个亮度分量解码单元和至少一个色度分量解码单元；从比特流提取帧内预测模式信息，所述帧内预测模式信息指示应用于所述至少一个亮度分量解码单元和所述至少一个色度分量解码单元的帧内预测模式；基于提取的帧内预测模式信息对所述至少一个亮度分量解码单元和所述至少一个色度分量解码单元执行帧内预测，以对所述至少一个亮度分量解码单元和所述至少一个色度分量解码单元进行解码。根据示例性实施例的一方面，提供了一种对图像解码的设备，所述设备包括：熵解码器，从比特流提取最大编码单元、深度和帧内预测模式信息，其中，最大编码单元是当前画面被编码的、具有最大尺寸的编码单元，深度指示最大编码单元的分层划分信息，帧内预测模式信息指示应用于将被解码的亮度分量解码单元和色度分量解码单元的帧内预测模式；帧内预测执行器，根据提取的帧内预测模式对亮度分量解码单元和色度分量解码单元执行帧内预测，以对亮度分量解码单元和色度分量解码单元进行解码。具体实施方式以下，将参照附图更全面地描述示例性实施例。以下，“编码单元”指的是图像数据在编码器端被编码的编码数据单元，以及编码的图像数据在解码器端被解码的编码数据单元。另外，编码深度指的是编码单元被编码的深度。图1是根据示例性实施例的视频编码设备100的框图。视频编码设备100包括最大编码单元划分器110、编码单元确定器120、图像数据输出单元130和编码信息输出单元140。最大编码单元划分器110可基于针对图像的当前画面的最大编码单元来划分当前画面。如果当前画面大于最大编码单元，则可将当前画面的图像数据划分为至少一个最大编码单元。根据示例性实施例的最大编码单元可以是尺寸为32×32、64×64、128×128、256×256等的数据单元，其中，数据单元的形状是宽度和长度为2的若干次方的正方形。可根据至少一个最大编码单元将图像数据输出到编码单元确定器120。根据示例性实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从最大编码单元被空间划分的次数，随着深度加深，根据深度的较深层编码单元可从最大编码单元被划分到最小编码单元。最大编码单元的深度是最高深度，最小编码单元的深度是最低深度。由于与每个深度相应的编码单元的尺寸随着最大编码单元的深度加深而减小，因此与较高深度相应的编码单元可包括多个与较低深度相应的多个编码单元。如上所述，根据编码单元的最大尺寸将当前画面的图像数据划分为多个最大编码单元，每个最大编码单元可包括根据深度划分的较深层编码单元。由于根据示例性实施例的最大编码单元根据深度被划分，因此包括在最大编码单元的空间域中的图像数据可根据深度被分层地分类。可预先确定编码单元的最大深度和最大尺寸，最大深度和最大尺寸限制最大编码单元的高度和宽度被分层地划分的总次数。可以在画面或条带(slice)单元中设置这样的最大编码单元和最大深度。换句话说，可针对每个画面或条带设置不同的最大编码单元和不同的最大深度，并且可根据最大深度设置包括在最大编码单元中的最小编码单元的尺寸。这样，通过根据画面或条带设置最大编码单元和最大深度，可通过使用最大编码单元对平坦区域的图像进行编码来提高编码效率，并且可通过使用具有比最大编码单元更小尺寸的编码单元对具有高复杂度的图像进行编码来提高图像的压缩效率。编码单元确定器120根据最大编码单元确定不同的最大深度。可基于率失真(R-D)代价计算来确定最大深度。确定的最大深度被输出到编码信息输出单元140，根据最大编码深度的图像数据被输出到图像数据输出单元130。基于与等于或低于最大深度的至少一个深度对应的较深层编码单元对最大编码单元中的图像数据进行编码，并基于每个较深层编码单元来比较对图像数据进行编码的结果。可在比较较深层编码单元的编码误差之后选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。随着编码单元根据深度被分层地划分并随着编码单元的数量增加，最大编码单元的尺寸被划分。另外，即使一个最大编码单元中的多个编码单元对应于相同深度，仍通过单独测量每个编码单元的图像数据的编码误差来确定是否将对应于相同深度的每个编码单元划分为更低深度。因此，即使当图像数据被包括在一个最大编码单元中时，图像数据被划分为根据深度的多个区域，并且编码误差可根据一个最大编码单元中的区域而不同，因此，编码深度可根据图像数据中的区域而不同。换句话说，最大编码单元可被划分为根据深度具有不同尺寸的编码单元。因此，可在一个最大编码单元中确定一个或多个编码深度，并可根据至少一个编码深度的编码单元来划分最大编码单元的图像数据。另外，可基于具有不同尺寸的数据单元预测或变换最大编码单元中的具有不同尺寸的编码单元。换句话说，视频编码设备100可基于具有不同尺寸和形状的数据单元执行多个用于对图像编码的操作。为了对图像数据编码，执行诸如预测、变换、熵编码等的操作，并且在此时，相同的数据单元可用于所有操作，或者不同的数据单元可用于每个操作。例如，视频编码设备100可选择与编码单元不同的数据单元来预测编码单元。例如，当编码单元具有2N×2N(其中，N是正整数)的尺寸时，用于预测的数据单元可具有2N×2N、2N×N、N×2N或N×N的尺寸。换句话说，可基于通过对编码单元的高度和宽度中的至少一个进行划分而获得的数据单元来执行运动预测。在下文中，作为预测的基本单元的数据单元将被称为预测单元。预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个，其中，对具有特定尺寸或形状的预测单元仅执行特定预测模式。例如，可仅对具有2N×2N或N×N的尺寸的正方形预测单元执行帧内模式。另外，可仅对具有2N×2N的尺寸的预测单元执行跳过模式。如果在编码单元中包括多个预测单元，则可对每个预测单元执行预测以选择具有最小误差的预测模式。可选择地，视频编码设备100可基于与编码单元不同的数据单元变换图像数据。为了变换编码单元，可基于具有小于或等于编码单元的尺寸的数据单元执行变换。用作变换的基础的数据单元将被称为变换单元。编码单元确定器120可通过使用基于拉格朗日乘子(Lagrangianmultiplier)的率失真最优化来测量根据深度的较深层编码单元的编码误差，从而确定具有最优编码误差的最大编码单元的划分形状。换句话说，编码单元确定器120可确定将从最大编码单元划分的编码单元的形状，其中，编码单元的尺寸根据深度而不相同。图像数据输出单元130在比特流中输出最大编码单元的图像数据，其中，图像数据基于由编码单元确定器120确定的至少一个编码深度被编码。由于已经通过编码深度确定器120执行了编码以测量最小编码误差，因此，可通过使用最小编码误差来输出编码数据流。编码信息输出单元140可在比特流中输出关于根据编码深度的编码模式的信息，所述信息基于由编码单元确定器120确定的至少一个编码深度被编码。关于根据编码深度的编码模式的信息可包括指示编码深度的信息、指示预测单元中的划分类型的信息、指示预测模式的信息以及指示变换单元的尺寸的信息。可通过使用根据深度的划分信息定义关于编码深度的信息，所述根据深度的划分信息指示是否对较低深度而非当前深度的编码单元执行编码。如果当前编码单元的当前深度是编码深度，则当前编码单元中的图像数据被编码和输出，并且因此划分信息可被定义为不将当前编码单元划分至较低深度。可选择地，如果当前编码单元的当前深度不是编码深度，则对较低深度的编码单元执行编码，并且因此划分信息可被定义为对当前编码单元进行划分以获得较低深度的编码单元。如果当前深度不是编码深度，则对被划分为较低深度的编码单元的编码单元执行编码。因为在当前深度的一个编码单元中存在较低深度的至少一个编码单元，所以对较低深度的每个编码单元重复执行编码，从而可针对具有相同深度的编码单元递归地执行编码。因为针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编码单元确定关于至少一个编码模式的信息，所以可针对一个最大编码单元确定关于至少一个编码模式的信息。另外，因为根据深度分层地划分图像数据，所以最大编码单元的图像数据的编码深度可根据位置而不同，从而可针对图像数据设置关于编码深度和编码模式的信息。相应地，编码信息输出单元140可将相应的编码信息分配给包括在最大编码单元中的每个最小编码单元。换句话说，编码深度的编码单元包括至少一个包含相同编码信息的最小编码单元。因此，如果邻近最小编码单元具有相同的编码信息，则邻近最小编码单元可以是包括在相同最大编码单元中的最小编码单元。在视频编码设备100中，较深层编码单元可以是通过将作为上一层的较高深度的编码单元的高度或宽度除以2而获得的编码单元。换而言之，在当前深度的编码单元的尺寸是2N×2N时，较低深度的编码单元的尺寸是N×N。另外，尺寸为2N×2N的当前深度的编码单元可包括最多4个较低深度的编码单元。因此，视频编码设备100可基于最大编码单元的尺寸和考虑当前画面的特性而确定的最大深度，针对每个最大编码单元确定具有最佳形状的编码单元。另外，因为可通过使用各种预测模式和变换中的任何一种来对每个最大编码单元执行编码，所以可考虑各种图像尺寸的编码单元的特性来确定最佳编码模式。因此，如果以传统的宏块对具有高分辨率或大数据量的图像编码，则每个画面的宏块的数量会过度增加。因此，针对每个宏块产生的压缩信息的条数增加，从而难以发送压缩的信息并且数据压缩效率下降。然而，通过使用视频编码设备100，因为在考虑图像的尺寸而增大编码单元的最大尺寸的同时，考虑图像的特性调整了编码单元，所以图像压缩效率可提高。图2是根据示例性实施例的视频解码设备200的框图。参照图2，视频解码设备200包括接收器210、编码信息提取器220以及图像数据解码器230。接收器210接收并解析视频解码设备200接收的比特流以获取根据最大编码单元的图像数据，并将图像数据输出到图像数据解码器230。接收器210可从关于当前画面或条带的头部提取关于当前画面或条带的最大编码单元的信息。视频解码设备200根据最大编码单元对图像数据解码。编码信息提取器220解析从视频解码设备200接收的比特流，并从解析的比特流中的当前画面的头部提取关于根据最大编码单元的编码深度和编码模式的信息。关于提取的编码深度和编码模式的信息被输出到图像数据解码器230。可针对关于与编码深度相应的至少一个编码单元的信息设置关于根据最大编码单元的编码深度和编码模式的信息，关于编码模式的信息可包括根据编码单元的预测单元的划分类型信息、指示预测模式的信息以及指示变换单元的尺寸的信息。另外，根据深度的划分信息可被提取作为关于编码深度的信息。关于最大编码单元的划分形状的信息可包括关于根据深度具有不同尺寸的编码单元的信息，关于编码模式的信息可包括指示根据编码单元的预测单元的信息、指示预测模式的信息以及指示变换单元的信息。图像数据解码器230通过基于编码信息提取器220提取的信息对每个最大编码单元中的图像数据解码，来恢复当前画面。图像数据解码器230可基于关于最大编码单元的划分形状的信息对包括在最大编码单元中的编码单元解码。解码处理可包括预测和反变换，预测包括帧内预测和运动补偿。可选择地，图像数据解码器230通过基于关于根据最大编码的单元的编码深度和编码模式的信息对每个最大编码单元中的图像数据解码，来恢复当前图像。换而言之，图像数据解码器230可基于关于根据最大编码单元的编码深度的信息，根据至少一个编码深度的编码单元对图像数据解码。解码处理可包括预测和反变换，预测包括帧内预测和运动补偿。图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的划分类型和预测模式的信息，根据编码单元在预测单元和预测模式中执行帧内预测或运动补偿，从而根据编码单元执行预测。此外，图像数据解码器230可基于关于根据编码深度的编码单元的变换单元的尺寸的信息，根据编码单元中的每个变换单元来执行反变换，以根据最大编码单元执行反变换。图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元的编码深度。如果所述划分信息指示在当前深度执行解码，则当前深度是编码深度。因此，图像数据解码器230可通过使用关于预测单元的划分类型、预测模式和变化单元的尺寸的信息，针对当前最大编码单元的图像数据对当前深度的编码单元的编码图像数据进行解码。换而言之，可观察分配给最小编码单元的编码信息，并且包括具有相同划分信息的编码信息的最小编码单元可被聚集以在一个数据单元中被解码。视频解码设备200可获得与在对每个最大编码单元递归地执行编码时产生最小编码误差的至少一个编码单元有关的信息，并且视频解码设备200可使用所述信息来对当前画面解码。换而言之，可以在每个最大编码单元中的最佳编码单元中对图像数据进行解码。因此，即使图像数据具有高分辨率和大数据量，也可通过使用编码单元的尺寸和编码模式对所述图像数据进行有效地解码和恢复，其中，通过使用从编码器接收的关于最佳编码模式的信息，根据图像数据的特性来自适应地确定编码单元的尺寸和编码模式。图3是用于描述根据示例性实施例的编码单元的概念的示图。参照图3，可以以宽度×高度来表示编码单元的尺寸，并且编码单元的尺寸可以是64×64、32×32、16×16、8×8和4×4。除了具有正方形形状的编码单元之外，编码单元可具有64×32、32×64、32×16、16×32、16×8、8×16、8×4或4×8的尺寸。在视频数据310中，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是2。在视频数据320中，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是4。在视频数据330中，分辨率是352×288，编码单元的最大尺寸是16，最大深度是2。如果分辨率高或者数据量大，则编码单元的最大尺寸可以很大，从而不仅提高编码效率，还精确地反映图像的特性。因此，具有比视频数据330更高的分辨率的视频数据310和视频数据320的编码单元的最大尺寸可以为64。最大深度表示从最大编码单元到最小编码单元的总的划分次数。因此，由于视频数据310的最大深度是2，所以视频数据310的编码单元315可包括长轴(longaxis)尺寸为64的最大编码单元，还包括由于通过将最大编码单元划分两次使深度加深了两层而使得长轴尺寸为32和16的编码单元。同时，因为视频数据330的最大深度是2，所以视频数据330的编码单元335可包括长轴尺寸为16的最大编码单元，还包括由于通过将最大编码单元划分两次使深度加深了两层而使得长轴尺寸为8和4的编码单元。因为视频数据320的最大深度是4，所以所述视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元，并且还包括由于通过将最大编码单元划分四次使深度加深了4层而使得的长轴尺寸为32、16、8和4的编码单元。随着深度加深，详细信息可被精确地表示。图4是根据示例性实施例的基于编码单元的图像编码器400的框图。参照图4，帧内预测器410对当前帧405的编码单元中的帧内模式的编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495，对当前帧405的编码单元中的帧间模式的编码单元执行帧间估计和运动补偿。从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出作为量化的变换系数。量化的变换系数通过反量化器460和反变换器470被恢复为空间域中的数据，并且恢复的空间域中的数据在通过去块单元480和环路滤波单元490进行后处理之后，被输出作为参考帧495。量化的变换系数可通过熵编码器450被输出作为比特流455。为了在视频编码设备100中应用图像编码器400，图像编码器400的所有部件(即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、反变换器470、去块单元480和环路滤波器490)基于最大编码单元、根据深度的编码单元、预测单元和变换单元执行图像编码处理。具体地说，帧内预测器410、运动估计器420以及运动补偿器425通过考虑编码单元的最大尺寸和深度，来确定编码单元的预测单元和预测模式，变换器430通过考虑编码单元的最大尺寸和深度确定变换单元的尺寸。另外，如稍后所述，帧内预测器410通过对色度分量编码单元应用为亮度分量编码单元确定的帧内预测模式来执行帧内预测，因此可提高色度分量编码单元的预测效率。图5是根据示例性实施例的基于编码单元的图像解码器500的框图。参照图5，解析器510解析接收的比特流505，并从解析的比特流505提取将被解码的编码图像数据和解码所需的关于编码的信息。编码图像数据通过熵解码器520和反量化器530被输出作为反量化的数据，并且反量化的数据通过反变换器540被恢复为空间域中的图像数据。帧内预测器550针对空间域中的图像数据，对帧内模式的编码单元执行帧内预测，运动补偿器560通过使用参考帧585，对帧间模式的编码单元执行运动补偿。经过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过去块单元570和环路滤波单元580进行后处理之后，被输出作为恢复的帧595。另外，通过去块单元570和环路滤波单元580进行后处理的图像数据可被输出作为参考帧585。为了在视频解码设备200中应用图像解码器500，图像解码器500的所有部件(即，解析器510、熵解码器520、反量化器530、反变换器540、帧内预测器550、运动补偿器560、去块单元570以及循环滤波单元580)基于最大编码单元、根据深度的编码单元、预测单元和变换单元执行图像解码处理。具体地说，帧内预测器550和运动补偿器560通过考虑编码单元的最大尺寸和深度来确定编码单元的预测单元和预测模式，反变换器540通过考虑编码单元的最大尺寸和深度来确定变换单元的尺寸。图6是示出根据示例性实施例的根据深度的较深层编码单元的示图。视频编码设备100和视频解码设备200使用分层的编码单元以考虑图像的特性。根据图像的特性可自适应地确定编码单元的最大高度、最大宽度和最大深度，或可根据用户的输入单独设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大尺寸来确定根据深度的较深层编码单元的尺寸。根据示例性实施例，在编码单元的分层结构600中，编码单元的最大高度和最大宽度均为64，最大深度是4。随着深度沿着分层结构600的垂直轴加深，较深层编码单元的高度和宽度均被划分。此外，沿着分层结构600的水平轴示出了构成部分数据单元的预测单元，所述部分数据单元是用于每个较深层编码单元的预测编码的基础。换而言之，编码单元610是分层结构600中的最大编码单元，其中，深度是0，尺寸(即高度×宽度)是64×64。深度沿着垂直轴加深，并且存在尺寸为32×32和深度为1的编码单元620、尺寸为16×16和深度为2的编码单元630、尺寸为8×8和深度为3的编码单元640以及尺寸为4×4和深度为4的编码单元650。尺寸为4×4和深度为4的编码单元650是最小编码单元。部分数据单元在图6中被显示为根据每个深度的沿着水平轴的编码单元的预测单元。换而言之，如果尺寸为64×64和深度为0的编码单元610是预测单元，则所述预测单元可被划分为包括在编码单元610中的多个部分数据单元，即：尺寸为64×64的部分数据单元610、尺寸为64×32的部分数据单元612、尺寸为32×64的部分数据单元614或尺寸为32×32的部分数据单元616。尺寸为32×32和深度为1的编码单元620的预测单元可以被划分为包括在编码单元620中的多个部分数据单元，即：尺寸为32×32的部分数据单元620、尺寸为32×16的部分数据单元622、尺寸为16×32的部分数据单元624和尺寸为16×16的部分数据单元626。尺寸为16×16和深度为2的编码单元630的预测单元可以被划分为包括在编码单元630中的多个部分数据单元，即：包括在编码单元630中的尺寸为16×16的部分数据单元、尺寸为16×8的部分数据单元632、尺寸为8×16的部分数据单元634和尺寸为8×8的部分数据单元636。尺寸为8×8和深度为3的编码单元640的预测单元可以被划分为包括在编码单元640中的多个部分数据单元，即：包括在编码单元640中的尺寸为8×8的部分数据单元、尺寸为8×4的部分数据单元642、尺寸为4×8的部分数据单元644和尺寸为4×4的部分数据单元646。尺寸为4×4和深度为4的编码单元650是最小编码单元和最低深度的编码单元。编码单元650的预测单元只被分配给尺寸为4×4的部分数据单元。为了确定组成最大编码单元610的编码单元的至少一个编码深度，视频编码设备100的编码单元确定器120对包括在最大编码单元610中的与各个深度相应的编码单元执行编码。随着深度加深，相同范围和相同尺寸的包括数据的根据深度的较深层编码单元的数量增加。例如，需要4个与深度为2相应的编码单元以覆盖与深度为1相应的一个编码单元中包括的数据。因此，为了比较根据深度的相同数据的编码结果，与深度为1相应的编码单元和四个与深度为2相应的编码单元均被编码。为了对深度中的当前深度执行编码，可通过沿着分层结构600的水平轴对与当前深度相应的编码单元中的每个预测单元执行编码，来针对当前深度确定最小编码误差。另外，可通过随着深度沿分层结构600的垂直轴加深对每个深度执行编码来比较每个深度的最小编码误差，从而搜索根据深度的最小编码误差。编码单元610中具有最小编码误差的深度可被选择作为编码单元610的编码深度和划分类型。图7是用于描述根据示例性实施例的编码单元710和变换单元720之间的关系的示图。视频编码设备100或200针对每个最大编码单元根据具有小于或等于最大编码单元的尺寸的编码单元对图像进行编码或解码。可基于不大于相应编码单元的数据单元来选择编码期间用于变换的变换单元的尺寸。例如，在视频编码设备100或200中，如果编码单元170的尺寸是64×64，则可通过使用尺寸为32×32的变换单元720来执行变换。此外，可通过对尺寸为小于64×64的32×32、16×16、8×8和4×4的变换单元中的每一个执行变换，来对尺寸为64×64的编码单元710的数据进行编码，然后可选择具有最小编码误差的变换单元。图8是用于描述根据示例性实施例的与编码深度相应的编码单元的编码信息的示图。视频编码设备100的输出单元130可针对与编码深度对应的每个编码单元，将指示划分类型的信息800、指示预测模式的信息810和指示变换单元的尺寸的信息820编码为关于编码模式的信息，并将其发送。信息800包括关于当前编码单元的预测单元的划分类型的信息，其中，划分预测单元是用于对当前编码单元进行预测编码的数据单元。例如，深度为0且尺寸为2N×2N的当前编码单元CU_0可被划分为尺寸为2N×2N的预测单元802、尺寸为2N×N的预测单元804、尺寸为N×2N的预测单元806和尺寸为N×N的预测单元808中的任何一个。这里，关于划分类型的信息800被设置为指示尺寸为2N×N的预测单元804、尺寸为N×2N的预测单元806和尺寸为N×N的预测单元808中的一个。信息810指示每个预测单元的预测模式。例如，信息810可指示对由信息800指示的预测单元执行预测编码的模式，即：帧内模式812、帧间模式814或跳过模式816。信息820指示当对当前编码单元执行变换时将作为基础的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧间变换单元828。视频解码设备200的编码信息提取器220可根据每个较深层编码单元提取和使用用于解码的信息800、810和820。图9是根据示例性实施例的根据深度的较深层编码单元的示图。划分信息可被用于指示深度的改变。划分信息指示当前深度的编码单元是否被划分为较低深度的编码单元。用于对深度为0且尺寸为2N_0×2N_0的编码单元进行预测编码的预测单元910可包括：尺寸为2N_0×2N_0的划分类型912、尺寸为2N_0×N_0的划分类型914、尺寸为N_0×2N_0的划分类型916和尺寸为N_0×N_0的划分类型918。根据每个划分类型，可对尺寸为2N_0×2N_0的一个预测单元、尺寸为2N_0×N_0的两个预测单元、尺寸为N_0×2N_0的两个预测单元以及尺寸为N_0×N_0的四个预测单元重复地执行通过运动预测的编码。可对尺寸为2N_0×2N_0、N_0×2N_0、N_0×N_0和N_0×N_0的预测单元执行帧内模式下和帧间模式下的预测。仅对尺寸为2N_0×2N_0的预测单元执行跳过模式下的运动预测。如果在尺寸为N_0×N_0的划分类型918中编码误差最小，则在操作920，深度从0改变为1以划分划分类型918，并对深度为2和尺寸为N_0×N_0的编码单元922、924、926和928重复执行编码以搜索最小编码误差。由于对深度相同的编码单元922、924、926和928重复执行编码，因此将描述深度为1的编码单元的编码作为示例。用于对深度为1和尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元进行运动预测的预测单元930可包括：尺寸为2N_1×2N_1的划分类型932、尺寸为2N_1×N_1的划分类型934、尺寸为N_1×2N_1的划分类型936和尺寸为N_1×N_1的划分类型938。根据每个划分类型，对2N_1×2N_1的一个预测单元、尺寸为2N_1×N_1的两个预测单元、尺寸为N_1×2N_1的两个预测单元以及尺寸为N_1×N_1的四个预测单元重复地执行通过运动预测的编码。如果在尺寸为N_1×N_1的划分类型938中编码误差最小，则在操作940，深度从1改变为2以划分划分类型938，并对深度为2和尺寸为N_2×N_2的编码单元942、944、946和948重复执行编码以搜索最小编码误差。当最大深度为d时，根据每个深度的划分信息可被设置为达到深度变为d-1。换而言之，用于对深度为d-1和尺寸为2N_(d-1)×2N_(d-1)的编码单元进行运动预测的预测单元950可包括：尺寸为2N_(d-1)×2N_(d-1)的划分类型952、尺寸为2N_(d-1)×N_(d-1)的划分类型954、尺寸为N_(d-1)×2N_(d-1)的划分类型956以及尺寸为N_(d-1)×N_(d-1)的划分类型958。可根据每个划分类型，对尺寸为2N_(d-1)×2N_(d-1)的一个预测单元、尺寸为2N_(d-1)×N_(d-1)的两个预测单元、尺寸为N_(d-1)×2N_(d-1)的两个预测单元以及尺寸为N_(d-1)×N_(d-1)的四个预测单元重复执行通过运动预测的编码。由于最大深度是d，因此深度为d-1的编码单元952不被划分。为了确定编码单元912的编码深度，视频编码单元设备100通过比较根据深度的编码误差来选择具有最小编码误差的深度。例如，可通过对划分类型912、914、916和918中的每一个执行运动预测来对深度为0的编码单元的编码误差进行编码，然后可确定具有最小编码误差的预测单元。类似地，可根据深度0到d-1搜索具有最小编码误差的预测单元。在深度d，可通过对尺寸为2N_d×2N_d的预测单元960执行运动预测来确定编码误差。这样，可在1到d的所有深度中比较根据深度的最小编码误差，并可将具有最小编码误差的深度确定为编码深度。相应的编码深度模式的编码深度和预测单元可被编码并作为关于编码模式的信息被发送。另外，由于编码单元从深度0被划分到一编码深度，因此仅该编码深度的划分信息被设置为0，除了该编码深度之外的深度的划分信息被设置为1。视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元912的编码深度以及预测单元的信息，以对编码单元912解码。视频解码设备200可通过使用根据深度的划分信息将划分信息为0的深度确定为编码深度，并且可使用关于相应深度的编码模式的信息以进行解码。图10A和图10B是描述根据示例性实施例的编码单元1010、预测单元1060和变换单元1070之间的关系的示图。编码单元1010是最大编码单元中的与由视频编码设备100确定的编码深度相应的编码单元。预测单元1060是每个编码单元1010的预测单元，变换单元1070是每个编码单元1010的变换单元。当编码单元1010中的最大编码单元的深度为0时，编码单元1012和1054的深度为1，编码单元1014、1016、1018、1028、1050和1052的深度为2，编码单元1020、1022、1024、1026、1030、1032和1048的深度为3，编码单元1040、1042、1044和1046的深度为4。在预测单元1060中，通过在编码单元1010中划分编码单元来获得一些编码单元1014、1016、1022、1032、1048、1050、1052和1054。换而言之，编码单元1014、1022、1050和1054中的划分类型的尺寸为2N×N，编码单元1016、1048和1052的划分类型的尺寸为N×2N，编码单元1032的划分类型的尺寸为N×N。编码单元1010的预测单元小于或等于每个编码单元。以小于编码单元1052的数据单元对变换单元1070中的编码单元1052的图像数据执行变换或反变换。另外，变换单元1070中的编码单元1014、1016、1022、1032、1048、1050和1052与预测单元1060中的那些编码单元在尺寸和形状上不同。换而言之，视频编码设备100和视频解码设备200可单独地对相同的编码单元中的数据单元执行帧内预测、运动估计、运动补偿、变换和反变换。图11是示出根据示例性实施例的根据编码单元的编码信息的表。视频编码单元100的编码信息输出单元140可对根据编码单元的编码信息编码，视频解码设备200的编码信息提取器220可提取根据编码单元的编码信息。编码信息可包括关于编码单元的划分信息、划分类型信息、预测模式信息和关于变换单元的尺寸的信息。图11中示出的编码信息仅仅是可由视频编码设备100和视频解码设备200设置的信息的示例，编码信息不限于此。划分信息可包括相应的编码单元的编码深度。换而言之，由于编码深度是根据划分信息不再被划分的深度，因此可针对该编码深度设置关于划分类型、预测模式和变换单元的尺寸的信息。如果当前编码单元根据划分信息被进一步划分，则对较低深度的四个划分编码单元独立地执行编码。关于划分类型的信息可将编码深度中的编码单元的变换单元的划分类型指示为2N×2N、2N×N、N×2N和N×N之一。预测模式可将运动预测模式指示为帧内模式、帧间模式和跳过模式之一。帧内模式可仅被定义在2N×2N和N×N的划分类型中，跳过模式可仅被定义在2N×2N的划分类型中。变换单元在帧内模式中具有两种尺寸，在帧间模式中具有两种尺寸。根据编码深度中的编码单元的编码信息可被包括在编码单元的最小编码单元中。因此，通过检查包括在邻近最小编码单元中的编码信息，可确定邻近最小编码单元是否包括在具有相同编码深度的编码单元中。另外，由于可通过使用包括在最小编码单元中的编码信息确定相应编码深度的编码单元，因此可推断最小编码单元的编码深度的分布。现在将详细描述图4中示出的视频编码设备100的帧内预测单元410和图5中示的视频解码设备200的帧内预测单元550执行的帧内预测。在以下描述中，编码单元指的是图像的编码处理中的当前编码块，解码单元指的是图像的解码处理中的当前解码块。编码单元和解码单元的不同之处仅在于，编码单元用于编码处理，而解码单元用于解码处理。为了一致，除了特殊情况，编码单元和解码单元在编码处理和解码处理中都称为编码单元。图12A到图12C是根据示例性实施例的亮度分量图像和色度...