用于对图像进行编/解码的方法和存储比特流的方法

用于对图像进行编/解码的方法和存储比特流的方法
1.本技术是申请日为2016年11月18日、申请号为201680066455.0、发明名称为“使用几何修改图片对图像进行编码/解码的方法和设备”的发明专利申请的分案申请。
技术领域
2.本发明一般涉及用于通过使用几何修改图片来对图像进行编码/解码的方法和装置，其中通过几何地修改一参考图片来生成几何修改图片。


背景技术：

3.随着高清晰度(hd)广播在全国范围内和全世界得到扩展，许多用户已经习惯于具有高分辨率和高图片质量的图像。因此，许多机构正在为下一个图像设备的发展提供动力。此外，随着对具有比hdtv高数倍的分辨率的超高清晰度(uhd)持续增长的兴趣，需要能够对具有更高分辨率和更高图像质量的图像进行压缩和处理的技术。
4.作为图像压缩技术，存在各种技术：诸如帧间预测技术，其中根据当前图片之前或之后的图片预测当前图片中包括的像素值；帧内预测技术，其中使用当前图像中的像素信息预测包括在当前图片中的像素值；用于压缩残留信号的能量的变换和量化技术；以及熵编码技术，其中短码被分配给具有高出现频率的值，并且长码被分配给具有低出现频率的值。使用这些图像压缩技术，可以在图像数据被有效地压缩的状态中传输和存储图像数据。
5.当在帧间预测期间所参考的参考图片中包括全局运动时，参考图片与当前图片之间的相似性降低。参考图片与当前图片之间的降低的相似性可能导致预测效率的降低。并且，当执行帧内预测时，由于当前块的帧内预测的预测方向受到限制，所以帧内预测的效率可能恶化。因此，需要改进以解决上述问题。


技术实现要素：

6.技术问题
7.本发明旨在提出一种用于有效编码/解码图像的方法和设备。
8.此外，本发明提供了一种用于有效地执行帧内预测和/或帧间预测的方法和装置。
9.另外，本发明提供了一种用于通过几何地修改参考图片来生成几何修改图片的方法和装置。
10.另外，本发明提供了一种用于有效地发信号通知与几何修改图片有关的信息的方法和装置。
11.另外，本发明提供了一种用于通过参考几何修改图片来执行帧内预测和/或帧间预测的方法和装置。
12.技术方案
13.根据本发明的一个方面，提供了一种用于编码图像的方法。该方法可以包括：通过几何地修改参考图片来生成几何修改图片；以及通过执行参考所述几何修改图片的帧间预测来生成当前块的第一预测块。
14.根据本发明的编码方法，该方法还可以包括：通过执行参考所述参考图片的帧间预测来生成所述当前块的第二预测块；以及从第一预测块和第二预测块中选择用于所述当前块的运动补偿的最终预测块。
15.根据本发明的编码方法，可以通过在第一预测块和第二预测块当中选择与当前块之间具有较少误差的一个来选择最终预测块。
16.根据本发明的编码方法，该方法还可以包括生成用于生成几何修改图片的几何修改信息。并且可以基于所述几何修改信息和所述参考图片来执行所述生成几何修改图片。
17.根据本发明的编码方法，该方法还可以包括对几何修改信息进行编码。
18.根据本发明的编码方法，对所述几何修改信息进行编码可以包括重新配置所述几何修改信息，并且所述重新配置所述几何修改信息可以包括简化或预测所述几何修改信息。
19.根据本发明的编码方法，可以基于包括当前块的当前图片与参考图片之间的像素信息的变化来生成几何修改信息。
20.根据本发明的编码方法，可以基于从当前图片和参考图片中的每一个提取到的特征点之间的匹配信息来生成几何修改信息。
21.根据本发明的编码方法，所述生成几何修改图片可以包括：识别参考图片内的一个点，该点对应于几何修改图片内的一个点；以及将参考图片内的对应点的像素信息设置为几何修改图片内的点的像素信息。
22.根据本发明的编码方法，当与所述几何修改图片内的点相对应的点不存在于所述参考图片内时，可以将所述参考图片内与对应点最接近的点识别为所述对应点。
23.根据本发明的另一方面，提供了一种用于解码图像的方法。该方法可以包括通过几何地修改参考图片来生成几何修改图片；以及通过执行参考几何修改图片的帧间预测来生成当前块的预测块。
24.根据本发明的解码方法，该方法还可以包括：接收运动补偿相关信息；以及基于运动补偿相关信息确定几何修改图片是否被用于当前块的运动补偿，并且在确定时，当确定参考几何修改图片用于当前块的运动补偿时，可以执行所述生成几何修改图片以及所述生成预测块。
25.根据本发明的解码方法，可以基于所述运动补偿相关信息是否包括几何修改信息或者基于关于是否参考几何修改图片的信息来执行所述确定，所述信息被包括在所述运动补偿相关信息中。
26.根据本发明的解码方法，在确定时，当确定在当前块的运动补偿中参考几何修改图片时，该方法还可以包括基于关于包括在运动补偿相关信息中的几何修改信息的信息来重构几何修改信息，并且可以基于参考图片和重构的几何修改信息来执行所述生成几何修改图片。
27.根据本发明的解码方法，关于所述几何修改信息的信息可以包括残留的几何修改信息或缩放系数，并且可以基于所述残留的几何修改信息和所述缩放系数以及先前存储的几何修改信息中的至少一个来执行所述重构几何修改信息。
28.根据本发明的解码方法，所述运动补偿相关信息可以包括关于先前存储的几何修改信息的信息，并且关于先前存储的几何修改信息的信息可以是在一个或多个先前存储的
几何修改信息当中识别出一个几何修改信息的信息。
29.根据本发明的解码方法，所述生成几何修改图片可以包括：识别参考图片内的一个点，该点对应于几何修改图片内的一个点；以及将参考图片内的对应点的像素信息设置为几何修改图片内的所述点的像素信息。
30.根据本发明的解码方法，当与所述几何修改图片内的所述点相对应的点不存在于所述参考图片内时，可以将所述参考图片内与对应点最接近的点识别为所述对应点。
31.根据本发明的解码方法，当所述参考图片内的对应点具有实数坐标时，可以识别所述参考图片内的每个具有整数坐标并且与所述对应点相邻的一个或多个点，并且可以基于每个具有整数坐标的一个或多个点的像素信息来导出所述参考图片内的对应点的像素信息。
32.根据本发明的解码方法，在图片、切片、瓦片、编码单元和预测单元中的至少一个单元中执行所述生成几何修改图片。
33.有益效果
34.根据本发明，图像可以被有效地编码/解码。
35.另外，根据本发明，可以有效地执行帧间预测和/或帧内预测。
36.此外，根据本发明，可以通过几何地修改参考图片来生成几何修改图片。
37.另外，根据本发明，可以高效地发信号通知(signal)与几何修改图片有关的信息。
38.此外，根据本发明，可以通过参考几何修改图片来执行帧内预测和/或帧间预测。
附图说明
39.图1是示出应用了本发明实施例的图像编码装置的配置的框图。
40.图2是示出应用了本发明实施例的图像解码装置的配置的框图。
41.图3是示意地示出当对图像进行编码时的图像的分区(partition)结构的图。
42.图4是示出可以被包括在编码单元(coding unit，cu)中的预测单元(pu)的形式的图。
43.图5是示出可以被包括在编码单元(cu)中的变换单元(tu)的形式的图。
44.图6是示出帧内预测处理的示例的图。
45.图7是示出帧间预测处理的示例的图。
46.图8是示出根据本发明的图像的几何修改的实施例的转移修改的图。
47.图9是示出根据本发明的图像的几何修改的实施例的大小修改的图。
48.图10是示出根据本发明的图像的几何修改的实施例的旋转修改的图。
49.图11是示出根据本发明的图像的几何修改的实施例的仿射修改的图。
50.图12是示出根据本发明的图像的几何修改的实施例的投影修改的图。
51.图13是示出根据本发明的实施单应性的方法的示例的图。
52.图14是根据本发明的导出在两个图像之间对应的两个点之间的关系式的示例方法。
53.图15是示出根据本发明的基于几何修改矩阵和原始图像生成几何修改图像的方法的图。
54.图16是示出根据本发明的通过使用逆映射来生成几何修改图像的方法的图。
55.图17是示出根据本发明的基于几何修改矩阵和原始图像生成几何修改图像的方法的图，其中几何修改矩阵可以对应于几何修改信息。
56.图18是示出根据本发明实施例的参考图17所示的各种插值方法当中的双线性插值的图。
57.图19是示出根据本发明的执行运动预测的方法的图，其中视频编码器生成几何修改信息和几何修改图片，并且通过使用参考图片和几何修改图片来执行运动预测。
58.图20是示出应用了本发明另一实施例的图像编码装置的配置的框图。
59.图21是示出根据图20所示的示例编码装置的几何修改图片生成单元2010的配置和操作的图。
60.图22是示出根据图20所示的示例编码装置的几何修改图片预测器2015的配置和操作的图。
61.图23是示出根据本发明的实施例的运动预测的流程图。
62.图24是示出根据本发明的实施例的生成几何修改图片的方法的流程图。
63.图25是示出根据本发明的实施例的帧间预测方法的流程图。
64.图26是示出根据本发明的实施例的几何修改信息的编码方法的流程图。
65.图27是示出用于修改几何修改信息以减少用于对几何修改信息进行编码的比特量的各种示例的图。
66.图28是示出运动补偿方法的图，其中解码器通过使用几何修改信息从参考图片生成几何修改图片，并且通过使用参考图片和几何修改图片来执行运动补偿。
67.图29是示出应用了本发明的另一个实施例的解码装置的配置的框图。
68.图30是示出图29所示的解码装置的几何修改图片生成器2970的操作和配置的图。
69.图31是示出图29所示的解码装置的几何修改图片预测器2960的操作和配置的图。
70.图32是示出根据本发明的实施例的解码器的运动补偿的流程图。
71.图33是示出根据本发明的实施例的扩展帧内预测的概念图。
72.图34是示出根据本发明实施例的扩展帧内预测单元的操作和配置的图。
73.图35是示出根据本发明的实施例的扩展帧内预测的图。
74.图36是示出根据本发明的帧内预测方向的图。
75.图37是示出执行根据本发明的扩展帧内预测的实施例的图。
76.具体实施模式
77.由于可以对本发明进行各种修改，并且存在本发明的各种实施例，所以现在将参考附图提供示例并且将对其进行详细描述。然而，本发明不限于此，并且示例性实施例可以被解释为包括本发明的技术概念和技术范围内的所有修改、等同物或替代物。在各个方面中，相似的附图标记指代相同或相似的功能。在附图中，为了清楚起见，元件的形状和尺寸可能被夸大，并且贯穿全文始终使用相同的附图标记来指定相同或相似的元件。在本发明的以下详细描述中，参考了以说明的方式示出了可以实践本发明的具体实施例的附图。足够详细地描述这些实施例以使本领域技术人员能够实施本公开。应该理解，本公开的各种实施例尽管不同，但并不一定是相互排斥的。例如，可以在其他实施例中实施本文结合一个实施例描述的具体特征、结构和特性，而不脱离本公开的精神和范围。另外，应该理解的是，可以修改每个公开的实施例内的各个元件的位置或布置，而不脱离本公开的精神和范围。
因此，以下详细描述不应被视为具有限制意义，并且本公开的范围以及与权利要求所要求保护的范围等同的全部范围仅由所附权利要求限定、适当地解释。
78.在说明书中使用的术语“第一”、“第二”等可以用来描述各种组件，但是这些组件不应被解释为限于这些术语。这些术语仅用于区分一个组件与其他组件。例如，“第一”组件可以被称为“第二”组件，而不脱离本发明的范围，并且“第二”组件也可以类似地被称为“第一”组件。术语“和/或”包括多个项目的组合或多个项目中的任何一个。
79.当提到元件“耦合”或“连接”到另一元件时，这可能意味着它直接耦合或连接到另一元件，但是应该理解，可能在它们之间存在另一元件。另一方面，当提到元件“直接耦合”或“直接连接”到另一个元件时，应该理解，它们之间没有其他元件。
80.此外，独立地示出本发明的实施例中所示的构成部分，以表示彼此不同的特性功能。因此，这并不意味着每个构成部分是以分离的硬件或软件的构成单元所构成的。换句话说，为了方便起见，每个构成部分都包括列举的构成部分中的每一个。因此，每个构成部分的至少两个构成部分可以被组合以形成一个构成部分，或者一个构成部分可以被划分成多个构成部分以执行每个功能。如果不脱离本发明的本质，组合每个构成部分的实施例和一个构成部分被划分的实施例也包括在本发明的范围内。
81.本说明书中使用的术语仅用于描述特定实施例，并不旨在限制本发明。以单数形式使用的表达包含复数形式的表达，除非其在上下文中具有清楚的不同含义。在本说明书中，应该理解，诸如“包括”、“具有”等的术语旨在指示在说明书中公开的特征、数字、步骤、动作、元件、部分或其组合的存在，并且不旨在排除一个或多个其他特征、数字、步骤、动作、元件、部分或其组合可以存在或可以被添加的可能性。换句话说，当特定元件被称为“被包含”时，不排除相应元件以外的元件，但是附加元件可以被包括在本发明的实施例或本发明的范围中。
82.另外，一些组成部分可能不是执行本发明的基本功能的不可或缺的组成部分，而是仅改善其性能的选择性组成部分。除了用于改善性能的组成部分之外，本发明可以通过仅包括用于实施本发明的基本的不可或缺的组成部分来实施。除了仅用于提高性能的选择性组成部分以外，仅包含不可缺少的组成部分的结构也包含在本发明的范围内。
83.在下文中，将参考附图详细描述本发明的示例性实施例。在描述本发明的示例性实施例时，将不详细描述熟知的功能或构造，因为它们可能不必要地模糊了对本发明的理解。附图中相同的组成部分元件由相同的附图标记表示，并且将省略对相同元件的重复描述。
84.另外，在下文中，图像可以指代配置视频的图片，或者可以指代视频。例如，“对图像进行编码和/或解码”可以指代“对视频进行编码和/或解码”，或者可以指代“对配置视频的图像当中的单个图像进行编码和/或解码”。这里，图片可以指代图像。
85.编码器：可以指代编码装置。
86.解码器：可以指代解码装置。
87.解析：可以指代通过执行熵解码来确定语法元素值，或者可以指代熵解码器。
88.块：可以指代mxn矩阵的样本，这里，m和n是正整数。块可以指代二维矩阵的样本矩阵。
89.单元：可以指代对图像进行编码或解码的单元。当对图像进行编码和解码时，单元
可以是通过对图像进行分区而生成的区域。可替换地，当图像被细分和编码或解码时，单元可以指代一个图像的所划分单元。在编码和解码的同时，可以针对每个单元执行预定的处理。单个单元可以被划分成更小的子单元。该单元根据其功能还可以指代块、宏块(mb)、编码单元(cu)、预测单元(pu)、变换单元(tu)、编码块(cb)、预测块(pb)或变换块(tb)。单元可以指代包括用于指示与块区分的用于每个块的亮度分量块、其对应的色度分量块、和语法元素的对象。该单元可能有不同的大小和形状。具体地，单元的形状可以包括诸如矩形、立方体、梯形、三角形、五边形等的二维形式。另外，单元的形状可以包括几何图形。此外，单元信息可以包括单元类型(诸如编码单元、预测单元、变换单元等)、单元大小、单元深度以及单元编码和解码的序列等中的至少一个。
90.重构相邻单元：可以指代已经在空间/时间上被编码或解码、并且与编码/解码目标单元毗邻的重构单元。
91.深度：指示单元的分区的程度。在树形结构中，最高节点可以指代根节点，最低节点可以指代叶节点。
92.符号：可以指代编码/解码目标单元的语法元素和编码参数，变换系数的值等。
93.参数集：可以对应于比特流内的结构中的报头信息。视频参数集、序列参数集、图片参数集和自适应参数集中的至少一个可以被包括在参数集中。另外，参数集可以包括切片(slice)报头和瓦片(tile)报头的信息。
94.比特流：可以指代包括已编码图像信息的比特串。
95.编码参数：不仅可以包括由编码器编码然后与语法元素一起发送到解码器的信息，还可以包括可以在编码或解码过程中导出的信息，或者可以指代编码和解码必需的参数。例如，编码参数可以包括如下的至少一个值和/或统计：帧内预测模式、帧间预测模式、帧内预测方向、运动信息、运动矢量、参考图像索引、帧间预测方向、帧间预测指示符、参考图像列表、运动矢量预测器、运动合并候选、变换类型、变换大小、关于是否使用附加变换的信息、环路内的滤波器信息、关于是否存在残差信号的信息、量化参数、上下文模型、变换系数、变换系数等级、所编码的块图案(block pattern)、所编码的块标志、图像显示/输出顺序、切片信息、瓦片信息、图片类型、关于是否使用运动合并模式的信息、关于是否使用跳过模式的信息、块大小、块深度、块分区信息、单元大小、单元分区信息等。
96.预测单元：可以指代在执行帧间预测或帧内预测时以及在对预测进行补偿时的基本单元。预测单元可以被划分成多个分区。分区中的每一个也可以是当执行帧间预测或帧内预测时以及在执行对预测的补偿时的基本单元。被分区的预测单元也可以指代预测单元。另外，单个预测单元可以被划分成更小的子单元。预测单元可以具有各种大小和形状。具体地，单元的形状可以包括诸如矩形、立方体、梯形、三角形、五边形等的二维形式。另外，单元的形状可以包括几何图形。
97.预测单元分区：可以指代预测单元的分区形式。
98.参考图片列表：可以指代包括用于帧间预测或运动补偿的至少一个参考图片的列表。参考列表的类型可以包括组合的列表(lc)、l0(列表0)、l1(列表1)、l2(列表2)、l3(列表3)等。至少一个参考图片列表可以用于帧间预测。
99.帧间预测指示符：可以指代编码/解码目标块的帧间预测方向(单向预测，双向预测)。可替换地，指示符可以指代用于生成编码/解码目标块的预测块的参考图片的数量，或
者可以指当编码/解码目标块执行运动补偿时使用的预测块的数量。
100.参考图片索引：可以指代参考图片列表内的特定图片的索引。
101.参考图片：可以指代由用于帧间预测或运动补偿的特定单元所参考的参考图片。可选地，参考图像可以指代参考图片。
102.运动矢量：指代用于帧间预测或运动补偿的二维矩阵，或者可以是编码/解码目标图像与参考图像之间的偏移。例如，(mvx，mvy)可以指示移动向量，mvx可以是水平分量，并且mvy可以是垂直分量。
103.运动矢量候选：可以指代当预测运动矢量时变成预测候选的单元，或者可以指代单元的运动矢量。
104.运动矢量候选列表：可以指代配置有运动矢量候选的列表。
105.运动矢量候选索引：可以指代指示运动矢量候选者列表内的运动矢量候选的指示符，或者可以指代运动矢量预测器的索引。
106.运动信息：可以指代包括运动矢量、参考图像索引、帧间预测指示符、参考图像列表信息、参考图像、运动矢量候选、运动矢量候选索引等中的至少一个的信息。
107.变换单元：当执行诸如变换系数的变换、逆变换、量化、逆量化和编码/解码的残余信号的编码/解码时，可以指代基本单元。单个单元可以被划分成更小的子单元。该单位可能有不同的大小和形状。具体地，单元的形状可以包括诸如矩形、立方体、梯形、三角形、五边形等的二维形式。另外，单元的形状还可以包括几何图形。
108.缩放：可以指代将因子乘以变换系数等级，并且结果可以生成变换系数的过程。缩放还可以指代逆量化。
109.量化参数：可以指代用于在量化和逆量化中缩放变换系数等级的值。这里，量化参数可以是映射到量化的步长的值。
110.差量量化参数：可以指代编码/解码目标单元的预测量化参数与量化参数之间的残差值。
111.扫描：可以指代是在块或矩阵内对系数顺序进行排序的方法。例如，将二维矩阵排序为一维矩阵可以指代扫描或逆扫描。
112.变换系数：可以是执行变换之后生成的系数值。在本发明中，通过对变换系数应用量化来量化的变换系数等级可以被包括在变换系数中。
113.非零变换系数：可以指代其值或其大小不为0的变换系数。
114.量化矩阵：可以指代用于量化和逆量化以提高图像的质量的矩阵。量化矩阵也可以指代缩放列表。
115.量化矩阵系数：可以指代量化矩阵的每个元素。量化矩阵系数也可以指代矩阵系数。
116.默认矩阵：可以指代提前在编码器和解码器中定义的预定量化矩阵。
117.非默认矩阵：可以指代由用户发送/接收的量化矩阵，并且未提前在编码器和解码器中定义。
118.图1是示出应用本发明实施例的图像编码装置的配置的框图。
119.编码装置100可以是视频编码装置或图像编码装置。视频可以包括至少一个图像。编码装置100可以按时间顺序对视频的至少一个图像进行编码。
120.参考图1，编码装置100可以包括运动预测单元111、运动补偿单元112、帧内预测单元120、开关115、减法器125、变换单元130、量化单元140、熵编码单元150、逆量化单元160、逆变换单元170、加法器175、滤波器单元180和参考图片缓冲器190。
121.编码装置100可以以帧内模式或帧间模式或两者对输入图像进行编码。另外，编码装置100可以通过对输入图像进行编码来生成比特流，并且可以输出生成的比特流。当帧内模式被用作预测模式时，开关115可以切换到帧内。当帧间模式被用作预测模式时，开关115可以切换到帧间。这里，帧内模式可以被称为帧内预测模式，并且帧间模式可以被称为帧间预测模式。编码装置100可以生成输入图像的输入块的预测信号。作为块单元的预测信号可以被称为预测块。另外，在生成预测块之后，编码装置100可以对输入块和预测块之间的残差值进行编码。输入图像可以被称为作为当前编码的目标的当前图像。输入块可以被称为当前块、或者作为当前编码的目标的编码目标块。
122.当预测模式是帧内模式时，帧内预测单元120可以使用与当前块毗邻的先前编码块的像素值作为参考像素。帧内预测单元120可以通过使用用于空间预测的参考像素来执行空间预测，并且可以通过使用空间预测来生成输入块的预测样本。这里，帧内预测(intra prediction)可能意味着帧内的预测(intra-frame prediction)。
123.当预测模式是帧间模式时，运动预测单元111可以在运动预测过程中搜索与参考图像的输入块最佳匹配的区域，并且可以通过使用搜索到的区域来导出运动矢量。参考图像可以被存储在参考图片缓冲器190中。
124.运动补偿单元112可通过使用运动矢量执行运动补偿来生成预测块。这里，运动矢量可以是在帧间预测中使用的二维矢量。另外，运动矢量可以指示当前图像与参考图像之间的偏移。这里，帧间预测(inter prediction)可能指代帧间的预测(inter-frame prediction)。
125.当运动矢量的值不是整数时，运动预测单元111和运动补偿单元112可以通过对参考图像中的部分区域应用插值滤波器来生成预测块。为了执行帧间预测或运动补偿，基于编码单元，可以在跳过模式、合并模式和amvp模式当中确定包括在编码单元中的预测单元的运动预测方法、和运动预测的补偿方法。另外，可以根据模式执行帧间预测或运动补偿。
126.减法器125可通过使用输入块与预测块之间的残差来产生残差块。残差块可以被称为残差信号。
127.变换单元130可以通过变换残差块来生成变换系数，并且可以输出变换系数。这里，变换系数可以是通过变换残差块而生成的系数值。在变换跳过模式中，变换单元130可以跳过残差块的变换。
128.量化变换系数等级可以通过对变换系数应用量化来生成。在下文中，在本发明实施例中，量化后的变换系数等级可以被称为变换系数。
129.量化单元140可以通过根据量化参数对变换系数进行量化来生成量化后的变换系数等级，并且可以输出该量化后的变换系数等级。这里，量化单元140可以通过使用量化矩阵来量化所述变换系数。
130.根据概率分布，熵编码单元150可以通过对由量化单元140计算的值或者在编码处理中计算的编码参数值等执行熵编码来生成比特流，并且可以输出该比特流。熵编码单元150可对用于对图像进行解码的信息和图像的像素的信息进行熵编码。例如，用于对图像进
行解码的信息可以包括语法元素等。
131.当应用熵编码时，通过向具有高出现概率的符号分配少量比特并且向具有低出现概率的符号分配大量比特来表示符号，从而减小编码目标符号的比特流的大小。因此，可以通过熵编码来增加图像编码的压缩性能。对于熵编码，熵编码单元150可以使用诸如指数哥伦布(golomb)、上下文自适应可变长度编码(cavlc)和上下文自适应二进制算术编码(cabac)的编码方法。例如，熵编码单元150可以通过使用可变长度编码/代码(vlc)表来进行熵编码。另外，熵编码单元150可以导出目标符号的二值化方法和目标符号/箱(bin)的概率模型，并且可以在之后使用导出的二值化方法或导出的概率模型来执行算术编码。
132.为了对变换系数等级进行编码，熵编码单元150可以通过使用变换系数扫描方法将二维块形式系数改变为一维矢量形式。例如，通过利用右上扫描来扫描块的系数，可以将二维块形式系数改变为一维矢量形式。根据变换单元的大小和帧内预测模式，可以使用沿列方向扫描二维块形式系数的垂直扫描、以及沿行方向扫描二维块形式系数的水平扫描，而不是使用右上扫描。换句话说，可以根据变换单元的大小和帧内预测模式来在右上扫描、垂直方向扫描和水平方向扫描当中确定扫描方法。
133.编码参数不仅可以包括由编码器编码然后与语法元素一起传送到解码器的信息，还可以包括可以在编码或解码过程中导出的信息，或者可以指代进行编码和解码必需的参数。例如，编码参数可以包括如下的至少一个值或统计：帧内预测模式、帧间预测模式、帧内预测方向、运动信息、运动矢量、参考图像索引、帧间预测方向、帧间预测指示符、参考图像列表、运动矢量预测器、运动合并候选、变换类型、变换大小、关于是否使用附加变换的信息、环路内的滤波器信息、关于是否存在残差信号的信息、量化参数、上下文模型、变换系数、变换系数等级、所编码的块图案、所编码的块标志、图像显示/输出顺序、切片信息、瓦片信息、图片类型、关于是否使用运动合并模式的信息、关于是否使用跳过模式的信息、块大小、块深度、块分区信息、单元大小、单元分区信息等。
134.残差信号可意指原始信号与预测信号之间的差。可替换地，残差信号可以是通过变换原始信号和预测信号之间的差而生成的信号。可替换地，残差信号可以是通过变换并量化原始信号和预测信号之间的差而生成的信号。残差块可以是残差信号，其是块单元。
135.当编码装置100通过使用帧间预测来执行编码时，编码后的当前图像可以用作之后将要处理的其它图像的参考图像。因此，编码装置100可以对编码后的当前图像进行解码，并且可以将解码后的图像存储为参考图像。为了执行解码，可以对编码后的当前图像执行逆量化和逆变换。
136.量化系数可以由逆量化单元160去量化，并且可以由逆变换单元170逆变换。可以通过加法器175将去量化的和逆变换的系数相加到预测块，由此可以生成重构块。
137.重构块可以通过滤波器单元180。滤波器单元180可以将去块滤波器、采样自适应偏移(sao)和自适应环路滤波器(alf)中的至少一个应用于重构块或重构图像。滤波器单元180可以被称为环路内滤波器。
138.去块滤波器可以去除在块之间的边界处发生的块失真。为了确定去块滤波器是否被操作，可以基于包括在块中的若干行或列中的像素来确定去块滤波器是否被应用于当前块。当去块滤波器应用于块时，可以根据所需的去块滤波强度来应用强滤波器或弱滤波器。另外，在应用去块滤波器时，当执行垂直滤波和水平滤波时，可以并行处理水平方向滤波和
垂直方向滤波。
139.采样自适应偏移可以将最佳偏移值相加到像素值，以便补偿编码错误。样本自适应偏移可以利用像素来校正去块滤波后的图像与原始图像之间的偏移。为了对特定图片执行偏移校正，可以使用考虑每个像素的边缘信息而应用偏移校正的方法、或者将图像的像素分区为预定数量的区域、确定要执行偏移校正的区域、以及将偏移校正应用于所确定的区域的方法。
140.自适应环路滤波器可以基于通过比较重构图像和原始图像而获得的值来进行滤波。图像的像素可以被分区成预定的组，确定应用于每个组的单个滤波器，并且可以在每个组执行不同的滤波。关于是否应用自适应环路滤波器的信息可以被发送到每个编码单元(cu)。适用于每个块的自适应环路滤波器的形状和滤波器系数可以变化。另外，可以应用具有相同形式(固定形式)的自适应环路滤波器，而不管目标块的特性如何。
141.已经通过滤波器单元180的重构块可以被存储在参考图片缓冲器190中。
142.图2是示出应用了本发明实施例的图像解码装置的配置的框图。
143.解码装置200可以是视频解码装置或图像解码装置。
144.参考图2，解码装置200可以包括熵解码单元210、逆量化单元220、逆变换单元230、帧内预测单元240、运动补偿单元250、加法器255、滤波器单元260和参考图片缓冲器270。
145.解码装置200可以接收从编码装置100输出的比特流。解码装置200可以以帧内模式或帧间模式对比特流进行解码。另外，解码装置200可以通过解码来生成重构图像，并且可以输出重构图像。
146.当使用帧内模式作为在解码中使用的预测模式时，可以将开关切换到帧内。当使用帧间模式作为在解码中使用的预测模式时，可以将开关切换到帧间。
147.解码装置200可以从输入的比特流中获得重构的残差块，并且可以生成预测块。
148.当获得重构的残差块和预测块时，解码装置200可以通过将重构的残差块和预测块相加来生成作为解码目标块的重构块。解码目标块可以被称为当前块。
149.熵解码单元210可以通过根据概率分布对比特流进行熵解码来生成符号。生成的符号可以包括具有量化的变换系数等级的形式的符号。
150.这里，熵解码的方法可以类似于上述的熵编码的方法。例如，熵解码的方法可以是上述熵编码的方法的逆过程。
151.为了对变换系数等级进行解码，熵解码单元210可以通过使用变换系数扫描方法将一维块形式系数改变为二维矢量形式。例如，通过利用右上扫描来扫描块的系数，可以将一维块形式系数改变为二维矢量形式。根据变换单元的大小和帧内预测模式，可以使用垂直扫描和水平扫描而不是使用右上扫描。换句话说，可以根据变换单元的大小和帧内预测模式来在右上扫描、垂直方向扫描和水平方向扫描当中确定扫描方法。
152.量化的变换系数等级可以由逆量化单元220去量化，并且可以由逆变换单元230逆变换。量化的变换系数等级被去量化并被逆变换，以便生成重构的残差块。这里，逆量化单元220可以将量化矩阵应用到量化的变换系数等级。
153.当使用帧内模式时，帧内预测单元240可通过使用在解码目标块周围的先前解码块的像素值执行空间预测来生成预测块。
154.当使用帧间模式时，运动补偿单元250可以通过执行使用运动矢量和存储在参考
图片缓冲器270中的参考图像两者的运动补偿来生成预测块。当运动矢量的值不是整数时，运动补偿单元250可以通过对参考图像中的部分区域应用插值滤波器来生成预测块。为了执行运动补偿，基于编码单元，可以在跳过模式、合并模式和amvp模式当中确定包括在编码单元中的预测单元的运动预测方法和运动预测的补偿方法。另外，可以根据模式执行帧间预测或运动补偿。这里，当前图片参考模式可以意味着在具有解码目标块的当前图片内使用先前重构的区域的预测模式。先前重构的区域可以不与解码目标块毗邻。为了指定先前重构的区域，可以将固定矢量用于当前图片参考模式。另外，可以用信号发送用于指示解码目标块是否是在当前图片参考模式下解码的块的标志或索引，并且可以通过使用解码目标块的参考图片索引来导出该标志或索引。用于当前图片参考模式的当前图片可以存在于用于解码目标块的参考图片列表内的固定位置(例如，refidx＝0的位置或最后位置)处。另外，可以在参考图片列表内可变地定位，并且为此，可以用信号发送用于指示当前图片的位置的附加参考图片索引。
155.通过加法器255可以将重构的残差块相加到预测块。通过将重构的残差块和预测块相加而生成的块可以通过滤波器单元260。滤波器单元260可以将去块滤波器、采样自适应偏移和自适应环路滤波器中的至少一个应用于重构块或重构图像。滤波器单元260可以输出重构图像。重构图像可以被存储在参考图片缓冲器270中，并且可以被用在帧间预测中。
156.图3是示意地表示对图像进行编码和解码时的图像的分区结构的图。图3示意性地示出了将单个单元分区为更低层的多个单元的示例。
157.为了有效地分区图像，可以在编码和解码的同时使用编码单元(cu)。单元可以指代1)语法元素，以及2)包括样本图像的块。例如，“单元的分区”可以指代“对应于该单元的块的分区”。块分区信息可以包括单元的深度信息。深度信息可以指示单元中的分区的数量或/和分区的程度。
158.参考图3，图像300被以最大编码单元(以下称为lcu)顺序分区，并且基于lcu确定分区结构。这里，lcu可以被用作编码树单元(ctu)。单个单元可以包括基于树结构的深度信息，并且可以被分层地分区。较低层的分区单元中的每一个可以包括深度信息。深度信息指示单元中的分区的数量或/和分区的程度，并且因此可以包括较低层的单元大小信息。
159.分区结构可以指代lcu 310内的编码单元(cu)的分布。cu可以是用于有效对图像进行编码的单元。分布可以基于单个cu是否将被分区为多个(包括2、4、8、16等的大于2的正整数)来确定。每个分区的cu的宽度大小和高度大小可以是单个cu的宽度大小的一半和高度大小的一半。可替换地，根据分区单元的数量，每个分区的cu的宽度大小和高度大小可以小于单个cu的宽度大小和高度大小。类似地，分区的cu可以递归地被分区成多个cu，每个cu从分区的cu中减小一半的宽度大小和高度大小。
160.这里，cu的分区可递归地执行直到预定深度。深度信息可以是指示cu的大小的信息。每个cu的深度信息可以存储在其中。例如，lcu的深度可以是0，并且最小编码单元(scu)的深度可以是预定的最大深度。这里，lcu可以是如上所述的具有最大cu大小的cu，并且scu可以是具有最小cu大小的cu。
161.每当lcu 310被分区并且其宽度大小和高度大小被减小时，cu的深度增加1。尚未执行分区的cu可以具有用于每个深度的2n
×
2n大小，并且已经执行了分区的cu可以从具有
2n
×
2n大小的cu分区为多个cu，其中该多个cu的每个cu具有n
×
n大小。每当深度增加1时，n的大小减半。
162.参考图3，具有最小深度0的lcu的大小可以是64
×
64像素，并且具有最大深度3的scu的大小可以是8
×
8像素。这里，具有64
×
64像素的lcu可以用深度0表示，具有32
×
32像素的cu可以用深度1表示，具有16
×
16像素的cu可以用深度2表示，并且具有8
×
8像素的scu可以用深度3表示。
163.此外，关于特定cu是否将被分区的信息可以通过每个cu的1比特的分区信息来表示。除scu外，所有cu都可能包含分区信息。例如，当cu未被分区时，分区信息可以是0。可替换地，当cu被分区时，分区信息可以是1。
164.图4是示出可以被包括在cu中的预测单元(pu)的形式的图。
165.不再从lcu分区的cu当中分区的cu可以被分区为至少一个pu。这样的过程也可以指代分区。
166.预测单元(pu)可以是预测的基本单元。pu可以以跳过模式、帧间预测模式和帧内预测模式中的任何一种进行编码和解码。pu可以根据每种模式以各种形式分区。
167.如图4所示，在跳过模式中，cu内可能没有分区。另外，在cu内可以在没有分区的情况下支持具有与cu相同大小的2n
×
2n模式410。
168.在帧间预测模式中，在cu内可以支持8种分区形式，例如，2n
×
2n模式410、2n
×
2n模式415、n
×
2n模式420、n
×
n模式425、2n
×
nu模式430、2n
×
nd模式435、nl
×
2n模式440和nr
×
2n模式445。
169.图5是示出可包括在cu中的变换单元(tu)的形式的图。
170.变换单元(tu)可以是cu内的用于变换、量化、逆变换和逆量化过程的基本单元。tu可以具有矩形或方形形式。tu可以独立地由cu的大小和/或形式来确定。
171.不再从lcu分区的cu当中分区的cu可以被分区成一个或多个tu。这里，tu的分区结构可以是四叉树结构。例如，如图5所示，取决于四叉树结构，可以将单个cu 510分区一次或多次，使得cu 510由具有各种大小的tu形成。替换地，单个cu 510可以基于对cu进行分区的水平线和/或垂直线的数量被分区成至少一个tu。cu可以被分区成彼此对称的tu，或者可以被分区成彼此不对称的tu。为了分区成不对称的tu，可以用信号发送tu的大小和形式的信息，或者可以从cu的大小和形式的信息中导出该信息。
172.在执行变换的同时，可以通过使用预定方法之一来变换残差块。例如，预定方法可以包括离散余弦变换(dct)、离散正弦变换(dst)或卡洛南-洛伊变换(karhunen-lo
è
ve transform，klt)。为了确定变换残差块的方法，可以通过使用预测单元的帧间预测模式信息、预测单元的帧内预测模式信息或变换块的大小和形式中的至少一个来确定该方法。或者，在一些情况下可以用信号发送指示该方法的信息。
173.图6是示出示出帧内预测模式的示例的图。
174.帧内预测模式的数量可以根据预测单元(pu)的大小而变化，或者可以固定为n个数量，而与预测单元(pu)的大小无关。这里，n个数量可以包括35和67，或者可以是大于1的正整数。例如，编码器/解码器的预定帧内预测模式可以包括2个非定向模式和65个定向模式，如图6所示。两个非定向模式可以包括dc模式和平面模式。
175.帧内预测模式的数量可以根据颜色分量的类型而不同。例如，无论颜色分量是亮
度信号还是色度信号，帧内预测模式的数量都可以变化。
176.pu可以具有nxn或2nx2n大小的正方形。nxn大小可能包括4x4、8x8、16x16、32x32、64x64、128x128等。可替换地，pu可以具有mxn大小。这里，m和n可以是大于2的正整数，并且m和n可以是不同的数字。pu的单元可以是cu、pu和tu中的至少一个的大小。
177.帧内编码和/或解码可以通过使用包括在相邻重构单元中的采样值或编码参数来执行。
178.在帧内预测中，可以通过使用编码/解码目标块的大小中的至少一个来将参考采样滤波器应用于参考像素来生成预测块。应用于参考像素的参考滤波器的类型可能不同。例如，参考滤波器可以根据编码/解码目标块的帧内预测模式、编码/解码目标块的大小/形式、或者参考像素的位置而不同。“参考滤波器的类型可能不同”可以指代参考滤波器的滤波器系数、滤波器抽头的数量、滤波器强度、或滤波处理的数量可以不同。
179.为了执行帧内预测，可以通过与当前预测单元毗邻的相邻预测单元的帧内预测模式来预测当前预测单元的帧内预测模式。当通过使用相邻预测单元的帧内预测模式信息来预测当前预测单元的帧内预测模式、并且两种模式相同时，可以通过使用预定的标志来发送两种模式相同的信息。可替换地，当模式不同时，编码/解码目标块内的所有预测模式信息可以通过熵编码来编码。
180.图7是示出帧间预测处理的示例的图。
181.图7的矩形可以指代图像(或图片)。另外，图7的箭头可以指示预测方向。换句话说，图像可以根据箭头方向被编码和/或解码。根据编码类型，每个图像可以被分类为i图片(帧内图片)，p图片(单向预测图片)和b图片(双向预测图片)等。可以根据每个图片的编码类型来对每个图片进行编码和解码。
182.当编码目标图像是i图片时，可以在执行帧间预测的同时对目标图像本身进行帧内编码。当编码目标图像是p图片时，可以通过使用正向方向上的参考图像的帧间预测或者运动补偿来对目标图像进行编码。当编码目标图像是b图片时，可以通过使用正向方向和反向方向上的参考图片的帧间预测或运动补偿来对目标图像进行编码。可替换地，可以通过使用正向方向和反向方向上的参考图像的帧间预测来对目标图像进行编码。这里，在帧间预测模式的情况下，编码器可以执行帧间预测或运动补偿，并且解码器可以响应于编码器来执行运动补偿。通过使用参考图像而被编码和/或解码的p图片和b图片的图像被用于帧间预测。
183.以下，详细描述根据实施例的帧间预测。
184.帧间预测或运动补偿可以通过使用参考图像和运动信息来执行。另外，帧间预测可以使用上述的跳过模式。
185.参考图片可以是当前图片的先前图片或当前图片的后续图片中的至少一个。这里，在帧间预测中，可以预测基于参考图片的当前图片的块。这里，可以通过使用稍后将描述的指示参考图片的参考图片索引refidx和运动矢量来指定参考图片内的区域。
186.在帧间预测中，可以选择对应于参考图片内的当前块的参考块。当前块的预测块可以通过使用所选择的参考块来生成。当前块可以是当前图片的块当中的当前编码或解码目标块。
187.运动信息可以从编码装置100和解码装置200的帧间预测处理中导出。另外，导出
的运动信息可以用于帧间预测。这里，编码装置100和解码装置200可以通过使用重构的相邻块的运动信息和/或并置块(col块)的运动信息来提高编码和/或解码的效率。并置块可以是重构的并置图片(col图片)内在空间上对应于编码/解码目标块的块。重构的相邻块可以是当前图片内的块、以及通过编码和/或解码的重构块。另外，重构块可以是与编码/解码目标块毗邻的块、和/或位于编码/解码目标块的外角处的块。这里，位于编码/解码目标块的外角处的块可以是在垂直方向上毗邻的块，并且在垂直方向上毗邻的块在水平方向上与编码/解码目标块毗邻。可替换地，位于编码/解码目标块的外角处的块可以是在水平方向上毗邻的块，并且在水平方向上毗邻的块在垂直方向上与所述编码/解码目标块毗邻。
188.编码装置100和解码装置200中的每一个可以基于并置图片内在空间上对应于当前块的位置处存在的块来确定预定的相对位置。预定的相对位置可以位于在空间上对应于当前块的位置处存在的块的内部和/或外部。另外，编码装置100和解码装置200可以基于所确定的相对位置来导出并置块。这里，并置图片可以是参考图片列表中包括的参考图片中的至少一个图片。
189.导出运动信息的方法可以根据编码/解码目标块的预测模式而变化。例如，应用于帧间预测的预测模式可以包括高级运动矢量预测器(amvp)模式、合并模式等。这里，合并模式可以指代运动合并模式。
190.例如，在应用高级运动矢量预测器(amvp)模式的情况下，编码装置100和解码装置200可以通过使用恢复的相邻块的运动矢量和/或并置块的运动矢量来生成预测运动矢量候选列表。换句话说，恢复的相邻块的运动矢量和/或并置块的运动矢量可以被用作预测运动矢量候选。这里，并置块的运动矢量可以指代时间运动矢量候选，并且恢复的相邻块的运动矢量可以指代空间运动矢量候选。
191.编码装置100可以生成比特流，并且比特流可以包括运动矢量候选索引。换句话说，编码装置100可以对运动矢量候选索引进行熵编码以生成比特流。运动矢量候选索引可以指示在运动矢量候选列表中包括的预测运动矢量候选当中选择的最优预测运动矢量。可以通过比特流将运动矢量候选索引从编码装置100发送到解码装置200。
192.解码装置200可以通过比特流对运动矢量候选索引进行熵解码，并且通过使用熵解码后的运动矢量候选索引，在包括在运动矢量候选列表中的运动矢量候选当中选择解码目标块的运动矢量候选。
193.编码装置100可以计算编码目标块的运动矢量与运动矢量候选之间的运动矢量差(mvd)，并且可以对运动矢量差(mvd)进行熵编码。比特流可以包括熵编码的mvd。通过比特流将mvd发送到解码装置200。这里，解码装置200可以对来自比特流的mvd进行熵解码。解码装置200可以通过解码的mvd与运动矢量候选之和来导出解码目标块的运动矢量。
194.比特流可以包括指示参考图片的参考图片索引。参考图片索引可以被熵编码并且通过比特流从编码装置100发送到解码装置200。解码装置200可以通过使用相邻块的运动信息来预测当前块的运动矢量，并且可以通过使用预测的运动矢量和预测的运动矢量的残差来导出解码目标块的运动矢量。解码装置200可以基于导出的运动矢量和参考图片索引信息来生成解码目标块的预测块。
195.作为导出运动信息的另一种方法，可以使用合并模式。合并模式可以指代多个块的运动合并。合并模式可以指代将单个块的运动信息应用于另一个块。当应用合并模式时，
编码装置100和解码装置200可以通过使用恢复的相邻块的运动信息和/或并置块的运动信息来生成合并候选列表。这里，运动信息可以包括1)运动矢量，2)参考图片索引，以及3)帧间预测指示符中的至少一个。预测指示符可以指示单向(lo预测，l1预测)或双向。
196.这里，合并模式可以在编码单元或预测单元(pu)的单元中应用。在通过cu单元或pu单元执行合并模式的情况下，编码装置100可以通过对预定的信息进行熵编码来生成比特流，并且将比特流发送到解码装置200。比特流可以包括预定的信息。预定的信息可以包括1)表示合并模式是否被用于每个块分区的合并标志，2)包括与编码目标块毗邻的相邻块当中的哪个块被合并的信息的合并索引。例如，与编码目标块毗邻的相邻块可以包括当前块的左毗邻块、编码目标块的上毗邻块，编码目标块的在时间上的相邻块等。
197.合并候选列表可以表示其中存储运动信息的列表。合并候选列表可以在执行合并模式之前生成。存储在合并候选列表中的运动信息可以是如下信息中的至少一个：与编码/解码目标块毗邻的相邻块的运动信息、在参考图片中与编码/解码目标块对应的并置块的运动信息、通过组合提前存在于合并运动候选列表中的运动信息而新生成的运动信息、和零合并候选。这里，与编码/解码目标块毗邻的相邻块的运动信息可以指空间合并候选，并且参考图片中与编码/解码目标块对应的并置块的运动信息可以指代时间合并候选。
198.在跳过模式的情况下，跳过模式将相邻块的运动信息应用于编码/解码目标块。跳过模式可以是用于帧间预测的其他模式之一。当使用跳过模式时，编码装置100可以通过对可以用于编码目标块的相邻块的信息进行熵编码来生成比特流，并将该比特流发送到解码装置200。编码装置100可以不将诸如语法信息的其他信息发送到解码装置200。语法信息可以包括运动矢量的残差信息、编码块标志和变换系数等级中的至少一个。
199.图8至18是示出通过几何地修改图像来生成几何修改图像的方法的图。
200.图像的几何修改可以指代几何地修改图像的光信息。光信息可以指代图像的每个点的亮度、颜色或色度。或者，光信息可以指代数字图像中的像素值。几何修改可以指代图像内的每个点的平行移动、图像的旋转、图像的大小改变等。
201.图8至12是分别示出根据本发明的图像的几何修改的图。每个图形的(x，y)指代修改前的原始图像的点。(x'，y')指代修改后对应于点(x，y)的点。这里，对应点指代通过几何修改来移动(x，y)的光信息的点。
202.图8是示出根据本发明的图像的几何修改的实施例的转移修改的图。
203.在图8中，tx指代已经在x轴上转移的每个点的位移，ty表示已经在y轴上转移的每个点的位移。因此，图像内的点(x'，y')通过将tx和ty相加到在修改前作为图像内的点的点(x，y)来导出。转移修改可以以图8所示的矩阵来表示。
204.图9是示出根据本发明的图像的几何修改的实施例的大小修改的图。
205.在图9中，sx指代在x轴方向上的大小修改倍数，而sy表示在y轴方向上的大小修改倍数。大小修改倍数可以指代修改前的图像与修改后的图像的大小比率。当大小修改倍数等于1时，表示修改前的图像大小等于修改后的图像大小。当大小修改倍数大于1时，表示修改后图像的大小被放大。当大小修改倍数小于1时，表示修改后图像的大小被减小。大小修改倍数始终具有大于0的值。因此通过将sx和sy乘以修改前的图像内的点(x，y)来导出修改了大小的修改后的图像内的点(x'，y')。大小修改可以用图9所示的矩阵表示。
206.图10是示出根据本发明的图像的几何修改的实施例的旋转修改的图。
207.在图10中，θ指代图像的旋转角度。在图10的实施例中，以修改前的图像的点(0,0)为中心执行旋转。可以通过使用θ和三角函数来导出修改后的已旋转修改的图像内的点(x'，y')。旋转修改可以用图10中所示的矩阵表示。
208.图11是示出根据本发明的图像的几何修改的实施例的仿射(affine)修改的图。
209.仿射修改指代复合地执行转移修改、大小修改和旋转修改的情况。仿射修改的几何修改可以根据应用于图像的转移修改、大小修改和/或旋转修改的顺序而变化。根据在组成仿射修改以及每个修改的复合体的多个修改之间的应用顺序，图像可以以倾斜以及转移修改、大小修改和旋转修改的形式修改。
210.在图11中，mi可以是用于转移修改、大小修改或旋转修改的3
×
3矩阵。根据组成仿射修改的修改的顺序，可以通过将用于修改的每个矩阵彼此间的矩阵乘积来获得3x3矩阵。在图11中，矩阵a可以对应于通过矩阵m1到矩阵mn的矩阵乘积获得的3x3矩阵。矩阵a可以由元素a1至a6组成。矩阵p是修改前的图像内的点，其中该修改以矩阵表示。矩阵p'是修改后的图像内的点，并且对应于修改前的图像内的点p。因此，仿射修改可以表示为矩阵方程p'＝ap。
211.图12是示出根据本发明的图像的几何修改的实施例的投影修改的图。
212.投影修改可以是扩展的仿射修改，其中透视(perspective)修改被相加到仿射修改。当三维空间中的目标投影到二维平面中时，根据相机或观察者的观看视角可能发生透视修改。在透视修改中，远处的目标被表示为小而近处的物体被表示为大。
213.在图12中，矩阵h可以用于投影修改。构成矩阵h的元素h1至h6可以对应于构成图11的仿射修改的矩阵a的元素a1至a6。因此，投影修改可以包括仿射修改。构成矩阵h的元素h7和h8可以是与透视修改相关的元素。
214.图像的几何修改是将图像几何修改为特定形式的方法。可以通过在矩阵中定义的几何修改来计算与几何修改前的图像内的点相对应的几何修改后的图像内的点。相反，单应性(homography)指代从分别具有彼此对应的点的两个图像中反向导出相互几何修改矩阵的方法。
215.图13是示出根据本发明的实施单应性的方法的示例的图。
216.单应性可以基于对位于两个图像内且彼此对应的两个点进行识别来导出两个图像之间的几何修改关系。为此，可以使用特征点匹配。图像的特征点指代图像内具有描述性特征的点。
217.在步骤s1301和s1302中，单应性实施方法可以从原始图像和几何修改图像中提取特征点。根据提取方法或根据使用目的可以不同地提取图像的特征点。图像内亮度值发生显著变化的点、具有特定形状的区域的中心点或图像内目标的外角点可以用作特征点。可以通过使用诸如尺度不变特征变换(sift)、加速鲁棒特征(surf)、斑点检测等的算法来提取特征点。
218.在步骤s1303中，单应性实施方法可以基于从原始图像和几何修改图像提取的特征点来匹配特征点。详细地，每个提取的特征点都是描述性的，可以通过找到具有相似描述信息的点来匹配两个图像之间的特征点。匹配的特征点可以用作原始图像和几何修改图像彼此对应的点。
219.但是，特征点匹配可能不匹配实际上彼此对应的点。因此，在步骤s1304中，可以选
择所导出的特征点当中的有效特征点。选择有效特征点的方法可以根据计算算法而变化。例如，可以使用如下方法，诸如基于描述信息排除不满足基准线的特征点的方法、通过匹配结果的分布来排除相似度非常低的特征点的方法、或使用随机样本一致(ransac)算法的方法。单应性实施方法可以根据特征点的匹配结果选择性地执行步骤s1304。换句话说，步骤s1304根据情况可以不执行。可替换地，步骤s1303和s1304可以合并。或者，单应性实施方法可以执行有效特征点的匹配过程，而不执行步骤s1303和s1304。
220.在步骤s1305中，单应性实施方法可以通过使用所选择的有效点来导出原始图像与几何修改图像之间的关系式。在步骤s1306中，单应性实施方法可以通过使用导出的公式来导出几何矩阵。或者，单应性实施方法可以不执行步骤s1306，并且以不同的形式输出除了几何修改矩阵之外的在步骤s1305获得的导出公式的信息。
221.图14是根据本发明的导出在两个图像内对应的两点之间的关系式的示例性方法。
222.图像的几何修改可以利用3
×
3矩阵h执行。因此，包括作为未知量的矩阵h的元素h1至h9的联立方程可以从矩阵公式p’＝hp导出。这里，p意味着原始图像内的点，并且p’表示几何修改图像内对应于点p的点。通过将矩阵h的所有元素除以h9，可以通过将h9固定为1来简单地计算方程。另外，未知量的数量可以从9减少到8。
223.图14的元素k1至k8对应于h1至h8除以h9的值。在其中h9改变为1，以及h1至h8分别改变为k1至k8的几何矩阵可以执行相同的几何修改。因此，可能需要计算8个未知值。在图14中，可以以x'和y’的两种形式来表达单个点形式的彼此匹配的一对点的最终公式。可能需要至少4对彼此匹配的点，因为有8个未知的值。但是，如上所述，一对点可能彼此不匹配。或者，一对点可能错误匹配。即使选择了有效的特征点，也会发生这种错误。通过在计算几何修改矩阵的同时使用许多对彼此匹配的点，可以减少这种错误。因此，考虑到这些特征，可以确定将要使用的对点的数量。
224.图15是示出根据本发明的基于几何修改矩阵和原始图像生成几何修改图像的方法的图。
225.如图15所示，通过使用原始图像内的点的光信息，几何修改图像的生成可以对应于几何修改图像内对应点的光信息的生成。图15中的(x0，y0)，(x1，y1)和(x2，y2)指代原始图像内的不同点。另外，(x'0，y'0)，(x'1，y'1)和(x'2，y'2)是几何修正图像内分别对应于(x0，y0)，(x1，y1)和(x2，y2)的点。函数f通过使用原始图像内的点(x，y)和用于几何修改的附加信息α来计算几何修改图像内的x轴的对应x'坐标。函数g通过使用原始图像内的点(x，y)和用于几何修改的附加信息β来计算几何修改图像内的y轴的对应y'坐标。当以矩阵公式表达(x，y)、(x'，y')、函数f和函数g时，矩阵h可以指代几何修改方法。因此，可以通过使用矩阵h来找到在原始图像和几何修改图像内相互彼此对应的点。
226.图15的几何修改方法在离散采样图像信号中可能是有问题的，因为光信息仅被包括在具有离散图像信号的整数坐标的点中。因此，当在几何修正图像内并且与原始图像内的点相对应的点具有实数坐标时，将最接近的整数坐标的光信息分配给几何修正图像内的点。因此，光信息可能被重叠到几何修正图像内具有实数坐标的点的一部分，或光信息可能不被分配。在这种情况下，可以使用逆映射。
227.图16是示出根据本发明的通过使用逆映射来生成几何修改图像的方法的图。
228.图16的虚线矩形区域指代实际观察到的区域。可以导出与虚线矩形区域内的每个
点对应的原始图像内的点。因此，原始图像的光信息可以被分配给几何修改图像内的所有点。然而，对应于(x'3，y'3)的点(x3，y3)可能位于原始图像的外部。在这种情况下，原始图像的光信息可能不会被分配给点(x'3，y'3)。在没有分配原始图像的光信息的点中，可以分配原始图像的相邻的光信息。换句话说，可以分配原始图像内最接近的点(例如(x4，y4))的光信息。
229.图17是示出根据本发明的基于几何修改矩阵和原始图像生成几何修改图像的方法的图，其中几何修改矩阵可以对应于几何修改信息。
230.在步骤s1701中，生成方法可以接收输入原始图像，几何修改矩阵和/或关于几何修改图像的当前点的信息。该生成方法可以通过使用原始图像和几何修改矩阵来计算与几何修改图像的当前点相对应的原始图像的点。计算出的原始图像的对应点可以是具有实数坐标的实数对应点。
231.在步骤s1702中，生成方法可以确定计算出的对应点是否位于原始图像内部。
232.在步骤s1702中，当所计算的对应点未位于在原始图像内部时，在步骤s1703中，生成方法可以用对应点改变与所计算的原始图像内的对应点最接近的点。
233.在步骤s1702中，当所计算的对应点位于原始图像内部时，生成方法可以执行步骤s1704。当在步骤1703中改变所计算的对应点时，生成方法可以执行步骤s1704。
234.在步骤s1704中，当对应点具有实数坐标时，生成方法可以识别具有整数坐标的最接近的点。当对应点具有整数坐标时，生成方法可跳过步骤s1704和s1705，并执行步骤s1706。
235.在步骤s1705中，生成方法可以通过插入具有整数坐标的识别点的光信息(例如，像素值)来生成具有实数坐标的点的光信息。作为插入的方法，可以使用lanczos插值、s样条(s-spline)插值、双三次插值。
236.在步骤s1706中，生成方法可以检查几何修改图像内的所有点是否完成它们的几何修改。然后，生成方法可以最终输出生成的几何修改图像。
237.当在步骤s1706中确定几何修改没有完成时，在步骤s1707中，生成方法可以将几何修改图像的当前点改变为另一点，并且可以重复步骤s1701至s1706。
238.图18是示出根据本发明的实施例的参考图17解释的各种插值方法当中的双线性插值的图。
239.在图18中，实数坐标(x，y)可以对应于图17的步骤s1704中提到的实数对应点。与坐标(x，y)毗邻的4个点(i,j)、(i，j+1)、(i+1，j)和(i+1，j+1)可以对应于图17的步骤s1704中提到的具有整数坐标的最接近点。i(x，y)可以指代点(x，y)的光信息，诸如亮度。a指代i与x之间的x轴距离，b指代j与y之间的y轴距离。1-a指代在i+1与x之间的x轴距离，1-b指代在j+1与y之间的y轴距离。可以通过使用x轴中的a与1-a的比率以及y轴中的b与1-b的比率从点(i，j)、(i，j+1)、(i+1，j)和(i+1，j+1)的光信息计算点(x，y)的光信息。
240.当视频编码器的帧间预测单元执行运动预测时，帧间预测单元可通过参考一参考图片来预测编码目标图片(当前图片)内的编码目标区域(当前区域或当前块)。这里，当参考图片与编码目标图片之间的时间间隔很大时，或者在两个图像之间已经发生旋转、放大、缩小或诸如目标的视角改变的全局运动时，两个图像之间的像素相似性降低。因此，预测准确度可能降低，并且编码效率可能降低。在这种情况下，编码器可以计算在编码目标图片与
参照图片之间的运动的改变，并且几何地修改参考图片，使得参考图片具有与所述编码目标图片类似的形式。参考图片可以以帧、切片和/或块为单位进行几何修改。通过几何地修改参考图片而生成的图片可以被定义为几何修改图片。通过参考几何修改图片而不是参考图片来提高运动预测准确度。
241.根据本发明，参考图片和/或几何修改图片不限于配置视频的一个帧的帧大小或图片大小。在本发明中，具有在参数集中定义的图片(帧)大小的参考图片的部分区域可以指代参考图片。通过修改参考图片或参考图片的部分区域而生成的几何修改图片可以具有与被修改之前的图像大小相对应的大小。换句话说，当被修改之前的图像是具有图片(帧)大小的参考图片时，则其几何修改图片可以具有图片(帧)大小。当被修改之前的图像是具有图片(帧)大小的参考图片的部分区域时，则几何修改后的图片可具有与参考图片的部分区域相对应的大小。
242.当视频编码器已经通过参考几何修改图片执行编码时，视频解码器可以接收几何修改所需的信息。几何修改所需的信息可以指代几何修改信息。视频解码器可基于接收到的几何修改信息从参考图片生成几何修改图片。视频解码器可通过参考所生成的几何修改图片来执行帧间预测。
243.图19是示出运动预测的图，其中视频编码器通过使用参考图片和几何修改图片来生成几何修改信息并执行运动预测。
244.视频编码器的几何修改图片生成器可以从参考图片生成几何修改信息。视频编码器的几何修改图片生成器可以通过使用几何修改信息来生成几何修改图片。视频编码器可存储所生成的几何修改图片，使得几何修改图片预测器使用几何修改图片作为参考信号。几何修改图片可以存储在视频编码器的重构图片缓冲器dpb、参考图片列表和几何修改图片缓冲器中的至少一个中。视频编码器的几何修改图片预测器可使用生成的几何修改图片和/或参考图片执行帧间预测。将在稍后描述包括几何修改图片生成器、几何修改图片缓冲器和/或几何修改图片预测器的编码器。
245.如图19所示，可以基于编码目标图片和参考图片来生成几何修改信息。参考图片可以从配置有至少一个已经解码的重构图片的参考图片列表中选择。参考图片可以是具有全局运动的参考图片。可以通过反映编码目标图片与具有全局运动的参考图片之间的全局运动来生成几何修改信息。几何修改信息可以以整个图像或该图像的一部分(诸如帧、切片、块等)为单位来配置或生成。当生成几何修改信息时，可以反映全局运动的整体或其一部分。全局运动可以是与上述图像的几何修改相关的运动，诸如转移、放大、缩小、旋转等。可以基于参考图片和生成的几何修改信息生成几何修改图片。几何修改图片可以是反映全局运动的几何修改图片。
246.作为配置与编码目标图片和参考图片之间的像素的转移、放大、缩小或旋转相关的几何修改信息的方法，可以使用参考图13描述的单应性。单应性可以提供反映两个图像之间的旋转、缩放和转移的几何修改信息，以解释平面目标的二维几何修改关系。
247.通过使用几何修改信息来旋转、放大、缩小或转移图像，图19的参考图片内的图像可以被几何修改为图19的几何修改图片内的图像。图19的参考图片和图19的几何修改图片可以通过几何修改而具有不同形状的矩形。图19的参考图片内的任意坐标(a，b)通过图14中导出的关系式变为(a’，b’)，并且(a，b)可以对应于图19的几何修改图片内的坐标(a’，
b’)。
248.因此，视频编码器可通过计算编码目标图片与参考图片之间的几何修改信息来从参考图片生成与编码目标图片类似的图像。详细地，图19的几何修改图片内的区域a和图19的编码目标图片内的区域b之间的相似性是非常高的。换句话说，区域a与区域b之间的像素值相似性非常高，因此可以在执行运动预测的同时通过参考几何修改图片来提高编码器的预测准确度。
249.如上所述，当在视频编码器中执行帧间预测时，视频编码器可参考配置有已经解码的图片的参考图片。然而，由于参考图片与编码目标图片不相同，因此在参考图片与编码目标图片之间的时间间隔期间可能存在像素值的改变。因此，视频编码器优选参考基于反映参考图片与编码目标图片之间的像素值的改变的几何修改信息而生成的几何修改图片。像素值的改变可以包括例如由全局运动产生的东西。在执行运动预测的同时，可以通过参考所述参考图片和几何修改图片来生成最佳预测信号。
250.详细地，由于几何修改图片是反映了参考图片与编码目标图片的像素值的改变的图像，因此编码目标图片与几何修改图片的像素分布相似性非常高。然而，当先前图像中不存在的新像素在图像中出现，诸如新对象出现，或者几何修改信息的误差很大，则在几何修改图片中可能出现误差或噪声。这里，参考所述几何修改图片的运动预测可能会退化。因此，当执行运动预测时，通过参考所述参考图片和几何修改图片两者来执行第一运动预测。然后，具有高预测准确度的信息可以更新为最佳预测信息。因此，可以防止由几何修改图片中的噪声或误差引起的编码性能降低。视频编码器可对具有最佳编码效率的运动预测信息进行编码并通过比特流发送编码后的信息。这里，视频编码器可以不对未被几何修改图片参考的区域的几何修改信息进行编码。换句话说，可以通过仅对必要的几何修改信息进行编码来改进编码效率。
251.图20是示出应用了本发明另一实施例的图像编码装置的配置的框图。
252.图20所示的编码装置可以包括几何修改图片生成单元2010、几何修改图片预测器2015、扩展帧内预测单元2020、减法器2025、变换单元2030、量化单元2040、熵编码单元2050、逆量化单元2060、逆变换单元2070、加法器2075、去块滤波器单元2080以及采样自适应偏移单元2090。
253.几何修改图片生成单元2010可通过计算几何修改信息来生成几何修改图片2012，所计算的几何修改信息反映编码目标图片2011与存储在重构图片缓冲器2013中的参考图片列表的参考图片之间的像素值的改变。生成的几何修改图片2012可以存储在几何修改图片缓冲器2016中。
254.几何修改图片预测器2015可以包括几何修改图片缓冲器2016和帧间预测单元2017。几何修改图片缓冲器2016可以存储在几何修改图片生成单元2010中生成的几何修改图片。帧间预测单元2017可以通过使用存储在重构图片缓冲器2013中的参考图片列表的参考图片作为参考信号来执行运动预测。当在执行运动预测的同时参考几何修改图片时，用于生成几何修改图片的几何修改信息可以被发送到熵编码单元2050并且在熵编码单元2050中被编码。
255.几何修改图片生成单元2010可以执行稍后将描述的几何修改信息的重新配置。可以在生成几何修改图片时执行几何修改信息的重新配置。
256.扩展帧内预测单元2020可以通过参考当前图片和几何修改图片的已经被编码/解码的信号来执行扩展帧内预测。扩展帧内预测单元2020将在稍后描述。
257.图21是示出根据图20所示的示例编码装置的几何修改图片生成单元2010的配置和操作的图。
258.几何修改图片生成单元2010可以生成几何修改图片2108，其可以被用作几何修改图片预测器2015中的参考信号。几何修改信息配置器2105可以通过接收由重构图片缓冲器2101配置的参考图片列表2102的参考图片2103、和编码目标图片2104来配置几何修改信息2106。图片几何修改计算器2107可以通过使用几何修改信息2106修改参考图片2013来生成几何修改图片2108。
259.几何修改信息配置器2105可以计算参考图片2103和编码目标图片2104之间的像素值的变化，并且具体地，计算全局运动信息。几何修改信息配置器2105可以找到两幅图像之间的匹配特征点，并且通过计算匹配特征点之间的转移、旋转和/或大小的变化来计算运动信息。几何修改信息配置器2105可以基于所计算的全局运动信息来配置和输出能够生成几何修改图片的几何修改信息。
260.图片几何修改计算器2107可以接收参考图片2103和几何修改信息2106以生成几何修改图片2108。图片几何修改计算器2107可以通过使用几何修改信息2106从参考图片2103生成几何修改图片2108。所生成的几何修改图片2108可以被存储在几何修改图片缓冲器2016中，并且可以在执行帧间预测的同时被帧间预测单元2017所参考。
261.图22是示出根据图20所示的示例编码装置的几何修改图片预测器2015的配置和操作的图。
262.参考图片列表2201的参考图片2202和几何修改图片缓冲器2203的几何修改图片2204可以被输入到帧间预测器2205，并且被用作运动预测的参考信号。
263.当执行运动预测的同时，帧间预测器2205可以通过参考参考图片2202和几何修改图片2204两者来导出最佳运动预测信息2206。最佳运动预测信息2206可以指代具有高预测准确度和最佳编码效率的运动预测信息。当通过参考几何修改图像2204导出最佳运动预测信息2206时，可以对几何修改信息进行编码，并将其通过比特流发送。
264.参考图20至22所示的编码装置的配置仅仅是本发明的各种实施例之一，并且不限于此。图20至22所示的编码装置的一些配置可以与其他配置合并或省略。可替换地，可以添加其他配置。另外，包括在几何修改图片生成单元2010和几何修改图片预测器2015中的多个配置的一部分可以从几何修改图片生成单元2010和几何修改图片预测器2015独立地配置。可替换地，它可以被包括在另一配置的子配置中，或者与另一配置合并。
265.图23是示出根据本发明的实施例的运动预测的流程图。
266.在步骤s2301和s2302中，可以指定编码目标图片和参考图片。参考图片可以从参考图片列表中选择。
267.在步骤s2303中，可以基于编码目标图片和参考图片来生成几何修改信息。可以通过使用上述的方法来生成几何修改信息。
268.在步骤s2304中，可以基于所生成的几何修改信息来生成几何修改图片。生成的几何修改图片可以存储在几何修改图片缓冲器中。
269.在步骤s2305中，可以通过参考所述参考图片和/或几何修改图片来执行运动预
测。
270.在步骤s2306中，可以基于具有最佳编码效率的参考信号来存储和更新最佳预测信息。可以使用速率失真成本(rd cost)作为用于确定最佳编码效率的指标。
271.在步骤s2307中，当不是所有参考图片被应用于步骤s2301至s2306时，重复步骤s2302至s2306。在步骤s2308中，当应用所有参考图片时，可以对最终确定的最佳运动预测信息和/或几何修改信息进行编码。当在执行运动预测的同时使用几何修改图片时，可以仅编码和发送几何修改信息。
272.图24是示出根据本发明实施例的生成几何修改图片的方法的流程图。
273.在步骤s2401中，生成方法可以接收编码目标图片和从参考图片列表中选择的参考图片的输入。
274.在步骤s2402中，生成方法可以从两个图片中提取特征点并匹配所提取的特征点。所提取的特征点可以用于计算两个图片之间的像素值的变化，具体地是计算全局运动信息。如上所述，特征点可以指代能够与相邻像素区分开的像素。在步骤s2403中，可以通过匹配所提取的特征点来计算其中反映了两个图像内的特征点的旋转、放大、缩小和/或转移的几何修改信息。几何修改信息可以通过使用各种算法来计算，例如，可以使用图13的单应性。
275.在步骤s2404中，生成方法可以生成几何修改图片。通过将几何修改信息应用于参考图片的每个像素，可以通过导出几何修改图片内的与参考图片的每个像素相对应的每个像素来生成几何修改图片。
276.在步骤s2405中，生成方法可以存储生成的几何修改图片。例如，所生成的几何修改图片可以被存储在几何修改图片缓冲器中。然而，其不限于此，几何修改后的图片可以存储在重构图片缓冲器中或参考图片列表中。
277.图25是示出根据本发明的实施例的帧间预测方法的流程图。
278.在步骤s2501和s2502中，帧间预测方法执行通过参考一参考图片的运动预测和通过参考几何修改图片的运动预测。运动预测的顺序不限于此。换句话说，可以首先执行通过参考几何修改图片的运动预测。可替换地，两个运动预测可以同时执行。参考图片可以从参考图片列表中选择。
279.在步骤s2503中，帧间预测方法可以确定参考参考图片的运动预测和参考几何修改图片的运动预测中的哪一个更高效。
280.当在步骤s2503中确定参考参考图片的运动预测时，在步骤s2504中，帧间预测方法可以存储或更新所述参考图片信息，作为最佳预测信息。
281.当在步骤s2503中确定参考几何修改图片的运动预测时，在步骤s2505中，帧间预测方法可以存储或更新几何修改图片信息，作为最佳预测信息。
282.在步骤s2506中，当几何修改图片信息作为最佳预测信息最终被编码时，帧间预测方法可以对几何修改信息进行编码。
283.参考图26和图27，描述了有效地对几何修改信息进行编码的方法。
284.几何修改信息可以配置有多个因素，诸如图14的矩阵。另外，这些因素可能是实数。当大量比特被用于对配置有实数因素的矩阵进行编码时，编码效率可能会降低。可以应用各种方法来在发送几何修改信息的同时减少比特量。例如，实数因素可以近似于整数因
素。或者，可以通过减少所生成的几何修改信息的一部分来简化几何修改信息。可替换地，可以从预先使用的几何修改信息预测要被编码的几何修改信息，并且可以仅传送几何修改信息之间的残差值。除了所描述的方法以外，可以使用各种方法来减少比特量。可替换地，可以一起应用上述方法中一种或多种。
285.图26是示出根据本发明的实施例的几何修改信息的编码方法的流程图。
286.在步骤s2601中，编码方法可以接收编码目标几何修改信息的输入。
287.在步骤s2602中，编码方法可以简化几何修改信息。在步骤s2603中，编码方法可以预测几何修改信息。可以反向执行步骤s2602和s2603。或者，可以选择性地执行步骤s2602和s2603中的一个。
288.在步骤s2602中，可以通过将构成几何修改信息的实数因素近似为整数因素来简化几何修改信息。可以通过近似来减少表达这些因素的比特数。为了减少比特数，可以使用各种操作，诸如基于预定位数的四舍五入、升高、降低、抛弃、切割。作为近似的示例，实数可以被转换为整数。
289.在步骤s2603中，编码方法可以根据先前使用的几何修改信息来预测几何修改信息。编码方法可以发送所预测的与先前使用的信息之间的残差值。先前使用的几何修改信息可以指代刚好在之前使用的几何修改信息、或先前被编码的图片的几何修改信息。当多个几何修改信息可用于预测几何修改信息时，编码方法可以附加地对指示所参考的几何修改信息的信息进行编码。这里，解码器可以基于附加地发送的信息来确定所参考的几何修改信息，并且基于该信息来对几何修改信息进行解码。当只有特定的几何修改信息(例如，刚好在之前使用的几何修改信息)作为几何修改信息时，编码方法可以不附加地发送指示所参考的几何修改信息的信息。
290.在步骤s2604中，编码方法可以对重构几何修改信息所需的信息进行编码。
291.图27是示出用于修改几何修改信息以减少用于编码几何修改信息的比特量的各种示例的图。
292.图27(1)是将实数因素转换为整数因素的示例。
293.图27(2)是通过去除其中的一部分来简化几何修改信息的示例。在去除的因素中，作为左侧因素的0.1和0.7是用于参考图12描述的投影修改的因素。用于投影修改的因素统计地出现在接近零的小的值处。接近零的因素在生成几何修改图片时具有小的影响。因此，即使省略了，也不会对几何修改图片的准确度产生不利影响。另外，在三个去除的因素中，最右边的因素1可能不会被发送到解码器，因为它在生成几何修改信息的同时总是固定为1。
294.图27(3)是通过将系数2乘以几何修改信息a来配置几何修改信息b的示例。几何修改信息a和系数2可以被发送到解码器而不是发送几何修改信息a和b。可以通过发送几何修改信息a和系数2来重构修改信息b。
295.图27(4)是通过使用几何修改信息a作为参考几何修改信息来配置几何修改信息b的示例。几何修改信息a和残留的几何修改信息bd被编码。bd可以对应于几何修改信息a和b之间的差值。解码器可以通过相加几何修改信息a和bd来重构几何修改信息b。
296.图28是示出运动补偿方法的图，其中解码器通过使用几何修改信息从参考图片生成几何修改图片，并且通过使用参考图片和几何修改图片来执行运动补偿。
297.根据本发明的视频解码器可以通过比特流接收由视频编码器生成的几何修改信息。
298.视频解码器可通过将几何修改信息应用于从参考图片列表中选择的参考图片来生成几何修改图片。几何修改图片可以由稍后将描述的解码器的几何修改图片生成器生成。由几何修改图片生成器生成的几何修改图片的单元可根据对几何修改图片进行编码时确定的单元而变化，单元可以是帧、切片、块等。
299.通过将几何修改信息应用于参考图片来生成几何修改图片的方法可对应于如上所述的在编码器中生成几何修改图片的方法。然而，与视频编码器不同，解码器通过比特流接收几何修改信息。因此，视频解码器的配置复杂度不会显著增加。生成的几何修改图片可以存储在稍后将描述的几何修改图片缓冲器中。
300.视频解码器可参考参考图片和几何修改图片两者以用于解码目标图片的帧间预测。参考参考图片和/或几何修改图片的帧间预测可以由稍后将描述的解码器的帧间预测单元执行。解码器的帧间预测单元可以通过使用重构图片缓冲器dpb的参考图片和/或几何修改图片缓冲器的几何修改图片作为参考信号来执行帧间预测。
301.可以通过比特流来用信号发送，是使用参考图片还是几何修改图片以用于解码目标图片或解码目标区域的帧间预测的信息。可以通过附加的语法元素来用信号发送这样的信息。可替换地，可以通过几何修改信息的存在来用信号发送这样的信息。
302.基于用于指示解码目标图片或解码目标区域是通过参考几何修改图片而预测的信息，视频解码器可接收几何修改信息、生成几何修改图片和/或通过参考几何修改图片来执行帧间预测。
303.基于指示解码目标图片或解码目标区域是通过参考参考图片而预测的信息，视频解码器可以不接收几何修改信息、不生成几何修改图片，和/或不通过参考几何修改图片来执行帧间预测。
304.图29是示出应用了本发明的另一实施例的解码装置的配置的框图。
305.图29所示的解码器可以包括熵解码单元2910、逆量化单元2920、逆变换单元2930、减法器2935、滤波器单元2940、扩展帧内预测单元2950、几何修改图片预测器2960和几何修改图片生成器2970。解码器可以通过接收比特流2900来输出解码图片2980。
306.几何修改图片生成器2970可以通过使用从比特流2900提取的几何修改信息和存储在重构图片缓冲器2971中并且被熵解码的参考图片列表的参考图片来生成几何修改图片2972。
307.几何修改图片预测器2960可以配置有用于存储几何修改图片2972的几何修改图片缓冲器2961和帧间预测单元2962。
308.在几何修改图片生成器2970中生成的几何修改图片2972可以被存储在几何修改图片缓冲器2961中。存储在几何修改图片缓冲器2961中的几何修改图片2972可以用作帧间预测单元2962中的参考信号。
309.帧间预测单元2962可以基于从编码器发送的信息、通过使用参考图片和/或几何修改图片作为用于运动预测的参考信号，来重构解码目标图片。
310.图30是示出图29所示的解码装置的几何修改图片生成器2970的操作和配置的图。
311.几何修改图片生成器2970的几何修改计算器3005可以通过接收几何修改信息
3004和参考图片3003来生成几何修改图片3006。参考图片3003可以选自从重构图片缓冲器3001配置的参考图片列表3002。用于选择参考图片3003的信息可以被包括在比特流中并通过比特流被发送。用于选择参考图片3003的信息可以作为附加语法元素而被发送，或者可以显式地或隐式地包括在几何修改信息3004中。
312.如上所述，所生成的几何修改图片3006可以被输出到几何修改图片缓冲器2961。
313.图31是示出图29所示的解码装置的几何修改图片预测器2960的操作和配置的图。
314.几何修改图片预测器2960的帧间预测器3105可以通过参考参考图片3102和/或几何修改图片3104来执行帧间预测，并且输出预测信号3106。可以通过比特流来用信号发送是使用参考图片3102还是几何修改图片3104或它们两者来用于解码目标图片或解码目标区域的帧间预测的信息。如上所述，可以通过附加的语法元素来执行这种信息信令。可替换地，可以通过几何修改信息的存在来执行这种信息信令。
315.参考图片3102可以从参考图片列表3101中选择。几何修改图片3104可以从几何修改图片缓冲器3103中选择。几何修改图片3104可以配置有帧间预测所需的部分。
316.参考图29至31所示的解码装置的配置仅仅是本发明的各种实施例之一，但是不限于此。图29至31所示的编码装置的一些配置可以与其他配置合并或省略。可替换地，可以添加其他配置。另外，包括在几何修改图片生成器2970和几何修改图片预测器2060中的多个配置的一部分可以从几何修改图片生成器2970和几何修改图片预测器2960独立地配置。可替换地，它可以被包括在另一配置的子配置中，或者与另一配置合并。
317.图32是示出根据本发明的实施例的解码器的运动补偿的流程图。
318.在步骤s3201中，解码器可以通过解析比特流来获得运动补偿相关信息。运动补偿相关信息可包括参考图片信息、和几何修改信息中的至少一个。参考图片信息可以是用于指定包括在参考图片列表中的参考图片内的一个参考图片的信息。可替换地，参考图片信息可以是指示在执行运动补偿的同时是使用参考图像还是几何修改图片的信息。可替换地，参考图片信息可以是指示在执行运动补偿的同时是否使用参考图像和几何修改图片两者的信息。可替换地，参考图片信息可以是包括以上信息的至少两个信息的信息。可以通过单个语法元素或通过多个的单个语法元素来用信号发送参考图片信息。可以通过由编码器和解码器显式地或隐式地定义的方法来用信号发送参考图片信息。可以通过几何修改信息的存在来用信号发送在帧间预测期间是参考参考图片还是参考几何修改图片。
319.在步骤s3202中，基于运动补偿相关信息，解码器可以确定在执行运动补偿时是否参考了几何修改图片。如上所述，解码器可以基于几何修改信息的存在和/或参考图片信息来作出决定。当解码器使用几何修改信息的存在时，例如，当接收到几何修改信息时，解码器可以确定通过参考几何修改图片来执行运动预测。
320.如果步骤s3202中的结果为“是”，则在步骤s3203中，解码器可以生成几何修改图片。可以基于从参考图片列表中选择的参考图片和从比特流解析出的几何修改信息来生成几何修改图片。这里，解码器可以生成运动补偿所需的几何修改图片的一部分。
321.在步骤s3204中，解码器可以通过参考所生成的几何修改图片来执行运动补偿。
322.可替换地，如果步骤s3202中的结果为“否”，则在步骤s3205中，解码器可通过参考从参考图片列表中选择的参考图片来执行运动补偿。
323.在步骤s3203中，参考图32解释的运动补偿基于是否使用几何修改图片来生成几
何修改图片(s3202)。然而，并不限于此，并且当接收到几何修改信息时，解码器可以生成几何修改图片，而与其参考无关。
324.如上所述，可以通过使用几何修改信息从参考图片生成几何修改图片。由此通过在执行帧间预测的同时参考参考图片和/或几何修改图片可以提高帧间预测准确度。
325.使用几何修改图片的预测不限于帧间预测。例如，可以通过使用几何修改图片来执行帧内预测。在下文中，参考图33至图37描述根据本发明实施例的使用几何修改图片的扩展帧内预测。
326.图33是示出根据本发明实施例的扩展帧内预测的概念图。在图33中，当前块可以指代解码目标块。
327.如图33(1)所示，作为当前块的已解码区域的区域可以被参考用于当前块的帧内预测。换句话说，当前块的左区域、上区域、左上区域和/或右上区域可以被参考用于帧内预测。然而，由于当前块的右区域、下区域、左下区域和/或右下区域还没有被解码，所以这些区域不能被参考用于帧内预测。
328.如图33(2)所示，对于不能被参考的当前块的右区域、下区域、左下区域和/或右下区域，可以参考对应于当前图片的已经被解码的图片的信号、或者对应于通过几何地修改已经解码的图片而生成的几何修改图片的信号，作为帧内预测的参考信号。几何修改图片可以是通过使用几何修改信息重新配置当前图片的参考图片而生成的几何修改图片，使得重新配置的参考图片可以与当前图片相似。
329.如图33(3)所示，通过使用图33(1)和33(2)的所有参考信号，可以获得围绕当前块的区域的所有参考信号。因此，当前块的帧内预测可以在所有方向(当前块的左、右、左上、右上、右、下、左下和/或右下区域)上执行。因此，可以提高帧内预测效率。
330.图34是示出根据本发明实施例的扩展帧内预测单元的操作和配置的图。
331.图34的扩展帧内预测单元可对应于图20中所示编码器的扩展帧内预测单元。
332.扩展帧内预测单元可以包括参考信号选择器3404和预测执行器3405。参考信号选择器3404可以接收作为解码目标的当前块3403。另外，参考信号选择器3404可以接收用作帧内预测的参考信号的当前图片3401和/或几何修改图片3402。接收到的当前图片3401可以是比当前块3403更早被编码/解码的区域的信号。接收到的几何修改图片3402可以是当前图片3401的参考图像。可替换地，接收到的几何修改图片3402可以是通过使用几何修改信息对当前图片3401的参考图片进行几何地修改而生成的几何修改图片。由参考信号选择器3404接收的关于当前块3403的信息可以是关于当前图片3401内的当前块3403的位置和/或大小的信息。参考信号选择器3401可以从当前图片3401和几何修改图片3402中选择参考信号。可替换地，参考信号选择器3401可以选择当前图片3401或几何修改图片3402。例如，当从当前块3403的右区域执行帧内预测时，参考信号选择器3404可以选择几何修改图片3402作为参考图片。
333.当参考图片被选择时，预测执行器3405可以执行帧内预测，并且生成当前块3403的预测块(预测信号3406)。另外，解码器可以生成帧内预测所需的帧内预测信息3407。帧内预测信息3407可以包括帧内预测方向或参考信号等。
334.可以针对所有可用参考信号执行帧内预测，并且可以选择具有最佳效率的参考信号。
335.解码器的扩展帧内预测单元可基于从编码器发送的帧内预测信息选择性地参考当前图片的已解码区域或几何修改图片(或参考图片)。例如，当由帧内预测信息指示的帧内预测方向是当前块的右区域时，扩展帧内预测单元可以通过使用几何修改图片来执行帧内预测。当参考几何修改图片时，解码器可以仅生成几何修改图片。如上所述，关于是否使用几何修改图片的信息可以通过帧内预测方向来确定。可替换地，关于是否使用几何修改图片的信息可以通过几何修改信息的存在来确定。可替换地，关于是否使用几何修改图片的信息可以由附加的一个或多个语法元素用信号发送，或者可以利用由编码器和解码器显式或隐式定义的方法用信号发送。
336.另外，根据本发明的在帧内预测期间生成所参考的几何修改图片的方法可以与根据本发明的在帧间预测期间生成所参考的几何修改图片的方法相同。另外，配置和使用几何修改信息的方法可以与帧间预测的方法相同。
337.图35是示出根据本发明的实施例的扩展帧内预测的图。
338.在步骤s3501中，扩展帧内预测选择将用于帧内预测的参考区域。参考区域可以从当前块的所有方向选择。帧内预测方向可以被表达为以预定间隔细分的方向，并且每个方向可以被表达为索引。另外，可以使用所有其他可能的表达。编码器可以顺序或并行地执行所有方向的帧内预测。在解码器中，可以基于帧内预测信息来指定单个帧内预测方向。
339.在步骤s3502中，扩展帧内预测可以确定在当前图片内从帧内预测方向指示的参考区域是否有效。换句话说，如果所选择的参考区域位于在当前块之前被编码/解码的区域内，则参考区域有效，否则，参考区域无效。步骤s3502的结果可以通过在步骤s3501中选择参考区域来确定。例如，可以根据用于指示所选择的参考区域的角度、索引、或方向来确定所述参考区域对于当前画面是否有效。
340.在步骤s3504中，当参考区域有效时，扩展帧内预测可以通过参考已经解码的信号来执行当前块的帧内预测。在步骤s3503中，当参考区域无效时，扩展帧内预测可通过参考几何修改图片来执行当前块的帧内预测。
341.图36是示出根据本发明的帧内预测方向的图。
342.在图36中，预测模式0和1是非角度模式。预测模式0指代帧内平面模式，预测模式1是指dc模式(帧内dc)。在图36(1)中，预测模式2至34指代角度模式。在图36(2)中，预测模式2至65指代角度模式。在图36中，箭头可以指示当前块的帧内预测的参考信号。
343.图36(1)是示出当仅可以参考当前图片的已解码信号时的帧内预测方向的图。如图36(1)所示，预测模式2到34的帧内预测可以仅参考当前块的左、上、左上和/或右上信号。
344.图36(2)是示出当可以参考当前图像的已解码信号、已解码图片或已解码图片的几何修正图像时的帧内预测方向的图。如图36(2)所示，预测模式2至65的帧内预测不仅可以参考当前块的左、上、左上和/或右上信号，还可以参考当前块的右、下、左下和/或右下信号。
345.图37是示出执行根据本发明的扩展帧内预测的实施例的图。
346.在图37中，当前图片内的相邻像素指代在执行帧内预测时参考的当前图片内的像素。几何修改图片内的相邻像素指代与当前图片对应的几何修改图片(或参考图片)内的像素。没有任何信息的区域指代不具有能够在执行相邻像素之中的帧内预测时被参考的像素信息的区域。图37(a)和37(b)的具有线的箭头指示当通过参考当前图片内的相邻像素来执
行帧内预测时的帧内预测方向。这里，帧内预测方向可以对应于图36的预测模式2至34。图37(d)的带虚线的箭头指示当通过参考对应于当前图片的几何修改图片(或参考图片)内的相邻像素来执行帧内预测时的帧内预测方向。这里，帧内预测方向可以对应于图36的预测模式35至65。图37(c)中的带虚线的箭头指示由于没有参考信号而不可能进行帧内预测的方向。
347.在图37(a)和37(c)中，通过参考当前图片内的相邻像素来执行帧内预测。由于存在参考信号，因此可以执行图37(a)中所示的帧内预测方向的帧内预测。然而，由于参考信号不存在，所以可能不执行图37(c)中所示的帧内预测方向的帧内预测。
348.在图37(b)和图37(d)中，通过不仅参考当前图片内的相邻像素而且还参考与当前图片相对应的几何修改图片(或参考图片)内的相邻像素来执行帧内预测。图37(b)中所示的帧内预测方向的帧内预测可以通过参考当前图片内的相邻像素来执行。图37(d)中所示的帧内预测方向的帧内预测可以通过参考几何修改图片内的相邻像素来执行。根据图37(b)和37(d)的帧内预测，可通过执行参考当前图片内的相邻像素和几何修改图片内的相邻像素的帧内预测来提高预测准确度，从而提高编码效率。
349.根据本发明，在生成几何修改图片的同时，可以在编码单元(cu)、预测单元(pd)、切片单元或图像帧单元中配置几何修改图片。当在切片单元的图像帧单元中发生像素值的变化时，优选的是在诸如切片单元或图像帧单元的大单元而不是诸如cu或pu的小单元中生成几何修改图片。因此，可以避免在小单元中生成几何修改图片时生成的重复的几何修改信息，并且在复杂度方面它可以更高效。另外，当在帧单元或切片单元的区域中未参考几何修改图片时，几何修改图片是否被参考的信息被包括在帧单元或切片单元中。但是，编码器/解码器可以不配置不必要的修改信息。例如，可以应用图片参数集(pps)、语法配置和切片报头的语义。
350.在表1和2中，“修改_图像_生成_标志(modification_image_generation_flag)”可以是关于在预测运动信息时是否使用几何修改图片作为参考图片的信息。“修改_图像_生成_标志”可以被包括在序列单元、帧单元、切片单元等中，并且包括关于几何修改图片是否用于每个单元的信息。当几何修改图片被用作每个单元的参考图片时，“修改_图像_生成_标志”可以被设置为“1”。当几何修改图片不被用作参考图片时，“修改_图像_生成_标志”可以被设置为“0”。可替换地，在每种情况下“修改_图像_生成_标志”可以被配置为具有相反的值。“修改_图像_生成_标志”可以被用作在每个单元中是否使用几何修改图片的信息，或者被用作几何修改信息是否被包括在比特流中的信息。
351.表1和2是当通过pps和切片报头发送“修改_图像_生成_标志”中的每一个时的语法配置的示例。
352.[表1]
[0353]
[0354][0355]
[表2]
[0356]
[0357][0358]“图像_修改_信息(image_modification_info)”可以是与几何修改信息相关并且用矩阵或非线性数据配置的语法元素。“图像_修改_信息”可以是当在诸如帧单元、切片单元等的每个单元中使用几何修改图片时(当“修改_图像_生成_标志”是1时)存在于比特流中的语法元素。表1和表2示出了当“修改_图像_生成_标志”具有以矩阵形式配置的几何修改信息时的示例。如上所述，几何修改信息矩阵可以包括9个系数。由于可以对9个系数中的一个系数使用固定值，所以可以发送8个系数。通过系数的近似或预测，要发送的矩阵系数可以被减小到8或更小。在表1和表2中，矩阵系数可以以“图像_修改_信息[x][y][z]”的形式发送。这里，x可以指代参考图片列表的索引，y可以指代参考图片列表内的参考图片的索引，并且z可以指代该矩阵系数的索引。因此，所有参考图片可能分别具有不同的矩阵。
[0359]
当编码器确定正在编码单元和/或预测单元中配置的几何修改图片是最佳情况时，如表3和表4所示，可以包括“修改_图像_生成_标志”和“图像_修改_信息”作为co和/或pu的语法元素。在表3和表4中，cu可以包括它自己参考的参考图片信息，并且因此可能需要用于几何地修改对应的参考图片的单个几何修改信息。因此，与表1和表2不同，矩阵系数以“图像_修改_信息[z]”的形式发送。这里，z是指矩阵系数的索引。
[0360]
表3和表4是当通过cu和pu用信号发送“修改_图像_生成_标志”和“图像_修改_信息”中的每一个时的语法配置的示例。
[0361]
[表3]
[0362][0363]
[表4]
[0364][0365]
当pps或切片报头包括关于如表1和表2所示的几何修改信息的信息时，在cu或pu的单元中可以不发送几何修改信息。因此，可以如表5和6所示来配置cu或pu。在表5和表6中，“修改_图像_参考_标志(modification_image_reference_flag)”为1可指代几何修改图片被用作参考信号，或者“修改_图像_参考_标志”为0可指代几何修改图片不被用作参考信号。可替换地，“修改_图像_参考_标志”可以被配置为在每种情况下具有相反的值。当几何修改图片被用作cu或pu中的参考信息时(或者当“修改_图像_生成_标志”为“1”时)，cu或pu可以包括参考所需的信息的“参考_修改_信息(reference_modification_info)”。参考所需的信息可以包括参考索引、残差信号等。
[0366]
表5和表6是当通过cu和pu用信号发送每个“参考_修改_信息”时的语法配置的示例。
[0367]
[表5]
[0368][0369][0370]
[表6]
[0371][0372]
运动预测中可以使用单向预测或双向预测。当在运动预测中使用几何修改图片时，可以通过表7和表8的语法配置在cu和pu中用信号发送运动预测类型。
[0373]
详细地，可以通过使用在诸如切片报头或pps的上层中用信号发送的几何修改信息来生成几何修改图片。另外，诸如使用几何修改图片的双向预测、使用几何修改图片的单向预测或不使用几何修改图片的预测等的预测类型可以在cu或pu中用信号发送。另外，可以通过标志信息来用信号发送关于每个方向是否使用几何修改图片的信息。
[0374]
在表7和表8中，“修改_图像_参考_类型(modification_image_reference_type)”可以是指示使用几何修改图片的双向预测、使用几何修改图片的单向预测或不使用几何修改图片的预测中的一个的标志。“参考_0_修改_标志(ref_0_modification_flag)”可以是指示当前解码图片是否参考两个参考图片列表的第一参考图片列表内的参考图片的几何修改图片的标志。“参考_1_修改_标志(ref_1_modification_flag)”可以是指示当前解码图片是否参考两个参考图片列表的第二参考图片列表内的参考图片的几何修改图片的标志。当“参考_x_修改_标志(ref_x_modification_flag)”被设置为真(true)(1)(这里，x可以是0或1)时，可以通过参考对应的参考图片的几何修改图片来执行预测。当“参考_x_修改_标志”被设置为假(false)(0)(这里，x可以是0或1)时，可以通过不参考对应的参考图片的几何修改图片来执行预测。
[0375]
当cu中或pu中的“修改_图像_修改_类型”是“都不_使用(none_use)”时，可以通过将“参考_0_修改_标志”和“参考_1_修改_标志”设置为假(false)来不参考参考图片的几何修改图片，从而执行两个方向的预测。
[0376]
当“修改_图像_修改_类型”是“参考_0_使用(ref_0_use)”时，可以通过将“参考_0_修改_标志”设置为真(true)并且“参考_1_修改_标志”设置为假(false)来参考几何修改图片，从而执行列表0方向的预测。
[0377]
当“修改_图像_修改_类型”是“参考_1_使用(ref_1_use)”时，可以通过将“参考_0_修改_标志”设置为假并且“参考_1_修改_标志”设置为真来参考几何修改图片，从而执行列表1方向的预测。
[0378]
当“修改_图像_修改_类型”是“都_使用(both_use)”时，可以通过将“参考_0_修改_标志”和“参考_1_修改_标志”设置为真来参考参考图片的几何修改图片，从而执行两个方向的预测。
[0379]
表7和表8是当通过cu和pu用信号发送“修改_图像_参考_类型”中的每一个时的语法配置的示例。
[0380]
[表7]
[0381][0382][0383]
[表8]
[0384][0385]
作为本发明的应用示例，在上层(诸如切片标头、pps等)中进行几何修改的几何修改图片以及从上层发送的几何修改信息可以被校正并且用在cu层和/或pu层中。如表9和表10所示，cu层和/或pu层中可以包括“修改_图像_使用_修正_标志(modification_image_using_revision_flag)”和“修改_修正_信息(modification_revision_info)”。
[0386]“修改_图像_使用_修正_标志”为1可以指代cu层或pu层包括要被校正的信息。这里，可以额外地用信号发送“修改_修正_信息”。
[0387]“修改_图像_使用_修正_标志”为0可以指代cu层或pu层不包括要校正的信息。由于没有要纠正的信息，所以可以不用信号发送“修改_修正_信息”。
[0388]“修改_图像_使用_修正_标志”和“修改_修正_信息”可以作为语法元素直接被用信号发送，如表9和10的实施例所示。可替换地，“修改_图像_使用_修正_标志”和“修改_修正_信息”可以根据在编码器和解码器中定义的预定规则被显式和/或隐式地用信号发送。
[0389]
表9和10是当通过cu和pu用信号发送“修改_图像_使用_修正_标志”和“修改_修正_信息”中的每一个时的语法配置的示例。
[0390]
[表9]
[0391][0392]
[表10]
[0393][0394]
在上述实施例中，基于具有一系列步骤或单元的流程图来描述方法，但是本发明不限于这些步骤的顺序，而是一些步骤可以与其他步骤同时或以不同的顺序执行。另外，本领域的普通技术人员应该理解，流程图中的步骤不排除彼此，并且其他步骤可以被添加到流程图中，或者一些步骤可以从流程图中删除，而不影响本发明的范围。
[0395]
以上描述的内容包括各个方面的示例。当然，不可能为了描述各个方面而描述组件或方法的每个可能的组合，但是本领域的普通技术人员可以认识到许多进一步的组合和排列是可能的。因此，本说明书旨在涵盖落入所附权利要求的精神和范围内的所有这些改变、修改和变化。
[0396]
计算机可读存储介质可以单独地或组合地包括程序指令、数据文件、数据结构等。记录在计算机可读存储介质中的程序指令可以是为本发明特别设计和构造的或计算机软件领域的技术人员已知的任何程序指令。计算机可读存储介质的示例包括磁记录介质(诸如硬盘、软盘和磁带)；光学数据存储介质(诸如cd-rom或dvd-rom)；磁光介质(诸如光磁盘)；特别构造成存储和实现程序指令的硬件设备(诸如只读存储器(rom)，随机存取存储器(ram)和闪存)。程序指令的示例不仅包括由编译器格式化的机器语言代码，还包括可由计算机使用解释器实施的高级语言代码。硬件设备可以被配置为通过一个或多个软件模块操作(或反之亦然)以执行根据本发明的处理。
[0397]
尽管已经根据诸如详细元素的特定条目以及有限的实施例和附图描述了本发明，但是它们仅被提供用于帮助对本发明的更一般的理解，并且本发明不限于上述实施例。本发明所属领域的技术人员将会理解，可以从以上描述进行各种修改和改变。
[0398]
因此，本发明的精神将不应被限于上述实施例，并且所附权利要求及其等同物的整个范围将落入本发明的范围和精神内。
[0399]
工业适用性
[0400]
本发明可以用于编码/解码图像。