图像解码方法

专利名称：图像解码方法
技术领域：
本发明涉及图像数据的编码技术、解码技术。
背景技术：
以往，作为将图像数据压縮并传输的编码技术、解码技术，有以MPEG(Moving Picture Experts Group :运动图像专家组)为代表的国际标准编码标准。例如，在国际标 准编码标准中，H,264/AVC (Advanced Video Coding :高级视频编码)标准的编码效率非常 高，被广泛用作地面数字广播、数字视频摄像机、下一代记录介质、手机等的动态图像压縮 标准。按照这种标准压縮后的数据通过电视接收机或DVD播放器等被解码，并在显示器上 显示解码后的影像数据。 在此，专利文献1公开了以下内容，在显示解码后的影像数据时，为了消除动态图 像模糊或运动的不自然状态，使用将编码流解码得到的运动量(运动矢量)和解码图像进 行帧速率变换。专利文献1日本特开2003-333540 在专利文献1公开的技术中，对解码后的影像数据进行帧速率变换处理。但是，该 处理是以从编码侧向解码侧传输运动矢量或差分图像为前提的帧速率变换处理，该帧速率 变换处理无助于传输数据量的削减，存在不能充分提高数据压縮率的问题。

发明内容
本发明就是为了解决上述问题而提出的，其目的在于提高数据压縮率。 为了解决上述问题，本发明的一个实施方式例如可以按照权利要求书所记述的那
样构成。 根据本发明能够提高数据压縮率。


图1是实施例1的图像编码装置的结构图。 图2是图1中的编码部的结构图。 图3是图1中的插补图像生成部的结构图。 图4是在实施例1中根据图片类型确定插补帧和编码帧的示例。 图5是实施例1中的运动估计部的运动估计方法的一例。 图6是图3中的运动估计部的结构图。 图7是图1中的插补图像生成部的动作流程图。 图8是在实施例1的编码数据存储部中存储的数据的一例。 图9是本发明的运动预测矢量的计算示例。 图10是实施例1的图像解码装置的结构图。 图11是图10中的插补图像生成部的结构图。
6
图12是实施例1中的图像解码装置的动作流程图。 图13是实施例2的模式选择部的结构图。 图14是在实施例的编码数据存储部中存储的数据的一例。 图15是实施例2的图像解码装置的动作流程图。 图16是在实施例3中根据图片类型确定插补帧和编码帧的示例。 图17是实施例3中的运动估计部的运动估计方法的一例。 图18是实施例3的插补方向确定部的结构图。 图19是在实施例3的编码数据存储部中存储的数据的一例。 图20是实施例3的图像解码装置的运动估计部的结构图。 图21是实施例3的图像解码装置的动作流程图。 图22是在实施例4的编码数据存储部中存储的数据的一例。 图23是实施例4的图像解码装置的动作流程图。 图24是实施例5中的编码数据存储部中存储的数据的一例。 图25是实施例6中的编码数据存储部中存储的数据的一例。 图26是插补图像的生成方法的第1变形例的一例。 图27是插补图像的生成方法的第2变形例的一例。 图28是插补图像的生成方法的第3变形例的一例。 标号说明 101影像输入部；102区域分割部；103编码部；104插补图像生成部；105模式选择 部；106编码数据存储部；107可变长度编码部；201减法器；202频率变换/量化部；203逆 量化/逆频率变换部；204加法器；205解码图像存储部；206画面内预测部；207画面间预
测部；208画面内/画面间预测图像选择部；301插补帧确定部；302运动估计部；303插补 像素生成部；601预测误差计算部；602运动矢量确定部；1001可变长度解码部；1002句法 分析部；1003逆量化/逆频率变换部；1004加法器；1005解码图像存储部；1006运动补偿 部；1007插补图像生成部；1008输出部；1009模式判定部；1101运动估计部；1102插补像
素生成部；1301 、1302差分绝对值计算部；1303判定部；1801、 1802、 1803差分绝对值计算
部；1804运动估计方向判定部；1805插补方向确定部；2001运动估计方法确定部；2002运
动估计部；2003预测误差计算部；2004运动矢量确定部；2005运动估计部。
具体实施例方式以下，使用

本发明的实施例。
实施例1
图1表示本发明的实施例1的图像编码装置的示例。实施例1的图像编码装置例
如具有输入图像的影像输入部101 ;区域分割部102，其将输入图像分割为编码对象区域； 编码部103，其对由区域分割部分割后的输入图像数据进行编码及局部解码；插补图像生
成部104，其按照时间方向对由编码部103局部解码后的图像(编码图像)进行约简(間引 巻，即间隔剔除)，并生成用于插补该约简后的图像的插补图像；模式选择部105，其选择 编码图像或是插补图像；编码数据存储部106，其记录编码图像数据或标志数据；可变长度 编码部107，其对存储在编码数据存储部106中的数据进行可变长度编码，并输出编码流。
7下面，具体说明实施例1的图像编码装置中的各个处理部的动作。 首先，在影像输入部101中，按照将要编码的顺序重排输入图像。顺序的重排是按 照图片类型由显示顺序替换排列为编码顺序。然后，在区域分割部102中，把编码对象帧分 割为编码对象区域。将要分割的区域尺寸可以是正方形、长方形区域那样的块单位，也可以 是使用watershed法那样的方法提取的对象单位。由区域分割部102分割后的图像被发送 给编码部103。 在此，图2表示编码部103的具体结构。编码部103例如具有差分器201，其计 算由区域分割部102分割后的图像与由画面内/画面间预测图像选择部208所选择的预 测图像之间的差分；频率变换/量化部202，其对由差分器201生成的差分数据实施频率变 换及量化；逆量化/逆频率变换部203，其对频率变换/量化部202输出的数据实施逆量化 及逆频率变换；加法器204，其将由频率变换/量化部202解码后的数据与由画面内/画面 间预测图像选择部208选择的预测图像相加；解码图像存储部205，其存储由加法器204相 加后的图像；画面内预测部206，其根据编码对象区域的周边像素生成预测图像；画面间预 测部207，其通过匹配(matching)处理，从属于与编码对象区域不同的帧的区域中检测接 近编码对象区域的图像(参照图像)，并生成为预测图像；画面内/画面间预测图像选择部 208，其选择画面内预测图像或画面间预测图像中编码效率高的一方。 下面，说明编码部103的各个处理部分的具体动作。在频率变换/量化部202中， 使用DCT(Discrete Cosine transform :离散余弦变换)或小波变换等对差分图像进行频 率变换，对频率变换后的系数进行量化。量化后的数据被发送给模式选择部105和逆量化 /逆频率变换部203。在逆量化/逆频率变换部203中，进行由频率变换/量化部202进行 的处理的逆处理。然后，加法器204将由画面内/画面间预测图像选择部208选择的预测 图像、与通过逆量化/逆频率变换部203的逆量化/逆频率变换而生成的差分图像相加，并 生成解码图像。所生成的解码图像被存储在解码图像存储部205中。画面内预测部206使 用存储在解码图像存储部205中的已解码的周边区域的像素，生成预测图像。并且，画面间 预测部207通过由解码图像存储部205存储的已解码的帧内的数据与输入图像之间的匹配 处理，生成预测图像。并且，解码图像存储部205向插补图像生成部104发送解码图像。
在此，图3表示插补图像生成部104的具体结构。插补图像生成部104例如具有 插补帧确定部301、运动估计部302和插补像素生成部303。在插补帧确定部301中，例如 按照帧单位确定根据图片类型插补的帧(插补帧)、和不插补而进行通常的编码的帧(编码 帧)。 在此，图4表示由插补图像生成部104的插补帧确定部301进行的插补帧确定的 具体示例。图4中的横轴表示编码时的图像的输入顺序，即解码时的图像的显示顺序。与 此相对，编码时的编码处理顺序/解码时的解码处理顺序是如图4所示的顺序。S卩，B图片 (B picture)在显示顺序位于该B图片之后的P图片(P picture)之后进行编码处理、解码 处理。 在此，如后面在图5的说明中叙述的那样，在实施例1的插补像素生成部303中， 根据先进行编码处理(在解码时先进行解码处理)的多个图片，通过插补处理生成作为显 示顺序位于该多个图片之间的图片的、帧的像素。即，实施例1的插补像素生成部303的插 补像素生成处理是在编码处理时或解码处理时，适合于前后显示顺序的图片是已编码处理或已解码处理的B图片的处理。在图4的示例中，在B图片402的编码处理时或解码处理 时，显示顺序在前的I图片401和显示顺序在后的P图片403已经完成编码处理或解码处 理。另外，在B图片404的编码处理时或解码处理时，显示顺序在前的P图片403和显示顺 序在后的P图片405已经完成编码处理或解码处理。 因此，插补帧确定部301按照图4所示，例如把B图片设为插补帧，把I图片和P 图片设为编码帧。由此，在插补像素生成部303中，根据最接近B图片的前向或向的I图片 及P图片，通过后面叙述的图5所示的插补处理，能够生成该B图片的像素值。
另外，在图4的示例中，示出了在I图片-P图片之间、P图片-P图片之间插入1个 B图片的图片结构，但也可以在编码时计算帧之间的亮度、色差差分，在差分小时判定为帧 之间的相关性高，增加插入I或P图片之间的B图片的数量。该情况时，可以把B图片设为 插补帧，把I图片或P图片设为编码帧。此时，在插补像素生成部303中，根据最接近B图 片的前向或后向的I图片及P图片，通过插补处理生成各个B图片的像素值。
下面，使用图6说明运动估计部302的具体结构。运动估计部302如图6所示，具 有预测误差计算部601和运动矢量确定部602。在由插补帧确定部301确定插补帧后，运动 估计部302进行用于计算插补帧的像素的像素值的运动估计。关于运动估计方法，可以采 用一般广为使用的区域匹配法。 下面，使用图5具体说明由运动估计部302的预测误差计算部601、运动矢量确定 部602、以及插补像素生成部303进行的插补帧的像素生成处理。 在图5中，首先，预测误差计算部601对于插补帧n的插补对象像素501，使用显示 顺序在插补帧n之前的编码帧n-l内的像素500的像素值fn—工(x-dx， y-dy)、和显示顺序在 插补帧n之后的编码帧n+l内的像素502的像素值fn+1 (x+dx， y+dy)，求出式1所示的预测 误差绝对值之和SADn(x，y)。其中，像素500、502被设定成为在时间空间坐标中和插补对象 像素501(x， y)位于同一直线上。其中，R表示插补对象像素所属的图像区域尺寸，n表示 帧序号，x、 y表示像素坐标，dx、 dy、 i、 j表示像素表的差分，a、 b表示插补对象像素所属的 图像区域的序号。
式1
<formula>formula see original document page 9</formula> 然后，运动矢量确定部602求出式1所示的预测误差绝对值之和SADn(x， y)为最 小的值的组合(dx。， dy。)，计算将显示顺序在插补帧n之前的编码帧n-l内的坐标(x-dx。， y-dy。)的像素、与显示顺序在插补帧n之后的编码帧n+l内的像素(x+dx。，y+dy。)的像素相 连接得到的运动矢量。 在计算运动矢量后，插补像素生成部303使用式2，计算插补帧前后的编码帧内的
像素的像素值(x-dx。， y-dy。) 、 fn+1 (x+dx。， y+dy。)的平均值，生成插补对象像素(x， y)的
像素值4(x，y)。 式2<formula>formula see original document page 10</formula> 根据以上说明的图5所示的插补帧的像素生成处理，能够根据显示顺序位于编码 对象帧前后的编码帧内的像素值生成插补帧的像素。 另外，在式2的示例中，利用单纯平均值计算插补像素值，但本发明的插补像素计 算方法不限于单纯平均值。例如，在编码帧n-l和编码帧n的时间距离、与编码帧n和编码 帧n+l的时间距离不是相等间隔时，也可以向各自的像素值乘以对应各个时间距离的加权 系数后进行相加。即，只要是利用把编码帧n-l上的像素值4—工(x-dx。，y-dy。)、和编码帧n+l 上的像素值Ux+dx。，y+dy。)设为变量的函数算出的像素值，则可以使用任何方法。
下面，使用图7具体说明模式选择部105的模式选择处理。模式选择部105对于 插补帧的多个分割区域的各个区域，确定选择由编码部103生成的编码图像和由插补图像 生成部104生成的插补像素所构成的插补图像中的哪个图像。 首先，模式选择部105对于编码对象区域，例如按照式3所示计算由运动估计部
302计算的预测误差与编码对象区域的周边的预测误差之间的差分f' (SADn(a，b)) (S701)。
其中，n表示帧序号，a、 b表示插补对象像素所属的图像区域的序号，k、 1是表示周边图像
区域与插补对象像素所属的图像区域的序号之差的变量。 式3
<formula>formula see original document page 10</formula> 然后，由运动估计部302判定根据式1求出的最小的预测误差绝对值之和SADn(a， b)是否为阈值^以下、或者式3所示的预测误差差分绝对值之和f' (SADn(a，b))是否为阈 值&以上(S702)。这是因为在预测误差绝对值之和SADn(a，b)小时，认为生成插补图像时 的运动检测结果的可靠性比较高。并且，认为在预测误差差分绝对值之和f' (SADn(a，b)) 大时，虽然在通常的编码图像中产生较多的编码量，但是在图案复杂的区域的画质多少恶 化时，在视觉上也不明显，所以选择插补图像比较有利。 在此，当在步骤702满足条件时，选择插补图像(S703)。此时，不输出预测区域的 种类等头(head)信息、运动矢量、预测误差数据等而结束处理(S705)。另一方面，当在步骤 702不满足条件时，选择编码图像(S706)。此时，向编码数据存储部106输出预测区域的种 类等头信息、运动矢量、预测误差数据，并结束处理。 S卩，在选择了编码图像时，与通常的编码技术相同，编码流中包含预测区域的种类 等头信息、运动矢量、预测误差数据等。与此相对，在选择了插补图像时，在解码侧即使没有 这些数据，也能够通过在图17中说明的插补处理来生成解码图像，所以编码流中不包含这 些数据。因此，在选择了插补图像时，能够减少编码数据量，能够提高压縮率。
关于以上说明的编码图像、插补图像的模式选择，列举帧单位下的选择示例进行 了说明。但是，也可以把被选择为插补帧的B图片中的一部分区域选择为编码图像，把其他 区域选择为插补图像。该区域例如可以采用块单位等。
下面，使用图8说明利用以往的编码技术编码的帧、和利用实施例1的图像编码装 置及图像编码方法编码的帧的编码数据量的比较示例。在图8中，灰色区域表示选择了编 码图像的区域，白色区域表示选择了插补图像的区域。 图8(al)表示利用以往的编码技术编码的帧。在以往的编码技术中，由于不存在 插补图像区域，所以各个区域都是编码图像。在图8(al)的示例中，24个区域全部是编码图 像。在此，在以往的编码技术中，原则上对于图8(a)中的帧的全部区域，把预测区域的种类 等头信息、运动矢量、预测误差数据等信息存储在编码流中。在此，利用以往的编码技术编 码的帧的编码流如图8(a2)所示。在图8(a2)的示例中，对于24个编码图像的全部区域， 把预测区域的种类等头信息、运动矢量、预测误差数据等信息存储在编码流中。
与此相对，图8(bl)表示利用实施例1的图像编码装置及图像编码方法编码的帧 的示例。在图8(bl)的示例中，只在24个区域中的8个区域中选择编码图像。在剩余16个 区域中选择插补图像。在此，对应图8(bl)的示例的编码流如图8(b2)所示。S卩，在实施例 1的图像编码装置及图像编码方法的编码处理中，对于选择了插补图像的区域，在解码侧不 需要预测区域的种类等头信息、运动矢量、预测误差数据等信息，所以编码流中不包含这些 信息。在图8(b2)的示例中，编码流中包含有关编码图像区域中的8个区域的预测区域的 种类等头信息、运动矢量、预测误差数据等信息。 因此，根据实施例1的图像编码装置及图像编码方法，与以往的编码技术相比，能 够减少编码流中包含的编码数据的量，能够提高编码压縮率。 下面，使用图9和图8，说明本发明的实 例1的图像编码装置的可变长度编码部 106中的运动矢量的编码处理。 首先，在作为以往的编码技术的11.264标准中，在编码对象区域的运动矢量的编 码处理中，根据编码对象区域的周边区域的运动矢量的中间值计算运动预测矢量，只把编 码对象区域的运动矢量与运动预测矢量之间的差分作为编码数据，由此削减数据量。
在实施例1的可变长度编码部106中，计算运动预测矢量(PMV)，计算编码对象区 域的运动矢量(MV)与运动预测矢量(PMV)之间的差分矢量(DMV)，把差分矢量(DMV)作为 编码数据。但是，如图8(bl)所示，在利用实施例1的图像编码装置及图像编码方法编码的 帧中，混合存在编码图像区域和插补图像区域，所以运动预测矢量(PMV)的计算方法采用 与作为以往的编码技术的H. 264标准不同的方法。 首先，图9 (a)表示以往的H. 264标准的相应技术的具体示例。在H. 264标准中， 如图9(a)所示，使用在编码对象区域X的邻近区域、即在编码对象区域X之前先编码的区 域A、B、C中用于编码处理的运动矢量的中间值(median)，计算编码对象区域X的运动预测 矢量(PMV)。该运动预测矢量的计算需要在编码处理和解码处理中进行相同的处理。
在此，说明本发明的实施例1的运动矢量的编码处理。本发明的实施例1的运动矢 量的编码处理是只对编码图像区域和插补图像区域中的编码图像区域进行的处理。关于插 补图像区域，由于在解码侧进行插补图像用的运动估计，所以不需要运动矢量的编码处理。
在此，在本发明的实施例1的运动矢量的编码处理中，根据图9中与编码对象区域 X邻近的块A、 B、 C、 D分别是编码图像区域还是插补图像区域，变更在运动矢量的编码处理 中使用的预测矢量的计算处理。下面，说明有关各个情况的具体处理。
首先，例如如图9(a)所示，在周边区域A、 B、 C都是编码图像区域时，与以往的H. 264标准相同，使用在周边区域A、B、C中用于编码处理的预测矢量(MVA、MVB、MVC)的中间 值(median)，计算运动预测矢量。 下面，说明编码对象区域X的周边区域包含插补图像区域的情况(图9(b) (c))。 如上所述，对于插补图像区域不对运动矢量进行编码，即，不向解码侧发送在编码处理中使 用的运动矢量。因此，如果把在编码处理中使用的运动矢量用于计算预测运动矢量(PMV)， 则在解码时不能计算预测运动矢量(PMV)。因此，在实施例1中按照下面所述进行预测运动 矢量(PMV)的计算。 首先，在编码对象区域X的周边区域都是插补图像区域时(图9 (b))，使用在插补 图像生成处理中使用的运动矢量、即由插补图像生成部104的运动估计部302计算的运动 矢量(MVCA、 MVCB、 MVCe)。在运动估计部302的运动估计是像素单位等情况下，对于各个区 域，由于存在多个运动矢量，所以使用该多个运动矢量的平均值计算运动矢量(MVCA、 MVCB、 MVCC)。并且，计算运动矢量(MVCA、MVCB、MVCC)的中间值作为预测运动矢量(PMV)。
然后，在编码对象区域X的周边区域A、B、C的一部分是编码图像区域、一部分是插 补图像区域时(图9(c))，对于编码图像区域使用在编码处理中使用的运动矢量MV、对于插 补图像区域使用在插补图像生成处理中使用的运动矢量MVC，计算它们的中间值作为预测 运动矢量(PMV)。 gp，在图9(c)的示例中，周边区域A、C是编码图像区域，周边区域B是插补图像区 域。该情况时，如图9(c) (1)所示，计算运动矢量(MVA、MVCB、MVC)的中间值作为预测运动矢 量(PMV)。 并且，作为在编码对象区域X的周边区域A、B、C的一部分是编码图像区域、一部分 是插补图像区域时(图9(c))计算预测运动矢量(PMV)的变形例，也可以优先选择使用编 码图像区域的运动矢量。例如，在图9(c)的示例中，在位于编码对象区域X的左上方的周 边区域D是编码图像区域时，不使用作为插补图像区域的周边区域B的MVCB，而使用在周边 区域D的编码处理中使用的运动矢量MVD。并且，计算运动矢量(MVA、 MVC、 MVD)的中间值作 为预测运动矢量(PMV)。 并且，在周边区域A、 B、 C、 D中有两个编码图像区域时，可以把这两个区域的运动
矢量MV的平均值作为预测运动矢量(PMV)。并且，在周边区域A、B、C、D中有一个编码图像
区域时，可以把有关该区域的运动矢量MV本身作为预测运动矢量(PMV)。 这样，通过优先选择编码图像区域的运动矢量，能够降低编码侧的插补图像生成
处理的运动估计与解码侧的插补图像生成处理的运动估计之间的估计误差的影响。 根据以上说明的实施例1的图像编码装置及图像编码方法，相比以往的编码装置
及编码方法，能够提高数据压縮率。 下面，使用图10说明实施例1的图像解码装置。实施例1的图像解码装置例如具 有可变长度解码部IOOI，其对从编码侧发送的编码数据进行解码；句法分析部1002，其对 实施了可变长度解码的数据进行句法分析；模式判定部1009，其根据句法分析部1002的分 析结果及插补图像生成部1007的预测误差计算结果等，判定是进行解码处理还是进行插 补图像生成处理；逆量化/逆频率变换部1003，其对句法分析部1002发送的数据实施逆量 化/逆频率变换；加法器1004，其将逆量化/逆频率变换部1003输出的数据与由运动补偿 部10Q6生成的预测图像相加；解码图像存储部1005，其存储由加法器1004输出的数据；运动补偿部1006，其在由解码图像存储部1005存储的数据之间进行运动补偿；插补图像生成 部1007，其使用从句法分析部1002和解码图像存储部1005获取的数据，进行运动估计处理 和插补图像生成处理，并生成插补图像；输出部1008，其向影像显示装置等输出由插补图 像生成部1007生成的插补图像、或者由加法器1004生成的解码图像中的任一方。
下面，具体说明实施例1的图像解码装置的各个处理部分的动作。
首先，使用图11具体说明插补图像生成部1007。插补图像生成部1007具有运动 估计部1101和插补像素生成部1102。运动估计部1101进行与图3中的运动估计部302相 同的处理，插补像素生成部1102进行与图3中的插补像素生成部303相同的处理。并且， 运动估计部1101与运动估计部302相同，具有图6所示的预测误差计算部601和运动矢量 确定部602，进行与编码处理时相同的预测误差计算处理和运动矢量计算处理。关于该预测 误差计算处理和运动矢量计算处理、以及由运动估计部302和插补像素生成部303进行的 插补图像生成处理，已经使用图5等进行了说明，所以省略说明。 下面，使用图12说明实施例1的图像解码装置的图像解码方法的处理流程。该处 理例如对每个区域实施。首先，由可变长度解码部1001对编码流进行解码，并发送给句法 分析部1002(S1201)。然后，由句法分析部1002进行解码后的流数据的句法拆分(構文分 W )，并向逆量化/逆频率变换部1003和插补图像生成部1007发送编码数据(S1202)。然 后，由句法分析部1002判定编码对象帧的图片类型，判定编码对象帧是编码帧还是插补帧 (S1203)。在编码对象帧是插补帧时，插补图像生成部1007对于解码对象区域，使用显示时 间顺序位于对象帧前后的多个已解码图像区域，进行运动估计处理(S1204)。在运动估计 部1101中，通过与图3中的运动估计部302相同的处理，计算最小的预测误差绝对值之和 SADn(a， b)并确定运动矢量。然后，模式判定部1009计算由运动估计部1101算出的预测 误差绝对值之和与解码对象区域的周边的预测误差绝对值之和之间的差分f' (SADn(a，b)) (S1205)。然后，模式判定部1009判定由运动估计部1101算出的最小的预测误差绝对值之 和SADn(a，b)是否为阈值S工以下、或者与周边的预测误差绝对值之和的差分f' (SADn(a，b)) 是否为阈值^以上(S1206)。在预测误差绝对值之和SADn(a，b)为阈值S工以下时、或者预 测误差差分绝对值之和f' (SADn(a，b))为阈值^以上时，判定为解码对象区域是插补图像 区域。在其他情况时，判定为解码对象区域是作为编码图像区域而被编码的区域。
在此，在由模式判定部1009判定为解码对象区域是插补图像区域时，插补图像生 成部1007的插补像素生成部1102生成插补像素，通过插补图像的生成处理，生成图像，并 存储在解码图像存储部106中(S1207)。 另一方面，在编码对象帧不是插补帧时(是编码帧时)，或者，在由模式判定部 1009判定为解码对象区域是作为编码图像区域而被编码的区域时，逆量化/逆频率变换部 1003对从句法分析部1002获取的编码数据进行逆量化/逆频率变换处理，并对差分数据进 行解码(S1208)。然后，运动补偿部1006使用从句法分析部1002获取的头信息、运动矢量 等，进行运动补偿处理并生成预测图像(S1209)。然后，加法器1004将运动补偿部1006生 成的预测图像与逆量化/逆频率变换部1003输出的差分数据相加，生成解码图像并存储在 解码图像存储部106中(S1210)。最后，由输出部1008输出在步骤1207生成的插补图像或 在步骤1210生成的解码图像(S1211)，并结束处理。 另外，在步骤1209，在该编码区域是画面间预测时，运动补偿部1006根据解码对象区域的周边区域的运动矢量计算运动预测矢量(PMV)，并与存储在编码数据中的差分矢 量(匿V)相加，生成解码对象区域的运动矢量(MV)，根据该运动矢量(MV)进行运动补偿处 理。在此，关于上述运动预测矢量(PMV)的计算处理，可以进行与使用图9说明的在编码侧 进行的运动预测矢量(PMV)的计算处理相同的处理，所以省略说明。 根据以上说明的实施例1的图像解码装置及图像解码方法，能够适合对利用相比 以往的编码装置及编码方法能够提高数据压縮率的编码方法编码后的数据进行解码。
根据以上说明的实施例1的图像编码装置和图像编码方法、以及图像解码装置和 图像解码方法，能够生成提高了数据压縮率的编码数据，并适合对该编码数据进行解码。
实施例2
下面，说明本发明的实施例2 。在本发明的实施例2中，与实施例1不同，在编码流 中包含表示在编码侧对于每个编码对象区域选择了编码图像还是选择了插补图像的标志 数据。由此，在解码侧，对于解码对象区域，能够容易判别是选择了编码图像的区域还是选 择了插补图像的区域。因此，能够简化解码时的处理，并减少处理量。下面具体说明实施例 2。 实施例2的图像编码装置把实施例1的图像编码装置中的图1所示的模式选择部 105替换为图13所示的模式选择部1304。其他部分的结构、动作与实施例1的动作相同， 所以省略说明。 在模式选择部1304中，首先，由差分绝对值计算部1301计算由区域分割部102分 割后的输入图像与由插补图像生成部104生成的插补图像之间的差分。同样，由差分绝对 值计算部1302计算由区域分割部102分割后的输入图像与由编码部103生成的编码图像 之间的差分。然后，由判定部1303选择由差分绝对值计算部1301、1302计算的差分绝对值 中较小的一方，并输出判定标志(模式判定标志)。例如，在选择了编码图像时，模式判定标 志为O，在选择了插补图像时，模式判定标志为1。 在此，图14表示实施例2的图像编码装置的编码数据存储部106中的数据的一 例。如图14所示，采取按每个编码对象区域，附加表示选择了编码图像还是选择了插补图 像的1比特的标志数据的形式。即，在从实施例2的图像编码装置输出的编码流中，包含按 每个编码对象区域表示选择了编码图像还是选择了插补图像的标志数据。由此，在解码侧， 即使不进行实施例1所示的预测误差绝对值之和SADn(a， b)及预测误差差分f' (SADn(a， b))的计算处理及比较处理，也能够判别解码对象区域是选择了编码图像的区域还是选择 了插补图像的区域。因此，能够简化解码时的处理，并减少处理量。 根据以上说明的实施例2的图像编码装置和图像编码方法，与实施例1不同，在输 出编码流中包含按每个编码对象区域表示是选择了编码图像还是选择了插补图像的标志 数据。因此，在解码侧，能够容易判别解码对象区域是选择了编码图像的区域还是选择了插 补图像的区域。因此，能够简化解码时的处理，并减少处理量。 下面，说明实施例2的图像解码装置。实施例2的解码装置的结构与实施例1的
图io相同，所以省略说明。 在此，使用图15说明实施例2的图像解码装置的处理流程。 实施例2的图像解码装置被输入了图14所示的编码流，该编码流包含按每个编码 对象区域表示选择了编码图像还是选择了插补图像的标志数据。首先，由可变长度解码部
141001对该编码流进行解码，并发送给句法分析部1002 (S1501)。然后，由句法分析部1002 进行解码后的流数据的句法拆分，向模式判定部1009发送头信息及模式判定标志，并向逆 量化/逆频率变换部1003发送编码数据(S1502)。然后，由句法分析部1002或模式判定部 1009，根据编码对象帧的图片类型，判定编码对象帧是编码帧还是插补帧(S1503)。
在此，在编码对象帧是插补帧时，模式判定部1009对于解码对象区域，进行由句 法分析部1002发送的模式判定是1还是0的判定(S1504)。在模式判定标志是1时(表示 选择了插补图像的区域)，判定解码对象区域是插补图像区域。在模式判定标志是O时(表 示选择了编码图像的区域)，判定解码对象区域是作为编码图像区域而被编码的区域。
在此，在由模式判定部1009判定为解码对象区域是插补图像区域时，插补图像生 成部1007的运动估计部1101进行运动估计(S1505)。然后，根据运动估计部1101的运动 估计结果，插补像素生成部1102生成插补像素，通过插补图像的生成处理，生成图像并存 储在解码图像存储部106中(S1506)。 另一方面，在编码对象帧不是插补帧时(是编码帧时)，或者，在由模式判定部 1009判定为解码对象区域是作为编码图像区域而被编码的区域时，逆量化/逆频率变换部 1003对从句法分析部1002获取的编码数据进行逆量化/逆频率变换处理，并对差分数据进 行解码(S1507)。然后，运动补偿部1006使用从句法分析部1002获取的头信息、运动矢量 等，进行运动补偿处理并生成预测图像(S1508)。然后，加法器1004将运动补偿部1006生 成的预测图像与逆量化/逆频率变换部1003输出的差分数据相加，生成解码图像并存储在 解码图像存储部106中(S12509)。最后，由输出部1008输出在步骤1207生成的插补图像 或在步骤1210生成的解码图像(S1510)，并结束处理。 根据以上说明的实施例2的图像解码装置及图像解码方法，在实施例1的效果的 基础上，即使不进行实施例1所示的预测误差绝对值之和SADn(a， b)或预测误差差分绝对 值之和f' (SADn(a，b))的计算处理及比较处理，对于解码对象区域，也能够判别是选择了编 码图像的区域还是选择了插补图像的区域。因此，能够简化解码时的处理，并减少处理量。
根据以上说明的实施例2的图像编码装置和图像编码方法、以及图像解码装置和 图像解码方法，能够生成提高了数据压縮率的编码数据，并适合对该编码数据进行解码。
实施例3
下面，说明本发明的实施例3。在本发明的实施例1中，在插补图像生成部104中， 按照图4和图5所示，根据先进行编码处理(在解码时先进行解码处理)的多个图片，通过 插补处理(以下称为内插插补)生成作为显示顺序位于该多个图片之间的图片的、帧的像素。 与此相对，在本发明的实施例3中，追加了下述的插补处理(以下称为外插插补)， 即，根据先进行编码处理(在解码时先进行解码处理)的多个图片，通过插补处理生成作为 显示顺序位于该多个图片之前或之后的图片的、帧的像素。
下面，说明实施例3的图像编码装置的具体结构及动作。 实施例3的图像编码装置在实施例1的图像编码装置中，对插补图像生成部104 追加了后面叙述的基于后方插补的插补图像生成处理动作，并在该插补图像生成部104的 后面追加了插补方向确定部1805。其他部分的结构和动作与实施例1的动作相同，所以省 略说明。
在此，所追加的外插插补处理有前方插补处理和后方插补处理这两种。说明图像 编码装置的插补图像生成部104在各个插补处理中的动作。 首先，说明前方插补处理。在此，说明以下示例，即，使用在图16(a)所示的输入图 像中显示顺序位于插补帧1603前方的两个编码帧1601、 1602，生成插补帧1603 (B图片)的 插补图像。 该情况时，为了求出插补帧的像素，在运动估计部302进行下面叙述的运动估计。 如图17(a)所示，使用在插补帧1603之前显示的两个编码帧(1601、 1602)内的像素值，求 出式4所示的预测误差绝对值之和SADn(a，b)。具体地讲，使用编码帧1601上的像素1700 的像素值fn—2 (x-2dx， y-2dy)、和编码帧1602上的像素1701的像素值fn—: (x-dx， y-dy)。其 中，R表示插补对象像素所属的对象区域的尺寸。在此，编码帧1601上的像素1700和编码帧1602上的像素1701被设定成为在时 间空间坐标上和插补帧1603上的插补对象像素1702位于同一直线上。
式4
<formula>formula see original document page 16</formula>
然后，求出式4所示的预测误差绝对值之和为最小的位置(dx，dy)，通过与在实施 例1中叙述的插补像素生成部303相同的处理，生成插补像素。
通过以上步骤，能够通过前方插补处理来生成插补像素。 另外，上述的前方插补处理只要显示顺序位于前面的两个编码帧先被编码、解码， 就能够适用，所以也能够适用于如图16(b)所示的插补帧1603 (P图片)的情况。
下面，说明后方插补处理。在此，说明以下示例，S卩，使用在图16(a)所示的输入图 像中显示顺序位于插补帧1603后方的两个编码帧1603、 1604，生成插补帧1603的插补图像。 该情况时，为了求出插补帧的像素，在运动估计部302进行下面叙述的运动估计。 如图17(b)所示，使用在插补帧1603之后显示的两个编码帧(1604、 1605)内的像素，求出 式5所示的预测误差绝对值之和SADn(x，y)。具体地讲，使用编码帧1604上的像素1711的 像素值Ux+dx，y+dy)、和编码帧1605上的像素1712的像素值fn+2 (x+2dx， y+2dy)。其中， R表示插补对象像素所属的对象区域的尺寸。 在此，编码帧1604上的像素1711和编码帧1605上的像素1712被设定成为在时 间空间坐标上和插补帧1603上的插补对象像素1710位于同一直线上。
式5
<formula>formula see original document page 16</formula> 然后，求出式5所示的预测误差绝对值之和为最小的位置(dx，dy)，通过与在实施 例1中叙述的插补像素生成部303相同的处理，生成插补像素。
通过以上步骤，能够通过后方插补处理来生成插补像素。
在插补图像生成部104中，进行上述的后方插补处理和与实施例1相同的前方插 补处理这两种处理，生成三种插补图像。 然后，由图18所示的插补方向确定部1805进行运动估计方法的判定。下面，说明 插补方向确定部1805的处理。首先，由差分绝对值计算部1801计算通过进行在实施例1 中叙述的双向运动估计而生成的插补图像与输入图像之间的差分绝对值。然后，由差分绝 对值计算部1802计算通过进行在本实施例中叙述的前向的运动估计而生成的插补图像与 输入图像之间的差分绝对值。并且，由差分绝对值计算部1803计算通过进行后向的运动估 计而生成的插补图像与输入图像之间的差分绝对值。然后，由运动估计方向判定部1804选 择输入图像与插补图像之间的差分变小的插补图像，把所选择的结果作为运动估计方向判 定标志输出。运动估计方向判定标志可以设为2比特的数据，例如在是双向时为OO，在是前 向时为01，在是后向时为10。这样生成的运动估计方向判定标志被发送给编码数据存储部 106。 图19表示存储在编码数据存储部106中存储的数据的一例。如图19所示，在插 补像素区域中附加了判定根据哪个方向生成插补图像的标志数据。即，在从实施例3的图 像编码装置输出的编码流中，包含表示对于选择了插补图像的区域生成插补图像用的插补 方向的标志数据。 由此，能够增加插补图像的生成方法的种类，除B图片外，P图片也能够设为插补 图像帧，所以能够进一步削减数据。 并且，在B图片中，在基于插补对象帧的前后的帧的、双向插补的基础上，还能够 进行从前方的两个编码帧生成插补图像的前方插补、和从后方的两个编码帧生成插补图像 的后方插补，所以能够期待画质提高。 尤其在根据背景和前景进行不同的运动的图像中，在只从双向生成插补图像时， 在背景隐藏于前景后面而看不到的区域(遮挡(occlusion)区域)中，画质恶化变明显，但 通过前方或后方外插插补，能够解决这种画质恶化的问题。 根据以上说明的实施例3的图像编码装置及图像编码方法，与实施例1不同，输出 编码流中包含表示用于生成插补图像的插补方向的标志数据。由此，能够增加在解码侧进 行的插补处理的种类，除B图片外，P图片也能够设为插补图像帧，所以能够进一步削减数 据。并且，也能够实现B图片的插补图像的高画质。 下面，说明实施例3的图像解码装置。关于实施例3的图像解码装置的结构，把实 施例1中的图11所示的运动估计部1101替换为图20所示的运动估计部2005，其他部分与 实施例1相同，所以省略说明。 实施例3的解码装置的运动估计部2005由运动估计方法确定部2001、运动估计 部2002、预测误差计算部2003和运动矢量确定部2004构成。在运动估计方法确定部2001 中，根据由句法分析部1002发送的运动估计方向判定标志的信息，确定双向、前向、后向的 运动估计方法。在确定运动估计方法后，由运动估计部2002、预测误差计算部2003、运动矢 量确定部2004进行运动估计、预测误差计算、运动矢量确定。关于双向估计与实施例1相 同，关于前向估计、后向估计，进行与本实施例的图像编码装置的前向估计、后向估计相同 的处理即可。 下面，图21表示实施例3的图像解码装置的处理流程。
首先，由可变长度解码部1001对编码流进行可变长度解码，并发送给句法分析部 1002 (S2101)。然后，由句法分析部1002进行解码后的流数据的句法拆分，向逆量化/逆频 率变换部1003、插补图像生成部1007发送编码数据(S2102)。然后，由句法分析部1002判 定编码对象帧的图片类型(S2103)。在编码对象帧是插补帧时，对于解码对象区域，根据由 句法分析部1002发送的运动估计方向判定标志，由运动估计方法确定部2001根据双向、前 向或后向等运动估计方向，确定使用一个运动估计方向的运动估计方法(S2104)。在确定运 动估计方法后，由运动估计部2005实施运动估计(S2105)。在运动估计部2005中，计算预 测误差绝对值之和及运动矢量，并且通过与实施例1的运动估计部1101相同的处理，计算 预测误差差分绝对值之和(S2106)。然后，在预测误差绝对值之和差分为阈值S工以下或者 预测误差差分绝对值之和为阈值S2以上时，插补图像生成部1102通过与实施例1相同的 处理，生成插补像素(S2108)。另一方面，在编码对象帧不是插补帧时、和不满足S2107的 条件时，由逆量化/逆频率变换部1003进行逆量化/逆频率变换，并加算来自运动补偿部 1006的数据，然后将数据存储在解码图像存储部1005中。然后，使用存储在解码图像存储 部1006中的数据，由运动补偿部1006进行运动补偿(S2109)。在运动补偿部1006中，使用 由解码图像存储部1005存储的解码图像和由句法分析部1002发送的运动矢量，进行运动 补偿并生成解码图像，存储在解码图像存储部1005中(S2111)。将利用上述方法生成的解 码图像或插补图像输出给影像显示装置1008(S2111)，并结束处理。 根据以上说明的实施例3的图像解码装置及图像解码方法，通过进行使用了编码 流中包含的运动估计方向判定标志的处理，能够应对多种插补处理。另外，能够在解码侧一 次完成该多种插补处理的运动估计处理，能够大量削减处理量。 根据以上说明的实施例3的图像编码装置和图像编码方法、以及图像解码装置和 图像解码方法，能够生成提高了数据压縮率的编码数据，并适合对该编码数据进行解码。
实施例4
下面，说明本发明的实施例4的图像编码装置。实施例4的图像编码装置是在实 施例1的图像编码装置中，还设置了实施例2的模式选择部1304、和实施例3的运动估计部 302及插补方向确定部1805的编码装置。即，实施例4的图像编码装置使编码流包含模式 判定标志和运动估计方向判定标志并输出。 实施例4的编码装置的各个构成部分和各个处理内容，与实施例1、实施例2、实施 例3记述的各个构成部分和各个处理内容相同，所以省略说明。 在此，图22表示在实施gh例4的编码数据存储部106中存储的数据的一例。如图 22所示，在各个分割区域中附加用于判定是编码图像区域还是插补图像区域的模式判定标 志，还在插补图像区域中附加用于进行判定双向、前向、后向的运动估计方法的运动估计方 法判定标志。 由此，能够实现具有实施例2的效果和实施例3的效果的图像编码装置及图像编 码方法，实施例2的效果是能够简化解码时的处理，并减少数据量，实施例3的效果是除B 图片之外，P图片也能够作为插补对象帧，并进一步减少数据量，提高B图片的画质。
下面，说明实施例4的图像解码装置。实施例4的图像解码装置的结构与实施例 3相同，所以省略说明。 使用图23说明实施例4的解码装置的解码对象区域图像处理的流程。首先，由可变长度解码部1001对编码流进行解码，并发送给句法分析部1002 (S2301)。然后，由句法分 析部1002进行解码后的流数据的句法拆分，向逆量化/逆频率变换部1003、插补图像生成 部1007发送模式判定标志及运动估计方法判定标志、编码数据(S2302)。然后，由句法分析 部1002根据编码对象帧的图片类型，判定编码对象帧是编码帧还是插补帧(S2303)。在编 码对象帧是插补帧时，对于解码对象区域，判定由句法分析部1002发送的模式判定标志是 否是1 (表示解码对象区域是插补图像)(S2304)。在模式判定标志是1时，运动估计方法确 定部2001根据由句法分析部1002发送的运动估计方向判定标志，确定有关插补处理的运 动估计方向(S2305)，运动估计部2002、预测误差计算部2003、运动矢量确定部2004进行运 动估计、预测误差计算、运动矢量确定(S2306)，插补像素生成部1102使用所确定的运动矢 量，生成插补像素，由此生成插补图像(S2307)。 另一方面，在编码对象帧不是插补帧时、和不满足S2107的条件时，由逆量化/逆 频率变换部1003进行逆量化/逆频率变换，并加算来自运动补偿部1006的数据，然后将数 据存储在解码图像存储部1005中。然后，使用存储在解码图像存储部1006中的数据，由运 动补偿部1006进行运动补偿(S2309)。在运动补偿部1006中，使用由解码图像存储部1005 存储的解码图像和由句法分析部1002发送的运动矢量，进行运动补偿并生成解码图像，存 储在解码图像存储部1005中(S2310)。将利用上述方法生成的解码图像或插补图像输出给 影像显示装置1008(S2311)，并结束处理。 根据以上说明的实施例4的图像解码装置及图像解码方法，能够实现具有实施例 2的效果和实施例3的效果的图像编码装置及图像编码方法，实施例2的效果是简化解码时 的处理，并减少数据量，实施例3的效果是通过进行使用了编码流中包含的运动估计方向 判定标志的处理，能够应对多种插补处理，能够在解码侧一次完成该多种插补处理的运动 估计处理，能够大量削减处理量。 根据以上说明的实施例4的图像编码装置和图像编码方法、以及图像解码装置和 图像解码方法，能够生成提高了数据压縮率的编码数据，并适合对该编码数据进行解码。
实施例5
下面，说明本发明的实施例5的图像编码装置。实施例5的图像编码装置具有与 实施例2的图像编码装置相同的结构，但实施例2的模式选择部1304按每个图像块生成模 式判定标志，而实施例5的模式选择部1304是在连续存在多个解码对象区域是插补图像的 块(插补图像模式块)的情况下，生成表示该插补图像模式块连续的数量的标志(插补图 像模式连续块数量标志)，对于该多个连续的插补图像模式块，将一个插补图像模式连续块 数量标志包含在编码流中进行输出。实施例5的图像编码装置的其他各个结构及各个处理 内容，与实施例1和实施例2记载的各个结构及各个处理内容相同，所以省略说明。
并且，对于解码对象区域是编码图像的块，生成表示该块是除插补图像模式之外 的模式的非插补图像模式的模式标志并输出。非插补图像模式的模式标志可以单纯表示除 插补图像模式之外的模式，也可以表示编码模式的种类自身(宏块类型等)。
在此，图24表示实施例5的图像编码装置的编码数据存储部106的数据的一例。 图24(a)表示实施例2的图像编码装置生成的数据，图24(b)表示实施例5的图像编码装 置生成的数据。 如图所示，在图24(a)所示的实施例2的数据中，存在多个连续的模式判定标志。
19与此相对，在图24(b)所示的实施例5的数据中，只在插补图像模式块连续的部分中插入了 一个插补图像模式连续块数量标志。在图24(b)的示例中，对应于插补图像模式连续块数 量标志利用箭头示出的数字，是插补图像模式连续块数量标志表示的连续的插补图像模式 块的数量的示例。具体地讲，在图24 (b)的示例中，插补图像模式连续块数量标志2401表示 数"4"，其表示4个块a、b、c、d是连续的插补图像模式块。同样，插补图像模式连续块数量 标志2402表示数"l"，其表示只有一个块e是插补图像模式块。同样，插补图像模式连续块 数量标志2403表示数"5"，其表示5个块f、g、h、 i、 j是连续的插补图像模式块。图24(b) 所示的实施例5的数据使用这种插补图像模式连续块数量标志，相比对每个块附加模式判 定标志的图24(a)所示的实施例2的数据，能够削减数据量。另外，对于解码对象区域是编 码图像的块中的各个块，插入非插补图像模式的模式标志。 根据以上说明的实施例5的图像编码装置及图像编码方法，除了实施例2的效果、 即简化解码时的处理并减少处理量之外，还能够根据插补图像模式连续块数量标志，利用 一个标志表示多个块的模式，能够削减编码数据量。 下面，说明本发明的实施例5的图像解码装置。本发明的实施例5的图像解码装 置的结构与实施例2的图像解码装置的结构相同，所以省略说明。但是，关于本发明的实施 例5的图像解码装置的处理流程，以下几点与图15所示的实施例2的图像解码装置的处理 流程不同。除以下几点之外，其他与图15所示的流程相同，所以省略利用其他附图进行说 明。即，在实施例2中，在图15中的S1504，如果模式判定标志是1，则进行S1505以后的插 补图像的生成处理，如果模式判定标志是O，则进行S1507以后的图像解码处理。
与此相对，在实施例5中，在图15中的S1504检测标志，并判定是插补图像模式连 续块数量标志还是非插补图像模式的模式标志。在检测到的标志是插补图像模式连续块 数量标志的情况下，对于该插补图像模式连续块数量标志所表示的数量的连续的块，进行 S1505以后的插补图像的生成处理。在标志是非插补图像模式的模式标志的情况下，对该标 志所对应的块进行S1507以后的图像解码处理。由此，在标志是插补图像模式连续块数量 标志，而且该标志表示2以上的数字的情况下，通过一次判定处理即可确定有关多个块的 图像生成处理。 由此，实施例5的图像解码装置相比实施例2，能够进一步简化解码时的处理，并 减少处理量。 根据以上说明的实施例5的图像解码装置和图像解码方法，对应于编码流中包含 的插补图像模式连续块数量标志，通过一次判定处理即可确定有关多个块的图像生成处 理。由此，具有相比实施例2能够进一步简化解码时的处理和减少处理量的效果。
实施例6
下面，说明本发明的实施例6的图像编码装置。实施例6的图像编码装置具有与 实施例4的图像编码装置相同的结构，但实施例4的模式选择部1304按每个图像块生成模 式判定标志和运动估计方向判定标志，而实施例6的模式选择部1304则与实施例5相同， 生成插补图像模式连续块数量标志或非插补图像模式的模式标志，按每个插补图像模式连 续块数量标志，生成运动估计方向判定标志。有关运动估计方向判定标志的具体说明与实 施例3和实施例4相同，所以省略说明。另外，有关插补图像模式连续块数量标志或非插补 图像模式的模式标志的具体说明与实施例5相同，所以省略说明。实施例6的图像编码装
20置的其他各个结构及各个处理内容，与实施例1 5记载的各个结构及各个处理内容相同，所以省略说明。 在此，图25表示实施例6的图像编码装置的编码数据存储部106的数据的一例。图25(a)表示实施例4的图像编码装置生成的数据，图25(b)表示实施例6的图像编码装置生成的数据。图25(b)与图24(b)相同，对应于插补图像模式连续块数量标志利用箭头示出的数字，示出插补图像模式连续块数量标志表示的连续的插补图像模式块的数量的示例。在图25(b)的示例中，插补图像模式连续块数量标志2401表示数"4"，其表示4个块a、b、c、d是连续的插补图像模式块。这与实施例5相同。在此，在实施例6中，对每个插补图像模式连续块数量标志生成运动估计方向判定标志，所以在插补图像模式连续块数量标志2501后面插入运动估计方向判定标志2502。在此，对于通过插补图像模式连续块数量标志2501表示为连续的插补图像模式块的4个块a、b、c、d，使用根据插补图像模式连续块数量标志2501附带的运动估计方向判定标志2502所表示的运动估计方向而确定的运动估计方法，生成插补图像。 图25(b)所示的实施例5的数据使用这种插补图像模式连续块数量标志，对每个插补图像模式连续块数量标志，将运动估计方向判定标志插入到编码数据中。由此，相比对每个块附加模式判定标志和运动估计方向判定标志的、图25 (a)所示的实施例4的数据，能够削减数据量。另外，对于解码对象区域是编码图像的块中的每个块，插入非插补图像模式的模式标志，这一点与实施例5相同。 根据以上说明的实施例6的图像编码装置及图像编码方法，具有实施例4的效果，即，简化解码时的处理，减少处理量，除B图片之外，P图片也被作为插补对象帧，能够进一步减少数据量，并提高B图片的画质，除实施例4的效果之外，还能够根据插补图像模式连续块数量标志，利用一个标志分别表示多个块的模式和运动估计方向，能够削减编码数据 下面，说明本发明的实施例6的图像解码装置。本发明的实施例6的图像解码装置的结构与实施例4的图像解码装置的结构相同，所以省略说明。但是，关于本发明的实施例6的图像解码装置的处理流程，以下几点与图23所示的实施例4的图像解码装置的处理流程不同。除以下几点之外，其他与图23所示的流程相同，所以省略利用其他附图进行说明。即，在实施例4中，在图23中的S2304，如果模式判定标志是1，则进行S2305以后的插补图像的生成处理，此时在S2305根据有关各个块的运动估计方向判定标志来确定运动估计方法，并进行S2306的运动估计。并且，如果在S2304模式判定标志是0，则进行S2308以后的图像解码处理。 与此相对，在实施例6中，在图23中的S2304检测标志，并判定是插补图像模式连续块数量标志还是非插补图像模式的模式标志。在检测到的标志是插补图像模式连续块数量标志的情况下，对于该插补图像模式连续块数量标志所表示的数量的连续的块，进行S2305以后的插补图像的生成处理。此时在S2305根据该插补图像模式连续块数量标志附带的运动估计方向判定标志，确定有关对该连续的多个块生成插补图像时的运动估计方法。在S2306，利用对该连续的多个块所确定的运动估计方法来进行运动估计。在S2307，根据该估计结果生成插补图像。并且，在S2304，在标志是非插补图像模式的模式标志的情况下，对该标志所对应的块进行S1507以后的图像解码处理。
根据以上流程，通过使用了运动估计方向判定标志的处理，能够应对多种插补处理，同时在标志是插补图像模式连续块数量标志，而且该标志表示2以上的数字的情况下，通过一次判定处理即可确定有关多个块的图像生成处理。 由此，实施例6的图像解码装置除了实施例4的效果、即应对多种插补处理之外，相比实施例4能够进一步简化解码时的处理，并减少处理量。 根据以上说明的实施例6的图像解码装置和图像解码方法，能够应对多种插补处理，并对应编码流中包含的插补图像模式连续块数量标志，通过一次判定处理即可确定有关多个块的图像生成处理。由此，具有相比实施例4能够进一步简化解码时的处理和减少处理量的效果。 另外，在把以上说明的各个实施例的插补图像的生成方法变更为下述的第1变形例、第2变形例或第3变形例时，也能够实现为一种实施方式。 使用图26说明第1变形例。图26是表示第1变形例的插补图像的生成方法的图。第1变形例表示编码/解码对象帧是存在于参照帧之间的一个B图片的情况。在图26中，fn表示编码/解码对象帧，fn—工表示显示顺序在前、而且位于最接近编码/解码对象帧的位置的已编码/解码的参照帧，fn+1表示显示顺序在后、而且位于最接近编码/解码对象帧的位置的已编码/解码的参照帧。 在第1变形例中，按照以下所述执行运动矢量MV(u， v)的估计方法和插补像素值fn(x， y)的计算方法。 第1变形例中的运动估计按照块单位进行。例如，在帧fn—工中从左上端开始运动估计，在帧4+1中从右下端开始运动估计，左右上下对称地进行估计。计算两个块的绝对误差之和(SAD)的合计值，选择SAD为最小、而且MV为最小的块的组合。在此，例如在1/4像素精度平面中进行运动估计。在1/4像素精度平面中，运动估计的块尺寸为64X64像素，把其中跳过4像素的16像素用作采样点。运动估计范围以编码对象块的中心为基准。
关于第1变形例中的编码/解码对象帧内的插补像素值fn(x， y)的计算，使用帧fw和帧4+1之间的运动矢量MV(u， v)，根据下式6进行计算。
式6
<formula>formula see original document page 22</formula> 在式6中，利用作为MV(u， v)的起始点和终止点的参照帧fn—工和参照帧fn+1上的像素的平均值，计算4(x， y)。这是因为在第l变形例中，编码/解码对象帧是一个位于多个参照帧的中央的B图片，其距两个参照帧的时间距离相等。另外，在距两个参照帧的时间距离有偏差的情况下，可以根据该偏差对在式6中向u和v乘以的系数1/2进行变更。该情况时，距参照帧的时间距离越近，该系数越小。此时，还可以向参照帧4—i上的像素值和参照帧fn+1上的像素值分别乘以对应于时间距离而偏差的系数。该情况时，距参照帧的时间距离越近，该系数越大。 以上是第1变形例的运动矢量MV(u，v)的估计方法和插补像素值fn(x，y)的计算方法。
下面，使用图27说明第2变形例。第2变形例表示编码/解码对象帧是存在于参照帧之间的两个B图片中的任一图片的情况。该情况时，对所存在的这两个B图片只进行一次运动估计。在图27(a)中，4表示第1编码/解码对象帧，4+1表示第2编码/解码对象帧，fn—i表示显示顺序在前、而且位于最接近编码/解码对象帧的位置的已编码/解码的参照帧，fn+2表示显示顺序在后、而且位于最接近编码/解码对象帧的位置的已编码/解码的参照帧，fc表示虚拟的中心图片。 在第2变形例中，按照以下所述执行运动矢量MV(u，v)的估计方法、和第1编码/解码对象帧的插补像素值4(x， y)及第2编码/解码对象帧的插补像素值f^(x， y)的计算方法。 首先，第2变形例中的运动估计的运动估计范围的中心，是把虚拟中心图片fc的编码/解码对象帧位置(x， y)定义为中心。关于运动矢量MV(u， v)的计算的其他具体情况，与第1变形例相同，所以省略说明。 关于第1编码/解码对象帧的插补像素值fn(x，y)和第2编码/解码对象帧的插补像素值fn+1 (x， y)，可以使用帧fn—:和帧fn+2之间的运动矢量MV (u， v)，分别利用下式7和式8进行计算。<formula>formula see original document page 23</formula> 使用图27(b)说明式7的计算方法。图27(b)是平面地表示图27(a)的示例。在此，表示使用通过把虚拟的中心图片fc的位置(x，y)作为基准的运动估计而算出的运动矢量MV(u， v)，计算第1编码/解码对象帧fn的位置(x， y)上的像素值的情况。在图27(b)的示例中，第1编码/解码对象帧fn处于在从参照帧fn—i到参照帧fn+2的时间距离中、相距参照帧fn—i为1/3相距参照帧fn+2为2/3的位置。因此，在式7中，把第1编码/解码对象帧4的位置(x， y)作为基准，对于使用向运动矢量MV乘以1/3后的1/3MV来表示的参照帧fn—工上的像素的像素值、和使用向运动矢量MV乘以2/3后的2/3MV来表示的参照帧fn+2上的像素的像素值，乘以与各自相距参照帧的时间距离对应的加权系数并相加，由此，计算第l编码/解码对象帧4(x，y)的像素值。其中，只要距参照帧的时间距离越近，该加权系数越大即可，在图27(b)的示例中，向参照帧fn—工上的像素的像素值乘以2/3，向参照帧fn+2上的像素的像素值乘以1/3。 下面，图27(c)表示式8的计算方法。在式8的计算方法中，也使用运动矢量MV(u，v)，并且，把第2编码/解码对象帧fn+1的位置(x， y)作为基准，使用根据从编码/解码对象帧到参照帧的时间距离向运动矢量MV(u， v)乘以系数后的运动矢量，来选择参照帧上的像素，而且，向所选择的像素值乘以与距参照帧的时间距离对应的加权系数并相加，这三点都与式7的计算方法相同。图27(c)相对于图27(b)的不同之处仅仅是从编码/解码对象 帧到参照帧的时间距离的关系不同，由此向运动矢量MV(u， v)乘以的系数也不同，所以省 略具体说明。 另外，像第2变形例这样，当参照帧之间存在两个B图片时，在B图片的时间位置 不是将参照帧之间三等分之后的位置时，也可以根据距参照帧的时间距离来变更系数。
以上是第2变形例的运动矢量MV(u， v)的估计方法、和第l编码/解码对象帧的 插补像素值fn(x， y)及第2编码/解码对象帧的插补像素值fn+1 (x， y)的计算方法。
S卩，根据第2变形例，通过一次运动估计，即可对位于参照帧之间的两个编码/解 码对象帧上处于相同位置的每个像素，计算插补像素值。 下面，使用图28说明第3变形例。第3变形例是将第1变形例和第2变形例普通 化(一般化)后形成的示例，表示在两个参照帧之间存在m个B图片的情况。在图28中， 在参照帧fA和参照帧fB之间插入有从f:(第1个B图片)到fm (第m个B图片)的m个B 图片。其中，fc是虚拟的中心图片，并且与第2变形例相同，被作为计算运动矢量MV(u，v) 时的基准。 在第3变形例中，可以根据式9计算图28所示的第k个B图片fk是编码/解码 对象帧时的插补像素值fk(x， y)。
式9
W + l /M+l /M + l 併+ 1 在式9的计算方法中，也使用运动矢量MV(u， v)，并且，把编码/解码对象帧fk的 位置(x，y)作为基准，使用根据从编码/解码对象帧到参照帧的时间距离向运动矢量MV(u， v)乘以系数后的运动矢量来选择参照帧上的像素，而且，向所选择的像素值乘以与距参照 帧的时间距离对应的加权系数并相加，这三点都与式7或式8的计算方法相同。
以上是第3变形例的编码/解码对象帧的插补像素值fk(x， y)的计算方法。
S卩，根据第3变形例，通过一次运动估计，即可对位于参照帧之间的m个编码/解 码对象帧上处于相同位置的每个像素，计算插补像素值。 在以上的实施例中说明的插补图像帧、插补图像区域、插补图像模式、插补图像模 式块，都是通过基于参照图像间的运动预测的插补处理来生成插补图像，所以可以分别表 述为参照图像间运动预测帧、参照图像间运动预测区域、参照图像间运动预测模式、参照图 像间运动预测模式块。 并且，在以上的实施例中说明的使用了插补图像的图像编码/图像解码技术、即 基于参照图像间运动预测的图像编码/图像解码技术，相比现有技术，其效果如下所述。
g卩，在H. 264/AVC中的双向运动补偿预测中，采用根据已编码的块的运动信息来 预测生成运动信息的跳跃(skip)模式和直接(direct)模式。跳跃模式和直接模式不需要 传输运动信息，所以是对削减编码量有效的技术。但是，跳跃模式和直接模式有时运动信息 的预测精度会下降。例如，在利用时间方向的运动信息的相关性的时间直接模式中，利用和 在显示顺序中位于编码对象图像后方最近的参照图像内的编码对象块处于相同位置的块 (锚定块anchor block)的运动矢量，在锚定块被实施画面内编码的图像中，将不能获取运动信息，所以预测精度下降。并且，在利用空间方向的运动信息的相关性的空间直接模式 中，利用编码对象块的周边块的运动矢量，在周边块分别进行不同的运动的图像中，运动信 息的空间相关性下降，所以预测精度下降。 与此相对，在以上各个实施例中说明的使用了插补图像的图像编码/图像解码技 术、即基于参照图像间运动预测的图像编码/图像解码技术中，检测在前向参照图像和后 向图像之间相关性较高的块，并使用该检测到的运动矢量。因此，即使是作为在跳跃模式或 直接模式中容易产生预测精度下降的图像的、编码对象帧在运动的图像、而且是锚定块被 实施了画面内编码的图像，也能够抑制预测精度的下降。 并且，同样，在以上各个实施例中说明的使用了插补图像的图像编码/图像解码 技术中，在预测运动矢量时，不使用编码对象块的周边块的运动矢量。因此，即使是作为在 跳跃模式或直接模式中容易产生预测精度下降的图像的、周边块分别进行不同的运动的图 像，也能够抑制预测精度的下降。 S卩，根据本发明的各个实施例的图像编码、图像解码技术，相比以往的跳跃模式或 直接模式，更能适合于实现数据压縮率的提高。
2权利要求
一种图像解码方法，是动态图像的解码方法，其特征在于，包括运动估计步骤，对于解码对象帧的解码对象区域，使用已解码的多个帧的图像进行运动估计；和判定步骤，根据所述运动估计的结果，判定是通过插补处理来生成所述解码对象区域的图像、还是通过使用了编码流中包含的数据的运动补偿来生成解码图像。
2. 根据权利要求1所述的图像解码方法，其特征在于，包括如下步骤在所述判定步骤中对所述解码对象区域的图像判定为通过使用了编码流中包含的数据的运动补偿来生成解码图像的情况下，根据与所述解码对象帧的解码对象区域邻接的多个图像区域中的每个图像区域是在编码时作为编码图像区域而被处理的区域、还是在编码时作为插补图像区域而被处理的区域，变更预测矢量的计算方法，来进行运动补偿，并生成解码图像。
3. 根据权利要求1所述的图像解码方法，其特征在于，包括如下步骤在所述判定步骤中对所述解码对象区域的图像判定为通过使用了编码流中包含的数据的运动补偿来生成解码图像、而且与所述解码对象帧的解码对象区域邻接的多个图像区域都是在编码时作为插补图像区域而被处理的区域的情况下，根据在所述邻接的多个图像区域的解码时的插补处理中使用的运动矢量来计算预测矢量，使用该预测矢量来进行运动补偿，并生成解码图像。
4. 根据权利要求1所述的图像解码方法，其特征在于，包括如下步骤在所述判定步骤中对所述解码对象区域的图像判定为通过使用了编码流中包含的数据的运动补偿来生成解码图像、而且与所述解码对象帧的解码对象区域邻接的多个图像区域都是在编码时作为插补图像区域而被处理的区域的情况下，计算在所述邻接的多个图像区域的解码时的插补处理中使用的运动矢量的中间值矢量，作为预测矢量，使用该预测矢量来进行运动补偿，并生成解码图像。
5. 根据权利要求1所述的图像解码方法，其特征在于，包括如下步骤在所述判定步骤中对所述解码对象区域的图像判定为通过使用了编码流中包含的数据的运动补偿来生成解码图像、而且与所述解码对象帧的解码对象区域邻接的多个图像区域中的一部分是在编码时作为编码图像区域而被处理的区域、所述邻接的多个图像区域中的剩余图像区域是在编码时作为插补图像区域而被处理的区域的情况下，根据在所述编码时作为编码图像区域而被处理的区域中在解码时的运动补偿中使用的运动矢量、和在所述编码时作为插补图像区域而被处理的区域中在解码时的插补处理中使用的运动矢量，计算预测矢量，使用该预测矢量来进行运动补偿，并生成解码图像。
6. 根据权利要求1所述的图像解码方法，其特征在于，包括如下步骤在所述判定步骤中对所述解码对象区域的图像判定为通过使用了编码流中包含的数据的运动补偿来生成解码图像、而且与所述解码对象帧的解码对象区域邻接的多个图像区域中的一部分是在编码时作为编码图像区域而被处理的区域、所述邻接的多个图像区域中的剩余图像区域是在编码时作为插补图像区域而被处理的区域的情况下，根据在所述编码时作为编码图像区域而被处理的区域中在解码时的运动补偿中使用的运动矢量、和在所述编码时作为插补图像区域而被处理的区域中在解码时的插补处理中使用的运动矢量，计算中间值矢量作为预测矢量，使用该预测矢量来进行运动补偿，并生成解码图像。
7. 根据权利要求1所述的图像解码方法，其特征在于，包括插补图像生成步骤，该插补图像生成步骤为在所述判定步骤中判定为通过插补处理来生成所述解码对象区域的图像的情况下，对于所述解码对象区域的图像，使用在所述运动估计步骤中使用的所述已解码的多个帧的图像上的像素值，计算所述解码对象区域的图像上的像素值，来生成所述解码对象区域的插补图像。
8. 根据权利要求1所述的图像解码方法，其特征在于，在所述运动估计步骤中，计算在时间空间上与所述解码对象区域中包含的对象像素位于同一直线上、并且位于所述已解码的多个帧的图像上的多个像素之间的像素值的绝对差，对所述解码对象区域中包含的像素计算该像素值的绝对差之和，将该绝对差之和为最小的运动矢量、以及所述最小的绝对值之和作为运动矢量估计结果，在所述判定步骤中，通过所述最小的绝对值之和与预定值之间的比较，判定是否通过插补处理来生成所述解码对象区域的图像。
9. 根据权利要求1所述的图像解码方法，其特征在于，在所述运动估计步骤中，计算在时间空间上与所述解码对象区域中包含的对象像素位于同一直线上、并且位于所述已解码的多个帧的图像上的多个像素之间的像素值差，对所述解码对象区域中包含的像素计算该像素值的绝对差之和，确定所述绝对差之和为最小的运动矢量，计算差分的绝对值之和，该差分是所述最小的绝对值之和与所述解码对象区域的周边区域的绝对值之和的差分，并将所述运动矢量、以及所述最小的绝对值之和与所述解码对象区域的周边区域的绝对值之和的差分的绝对值之和，作为运动矢量估计结果，在所述判定步骤中，通过所述最小的绝对值之和与所述解码对象区域的周边区域的绝对值之和的差分的绝对值之和、与预定值之间的比较，判定是否通过插补处理来生成所述解码对象区域的图像。
10. 根据权利要求1所述的图像解码方法，其特征在于，在所述运动估计步骤中，根据编码流中包含的运动估计方法判定标志，来确定运动估计的时间方向。
11. 一种图像解码方法，是动态图像的解码方法，其特征在于，包括判定步骤，根据编码流中包含的模式判定标志，判定是通过使用了已解码图像的插补处理来生成解码对象区域的图像、还是通过使用了编码流中包含的数据的运动补偿处理来生成解码图像；禾口图像生成步骤，根据所述判定步骤的判定结果，对使用了已解码图像的插补处理和使用了编码流中包含的数据的运动补偿处理进行切换，并生成解码图像。
12. 根据权利要求11所述的图像解码方法，其特征在于，在所述判定步骤中对所述解码对象区域的图像判定为通过使用了编码流中包含的数据的运动补偿来生成解码图像的情况下，在所述图像生成步骤中，根据与所述解码对象帧的解码对象区域邻接的多个图像区域中的每个图像区域是在编码时作为编码图像区域而被处理的区域、还是在编码时作为插补图像区域而被处理的区域，变更预测矢量的计算方法，来进行运动补偿，并生成解码图像。
13. 根据权利要求11所述的图像解码方法，其特征在于，在所述判定步骤中对所述解码对象区域的图像判定为通过使用了编码流中包含的数据的运动补偿来生成解码图像、而且与所述解码对象帧的解码对象区域邻接的多个图像区域都是在编码时作为插补图像区域而被处理的区域的情况下，在所述图像生成步骤中，根据在所述邻接的多个图像区域的解码时的插补处理中使用的运动矢量来计算预测矢量，使用该预测矢量来进行运动补偿，并生成解码图像。
14. 根据权利要求11所述的图像解码方法，其特征在于，在所述判定步骤中对所述解码对象区域的图像判定为通过使用了编码流中包含的数据的运动补偿来生成解码图像、而且与所述解码对象帧的解码对象区域邻接的多个图像区域中的一部分是在编码时作为编码图像区域而被处理的区域、所述邻接的多个图像区域中的剩余图像区域是在编码时作为插补图像区域而被处理的区域的情况下，在所述图像生成步骤中，根据在所述编码时作为编码图像区域而被处理的区域中在解码时的运动补偿中使用的运动矢量、和在所述编码时作为插补图像区域而被处理的区域中在解码时的插补处理中使用的运动矢量，计算预测矢量，使用该预测矢量来进行运动补偿，并生成解码图像。
15. 根据权利要求11所述的图像解码方法，其特征在于，在所述判定步骤中判定为通过使用了已解码图像的插补处理来生成所述解码对象区域的图像的情况下，在所述图像生成步骤中，根据编码流中包含的运动估计方法判定标志来确定运动估计方法，并根据该确定的运动估计方法，使用已解码的多个帧的图像来进行运动估计，根据通过该运动估计而确定的运动矢量所表示的所述已解码的多个帧上的像素的像素值，计算插补对象像素的像素值，并生成插补图像。
16. —种图像解码方法，是动态图像的解码方法，其特征在于，编码流中包含第1标志和第2标志，该第1标志表示在解码对象区域中通过使用了已解码图像的插补处理生成的图像块连续存在的数量，该第2标志表示对解码对象区域的图像块通过使用了编码流中包含的数据的运动补偿处理来生成解码图像，该图像解码方法包括判定步骤，从所述编码流中检测标志，并判定所检测出的标志是第1标志还是第2标志；禾口图像生成步骤，根据所述判定步骤的判定结果，对以下两个处理进行切换并生成解码图像，这两个处理是对第1标志所对应的多个图像块进行的使用了已解码图像的插补处理，和对第2标志所对应的多个图像块进行的使用了编码流中包含的数据的运动补偿处理。
17. 根据权利要求1所述的图像解码方法，其特征在于，包括插补图像生成步骤，该插补图像生成步骤为在所述已解码的多个帧之间存在1个B图片，该B图片是所述解码对象帧，而且在所述判定步骤中判定为通过插补处理来生成所述解码对象区域的图像的情况下，使用在所述运动估计步骤中所使用的所述已解码的多个帧的图像上的多个像素值的平均值、或者对该多个像素值中的每一个像素值乘以系数之后的值，来计算所述解码对象区域的图像上的像素值，并生成所述解码对象区域的插补图像，其中所述系数与从所述解码对象帧到所述已解码的多个帧中的每一个帧的距离相对应。
18. 根据权利要求1所述的图像解码方法，其特征在于，包括插补图像生成步骤，该插补图像生成步骤为在所述已解码的多个帧之间存在m个B图片，该m个B图片中的一个图片是所述解码对象帧，而且在所述判定步骤中判定为通过插补处理来生成所述解码对象区域的图像的情况下，使用对在所述运动估计步骤中所使用的所述已解码的多个帧的图像上的多个像素值中的每一个像素值乘以系数之后的值，来计算所述解码对象区域的图像上的像素值，并生成所述解码对象区域的插补图像，其中所述系数与从所述解码对象帧到所述已解码的多个帧中的每一个帧的距离相对应。
19. 根据权利要求11所述的图像解码方法，其特征在于，包括插补图像生成步骤，该插补图像生成步骤为在所述已解码的多个帧之间存在1个B图片，该B图片是所述解码对象帧，而且在所述判定步骤中判定为通过插补处理来生成所述解码对象区域的图像的情况下，使用在所述运动估计步骤中所使用的所述已解码的多个帧的图像上的多个像素值的平均值、或者对该多个像素值中的每一个像素值乘以系数之后的值，来计算所述解码对象区域的图像上的像素值，并生成所述解码对象区域的插补图像，其中所述系数与从所述解码对象帧到所述已解码的多个帧中的每一个帧的距离相对应。
20. 根据权利要求11所述的图像解码方法，其特征在于，包括插补图像生成步骤，该插补图像生成步骤为在所述已解码的多个帧之间存在m个B图片，该m个B图片中的一个图片是所述解码对象帧，而且在所述判定步骤中判定为通过插补处理来生成所述解码对象区域的图像的情况下，使用对在所述运动估计步骤中所使用的所述已解码的多个帧的图像上的多个像素值中的每一个像素值乘以系数之后的值，来计算所述解码对象区域的图像上的像素值，并生成所述解码对象区域的插补图像，其中所述系数与从所述解码对象帧到所述已解码的多个帧中的每一个帧的距离相对应。
全文摘要
一种图像解码方法，提高数据压缩率。在动态图像的解码方法中，包括运动估计步骤，对于解码对象帧的解码对象区域，使用已解码的多个帧的图像进行运动估计；和判定步骤，根据所述运动估计的结果，判定是通过插补处理来生成所述解码对象区域的图像、还是通过使用了编码流中包含的数据的运动补偿来生成解码图像。
文档编号H04N7/32GK101742331SQ20091022493
公开日2010年6月16日 申请日期2009年11月26日 优先权日2008年11月26日
发明者伊藤浩朗, 山口宗明, 斋藤升平, 浜田宏一, 高桥昌史 申请人:日立民用电子株式会社