图像解码装置以及图像解码方法

图像解码装置以及图像解码方法
【专利摘要】图像编码装置具备：预测部(4)，其根据各颜色成分信号适应性地决定运动预测单位块的大小，并且将该运动预测单位块分割为运动矢量分配区域来搜索运动矢量；可变长编码部(8)，其在对运动预测单位块整体分配运动矢量的情况下，如果该运动矢量与预测矢量相等、且不存在预测误差信号(5)，则设为mc_skip模式来进行编码，在运动矢量分配区域为规定的大小以上、且对运动矢量分配区域整体分配运动矢量的情况下，如果该运动矢量与预测矢量相等、且不存在预测误差信号(5)，则设为sub_mc_skip模式来进行编码。
【专利说明】图像解码装置以及图像解码方法
[0001] 本发明是2010年5月27日递交的国际申请号为PCT/JP2010/003553的PCT申请 进入中国国家阶段的、国家申请号为"201080023464. 4"、发明名称为"图像编码装置、图像 解码装置、图像编码方法以及图像解码方法"的申请的分案申请。

【技术领域】
[0002] 本发明涉及一种在图像压缩编码技术、压缩图像数据传输技术等中使用的图像编 码装置、图像解码装置、图像编码方法以及图像解码方法。

【背景技术】
[0003] 以往，在MPEG、ITU-T Η. 26x等国际标准影像编码方式中，将输入影像帧以由 16X16像素块形成的宏块（macro block)的单位来进行分割后进行压缩处理。
[0004] 另一方面，近年来，期望对具有与HDTV (High Definition Television (高清晰度电 视），1920 X 1080像素）的4倍相当的空间分辨率的4KX2K像素的影像格式、进而与其4 倍相当的8KX4K像素的影像格式、或者增加颜色信号的采样数来提高颜色再现性的4 :4 :4 影像信号格式等的高清晰?高质量影像进行压缩编码的技术。在对这种高清晰?高质量影 像进行压缩编码的情况下，通过16X16像素的宏块是无法进行充分利用图像信号相关的 编码，难以实现高压缩率。为了应对这种问题，提出了如下技术：例如将以往的16X16像素 宏块的大小如非专利文献1那样扩展为32 X 32像素块，通过使运动矢量的分配单位变大来 削减预测所需的参数的代码量，或者通过使预测误差信号的变换编码的块大小变大来有效 地去除信号的像素间相关。
[0005] 图21是表示非专利文献1的编码装置的结构的框图。在非专利文献1的编码中， 首先，将作为编码对象的输入影像信号1001在块分割部1002中以宏块（与亮度信号相当 的32像素 X 32线的矩形块）的单位来进行分割，并作为编码影像信号1003输入到预测部 1004。
[0006] 在预测部1004中，将宏块内的各颜色成分的图像信号在帧内·帧间进行预测，来 得到预测误差信号1005。特别是在帧间进行运动补偿预测的情况下，以宏块本身、或者将宏 块进一步细分而成的子块的单位来搜索运动矢量，根据运动矢量生成运动补偿预测图像， 取与编码影像信号1003的差分，由此得到预测误差信号1005。
[0007] 压缩部1006针对预测误差信号1005, 一边与运动矢量的分配单位区域的大小相 应地变更块大小，一边实施DCT (离散余弦变换）处理来去除信号相关之后，进行量化来得 到压缩数据1007。压缩数据1007在可变长编码部1008中被进行熵编码而作为比特流1009 输出，并且被送至局部解码部1010,得到解码预测误差信号1011。
[0008] 将该解码预测误差信号1011与使用于预测误差信号1005的生成的预测信号1012 相加来设为解码信号1013,并输入到环路滤波器1014。解码信号1013在环路滤波器1014 中被实施去除块失真的处理之后，作为用于生成以后的预测信号1012的参照图像信号 1015保存到存储器1016中。此外，为了得到预测信号1012而在预测部1004中决定的预 测信号生成用参数1017被送至可变长编码部1008,多路复用到比特流1009而被输出。在 此，预测信号生成用参数1017中例如包含表示如何进行帧内的空间预测的帧内预测模式、 表示巾贞间的运动量的运动矢量等信息。
[0009] 以往的MPEG、ITU-T Η. 26x等的国际标准影像编码方式中作为宏块大小采用了 16X16像素块，与此相对，在非专利文献1中，使用32X32像素块的宏块大小（超宏块： SMB)。图22表示在针对每个MXM像素宏块进行运动补偿预测时的运动矢量分配区域的 分割形状的样子，图22的（a)是非专利文献1的SMB，图22的（b)是以往的MPEG-4AVC/ H. 264 (参照非专利文献2)的宏块。SMB设为像素数Μ = 32来将每个运动矢量所覆盖的运 动预测区域的面积取得较大，与此相对，以往的宏块使用像素数Μ/2 = 16。由此，在SMB中 作为画面整体所需的运动矢量的信息量与像素数Μ/2 = 16相比变少，因此能够抑制作为比 特流应传输的运动矢量代码量。
[0010] 非专利文献 1 :Siwei Ma and C.-C. Jay Kuo, "High-definition Video Coding with Super-macroblocks^, Proc. SPIE, Vol. 6508, 650816 (2007)
[0011] 非专利文献 2 :MPEG-4 AVC(IS0/IEC 14496-10)/ITU-T H. 264 标准。


【发明内容】

[0012] 在非专利文献1、2的以往方式中，设置如下称为跳过模式的特别模式：在上述运 动预测的结果，完全不产生关于运动矢量、预测误差信号应编码的数据。例如，在非专利文 献2中，将"运动矢量与其预测值一致，并且预测误差信号的变换系数全部为零"的事例定 义为跳过模式。另外，能够选择跳过模式的情况被限定于分配运动矢量的区域的大小与宏 块的大小相同时。因此，在如非专利文献1那样扩展宏块大小的情况下，存在如下问题：仅 对最大大小的运动预测块设定跳过模式，因此与其相比大小更小的运动预测块不应用跳过 模式而难以高效进行编码。
[0013] 本发明是为了解决如上所述的问题而完成的，其目的在于提供一种如下的图像编 码装置及其方法、以及图像解码装置及其方法：实现安装负荷平衡良好且与作为编码对象 的影像信号的统计和局部性质相应地更好地去除信号相关来进行高效的信息压缩的影像 编码方法，为了进行超高清晰影像信号的编码而提高了最优性。
[0014] 本发明所涉及的图像解码装置，将把运动图像信号的各帧分割为块、并对所述块 进行运动预测并进行了预测编码的比特流作为输入，对所述运动图像信号进行解码，该图 像解码装置的特征在于，具备：解码部，从所述比特流对用于与所述块对应的第一运动预测 单位块的第一运动预测模式进行解码，并且在所述第一运动预测模式不是跳过模式、而且 对所述块分层地进行分割的情况下，对用于分层地进行分割而得到的第二运动预测单位块 的第二运动预测模式进行解码；算术解码部，根据所述块的周边的块的所述第一运动预测 模式是否为跳过模式，切换为了对所述第一运动预测模式进行解码而使用的发生概率；以 及预测部，在所述第一运动预测模式是跳过模式的情况下，根据周边的运动矢量求出预测 矢量并设定为针对所述第一运动预测单位块的运动矢量来生成预测图像，在所述第二运动 预测模式是跳过模式的情况下，根据周边的运动矢量求出预测矢量并设定为针对所述第二 运动预测单位块的运动矢量来生成预测图像。
[0015] 本发明所涉及的图像解码方法，将把运动图像信号的各帧分割为块、并对所述块 进行运动预测并进行了预测编码的比特流作为输入，对所述运动图像信号进行解码，该图 像解码方法的特征在于，包括：解码步骤，从所述比特流对用于与所述块对应的第一运动 预测单位块的第一运动预测模式进行解码，并且在所述第一运动预测模式不是跳过模式、 而且对所述块分层地进行分割的情况下，对用于分层地进行分割而得到的第二运动预测单 位块的第二运动预测模式进行解码；算术解码步骤，根据所述块的周边的块的所述第一运 动预测模式是否为跳过模式，切换为了对所述第一运动预测模式进行解码而使用的发生概 率；以及预测步骤，在所述第一运动预测模式是跳过模式的情况下，根据周边的运动矢量求 出预测矢量并设定为针对所述第一运动预测单位块的运动矢量来生成预测图像，在所述第 二运动预测模式是跳过模式的情况下，根据周边的运动矢量求出预测矢量并设定为针对所 述第二运动预测单位块的运动矢量来生成预测图像。
[0016] 本发明所涉及的一种图像解码装置，将把运动图像信号的各帧分割为块、并对所 述块进行运动预测并进行了预测编码的比特流作为输入，对所述运动图像信号进行解码， 该图像解码装置的特征在于，具备：解码部，从所述比特流对决定所述块的大小的信息、表 示与块大小有关的阈值的信息以及用于与所述块对应的第一运动预测单位块的第一运动 预测模式进行解码，并且在第一运动预测模式不是跳过模式、而且第一运动预测单位块大 于阈值的情况下，对用于分层地分割所述第一运动预测单位块而得到的第二运动预测单位 块的第二运动预测模式进行解码；算术解码部，根据所述块的周边的块的所述第一运动预 测模式是否为跳过模式，切换为了对所述第一运动预测模式进行解码而使用的发生概率； 以及预测部，在所述第一运动预测模式是跳过模式的情况下，根据周边的运动矢量求出预 测矢量并设定为针对所述第一运动预测单位块的运动矢量来生成预测图像，在所述第二运 动预测模式是跳过模式的情况下，根据周边的运动矢量求出预测矢量并设定为针对所述第 二运动预测单位块的运动矢量来生成预测图像。
[0017] 本发明所涉及的图像解码方法，将把运动图像信号的各帧分割为块、并对所述块 进行运动预测并进行了预测编码的比特流作为输入，对所述运动图像信号进行解码，该图 像解码方法的特征在于，包括：解码步骤，从所述比特流对决定所述块的大小的信息、表示 与块大小有关的阈值的信息以及用于与所述块对应的第一运动预测单位块的第一运动预 测模式进行解码，并且在第一运动预测模式不是跳过模式、而且第一运动预测单位块大于 阈值的情况下，对用于分层地分割所述第一运动预测单位块而得到的第二运动预测单位块 的第二运动预测模式进行解码；算术解码步骤，根据所述块的周边的块的所述第一运动预 测模式是否为跳过模式，切换为了对所述第一运动预测模式进行解码而使用的发生概率； 以及预测步骤，在所述第一运动预测模式是跳过模式的情况下，根据周边的运动矢量求出 预测矢量并设定为针对所述第一运动预测单位块的运动矢量来生成预测图像，在所述第二 运动预测模式是跳过模式的情况下，根据周边的运动矢量求出预测矢量并设定为针对所述 第二运动预测单位块的运动矢量来生成预测图像。
[0018] 本发明所涉及的图像编码装置具备：预测部，在宏块中根据规定条件适应性地决 定运动预测单位块的大小，并且将该运动预测单位块分割为运动矢量分配区域来搜索运动 矢量；以及编码部，在对运动预测单位块整体分配运动矢量的情况下，如果该运动矢量与根 据周边的运动预测单位块的运动矢量求出的预测矢量相等、且不存在作为运动预测误差信 号进行编码的数据，则作为第一跳过模式进行编码；在运动矢量分配区域为规定的大小以 上、且对运动矢量分配区域整体分配运动矢量的情况下，如果该运动矢量与根据周边的运 动矢量分配区域的运动矢量求出的预测矢量相等、且不存在作为运动预测误差信号进行编 码的数据，则作为第二跳过模式进行编码。
[0019] 本发明所涉及的图像解码装置具备：解码部，从比特流解码得到表示宏块内的运 动预测单位块的大小、确定将运动预测单位块分割得到的运动矢量分配区域的形状的运动 预测模式、以及与运动矢量分配区域对应的运动矢量的数据，根据该运动预测模式来确定 运动预测单位块是否为第一跳过模式、以及运动矢量分配区域是否为第二跳过模式；以及 预测部，在运动预测单位块为第一跳过模式的情况或者运动矢量分配区域为第二跳过模式 的情况下，根据周边的运动矢量求出预测矢量来设定为运动矢量，并且将运动预测误差信 号全部设定为零来生成预测图像，在运动预测单位块不是第一跳过模式、且该运动预测单 位块的运动矢量分配区域不是第二跳过模式的情况下，根据解码部解码得到的运动预测模 式和运动矢量生成预测图像。
[0020] 本发明所涉及的图像编码方法具备：预测步骤，在宏块中根据规定条件适应性地 决定运动预测单位块的大小，并且将该运动预测单位块分割为运动矢量分配区域来搜索运 动矢量；以及编码步骤，在对运动预测单位块整体分配运动矢量的情况下，如果该运动矢量 与根据周边的运动预测单位块的运动矢量求出的预测矢量相等、且不存在作为运动预测误 差信号进行编码的数据，则作为第一跳过模式进行编码，在运动矢量分配区域为规定的大 小以上、且对运动矢量分配区域整体分配运动矢量的情况下，如果该运动矢量与根据周边 的运动矢量分配区域的运动矢量求出的预测矢量相等、且不存在作为运动预测误差信号进 行编码的数据，则作为第二跳过模式进行编码。
[0021] 本发明所涉及的图像解码方法具备：解码步骤，从比特流解码得到表示宏块内的 运动预测单位块的大小、确定将运动预测单位块分割得到的运动矢量分配区域的形状的运 动预测模式、以及与运动矢量分配区域对应的运动矢量的数据，根据该运动预测模式来确 定运动预测单位块是否为第一跳过模式、以及运动矢量分配区域是否为第二跳过模式；跳 过模式预测步骤，在运动预测单位块为第一跳过模式的情况或者运动矢量分配区域为第二 跳过模式的情况下，根据周边的运动矢量求出预测矢量来设定为运动矢量，并且将运动预 测误差信号全部设定为零来生成预测图像；以及预测步骤，在运动预测单位块不是第一跳 过模式、且运动预测单位块的运动矢量分配区域不是第二跳过模式的情况下，解码得到表 示与运动矢量分配区域对应的运动矢量的数据，根据该运动矢量和通过解码步骤解码得到 的运动预测模式生成预测图像。
[0022] 根据本发明，关于运动预测单位块和运动矢量分配区域分别设定第一跳过模式和 第二跳过模式，因此在进行4 :4 :4格式的影像信号的编码的情况下，能够构成可进行跳过 模式的分层表现并灵活地适应各颜色成分信号的时间变化的特性的图像编码装置和图像 解码装置，能够对4 :4 :4格式的影像信号进行最佳的编码处理。

【专利附图】

【附图说明】
[0023] 图1表示本发明的实施方式1所涉及的图像编码装置和图像解码装置作为处理对 象的4 :4 :4格式。
[0024] 图2是表示实施方式1所涉及的图像编码装置的结构的框图。
[0025] 图3是表示图2所示的块分割部所生成的基准块的说明图。
[0026] 图4是表示由图2所示的预测部进行的将运动预测单位块以基本块单位来分割后 的形状例的说明图。
[0027] 图5是表示图2所示的预测部的动作的流程图。
[0028] 图6是用于说明由预测部进行的成本J的计算方法的图。
[0029] 图7是表示由预测部进行的运动预测模式mc_model?4的预测矢量PMV的计算 例的图。
[0030] 图8是用于说明跳过模式的图。
[0031] 图9是用于说明可变长编码部的熵编码方法的图。
[0032] 图10是表示图2所示的可变长编码部的内部结构的框图。
[0033] 图11是表示图2所示的可变长编码部的动作的流程图。
[0034] 图12是表示上下文模型（ctx)的概念的说明图。
[0035] 图13是表示与运动矢量有关的上下文模型（ctx)的例的说明图。
[0036] 图14是说明运动预测模式的相关的差异的图，图14的（a)、(b)示出在基本块Ba、 Bb中选择的运动预测模式的两种状态。
[0037] 图15是表示图10所示的二值化部的运动预测模式的二值化结果的图。
[0038] 图16A是说明由图10所示的二值化部进行的运动预测模式的二值化的图，表示 binO的上下文模型选择方法。
[0039] 图16B是说明由图10所示的二值化部进行的运动预测模式的二值化的图，表示 binl的上下文模型选择方法。
[0040] 图16C是说明由图10所示的二值化部进行的运动预测模式的二值化的图，表示 bin2的上下文模型选择方法。
[0041] 图16D是说明由图10所示的二值化部进行的运动预测模式的二值化的图，表示 bin4的上下文模型选择方法。
[0042] 图16E是说明由图10所示的二值化部进行的运动预测模式的二值化的图，表示 bin5的上下文模型选择方法。
[0043] 图17是表示比特流的数据排列的说明图。
[0044] 图18是表示实施方式1所涉及的图像解码装置的结构的框图。
[0045] 图19是表示图18所示的可变长解码部的内部结构的框图。
[0046] 图20是表示图18所示的可变长解码部的动作的流程图。
[0047] 图21是表示非专利文献1的编码装置的结构的框图。
[0048] 图22表示在非专利文献1的编码装置中针对每个宏块进行运动补偿预测时的运 动矢量分配区域的分割形状的样子。

【具体实施方式】
[0049] 实施方式1.
[0050] 下面，参照附图详细说明本发明的实施方式。
[0051] 在本实施方式中，关于进行以4 :4 :4格式输入的数字影像信号的压缩和解压缩的 图像编码装置和图像解码装置，说明与各颜色成分的信号的状态相适应地进行运动补偿预 测处理的图像编码装置和图像解码装置。
[0052] 在此，图1示出实施方式1所涉及的图像编码装置和图像解码装置作为输入所使 用的4 :4 :4格式。4 :4 :4格式是指，如图1的（a)所示，构成彩色运动图像的三个信号成分 CO、Cl、C2的像素数都相同的格式。三个信号成分的颜色空间既可以是RGB或者XYZ，也可 以是亮度?色差（YUV、YCbCr、或者YPbPr)。相对于4 :4 :4格式，图1的（b)所示的4 :2 :0 格式表示如下格式：颜色空间是YUV、YCbCr、或者YPbPr，并且相对于亮度Y的像素数，色差 信号成分（例如若是YCbCr，则Cb、Cr)的像素数在水平W ·垂直Η分别为二分之一。
[0053] 关于以下说明的图像编码装置和图像解码装置，特别限定于4 :4 :4格式的颜色空 间为YUV、YCbCr或者YPbPr、并且将各颜色成分视为与亮度成分相当来进行处理的方式，来 进行说明。但是，以下说明的动作在以4 :2 :0格式的影像信号为对象的图像编码装置和图 像解码装置中也能够对其亮度信号直接应用，这是显然的。
[0054] 1.图像编码装置
[0055] 图2是表示实施方式1所涉及的图像编码装置的结构的框图。图2所示的图像编 码装置构成为：将4 :4 :4格式的输入影像帧分割为规定大小的块、即MmaxXMmax像素块（以 下，称为"基准块"），以该基准块的单位来进行运动预测，对预测误差信号进行压缩编码。
[0056] 首先，作为编码对象的输入影像信号1在块分割部2中以基准块的单位被分割并 作为编码信号3输入到预测部4。图3示出块分割部2所生成的基准块。如图3所示，基准 块构成为将由素构成的矩形的块汇总而成的单位的基准块数据。详细内容在后 文说明，基准块大小M max是在巾贞或者序列、或者G0P(Group Of Pictures :图像组）等的上位 层数据级别中决定和编码。此外，也可以构成为在帧内变更基准块大小Mmax，在该情况下，以 切片（slice)等的将多个宏块汇总而成的单位来指定基准块大小11_。
[0057] 基准块数据进一步被分割成Q XMi像素块（i :颜色成分标识符）的"运动预测单 位块"，以运动预测单位块为基础来进行运动预测、编码。图3的（a)中的运动预测单位块 的图案为Lq = Mmax/2、MQ = Mmax/2,图3的（b)中的运动预测单位块的图案为LQ = Mmax/2、M。 =Mmax，图3的（a)、（b)中都是Q = = L2 = M2 = Mmax。此外，在下面的说明中，关于4 : 4 :4格式的各颜色成分的基准块，设为在三个颜色成分CO、Cl、C2中相同，在变更基准块大 小Mmax的情况下，对于三个颜色成分都变更为同一大小。另外，关于运动预测单位块的各个 大小1^為，也可以构成为能够针对每个颜色成分C0、C1、C2进行选择，能够以序列、G0P、帧、 基准块等的单位来进行变更。通过采用这种结构，无需变更基准块大小M max，能够根据每个 颜色成分的信号的性质的差异来灵活地决定运动预测单位块大小LpMi，能够进行考虑了以 基准块为单位的编码?解码处理的并行化?流水线操作化的高效的安装。
[0058] 在预测部4中，对基准块内的各颜色成分的图像信号进行运动补偿预测，来得到 预测误差信号（运动预测误差信号）5。预测部4的动作是本实施方式1的图像编码装置 的特征，因此后面详细说明。压缩部6对预测误差信号5实施DCT处理等变换处理来去除 信号相关之后，进行量化来得到预测误差压缩数据7。此时，在压缩部6中对预测误差信号 5进行DCT等正交变换?量化，将预测误差压缩数据7输出到可变长编码部（编码部）8和 局部解码部10。
[0059] 可变长编码部8对预测误差压缩数据7进行熵编码来作为比特流9进行输出。局 部解码部10从预测误差压缩数据7得到解码预测误差信号11。该解码预测误差信号11在 加法部中与使用于预测误差信号5的生成的预测信号（预测图像）12相加而成为解码信号 13并输入到环路滤波器14。此外，为了得到预测信号12而在预测部4中决定的预测信号 生成用参数17被送至可变长编码部8,并作为比特流9被输出。关于预测信号生成用参数 17的内容，与预测部4的说明一起后面详细说明。另外，可变长编码部8中的预测信号生成 用参数17的编码方法也是本实施方式1的特征之一，因此后面详细说明。
[0060] 环路滤波器14使用预测信号生成用参数17和量化参数19对重叠有随着压缩部 6中的变换系数量化产生的块失真的解码信号13实施块失真去除滤波。解码信号13在环 路滤波器14中被实施去除编码噪声的处理之后作为用于生成以后的预测信号12的参照图 像信号15而保存到存储器16中。
[0061] 在非专利文献1、2等影像编码方式中，一般采用在以基准块为宏块的情况下一边 以宏块的单位来选择帧内编码、帧间预测编码一边进行编码的方法。这起因于存在如下情 况：在帧间的运动预测不充分的情况下，利用帧内的相关的情况下编码更有效率。以后，在 本实施方式1的图像编码装置中，在说明发明点时，关于针对帧内编码的描述、其选择性使 用，在文中不进行明确说明，在不特别说明的情况下，设为能够进行以基准块为单位的帧内 编码的选择性使用的结构。在本实施方式1的图像编码装置中，也可以将基准块定义为宏 块，但是为了说明运动预测，以后也使用基准块这一用语。
[0062] 下面，说明作为本实施方式1的特征之一的预测部4的详细的动作。本实施方式 1的预测部4的特征是以下3点。
[0063] (1)基准块?运动预测单位块的大小与在运动预测中使用的分割形状的联动适应 化
[0064] (2)与各颜色成分的性质相应的运动预测模式、运动矢量的决定
[0065] (3)基于基准块·运动预测单位块的大小的适应性的跳过模式选择
[0066] 关于上述（1)，预测部4首先与各颜色成分的信号的性质相应地将基准块分割成 LiXMi像素的运动预测单位块，进一步将运动预测单位块分割成由liXmi像素的组合构成 的多个形状。然后，预测部4对各分割区域分别分配固有的运动矢量来进行预测，将预测效 率最优的形状选择为运动预测模式，使用作为其结果得到的运动矢量来进行对于各分割区 域的运动预测，得到预测误差信号5。设运动预测单位块内的分割形状采取由包括liXmi 像素的"基本块"的组合构成的形状。在本实施方式1的图像编码装置中，在％与叫之间、 Q与h之间设置"mi = 1^/2"、"^ = Q/2"的限制。图4中示出根据该条件确定的基本块 的分割形状。图4是表示由预测部4进行的将运动预测单位块以基本块单位来分割后的形 状例的说明图。下面，设在本实施方式1的图像编码装置中，将图4所示的分割形状的图案 (分割图案）mc_mode0?7对于三个颜色成分共用。但是，也可以构成为对三个颜色成分独 立确定分割图案mc_mode0?7。此外，下面，将该分割图案mc_mode0?7称为"运动预测 模式"。
[0067] 在非专利文献1、2的影像编码方式中，运动预测适用区域的形状被限定为矩形， 无法使用如图4那样的矩形以外的对角分割。与此相对，在本实施方式1中，通过使如图4 那样的适用运动预测的区域的形状多样化，运动物体的轮廓部分等在基准块内包含复杂的 运动的情况下，能够以比矩形分割少的运动矢量条数进行运动预测。
[0068]另外，在"S. Kondo and H. Sasai，〃A Motion Compensation Technique using Sliced Blocks and its Application to Hybrid Video Coding"，VCIP 2005,July 2005" 中，公开了针对以往的宏块的运动预测适用区域的分割形状的多样化方法。在该文献中，通 过进行宏块分割的线段与其块边界之间的交点位置来表现分割形状。然而，该方法是固定 了像素数Μ的状态下增加基准块内的分割图案的方法，存在以下问题。
[0069] 问题 1 :
[0070] 用于描述基准块的分割图案的代码量增加。由于允许满足Mmax mod nii = 0的任意 的!!^，基准块内的分割图案增加，需要将用于指定该图案的信息作为开销信息进行编码。分 割图案越增加，某特定的分割图案产生的概率越分散，因此分割图案的熵编码的效率差，成 为作为代码量的开销而在编码的整体性能上产生限度。
[0071] 问题 2:
[0072] 由于分割图案增加，编码时为了选择最佳的分割而所需的运算量增大。运动预测 是占编码处理负荷的大部分的高负荷处理，在分割图案胡乱增加的算法中，将图像编码装 置必须设计成从中仅验证和利用特定的分割图案。因而，图像编码装置有时无法最大限度 地有效利用算法所具有的原来的性能。
[0073] 与此相对，在本实施方式1的图像编码装置中的图4的研究中，首先，通过采取1) 设为能够根据编码的条件、影像信号的分辨率、性质来在帧等的上位级别中变更M max的值、 2)设为能够与每个颜色成分Q的特性相应地将MmaxXMmax的像素块分割成基本块LiXMi像 素、3)在将基本块的分割条件限定为满足、== Q/2"的限制的分割形状的基 础上确保分割的变化（variation)、这三个措施,解决上述问题。关于基本块的大小M max的 值，不在帧、切片内局部地变更而仅在帧级别或者帧列（序列、G0P)等的上位数据结构级别 中能够进行变更。该结构能够实现对于包含在基准块内的图像信号图案的含义的差异的适 应化。例如，在分辨率小的（Video Graphics Array，VGA等）影像和分辨率大的（HDTV等） 影像中，相同的MmaxXMmax像素块内的信号图案所表现的含义不同。在预测同一被摄体的情 况下，在分辨率小的影像中与被摄体的结构相近的信号图案被捕捉，但是在分辨率大的影 像中，即使使用与分辨率小的时候相同的块大小也只不过捕捉被摄体的更局部的部位的信 号图案。因而，在基准块的大小不依赖于分辨率而相同的情况下，随着分辨率变高，基准块 内的信号图案中噪声成分的要素变大，无法提高作为图案匹配技术的运动预测的性能。
[0074] 因此，通过设为仅在上位数据结构级别中能够变更基准块大小Mmax的值，能够抑制 基准块大小Mmax的值的信号化所需的代码量，并且能够根据影像的分辨率、场景变化（scene change)、画面整体的活动变化等状况，来将包含在基准块中的信号图案在运动预测的含义 上最优化。除了该结构以外，通过设为如图3那样能够按每个颜色成分变更运动预测单位 块内的分割图案，能够与各颜色成分的信号特性相应地使运动预测的处理单位最优化。并 且，通过在运动预测单位块内如图4那样赋予分割图案的限定性自由度，能够抑制运动预 测单位块内的分割图案的表现所需要的代码量的同时改善运动预测的整体效率。另外，如 果能够高效地进行在帧级别中决定基准块大小l ax的值的处理，则以后就能够将在基准块 内应检查的分割图案的变化与以往技术相比抑制为较少，能够使编码处理的负荷变小。 [0075] 决定基准块大小]?_的值的方法中例如有如下方法。
[0076] (1)根据编码对象影像的分辨率决定。在相同Mmax值的情况下，在分辨率大的情况 下，基准块内的图像信号图案更具有噪声成分上的意思，运动矢量难以捕捉图像信号图案。 在这种情况下使Mmax值变大来使得能够捕捉图像信号图案。
[0077] (2)将帧间的差分值的大小视为活动，在活动大的情况下，以小的Mmax值进行运动 预测，在活动小的情况下，以大的Mmax值进行运动预测。另外，此时的大小控制是根据编码 对象影像的帧频来决定的。帧频越高，则帧间相关越大，运动矢量本身的动态范围越小，其 代码量越小，因此考虑如下方法等：即使活动稍微小，也将M max值设定成不会过大来使得能 够预测到细的运动。
[0078] (3)将（1)和（2)的方法以加权方式进行组合，来进行判断。
[0079] 在决定基准块大小M_的值之后，按每个颜色成分决定运动预测单位块的大小Q、 Mi。例如在输入影像信号1为在YUV(或者YCbCr等）的颜色空间中定义的信号的情况下， 作为颜色信号的U/V成分与亮度信号Y成分相比信号频带窄。因而，块内分散与亮度相比 变小。将此作为依据，考虑构成为如下判断基准的例子（参照图3):关于U/V成分的大小 Q、Mi，取比亮度信号Y成分的大小Q、Mi大的值。
[0080] 作为进行这些判断的结果所得到的各块大小Mmax、Li、Mi的值作为基准块大小信息 18被通知到块分割部2、预测部4、可变长编码部8。此外，如果如图3那样相对于M max将Q、 Mi设定为能够通过简单的运算导出的值，则不将Q、Mi作为独立的值来进行编码而只要对 计算式的标识符进行编码即可，因此能够抑制基准块大小信息18所需的代码量。
[0081] 此外，虽然在图2中没有特别图示，但是图像编码装置也可以是具备基准块大小 决定部来决定基准块大小信息18的结构，该基准块大小决定部用于决定Mmax、Lp 的值并 通知给各部。
[0082] 预测部4基于根据基准块大小信息18导出的运动预测单位块大小Q、Μρ执行使 用图3、图4的分割图案的运动检测处理。图5是表示预测部4的动作的流程图。预测部4 以Q XMi像素的运动预测单位块为单位对该帧的Q成分进行运动预测。基本上，在该过程 中，关于图4的mcjnodeO?7的各个分割图案，在所指定的运动搜索范围内检测每个分割 区域的最优运动矢量，最终决定关于该运动预测单位块使用mcjnodeO?7中的哪个运动预 测模式的情况下预测效率最高。
[0083] 预测效率是通过根据运动预测单位块内的运动矢量的总代码量R、以及根据适用 该运动矢量来保存在存储器16内的参照图像生成的预测信号12与输入影像信号1之间的 预测误差量D导出的下述成本J来进行定义。预测部4构成为输出该成本J为最小的运动 预测模式和运动矢量。
[_4] J = D+XR(X :常数）⑴
[0085] 因此，预测部4首先对各运动预测模式mC_m〇dek进行成本J k的计算（步骤ST1)。 图6中以mc_mode5的事例为例说明成本J的计算方法。此时，帧F (t)内的被预测对象的运 动预测单位块由两个分割区域构成。另外，设存储器16内保存有两张已完成编码?局 部解码的参照图像F'（t-l)、F'（t-2)，分割区域能够使用这两张参照图像F'（t-1)、 F'（t-2)来进行运动预测。在图6中，分割区域仏使用参照图像F'（t-2)来检测运动矢量 分割区域&使用参照图像F'（t-Ι)来检测运动矢量MUBD。当将B设为分割 区域，将S n(x)设为第η帧的画面内位置x= (i，j)处的像素值，将v设为运动矢量时，能 够使用差分绝对值和（Sum of Absolute Difference, SAD)作为下式（2)计算分割区域B 的预测误差量D。
[οοε

【权利要求】
1. 一种图像解码装置，将把运动图像信号的各帧分割为块、并对所述块进行运动预测 并进行了预测编码的比特流作为输入，对所述运动图像信号进行解码，该图像解码装置的 特征在于，具备 ： 解码部，从所述比特流对用于与所述块对应的第一运动预测单位块的第一运动预测模 式进行解码，并且在所述第一运动预测模式不是跳过模式、而且对所述块分层地进行分割 的情况下，对用于分层地进行分割而得到的第二运动预测单位块的第二运动预测模式进行 解码； 算术解码部，根据所述块的周边的块的所述第一运动预测模式是否为跳过模式，切换 为了对所述第一运动预测模式进行解码而使用的发生概率；以及 预测部，在所述第一运动预测模式是跳过模式的情况下，根据周边的运动矢量求出预 测矢量并设定为针对所述第一运动预测单位块的运动矢量来生成预测图像，在所述第二运 动预测模式是跳过模式的情况下，根据周边的运动矢量求出预测矢量并设定为针对所述第 二运动预测单位块的运动矢量来生成预测图像。
2. -种图像解码方法，将把运动图像信号的各帧分割为块、并对所述块进行运动预测 并进行了预测编码的比特流作为输入，对所述运动图像信号进行解码，该图像解码方法的 特征在于，包括 ： 解码步骤，从所述比特流对用于与所述块对应的第一运动预测单位块的第一运动预测 模式进行解码，并且在所述第一运动预测模式不是跳过模式、而且对所述块分层地进行分 割的情况下，对用于分层地进行分割而得到的第二运动预测单位块的第二运动预测模式进 行解码； 算术解码步骤，根据所述块的周边的块的所述第一运动预测模式是否为跳过模式，切 换为了对所述第一运动预测模式进行解码而使用的发生概率；以及 预测步骤，在所述第一运动预测模式是跳过模式的情况下，根据周边的运动矢量求出 预测矢量并设定为针对所述第一运动预测单位块的运动矢量来生成预测图像，在所述第二 运动预测模式是跳过模式的情况下，根据周边的运动矢量求出预测矢量并设定为针对所述 第二运动预测单位块的运动矢量来生成预测图像。
3. -种图像解码装置，将把运动图像信号的各帧分割为块、并对所述块进行运动预测 并进行了预测编码的比特流作为输入，对所述运动图像信号进行解码，该图像解码装置的 特征在于，具备 ： 解码部，从所述比特流对决定所述块的大小的信息、表示与块大小有关的阈值的信息 以及用于与所述块对应的第一运动预测单位块的第一运动预测模式进行解码，并且在第一 运动预测模式不是跳过模式、而且第一运动预测单位块大于阈值的情况下，对用于分层地 分割所述第一运动预测单位块而得到的第二运动预测单位块的第二运动预测模式进行解 码； 算术解码部，根据所述块的周边的块的所述第一运动预测模式是否为跳过模式，切换 为了对所述第一运动预测模式进行解码而使用的发生概率；以及 预测部，在所述第一运动预测模式是跳过模式的情况下，根据周边的运动矢量求出预 测矢量并设定为针对所述第一运动预测单位块的运动矢量来生成预测图像，在所述第二运 动预测模式是跳过模式的情况下，根据周边的运动矢量求出预测矢量并设定为针对所述第 二运动预测单位块的运动矢量来生成预测图像。
4. 一种图像解码方法，将把运动图像信号的各帧分割为块、并对所述块进行运动预测 并进行了预测编码的比特流作为输入，对所述运动图像信号进行解码，该图像解码方法的 特征在于，包括 ： 解码步骤，从所述比特流对决定所述块的大小的信息、表示与块大小有关的阈值的信 息以及用于与所述块对应的第一运动预测单位块的第一运动预测模式进行解码，并且在第 一运动预测模式不是跳过模式、而且第一运动预测单位块大于阈值的情况下，对用于分层 地分割所述第一运动预测单位块而得到的第二运动预测单位块的第二运动预测模式进行 解码； 算术解码步骤，根据所述块的周边的块的所述第一运动预测模式是否为跳过模式，切 换为了对所述第一运动预测模式进行解码而使用的发生概率；以及 预测步骤，在所述第一运动预测模式是跳过模式的情况下，根据周边的运动矢量求出 预测矢量并设定为针对所述第一运动预测单位块的运动矢量来生成预测图像，在所述第二 运动预测模式是跳过模式的情况下，根据周边的运动矢量求出预测矢量并设定为针对所述 第二运动预测单位块的运动矢量来生成预测图像。
【文档编号】H04N19/51GK104159111SQ201410444659
【公开日】2014年11月19日 申请日期:2010年5月27日 优先权日:2009年5月29日
【发明者】关口俊一, 杉本和夫, 伊谷裕介, 峯泽彰, 加藤嘉明 申请人:三菱电机株式会社