运动图像编码装置以及运动图像解码装置的制作方法

本申请是申请号为201180018324.2、申请日为2011年3月31日、名称为“运动图像编码装置以及运动图像解码装置”的发明专利申请的分案申请。

本发明涉及将运动图像分割为规定区域并按照区域单位进行编码的运动图像编码装置、和按照规定区域单位对编码了的运动图像进行解码的运动图像解码装置。

背景技术：

以往，在mpeg以及itu－th.26x等国际标准影像编码方式中采用了如下方法：对于影像信号的各帧，以汇总亮度信号16×16像素和对应的色差信号8×8像素量而得到的块数据(称为宏块)为单位，根据运动补偿技术以及正交变换/变换系数量化技术进行压缩。

运动补偿技术是指，利用在视频帧之间存在的高的相关而针对每个宏块削减时间方向的信号的冗余度(redundancy)的技术，是如下技术：预先将过去已编码的帧作为参照图像而储存到存储器内，从参照图像中的规定的搜索范围内，搜索与成为运动补偿预测的对象的当前宏块的差分电力最小的块区域，将当前宏块的空间位置与参照图像中的搜索结果块的空间位置的偏移作为运动矢量进行编码。

另外，在正交变换/变换系数量化技术中，通过对从当前宏块减去根据上述运动补偿预测的结果所得到的预测信号而得到的差分信号进行正交变换以及量化，实现了信息量的压缩。

在mpeg－4visual中，成为运动补偿预测的单位的块大小的最小值是8×8像素，在正交变换中也使用了8×8像素大小的dct(离散余弦变换)。相对于此，在mpeg－4avc(movingpictureexpertsgroup－4advancedvideocoding，运动图像专家组－4高级视频编码)(itu－th.264)中，为了在目标的边界等空间方向的像素间相关小的区域中也高效地进行编码，而准备了比8×8像素小的块大小下的运动补偿预测，另外在正交变换中能够将8×8像素和4×4像素的整数精度的dct适应性地切换为宏块单位来进行压缩编码。

在这样的以往的国际标准影像编码方式中，由于宏块大小被固定，特别是在图像的分辨率变高的情况下，在固定的宏块大小下，宏块所覆盖的区域易于成为局部。于是，发生如下情形：在周边宏块中成为相同的编码模式，或者分配相同的运动矢量。在这样的情形中，尽管预测效率未提高，但被编码的编码模式信息以及运动矢量信息等开销会增加，所以作为编码器整体，编码效率降低。

针对这样的问题，有根据图像的分辨率或者内容来切换宏块大小的装置(例如，参照专利文献1)。在专利文献1的运动图像编码装置中，能够切换可根据宏块大小而选择的正交变换块大小或者正交变换块大小的组来进行压缩编码。

专利文献1：国际公开wo2007/034918号

技术实现要素：

但是，在以往的国际标准影像编码方式以及专利文献1的发明中，无法在宏块内切换多个正交变换块大小来进行变换，所以特别是在宏块内存在运动或者图样不同的目标的情况下，具有编码效率降低这样的课题。

本发明是为了解决上述那样的课题而完成的，其目的在于得到一种运动图像编码装置以及运动图像解码装置，能够针对成为宏块内的运动补偿预测的单位的每个区域，适应性地切换正交变换块大小来进行压缩编码。

本发明的运动图像编码装置具备从根据块图像的块大小而预先决定的变换块大小的组中将规定的变换块大小指示给变换/量化部的编码控制部，变换/量化部将预测差分信号分割为从编码控制部指示的变换块大小的块而进行变换以及量化处理，生成压缩数据。

在本发明的运动图像解码装置中，逆量化/逆变换部根据所解码出的编码模式和压缩参数中包含的变换块大小信息来决定变换块大小，按照该变换块大小的块单位对压缩数据进行逆变换以及逆量化处理。

根据本发明，从根据块图像的块大小而预先决定的变换块大小的组中选择规定的变换块大小，将预测差分信号分割为该变换块大小的块来进行变换以及量化处理而生成压缩数据，所以能够得到可针对成为宏块内的运动补偿预测的单位的每个区域适应性地切换变换块大小而进行压缩编码的运动图像编码装置以及运动图像解码装置。

附图说明

图1是示出本发明的实施方式1的运动图像编码装置的结构的框图。

图2a是示出进行时间方向的预测编码的图片的编码模式的一个例子的图。

图2b是示出进行时间方向的预测编码的图片的编码模式的另一例子的图。

图3是示出实施方式1的运动图像编码装置的运动补偿预测部的内部结构的框图。

图4是说明与编码模式对应的运动矢量的预测值的决定方法的图。

图5是示出与编码模式对应的变换块大小的适应化的一个例子的图。

图6是示出与编码模式对应的变换块大小的适应化的另一例子的图。

图7是示出实施方式1的运动图像编码装置的变换/量化部的内部结构的框图。

图8是示出本发明的实施方式1的运动图像解码装置的结构的框图。

图9是示出本发明的实施方式2的运动图像编码装置的可变长编码部的内部结构的框图。

图10是示出2值化表格的一个例子的图，示出更新前的状态。

图11是示出概率表格的一个例子的图。

图12是示出状态变化表格的一个例子的图。

图13是说明上下文识别信息的生成过程的图，图13的(a)是通过二叉树表现来示出2值化表格的图，图13的(b)是示出编码对象宏块与周边块的位置关系的图。

图14是示出2值化表格的一个例子的图，示出更新后的状态。

图15是示出本发明的实施方式2的运动图像解码装置的可变长解码部的内部结构的框图。

图16是示出本发明的实施方式3的运动图像编码装置的运动补偿预测部所具备的插值图像生成部的内部结构的框图。

(符号说明)

1：输入影像信号；2：块分割部；3：编码控制部；4：宏块大小；5：宏/子块图像；6：切换部；7：编码模式；7a：最佳编码模式；8：内部预测部；9：运动补偿预测部；10：预测参数；10a：最佳预测参数；11：预测图像；12：减法部；13：预测差分信号；13a：最佳预测差分信号；14：运动补偿预测帧存储器；15：参照图像；17：预测图像；18：预测参数；18a：最佳预测参数；19：变换/量化部；20：压缩参数；20a：最佳压缩参数；21：压缩数据；22：逆量化/逆变换部；23：可变长编码部；24：局部解码预测差分信号；25：加法部；26：局部解码图像信号；27：环路滤波器部；28：内部预测用存储器；29：局部解码图像；30：比特流；40：运动补偿区域分割部；41：运动补偿区域块图像；42：运动检测部；43：插值图像生成部；44：运动矢量；45：预测图像；50：变换块大小分割部；51：变换对象块；52：变换部；53：变换系数；54：量化部；60：比特流；61：可变长解码部；62：最佳编码模式；63：最佳预测参数；64：压缩数据；65：最佳压缩参数；66：逆量化/逆变换部；67：预测差分信号解码值；68：切换部；69：内部预测部；70：运动补偿预测部；71：预测图像；72：预测图像；73：加法部；74、74a：解码图像；75：运动补偿预测帧存储器；76：参照图像；77：内部预测用存储器；78：环路滤波器部；79：再生图像；90：初始化部；91：上下文信息初始化标志；92：2值化部；93：频度信息生成部；94：频度信息；95：2值化表格更新部；96：上下文信息存储器；97：概率表格存储器；98：状态变化表格存储器；99：上下文生成部；100：类别信号；101：周边块信息；102：上下文识别信息；103：2值信号；104：算术编码处理运算部；105：2值化表格存储器；106：上下文信息；107：概率表格编号；108：mps发生概率；109：码元值；110：概率表格编号；111：编码比特列；112：2值化表格更新识别信息；113：2值化表格更新标志；120：初始化部；121：上下文初始化信息；122：上下文生成部；123：类别信号；124：周边块信息；126：上下文识别信息；127：算术解码处理运算部；128：上下文信息存储器；129：上下文信息；130：概率表格编号；131：概率表格存储器；132：mps发生概率；133：编码比特列；134：码元值；135：状态变化表格存储器；136：概率表格编号；137：2值信号；138：逆2值化部；139：2值化表格；140：解码值；141：2值化表格更新部；142：2值化表格更新标志；143：2值化表格存储器；144：2值化表格更新识别信息；200：图像缩小处理部；201a、201b：高频特征抽出部；202：相关计算部；203：高频分量推测部；204：高频分量图案存储器；205：图像放大处理部；206：加法部；207：虚拟像素精度的参照图像。

具体实施方式

以下，参照附图，详细说明本发明的实施方式。

实施方式1.

在本实施方式1中，说明将影像的各帧图像作为输入而在邻近帧之间进行运动补偿预测并对所得到的预测差分信号实施了基于正交变换/量化的压缩处理之后进行可变长编码来生成比特流的运动图像编码装置、以及对该比特流进行解码的运动图像解码装置。

图1是示出本发明的实施方式1的运动图像编码装置的结构的框图。图1所示的运动图像编码装置包括：块分割部2，输出把将输入影像信号1的各帧图像分割为宏块大小4的多个块得到的宏块图像根据编码模式7而分割为1个以上的子块得到的宏/子块图像5；内部预测部8，如果输入了宏/子块图像5，则使用内部预测用存储器28的图像信号对该宏/子块图像5进行帧内预测而生成预测图像11；运动补偿预测部9，如果输入了宏/子块图像5，则使用运动补偿预测帧存储器14的参照图像15对该宏/子块图像5进行运动补偿预测而生成预测图像17；切换部6，根据编码模式7，将宏/子块图像5输入到内部预测部8或者运动补偿预测部9中的某一方；减法部12，从块分割部2所输出的宏/子块图像5，减去内部预测部8或者运动补偿预测部9中的某一方所输出的预测图像11、17，而生成预测差分信号13；变换/量化部19，对预测差分信号13进行变换以及量化处理而生成压缩数据21；可变长编码部23，对压缩数据21进行熵编码而复用到比特流30；逆量化/逆变换部22，对压缩数据21进行逆量化以及逆变换处理而生成局部解码预测差分信号24；加法部25，针对逆量化/逆变换部22相加内部预测部8或者运动补偿预测部9中的某一方所输出的预测图像11、17而生成局部解码图像信号26；内部预测用存储器28，保存局部解码图像信号26；环路滤波器部27，对局部解码图像信号26进行滤波处理而生成局部解码图像29；以及运动补偿预测帧存储器14，保存局部解码图像29。

编码控制部3输出各部的处理所需的信息(宏块大小4、编码模式7、最佳编码模式7a、预测参数10、最佳预测参数10a、18a、压缩参数20、最佳压缩参数20a)。以下，详细说明宏块大小4以及编码模式7。在后面详细叙述其他信息。

编码控制部3向块分割部2指定输入影像信号1的各帧图像的宏块大小4，并且针对编码对象的每个宏块，指示可根据图片类型选择的所有编码模式7。

另外，编码控制部3虽然能够从编码模式的组中选择规定的编码模式，但该编码模式的组是任意的，例如能够从以下所示的图2a或者图2b的组中选择规定的编码模式。

图2a是表示进行时间方向的预测编码的p(predictive，预测)图片的编码模式的例子的图。在图2a中，mb_mode0～2是通过帧间预测对宏块(m×l像素块)进行编码的模式(inter)。mb_mode0是对宏块全体分配1个运动矢量的模式，mb_mode1、2分别是水平或者垂直地将宏块进行等分，并对所分割的各子块分别分配不同的运动矢量的模式。

mb_mode3是将宏块进行4分割，并对所分割的各子块分配不同的编码模式(sub_mb_mode)的模式。

sub_mb_mode0～4是在宏块的编码模式中选择了mb_mode3时，针对将该宏块进行4分割而得到的各子块(m×l像素块)分别分配的编码模式，sub_mb_mode0是通过帧内预测对子块进行编码的模式(intra)。除此以外是通过帧间预测进行编码的模式(inter)，sub_mb_mode1是对子块全体分配1个运动矢量的模式，sub_mb_mode2、3分别是水平或者垂直地将子块进行等分，并针对所分割的各子块分别分配不同的运动矢量的模式，sub_mb_mode4是将子块进行4分割，并对所分割的各子块分配不同的运动矢量的模式。

另外，图2b是示出进行时间方向的预测编码的p图片的编码模式的另一例子的图。在图2b中，mb_mode0～6是通过帧间预测对宏块(m×l像素块)进行编码的模式(inter)。mb_mode0是对宏块全体分配1个运动矢量的模式，mb_mode1～6分别是在水平、垂直或者对角方向上分割宏块，并针对所分割的各子块分别分配不同的运动矢量的模式。

mb_mode7是将宏块进行4分割，并对所分割的各子块分配不同的编码模式(sub_mb_mode)的模式。

sub_mb_mode0～8是在宏块的编码模式中选择了mb_mode7时，针对将该宏块进行4分割得到的各子块(m×l像素块)分别分配的编码模式，sub_mb_mode0是通过帧内预测对子块进行编码的模式(intra)。除此以外是通过帧间预测进行编码的模式(inter)，sub_mb_mode1是对子块全体分配1个运动矢量的模式，sub_mb_mode2～7分别是在水平、垂直或者对角方向上分割子块，并对所分割的各子块分别分配不同的运动矢量的模式，sub_mb_mode8是将子块进行4分割，并对所分割的各子块分配不同的运动矢量的模式。

块分割部2将输入到运动图像编码装置的输入影像信号1的各帧图像，分割为从编码控制部3指定的宏块大小4的宏块图像。而且，块分割部2在从编码控制部3指定的编码模式7包括针对将宏块进行分割得到的子块分配不同的编码模式的模式(图2a的sub_mb_mode1～4或者图2b的sub_mb_mode1～8)的情况下，将宏块图像分割为编码模式7表示的子块图像。因此，从块分割部2输出的块图像根据编码模式7而成为宏块图像或者子块图像中的某一方。以下，将该块图像称为宏/子块图像5。

另外，在输入影像信号1的各帧的水平或者垂直大小不是宏块大小4的各个水平大小或者垂直大小的整数倍时，针对输入影像信号1的各帧，生成直至帧大小成为宏块大小的整数倍为止在水平方向或者垂直方向上使像素扩展的帧(扩展帧)。作为扩展区域的像素的生成方法，例如有在垂直方向上使像素扩展的情况下反复填补原来的帧的下端的像素、或者用具有固定的像素值(灰、黑、白等)的像素来填补等的方法。在水平方向上使像素扩展的情况下，也同样地有反复填补原来的帧的右端的像素、或者用具有固定的像素值(灰、黑、白等)的像素来填补等的方法。代替输入影像信号1的各帧图像而将针对输入影像信号1的各帧而生成的帧大小是宏块大小的整数倍的扩展帧输入到块分割部2。

另外，为了按照由1帧以上的图片构成的序列单位或者图片单位复用到比特流，而向可变长编码部23输出宏块大小4以及输入影像信号1的各帧的帧大小(水平大小以及垂直大小)。

另外，也可以不将宏块大小的值直接复用到比特流，而是用分布图(profile)等来进行规定。在该情况下，用于按照序列单位来识别分布图的识别信息被复用到比特流中。

切换部6是根据编码模式7对宏/子块图像5的输入目的地进行切换的开关。该切换部6在编码模式7是通过帧内预测进行编码的模式(以下，称为帧内预测模式)的情况下，将宏/子块图像5输入到内部预测部8，在编码模式7是通过帧间预测进行编码的模式(以下，称为帧间预测模式)的情况下，将宏/子块图像5输入到运动补偿预测部9。

内部预测部8对于所输入的宏/子块图像5，以通过宏块大小4指定的编码对象的宏块或者通过编码模式7指定的子块为单位，进行帧内预测。另外，内部预测部8对于从编码控制部3指示的预测参数10中包含的所有内部预测模式，使用内部预测用存储器28内保存的帧内的图像信号，分别生成预测图像11。

此处，详细说明预测参数10。在编码模式7是帧内预测模式的情况下，编码控制部3将内部预测模式指定为与该编码模式7对应的预测参数10。在该内部预测模式中，例如有如下模式等：使宏块或者子块内成为4×4像素块单位而使用内部预测用存储器28内的图像信号的单位块周围的像素来生成预测图像的模式；使宏块或者子块内成为8×8像素块单位而使用内部预测用存储器28内的图像信号的单位块周边的像素来生成预测图像的模式；使宏块或者子块内成为16×16像素块单位而使用内部预测用存储器28内的图像信号的单位块周边的像素来生成预测图像的模式；根据使宏块或者子块内缩小而得到的图像生成预测图像的模式。

运动补偿预测部9从运动补偿预测帧存储器14中保存的1帧以上的参照图像数据中，指定在预测图像生成中使用的参照图像15，使用该参照图像15和宏/子块图像5，进行与从编码控制部3指示的编码模式7对应的运动补偿预测，生成预测参数18和预测图像17。

此处，详细说明预测参数18。在编码模式7是帧间预测模式的情况下，运动补偿预测部9求出运动矢量、各运动矢量所指的参照图像的识别编号(参照图像索引)等而作为与该编码模式7对应的预测参数18。在后面详细叙述预测参数18的生成方法。

减法部12从宏/子块图像5减去预测图像11或者预测图像17中的某一方，而得到预测差分信号13。另外，根据预测参数10所指定的所有内部预测模式，针对内部预测部8所生成的所有预测图像11，分别生成预测差分信号13。

由编码控制部3评价根据预测参数10所指定的所有内部预测模式分别生成的预测差分信号13，决定包括最佳的内部预测模式的最佳预测参数10a。作为评价方法，例如使用对预测差分信号13进行变换、量化而得到的压缩数据21，计算后述的编码开销j2，选择使编码开销j2成为最小的内部预测模式。

编码控制部3评价在内部预测部8或者运动补偿预测部9中针对编码模式7中包含的所有模式分别生成的预测差分信号13，根据评价结果，从编码模式7中决定可得到最佳的编码效率的最佳编码模式7a。另外，编码控制部3从预测参数10、18以及压缩参数20中决定与最佳编码模式7a对应的最佳预测参数10a、18a以及最佳压缩参数20a。关于各个决定过程在后面叙述。

另外，如上所述，在帧内预测模式的情况下，在预测参数10以及最佳预测参数10a中包括内部预测模式。另一方面，在帧间预测模式的情况下，在预测参数18以及最佳预测参数18a中包括运动矢量、各运动矢量所指的参照图像的识别编号(参照图像索引)等。

另外，在压缩参数20以及最佳压缩参数20a中，包括变换块大小、量化步长(quantizationstepsize)等。

该决定过程的结果，编码控制部3将针对编码对象的宏块或者子块的最佳编码模式7a、最佳预测参数10a、18a、最佳压缩参数20a输出到可变长编码部23。另外，编码控制部3将压缩参数20中的最佳压缩参数20a输出到变换/量化部19以及逆量化/逆变换部22。

变换/量化部19在与编码模式7中包含的所有模式对应地生成的多个预测差分信号13中，选择与根据编码控制部3所决定的最佳编码模式7a及最佳预测参数10a、18a而生成的预测图像11、17对应的预测差分信号13(以下，称为最佳预测差分信号13a)，并针对该最佳预测差分信号13a，根据由编码控制部3所决定的最佳压缩参数20a的变换块大小，实施dct等变换处理，从而计算变换系数，并且根据从编码控制部3指示的最佳压缩参数20a的量化步长对该变换系数进行量化，将作为量化后的变换系数的压缩数据21输出到逆量化/逆变换部22以及可变长编码部23。

逆量化/逆变换部22使用最佳压缩参数20a，对从变换/量化部19输入的压缩数据21进行逆量化，并实施逆dct等逆变换处理，从而生成预测差分信号13a的局部解码预测差分信号24，并输出到加法部25。

加法部25将局部解码预测差分信号24、与预测图像11或者预测图像17进行相加而生成局部解码图像信号26，将该局部解码图像信号26输出到环路滤波器部27，并且保存到内部预测用存储器28中。该局部解码图像信号26成为帧内预测用的图像信号。

环路滤波器部27对从加法部25输入的局部解码图像信号26进行规定的滤波处理，并将滤波处理后的局部解码图像29保存到运动补偿预测帧存储器14中。该局部解码图像29成为运动补偿预测用的参照图像15。关于环路滤波器部27的滤波处理，既可以按照所输入的局部解码图像信号26的宏块单位来进行，也可以在输入了与1个画面量的宏块相当的局部解码图像信号26之后汇总与1个画面相应的量来进行。

可变长编码部23对从变换/量化部19输出的压缩数据21、从编码控制部3输出的最佳编码模式7a、最佳预测参数10a、18a、以及最佳压缩参数20a进行熵编码，生成表示这些编码结果的比特流30。另外，按照与最佳编码模式7a指示的编码模式对应的单位，对最佳预测参数10a、18a和最佳压缩参数20a进行编码。

如上所述，在本实施方式1的运动图像编码装置中，运动补偿预测部9以及变换/量化部19与编码控制部3协作地分别进行动作，从而决定得到最佳的编码效率的编码模式、预测参数、压缩参数(即，最佳编码模式7a、最佳预测参数10a、18a、最佳压缩参数20a)。

此处，关于由编码控制部3进行的得到最佳的编码效率的编码模式、预测参数、压缩参数的决定过程，按照1.预测参数、2.压缩参数、3.编码模式的顺序进行说明。

1.预测参数的决定过程

此处，说明在编码模式7是帧间预测模式时对包括与该帧间预测相关的运动矢量、各运动矢量所指的参照图像的识别编号(参照图像索引)等的预测参数18进行决定的过程。

在运动补偿预测部9中，与编码控制部3协作地针对从编码控制部3向运动补偿预测部9指示的所有编码模式7(例如图2a或者图2b所示的编码模式的组)分别决定预测参数18。以下，说明其详细的过程。

图3是示出运动补偿预测部9的内部结构的框图。图3所示的运动补偿预测部9包括运动补偿区域分割部40、运动检测部42、以及插值图像生成部43。另外，作为输入数据，有从编码控制部3输入的编码模式7、从切换部6输入的宏/子块图像5、以及从运动补偿预测帧存储器14输入的参照图像15。

运动补偿区域分割部40根据从编码控制部3指示的编码模式7，将从切换部6输入的宏/子块图像5分割为成为运动补偿的单位的块，并将该运动补偿区域块图像41输出到运动检测部42。

插值图像生成部43从保存在运动补偿预测帧存储器14中的1帧以上的参照图像数据中，指定预测图像生成中使用的参照图像15，运动检测部42在所指定的参照图像15上的规定的运动搜索范围内检测运动矢量44。另外，与mpeg－4avc规格等同样地，利用虚拟采样精度的运动矢量来进行运动矢量的检测。在该检测方法中，针对参照图像具有的像素信息(称为整数像素)，在整数像素之间通过内插运算来作出虚拟的采样(像素)，并将其用作预测图像，在mpeg－4avc规格中，能够生成并利用1/8像素精度的虚拟采样。另外，在mpeg－4avc规格中，通过由在垂直方向或者水平方向上使用了6个整数像素的6抽头的滤波器进行的内插运算，生成1/2像素精度的虚拟采样。通过使用了相邻的1/2像素或者整数像素的平均值滤波器的内插运算，生成1/4像素精度的虚拟采样。

在本实施方式1中的运动补偿预测部9中，插值图像生成部43也生成与从运动检测部42指示的运动矢量44的精度对应的虚拟像素的预测图像45。以下，示出虚拟像素精度的运动矢量检测过程的一个例子。

运动矢量检测过程i

插值图像生成部43生成与运动补偿区域块图像41的规定的运动搜索范围内存在的整数像素精度的运动矢量44对应的预测图像45。以整数像素精度生成的预测图像45(预测图像17)被输出到减法部12，通过减法部12从运动补偿区域块图像41(宏/子块图像5)相减而成为预测差分信号13。编码控制部3对预测差分信号13和整数像素精度的运动矢量44(预测参数18)进行预测效率的评价。在预测效率的评价中，例如通过下式(1)计算预测开销j1，决定在规定的运动搜索范围内使预测开销j1成为最小的整数像素精度的运动矢量44。

j1＝d1+λr1(1)

此处，设使用d1、r1作为评价值。d1是预测差分信号的宏块内或者子块内的绝对值和(sad)，r1是运动矢量以及该运动矢量所指的参照图像的识别编号的推测代码量，λ是正数。

另外，在求评价值r1时，关于运动矢量的代码量，使用附近的运动矢量的值来预测图2a或者图2b的各模式下的运动矢量的值，根据概率分布对预测差分值进行熵编码而求出，或者进行与其相当的代码量推测来求出。

图4是说明图2b所示的各编码模式7的运动矢量的预测值(以下，称为预测矢量)的决定方法的图。在图4中，在mb_mode0、sub_mb_mode1等的矩形块中，使用位于其左边(位置a)、上(位置b)、右上(位置c)的分别已编码的运动矢量mva、mvb、mvc，根据下式(2)来计算该矩形块的预测矢量pmv。median()对应于中值滤波处理，是输出运动矢量mva、mvb、mvc的中值的函数。

pmv＝median(mva、mvb、mvc)(2)

另一方面，在具有对角形状的对角块mb_mode1、sub_mb_mode2、mb_mode2、sub_mb_mode3、mb_mode3、sub_mb_mode4、mb_mode4、sub_mb_mode5的情况下，为了能够应用与矩形块同样的处理，而根据对角形状来变更取中值的位置a、b、c的位置。由此，无需变更计算预测矢量pmv的方法自身，而能够根据各运动矢量分配区域的形状来进行计算，能够将评价值r1的开销抑制得较小。

运动矢量检测过程ii

插值图像生成部43针对在上述“运动矢量检测过程i”中决定的整数像素精度的运动矢量的周围存在的1个以上的1/2像素精度的运动矢量44，生成预测图像45。以下，与上述“运动矢量检测过程i”同样地，通过减法部12从运动补偿区域块图像41(宏/子块图像5)减去以1/2像素精度生成的预测图像45(预测图像17)，而得到预测差分信号13。接下来，编码控制部3针对该预测差分信号13和1/2像素精度的运动矢量44(预测参数18)进行预测效率的评价，从在整数像素精度的运动矢量的周围存在的1个以上的1/2像素精度的运动矢量中，决定使预测开销j1成为最小的1/2像素精度的运动矢量44。

运动矢量检测过程iii

编码控制部3和运动补偿预测部9针对1/4像素精度的运动矢量也同样地，从在上述“运动矢量检测过程ii”中决定的1/2像素精度的运动矢量的周围存在的1个以上的1/4像素精度的运动矢量中，决定使预测开销j1成为最小的1/4像素精度的运动矢量44。

运动矢量检测过程iv

以下同样地，编码控制部3和运动补偿预测部9直至成为规定的精度为止进行虚拟像素精度的运动矢量的检测。

另外，在本实施方式中，直至成为规定的精度为止进行虚拟像素精度的运动矢量的检测，但也可以例如预先决定针对预测开销的阈值，在预测开销j1小于规定的阈值的情况下，在成为规定的精度之前，中止虚拟像素精度的运动矢量的检测。

另外，关于运动矢量，也可以参照由参照帧大小规定的帧以外的像素。在该情况下，需要生成帧外的像素。作为帧外的像素的生成方法之一，有用画面端的像素来填补等的方法。

另外，在输入影像信号1的各帧的帧大小并非是宏块大小的整数倍时代替输入影像信号1的各帧而输入了扩展帧的情况下，扩展为宏块大小的整数倍的大小(扩展帧的大小)成为参照帧的帧大小。另一方面，在不参照扩展区域的局部解码部分而仅将针对原来帧的局部解码部分作为帧内的像素而进行参照的情况下，参照帧的帧大小成为原来的输入影像信号的帧大小。

这样，运动补偿预测部9针对在宏/子块图像5内以成为编码模式7表示的运动补偿的单位的块单位进行分割而得到的运动补偿区域块图像41，输出分别决定的规定精度的虚拟像素精度的运动矢量和该运动矢量所指的参照图像的识别编号而作为预测参数18。另外，运动补偿预测部9将利用该预测参数18生成的预测图像45(预测图像17)输出到减法部12，通过减法部12从宏/子块图像5相减而得到预测差分信号13。从减法部12输出的预测差分信号13被输出到变换/量化部19。

2.压缩参数的决定过程

此处，说明决定对根据在上述“1.预测参数的决定过程”中针对每个编码模式7决定的预测参数18而生成的预测差分信号13进行变换、量化处理时使用的压缩参数20(变换块大小)的过程。

图5是示出与图2b所示的编码模式7对应的变换块大小的适应化的一个例子的图。在图5中，例如，作为m×l像素块使用了32×32像素块。在编码模式7指定的模式是mb_mode0～6时，关于变换块大小，能够适应性地选择16×16或者8×8像素中的某一方。在编码模式7是mb_mode7时，关于变换块大小，能够针对将宏块进行4分割而得到的16×16像素子块的每一个，从8×8或者4×4像素中适应性地进行选择。

另外，关于能够针对各个编码模式的每一个进行选择的变换块大小的组，能够从通过编码模式而均等分割的子块大小以下的任意的矩形块大小中进行定义。

图6是示出与图2b所示的编码模式7对应的变换块大小的适应化的另一例子的图。在图6的例子中，在编码模式7指定的模式是上述mb_mode0、5、6时，作为可选择的变换块大小，除了16×16、8×8像素以外，还能够选择与作为运动补偿的单位的子块的形状对应的变换块大小。在mb_mode0的情况下，能够从16×16、8×8、32×32像素中适应性地进行选择。在mb_mode5的情况下，能够从16×16、8×8、16×32像素中适应性地进行选择。在mb_mode6的情况下，能够从16×16、8×8、32×16像素中适应性地进行选择。另外，虽然省略了图示，但也可以进行如下那样的适应化：在mb_mode7的情况下，能够从16×16、8×8、16×32像素中适应性地进行选择，在mb_mode1～4的情况下，针对不是矩形的区域从16×16、8×8像素中进行选择，针对矩形的区域从8×8、4×4像素中进行选择。

编码控制部3将与图5以及图6中例示的编码模式7对应的变换块大小的组作为压缩参数20。

另外，在图5以及图6的例子中，根据宏块的编码模式7，预先决定可选择的变换块大小的组，使得能够按照宏块单位或者子块单位适应性地进行选择，但也可以同样地根据将宏块进行分割而得到的子块的编码模式7(图2b的sub_mb_mode1～8等)，预先决定可选择的变换块大小的组，使得能够按照子块单位或者将子块进一步进行分割而得到的块单位适应性地进行选择。

同样地，编码控制部3在使用图2a所示的编码模式7的情况下，也可以预先决定与该编码模式7对应的变换块大小的组，使得能够适应性地进行选择。

变换/量化部19与编码控制部3进行协作，按照由宏块大小4指定的宏块单位、或者按照将该宏块单位根据编码模式7进一步进行分割而得到的子块单位，从变换块大小中决定最佳的变换块大小。以下，说明其详细的过程。

图7是示出变换/量化部19的内部结构的框图。图7所示的变换/量化部19包括变换块大小分割部50、变换部52、以及量化部54。另外，作为输入数据，有从编码控制部3输入的压缩参数20(变换块大小以及量化步长等)、和从编码控制部3输入的预测差分信号13。

变换块大小分割部50将作为决定变换块大小的对象的每个宏块或者每个子块的预测差分信号13，变换为与压缩参数20的变换块大小对应的块，并作为变换对象块51而输出到变换部52。

另外，在通过压缩参数20针对1个宏块或者子块选择指定了多个变换块大小的情况下，将各变换块大小的变换对象块51依次输出到变换部52。

变换部52针对所输入的变换对象块51，依照dct、用整数对dct的变换系数进行了近似的整数变换、阿达玛变换(hadamardtransform)等变换方式，实施变换处理，并将生成的变换系数53输出到量化部54。

量化部54依照从编码控制部3指示的压缩参数20的量化步长，对输入的变换系数53进行量化，将作为量化后的变换系数的压缩数据21输出到逆量化/逆变换部22以及编码控制部3。

另外，变换部52以及量化部54在通过压缩参数20针对1个宏块或者子块选择指定了多个变换块大小的情况下，对这些所有的变换块大小进行上述变换、量化处理，输出各个压缩数据21。

从量化部54输出的压缩数据21被输入到编码控制部3，用于针对压缩参数20的变换块大小的编码效率的评价。编码控制部3关于编码模式7中包含的各个编码模式，使用针对可选择的所有变换块大小的每一个而得到的压缩数据21，例如根据下式(3)计算编码开销j2，选择使编码开销j2成为最小的变换块大小。

j2＝d2+λr2(3)

此处，设使用d2、r2作为评价值。作为d2，使用局部解码图像信号26与宏/子块图像5之间的平方失真和等，其中，该局部解码图像信号26是通过如下方式得到的，即，将针对变换块大小得到的压缩数据21输入到逆量化/逆变换部22，并对针对压缩数据21进行逆变换、逆量化处理而得到的局部解码预测差分信号24相加预测图像17，从而得到局部解码图像信号26。作为r2，使用通过可变长编码部23对针对变换块大小得到的压缩数据21、和针对与压缩数据21相关的编码模式7以及预测参数10、18实际上进行编码而得到的代码量(或者推测代码量)。

编码控制部3在通过后述“3.编码模式的决定过程”决定了最佳编码模式7a之后，选择与所决定的最佳编码模式7a对应的变换块大小并使其包含于最佳压缩参数20a，输出到可变长编码部23。可变长编码部23在对该最佳压缩参数20a进行了熵编码之后复用到比特流30。

此处，根据宏块或者子块的最佳编码模式7a从预先定义的变换块大小组(图5以及图6中例示)中选择变换块大小，所以也可以针对每个变换块大小组，对该组中包含的变换块大小分配id等识别信息，将该识别信息作为变换块大小的信息进行熵编码并复用到比特流30。在该情况下，在解码装置侧也设定变换块大小组的识别信息。但是，在变换块大小组中包含的变换块大小是1个的情况下，在解码装置侧能够从组中自动地决定变换块大小，所以无需在编码装置侧将变换块大小的识别信息复用到比特流30。

3.编码模式的决定过程

如果通过上述“1.预测参数的决定过程”以及“2.压缩参数的决定过程”，针对编码控制部3所指示的所有编码模式7分别决定了预测参数10、18以及压缩参数20，则编码控制部3利用对使用各个编码模式7和此时的预测参数10、18以及压缩参数20得到的预测差分信号13进一步进行变换、量化而得到的压缩数据21，根据上式(3)求出编码开销j2变小的编码模式7，并将该编码模式7选择为该宏块的最佳编码模式7a。

另外，也可以从对图2a或者图2b所示的编码模式作为宏块或者子块的模式而加上跳跃模式而得到的所有编码模式中，决定最佳编码模式7a。跳跃模式是指，将在编码装置侧使用相邻的宏块或者子块的运动矢量进行了运动补偿的预测图像作为局部解码图像信号的模式，无需计算编码模式以外的预测参数、压缩参数而复用到比特流，所以能够抑制代码量而进行编码。在解码装置侧，输出通过与编码装置侧同样的过程使用相邻的宏块或者子块的运动矢量进行了运动补偿的预测图像而作为解码图像信号。

另外，在输入影像信号1的各帧的帧大小不是宏块大小的整数倍时代替输入影像信号1的各帧而输入了扩展帧的情况下，也可以对包括扩展区域的宏块或者子块进行控制使得仅选择跳跃模式，从而以抑制扩展区域中耗费的代码量的方式决定编码模式。

编码控制部3将通过以上的“1.预测参数的决定过程”、“2.压缩参数的决定过程”、“3.编码模式的决定过程”决定的得到最佳的编码效率的最佳编码模式7a输出到可变长编码部23，并且将与该最佳编码模式7a对应的预测参数10、18选择为最佳预测参数10a、18a，同样地将与最佳编码模式7a对应的压缩参数20选择为最佳压缩参数20a，并输出到可变长编码部23。可变长编码部23对最佳编码模式7a、最佳预测参数10a、18a以及最佳压缩参数20a进行熵编码，并复用到比特流30。

另外，从基于所决定的最佳编码模式7a、最佳预测参数10a、18a以及最佳压缩参数20a的预测图像11、17得到的最佳预测差分信号13a如上所述通过变换/量化部19被变换、量化而成为压缩数据21，该压缩数据21通过可变长编码部23而被熵编码，并被复用到比特流30。另外，该压缩数据21经由逆量化/逆变换部22、加法部25而成为局部解码图像信号26，输入到环路滤波器部27。

接下来，说明本实施方式1的运动图像解码装置。

图8是示出本发明的实施方式1的运动图像解码装置的结构的框图。图8所示的运动图像解码装置包括：可变长解码部61，从比特流60，按照宏块单位对最佳编码模式62进行熵解码，并且按照根据该解码的最佳编码模式62分割的宏块或者子块单位，对最佳预测参数63、压缩数据64、最佳压缩参数65进行熵解码；内部预测部69，如果输入了最佳预测参数63，则使用该最佳预测参数63中包含的内部预测模式和内部预测用存储器77中保存的解码图像74a，生成预测图像71；运动补偿预测部70，如果输入了最佳预测参数63，则使用该最佳预测参数63中包含的运动矢量、和通过该最佳预测参数63中包含的参照图像索引而确定的运动补偿预测帧存储器75内的参照图像76，进行运动补偿预测而生成预测图像72；切换部68，根据解码出的最佳编码模式62，将可变长解码部61解码出的最佳预测参数63输入到内部预测部69或者运动补偿预测部70中的某一方；逆量化/逆变换部66，使用最佳压缩参数65，对压缩数据64进行逆量化以及逆变换处理，生成预测差分信号解码值67；加法部73，对预测差分信号解码值67相加内部预测部69或者运动补偿预测部70中的某一方输出的预测图像71、72而生成解码图像74；内部预测用存储器77，保存解码图像74；环路滤波器部78，对解码图像74进行滤波处理而生成再生图像79；以及运动补偿预测帧存储器75，保存再生图像79。

在可变长解码部61中，如果本实施方式1的运动图像解码装置接收到比特流60，则对该比特流60进行熵解码处理，按照由1帧以上的图片构成的序列单位或者图片单位，对宏块大小以及帧大小进行解码。另外，在宏块大小没有直接复用到比特流而是通过分布图等规定了的情况下，根据按照序列单位从比特流解码的分布图的识别信息，决定宏块大小。根据各帧的解码宏块大小以及解码帧大小，决定各帧中包含的宏块数，对帧中包含的各宏块的最佳编码模式62、最佳预测参数63、压缩数据64(即，量化变换系数数据)、最佳压缩参数65(变换块大小信息、量化步长)等进行解码。

另外，在解码装置侧解码出的最佳编码模式62、最佳预测参数63、压缩数据64、最佳压缩参数65对应于在编码装置侧编码了的最佳编码模式7a、最佳预测参数10a、18a、压缩数据21、最佳压缩参数20a。

此处，最佳压缩参数65的变换块大小信息是确定从在编码装置侧根据编码模式7按照宏块或者子块单位预先定义的变换块大小组中选择出的变换块大小的识别信息，在解码装置侧根据最佳编码模式62和最佳压缩参数65的变换块大小信息，来确定宏块或者子块的变换块大小。

逆量化/逆变换部66使用从可变长解码部61输入的压缩数据64以及最佳压缩参数65，按照根据变换块大小信息确定的块单位进行逆量化、逆变换处理，计算预测差分信号解码值67。

另外，可变长解码部61在进行运动矢量的解码时，参照已经解码的周边块的运动矢量，通过图4所示的处理来决定预测矢量，并相加从比特流60解码出的预测差分值，从而得到运动矢量的解码值。可变长解码部61使该运动矢量的解码值包含在最佳预测参数63中而输出到切换部68。

切换部68是根据最佳编码模式62来切换最佳预测参数63的输入目的地的开关。该切换部68在从可变长解码部61输入的最佳编码模式62表示帧内预测模式的情况下，同样地将从可变长解码部61输入的最佳预测参数63(内部预测模式)输出到内部预测部69，在最佳编码模式62表示帧间预测模式的情况下，将最佳预测参数63(运动矢量、各运动矢量所指的参照图像的识别编号(参照图像索引)等)输出到运动补偿预测部70。

内部预测部69参照内部预测用存储器77中保存的帧内的解码图像(帧内的已解码图像信号)74a，生成与由最佳预测参数63指示的内部预测模式对应的预测图像71并输出。

另外，内部预测部69的预测图像71的生成方法与编码装置侧的内部预测部8的动作相同，但相对于内部预测部8生成与由编码模式7指示的所有内部预测模式对应的预测图像11，不同点在于该内部预测部69仅生成与由最佳编码模式62指示的内部预测模式对应的预测图像71。

运动补偿预测部70基于由所输入的最佳预测参数63指示的运动矢量、参照图像索引等，从保存在运动补偿预测帧存储器75中的1帧以上的参照图像76生成预测图像72并输出。

另外，运动补偿预测部70的预测图像72的生成方法是在编码装置侧的运动补偿预测部9的动作中去除了从多个参照图像检索运动矢量的处理(相当于图3所示的运动检测部42以及插值图像生成部43的动作)的方法，仅进行依照从可变长解码部61提供的最佳预测参数63来生成预测图像72的处理。运动补偿预测部70与编码装置同样地，在参照由参照帧大小规定运动矢量的帧以外的像素的情况下，通过用画面端的像素来填补帧外的像素等的方法，生成预测图像72。另外，关于参照帧大小，有通过将解码帧大小扩展至成为解码宏块大小的整数倍为止的大小来规定的情况、和通过解码帧大小来规定的情况，通过与编码装置同样的过程来决定参照帧大小。

加法部73将预测图像71或者预测图像72中的某一方、与从逆量化/逆变换部66输出的预测差分信号解码值67进行相加而生成解码图像74。

关于该解码图像74，为了用作以后的用于生成宏块的内部预测图像的参照图像(解码图像74a)，而保存到内部预测用存储器77中，并且输入到环路滤波器部78。

环路滤波器部78进行与编码装置侧的环路滤波器部27相同的动作，生成再生图像79，并从该运动图像解码装置输出。另外，关于该再生图像79，为了用作以后的用于生成预测图像的参照图像76，而保存到运动补偿预测帧存储器75中。另外，对帧内的所有宏块进行解码之后得到的再生图像的大小是宏块大小的整数倍的大小。在再生图像的大小大于与输入到编码装置的影像信号的各帧的帧大小对应的解码帧大小的情况下，在再生图像中，在水平方向或者垂直方向上包含扩展区域。在该情况下，从解码装置输出从再生图像去除扩展区域部分的解码图像而得到的解码图像。

另外，在通过解码帧大小来规定参照帧大小的情况下，在以后的预测图像生成中不参照运动补偿预测帧存储器75中保存的再生图像的扩展区域部分的解码图像。因此，也可以将从再生图像去除扩展区域部分的解码图像而得到的解码图像保存到运动补偿预测帧存储器75中。

通过以上，根据实施方式1的运动图像编码装置，针对根据宏块的编码模式7分割的宏/子块图像5，根据宏块或者子块的大小来预先决定包括多个变换块大小的变换块的组，编码控制部3从变换块大小的组中，使编码效率成为最佳的1个变换块大小包含于最佳压缩参数20a中而向变换/量化部19进行指示，变换/量化部19将最佳预测差分信号13a分割为最佳压缩参数20a中包含的变换块大小的块而进行变换以及量化处理，生成压缩数据21，所以相比于变换块大小的组不依赖于宏块或者子块的大小而固定的以往的方法，能够利用同等的代码量来提高编码影像的质量。

另外，可变长编码部23将从变换块大小的组中根据编码模式7而适应性地选择出的变换块大小复用到比特流30中，所以与此对应地，使实施方式1的运动图像解码装置构成为如下：可变长解码部61按照宏块或者子块单位从比特流60解码出最佳压缩参数65，逆量化/逆变换部66根据该最佳压缩参数65中包含的变换块大小信息来决定变换块大小，按照该变换块大小的块单位对压缩数据64进行逆变换以及逆量化处理。因此，运动图像解码装置能够从与运动图像编码装置同样地定义的变换块大小的组中选择在编码装置侧使用的变换块大小而对压缩数据进行解码，所以能够对由实施方式1的运动图像编码装置编码了的比特流正确地进行解码。

实施方式2.

在本实施方式2中，说明与上述实施方式1有关的运动图像编码装置的可变长编码部23的变形例、和同样地与上述实施方式1有关的运动图像解码装置的可变长解码部61的变形例。

首先，说明本实施方式2的运动图像编码装置的可变长编码部23。

图9是示出本发明的实施方式2的运动图像编码装置的可变长编码部23的内部结构的框图。另外，在图9中，对与图1相同或者相当的部分附加同一符号而省略说明。另外，本实施方式2的运动图像编码装置的结构与上述实施方式1相同，除了可变长编码部23的各结构要素的动作也与上述实施方式1相同，所以援用图1～图8。另外，为便于说明，在本实施方式2中，设为以使用图2a所示的编码模式的组为前提的装置结构以及处理方法，但当然还能够应用于以使用图2b所示的编码模式的组为前提的装置结构以及处理方法。

图9所示的可变长编码部23包括：2值化表格存储器105，保存对表示编码模式7(或者最佳预测参数10a、18a、最佳压缩参数20a)的多值信号的索引值与2值信号的对应关系进行了指定的2值化表格；2值化部92，使用该2值化表格，将编码控制部3所选择的多值信号的最佳编码模式7a(或者最佳预测参数10a、18a、最佳压缩参数20a)的多值信号的索引值变换为2值信号103；算术编码处理运算部104，参照上下文生成部99生成的上下文识别信息102、上下文信息存储器96、概率表格存储器97以及状态变化表格存储器98，对由2值化部92所变换的2值信号103进行算术编码而输出编码比特列111，并将该编码比特列111复用到比特流30；频度信息生成部93，对最佳编码模式7a(或者最佳预测参数10a、18a、最佳压缩参数20a)的发生频度进行计数而生成频度信息94；以及2值化表格更新部95，根据频度信息94，来更新2值化表格存储器105的2值化表格的多值信号与2值信号的对应关系。

以下，作为被熵编码的参数，以从编码控制部3输出的宏块的最佳编码模式7a为例子，说明可变长编码部23的可变长编码过程。同样地，关于作为编码对象的参数的最佳预测参数10a、18a、最佳压缩参数20a，通过与最佳编码模式7a同样的过程进行可变长编码即可，所以省略说明。

另外，本实施方式2的编码控制部3输出上下文信息初始化标志91、类别信号100、周边块信息101、2值化表格更新标志113。在后面详细叙述各信息。

初始化部90根据从编码控制部3指示的上下文信息初始化标志91，进行上下文信息存储器96中保存的上下文信息106的初始化而设为初始状态。在后面详细叙述由初始化部90执行的初始化处理。

2值化部92参照2值化表格存储器105中保存的2值化表格，将从编码控制部3输入的表示最佳编码模式7a的种类的多值信号的索引值变换为2值信号103，并输出到算术编码处理运算部104。

图10是示出2值化表格存储器105保持的2值化表格的一个例子的图。图10所示的“编码模式”是对图2a所示的编码模式(mb_mode0～3)追加了跳跃模式(mb_skip：在解码装置侧将在编码装置侧使用相邻的宏块的运动矢量进行了运动补偿的预测图像用于解码图像的模式)的5种编码模式7，保存了与各编码模式对应的“索引”值。另外，这些编码模式的索引值分别以1～3比特被2值化，并作为“2值信号”而被保存。此处，将2值信号的各比特称为“bin”编号。

另外，虽然在后面详细叙述，但在图10的例子中，对发生频度高的编码模式分配了小的索引值，另外，2值信号也被较短地设定为1比特。

编码控制部3所输出的最佳编码模式7a被输入到2值化部92，并且还被输入到频度信息生成部93。

频度信息生成部93对该最佳编码模式7a中包含的编码模式的索引值的发生频度(编码控制部所选择的编码模式的选择频度)进行计数而制作频度信息94，并输出到后述的2值化表格更新部95。

概率表格存储器97是保持如下表格的存储器，其中，该表格将2值信号103中包含的各bin的码元值“0”或者“1”中的发生概率高的某一个码元(mps：mostprobablesymbol，大概率符号)与其发生概率的组合保存了多组。

图11是示出概率表格存储器97所保持的概率表格的一个例子的图。在图11中，针对0.5～1.0之间的离散的概率值(“发生概率”)，分别分配了“概率表格编号”。

状态变化表格存储器98是保持如下表格的存储器，其中，该表格将概率表格存储器97中保存的“概率表格编号”、与该概率表格编号表示的“0”或者“1”中的mps的从编码前的概率状态向编码后的概率状态的状态变化的组合保存了多组。

图12是示出状态变化表格存储器98保持的状态变化表格的一个例子的图。图12的“概率表格编号”、“lps编码后的概率变化”、“mps编码后的概率变化”分别对应于图11所示的概率表格编号。

例如，在图12中用框包围的“概率表格编号1”的概率状态(在图11中mps的发生概率0.527)时，表示通过对“0”或者“1”中的发生概率低的某一个码元(lps：leastprobablesymbol，小概率符号)进行编码，概率状态从“lps编码后的概率变化”向概率表格编号0(在图11中mps的发生概率0.500)变化。即，通过发生lps，mps的发生概率变小。

相反地，如果对mps进行编码，则表示概率状态从“mps编码后的概率变化”向概率表格编号2(在图11中mps的发生概率0.550)变化。即，通过发生mps，mps的发生概率变得大。

上下文生成部99参照从编码控制部3输入的表示编码对象的参数(最佳编码模式7a、最佳预测参数10a、18a、最佳压缩参数20a)的类别的类别信号100和周边块信息101，针对对编码对象的参数进行2值化而得到的2值信号103的每个bin，生成上下文识别信息102。在该说明中，类别信号100是编码对象宏块的最佳编码模式7a。另外，周边块信息101是与编码对象宏块相邻的宏块的最佳编码模式7a。

以下，说明由上下文生成部99执行的上下文识别信息的生成过程。

图13的(a)是通过二叉树表现来示出图10所示的2值化表格的图。此处，将图13的(b)所示的粗框的编码对象宏块、和与该编码对象宏块相邻的周边块a、b用作例子而进行说明。

在图13的(a)中，将黑圆称为节点，将连接节点之间的线称为路径。对二叉树的终端节点，分配了2值化对象的多值信号的索引。另外，从纸面上的上方朝向下方，二叉树的深度对应于bin编号，结合对从根节点至终端节点为止的各路径分配的码元(0或者1)而得到的比特列成为与对各终端节点分配的多值信号的索引对应的2值信号103。针对二叉树的各父节点(并非终端的节点)，根据周边块a、b的信息而准备了1个以上的上下文识别信息。

例如，在图13的(a)中，在针对根节点准备了c0、c1、c2这3个上下文识别信息的情况下，上下文生成部99参照相邻的周边块a、b的周边块信息101，从下式(4)选择c0、c1、c2这3个上下文识别信息中的某一个。上下文生成部99输出所选择的上下文识别信息而作为上下文识别信息102。

上式(4)是基于在将周边块a、b设为宏块x的情况下如果周边块a、b的编码模式是“0”(mb_skip)则编码对象宏块的编码模式也成为“0”(mb_skip)的概率高这样的假设而准备的式。因此，从上式(4)选择的上下文识别信息102也基于同样的假设。

另外，对根节点以外的父节点，分别分配了1个上下文识别信息(c3、c4、c5)。

在通过上下文识别信息102识别的上下文信息中保持有mps的值(0或者1)和对其发生概率进行近似的概率表格编号，当前处于初始状态。上下文信息存储器96保存着该上下文信息。

算术编码处理运算部104针对每个bin，对从2值化部92输入的1～3比特的2值信号103进行算术编码而生成编码比特列111，并复用到比特流30中。以下，说明基于上下文信息的算术编码过程。

算术编码处理运算部104首先参照上下文信息存储器96，得到基于与2值信号103的bin0对应的上下文识别信息102的上下文信息106。接下来，算术编码处理运算部104参照概率表格存储器97，确定与上下文信息106中保持的概率表格编号107对应的bin0的mps发生概率108。

接下来，算术编码处理运算部104根据上下文信息106中保持的mps的值(0或者1)、和所确定的mps发生概率108，对bin0的码元值109(0或者1)进行算术编码。接下来，算术编码处理运算部104参照状态变化表格存储器98，根据上下文信息106中保持的概率表格编号107、和之前算术编码了的bin0的码元值109，得到bin0的码元编码后的概率表格编号110。

接下来，算术编码处理运算部104将上下文信息存储器96中保存的bin0的上下文信息106的概率表格编号(即，概率表格编号107)的值更新为状态变化后的概率表格编号(即，之前从状态变化表格存储器98取得的、bin0的码元编码后的概率表格编号110)。

算术编码处理运算部104针对bin1、2也与bin0同样地，进行基于通过各个上下文识别信息102识别的上下文信息106的算术编码，在各bin的码元编码之后更新上下文信息106。

算术编码处理运算部104输出对所有bin的码元进行算术编码而得到的编码比特列111，并由可变长编码部23复用到比特流30中。

如上所述，每当对码元进行算术编码时，更新通过上下文识别信息102识别的上下文信息106。即，这意味着各节点的概率状态针对每个码元编码会变化。然后，通过上述初始化部90，进行上下文信息106的初始化、即概率状态的复位。

初始化部90根据编码控制部3利用上下文信息初始化标志91进行的指示来进行初始化，但该初始化是在切片(slice)的开头等中进行的。也可以针对各上下文信息106的初始状态(mps的值和对其发生概率进行近似的概率表格编号的初始值)，预先准备多个组，关于选择哪一个初始状态，由编码控制部3包含到上下文信息初始化标志91中而向初始化部90进行指示。

2值化表格更新部95根据从编码控制部3指示的2值化表格更新标志113，参照由频度信息生成部93生成的表示编码对象参数(此处，最佳编码模式7a)的索引值的发生频度的频度信息94，更新2值化表格存储器105。以下，说明通过2值化表格更新部95更新2值化表格的过程。

在该例子中，根据作为编码对象参数的最佳编码模式7a所指定的编码模式的发生频度，以能够利用短的代码字对发生频度最高的编码模式进行2值化的方式，更新2值化表格的编码模式与索引的对应关系，实现代码量的降低。

图14是示出更新后的2值化表格的一个例子的图，是假设更新前的2值化表格的状态是图10所示的状态时的更新后状态。2值化表格更新部95依照频度信息94，在例如mb_mode3的发生频度最高的情况下，以对该mb_mode3分配短的代码字的2值信号的方式，分配最小的索引值。

另外，2值化表格更新部95在更新了2值化表格的情况下，需要生成用于使解码装置侧能够识别更新了的2值化表格的2值化表格更新识别信息112，并复用到比特流30。例如，在针对每个编码对象参数有多个2值化表格的情况下，也可以预先对编码装置侧以及解码装置侧分别赋予能够识别各编码对象参数的id，2值化表格更新部95输出更新后的2值化表格的id而作为2值化表格更新识别信息112，并复用到比特流30。

编码控制部3在切片的开头中参照编码对象参数的频度信息94，在判定为编码对象参数的发生频度分布的变化大到规定的容许范围以上的情况下，输出2值化表格更新标志113，从而进行更新定时的控制。可变长编码部23将2值化表格更新标志113复用到比特流30的切片头即可。另外，可变长编码部23在2值化表格更新标志113表示“2值化表格有更新”的情况下，将表示对编码模式、压缩参数、预测参数的2值化表格中的哪个2值化表格进行了更新的2值化表格更新识别信息112复用到比特流30。

另外，编码控制部3既可以在切片的开头以外的定时指示2值化表格的更新，也可以例如在任意的宏块的开头输出2值化表格更新标志113来指示更新。在该情况下，需要由2值化表格更新部95输出对进行了2值化表格的更新的宏块位置进行确定的信息，并由可变长编码部23将该信息也复用到比特流30中。

另外，编码控制部3在向2值化表格更新部95输出2值化表格更新标志113而更新了2值化表格的情况下，需要向初始化部90输出上下文信息初始化标志91，进行上下文信息存储器96的初始化。

接下来，说明本实施方式2的运动图像解码装置的可变长解码部61。

图15是示出本发明的实施方式2的运动图像解码装置的可变长解码部61的内部结构的框图。另外，本实施方式2的运动图像解码装置的结构与上述实施方式1相同，除了可变长解码部61以外的各结构要素的动作也与上述实施方式1相同，所以援用图1～图8。

图15所示的可变长解码部61包括：算术解码处理运算部127，参照上下文生成部122生成的上下文识别信息126、上下文信息存储器128、概率表格存储器131、以及状态变化表格存储器135，对复用到比特流60中的表示最佳编码模式62(或者最佳预测参数63、最佳压缩参数65)的编码比特列133进行算术解码而生成2值信号137；2值化表格存储器143，保存对用2值信号表示的最佳编码模式62(或者最佳预测参数63、最佳压缩参数65)与多值信号的对应关系进行了指定的2值化表格139；以及逆2值化部138，使用2值化表格139，将算术解码处理运算部127生成的2值信号137变换为多值信号的解码值140。

以下，作为熵解码的参数，以比特流60中包含的宏块的最佳编码模式62为例子，说明可变长解码部61的可变长解码过程。同样地，关于作为解码对象的参数的最佳预测参数63、最佳压缩参数65，通过与最佳编码模式62同样的过程进行可变长解码即可，所以省略说明。

另外，在本实施方式2的比特流60中，包含有在编码装置侧复用的上下文初始化信息121、编码比特列133、2值化表格更新标志142、2值化表格更新识别信息144。在后面详细叙述各信息。

初始化部120在切片的开头等中进行上下文信息存储器128中保存的上下文信息的初始化。或者，也可以关于上下文信息的初始状态(mps的值和对其发生概率进行近似的概率表格编号的初始值)，在初始化部120中预先准备多个组，从组中选择与上下文初始化信息121的解码值对应的初始状态。

上下文生成部122参照表示解码对象的参数(最佳编码模式62、最佳预测参数63、最佳压缩参数65)的类别的类别信号123和周边块信息124，生成上下文识别信息126。

类别信号123是表示解码对象的参数的类别的信号，依照可变长解码部61内保持的语法，来判定解码对象的参数是哪个。因此，需要在编码装置侧和解码装置侧保持相同的语法，此处，设为编码装置侧的编码控制部3保持了该语法。在编码装置侧，依照编码控制部3保持的语法，将接下来应编码的参数的类别和其参数的值(索引值)、即类别信号100依次输出到可变长编码部23。

另外，周边块信息124是对宏块或者子块进行解码而得到的编码模式等信息，为了用作以后的宏块或者子块的解码用的周边块信息124，而保存到可变长解码部61内的存储器(未图示)，根据需要而输出到上下文生成部122。

另外，由上下文生成部122执行的上下文识别信息126的生成过程与编码装置侧的上下文生成部99的动作相同。在解码装置侧的上下文生成部122中，也针对由逆2值化部138参照的2值化表格139的每个bin，生成上下文识别信息126。

在各bin的上下文信息中，作为用于对该bin进行算术解码的概率信息，而保持有mps的值(0或者1)和对该mps的发生概率进行确定的概率表格编号。

另外，概率表格存储器131以及状态变化表格存储器135保存着与编码装置侧的概率表格存储器97以及状态变化表格存储器98相同的概率表格(图11)以及状态变化表格(图12)。

算术解码处理运算部127针对每个bin，对复用到比特流60中的编码比特列133进行算术解码而生成2值信号137，并输出到逆2值化部138。

算术解码处理运算部127首先参照上下文信息存储器128，得到基于与编码比特列133的各bin对应的上下文识别信息126的上下文信息129。接下来，算术解码处理运算部127参照概率表格存储器131，确定与上下文信息129中保持的概率表格编号130对应的各bin的mps发生概率132。

接下来，算术解码处理运算部127根据上下文信息129中保持的mps的值(0或者1)、和所确定的mps发生概率132，对向算术解码处理运算部127输入的编码比特列133进行算术解码，得到各bin的码元值134(0或者1)。在对各bin的码元值进行了解码之后，算术解码处理运算部127参照状态变化表格存储器135，通过与编码装置侧的算术编码处理运算部104同样的过程，根据解码出的各bin的码元值134和上下文信息129中保持的概率表格编号130，得到各bin的码元解码后(状态变化后)的概率表格编号136。

接下来，算术解码处理运算部127将上下文信息存储器128中保存的各bin的上下文信息129的概率表格编号(即，概率表格编号130)的值更新为状态变化后的概率表格编号(即，之前从状态变化表格存储器135取得的、各bin的码元解码后的概率表格编号136)。

算术解码处理运算部127将对上述算术解码的结果得到的各bin的码元进行结合而得到的2值信号137输出到逆2值化部138。

逆2值化部138从保存在2值化表格存储器143中的针对解码对象参数的每个类别准备的2值化表格中，选择与编码时相同的2值化表格139并参照，根据从算术解码处理运算部127输入的2值信号137，输出解码对象参数的解码值140。

另外，在解码对象参数的类别是宏块的编码模式(最佳编码模式62)时，2值化表格139与图10所示的编码装置侧的2值化表格相同。

2值化表格更新部141根据从比特流60解码出的2值化表格更新标志142以及2值化表格更新识别信息144，更新2值化表格存储器143中保存的2值化表格。

2值化表格更新标志142是与编码装置侧的2值化表格更新标志113对应的信息，是包含于比特流60的头信息等中并表示2值化表格有无更新的信息。在2值化表格更新标志142的解码值表示“2值化表格有更新”的情况下，从比特流60中进一步解码2值化表格更新识别信息144。

2值化表格更新识别信息144是与编码装置侧的2值化表格更新识别信息112对应的信息，是用于对在编码装置侧更新的参数的2值化表格进行识别的信息。例如，如上所述，在针对每个编码对象参数预先有多个2值化表格的情况下，对编码装置侧以及解码装置侧分别预先赋予能够识别各编码对象参数的id以及2值化表格的id，2值化表格更新部141更新从比特流60解码出的2值化表格更新识别信息144中的与id值对应的2值化表格。在该例子中，在2值化表格存储器143中，预先准备图10和图14这2种2值化表格和其id，在假设为更新前的2值化表格的状态是图10所示的状态的情况下，如果2值化表格更新部141依照2值化表格更新标志142以及2值化表格更新识别信息144实施更新处理，则选择与2值化表格更新识别信息144中包含的id对应的2值化表格，所以更新后的2值化表格的状态成为图14所示的状态，与编码装置侧的更新后的2值化表格相同。

通过以上，根据实施方式2的运动图像编码装置，编码控制部3选择并输出编码效率成为最佳的最佳编码模式7a、最佳预测参数10a、18a、最佳压缩参数20a这样的编码对象参数，可变长编码部23的2值化部92使用2值化表格存储器105的2值化表格，将用多值信号表示的编码对象参数变换为2值信号103，算术编码处理运算部104对2值信号103进行算术编码而输出编码比特列111，频度信息生成部93生成编码对象参数的频度信息94，2值化表格更新部95根据频度信息94来更新2值化表格的多值信号与2值信号的对应关系，所以相比于2值化表格始终固定的以往的方法，能够以同等的编码影像的质量来削减代码量。

另外，2值化表格更新部95将表示2值化表格有无更新的2值化表格更新识别信息112以及用于对更新后的2值化表格进行识别的2值化表格更新识别信息112复用到比特流30中，所以与此对应地，在实施方式2的运动图像解码装置中，可变长解码部61的算术解码处理运算部127对复用到比特流60中的编码比特列133进行算术解码而生成2值信号137，逆2值化部138使用2值化表格存储器143的2值化表格139，将2值信号137变换为多值信号而取得解码值140，2值化表格更新部141根据从复用到比特流60中的头信息解码出的2值化表格更新标志142以及2值化表格更新识别信息144，更新2值化表格存储器143中的规定的2值化表格。因此，运动图像解码装置能够通过与运动图像编码装置同样的过程进行2值化表格的更新，而对编码对象参数进行逆2值化，所以能够对由实施方式2的运动图像编码装置编码了的比特流正确地进行解码。

实施方式3.

在本实施方式3中，说明上述实施方式1、2的运动图像编码装置以及运动图像解码装置中的利用运动补偿预测部9的运动补偿预测进行的预测图像的生成处理的变形例。

首先，说明本实施方式3的运动图像编码装置的运动补偿预测部9。另外，本实施方式3的运动图像编码装置的结构与上述实施方式1或者实施方式2相同，除了运动补偿预测部9以外的各结构要素的动作也相同，所以援用图1～图15。

在本实施方式3的运动补偿预测部9中，与虚拟采样精度的预测图像生成处理相关的结构以及动作和上述实施方式1、2不同，除此以外是相同的结构以及动作。即，在上述实施方式1、2中，如图3所示，运动补偿预测部9的插值图像生成部43生成半像素或者1/4像素等虚拟像素精度的参照图像数据，在根据该虚拟像素精度的参照图像数据而生成预测图像45时，如mpeg－4avc规格那样通过由在垂直方向或者水平方向上使用了6个整数像素的6抽头滤波器进行的内插运算等，来制作虚拟像素从而生成预测图像，与此相对，在本实施方式3的运动补偿预测部9中，通过超分辨率处理将运动补偿预测帧存储器14中保存的整数像素精度的参照图像15进行放大，从而生成虚拟像素精度的参照图像207，根据该虚拟像素精度的参照图像207来生成预测图像。

接下来，援用图3来说明本实施方式3的运动补偿预测部9。

与上述实施方式1、2同样地，本实施方式3的插值图像生成部43也从运动补偿预测帧存储器14指定1帧以上的参照图像15，运动检测部42在指定的参照图像15上的规定的运动搜索范围内检测运动矢量44。与mpeg－4avc规格等同样地，利用虚拟像素精度的运动矢量来进行运动矢量的检测。在该检测方法中，针对参照图像具有的像素信息(称为整数像素)，在整数像素之间通过内插运算来制作虚拟的采样(像素)，并将其用作参照图像。

为了生成虚拟像素精度的参照图像，需要将整数像素精度的参照图像进行放大(高清晰化)而生成由虚拟像素构成的采样平面(sampleplane)。因此，在本实施方式3的插值图像生成部43中，在需要虚拟像素精度的运动搜索用参照图像的情况下，利用《w.t.freeman,e.c.pasztorando.t.carmichael,“learninglow－levelvision”,internationaljournalofcomputervision,vol.40,no.1,2000》中公开的超分辨率技术，来生成虚拟像素精度的参照图像。在以下的说明中，说明如下结构：在运动补偿预测部9中根据运动补偿预测帧存储器14中保存的参照图像数据，超分辨率地生成虚拟像素精度的参照图像207，运动检测部42使用该参照图像207来进行运动矢量搜索处理。

图16是示出本发明的实施方式3的运动图像编码装置的运动补偿预测部9的插值图像生成部43的内部结构的框图。图16所示的插值图像生成部43包括：图像放大处理部205，对运动补偿预测帧存储器14中的参照图像15进行放大处理；图像缩小处理部200，对参照图像15进行缩小处理；高频特征抽出部201a，从图像缩小处理部200抽出高频区域分量的特征量；高频特征抽出部201b，从参照图像15抽出高频区域分量的特征量；相关计算部202，计算特征量之间的相关值；高频分量推测部203，根据相关值和高频分量图案存储器204的事先学习数据，推测高频分量；以及加法部206，使用所推测的高频分量来校正放大图像的高频分量，生成虚拟像素精度的参照图像207。

在图16中，如果从运动补偿预测帧存储器14中保存的参照图像数据中，将运动搜索处理中使用的范围的参照图像15输入到插值图像生成部43，则该参照图像15分别被输入到图像缩小处理部200、高频特征抽出部201b以及图像放大处理部205。

图像缩小处理部200根据参照图像15生成纵横1/n(n是2、4等2的幂乘值)大小的缩小图像，并输出到高频特征抽出部201a。通过一般的图像缩小滤波器来实现该缩小处理。

高频特征抽出部201a从由图像缩小处理部200生成的缩小图像，抽出与边缘分量等高频分量相关的第1特征量。作为第1特征量，能够利用例如表示局部块内的dct或者wavelet变换系数分布的参数等。

高频特征抽出部201b进行与高频特征抽出部201a同样的高频特征抽出，从参照图像15抽出频率分量区域与第1特征量不同的第2特征量。第2特征量被输出到相关计算部202，并且还被输出到高频分量推测部203。

如果从高频特征抽出部201a输入了第1特征量，并从高频特征抽出部201b输入了第2特征量，则相关计算部202计算参照图像15与其缩小图像之间的局部块单位中的基于特征量的高频分量区域的相关值。作为该相关值，例如有第1特征量与第2特征量之间的距离。

高频分量推测部203根据从高频特征抽出部201b输入的第2特征量和从相关计算部202输入的相关值，从高频分量图案存储器204确定高频分量的事先学习图案，推测并生成虚拟像素精度的参照图像207应具备的高频分量。所生成的高频分量被输出到加法部206。

图像放大处理部205针对所输入的参照图像15，与基于mpeg－4avc规格的半像素精度采样的生成处理同样地，实施利用在垂直方向或者水平方向上使用了6个整数像素的6抽头的滤波器进行的内插运算、或者双线性滤波器等的放大滤波处理，生成将参照图像15放大为纵横n倍大小的放大图像。

加法部206对从图像放大处理部205输入的放大图像相加从高频分量推测部203输入的高频分量，即对放大图像的高频分量进行校正，生成放大为纵横n倍大小的放大参照图像。插值图像生成部43将该放大参照图像数据用作使1/n成为1的虚拟像素精度的参照图像207。

另外，插值图像生成部43也可以在设为n＝2而生成了半像素(1/2像素)精度的参照图像207之后，通过使用了相邻的1/2像素或者整数像素的平均值滤波器的内插运算，生成1/4像素精度的虚拟采样(像素)。

另外，插值图像生成部43也可以构成为除了图16所示的结构以外，还切换对图像放大处理部205输出的放大图像是否相加高频分量推测部203输出的高频分量，来控制虚拟像素精度的参照图像207的生成结果。在该结构的情况下，具有如下效果：在由于图像图案异常等某种理由而由高频分量推测部203推测的推测精度变差时，抑制对该编码效率的恶劣影响。

另外，当选择性地决定在加法部206中是否相加高频分量推测部203输出的高频分量的情况下，生成相加的情况和不相加的情况这两个情形的预测图像45来进行运动补偿预测，并对其结果进行编码来决定效率更优良的一方。然后，将表示是否相加了的加法处理的信息作为控制信息而复用到比特流30中。

或者，插值图像生成部43也可以根据复用到比特流30的其他参数来唯一地决定而控制加法部206的加法处理。作为根据其他参数来决定的例子，考虑例如使用图2a或者图2b所示的编码模式7的类别。在选择了表示宏块内的运动补偿区域块分割细的编码模式的情况下，是运动剧烈的图样的概率高。因此，插值图像生成部43视为超分辨率的效果低，进行控制使得在加法部206中不相加高频分量推测部203输出的高频分量。另一方面，在选择了表示宏块内的运动补偿区域块的大小大的编码模式或者块大小大的内部预测模式的情况下，是比较静止的图像区域的概率高。因此，插值图像生成部43视为超分辨率的效果高，进行控制使得在加法部206中相加高频分量推测部203输出的高频分量。

作为其他参数，除了利用编码模式7以外，也可以利用运动矢量的大小、考虑了周边区域的运动矢量场的偏差这样的参数。运动补偿预测部9的插值图像生成部43与解码装置侧共享地判断参数的种类，由此也可以不用直接对比特流30复用加法处理的控制信息，而能够提高压缩效率。

另外，也可以构成为在向运动补偿预测帧存储器14进行保存之前，通过上述超分辨率处理而使运动补偿预测帧存储器14中保存的参照图像15成为虚拟像素精度的参照图像207之后进行保存。在该结构的情况下，虽然作为运动补偿预测帧存储器14而所需的存储器大小增加，但无需在运动矢量搜索以及预测图像生成的过程中顺序地进行超分辨率处理，能够降低运动补偿预测处理本身的处理负荷，并且能够并行进行帧编码处理和虚拟像素精度的参照图像207的生成处理，能够使处理高速化。

以下，援用图3，示出使用了虚拟像素精度的参照图像207的虚拟像素精度的运动矢量检测过程的一个例子。

运动矢量检测过程i’

插值图像生成部43生成与运动补偿区域块图像41的规定的运动搜索范围内存在的整数像素精度的运动矢量44对应的预测图像45。以整数像素精度生成的预测图像45(预测图像17)被输出到减法部12，通过减法部12从运动补偿区域块图像41(宏/子块图像5)相减而成为预测差分信号13。编码控制部3针对预测差分信号13和整数像素精度的运动矢量44(预测参数18)进行预测效率的评价。该预测效率的评价通过在上述实施方式1中说明的上式(1)进行即可，所以省略说明。

运动矢量检测过程ii’

插值图像生成部43针对在上述“运动矢量检测过程i”中决定的整数像素精度的运动矢量的周围存在的1/2像素精度的运动矢量44，使用在图16所示的插值图像生成部43内部生成的虚拟像素精度的参照图像207，生成预测图像45。以下，与上述“运动矢量检测过程i”同样地，通过减法部12从运动补偿区域块图像41(宏/子块图像5)减去以1/2像素精度生成的预测图像45(预测图像17)，而得到预测差分信号13。接下来，编码控制部3针对该预测差分信号13和1/2像素精度的运动矢量44(预测参数18)进行预测效率的评价，从整数像素精度的运动矢量的周围存在的1个以上的1/2像素精度的运动矢量中，决定使预测开销j1成为最小的1/2像素精度的运动矢量44。

运动矢量检测过程iii’

编码控制部3和运动补偿预测部9针对1/4像素精度的运动矢量也同样地，从在上述“运动矢量检测过程ii”中决定的1/2像素精度的运动矢量的周围存在的1个以上的1/4像素精度的运动矢量中，决定使预测开销j1成为最小的1/4像素精度的运动矢量44。

运动矢量检测过程iv’

以下同样地，编码控制部3和运动补偿预测部9直至成为规定的精度为止进行虚拟像素精度的运动矢量的检测。

这样，运动补偿预测部9针对将宏/子块图像5内分割为成为编码模式7表示的运动补偿的单位的块单位而得到的运动补偿区域块图像41，输出分别决定的规定精度的虚拟像素精度的运动矢量和该运动矢量所指的参照图像的识别编号而作为预测参数18。另外，运动补偿预测部9将通过该预测参数18而生成的预测图像45(预测图像17)输出到减法部12，并通过减法部12从宏/子块图像5相减而得到预测差分信号13。从减法部12输出的预测差分信号13被输出到变换/量化部19。这以后与在上述实施方式1中说明的处理相同，所以省略说明。

接下来，说明本实施方式3的运动图像解码装置。

在本实施方式3的运动图像解码装置的结构中，除了上述实施方式1、2的运动补偿预测部70中的与虚拟像素精度的预测图像生成处理相关的结构以及动作不同以外，与上述实施方式1、2的运动图像解码装置相同，所以援用图1～图16。

在上述实施方式1、2中，在运动补偿预测部70中根据半像素或者1/4像素等虚拟像素精度的参照图像生成预测图像时，如mpeg－4avc规格那样，通过由在垂直方向或者水平方向上使用了6个整数像素的6抽头的滤波器进行的内插运算等，来制作虚拟像素而生成预测图像，与此相对，在本实施方式3的运动补偿预测部70中，通过超分辨率处理对运动补偿预测帧存储器75中保存的整数像素精度的参照图像76进行放大，从而生成虚拟像素精度的参照图像。

本实施方式3的运动补偿预测部70与上述实施方式1、2同样地，根据所输入的最佳预测参数63中包含的运动矢量、各运动矢量所指的参照图像的识别编号(参照图像索引)等，从保存在运动补偿预测帧存储器75中的参照图像76生成并输出预测图像72。

加法部73将从运动补偿预测部70输入的预测图像72与从逆量化/逆变换部66输入的预测差分信号解码值67相加，而生成解码图像74。

另外，在由运动补偿预测部70执行的预测图像72的生成方法中，除去了编码装置侧的运动补偿预测部9的动作中的从多个参照图像搜索运动矢量的处理(相当于图3所示的运动检测部42以及插值图像生成部43的动作)，而仅进行依照从可变长解码部61提供的最佳预测参数63生成预测图像72的处理。

此处，在以虚拟像素精度生成预测图像72的情况下，针对运动补偿预测帧存储器75上的用参照图像的识别编号(参照图像索引)指定的参照图像76，运动补偿预测部70进行与图16所示的处理同样的处理来生成虚拟像素精度的参照图像，并使用解码出的运动矢量来生成预测图像72。此时，在编码装置侧，在选择性地决定了是否将图16所示的高频分量推测部203输出的高频分量相加到放大图像的情况下，在解码装置侧，从比特流60抽出表示有无加法处理的控制信息或者根据其他参数唯一地决定，从而控制运动补偿预测部70内部中的加法处理。在根据其他参数决定的情况下，能够与上述编码装置侧同样地利用编码模式7、运动矢量的大小、考虑了周边区域的运动矢量场的偏差等，通过由运动补偿预测部70与编码装置侧共享地判断参数的种类，由此可以不用在编码装置侧直接对比特流30复用加法处理的控制信息，能够提高压缩效率。

另外，也可以仅在从编码装置侧输出的最佳预测参数18a(即解码装置侧的最佳预测参数63)中包含的运动矢量指示虚拟像素精度的情况下，实施在运动补偿预测部70中生成虚拟像素精度的参照图像的处理。在该结构的情况下，运动补偿预测部9根据运动矢量，切换是使用运动补偿预测帧存储器14的参照图像15还是通过插值图像生成部43生成虚拟像素精度的参照图像207来使用，根据参照图像15或者虚拟像素精度的参照图像207生成预测图像17。

或者，也可以构成为针对保存到运动补偿预测帧存储器75之前的参照图像实施图16所示的处理，而将放大处理以及校正了高频分量后的虚拟像素精度的参照图像保存到运动补偿预测帧存储器75。在该结构的情况下，虽然作为运动补偿预测帧存储器75应准备的存储器大小会增加，但在运动矢量指示相同的虚拟采样位置的像素的次数多的情况下，无需重复实施图16所示的处理，所以能够削减运算量。另外，如果在解码装置侧预先已知运动矢量所指的变位的范围，则运动补偿预测部70也可以仅限于该范围而进行图16所示的处理。关于运动矢量所指的变位的范围，例如在比特流60中复用表示运动矢量所指的变位的范围的值域来传送、或者在运用时在编码装置侧和解码装置侧相互协商而设定，从而在解码装置侧为已知即可。

通过以上，根据实施方式3的运动图像编码装置，运动补偿预测部9具有对运动补偿预测帧存储器14中的参照图像15进行放大处理并且校正其高频分量而生成虚拟像素精度的参照图像207的插值图像生成部43，根据运动矢量来切换是使用参照图像15还是生成虚拟像素精度的参照图像207来使用，从而生成预测图像17，所以即使在对包含大量细的边缘等高频分量的输入影像信号1进行高压缩那样的情况下，也能够根据包含大量高频分量的参照图像而生成通过运动补偿预测所生成的预测图像17，能够高效地进行压缩编码。

另外，实施方式3的运动图像解码装置也构成为运动补偿预测部70具有通过与运动图像编码装置同样的过程来生成虚拟像素精度的参照图像的插值图像生成部，根据复用到比特流60中的运动矢量来切换是使用运动补偿预测帧存储器75的参照图像76还是生成虚拟像素精度的参照图像来使用，从而生成预测图像72，所以能够对由实施方式3的运动图像编码装置编码了的比特流正确地进行解码。

另外，在上述实施方式3中的插值图像生成部43中，通过基于上述w.t.freemanetal.(2000)公开的技术的超分辨率处理，生成了虚拟像素精度的参照图像207，但超分辨率处理自身不限于该技术，而也可以应用其他任意的超分辨率技术来生成虚拟像素精度的参照图像207。

另外，在由计算机构成上述实施方式1～3的运动图像编码装置的情况下，也可以将记述了块分割部2、编码控制部3、切换部6、内部预测部8、运动补偿预测部9、运动补偿预测帧存储器14、变换/量化部19、逆量化/逆变换部22、可变长编码部23、环路滤波器部27、内部预测用存储器28的处理内容的运动图像编码程序保存到计算机的存储器，并使计算机的cpu执行存储器中保存的运动图像编码程序。

同样地，在由计算机构成实施方式1～3的运动图像解码装置的情况下，也可以将记述了可变长解码部61、逆量化/逆变换部66、切换部68、内部预测部69、运动补偿预测部70、运动补偿预测帧存储器75、内部预测用存储器77、环路滤波器部78的处理内容的运动图像解码程序保存到计算机的存储器，并使计算机的cpu执行存储器中保存的运动图像解码程序。

产业上的可利用性

本发明的运动图像编码装置以及运动图像解码装置能够针对宏块内的成为运动补偿预测的单位的每个区域，适应性地切换变换块大小来进行压缩编码，所以适用于将运动图像分割为规定区域并按照区域单位进行编码的运动图像编码装置、和按照规定区域单位对编码了的运动图像进行解码的运动图像解码装置。