专利名称：动态图像的编码方法及解码方法
技术领域：
本发明涉及动态图像的编码方法及解码方法，特别涉及参照已经已编码完毕的图像进行画面间预测的编码方法及解码方法。
背景技术：
近年来随着多媒体应用的发展，统一处理图像、声音、文本等所有媒体的信息的方式已普遍起来。此时，通过将所有的媒体数字化来统一处理媒体成为可能。但是，由于数字化的图像拥有膨大的数据量，为了便于存储、发送，图像信息的压缩技术必不可少。而另一方面，为了能够相互使用压缩的图像数据，压缩技术的标准化也变得十分重要。图像压缩技术的标准规格，包括有ITU-T(国际电信联合 电信标准部门)的H.261、H.263、ISO(国际标准化机构)的MPEG-1、MPEG-4等。并且，在ITU中，现在作为最新的图像编码规格H.26L正在标准化过程中。
一般在动态图像的编码中，通过削减时间方向及空间方向的冗长性来进行信息量的压缩。于是在以削减时间的冗长性为目的的图像间预测编码中，参照前方或后方的图像以块单位进行移动的检测及预测图像的制作，并对得到的预测图像与现在的图像的差分值进行编码。
在这里，图像(picture)表示一幅画面，而在渐进的图像中是表示帧的意思，在隔行扫描图像中则表示帧或者半帧的意思。隔行扫描(interlace)图像是一帧由不同时刻的2个半帧(field)构成的图像。在隔行扫描图像的编码和解码处理中，可以将1帧原封不动作为帧进行处理，也可作为2个半帧进行处理，帧内部的每个块也可以作为帧构造或半帧构造进行处理。
以下所示图像将以渐进图像中的帧的意义进行说明，对于隔行扫描图像中的帧或半帧也同样能够进行说明。
图30为图像种类和其参照关系的说明图。
像图像I1一样不用参照图像而进行图像内预测编码的图像称作I图像。并且，如图像P10一样只参照一幅图像进行图像间预测编码的图像称作P图像。并且，将同时参照2幅图像进行图像间预测编码的图像称作B图像。
B图像能够像图像B6、B12、B18那样同时参照在时间上为任意方向上的2张图像。参照图像能对每个移动检测单位的块进行指定，在进行编码的代码串中，将前面记述的参照图像作为第1参照图像、将后面记述的参照图像作为第2参照图像进行区别。
但是，作为这些图像的编码及解码时的条件，参照图像必须已经进行过编码及解码。图31是对B图像进行编码及解码时的顺序的例子。图31(a)为显示的顺序，图31(b)是将(a)重新排列成进行编码及解码的顺序的例子。由此可以看出，被图像B3、B6参照的图像全部被重新排列，以便先进行编码及解码。
下面用图32就编码所述B图像时，同时参照2张图像作成预测图像的方法进行详细说明。而且在解码时制作预测图像的方法也是完全一样的。
图像B4是作为现在编码对象的B图像，块(block)BL01及块BL02是属于上述B图像的编码对象的块。BL01将第1参照图像作为图像P2、将第2参照图像作为图像P3、并参照属于各自图像的块BL11及BL21制作预测图像。同样，BL02将第1参照图像作为图像P2、将第2参照图像作为图像P1、并参照属于各自图像的块BL12及BL22制作预测图像。(参照非专利文献1)图33是用来说明用参照的2个块BL11及BL21制作编码对象的块BL01的预测图像的方法的说明图。这里假定各块的尺寸为4×4像素进行说明。Q1(i)为BL11的像素值，Q2(i)为BL21的像素值，若将P(i)设为所求BL01的预测图像的像素值，则像素值P(i)能够通过公式1的线性预测式计算出来。i表示像素的位置，在这里的例子中其可以是从0到15的值。
P(i)＝(w1×Q1(i)+w2×Q2(i))/pow(2，d)+c(公式1)(pow(2，d)表示2的d次方)w1、w2、c、d是用来进行线性预测的系数，可将4个作为1组的加权系数组对待。这些加权系数组由指定各块所参照的图像的参照索引来决定，如BL01的情况下使用w1_1、w2_1、c_1、d_1，在BL02的情况下使用w1_2、w2_2、c_2、d_2这4个值。
下面将用图34、图35对指定参照图像的参照索引进行说明。在各个图像中每向存储器进行存储时就会被分配有逐一增加的图像编号的值。即，付与新存储的图像具有从已存图像编号的最大值增加1的值的图像编号。但是，实际上指定参照图像的并不是该图像编号，而是使用另外定义的参照索引。表示第1参照图像的称作第1参照索引，表示第2参照图像的称作第2参照索引。
图34为用来说明给图像编号分配2个参照索引的方法的图。在如图所示顺序排列的图像列时，图像编号按编码顺序进行分配。用来将参照索引分配到图像编号中的指令描述在将图像进一步分割的编码单位即片段(slice)的片头中，每编码一个片段分配方法就会更新一次。上述指令是将参照索引的数连续指示，其连续的数量为前面分配给参照索引的图像编号与现在正在进行分配的图像编号之间的差分值。
以图34的第1参照索引为例，由于首先付与“-1”作为指令，通过从作为现在编码对象的图像编号16中减去1，图像编号15就被分配给参照索引0号。接下来由于被付与“-4”，通过从前面进行了分配的图像编号15号中减去4，图像编号11号被分配给参照索引1号。以下通过同样的处理进行各图像编号的分配。第2参照索引的情况也是同样。
图35表示的是进行参照索引分配后的结果。第1参照索引及第2参照索引都分别被独立分配给各个图像编号，如果只看各自的参照索引，就会明白一个参照索引被分配一个图像编号。
下面用图36及图37说明使用的加权系数组的决定方法。
1个图像的代码串由图像共同信息区域及多个片段数据区域构成。图36表示的是其中的片段数据区域的结构。而片段数据区域是由片头区域及多个块区域构成的。这里作为块区域的例子，如图32中的与BL01、BL02相对应的各块的区域所示。
包含在BL01中的ref1及ref2分别指示指定该块所参照的2张图像的第1参照索引及第2参照索引。并且在片头区域中，用来决定进行上述线性预测的加权系数组的数据(pset0、pset1、pset2、pset3、pset4)分别被描述为ref1用及ref2用。图37为用表格来表示上述片头区域中包含的所述数据的例子。
用标识符pset表示的各个数据拥有w1、w2、c、d这4个值，通过ref1及ref2的值可以直接进行参照。并且，在片头区域中描述有用来将所述参照索引分配给图像符号的指令列idx_cmd1及idx_cmd2。
通过图36的BL01中所述的ref1及ref2，可以从图37的ref1用及ref2用图表中，分别选择每1组的加权系数组。通过使用各个加权系数组进行公式1的线性预测，生成2个预测图像。通过对此2个预测图像分别按每个像素取平均值，能够得到所求的预测图像。
并且，也有不使用上述由线性预测系数的加权系数求得的预测式生成预测图像，而使用预先决定的固定式求得预测图像的方法。此种方法在由第1参照索引指定的图像的显示顺序落后于由第2参照索引指定的图像的情况下，选择由固定系数组成的固定公式2a，除此之外，选择由固定系数组成的固定公式2b，生成预测图像。
P(i)＝2×Q1(i)-Q2(i) (公式2a)P(i)＝(Q1(i)+Q2(i))/2(公式2b)这样一来，由于预测式是固定的，所以其优点在于没有必要对计算预测图像时的加权系数组进行编码并传送。并且，由于根据图像的位置关系选择固定式，所以其优点在于没有必要编码用来指定线性预测系数的加权系数组的标记并传送。并且，由于线形的计算式很简单，所以能够以很小的处理量大幅度削减线性预测。
在用加权系数组通过公式1制作预测图像的方法中，由于将参照索引分配给参照图像的指令的数与参照图像的张数是同一个数，所以1个参照索引只能分配给一幅参照图像，参照相同参照图像的块中线性预测使用的加权系数组完全是同一个值。虽然在图像内部发生一样的图像变化的情况下没有问题，但在各个部分图像变化不同的情况下，不会生成最合适的预测图像的可能性非常高。并且，由于式中包含有使用乘法的运算，所以会造成线性预测的处理量变大的问题。
(非专利文献1)ITU-T Rec.H.264 ISO/IEC 14496-10 AVCJoint Committee Draft(CD)(2002-5-10)(P.34 8.4.3 Re-Mapping of frame numbers indicator，P.105 11.5 Prediction signal generation procedure)发明内容本发明的目的是提供一种能够将多幅参照图像分配给1幅参照图像，同时无论是在分配到了多个参照索引的情况下还是在分配到1个参照索引的情况下，都能提高参照索引的编码效率的图像编码方法、图像解码方法及其装置和程序。
技术方案为达到此目的，本发明的图像编码方法包括以下步骤将通过图像编号标识的已编码完毕的图像作为参照图像存储在存储单元中的参照图像存储步骤；生成将用于生成预测图像的系数及指定所述参照图像的参照索引与所述图像编号对应起来的指令的指令生成步骤；用所述参照索引指定对编码对象图像上的块进行移动补偿时的参照图像的参照图像指定步骤；通过使用与所述参照索引相对应的所述系数，对通过检测在所述参照图像指定步骤中指定的参照图像内的移动得到的块进行线性预测，由此生成预测图像的预测图像生成步骤；输出包括将输入的编码对象图像内的块与所述预测图像的差即预测误差、所述指令、所述参照索引以及所述系数进行编码后的编码信号在内的图像编码信号的编码信号输出步骤；上述编码信号输出步骤将所述图像编码信号中的表示所述参照索引的最大值的信息进行编码。
这其中，表示所述参照索引的最大值的信息也可以包含在所述图像编码信号所包含的图像共同信息区域中。
如果采用这样的结构，在解码装置中，当根据指令使图像编号与参照索引对应起来时，由于表示参照索引的最大值的信息包含在编码信号中，所以能够根据指令进行使图像编号与参照索引对应起来的处理，直至达到所述最大值，能够容易地使所有的参照索引和图像编号对应起来。结果，在能够给1幅参照图像分配多幅参照图像的同时，无论是被分配给多个参照索引的情况，还是被分配给1个参照索引的情况，都能够使参照索引的编码效率提高。
这里，也可以在上述参照图像指定步骤中，在上述参照图像的图像编号与多个参照索引相对应的情况下，根据与该多个参照索引分别对应的系数，选择其中的1个参照索引；在上述预测图像生成步骤中，使用与在指定步骤中选择的参照索引相对应的系数进行线性预测。
如果采用这种结构，可以给1个图像编号对应多个参照索引，所以在使用与指定参照图像的所述参照索引相对应的所述系数进行线性预测时，能够从多个系数中选择该系数。即，能够选择最适合用于线性预测的系数。从而可以达到提高编码效率的目的。
在上述预测图像生成步骤中，也可以只使用位移运算、加法运算及减法运算进行所述线性预测。
如果采用这种结构，由于不使用处理负荷的重乘除算法，而只使用处理负荷轻的位置运算、加法及减法，所以能够减少线性预测的处理量。
在上述预测图像生成步骤中所述线性预测所使用的系数也可以只有线性预测公式中表示直流成分的值与上述参照索引相对应。
如果采用这种结构，作为系数可以不用将表示直流成分以外值编码，所以能够提高编码效率。并且，不使用处理负荷的重乘除算法，而只使用处理负荷轻的位置运算、加法及减法，所以能够减少线性预测的处理量。
所述参照索引包括表示第1参照图像的第1参照索引和表示第2参照图像的第2参照索引，在使用由各参照图像所具有的显示顺序信息生成系数的方法作为在上述预测图像生成步骤中进行上述线性预测的方法的情况下，在第1参照索引指定的参照图像与第2参照索引指定的参照图像拥有相同显示顺序信息时，也可以使用预先设定的系数作为代替进行线性预测。并且，上述预先设定的系数拥有相同的权重。
如果采用这种结构，即使在2幅参照图像在拥有相同显示顺序信息的情况下也能够决定系数进行线性预测，从而能够提高编码效率。
并且，本发明的图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序及图像编码数据具有与上述相同的结构、作用及效果。
本发明的图像编码方法能够采取(1)～(14)中任意一个结构。
(1)本发明的图像编码方法包括以下步骤将由图像编号识别的已编码完毕的图像储存在存储部的参照图像存储步骤；生成下述指令的指令生成步骤，该指令使上述图像编号与对编码对象图像上的块进行移动补偿时所参照的、从存储在存储单元中的多个已编码完毕的图像中任意选择的、表示参照图像和生成预测图像时所用的系数这样的参照索引对应起来，能够使多个参照索引参照同一图像；用所述参照索引指定对编码对象图像上的块进行移动补偿时的参照图像的参照图像指定步骤；用与指定该参照图像的所述参照索引相对应的所述系数对通过检测所述参照图像指定步骤中选择的参照图像上的移动得到的块进行线性预测，由此生成预测图像的预测图像生成步骤；输出包括将输入的编码对象帧和所述预测图像的差即预测误差、所述指令、所述参照索引、所述系数进行编码后的编码信号在内的图像编码信号的编码信号输出步骤。
(2)本发明的其他图像编码方法能够将多个参照索引分配给所述参照图像拥有的图像编号，在所述参照图像指定步骤中从与各已编码完毕的图像相对应的1个以上的参照索引中选择1个参照索引，决定在所述预测图像生成步骤中的线性预测中所使用的系数。
(3)本发明的其他图像编码方法在由1个片段参照的多幅参照图像中，至少有1幅拥有分配到多个参照索引的图像编号的参照图像。
(4)在本发明的其他图像编码方法中，所述参照索引由表示从所述多个已编码完毕的图像中任意指定的第1参照图像的第1参照索引和表示从所述多个已编码完毕的帧中任意指定的第2参照帧的第2参照索引组成。在所述预测图像生成步骤中，用与所述第1参照索引相对应的系数对所述块进行线性预测，同时用与所述第2参照索引相对应的系数进行线性预测，求在各自的线性预测中得到的2个预测图像中的像素的平均值，由此生成与所述块相对的最终预测图像。
(5)在本发明的其他图像编码方法中，所述参照索引由表示从所述多个已编码完毕的图像中任意指定的第1参照图像的第1参照索引和表示从所述多个已编码完毕的帧中任意指定的第2参照帧的第2参照索引组成。在所述预测图像生成步骤中的所述线性预测所用的系数的决定是通过求取所选择的第1参照索引和第2参照索引各自指示的所述系数的平均值来求得。
(6)在本发明的其他图像编码方法中，所述参照索引由表示从所述多个已编码完毕的图像中任意指定的第1参照图像的第1参照索引和表示从所述多个已编码完毕的帧中任意指定的第2参照帧的第2参照索引组成，所述第1及第2参照索引与由多个系数组成的组对应起来，在所述预测图像生成步骤中，使用与一方的参照索引相对应的系数组中的一部分和与另一方的参照索引相对应的系数组的一部分生成所述预测图像。
(7)本发明的其他图像编码方法，在所述预测图像生成步骤中所述线性预测使用的计算式，不使用乘法及除法，只使用位移运算及加法和减法，由此能够只通过很少的运算处理进行线性预测。
(8)在本发明的其他图像编码方法中，所述参照索引由表示从所述多个已编码完毕的图像中任意指定的第1参照图像的第1参照索引和表示从所述多个已编码完毕的帧中任意指定的第2参照帧的第2参照索引组成，在所述预测图像生成步骤中，所述位移运算使用的系数从与所述第1及第2参照索引相对应的系数组中选择与所述第1及第2参照索引任意对应的系数，其他的运算所使用的系数使用分别与所述第1及第2参照索引对应的系数的平均值，生成所述预测图像。
(9)在本发明的其他图像编码方法中，所述参照索引由表示从所述多个已编码完毕的图像中任意指定的第1参照图像的第1参照索引和表示从所述多个已编码完毕的帧中任意指定的第2参照帧的第2参照索引组成，所述预测图像生成步骤中的所述线性预测所使用的系数只使用表示线性预测式中直流成分的值，并与第1参照索引及第2参照索引分别逐一对应。
(10)本发明的其他图像编码方法包括以下步骤将由图像编号识别的已编码完毕的图像储存在存储部的参照图像存储步骤；生成以下指令的指令生成步骤，该指令使上述图像编号与对编码对象图像上的块进行移动补偿时所参照的、表示从存储在存储单元中的多个已编码完毕的图像中任意选择的参照图像的参照索引对应起来，使多个参照索引能够参照同一图像；由所述参照索引指定对编码对象图像上的块进行移动补偿时的参照图像的参照图像指定步骤；由各参照图像拥有的显示顺序信息生成系数，用所述系数对通过检测所述参照图像指定步骤中选择的参照图像上的移动得到的块进行线性预测，由此生成预测图像的预测图像生成步骤；包括将输入的编码对象帧和所述预测图像的差即预测误差、所述指令、所述参照索引、所述系数进行编码后的编码信号在内的图像编码信号的编码信号输出步骤。
(11)在本发明的其他图像编码方法中，可以根据第1参照索引指定的参照图像及第2参照索引指定的参照图像的各自拥有的显示顺序信息的前后关系交替使用使用由所述显示顺序的信息生成的系数的方法和使用预先设定的固定式的方法作为所述预测图像生成步骤中的进行所述线性预测的方法。
(12)在本发明的其他图像编码方法中，当使用由所述显示顺序信息生成的系数的方法时，在第1参照索引指定的参照图像与第2参照索引指定的参照图像拥有相同显示顺序信息的情况下，可以使用预先设定的系数代替作为所述预测图像生成步骤中的进行所述线性预测的方法，进行线性预测。
(13)在本发明的其他图像编码方法中，当所述预测图像生成步骤使用所述显示顺序信息生成系数时，用所述系数的2次逼近，以便使所述线性预测不使用乘法及除法而只使用位移运算及加法和减法。
(14)在本发明的其他图像编码方法中，在进行所述逼近时，根据第1参照索引指定的参照图像及第2参照索引指定的参照图像的各自拥有的显示顺序信息的前后关系，交替使用入或舍的方法逼近。
(15)本发明的程序可以采用使所述(1)～(14)中的记载的任何一项图像编码方法在计算机中执行的结构。
并且，本发明的计算机可读取记录媒体，能够采用(16)～(25)中的任何一种结构。
(16)一种记录有编码后的动态图像信号的编码信号的计算机可读取记录媒体，所述编码信号为将以下的数据进行了编码生成预测图像时使用的系数；一种指令，该指令使所述图像编号与从储存在存储由图像编号识别的已编码完毕的图像的储存单元中的多个已编码完毕的图像中任意选择的、对编码对象图像上的块进行移动补偿时所参照的、表示参照图像和生成预测图像时所用的所述系数这样的参照索引对应起来，能够将多个参照索引分配给同一图像编号；指定对编码对象图像上的块进行移动补偿时所参照的参照图像和生成预测图像时所使用的系数这样的参照索引；用与指定此参照图像的所述参照索引相对应的所述系数对通过检测选择的参照图像上的移动得到的块进行线性预测，由此生成的预测图像。
(17)所述编码信号包含有所述参照索引的最大值。
(18)所述最大值包含在所述编码信号所包含的图像的共同信息区域中。
(19)由所述编码信号所包含的块的集合组成的片头、图像共同信息区域或各块的片头中包含有块中的表示用来通过线性预测生成预测图像的系数是否被编译的标记。
(20)由所述编码信号所包含的块的集合组成的片头、图像共同信息区域或各块的片头中包含有块中的表示是不使用系数而使用预先设定的固定式生成预测图像，还是只使用表示直流成分的系数并使用预先设定的固定式生成预测图像的标记。
(21)由所述编码信号所包含的块的集合组成的片头、图像共同信息区域或各块的片头中包含有块中的表示在使用由预先设定的2个式结构的固定式生成预测图像的情况下，是交替使用所述2个公式还是不交替只使用单个公式的标记。
(22)由所述编码信号所包含的块的集合组成的片头、图像共同信息区域或各块的片头中包含有块中的表示通过线性预测生成预测图像所用的系数是否是用参照图像的显示顺序信息进行制作的的标记。
(23)由所述编码信号所包含的块的集合组成的片头、图像共同信息区域或各块的片头中包含有块中的表示通过线性预测生成预测图像所用的系数是否是2次逼近的的标记。
(24)所述编码信号中包含有表示能够不使用乘法及除法而只使用位移运算及加法和减法进行线性预测计算的标记。
(25)所述编码信号中包含有表示能够只用表示直流成分的值进行线性预测计算的标记。
本发明的图像解码方法，可以采取(26)～(39)中任何一种结构。
(26)本发明的图像解码方法包含有以下步骤将包括生成预测图像时使用的系数、一种指令、所述参照索引和预测误差的编码信号这样的图像编码信号进行解码，获得图像编码信息的步骤，所述指令为将所述图像编号与对编码对象图像上的块进行移动补偿时所参照的、从储存在存储部中的多个已编码完毕的图像中任意选择的、表示参照图像和所述系数这样的参照索引对应起来的指令，使多个参照索引能够参照同一图像；用解码后的所述指令和解码后的所述参照索引决定对解码对象图像上的块进行移动补偿时所参照的参照图像的参照图像指定步骤；用与指定该参照图像的所述参照系数相对应的系数对通过检测决定的所述参照图像上的移动得到的块进行线性预测，由此生成预测图像的预测图像生成步骤；根据所述预测图像与解码后的预测误差生成解码图像的解码图像生成步骤。
(27)本发明的其他图像解码方法能够将多个参照索引分配给所述参照图像所拥有的图像编号，在所述参照图像指定步骤中使用解码后的所述参照索引决定所述预测图像生成步骤中线性预测所用的系数。
(28)本发明的其他图像解码方法在由1个片段参照的多幅参照图像中可以至少有1幅拥有分配到多个参照索引的图像编号参照图像。
(29)本发明的其他图像解码方法中的所述参照索引有表示由所述多个解码完毕的图像指定的第1参照图像的第1参照索引和表示由所述多个解码完毕的图像指定的第2参照图像的第2参照索引，在所述预测图像生成步骤中，用与所述第1参照索引相对应的系数对所述块进行线性预测，同时用与所述第2参照索引相对应的系数进行线性预测，求取各自的线性预测中所得到的2个预测图像中的像素平均值，由此生成与所述块相对的最终的预测图像。
(30)本发明的其他图像解码方法中的所述参照索引有表示由所述多个解码完毕的图像指定的第1参照图像的第1参照索引和表示由所述多个解码完毕的图像指定的第2参照图像的第2参照索引，所述预测图像生成步骤中的所述线性预测使用的系数的决定是通过求取所选择的参照索引各自拥有的系数的平均值求得的。
(31)本发明的其他图像解码方法中的所述参照索引有表示由所述多个解码完毕的图像指定的第1参照图像的第1参照索引和表示由所述多个解码完毕的图像指定的第2参照图像的第2参照索引，所述第1及第2参照索引与由多个系数组成的组对应，所述预测图像生成步骤中使用与一方的参照索引相对应的系数组中的一部分和与另一方的参照索引相对应的系数组的一部分生成所述预测图像。
(32)本发明的其他图像解码方法在所述预测图像生成步骤中所述线性预测使用的计算式，不使用乘法及除法，只使用位移运算及加法和减法，由此能够只通过很少的运算处理进行线性预测。
(33)本发明的其他图像解码方法中的所述参照索引有表示由所述多个解码完毕的图像指定的第1参照图像的第1参照索引和表示由所述多个解码完毕的图像指定的第2参照图像的第2参照索引，在所述预测图像生成步骤中，所述位移运算使用的系数从与所述第1及第2参照索引相对应的系数组中选择使用与所述第1及第2参照索引的某个相对应的系数，其他的运算所使用的系数使用分别与所述第1及第2参照索引相对应的系数的平均值，生成所述预测图像。
(34)本发明的其他图像解码方法中的所述参照索引由表示所述多个解码完毕的图像指定的第1参照图像的第1参照索引和表示所述多个解码完毕的图像指定的第2参照图像的第2参照索引组成，只使用表示线性预测式中直流成分的值作为所述预测图像生成步骤中所述线性预测所使用的系数，并分别与第1参照索引及第2参照索引逐一对应。
(35)本发明的其他图像解码方法包括以下步骤将包括一种指令、所述参照索引和预测误差的编码信号的图像编码信号进行解码的第1步骤，所述指令一种将所述图像编号与对编码对象图像上的块进行移动补偿时参照的、从储存在存储部中的多个已编码完毕的图像中任意选择的、表示参照图像的参照索引对应起来的指令，能够使多个参照索引参照同一图像；用解码后的所述指令和解码后的所述参照索引决定对解码对象图像上的块进行移动补偿时参照的参照图像的参照图像指定步骤；由各参照图像拥有的显示顺序信息生成系数，用所述系数对通过检测决定的所述参照图像上的移动得到的块进行线性预测，由此生成预测图像的预测图像生成步骤；根据所述预测图像和解码后的预测误差生成解码图像的解码图像生成步骤。
(36)根据第1参照索引指定的参照图像及第2参照索引指定的参照图像的各自拥有的显示顺序信息的前后关系交替使用使用由所述显示顺序的信息生成的系数的方法和使用预先设定的固定式的方法作为进行所述预测图像中所述线性预测的方法。
(37)在本发明的其他图像解码方法中，在使用由所述显示顺序信息生成的系数的方法时，在第1参照索引指定的参照图像与第2参照索引指定的参照图像拥有相同显示顺序信息的情况下，可以使用预先设定的系数作为代替进行线性预测，以此作为进行所述预测图像中所述线性预测的方法。
(38)在本发明的其他图像解码方法中，在所述预测图像生成步骤中使用所述系数的2次逼近，以便在使用所述显示顺序信息生成系数时所述线性预测不使用乘法及除法，只使用位移运算及加法和减法。
(39)在本发明的其他图像解码方法中，在进行所述逼近时，根据第1参照索引指定的参照图像及第2参照索引指定的参照图像各自拥有的显示顺序信息的前后关系交替使用入或舍的近似方法。
(40)本发明的程序可以采用使所述(26)～(39)中的记载的任何一项图像解码方法在计算机中执行的结构。
发明效果本发明生成将生成预测图像所使用的系数及指定参照图像的参照索引与图像编号对应起来的指令，用上述参照索引指定对编码对象图像内的块进行移动补偿时应该参照的参照图像，用与上述参照索引相对应的上述系数对通过检测指定的参照图像上的移动得到的块实施线性预测，由此生成预测图像。本发明适用于对这样的画面进行编码的图像编码装置。并且，也适合于将图像编码装置编码过的信号进行解码的图像解码装置。
附图的简要说明
图1表示本发明的实施形态1编码装置的结构的方框2表示本发明的实施形态6的编码装置的结构的方框3用来说明将图像编号分配给参照索引的方法的模式4用来表示参照索引中图像编号的关系的例子的模式5用来说明移动补偿的动作的模式6用来说明代码串的结构的模式7用来表示线性预测系数的加权系数组的例子的模式8表示编码装置中生成预测图像的功能的方框9表示编码装置中生成预测图像的其他功能的方框10(a)(b)都是表示编码装置中生成预测图像的其他功能的方框11表示编码装置中生成预测图像的其他功能的方框12用来说明代码串的结构的模式13用来表示线性预测系数的加权系数组的例子的模式14用来说明代码串的结构的模式15用来表示线性预测系数的加权系数组的例子的模式16表示编码装置中生成预测图像的功能的方框17用来说明代码串的结构及标记的例子的模式18表示解码装置中生成预测图像的功能的方框19表示解码装置中生成预测图像的其他功能的方框20(a)(b)都是表示解码装置中生成预测图像的其他功能的方框21表示解码装置中生成预测图像的再其他的功能的方框22表示解码装置中生成预测图像的其他功能的方框23用来说明代码串的结构的模式24用来说明代码串的结构的模式25保存了用计算机系统实现所述各实施形态的动态图像的编码方法及解码方法的程序的记录媒体的说明26表示内容提供系统的全体结构的方框27移动电话机的外观28表示移动电话机结构的方框29表示数字播放用系统的例子的30说明现有例的图像的参照关系的模式31用来说明重新排列现有例的图像的模式32用来说明现有例的移动补偿的动作的模式33用来说明现有例的线性预测处理动作的模式34用来说明将图像编号分配给现有例的参照索引的方法的模式35表示现有例的参照索引中图像编号的关系的例子的模式36用来说明现有例的代码串的结构的模式37表示现有例的线性预测系数的加权系数组的例子的模式38用来说明现有例的代码串的结构的模式39用来说明图像编号与显示顺序信息的关系的模式40用来说明代码串的结构及标记的例子的模式41用来说明代码串的结构及标记的例子的模式图本发明的最佳实施形态(实施形态1)图1为表示本发明实施形态1中动态图像编码装置的结构的方框图。下面将使用图1所示的方框图按照(1)编码的概要、(2)参照索引分配方法、(3)预测图像生成方法的顺序对本动态图像编码装置中的动态图像编码方法进行说明。
(1)编码的概要将成为编码对象的动态图像按照显示顺序以图像单位输入图像存储器101中，并按编码顺序进行图像的重新排列。图31为表示重新排列的例子。图31(a)为按显示顺序排列的图像，图31(b)为按编码进行顺序重新排列的图像例子。这里由于B3、B6在时间上参照前方及后方两方，在将这些图像编码之前有必要先将成为参照对象的图像进行编码，所以在图31(b)中为了使P4、P7先被编码而进行重新排列。而且各个图像被称作宏块的例如水平16×垂直16像素的块所分割，并以块单位进行以后的处理。
从图像存储器101中读取的输入图像信号被输入到差分运算部112中，将通过获取与作为移动补偿编码单元107的输出的预测图像信号的差分得到的差分图像信号输出到预测误差编码单元102中。在预测误差编码单元102中，进行频率变换、量化等的图像编码处理并输出误差编码信号。误差编码信号被输入到预测误差解码单元部104中，进行逆量化、逆频率变换等的图像解码处理并输出误差解码信号。在加法运算部113中，进行所述误差解码信号和预测图像信号的加法运算并生成再构成图像信号，将得到的再构成图像信号中有可能在以后的画面间预测中被参照的信号储存在存储器105中。
另一方面，从图像存储器101中读取的宏块单位的输入图像信号被输入到移动矢量检测单元106中。在这里，将储存在图像存储器105中的再构成图像信号作为探索对象，通过检测距输入图像信号最近的图像区域，决定指示其位置的移动矢量。移动矢量检测在将宏块进一步分割的块单位进行，得到的移动矢量被存储在移动矢量存储单元108中。
此时，由于在现在标准化进程中的H.26L能够将多个图像作为参照对象使用，所以每个块都要有指定参照图像的识别号码。将其中的识别号码称作参照索引，在参照索引·图像编号变换单元111中，通过获取与图像存储器105中的图像拥有的图像编号的对应，能够指定参照图像。参照索引·图像编号变换单元111中的移动的详细内容在(2)中进行详细说明。
在移动补偿编码单元107中，使用由上述处理检测出的移动矢量及参照索引，从存储在图像存储部105中的再构成图像信号中选出最适合于预测图像的图像区域。对得到的图像区域的像素值进行线性预测的插值处理等的像素值变换处理，并据此得最终的预测图像。此时使用的线性预测系数由线性预测系数生成单元110生成，并被存储在线性预测系数存储单元109中。对于此预测图像生成方法，在(3)中进行详细说明。
对于由上述一系列的处理输出的线性预测系数、参照索引、移动矢量、误差编码信号等编码信息，可通过在代码串生成单元103中进行可变长编码，得到此编码装置输出的代码串。
以上的处理流程是在进行画面间预测编码情况下的动作，可以通过开关114及开关115进行和画面内预测编码的切换。在进行画面内编码的情况下，不通过移动补偿进行预测图像的生成，通过从同一画面内的已编码完毕区域中生成编码对象区域的预测图像、并获取差分来生成差分图像信号。差分图像信号与画面间预测编码的情况相同，在预测误差编码单元102中变换为误差编码信号，在代码串生成单元103中通过实施可变长编码得到输出的代码串。
(2)参照索引分配方法下面使用图3、图4对图1的参照索引·图像编号变换单元111中参照索引分配方法进行说明。
图3是说明与图像编号相对的2个参照索引的分配方法的图。在出现如图所示顺序排列的图像列时，图像编号按照编码顺序被分配。将参照索引分配给图像编号的指令，在将图像进一步分割的编码单位片头中有所记述，每编码一个片段分配方法就会被更新一次。所述指令，其连续指示的参照索引的数量，为前面分配给参照索引的图像编号和现在正在进行分配的图像编号之间的差分值。
使用图3的第1参照索引的例子，首先由于作为指令被付与“-1”，通过从作为现在编码对象的图像编号16中减去1，图像编号15号被分配给参照索引0号。接下来由于被付与“-4”，通过从刚刚进行分配的图像编号15号中减去4，图像编号11号被分配给参照索引1号。以下通过同样的处理进行各图像编号的分配。第2参照索引的情况也是同样。
在由图34所示的以往的方法参照索引分配方法中，所有的参照索引都分别与各自的图像编号相对应。另一方面，在图3的例子中，分配方法使用的是与以往完全相同的方法，通过变换指令的值，对相同的图像编号对应多个参照索引号码。
图4表示进行参照索引的分配的结果。第1参照索引及第2参照索引都分别独立被分配给各个图像编号，可以看到一个图像编号被分配有多个参照索引。在本发明的编码方法中，像该例子那样分配有多个参照索引的图像编号至少有1个以上。
如果在只使用参照索引决定参照图像的情况下，像以往方法那样一个参照索引分配给一个图像编号的分配方法是编码效率最好的方法。但是，在使用参照索引选择预测图像生成线性预测系数的加权系数组的情况下，以往的方法在拥有相同参照图像的所有块中必须使用相同的线性预测系数，所以无法生成最适合的预测图像的可能性非常高。
而在本发明中通过能够将多个参照索引分配给1个图像编号，即使是在拥有相同参照图像的情况下，也能从每个块中多个线性预测系数的加权系数组的候选中选择出最适合的系数，进而能够生成编码效率更高的预测图像。
在以上的说明中，举例说明了被付与图像编号的情况下，所有的参照图像都储存在参照用存储器中，图像编号只在进行编码之前的图像被存储的情况下，将值增加1的图像编号付与给该图像，即使在出现无法存储的图像的情况下也能够保持参照存储器内的图像编号的连续性，能够原封不动的使用上述方法。
(3)预测图像生成方法下面将使用图5对图1的移动补偿编码单元107中的预测图像生成方法进行说明。由线性预测进行的预测图像生成方法与以往的方法完全相同，但由于能够让同一图像对应多个参照索引号码，可以提高选择线性预测系数时的自由度。
图像B16是作为现在编码的对象的B图像，块BL01及块BL02是属于所述B图像的编码对象的块。BL01将第1参照图像作为图像P1、将第2参照图像作为图像B15、并参照属于各自图像的块BL11及BL21制作预测图像。同样，BL02将第1参照图像作为图像P11、将第2参照图像作为图像B15、并参照属于各自图像的块BL12及BL22制作预测图像。
第1参照图像及第2参照图像参照和BL01、BL02一起参照相同的内容，通过使用(2)中说明的参照索引的分配方法，第1参照索引ref1及第2参照索引ref2可以由BL01和BL02取得不同的值。以图4为例，与图像编号11对应的第1参照索引分配有1和3，与图像编号15对应的第2参照索引分配有1和6。
结果，这些参照索引的组合如(ref1、ref2)＝(1、1)、(1、6)、(3、1)、(3、6)所示，能够对每块选择从其中导出最适合的加权系数组的组合。图5中的例子，BL01设定为ref1＝1、ref2＝1、BL02设定为ref1＝3、ref2＝6。
在由图35中以往的方法对应的参照索引的组合中，在图5所示例中由于BL01、BL02共同只能选择(ref1、ref2)＝(1、1)的组合，能够选择的线性预测系数的加权系数组也只有1种。另一方面，由于本发明中选择范围扩展到了4种，所以选择最适合的加权系数组的可能性变得更高。
1个图像代码串，由图像共同信息区域及多个片段数据区域构成。图6表示的是其中的片段数据区域的结构。而片段数据区域是由片头区域及多个块数据区域构成。这里作为块数据区域的例子，如图5中所示的与BL01、BL02相对应的各块的区域。包含在BL01中的ref1及ref2，分别指示该块指定参照的2张图像的第1参照索引及第2参照索引。
并且，为分配给片头区域进行所述线性预测的加权系数组的数据(pset0、pset1、pset2、……)在ref1用及ref2用中分别有记述。此时的pset能够只设定为与(2)中说明的参照索引的个数相同的数。即，如图3所示，使第1参照索引、第2参照索引共同使用从0到9的10个数字的情况下，pset也可以与ref1用、ref2用共同设定为从0到9的10个数字。
图7表示的是包含在所述片头区域内的所述加权系数组的例子。由标识符pset表示的各个数据拥有w1、w2、c、d的4个值，并且通过ref1及ref2的值可以直接进行参照。并且，在片头区域中记载有为将所述参照索引分配到图像符号中的指令列idx_cmd1及idx_cmd2。
通过图6的BL01中所述的ref1及ref2，可以从图7的ref1用及ref2用图表中分别选择1组的加权系数组。通过使用该2组加权系数组对参照图像的像素值进行线性预测生成预测图像。
这样通过使用与1个图像编号相对多个参照索引分配的编码方法，能够制作多个线性预测系数的加权系数组的候选，并能够从中选择最适合的系数。例如，在第1参照索引被分配2个，第2参照索引被分配2个的情况下能够选择4种加权系数组作为候选；在第1参照索引被分配3个，第2参照索引被分配3个的情况下能够选择9种加权系数组作为候选。
这种线性预测方法在象渐变和闪光一样画面全体或一部分的亮度变化很大的情况下，能够得到特别大的效果。在大多数情况下，其亮度变化的程度根据画面部分不同而不同。因此，如本发明中的能够从多个加权系数组中每个块选择最适合的系数的构成在图像编码中是非常有效的。
这里将对到决定加权系数组生成预测图像为止的处理流程进行详细说明。
图8是表示在图1的线性预测系数生成单元110、线性预测系数存储单元109、及移动补偿编码单元107中生成预测图像的功能结构的功能方框图。
通过线性预测系数生成单元110、线性预测系数存储单元109a、线性预测系数存储单元109b、平均值计算单元107a、及线性预测计算单元107b生成预测图像。
由线性预测系数生成单元110生成的加权系数组，被存储在线性预测系数存储单元109a及线性预测系数存储单元109b中。平均值计算单元107a，从线性预测系数存储单元109a中获得通过由移动检测处理决定的第1参照索引ref1选择的1组加权系数组(w1_1、w2_1、c_1、d_1)，同样从线性预测系数存储单元109b中获得通过第2参照索引ref2选择的1组加权系数组(w1_2、w2_2、c_2、d_2)。
平均值计算单元107a，取由线性预测系数存储单元109a、109b获得的各自的加权系数组的每个参数的平均值，作为实际线性预测使用的加权系数组(w1、w2、c、d)，输出到线性预测计算单元107b中。线性预测计算单元107b，以得到的加权系数组(w1、w2、c、d)为基础，使用公式1运算预测图像并输出。
并且，图9是表示生成预测图像的其他功能结构的功能方框图。通过线性预测系数生成单元110、线性预测系数存储单元109a、线性预测系数存储单元109b、线性预测计算单元107c、线性预测计算单元107d、及平均值计算单元107e生成预测图像。
由线性预测系数生成单元110生成的加权系数组，被存储在线性预测系数存储单元109a及线性预测系数存储单元109b中。线性预测计算单元107c，从线性预测系数存储单元109a中获得通过由移动检测处理决定的第1参照索引ref1选择的1组加权系数组(w1_1、w2_1、c_1、d_1)，以其加权系数组为基础，使用公式1运算预测图像并输出到平均值计算单元107e中。
同样，线性预测计算单元107d，从线性预测系数存储单元109b获得以通过移动检测处理决定的第2参照索引ref2为基础选择的1组加权系数组(w1_2、w2_2、c_2、d_2)，以其加权系数组为基础使用公式1运算预测图像，并输出到平均值计算单元107e中。
平均值计算单元107e，取分别由线性预测计算单元107c、线性预测计算单元107d输出的预测图像的各像素的平均值，生成最终的预测图像并输出。
图10(a)是表示生成预测图像的其他功能结构的功能方框图。通过线性预测系数生成单元110、线性预测系数存储单元109c、线性预测系数存储单元109d、平均值计算单元107f、线性预测计算单元107g生成预测图像。
由线性预测系数生成单元110生成的加权系数组被存储在线性预测系数存储单元109c及线性预测系数存储单元109d中。平均值计算单元107f，从通过由移动检测处理决定的第1参照索引ref1所选择的1组加权系数组(w1_1、w2_1、c_1、d_1)中，由线性预测系数存储单元109c获得c_1、d_1的参数，同样在通过第2参照索引ref2选择的1组加权系数组(w1_2、w2_2、c_2、d_2)中，c_2、d_2的参数由线性预测系数存储单元109d获得。平均值计算单元107f，计算出由线性预测系数存储单元109c及线性预测系数存储单元109d获得的c_1和c_2的平均值，d_1和d_2的平均值，求出c、d并输出到线性预测计算单元107g中。
并且，线性预测计算单元107g，在所述加权系数组(w1_1、w2_1、c_1、d_1)中，由线性预测系数存储单元109c获得w1_1的参数，在所述加权系数组(w1_2、w2_2、c_2、d_2)中，由线性预测系数存储单元109d获得w2_2的参数，由平均值计算单元107f求得各自的平均值获得c、d，并使用公式1运算预测图像并输出。
即，线性预测计算单元107g，在由线性预测系数存储单元109c得到的加权系数组(w1_1、w2_1、c_1、d_1)和由线性预测系数存储单元109d得到的加权系数组(w1_2、w2_2、c_2、d_2)中，在实际决定线性预测中使用的加权系数组(w1、w2、c、d)时，使用下述的规则。
w1＝w1_1，w2＝w2_2，c＝(c_1和c_2的平均值)，d＝(d_1和d_2的平均值)这样在图10(a)中说明的预测图像的生成中，线性预测系数存储单元109c不需要加权系数组中的w2_1。因此，ref1用的加权系数组中也不再需要w2。由此可以缩小代码串。
并且，线性预测系数存储单元109d在加权系数组中不再需要w1_2。因此，ref2用的加权系数组中也不再需要w1。由此可以缩小代码串。
图10(b)是表示生成预测图像的其他功能结构的功能方框图。通过线性预测系数生成单元110、线性预测系数存储单元109e、线性预测系数存储单元109f、线性预测计算单元107h生成预测图像。
由线性预测系数生成单元110生成的加权系数组被存储在线性预测系数存储单元109e及线性预测系数存储单元109f中。线性预测计算单元107h，在通过由移动检测处理决定的第1参照索引ref1所选择的1组加权系数组(w1_1、w2_1、c_1、d_1)中，一部分的w1_1、c_1、d_1的参数由线性预测系数存储单元109e获得，同样在通过第2参照索引ref2选择的1组加权系数组(w1_2、w2_2、c_2、d_2)中，一部分的w2_2的参数由线性预测系数存储单元109f获得。线性预测计算单元107h，以通过线性预测系数存储单元109e及线性预测系数存储单元109f获得的w1_1、c_1、d_1、w2_2为基础，使用公式1运算预测图像并输出。
即，线性预测计算单元107h，在由线性预测系数存储单元109e得到的加权系数组(w1_1、w2_1、c_1、d_1)和由线性预测系数存储单元109f得到的加权系数组(w1_2、w2_2、c_2、d_2)中，在实际决定线性预测中使用的加权系数组(w1、w2、c、d)时，使用下述的规则。
w1＝w1_1，w2＝w2_2，c＝c_1，d＝d_1并且，在图10(b)中说明的预测图像的生成中，线性预测系数存储单元109e在加权系数组中不再需要w2_1。因此，ref1用的加权系数组中也不再需要w2。由此可以缩小代码串。
并且，线性预测系数存储单元109f在加权系数组中不再需要w1_2、c_2、d_2。因此，ref2用的加权系数组中也不再需要w1、c、d。由此可以缩小代码串。
并且，能够将w1、w2、c、d的参数中的1个或多个作为固定值使用。图11表示的是与图10(a)中的功能结构相对，只将d作为固定值使用的情况下的功能方框图。通过线性预测系数生成单元110、线性预测系数存储单元109i、线性预测系数存储单元109j、平均值计算单元107j、线性预测计算单元107k生成预测图像。
通过第1参照索引ref1从线性预测系数存储单元109i中选择的系数只有(w1_1、c_1)，通过第2参照索引ref2从线性预测系数存储单元109j中选择的系数只有(w2_2、c_2)。平均值计算单元107j计算出由线性预测系数存储单元109i及线性预测系数存储单元109j获得的c_1和c_2的平均值，求出c并输出到线性预测计算单元107k中。
并且，线性预测计算单元107k，通过线性预测系数存储单元109i获得w1_1的参数，通过线性预测系数存储单元109j获得w2_2的参数，通过平均值计算单元107j获得c的参数，作为d的参数使用事先决定的固定值，并使用公式1计算预测图像并输出。即，在公式1的系数(w1、w2、c、d)中输入下列值。
w1＝w1_1、w2＝w2_2、c＝(c_1和c_2的平均值)、d＝(固定值)将该值代入到公式1中得到下述的公式1a。
P(i)＝(w1_1×Q1(i)+w2_2×Q2(i))/pow(2，d)+(c_1+c_2)/2(公式1a)(pow(2，d)表示2的d次方)通过进一步将公式1a变形得到如公式1b一样的。在线性预测计算单元107k中的线性预测运算方法，能够与在公式1b的形式下使用的情况及在公式1的形式下使用的情况同样对待。
P(i)＝(w1_1×Q1(i)/pow(2，d-1)+c_1+w2_2×Q2(i)/pow(2，d-1)+c_2)/2(公式1b)(pow(2，d-1)表示的是2的d-1次方)由于在公式1b中为pow(2，d-1)，d为固定值，所以也可以采用通过将作为d’＝d-1的d向线性预测计算单元107k中输入，构成作业pow(2，d’)的系统。
并且，在图11说明的预测图像的生成中，因为线性预测系数存储单元109i只需要加权系数组中的w1_1和c_1，线性预测系数存储单元109j只需要加权系数组中的w2_2和c_2，所以不需要再将除此以外的参数编码。进而能够缩小代码串。
作为d的值使用的预先决定的固定值，通常可以使用相同的值，能够通过将上述固定值记述在片头中对每个片段进行替换。同样，能够通过将其记述在图像共同信息区域或序列共同信息区域中对每个图像或每个序列进行替换。
图12表示的是使用上述线性预测方法时的片段数据区域的结构。与图6的不同点是，d只有一个记述在片头区域中这一点，和作为ref1用的pset只有w1_1和c_1被记述的这一点。图13表示的是包含在所述片头区域内的所述加权系数组的例子。在标识符pset中显示的各个数据拥有w1_1、c_1或w2_2、c_2的2个值，并能够通过ref1及ref2的值直接进行参照。
在线性预测系数生成单元110中，通过调查图像的特征生成加权系数组，在移动补偿编码单元107中，使用图8、图9、图10、图11中说明的方法制作预测图像，并决定为使预测误差达到最小的2个参照索引ref1及ref2的组合。在如图10(a)、(b)、图11所示在使用不需要所有的参数的方法的情况下，在编码装置的线性预测系数生成单元110中制作加权系数组的阶段，能够省去没有必要的参数制作处理。
并且，在图10(a)、(b)、图11所示的方法中，在线性预测系数生成单元110中生成加权系数组时，例如w1_1、w2_2一样，能够使ref1用的加权系数组和ref2用的加权系数组分别独立探索并生成最适合的对象。即，使用此种方法能够削减在编码装置中生成加权系数组的处理量。
所述编码方法是与拥有2幅参照图像的B图像相关，但在只拥有1幅参照图像的P图像及B图像中的单一图像参照编码模式中也能够进行同样的处理。在这种情况下只使用第1参照索引或第2参照索引的任何一方，图6的代码串中的片头区域中的pset及idx_cmd，根据块数据区域中记述的参照索引，只记述为ref1用或ref2用。
并且，线性预测的方法使用下述的公式3替换以往方法中说明的公式1。此时，Q1(i)作为参照块的像素值，P(i)作为编码对象块的预测图像的像素值，w1、w2、c、d为由所选加权系数组得到的线性预测系数。
P(i)＝(w1×Q1(i)+w2×Q1(i))/pow(2，d)+c(公式3)(pow(2，d)表示的是2的d次方)作为线性预测的式子还可以使用公式4代替公式3。此时，Q1(i)作为参照块的像素值，P(i)作为编码对象块的预测图像的像素值，w1、w2、c、d为由所选加权系数组得到的线性预测系数。
P(i)＝(w1×Q1(i))/pow(2，d)+c(公式4)(pow(2，d)表示的是2的d次方)在使用公式1及公式3的情况下，需要w1、w2、c、d的4个参数，在使用公式4的情况下，能够只由w1、c、d的3个参数进行线性预测。即，象P图像一样在图像全体中只使用第1参照索引或第2参照索引的任何一方的情况下，能够使记述在片头区域内的加权系数组的数据的项目数分别以每3个减少。
在使用公式3的情况下，能够在B图像和P图像中不改变结构而实现与两方对应的线性预测。并且，在使用公式4的情况下，能够削减记述在P图像的片头区域内的数据量，进而能够削减处理量达到使计算简单化的目的。但是，由于无论在哪种方法中，都能够原封不动地适用本发明中提出的参照索引的分配方法，所以能够生成编码效率较高的预测图像，对图像的编码非常有效。
但是，在移动补偿中的参照图像，是由指定被分配到各个图像中的参照索引决定的。此时，将可能参照的图像的最大张数记述在代码串的图像共同信息部分。
图38是记述能够参照的图像的最大张数的代码串的模式图。如图所示在代码串的图像共同信息中，记述ref1用的图像的最大数Max_pic1和ref2用的图像的最大数Max_pic2。
编码中必要的信息，并不是实际中图像的最大张数，而是为指定图像使用的参照索引的能够取得的最大值。
在以往的方法中，由于1个图像中只被分配给1个参照索引，所以通过记述所述的图像的最大张数不会产生矛盾，但特别像本发明一样，在多个参照索引被分配给图像编号的情况下，其差异会造成很大影响。
如上文所述，代码串中记述有为将参照索引分配到图像编号中的指令列idx_cmd1、及idx_cmd2。以该指令列idx_cmd1、及idx_cmd2和各个指令为基础，使图像编号和参照索引相对应。此时，通过得知参照索引的最大值，能够明白所有的参照索引与图像编号都已进行了对应，能够得知指令列idx_cmd1、及idx_cmd2中的指令的终端。
在本发明的实施形态中，将可利用的参照索引的最大数代替以往的图像最大张数，记述在图像的开头的图像共同信息部分。
图23表示的是将参照索引的最大数记述在图像的代码串的图像共同信息中的状态。在图像的共同信息部分中，记述有ref1用的可利用参照索引的最大数Max_idx1和ref2用的可利用参照索引的最大数Max_idx2。
在图23中，在图像共同信息中记述有参照索引的最大数，在此之上，也可以采用在片段数据区域内记述参照索引最大数的结构。例如，图像的参照索引的最大数是8，该图像的片段1中必要的参照索引的最大数是8，片段2中必要的参照索引的最大值是4，在根据片段必要的参照索引的最大数与被记述到图像共同信息区域中的最大数不同的情况下，能够明确表示每个片段必要的参照索引的最大数。
即，将记述在图像共同信息中的参照索引的最大数作为图像中的各个片段中共同的默认值，必要的参照索引的最大数对于与默认值不同的片段也可以记述在片头中。
图23及图38表示的是将图像共同信息区域和片段数据区域总括到一起作为代码串的例子，但图像共同信息区域和片段数据区域能够分别作为独立的代码串，这种情况下也能够进行完全相同的处理。
(实施形态2)对本发明的实施形态2中的动态图像编码方法进行说明。由于编码装置的结构及编码的处理流程及参照索引的分配方法与实施形态1完全相同，这里就省略了具体的说明。
在实施形态1中，在移动补偿中生成预测图像之际，使用公式1或公式3或公式4进行每个像素的线性预测。但是，这些式子中都包含有乘法运算处理，若对所有的像素进行这样的运算，处理量会变得非常大。
这里将使用公式5代替公式1、使用公式6代替公式3、公式7代替公式4。因为这些式子不使用乘法运算而只进行位移运算，所以能够缩小处理量。此时，Q1(i)、Q2(i)是参照块的像素值，P(i)是编码对象块的预测图像的像素值，m、n、c是由选择的加权系数组得到的线性预测系数。
P(i)＝±pow(2，m)×Q1(i)±pow(2，n)×Q2(i)+c(公式5)P(i)＝±pow(2，m)×Q1(i)±pow(2，n)×Q1(i)+c(公式6)P(i)＝±pow(2，m)×Q1(i)+c(公式7)(pow(2，m)表示2的m次方，pow(2，n)表示2的n次方)与实施形态1相同，在同时参照2张图像生成预测图像时使用公式5，在只参照1张图像生成预测图像时使用公式6或公式7。由于在这些式子中需要表示正负的符号的标识符，所以预测运算必要的加权系数组，在公式5及公式6的情况下为(sign1、m、sign2、n、c)，在公式7的情况下为(sign1、m、c)。sign1是识别第1个正负符号的参数，sign2是识别第2个正负符号的参数。参数的个数比实施形态1有所增加，但由于sign1及sign2分别以1比特的形式出现，所以代码量几乎没有增加。
在这里对到决定加权系数组，使用公式5同时参照2张图像生成预测图像为止的处理流程进行详细说明。
首先，对生成预测图像的功能结构的图8的情况进行说明。平均值计算单元107a，通过线性预测系数存储单元109a得到加权系数组(sign1_1、m_1、sign2_1、n_1、c_1)。并且，平均值计算单元107a，通过线性预测系数存储单元109b得到加权系数组(sign1_2、m_2、sign2_2、n_2、c_2)。
平均值计算单元107a，求出通过线性预测系数存储单元109a、线性预测系数存储单元109b得到的加权系数组的每个参数的平均值，作为加权系数组(sign1、m、sign2、n、c)。线性预测计算单元107b，以平均值计算单元107a输出的加权系数组(sign1、m、sign2、n、c)为基础，使用公式5运算预测图像。
图8中记载的由线性预测系数存储单元109a等得到的加权系数组(w1_1、w2_1、c_1、d_1)等，是实施形态1中说明的公式1的情况下的例子，虽说图中未显示对于使用公式5求预测图像的情况下参数，但可以原封不动地直接替换。在以下说明的图9、图10的情况中也是一样。
下面，将对生成预测图像的功能结构的图9的情况进行说明。线性预测计算单元107c，以由线性预测系数存储单元109a得到的加权系数组(sign1_1、m_1、sign2_1、n_1、c_1)为基础运算预测图像。线性预测计算单元107d，以由线性预测系数存储单元109b得到的加权系数组(sign1_2、m_2、sign2_2、n_2、c_2)为基础运算预测图像。平均值计算单元107e，求出线性预测计算单元107c、107d各自运算的预测图像的各像素的平均值，作为预测图像。
在这种情况下，线性预测计算单元107c，由于以加权系数组(sign1_1、m_1、sign2_1、n_1、c_1)为基础使用公式5，最初运算预测图像，能够不使用乘法运算，通过位移运算进行计算。线性预测计算单元107d也是同样。另一方面，在图8的情况下，由于最初求得加权系数组(sign1_1、m_1、sign2_1、n_1、c_1)和加权系数组(sign1_2、m_2、sign2_2、n_2、c_2)的平均值，会出现m_1和m_2的平均值或n_1和n_2的平均值不是整数的情况下，即由于2的指数部分不是整数，很有可能导致处理量增多。并且，为了使2的指数部分成为整数而进行舍入处理，也会导致误差增大。
下面将对生成预测图像的功能结构的图10(a)的情况进行说明。线性预测计算单元107g，将由线性预测系数存储单元109c得到的用于位移运算的系数的参数sign1_1、m_1，由线性预测系数存储单元109c得到的用于位移运算的系数的参数sign2_2、n_2，由各线性预测系数存储单元109c、109d得到的参数c_1和c_2，以平均值计算单元107f平均求得的平均值c为基础，使用公式5运算预测图像。
在这种情况下，因为用于位移运算的系数，是直接由线性预测系数存储单元109c或线性预测系数存储单元109d得到的值，所以公式5中2的指数部分是整数。因此，能够通过位移运算进行计算，可以缩小处理量。
下面将对生成预测图像的功能结构的图10(b)的情况进行说明。线性预测计算单元107h，以由线性预测系数存储单元109e得到的参数sign1_1、m_1、c_1，和由线性预测系数存储单元109f得到的参数sign2_2、n_2为基础，使用公式5运算预测图像。
在这种情况下，因为用于位移运算的系数，是直接由线性预测系数存储单元109e或线性预测系数存储单元109f得到的值，所以公式5中2的指数部分是整数。因此，能够通过位移运算进行计算，可以缩小处理量。
在图10(a)(b)的情况下，和实施形态1中的图10(a)(b)的说明一样，有不用附加在代码串中发送的参数，能够缩小代码串。
以上是使用实施形态2中说明的线性预测式，能够不使用乘法运算通过位移运算进行计算，因此与实施形态1相比能够大幅度削减处理量。
在上述实施形态中，旨在通过使用公式5、公式6、公式7代替公式1、公式3、公式4，编码参数组合也使用(sign1、m、sign2、n、c)代替(w1、w2、c、d)，进行线性预测，实现只通过位移运算削减处理量的目的。作为其他的方法，原封不动地使用公式1、公式3、公式4及(w1、w2、c、d)，通过限制将w1及w2作为选择只可进行位移运算的可能值，也能够实现只通过位移运算削减处理量的目的。
在图1的线性预测系数生成单元110中记载有，在决定w1及w2的各个值时，作为其选项只能选择位移运算可能的值，对于图6及图12的代码串中的w1及w2则可原封不动地选择。由此能够以同实施形态1完全相同的结构，达到削减线性预测处理量的目的，且通过限制系数的选项能够更加容易地进行系数的决定。
并且，作为进一步限定的方法，通常将w1及w2作为1选择进行限制，能够在线性预测系数生成单元110中生成直流成分的c1及c2最适合的值。以图11的结构的情况为例，将作为ref1用的(1、c_1)、作为ref2用的(1、c_2)作为参数组合进行编码。在这种情况下，预测图像的像素值P(i)，将由(公式1a)中的w1_1及w2_2替换1的下面的式子求出。
P(i)＝(Q1(i)+Q2(i))/pow(2，d)+(c_1+c_2)/2(pow(2，d)表示的是2的d次方)由此能够以同实施形态1完全相同的结构，达到削减线性预测处理量的目的，进而由于不确定的系数只为c_1及c_2，所以能够使系数的决定方法大幅度简单化。
图24表示的是在图像的代码串的图像共同信息中记述有表示是否可能只通过位移运算进行线性预测的标记sft_flg，及表示是否可能只通过直流成分c进行线性预测的标记dc_flg的例子。在解码装置中可以不参照这些标记进行解码，但是通过参照这些标记，能够利用适合于只通过位移运算进行线性预测的结构进行解码，能够利用适合于只通过直流成分进行线性预测的结构进行解码，因此根据解码装置的结构能够成为非常重要的信息。
在图24中表示的是将图像共同信息区域和片段数据区域总括起来作为代码串的例子，但图像共同信息区域和片段数据区域能够分别作为独立的代码串，这种情况下也能够进行完全相同的处理。并且，在图24的例子中，在图像共同信息区域内记述有sft_flg及dc_flg，在记述在序列共同信息区域及其他独立的共同信息区域内的情况也能够进行同样的处理。并且，不仅在两方同时使用这2个两标记的情况，也可以只使用sft_flg或dc_flg，在那些情况下也能够进行同样的处理。
(实施形态3)对本发明实施形态3中的动态图像编码方法进行说明。由于编码装置的结构及编码的处理流程及参照索引的分配方法与实施形态1完全相同，这里就省略了具体的说明。
如以往技术中说明的那样，并不是使用实施形态1及实施形态2那样由线性预测系数的加权系数组求得的预测式生成预测图像，而是采用使用公式2a及公式2b那样预先决定的固定式求出预测图像的方法。使用这种方法，其优点在于不必将求预测图像时的加权系数组编码并发送，所以能够减少编码量。并且，由于线性预测的计算式简单，只通过很少的处理量就能够大幅度削减线性预测。但是，由于使用这种固定的方法，能够选择的线性预测式只有公式2a及公式2b两种，所以存在预测精度变差的问题。
于是在本实施形态中使用公式8a、8b代替公式2a、公式2b。这些式子在公式2a、公式2b中加入了C1及C2。因为在运算上只是增加了加法运算的次数，与原式相比处理量几乎没有增加。此时，Q1(i)、Q2(i)是参照块的像素值，P(i)是编码对象块的预测图像的像素值，C1、C2是由选择的加权系数组得到的线性预测系数。
P(i)＝2×(Q1(i)+C1)-(Q2(i)+C2)(公式8a)P(i)＝(Q1(i)+C1+Q2(i)+C2)/2 (公式8b)公式8a、8b是同时参照2张图像生成预测图像时的预测式，在参照1张图像生成预测图像时，本实施形态中将使用公式9代替说明的公式3、公式4。
P(i)＝Q1(i)+C1(公式9)使用这种方法所必需的加权系数组，只有作为ref1用的(C1)和作为ref2用的(C2)。因此，在使用这种方法情况下的图像的代码串的例子如图14所示，在片头区域中分别记述有ref1用和ref2用进行线性预测的加权系数组(pset0、pset1、pset2、……)，各个加权系数组的内容只成为C。同样，图15表示的是包含在所述片头区域内的加权系数组的例子，与图7不同，各个加权系数组的要素只是C。
图16是表示图1的线性预测系数生成单元110、线性预测系数存储单元109、及移动补偿编码单元107中生成预测图像的功能结构的功能方框图。
通过线形系数生成部110、线性预测系数存储单元109g、线性预测系数存储单元109h、及线性预测计算单元107i生成预测图像。
由线性预测系数生成单元110生成的加权系数组被存储在线性预测系数存储单元109g及线性预测系数存储单元109h中。通过由移动检测处理决定的第1参照索引ref1及第2参照索引ref2获得分别拥有线性预测系数存储单元109g及109h的1个结构要素的加权系数组(C1)及(C2)。那些值被输入到线性预测计算单元107i中，使用公式8a、8b进行线性预测，并生成预测图像。
同样，在只参照1张图像进行线性预测的情况下，只由图16的ref1或ref2的任何一个获得加权系数组(C1)或(C2)，使用公式9进行线性预测，生成预测图像。
在线性预测系数生成单元110中，通过调查图像的特征生成加权系数组(C1)及(C2)，使用图16中说明的方法制作预测图像，并决定为使预测误差达到最小的2个参照索引ref1及ref2的组合。
这样，由于本实施形态使用的参数的数量只要ref1用、ref2用每个有一个就可以，所以能够使在编码装置中决定参数值的处理变得更加容易，并可以削减记述在代码串中的数据量。并且，因为线性预测式不需要采用乘法运算等复杂的运算，能够将运算量抑制在最小限度。并且通过使用C1及C2系数可以大幅度改善使用以往的固定式的方法中预测精度差的缺点。
本实施形态中说明的线性预测方法，与多个参照索引是否能够参照同一图像无关，都可以使用。
(实施形态4)对本发明的实施形态4中的动态图像编码方法进行说明。由于编码装置的结构及编码的处理流程及参照索引的分配方法与实施形态1完全相同，这里就省略了具体的说明。
各个图像和图像编号一起被分配给显示的时间或表示代替其对象的显示顺序信息。图39是并列表示其中1例的图像编号和显示顺序信息的图。显示顺序信息根据显示顺序被分配某个值。在该图中的例子中，使用的是每1个图像增加1的值。使用这些显示顺序信息生成进行线性预测所用系数的值的方法在实施形态4中进行说明。
在实施形态1中，在移动补偿中生成预测图像之际，使用公式1或公式3或公式4对每个像素进行线性预测。但是，为进行这些线性预测需要有系数的数据，在上述实施形态中，作为片头区域中的加权系数组在代码串中记述有系数的数据，并用于预测图像的制作。但是，在得到较高的编码效率的反面，有必要进行制作加权系数组的数据的处理，并且，将加权系数组记述在代码串中会导致比特量的增加。
于是可以使用公式10、公式11a、公式12a代替公式1进行线性预测。由于这些式子可以只从各幅参照图像拥有的显示顺序信息中决定加权系数，所以没有必要另外将加权系数组编码。
此时，Q1(i)、Q2(i)是参照块的像素值，P(i)是编码对象块的预测图像的像素值，V0、V1是加权系数、T0是编码对象图像的显示顺序信息、T1是由第1参照索引指定的图像的显示顺序信息、T2是由第2参照索引指定的图像的显示顺序信息。
P(i)＝V1×Q1(i)+V2×Q2(i)(公式10)V1＝(T2-T0)/(T2-T1) (公式11a)V2＝(T0-T1)/(T2-T1) (公式12a)举个例子，在图39中，设定编码对象图像为16号、由第1参照索引指定的图像为11号、由第2参照索引指定的图像为10号，各自的图像的显示顺序信息则为15、13、10，所以成为下列的线性预测式。
V1＝(10-15)/(10-13)＝5/3V2＝(15-13)/(10-13)＝-2/3P(i)＝5/3×Q1(i)-2/3×Q2(i)与利用使用公式1的加权系数组进行线性预测的方法比较系数值的自由度较低，所以可以说很难生成最适合的预测图像，但是与通过2张参照图像的位置关系切换由使用公式2a、公式2b两个式子组成的固定式的方法相比较，能够生成效率更高的线性预测式。
在第1参照索引及第2参照索引参照同一图像的情况下，T1＝T2，所以公式11a、公式12a不成立。于是，参照的2张图像拥有同一显示顺序信息的情况下作为V1及V2的值使用1/2进行线性预测。这种情况下的线性预测式如下文所述。
V1＝1/2V2＝1/2P(i)＝1/2×Q1(i)+1/2×Q2(i)并且，在第1参照索引及第2参照索引参照不同的图像，那些图像拥有同一显示顺序信息的情况下，T1＝T2，所以公式11a、公式12a不成立。这样，参照的2张图像拥有同一显示顺序信息的情况下作为V1及V2的值使用1/2进行线性预测。
这样，在参照的2张图像拥有同一显示顺序信息的情况下，可以采用将预先设定的值作为系数使用的结构。将预先设定的值作为系数，可以是如上述的1/2的例子中所示拥有相同的权的系数。
但是，如上述实施形态中使用公式10，进行线性预测就必须要有乘法运算及除法运算。因为由公式10进行的线性预测运算对编码对象块内的所有像素都进行运算，所以加上乘法运算会使处理量大幅度增加。
于是，同实施形态2的考虑方法一样，通过使V1及V2近似于2次方，能够使线性预测的运算只通过位移运算进行，从而达到削减处理量的目的。这种情况下的线性预测式使用公式11b、公式12b代替公式11a、公式12a。其中，v1及v2要取整数。
V1＝±pow(2，v1)＝ap×((T2-T0)/(T2-T1))(公式1 1b)V2＝±pow(2，v2)＝ap×((T0-T1)/(T2-T1))(公式12b)(pow(2，v1)表示2的v1次方，pow(2，v2)表示2的v2次方)(＝ap×()表示()内的值与左边的值相近似)也可以使用公式11c、公式12c代替公式11a、公式12a。其中，v1要取整数。
V1＝±pow(2，v1)＝ap×((T2-T0)/(T2-T1))(公式11c)V2＝1-V1(公式12c)(pow(2，v1)表示2的v1次方)(＝ap×()表示()内的值与左边的值相近似)也可以使用公式11d、公式12d代替公式11a、公式12a。其中，v1取整数。
V1＝1-V2 (公式11d)V2＝±pow(2，v2)＝ap×((T0-T1)/(T2-T1))(公式12d)(pow(2，v2)表示2的v2次方)(＝ap×()表示()内的值与左边的值相近似)2的平方的近似值方法，以公式11b为例，使v1的值逐一变化时，以±pow(2，v1)和(T2-T0)/(T2-T1)最近时的±pow(2，v1)作为所求值。
例如在图39中，设定编码对象图像为16号，由第1参照索引指定的图像为11号，由第2参照索引指定的图像为10号，各自的图像的显示顺序信息则为15、13、10，所以(T2-T0)/(T2-T1)及±pow(2，v1)如下所示。
(T2-T0)/(T2-T1)＝(10-15)/(10-13)＝5/3+pow(2，0)＝1、+pow(2，1)＝25/3与1相比与2的值较近，所以近似的结果V1＝2。
并且，作为其他的近似值的方法，通过显示顺序信息T1及T2的2个值的关系，可转换使用增值的近似值和降值的近似值。
这种情况下，T1较T2在时间上落后的情况下，对于V1及V2的两者取增值的近似值，在T1较T2在时间上领先的情况下，对于V1及V2的两者取舍去的近似值。相反，在T1较T2在时间上落后的情况下，对V1及V2的两者取舍去的近似值，在T1较T2在时间上领先的情况下，对于V1及V2的两者取增值的近似值。
并且，作为使用其他的显示顺序信息取近似值的方法，在T1较T2在时间上落后的情况下，在与V1相关的式子中取增值的近似值，在与V2相关的式子中取舍去的近似值。由此因为2个系数的值相互分离，能够容易得到适合的外插值。相反，在T1较T2在时间上领先的情况下，在将与V1相关的式子和与V2相关的式子得到的两者的值进行比较时，在值小的一方取往上进的近似值，在值大的一方取舍去的近似值。由此因为2个系数的值相互接近，所以容易得到适合的内插值。
举个例子，在图39中，设定编码对象图像为16号、由第1参照索引指定的图像为11号、由第2参照索引指定的图像为10号，各自的图像的显示顺序信息则为15、13、10，由于T1较T2在时间上落后，所以在与V1相关的式子中取往上进的近似值，在与V1相关的式子中取舍去的近似值。结果，公式11b及12b如下所示进行计算。
(1)对于公式11b(T2-T0)/(T2-T1)＝(10-15)/(10-13)＝5/3+pow(2，0)＝1、+pow(2，1)＝2取往上进的近似值的结果V1＝2。
(2)对于公式12b(T0-T1)/(T2-T1)＝(15-13)/(10-13)＝-2/3-pow(2，0)＝-1、-pow(2，-1)＝-1/2取舍去的近似值的结果V2＝-1。上述实施形态中，线性预测式只有公式10的一个，但也可以与以往的技术中说明的由公式2a及公式2b的2个式子组成的固定式的线性预测方法组合起来使用。在这种情况下，使用公式10代替公式2a，公式2b原封不动进行使用。即，在由第1参照索引指定的图像在显示顺序中落后于由第2参照索引指定的图像的情况下使用公式10，除此以外的情况使用公式2b。
并且，相反，也可以使用公式10代替公式2b，原封不动地使用公式2a。即，在由第1参照索引指定的图像在显示顺序中落后于由第2参照索引指定的图像的情况下使用公式2a，除此以外的情况使用公式10。但是，此时参照的2张图像拥有同一显示顺序信息的情况下，使用1/2作为V1及V2的值进行线性预测。
并且，与实施形态3的考虑方法同样，可以只将系数C记述在片头区域中用于线性预测。这种情况下使用公式13代替公式10。V1及V2的求值方法与上述实施形态相同。
P(i)＝V1×(Q1(i)+C1)+V2×(Q2(i)+C2)(公式13)必须进行生成系数的处理，而且，有必要在片头区域内将系数数据编码，但是即使是在V1及V2的精度较低的情况下也能够通过使用C1及C2进行精度较高的线性预测。特别是在使V1及V2取与2次方近似的值进行线性预测的情况中非常有效。
在使用公式13的情况下的线性预测中，无论是在1个图像中分配有1个参照索引的情况下，还是在1个图像中分配有多个参照索引的情况，都可以同样对待。
在公式11a、公式12a、公式11b、公式12b、公式11c、公式12c、公式11d、公式12d各式的值的计算中，所得值的组合在每个片段中都受到某种程度的限制，所以最好将片段编码再进行一次运算，由于没有必要像公式10，公式13那样对块的所有像素都进行运算，因此对全体处理量的影响很小。
本发明的实施形态中的显示顺序信息，不仅局限于显示的顺序，实施的显示的时间、以随着显示的时间值变大的规定的图像为基准的各个图像的参照顺序也可以。
(实施形态5)对本发明的实施形态5中的动态图像编码方法进行说明。由于编码装置的结构及编码的处理流程及参照索引的分配方法与实施形态1完全相同，这里就省略了具体的说明。
在以往的方法中使用固定式生成预测图像的情况，和使用线性预测系数的加权系数组生成预测图像的情况下，可以通过记述在代码串的图像共同信息部中的标记根据必要进行替换。
本实施形态中，对使用标记替换实施形态1至实施形态4中说明的各种线性预测方法的方法进行说明。
图17(a)为将控制上述替换的5个标记(p_flag、c_flag、d_flag、t_flag、s_flag)记述在代码串中的片头区域内情况下的结构。
如图17(b)所示，p_flag是表示加权系数是否编码后的标记。并且，c_flag是表示在ref1用及ref2用的参数中，是否只有与参数C(C1及C2)相关的数据编码后的标记。并且，t_flag是表示是否使用参照图像的显示顺序信息生成线性预测的加权系数的标记。并且，s_flag是表示为了能够通过位移运算计算线性预测的加权系数，是否取与2次方近似的值的标记。
并且，d_flag表示的是如公式2a及2b所示，在使用预先设定的2个固定式进行线性预测之际，是否通过由ref1指定的图像和由ref2指定的图像的时间上的位置关系进行2式的切换的标记。即，在指定由此标记进行替换的情况下，与以往的方法相同，在由ref1指定的图像在显示顺序中落后于由ref2指定的图像的情况下，使用公式2a，除此以外的情况使用公式2b进行线性预测。另一方面，在指定不由此标记进行替换的情况下，与由ref1指定的图像和由ref2指定的图像的位置关系无关，通常使用公式2b进行线性预测。
在不替换使用的式子中还可以使用公式2a代替公式2b，在这种情况下能够采取相同处理。
在图1所示的编码装置中的移动补偿编码单元107中，决定各个片段中与加权系数组相关的数据是否编码，并据此将标记p_flag的信息输出到代码串生成单元103中，并如图17(a)所示记述在代码串中。由此，能够分别在处理能力高的装置中使用加权系数组进行线性预测，在处理能力低的装置中不使用加权系数组进行线性预测。
同样，在图1所示的编码装置中的移动补偿编码单元107中，决定各个片段中是否只有与相当于图像数据的DC成分的参数C(C1及C2)相关的数据编码，并据此将标记c_flag的信息输出到代码串生成单元103中，并如图17(a)所示记述在代码串中。由此，能够分别在处理能力高的装置中使用加权系数组进行线性预测，在处理能力低的装置中只使用直流成分进行线性预测。
同样，在图1所示的编码装置中的移动补偿编码单元107中，决定各个片段中使用固定式进行线性预测的情况下，是否替换使用2个式子进行编码，并据此将标记d_flag的信息输出到代码串生成单元103中，并如图17(a)所示记述在代码串中。由此，能够分别在图像的亮度在时间上并不变化的情况下只使用单个固定式进行线性预测，在图像的亮度随时间变化的情况下替换使用2个固定式进行线性预测。
同样，在图1所示的编码装置中的移动补偿编码单元107中，决定各个片段中是否使用参照图像的显示顺序信息生成进行线性预测的系数，并据此将标记t_flag的信息输出到代码串生成单元103中，并如图17(a)所示记述在代码串中。由此，能够分别在代码量中尚有空余的情况下将加权系数组编码进行线性预测，在代码量中没有空余的情况下从显示顺序信息中生成系数进行线性预测。
同样，在图1所示的编码装置中的移动补偿编码单元107中，决定各个片段中为了能够通过位移运算计算线性预测的加权系数，是否取与2次方近似的值，并据此将标记s_flag的信息输出到代码串生成单元103中，并如图17(a)所示记述在代码串中。由此，能够分别在处理能力高的装置中不取加权系数的近似值直接使用进行线性预测，在处理能力低的装置中使加权系数使用与2次方近似的值实现通过位移运算进行线性预测。
例如，(1)在(p、c、d、t、s_flag)＝(1、0、0、0、1)的情况下，所有的加权系数组经过编码，如实施形态2中说明的那样，通过用2次方表示系数，只由位移运算进行线性预测，并生成预测图像。
并且，(2)在(p、c、d、t、s_flag)＝(1、1、1、0、0)的情况下，只有与参数C(C1及C2)相关的数据经过编码，使用通过实施形态3中说明的向固定式中加入系数C生成预测图像的方法，而且替换使用2个固定式。
并且，(3)在(p、c、d、t、s_flag)＝(0、0、0、0、0)的情况下，加权系数组不经过编码。即，使用只使用以往方法的固定式中的2b生成预测图像的方法。
并且，(4)在(p、c、d、t、s_flag)＝(0、0、1、1、1)的情况下，加权系数组不经过编码，但如实施形态2说明的那样，从参照图像的显示顺序信息中生成加权系数，而且通过使系数与2次方近似只由位移运算进行线性预测，而且替换使用2个固定式生成预测图像。
在上述实施形态中使用每个由1比特组成的5个标记(p_flag、c_flag、d_flag、t_flag、s_flag)进行判别，也可以1个由5比特组成的标记代替5个标记进行判别。并且，在这种情况下，并不是表示现为5比特而能够使用可变长编码进行编码。
在上述实施形态中全部使用每个由1比特组成的5个标记(p_flag、c_flag、d_flag、t_flag、s_flag)，在只使用其中1部分的标记进行线性预测方法的切换的情况下也能够同样对待。这种情况下，图17(a)所示标记只将必要的对象编码并记述。
在以往的方法中，替换使用固定式的预测图像的生成和使用线性预测系数的加权系数组的预测图像的生成的标记设置在代码串的图像共同信息部分，能够以图像单位进行替换。但是，这种方法只能每个图像切换一次预测图像的生成方法。
但是，在本实施形态中，将该切换标记设置在代码串的片头，对于构成图像的每一个片段都能够以任意方法替换生成预测图像，例如，在拥有复杂图像的片段中进行使用加权系数组的预测图像的生成，在拥有简单图像的片段中进行使用固定式的预测图像的生成，由此能够一直将处理量的增加限制在最小值并达到提高画面质量的目的。
在上述实施形态中，将5个标记(p_flag、c_flag、d_flag、t_flag、s_flag)记述在片头区域内对每个片段进行判别，通过将这些标记记述在图像共同信息区域内，能够以图像单位进行切换。并且，通过在每个构成片段的块中设置切换标记，从而能够以块单位通过最适合的方法进行预测图像的生成。
本发明的实施形态中的显示顺序信息，不仅局限于显示的顺序，实施的显示的时间、以随着显示的时间值变大的规定的图像为基准的各个图像的参照顺序也可以。
(实施形态6)图2是表示本发明实施形态6中的动态图像解码装置的结构的方框图。下面将使用图2所示的方框图对该动态图像解码装置中的动态图像解码方法以(1)解码的概要(2)参照索引的分配方法(3)预测图像的生成方法的顺序进行说明。但是，在以下的说明中，将以实施形态1的动态图像编码方法中生成的代码串作为输入对象。
(1)解码的概要首先从输入的代码串中通过代码串解析单元201，从片头区域中将线预测用加权系数组的数据列、及参照索引分配用指令列，从块编码信息区域中将参照索引及移动矢量信息及预测误差编码数据等各种信息抽出。图6是表示上述编码信息包含在代码串中的情况的图。
由代码串解析单元201中抽出的线性预测用的加权系数组的数据列被输出到线性预测系数存储单元206中、参照索引分配用指令列被输出到参照索引·图像编号变换单元207中、参照索引被输出到移动补偿解码单元204中、移动矢量信息被输出到移动矢量存储单元205中，预测误差编码信号被输出到预测误差解码单元部202中。
在预测误差解码单元部202中对输入的误差编码信号实施逆量化、逆频率变换等图像解码处理，并输出误差解码信号。在加法运算部208中进行上述误差解码信号和从移动补偿解码单元204输出的预测图像信号的加法运算生成再构成图像信号，得到的再构成图像信号为在以后的画面间预测中用于参照、及表示用输出，被存储在图像存储器203中。
在移动补偿解码单元204中，使用从移动矢量存储单元205中输入的移动矢量及从代码串解析单元201中输入的参照索引，从存储在图像存储器203中的再构成图像信号中取出最适合于预测图像的图像区域。此时，在参照索引·图像编号变换单元207中，通过对应由代码串解析单元201中得到参照索引和图像编号，指定图像存储器203中的参照图像。
参照索引·图像编号变换单元207中动作的详细情况在(2)中进行详细说明。对于得到的图像区域的像素值在移动补偿解码单元204中通过实施线性预测的插值处理等像素值变换处理生成最终的预测图像。此时使用的线性预测系数通过从存储在线性预测系数存储单元206的数据中以参照索引作为检索线索获得。
对于这种预测图像生成方法，将在(3)中详细说明。
由上述一系列处理生成的解码图像被存储在图像存储器203中，并根据表示的时间作为表示用图像信号输出。
以上的处理流程是在进行画面间预测解码情况下的动作，由开关209进行和画面内预测解码的切换。在进行画面内解码的情况下，不进行由移动补偿的预测图像的生成，通过从同一画面内的解码完毕区域生成解码对象区域的预测图像并进行加法运算生成解码图像。解码图像同画面间预测解码的情况一样，被存储在图像存储器203中，并根据表示的时间作为表示用图像信号输出。
(2)参照索引的分配方法下面使用图3、图4对图2中的参照索引·图像编号变换单元207中的参照索引分配方法进行说明。
图3是说明与图像编号相对的2个参照索引的分配方法的图。在出现如图所示显示顺序排列的图像列时，图像编号被分配给解码顺序。将图像指数分配给图像编号的指令记述在将图像进一步分割的解码单位的片头中，每对一个片段进行解码分配方法就会更新一次。上述指令只通过参照索引的数连续指示刚刚分配给参照索引的图像编号和现在正在进行分配的图像编号之间的差分值。
使用图3的第1参照索引的例子，首先由于作为指令被付与“-1”，通过从作为现在编码对象的图像编号16中减去1，图像编号15号被分配给参照索引0号。接下来由于被付与“-4”，通过从刚刚进行分配的图像编号15号中减去4，图像编号11号被分配给参照索引1号。以下通过同样的处理进行各图像编号的分配。第2参照索引的情况也是同样。
在图34所示的由以往的方法进行的参照索引分配方法中，所有的参照索引分别与各自的图像编号相对应。另一方面，在图3的例子中，分配方法使用与以往完全相同的方法，通过变更指令的值使多个参照索引号码对应同一图像编号。
图4表示进行参照索引分配的结果。第1参照索引及第2参照索引都分别独立被分配在各个图像编号中，可以看到一个图像编号被分配有多个参照索引。在本发明的解码方法中，像该例子那样分配有多个参照索引的图像编号至少有1个以上。
如果在只使用参照索引决定参照图像的情况下，像以往方法那样一个参照索引分配给一个图像编号的分配方法是解码效率最好的方法。但是，在使用参照索引选择预测图像生成中线性预测系数的加权系数组的情况下，以往的方法在拥有相同参照图像的所有块中必须使用相同的线性预测系数，所以无法生成最适合的预测图像的可能性非常高。而在本发明中通过能够将多个参照索引分配给1个图像编号，即使是在拥有相同参照图像的情况下，也能从每个块中多个线性预测系数的加权系数组的候选中选择出最适合的系数，进而能够生成预测精度更高的预测图像。
在以上的说明中，在被付与图像编号的情况下，所有的参照图像都储存在参照用存储器中，图像编号只在进行编码之前的图像被存储的情况下，值逐一增加，即使在出现无法存储的图像的情况下，也能够保持参照存储器内的图像编号的连续性，能够原封不动的使用上述方法。
(3)预测图像的生成方法下面将使用图5对图2的移动补偿解码单元204中的预测图像生成方法进行说明。由线性预测进行的预测图像生成方法与以往的方法完全相同，但由于能够让同一图像对应多个参照索引号码，可以提高选择线性预测系数时的自由度。
图像B16是作为现在解码的对象的B图像，块BL01及块BL02是属于所述B图像的解码对象的块。BL01将第1参照图像作为图像P1、将第2参照图像作为图像B15、并参照属于各自图像的块BL11及BL21制作预测图像。同样，BL02将第1参照图像作为图像P11、将第2参照图像作为图像B15、并参照属于各自图像的块BL12及BL22制作预测图像。
第1参照图像及第2参照图像参照和BL01、BL02一起参照相同的内容，通过使用(2)中说明的参照索引的分配方法，第1参照索引ref1及第2参照索引ref2可以由BL01和BL02取得不同的值。以图4为例，与图像编号11对应的第1参照索引分配有1和3，与图像编号15对应的第2参照索引分配有1和6。结果，这些参照索引的组合如(ref1、ref2)＝(1、1)、(1、6)、(3、1)、(3、6)所示4种，能够每块选择从其中导出最适合的加权系数组的组合。图5中的例子，BL01设定为ref1＝1、ref2＝1、BL02设定为ref1＝3、ref2＝6。
在由图35中以往的方法对应的参照索引的组合中，在图5所示例中由于BL01、BL02共同只能选择(ref1、ref2)＝(1、1)的组合，能够选择的线性预测系数的加权系数组也只有1种。另一方面，由于本发明中选择范围扩展到了4种，所以选择最适合的加权系数组的可能性变得更高。
1个图像代码串，由图像共同信息区域及多个片段数据区域结构。图6表示的是其中的片段数据区域的结构。而片段数据区域是由片头区域及多个块数据区域结构。这里作为块数据区域的例子，如图5中所示的与BL01、BL02相对应的各块的区域。
包含在BL01中的ref1及ref2，分别指示该块指定参照的2张图像的第1参照索引及第2参照索引。并且，为分配给片头区域进行所述线性预测的加权系数组的数据(pset0、pset1、pset2、……)在ref1用及ref2用中分别有记述。此时的pset能够只设定为与(2)中说明的参照索引的个数相同的数。即，如图3所示使第1参照索引、第2参照索引共同使用从0到9的10个数字的情况下，pset也可以与ref1用、ref2用共同设定为从0到9的10个数字。
图7表示的是包含在所述片头区域内的所述加权系数组的例子。由标识符pset表示的各个数据拥有w1、w2、c、d的4个值，并且通过ref1及ref2的值可以直接进行参照。并且，在片头区域中记载有为将所述参照索引分配到图像符号中的指令列idx_cmd1及idx_cmd2。
通过图6的BL01中所述的ref1及ref2，可以从图7的ref1用及ref2用图表中分别选择1组的加权系数组。通过使用该2组加权系数组对参照图像的像素值进行线性预测生成预测图像。
这里，将对决定加权系数组生成预测图像为止的处理流程进行详细说明。
图18是表示在图2的线性预测系数存储单元206及移动补偿解码单元204中生成预测图像的功能结构的功能方框图。
通过线性预测系数存储单元206a、线性预测系数存储单元206b、平均值计算单元204a、及线性预测计算单元204b生成预测图像。
平均值计算单元204a通过线性预测系数存储单元206a获得根据代码串解析单元201中输出的ref1所选择的1组加权系数组(w1_1、w2_1、c_1、d_1)，同样从线性预测系数存储单元206b获得根据代码串解析单元201输出的ref2所选择的1组加权系数组(w1_2、w2_2、c_2、d_2)。
平均值计算单元204a，取由线性预测系数存储单元206a、206b获得的各自的加权系数组的每个参数的平均值，作为实际线性预测使用的加权系数组(w1、w2、c、d)，输出到线性预测计算单元204b中。线性预测计算单元204b以得到的加权系数组(w1、w2、c、d)为基础，使用公式1运算预测图像并输出。
并且，图19是表示生成预测图像的其他功能结构的功能方框图。通过线性预测系数存储单元206a、线性预测系数存储单元206b、线性预测计算单元204c、线性预测计算单元204d、及平均值计算单元204e生成预测图像。
线性预测计算单元204c通过线性预测系数存储单元206a获得根据代码串解析单元201输出的ref1所选择的1组加权系数组(w1_1、w2_1、c_1、d_1)，以其加权系数组为基础，使用公式1运算预测图像并输出到平均值计算单元204e中。
同样，线性预测计算单元204d通过线性预测系数存储单元206b获得根据代码串解析单元201输出的ref2所选择的1组加权系数组(w1_2、w2_2、c_2、d_2)，以其加权系数组为基础使用公式1运算预测图像，并输出到平均值计算单元204e中。
平均值计算单元204e，取分别由线性预测计算单元204c、线性预测计算单元204d输出的预测图像的各像素的平均值，生成最终的预测图像并输出。
图20(a)是表示生成预测图像的其他功能结构的功能方框图。通过线性预测系数存储单元206c、线性预测系数存储单元206d、平均值计算单元204f、线性预测计算单元204g生成预测图像。
平均值计算单元204f，在根据代码串解析单元201输出的ref1所选择的1组加权系数组(w1_1、w2_1、c_1、d_1)中，c_1、d_1的参数由线性预测系数存储单元206c获得，同样在根据代码串解析单元201输出的ref2所选择的1组加权系数组(w1_2、w2_2、c_2、d_2)中，c_2、d_2的参数由线性预测系数存储单元206d获得。平均值计算单元204f，计算出由线性预测系数存储单元206c及线性预测系数存储单元206d获得的c_1和c_2的平均值，d_1和d_2的平均值，求出c、d并输出到线性预测计算单元204g中。
并且，线性预测计算单元204g，在所述加权系数组(w1_1、w2_1、c_1、d_1)中，由线性预测系数存储单元206c获得w1_1的参数，在所述加权系数组(w1_2、w2_2、c_2、d_2)中，由线性预测系数存储单元206d获得w2_2的参数，由平均值计算单元204f求得各自的平均值获得c、d，并使用公式1运算预测图像并输出。
即，线性预测计算单元204g，在由线性预测系数存储单元206c得到的加权系数组(w1_1、w2_1、c_1、d_1)和由线性预测系数存储单元206d得到的加权系数组(w1_2、w2_2、c_2、d_2)中，在实际中决定线性预测中使用的加权系数组(w1、w2、c、d)时，使用下述的规则。
w1＝w1_1，w2＝w2_2，c＝(c_1和c_2的平均值)，d＝(d_1和d_2的平均值)图20(b)是表示生成预测图像的其他功能结构的功能方框图。通过线性预测系数存储单元206e、线性预测系数存储单元206f、线性预测计算单元204h生成预测图像。
线性预测计算单元204h，在根据代码串解析单元201输出的ref1所选择的1组加权系数组(w1_1、w2_1、c_1、d_1)中，一部分的w1_1、c_1、d_1的参数由线性预测系数存储单元206e获得，同样在根据代码串解析单元201输出的ref2所选择的1组加权系数组(w1_2、w2_2、c_2、d_2)中，一部分的w2_2的参数由线性预测系数存储单元206f获得。线性预测计算单元204h，以通过线性预测系数存储单元206e及线性预测系数存储单元206f获得的w1_1、c_1、d_1、w2_2为基础，使用公式1运算预测图像并输出。
即，线性预测计算单元204h，在由线性预测系数存储单元206e得到的加权系数组(w1_1、w2_1、c_1、d_1)和由线性预测系数存储单元206f得到的加权系数组(w1_2、w2_2、c_2、d_2)中，在实际决定线性预测中使用的加权系数组(w1、w2、c、d)时，使用下述的规则。
w1＝w1_1，w2＝w2_2，c＝c_1，d＝d_1并且，能够将w1、w2、c、d的参数中的1个或多个作为固定值使用。图21表示的是与图20(a)中的功能结构相对，只将d作为固定值使用的情况下的功能方框图。通过线性预测系数存储单元206g、线性预测系数存储单元206h、平均值计算单元204i、线性预测计算单元204j生成预测图像。
通过第1参照索引ref1从线性预测系数存储单元206g中选择的系数只有(w1_1、c_1)，通过第2参照索引ref2从线性预测系数存储单元206h中选择的系数只有(w2_2、c_2)。平均值计算单元204i，计算出由线性预测系数存储单元206g及线性预测系数存储单元206h获得的c_1和c_2的平均值，求出c并输出到线性预测计算单元204j中。
并且，线性预测计算单元204j，通过线性预测系数存储单元206g获得w1_1的参数，通过线性预测系数存储单元206h获得w2_2的参数，通过平均值计算单元204i获得c的参数，作为d的参数使用事先决定的固定值，并使用公式1计算预测图像并输出。这种情况下，公式1可以如实施形态1说明的那样，如公式1b一样变形进行处理。
作为d的值使用的预先决定的固定值，通常可以使用相同的值，在编码装置中的片头中记述有所述固定值的情况下，能够通过在编码列解析部201中抽出所述固定值对每个片段进行替换。同样，能够通过将其记述在图像共同信息区域或序列共同信息区域中对每个图像或每个序列进行替换。
所述解码方法是与拥有2幅参照图像的B图像相关，但在只拥有1幅参照图像的P图像及B图像中的单一图像参照解码模式中也能够进行同样的处理。在这种情况下只使用第1参照索引或第2参照索引的任何一方，图6的代码串中的片头区域中的pset及idx_cmd，根据块数据区域中记述的参照索引，只记述为ref1用或ref2用。并且，线性预测的方法使用下述的公式3或公式4替换以往方法中说明的公式1。
在使用公式1及公式3的情况下，需要w1、w2、c、d的4个参数，在使用公式4的情况下，能够只由w1、c、d的3个参数进行线性预测。即，象P图像一样在图像全体中只使用第1参照索引或第2参照索引的任何一方的情况下，能够使记述在片头区域内的加权系数组的数据的项目数分别以每3个减少。
在使用公式3的情况下，能够在B图像和P图像中不改变结构而实现与两方对应的线性预测。并且，在使用公式4的情况下，能够削减记述在P图像的片头区域内的数据量，进而能够削减处理量达到使计算简单化的目的。但是，由于无论在哪种方法中，都能够原封不动地适用本发明中提出的参照索引的分配方法，所以能够生成解码效率较高的预测图像，对图像的解码非常有效。
但是，在移动补偿中的参照图像，是由指定被分配到各个图像中的参照索引决定的。此时，将可能参照的图像的最大张数记述在代码串的图像共同信息部分。
图38是记述能够参照的图像的最大张数的代码串的模式图。如图所示在代码串的图像共同信息中记述ref1用的图像的最大数Max_pic1和ref2用的图像的最大数Max_pic2。
解码中必要的信息，并不是实际中图像的最大张数，而是为指定图像而使用的参照索引的取得最大值。
在以往的方法中，由于1个图像中只被分配给1个参照索引，通过记述所述的图像的最大张数不会产生矛盾，特别象本发明一样，在多个参照索引被分配给图像编号的情况下，其差异会造成很大影响。
如上文所述，代码串中记述有为将参照索引分配到图像编号中的指令列idx_cmd1、及idx_cmd2。以该指令列idx_cmd1、及idx_cmd2和各个指令为基础，使图像编号和参照索引相对应。此时，通过得知参照索引的最大值，能够明白所有的参照索引与图像编号都已进行了对应，能够得知指令列idx_cmd1、及idx_cmd2中的指令的终端。
在本发明的实施形态中，将可利用的参照索引的最大数代替以往的图像最大张数记述在图像的开头的图像共同信息部分。
图23表示的是将参照索引的最大数记述在图像的代码串的图像共同信息中的状态。在图像的共同信息部分中，记述有ref1用的可利用参照索引的最大数Max_idx1和ref2用的可利用参照索引的最大数Max_idx2。
在图23中，在图像共同信息中记述有参照索引的最大数，在此之上，也可以采用在片段数据区域内记述参照索引最大数的结构。例如，图像的参照索引的最大数是8，该图像的片段1中必要的参照索引的最大数是8，片段2中必要的参照索引的最大值是4，在根据片段必要的参照索引的最大数与被记述到图像共同信息区域中的最大数不同的情况下，能够明确表示每个片段必要的参照索引的最大数。
即，将记述在图像共同信息中的参照索引的最大数作为图像中的各个片段中共同的默认值，必要的参照索引的最大数对于与默认值不同的片段也可以记述在片头中。
图23及图38表示的是将图像共同信息区域和片段数据区域总括到一起作为代码串的例子，但图像共同信息区域和片段数据区域能够分别作为独立的代码串，这种情况下也能够进行完全相同的处理。
(实施形态7)将对本发明的实施形态7中的动态图像解码方法进行说明。由于解码装置的结构及解码的处理流程及参照索引的分配方法与实施形态6完全相同，这里就省略了具体的说明。
在实施形态6中，在移动补偿中生成预测图像之际，使用公式1或公式3或公式4进行每个像素的线性预测。但是，这些式子中都包含有乘法运算处理，若对所有的像素进行这样的运算，处理量会变得非常大。
于是使用公式5代替公式1、使用公式6代替公式3、公式7代替公式4。因为这些式子不使用乘法运算而只进行位移运算，所以能够缩小处理量。
与实施形态6相同，在同时参照2张图像生成预测图像时使用公式5，在只参照1张图像生成预测图像时使用公式6或公式7。由于在这些式子中需要表示正负的符号的标识符，所以预测运算必要的加权系数组，在公式5及公式6的情况下为(sign1、m、sign2、n、c)，在公式7的情况下为(sign1、m、c)。sign1是识别第1个正负符号的参数，sign2是识别第2个正负符号的参数。参数的个数比实施形态3有所增加，但由于sign1及sign2分别以1比特的形式出现，所以代码量几乎没有增加。
在这里对到决定加权系数组，使用公式5同时参照2张图像生成预测图像为止的处理流程进行详细说明。
首先，对生成预测图像的功能结构的图18的情况进行说明。平均值计算单元204a，通过线性预测系数存储单元206a得到加权系数组(sign1_1、m_1、sign2_1、n_1、c_1)。并且，平均值计算单元204a，通过线性预测系数存储单元206b得到加权系数组(sign1_2、m_2、sign2_2、n_2、c_2)。
平均值计算单元204a，求出通过线性预测系数存储单元206a、线性预测系数存储单元206b得到的加权系数组的每个参数的平均值，作为加权系数组(sign1、m、sign2、n、c)。线性预测计算单元204b，以平均值计算单元204a输出的加权系数组(sign1、m、sign2、n、c)为基础，使用公式5运算预测图像。
图18中记载的由线性预测系数存储单元206a等得到的加权系数组(w1_1、w2_1、c_1、d_1)等，是实施形态6中说明的公式1的情况下的例子，虽说图中未显示对于使用公式5求预测图像的情况下参数，但可以原封不动地直接替换。在以下说明的图19、图20的情况中也是一样。
下面，将对生成预测图像的功能结构的图19的情况进行说明。线性预测计算单元204c，以由线性预测系数存储单元206a得到的加权系数组(sign1_1、m_1、sign2_1、n_1、c_1)为基础运算预测图像。线性预测计算单元204d，以由线性预测系数存储单元206b得到的加权系数组(sign1_2、m_2、sign2_2、n_2、c_2)为基础运算预测图像。平均值计算单元204e，求出线性预测计算单元204c、204d各自运算的预测图像的各像素的平均值，作为预测图像。
在这种情况下，线性预测计算单元204c，由于以加权系数组(sign1_1、m_1、sign2_1、n_1、c_1)为基础使用公式5，最初运算预测图像，能够不使用乘法运算，通过位移运算进行计算。线性预测计算单元204d也是同样。另一方面，在图18的情况下，由于最初求得加权系数组(sign1_1、m_1、sign2_1、n_1、c_1)和加权系数组(sign1_2、m_2、sign2_2、n_2、c_2)的平均值，会出现m_1和m_2的平均值或n_1和n_2的平均值不是整数的情况下，即由于2的指数部分不是整数，很有可能导致处理量增多。并且，为了使2的指数部分成为整数而进行舍入处理，也会导致误差增大。
下面将对生成预测图像的功能结构的图20(a)的情况进行说明。线性预测计算单元204g，将由线性预测系数存储单元206c得到的用于位移运算的系数的参数sign1_1、m_1，由线性预测系数存储单元206c得到的用于位移运算的系数的参数sign2_2、n_2，由各线性预测系数存储单元206c、206d得到的参数c_1和c_2，以平均值计算单元204f平均求得的平均值c为基础，使用公式9运算预测图像。
在这种情况下，因为用于位移运算的系数，是直接由线性预测系数存储单元206c或线性预测系数存储单元206d得到的值，所以公式5中2的指数部分是整数。因此，能够通过位移运算进行计算，可以缩小处理量。
下面将对生成预测图像的功能结构的图20(b)的情况进行说明。线性预测计算单元204h，以由线性预测系数存储单元206e得到的参数sign1_1、m_1、c_1，和由线性预测系数存储单元206f得到的参数sign2_2、n_2为基础，使用公式9运算预测图像。
在这种情况下，因为用于位移运算的系数，是直接由线性预测系数存储单元206e或线性预测系数存储单元206f得到的值，所以公式5中2的指数部分是整数。因此，能够通过位移运算进行计算，可以缩小处理量。
在图20(a)(b)的情况下，有和实施形态3中的图10(a)(b)的说明一样的不用附加在代码串中发送的参数，能够缩小代码串。
以上是使用实施形态7中说明的线性预测式，能够不使用乘法运算通过位移运算进行计算，因此与实施形态6相比能够大幅度削减处理量。
在上述实施形态中，旨在通过使用公式5、公式6、公式7代替公式1、公式3、公式4，编码参数组合也使用(sign1、m、sign2、n、c)代替(w1、w2、c、d)，进行线性预测，实现只通过位移运算削减处理量的目的。作为其他的方法，原封不动地使用公式1、公式3、公式4及(w1、w2、c、d)，通过限制将w1及w2作为只可选择的位移运算的可能值，采用与实施形态6完全相同的结构也能够实现只通过位移运算削减处理量的目的。
并且，作为进一步限定的方法，通常将w1及w2作为1选择进行限制，能够输入只拥有直流成分的c1及c2中任意一值的代码串。以图21的结构的情况为例，将作为ref1用的(1、c_1)、作为ref2用的(1、c_2)作为参数组合进行编码。在这种情况下，预测图像的像素值P(i)，将由(公式1a)中的w1_1及w2_2替换1的下面的式子求出。
P(i)＝(Q1(i)+Q2(i))/pow(2，d)+(c_1+c_2)/2(pow(2，d)表示的是2的d次方)由此能够以同实施形态6完全相同的结构，达到削减线性预测处理量的目的。
图24表示的是在图像的代码串的图像共同信息中记述有表示是否可能只通过位移运算进行线性预测的标记sft_flg，及表示是否可能只通过直流成分c进行线性预测的标记dc_flg的情况下，在解码装置中通过参照这些标记，能够利用适合于只通过位移运算进行线性预测的结构进行解码，能够利用适合于只通过直流成分进行线性预测的结构进行解码，因此根据解码装置的结构能够大幅度削减处理量。
(实施形态8)将对本发明的实施形态8中的动态图像解码方法进行说明。由于解码装置的结构及解码的处理流程及参照索引的分配方法与实施形态6完全相同，这里就省略了具体的说明。
如以往技术中说明的那样，并不是使用实施形态6及实施形态7那样由线性预测系数的加权系数组求得的预测式生成预测图像，而是采用使用公式2a及公式2b那样预先决定的固定式求出预测图像的方法。使用这种方法，其优点在于不必将求预测图像时的加权系数组编码并发送，所以能够减少编码量。并且，由于线性预测的计算式简单，只通过很少的处理量就能够大幅度削减线性预测。但是，由于使用这种固定的方法，能够选择的线性预测式只有公式2a及公式2b两种，所以存在预测精度变差的问题。
于是在本实施形态中使用公式8a、8b代替公式2a、公式2b。这些式子在公式2a、公式2b中加入了C1及C2。因为在运算上只是增加了加法运算的次数，与原式相比处理量几乎没有增加。
公式8a、8b是同时参照2张图像生成预测图像时的预测式，在参照1张图像生成预测图像时，本实施形态中将使用公式9代替说明的公式3、公式4。
使用这种方法所必需的加权系数组，只有作为ref1用的(C1)和作为ref2用的(C2)。因此，在使用这种方法情况下的图像的代码串的例子如图14所示，在片头区域中分别记述有ref1用和ref2用进行线性预测的加权系数组(pset0、pset1、pset2、……)，各个加权系数组的内容只成为C。同样，图15表示的是包含在所述片头区域内的加权系数组的例子，与图7不同，各个加权系数组的要素只是C。
图22是表示图2的线性预测系数存储单元206、及移动补偿解码单元204中生成预测图像的功能结构的功能方框图。
通过线性预测系数存储单元206a、线性预测系数存储单元206b、及线性预测计算单元204a生成预测图像。
根据代码串解析单元201输出的第1参照索引ref1及第2参照索引ref2，获得分别拥有线性预测系数存储单元206a及206b的1个结构要素的加权系数组(C1)及(C2)。将那些值输入到线性预测计算单元204a中，使用公式8a、8b进行线性预测，并生成预测图像。
同样，在只参照1张图像进行线性预测的情况下，只由图22的ref1或ref2的任何一个获得加权系数组(C1)或(C2)，使用公式9进行线性预测，生成预测图像。
这样，由于本实施形态使用的参数的数量只要ref1用、ref2用每个有一个就可以，所以能够削减记述在代码串中的数据量。并且，因为线性预测式不需要采用乘法运算等复杂的运算，能够将运算量抑制在最小限度。并且通过使用C1及C2系数可以大幅度改善使用以往的固定式的方法中预测精度差的缺点。
本实施形态中说明的线性预测方法，与多个参照索引是否能够参照同一图像无关，都可以使用。
(实施形态9)对本发明的实施形态9中的动态图像解码方法进行说明。由于解码装置的结构及解码的处理流程及参照索引的分配方法与实施形态6完全相同，这里就省略了具体的说明。
各个图像和图像编号一起被分配给显示的时间或表示代替其对象的显示顺序信息。图39是并列表示其中1例的图像编号和显示顺序信息的图。显示顺序信息根据显示顺序被分配某个值。在该图中的例子中，使用的是每1个图像增加1的值。使用这些显示顺序信息生成进行线性预测所用系数的值的方法在实施形态9中进行说明。
在实施形态6中，在移动补偿中生成预测图像之际，使用公式1或公式3或公式4对每个像素进行线性预测。但是，为进行这些线性预测需要有系数的数据，在上述实施形态中，作为片头区域中的加权系数组在代码串中记述有系数的数据，并用于预测图像的制作。但是，在得到较高的编码效率的反面，有必要进行制作加权系数组的数据的处理，并且，由于将加权系数组记述在代码串中，会出现导致比特量增加的现象。
于是可以使用公式10、公式11a、公式12a代替公式1进行线性预测。由于这些式子可以只从各幅参照图像拥有的显示顺序信息中决定加权系数，所以没有必要另外将加权系数组编码。
举个例子在图39中，设定编码对象图像为16号、由第1参照索引指定的图像为11号、由第2参照索引指定的图像为10号，各自的图像的显示顺序信息则为15、13、10，所以成为下列的线性预测式。
V1＝(10-15)/(10-13)＝5/3V2＝(15-13)/(10-13)＝-2/3P(i)＝5/3×Q1(i)-2/3×Q2(i)与利用使用公式1的加权系数组进行线性预测的方法比较系数值的自由度较低，所以可以说很难生成最适合的预测图像，但是与通过2张参照图像的位置关系切换由使用公式2a、公式2b两个式子组成的固定式的方法相比较，能够生成效率更高的线性预测式。
在第1参照索引及第2参照索引参照同一图像的情况下，T1＝T2，所以公式11a、公式12a不成立。于是，参照的2张图像拥有同一显示顺序信息的情况下作为V1及V2的值使用1/2进行线性预测。这种情况下的线性预测式如下文所述。
V1＝1/2V2＝1/2P(i)＝1/2×Q1(i)+1/2×Q2(i)
并且，在第1参照索引及第2参照索引参照不同的图像，那些图像拥有同一显示顺序信息的情况下，T1＝T2，所以公式11a、公式12a不成立。这样，参照的2张图像拥有同一显示顺序信息的情况下作为V1及V2的值使用1/2进行线性预测。
这样，在参照的2张图像拥有同一显示顺序信息的情况下，可以采用将预先设定的值作为系数使用的结构。将预先设定的值作为系数，可以是如上述的1/2的例子中所示拥有相同的权的系数。
但是，如上述实施形态中使用公式10，进行线性预测就必须要有乘法运算及除法运算。因为由公式10进行的线性预测运算对编码对象块内的所有像素都进行运算，所以加上乘法运算会使处理量大幅度增加。
于是，同实施形态7的考虑方法一样，通过使V1及V2近似于2次方，能够使线性预测的运算只通过位移运算进行，从而达到削减处理量的目的。这种情况下的线性预测式使用公式11b、公式12b代替公式11a、公式12a。
而且，也可使用公式11c、公式12c代替公式11a、公式12a。
而且，也可使用公式11d、公式12d代替公式11a、公式12a。
而且，2次方的近似值方法，以公式11b为例，使v1的值逐一变化时，以±pow(2，v1)和(T2-T0)/(T2-T1)最近时的±pow(2，v1)作为所求值。
例如在图39中，设定编码对象图像为16号，由第1参照索引指定的图像为11号，由第2参照索引指定的图像为10号，各自的图像的显示顺序信息则为15、13、10，所以(T2-T0)/(T2-T1)及±pow(2，v1)如下所示。
(T2-T0)/(T2-T1)＝(10-15)/(10-13)＝5/3+pow(2，0)＝1、+pow(2，1)＝25/3与1相比离2的值较近，所以近似的结果V1＝2。
并且，作为其他的近似值的方法，通过显示顺序信息T1及T2的2个值的关系，可转换使用增值的近似值和降值的近似值。
这种情况下，T1较T2在时间上落后的情况下，对于V1及V2的两者取增值的近似值，在T1较T2在时间上领先的情况下，对于V1及V2的两者取舍去的近似值。相反，在T1较T2在时间上落后的情况下，对V1及V2的两者取舍去的近似值，在T1较T2在时间上领先的情况下，对于V1及V2的两者取增值的近似值。
并且，作为使用其他的显示顺序信息取近似值的方法，在T1较T2在时间上落后的情况下，在与V1相关的式子中取增值的近似值，在与V2相关的式子中取舍去的近似值。由此因为2个系数的值相互分离，能够容易得到适合的外插值。相反，在T1较T2在时间上领先的情况下，在将与V1相关的式子和与V2相关的式子得到的两者的值进行比较时，在值小的一方取往上进的近似值，在值大的一方取舍去的近似值。由此因为2个系数的值相互接近，所以容易得到适合的内插值。
举个例子在图39中，设定编码对象图像为16号、由第1参照索引指定的图像为11号、由第2参照索引指定的图像为10号，各自的图像的显示顺序信息则为15、13、10，由于T1较T2在时间上落后，所以在与V1相关的式子中取往上进的近似值，在与V1相关的式子中取舍去的近似值。结果，公式11b及12b如下所示进行计算。
(1)对于公式11b(T2-T0)/(T2-T1)＝(10-15)/(10-13)＝5/3+pow(2，0)＝1、+pow(2，1)＝2取往上进的近似值的结果V1＝2。
(2)对于公式12b(T0-T1)/(T2-T1)＝(15-13)/(10-13)＝-2/3-pow(2，0)＝-1、-pow(2，1)＝-1/2取舍去的近似值的结果V2＝-1。
上述实施形态中，线性预测式只有公式10的一个，但也可以与以往的技术中说明的由公式2a及公式2b的2个式子组成的固定式的线性预测方法组合起来使用。在这种情况下，使用公式10代替公式2a，公式2b原封不动进行使用。即，在由第1参照索引指定的图像在显示顺序中落后于由第2参照索引指定的图像的情况下使用公式10，除此以外的情况使用公式2b。
并且，相反，也可以使用公式10代替公式2b，原封不动地使用公式2a。即，在由第1参照索引指定的图像在显示顺序中落后于由第2参照索引指定的图像的情况下使用公式2a，除此以外的情况使用公式10。但是，此时参照的2张图像拥有同一显示顺序信息的情况下，使用1/2作为V1及V2的值进行线性预测。
并且，与实施形态8的考虑方法同样，可以只将系数C记述在片头区域中用于线性预测。这种情况下使用公式13代替公式10。V1及V2的求值方法与上述实施形态相同。
有必要进行生成系数的处理，而且，有必要在片头区域内将系数数据编码，但是即使是在V1及V2的精度较低的情况下也能够通过使用C1及C2进行精度较高的线性预测。特别是在使V1及V2取与2次方近似的值进行线性预测的情况中非常有效。
在使用公式13的情况下的线性预测中，无论是在1个图像中分配有1个参照索引的情况下，还是在1个图像中分配有多个参照索引的情况，都可以同样对待。
在公式11a、公式12a、公式11b、公式12b、公式11c、公式12c、公式11d、公式12d各式的值的计算中，所得值的组合在每个片段中都受到某种程度的限制，所以最好将片段编码再进行一次运算，由于没有必要像公式10，公式13那样对块的所有像素都进行运算，因此对全体处理量的影响很小。
本发明的实施形态中的显示顺序信息，不仅局限于显示的顺序，实施的显示的时间、以随着显示的时间值变大的规定的图像为基准的各个图像的参照顺序也可以。
(实施形态10)对本发明的实施形态10中的动态图像解码方法进行说明。由于解码装置的结构及解码的处理流程及参照索引的分配方法与实施形态6完全相同，这里就省略了具体的说明。
在以往的方法中使用固定式生成预测图像的情况，和使用线性预测系数的加权系数组生成预测图像的情况下，可以通过记述在代码串的图像共同信息部中的标记根据必要进行替换。
本实施形态中，对使用标记替换实施形态6至实施形态9中说明的各种线性预测方法的方法进行说明。
图17(a)为将控制上述替换的5个标记(p_flag、c_flag、d_flag、t_flag、s_flag)记述在代码串中的片头区域内情况下的结构。
如图17(b)所示，p_flag是表示加权系数是否编码后的标记。并且，c_flag是表示在ref1用及ref2用的参数中，是否只有与参数C(C1及C2)相关的数据编码后的标记。并且，t_flag是表示是否使用参照图像的显示顺序信息生成线性预测的加权系数的标记。并且，s_flag是表示为了能够通过位移运算计算线性预测的加权系数，是否取与2次方近似的值的标记。
并且，d_flag表示的是如公式2a及2b所示，在使用预先设定的2个固定式进行线性预测之际，是否通过由ref1指定的图像和由ref2指定的图像的时间上的位置关系进行2式的切换的标记。即，在指定由此标记进行替换的情况下，与以往的方法相同，在由ref1指定的图像在显示顺序中落后于由ref2指定的图像的情况下，使用公式2a，除此以外的情况使用公式2b进行线性预测。另一方面，在指定不由此标记进行替换的情况下，与由ref1指定的图像和由ref2指定的图像的位置关系无关，通常使用公式2b进行线性预测。
在不替换使用的式子中还可以使用公式2a代替公式2b，在这种情况下能够采取相同处理。
在图2所示的解码装置中的代码串解析单元201中解析p_flag的值，根据结果，把是否将与加权系数组相关的数据解码并进行预测图像的生成的指示输出到移动补偿解码单元204中，进行线性预测的移动补偿。由此，能够分别在处理能力高的装置中使用加权系数组进行线性预测，在处理能力低的装置中不使用加权系数组进行线性预测。
同样，在图2所示的解码装置中的代码串解析单元201中解析c_flag的值，根据结果，把是否将与相当于图像数据的DC成分的参数C(C1及C2)相关的数据解码并由固定进行预测图像的生成的指示输出到移动补偿解码单元204中，进行线性预测的移动补偿。由此，能够分别在处理能力高的装置中使用加权系数组进行线性预测，在处理能力低的装置中只使用直流成分进行线性预测。
同样，在图2所示的解码装置中的代码串解析单元201中解析d_flag的值，根据结果，在使用固定式进行线性预测的情况下，把是否替换使用2个式子进行编码的指示输出到移动补偿解码单元204中，进行线性预测的移动补偿。由此，能够分别在图像的亮度在时间上并不变化的情况下只使用单个固定式进行线性预测，在图像的亮度随时间变化的情况下替换使用2个固定式进行线性预测。
同样，在图2所示的解码装置中的代码串解析单元201中解析t_flag的值，根据结果，把是否使用参照图像的显示顺序信息生成进行线性预测的系数的指示输出到移动补偿解码单元204中，进行线性预测的移动补偿。由此，能够分别在代码量中尚有空余的情况下将加权系数组编码进行线性预测，在代码量中没有空余的情况下从显示顺序信息中生成系数进行线性预测。
同样，在图2所示的解码装置中的代码串解析单元201中解析s_flag的值，根据结果，把为了能够通过位移运算进行计算，进行线性预测的系数是否取与2次方近似的值的指示输出到移动补偿解码单元，进行线性预测的移动补偿。由此，能够分别在处理能力高的装置中不取加权系数的近似值直接使用进行线性预测，在处理能力低的装置中使加权系数使用与2次方近似的值实现通过位移运算进行线性预测。
例如，(1)在(p、c、d、t、s_flag)＝(1、0、0、0、1)的情况下，所有的加权系数组经过解码，如实施形态7中说明的那样，通过用2次方表示系数，只由位移运算进行线性预测，并生成预测图像。
并且，(2)在(p、c、d、t、s_flag)＝(1、1、1、0、0)的情况下，只有与参数C(C1及C2)相关的数据经过解码，使用通过实施形态8中说明的向固定式中加入系数C生成预测图像的方法，而且替换使用2个固定式。
并且，(3)在(p、c、d、t、s_flag)＝(0、0、0、0、0)的情况下，加权系数组不经过解码。即，使用只使用以往方法的固定式中的2b生成预测图像的方法。
并且，(4)在(p、c、d、t、s_flag)＝(0、0、1、1、1)的情况下，加权系数组不经过解码，但如实施形态9说明的那样，从参照图像的显示顺序信息中生成加权系数，而且通过使系数与2次方近似只由位移运算进行线性预测，而且替换使用2个固定式生成预测图像。
在上述实施形态中使用每个由1比特组成的5个标记(p_flag、c_flag、d_flag、t_flag、s_flag)进行判别，也可以1个由5比特组成的标记代替5个标记进行判别。并且，在这种情况下，并不是表示现为5比特而能够使用可变长解码进行解码。
在上述实施形态中全部使用每个由1比特组成的5个标记(p_flag、c_flag、d_flag、t_flag、s_flag)，在只使用其中1部分的标记进行线性预测方法的切换的情况下也能够同样对待。这种情况下，图17(a)所示标记只将必要的对象编码并记述。
在以往的方法中，替换使用固定式的预测图像的生成和使用线性预测系数的加权系数组的预测图像的生成的标记设置在代码串的图像共同信息部分，能够以图像单位进行替换。但是，这种方法只能每个图像切换一次预测图像的生成方法。
但是，在本实施形态中，将该切换标记设置在代码串的片头，对于构成图像的每一个片段都能够以任意方法替换生成预测图像，例如，在拥有复杂图像的片段中进行使用加权系数组的预测图像的生成，在拥有简单图像的片段中进行使用固定式的预测图像的生成，由此能够一直将处理量的增加限制在最小值并达到提高画面质量的目的。
在上述实施形态中，将5个标记(p_flag、c_flag、d_flag、t_flag、s_flag)记述在片头区域内对每个片段进行判别，通过将这些标记记述在图像共同信息区域内，能够以图像单位进行切换。并且，通过在每个构成片段的块中设置切换标记，进而能够以块单位通过最适合的方法进行预测图像的生成。
本发明的实施形态中的显示顺序信息，不仅局限于显示的顺序，实施的显示的时间、以随着显示的时间值变大的规定的图像为基准的各个图像的参照顺序也可以。
(实施形态11)下面对本发明的实施形态11中的动态图像的编码方法及解码方法进行说明。由于编码装置及解码装置的结构和编码及解码的处理流程及参照索引的分配方法与实施形态1及实施形态6完全相同，这里就省略了具体的说明。
本实施形态是与实施形态5及实施形态10中说明的内容和同样的技术相关的说明。
在每个片段中都表示有，表示参数组合是否编码后的标记p_flag，和表示在ref1用及ref2用的参数中，是否只有与参数C(C1及C2)相关的数据编码后的标记c_flag。
在图1所示的编码装置中的移动补偿编码单元107中，决定每个片段或块中是否将与参数组合相关的数据编码，并据此将标记p_flag的信息输出到代码串生成单元103中，如图40(a)所示记述在代码串中。
同样，在图1所示的编码装置中的移动补偿编码单元107中，决定每个片段或块中是否只将与相当于图像数据的DC成分的参数C(C1、C2)相关的数据编码，并据此将标记c_flag的信息输出到代码串生成单元103中，如图40(a)所示记述在代码串中。
另一方面，在图2所示解码装置中的代码串解析单元201中，将上述切换标记p_flag和标记c_flag的值解析，并根据其结果，将例如是使用下载的参数组合生成预测图像，或是使用固定式生成预测图像的指示输出到移动补偿解码单元204中，进行线性预测的移动补偿。
例如，如图40(b)所示，(1)在标记p_flag为1，标记c_flag为0的情况下，编码装置中的所有参数组合都经过编码。并且，(2)在标记p_flag为1，标记c_flag为1的情况下，编码装置中只有与参数C(C1及C2)相关的数据经过编码。并且，(3)在标记p_flag为0，标记c_flag为0的情况下，编码装置中的参数组合都没有经过编码。如图40(b)所示决定标记的值，通过标记p_flag能够判别图像数据的DC成分是否经过编码。
在编码装置中，上述(1)的情况下，按例如从图8到图10中说明的那样处理参数。在上述(2)的情况下，按例如图16说明的那样处理参数。在上述(3)的情况下，例如使用固定式处理参数。
在解码装置中，上述(1)的情况下，按例如从图18到图20中说明的那样处理参数。在上述(2)的情况下，按例如图22说明的那样处理参数。在上述(3)的情况下，例如使用固定式处理参数。
并且，对于组合情况不同的例子，以下进行具体的说明。
在上述的例子中，替换使用标记p_flag、标记c_flag明确对参数进行编码(是否使其接收)，也可以不使用上述标记，而使用可变长编码图表(VLC图表)。
如图41所示，也能够更加明确地进行是否切换固定公式2a和固定公式2b的选择。
这里，不进行固定2的切换，其意思如下。例如，在上述以往的技术中，在由第1参照索引指定的图像在显示顺序上落后于由第2参照索引指定的图像的情况下，选择由固定系数组成的固定公式2a，除此以外选择由固定系数组成的固定公式2b，生成预测图像。另一方面，在图41所示例中，在被指示不进行切换的情况下，在由第1参照索引指定的图像在编码顺序上落后于由第2参照索引指定的图像的情况下，选择由固定系数组成的固定公式2b，生成预测图像。
为明确进行是否切换固定公式2a和固定公式2b的选择的标记v_flag的信息由代码串生成单元103输出，并如图41(a)所示记述在代码串中。
图41(b)表示的是由标记v_flag进行处理的例子。如图41(b)所示在标记v_flag为1的时候，不进行参数的编码(在编码装置中参数不被下载。以下同样)，不进行固定公式2的切换。并且，在标记v_flag为01的时候，不进行参数的编码，进行固定公式2的切换。并且，在标记v_flag为0000的时候，只进行参数C的编码，不进行固定公式2的切换。
并且，在标记v_flag为0001的时候，只进行参数C的编码，并进行固定公式2的切换。并且，在v_flag为0010的时候，进行所有参数的编码，不进行固定公式12的切换。并且，在v_flag为0011的时候，进行所有参数的编码，并进行固定公式12的切换。
因为在标记v_fag为0010及0011时，所有参数都经过编码，所以能够不使用固定式，使用加权参数进行线性预测，在这种情况下可以无视是否替换使用固定式的判别。
标记v_flag的切换，能够在图1所示编码装置中的移动补偿编码单元107中进行，在图2所示解码装置中的移动补偿解码单元204中进行。并且，不使用标记v_flag，使用上述的标记p_flag和标记c_flag，及表示是否替换固定式的标记d_flag也可以。
如以上所示，通过使用标记，能够将参数在编码装置中编码，能够替换是否在解码装置中接收(下载)编码后的参数。由此，通过应用的特性、解码装置的处理能力，能够明确切换编码(使接收)的参数。
并且，由于能够明确变更固定式的切换，所以能够增加提高画面质量的方法，进而达到提高编码效率的目的。并且，在解码装置中出现不曾拥有的固定式的情况下，通过明确变更固定式，能够由明确选择的固定式生成预测图像。
图40中的标记的配置不仅局限于图中所示对象。并且，标记的值也不仅局限于上述说明的值。并且，因为如果使用2种标记，能够明确4种参数的使用方法，所以也可以分配上述说明以外的参数的使用方法。并且，在上述例子中说明发送所有参数，也可以如图10及图20所示将必要的参数组合全部发送。
(实施形态12)将为实现上述各个实施形态中所示的图像编码方法或图像解码方法的结构的程序记录在软盘等存储媒体中，由此能够将上述各个实施形态中所示的处理在独立的计算机系统中简单实施。
图25是使用存储有从上述实施形态1到实施形态11的图像编码方法或图像解码方法的软盘，通过计算机系统实施的情况下的说明图。
图25(b)表示的是从软盘的正面来看的外观、剖面构造以及软盘，图25(a)表示的是记录媒体本体的软盘的物理格式的例子。软盘FD内藏在外盒F内，在该盘的表面上，从同心圆状的外周向内周形成有多个磁迹Tr，各个磁迹沿角度方向分割为16个扇区。因此，在存储有上述程序的软盘中，在被分配给上述软盘FD上的区域中，记录有上述程序的图像编码方法。
并且，图25(c)表示的是重新读取记录在软盘FD上的程序的结构。在将上述程序记录到软盘FD中的情况下，从计算机系统Cs上将作为上述程序的图像编码方法或图像解码方法通过软驱写入软盘。并且，在通过软盘内的程序将上述图像编码方法输入到计算机系统中的情况下，通过软驱从软盘中读取程序，并传送到计算机系统中。
在上述说明中，是使用作为记录媒体的软盘进行说明的，同样也可以使用光盘作为记录媒体。并且，记录媒体不仅局限于此，IC卡、ROM盒同样都可以作为记录程序的媒体进行使用。
(实施形态13)图26至图29是说明进行上述实施形态中所示编码处理或解码处理的机器、及使用该机器的系统的说明图。
图26是表示实现内容配信服务的内容供给系统ex100的全体结构的功能图。按照所需大小分割通信服务的提供区域，在各个单元中分别设置有固定无线局的基站ex107～ex110。
该内容供给系统ex100，例如，在因特网ex101中通过因特网服务器ex102及电话网ex104、及基站ex107～ex110，与计算机ex111、PDA(个人数字助理)ex112、摄像机ex113、移动电话机ex114、带摄像头的移动电话机ex115等个机器相连接。
但是，内容供给系统ex100并不仅局限于图26所示的组合，采取任意组合进行连接都可以。并且，不通过固定无线局的基站ex107～ex110，各个机器直接与电话网ex104连接也可以。
摄像机ex113为数字录像机等能够进行动态图像摄影的机器。并且，移动电话机可以是PDC(Personal Digital Communications)方式、CDMA(Code Division Access)方式、W-CDMA(Wideband-Code DivisionMultiple Access)方式、或是GSM(Global System for MobileCommunications)方式的手提电话机，或者PHS(Personal HandyphoneSystem)也可以。
并且，流服务器ex103，从摄像机ex113通过基站ex109、电话网ex104连接，根据用户使用摄像机ex113发送的经过编码处理的数据能够进行实况配信。摄影数据的编码处理可以摄像机ex113中进行，也可以在进行数据发送处理的服务器中进行。
并且，由相机ex116拍摄的动态图像数据通过计算机ex111被发送到流服务器ex103中。相机ex116是能够拍摄数据录像等静止图像、动态图像的机器。在这种情况下，动态图像数据的编码既可以在相机ex116中进行，也可以在计算机ex111中进行。并且，编码处理在计算机ex111及摄像机116所拥有的Siex117中进行的。
而且，图像编码·解码用的软件可以安装在能够通过计算机ex111等读取的记录媒体的任何一种存储媒体(CD-ROM、软盘、硬盘等)中。而且，也可以通过带摄像头的移动电话机ex115发送动态图像数据。此时的动态图像数据是在移动电话机ex115中的LSI中经过编码处理的数据。
在此内容供给系统ex100中，将用户通过摄像机ex113、相机ex116等拍摄的内容(如，拍摄音乐实况等图像)与上述实施形态相同进行编码处理并发送到流服务器ex103中，另一方面流(stream)服务器ex103将上述内容数据对要求的委托对象进行流动配信。委托对象可以是能够对上述经过编码处理的数据进行解码的计算机ex111、PDAex112、摄像机113、移动电话机ex114等。这样一来，内容供给系统ex100能够将编码后的数据在委托对象中接收并再生，进而通过在委托对象中实时接收并解码之后再生，从而能够实现个人播放。
为进行构成该系统的各机器的编码、解码，可以使用上述实施形态中所示的动态图像编码装置或动态图像解码装置。
下面以移动电话机为例进行说明。
图27是表示使用上述实施形态中说明的动态图像编码方法和动态图像解码方法的移动电话机ex115的示意图。移动电话机ex115拥有，和基站ex110之间发送接收电波的天线ex201、能够拍摄CCD录像等图像、静止图像的摄像头部ex203、显示由摄像头部ex203拍摄的图像、由天线ex201接收的图像经过解码后的数据的液晶显示屏等显示单元ex202、由动作键ex204组结构的本体部、用于声音输出的扬声器等声音输出单元ex208、用于声音输入的麦克风等声音输入单元ex205、用于保存拍摄的动态图像或静止图像的数据、接收的电子邮件的数据、动态图像数据或静止图像数据等、编码数据或解码数据的记录媒体ex207、能够在移动电话机ex115上安装记录媒体ex207用的开口部ex206。记录媒体是在SD卡等塑料盒内存储能够进行电力改写及删除的不挥发性存储器EEPROM(Electrically Erasable and ProgrammableRead Only Memory)的一种闪存单元。
使用图28对移动电话机ex115进行说明。移动电话机ex115，对于将装备有显示单元ex202及动作键ex204本体部的各个部分统一进行控制的主控制单元ex311，电源电路ex310、动作输入控制单元ex304、图像编码单元ex312、摄像机接口部ex303、LCD(液晶显示器)控制单元ex302、图像解码单元ex309、多路分离单元ex308、记录再生单元ex307、调制解调电路ex306及声音处理单元ex305通过同步总线ex313相互连接。
电源电路ex310，在通过用户动作结果通话并使电源键处于ON的状态下，通过由备用电池对各部进行电力供给，启动带有摄像头的数字化移动电话机ex115的可动作状态。
移动电话机ex115，根据CPU、ROM及RAM等主控制单元ex311的控制，将在声音通话模式时在声音输入单元ex205中收集的声音信号通过声音处理单元ex305转换成数字声音数据，并在调制解调电路ex306中进行扩频处理，并在接收发送回路部ex301中实施数字-模拟变换处理及频率变换处理之后，通过天线ex201发送。并且移动电话机ex115，将在声音通话模式时由天线ex201接收的接收信号增幅，并实施频率变换处理及模拟-数字变换处理，在调制解调电路ex306中进行光谱逆扩散处理，在由声音处理单元ex305转换成模拟声音信号之后，通过声音输出单元ex208输出。
而且，在数据通信模式时发送电子邮件的情况下，由本体部的动作键ex204的动作输入的电子邮件的文本数据，通过动作输入控制单元ex304发送到主控制单元ex311中。主控制单元ex311，将文本数据在调制解调电路ex306中进行扩频处理，并在收发电路ex301中实施数字模拟变换处理及频率变换处理之后，通过天线ex201向基站ex110发送。
在数据通信模式时发送图像数据的情况下，将由相机单元ex203拍摄的图像数据通过摄像机接口部ex303供给图像编码单元ex312。并且，在不发送图像数据的情况下，能够将由相机单元ex203拍摄的图像数据通过摄像机接口部ex303及LCD控制部ex302直接显示在显示单元ex202上。
图像编码单元ex312，采用装备有本发明中说明的图像编码装置的结构，通过使用上述实施形态中所示图像编码装置的编码方法将由相机单元ex203提供的图像数据进行压缩编码，由此转换成编码图像数据，并将此数据发送至多路分离单元ex308中。并且，在此同时，移动电话机ex115，在相机单元ex203中摄像过程中由声音输入单元ex205收集的声音，通过声音处理单元ex305作为数字声音数据发送到多路分离单元ex308中。
多路分离单元308，将由图像编码单元ex312供给的编码图像数据和由声音处理单元ex305供给的声音数据按照规定的方式进行多重化，结果将得到的多重化数据在调制解调电路ex306中进行扩频处理，并在收发电路ex301中实施数字模拟变换处理及频率变换处理之后通过天线ex201进行发送。
在数据通信模式时接收与主页等连接的动态图像文件的数据的情况下，通过天线ex201在调制解调电路ex306中将从基站ex110接收的接收信号进行光谱逆扩散处理，结果将得到的多重化数据发送到多路分离单元ex308中。
并且，为了将通过天线ex201接收的多重化数据解码，多路分离单元ex308，通过分离多重化数据分为图像数据的编码位流和声音数据的编码位流，并通过同步总线ex313将此编码图像数据供给给图像解码单元ex309，同时将此声音数据供给声音处理单元ex305。
下面，图像解码单元ex309，采用装备有本发明中说明的图像解码装置的结构，通过与上述实施形态中所示编码方法相对应的解码方法将图像数据的编码位流进行解码并生成再生动态图像数据，将此数据通过LCD控制部ex302供给显示单元ex202，由此，能够显示出如包括与主页连接的动态图像文件在内的动态图像数据。与此同时，声音处理单元ex305，在将声音数据变换成模拟声音信号之后，将此信号供给声音输出单元ex208，由此能够播放包括与主页连接的动态图像文件在内的动态图像数据。
而且，不仅局限于上述系统的例子，最近由卫星、地波进行数字广播已成为人们议论的话题，在如图29所示数字播放用系统中至少装备有上述实施形态中的图像编码装置或图像解码装置的任一项。具体为，在电台ex409中将图像信息的编码位流通过电波传送给通信或广播卫星ex410。接收该电波的广播卫星ex410，发送广播用电波，通过拥有卫星广播接收设备的家庭的天线ex406接收此电波，通过电视机(接收机)ex401或机顶盒(STB)ex407等装置将编码位流解码并再生。
并且，读取记录在记录媒体CD及DVD等存储媒体ex402上的编码位流，能够在解码再生装置ex403上安装上述实施形态中所示的图像解码装置。在这种情况下，再生的图像信号显示在监视器ex404上。并且，在与有线电视用的电缆ex405或卫星/地波广播的天线ex406相连接的机顶盒ex407内安装有图像解码装置，采用的是能够在电视机的监视器ex408上使用信号再生的结构。此时不是在机顶盒内，最好是在电视机内安装有图像解码装置。并且，在拥有天线ex411的车ex412中接收从卫星ex410或基站ex107发射的信号，能够在车ex412拥有的车载导航设备ex413等的表示装置中再现动态图像画面。
而且，能够将图像信号在上述实施形态中所示的图像编码装置中编码，并记录在记录媒体上。具体的例子有，在DVD光盘ex421中记录图像信号的DVD记录装置、记录在硬盘中的硬盘记录装置等记录装置ex420。并且还能够记录在SD卡ex422中。记录装置ex420上若装备有上述实施形态中所示的图像解码装置，就能够将记录在DVD光盘ex421及SD卡ex422上的图像信号再生，并显示在监视器ex408上。
车载导航设备ex413的结构在如图28所示的结构中，考虑采用除去相机单元ex203和摄像机接口部ex303、图像编码单元ex312之外的结构，同样也考虑到计算机ex111及电视机(接收机)ex401等。
并且，上述移动电话机ex114等的末端，除拥有双方编码器·解码器的发送接收型末端之外，还可以考虑只有编码器的发送末端、只有解码器的接收末端的3种安装形式。
这样，可以将上述实施形态中所示的动态图像编码方法或动态图像解码方法应用在上述的任何机器·系统中，由此能够得到上述实施形态中说明的效果。
工业应用性如以上所示，用本发明的动态图像编码方法及解码方法，能够制作多个在生成预测图像时的线性预测所使用的加权系数组的候选，并可以选择最适合每个块的系数。其结果，无论是在分配到多个参照索引的情况下，还是在分配到1个参照索引的情况，都能够提高参照索引的解码效率。并且，由于能够较大地提高解码效率，所以在动态图像的编码及解码中都是非常有效的。
权利要求
1.一种图像编码方法，其特征在于，包括以下步骤将通过图像编号标识的已编码完毕的图像作为参照图像存储在存储单元中的参照图像存储步骤；生成使在生成预测图像中所使用的系数及指定所述参照图像的参照索引与所述图像编号对应起来的指令的指令生成步骤；用所述参照索引指定对编码对象图像上的块进行移动补偿时的参照图像的参照图像指定步骤；通过使用与所述参照索引相对应的所述系数，对通过检测在所述参照图像指定步骤中指定的参照图像内的移动所得到的块进行线性预测，由此生成预测图像的预测图像生成步骤；输出包括将输入的编码对象图像内的块与所述预测图像的差即预测误差、所述指令、所述参照索引以及所述系数进行编码后的编码信号在内的图像编码信号的编码信号输出步骤；上述编码信号输出步骤将所述图像编码信号中的表示所述参照索引的最大值的信息进行编码。
2.如权利要求1所述的图像编码方法，其特征在于，表示上述参照索引的最大值的信息包含在上述图像编码信号所包含的图像共同信息区域内。
3.如权利要求1所述的图像编码方法，其特征在于，在上述指令生成步骤中，生成指令，以便使存储在存储单元中的多幅参照图像中，至少包括1幅以上的拥有对应于多个参照索引的图像编号的参照图像。
4.如权利要求3所述的图像编码方法，其特征在于，在上述参照图像指定步骤中，在上述参照图像的图像编号与多个参照索引相对应的情况下，根据与该多个参照索引分别对应的系数，选择其中的1个参照索引；在上述预测图像生成步骤中，使用与在指定步骤中选择的参照索引相对应的系数进行线性预测。
5.如权利要求1所述的图像编码方法，其特征在于，在上述预测图像生成步骤中，只使用位移运算、加法运算及减法运算进行所述线性预测。
6.如权利要求1所述的图像编码方法，其特征在于，在上述预测图像生成步骤中所述线性预测所使用的系数只有表示线性预测公式中直流成分的值与上述参照索引相对应。
7.如权利要求1所述的图像编码方法，其特征在于，包括表示第1参照图像的第1参照索引和表示第2参照图像的第2参照索引，在使用根据各参照图像所具有的显示顺序信息生成系数的方法，作为在上述预测图像生成步骤中进行上述线性预测的方法的情况下，在第1参照索引指定的参照图像与第2参照索引指定的参照图像拥有相同显示顺序信息时，替换使用预先设定的系数，进行线性预测。
8.如权利要求7所述的图像编码方法，其特征在于，上述预先设定的系数拥有相同的权重。
9.一种图像解码方法，其特征在于，包括以下步骤对具有使生成预测图像所使用的系数及指定参照图像的参照索引与图像编号对应起来的指令、参照索引、预测残差的编码信号的图像编码信号进行解码，得到所述指令、所述参照索引和所述预测误差的图像编码信息获得步骤；根据解码后的所述指令和解码后的所述参照索引，指定对解码对象图像内的块进行移动补偿时的参照图像的参照图像指定步骤；使用与所述参照索引相对应的所述系数，对通过检测在所述参照图像指定步骤中指定的参照图像内的移动所得到的块进行线性预测，由此生成预测图像的预测图像生成步骤；根据所述预测图像和解码后的预测残差，生成解码图像的解码图像生成步骤；将用图像编号识别的已解码完毕的图像存储到存储单元中，作为参照图像的参照图像存储步骤；上述图像编码信息获得步骤将表示上述图像编码信号中的上述参照索引的最大值的信息进行解码。
10.如权利要求9所述的图像解码方法，其特征在于，表示上述参照索引的最大值的信息包含在上述图像编码信号所包含的图像共同信息区域内。
11.如权利要求9所述的图像解码方法，其特征在于，上述指令使参照索引与图像编号对应起来，以便使存储在存储单元中的多幅参照图像中，至少包括1幅以上拥有对应于多个参照索引的图像编号的参照图像。
12.如权利要求11中所述的图像解码方法，其特征在于，在上述参照图像指定步骤中，使用上述指令指定与解码后的参照索引相对应的上述图像编号，将预测图像生成步骤中进行线性预测所使用的系数，确定为与上述参照索引相对应的系数。
13.如权利要求9所述的图像解码方法，其特征在于，在上述预测图像生成步骤中，只使用位移运算、加法运算及减法运算进行线性预测。
14.如权利要求9所述的图像编码方法，其特征在于，上述预测图像生成步骤中所述线性预测所使用的系数只有表示线性预测公式中的直流成分的值与上述参照索引相对应。
15.如权利要求9所述的图像编码方法，其特征在于，上述参照索引包括表示第1参照图像的第1参照索引和表示第2参照图像的第2参照索引，在使用根据各参照图像所具有的显示顺序信息生成系数的方法，作为在上述预测图像生成步骤中进行上述线性预测的方法的情况下，在第1参照索引指定的参照图像与第2参照索引指定的参照图像拥有相同显示顺序信息时，替换使用预先设定的系数进行线性预测。
16.如权利要求15所述的图像解码方法，其特征在于，上述预先设定的系数拥有相同的权重。
17.一种图像编码装置，其特征在于，包括以下单元将通过图像编号标识的已编码完毕的图像作为参照图像存储在存储单元中的参照图像存储单元；生成指令的指令生成单元，使生成预测图像所使用的系数及指定所述参照图像的参照索引与所述图像编号对应起来；用所述参照索引指定对编码对象图像上的块进行移动补偿时的参照图像的参照图像指定单元；通过使用与所述参照索引相对应的所述系数，对通过检测在所述参照图像指定步骤中指定的参照图像内的移动所得到的块进行线性预测，由此生成预测图像的预测图像生成单元；输出包括将输入的编码对象图像内的块与所述预测图像的差即预测误差、所述指令、所述参照索引以及所述系数进行编码后的编码信号在内的图像编码信号的编码信号输出单元；上述编码信号输出单元将所述图像编码信号中表示所述参照索引的最大值的信息进行编码。
18.一种图像解码装置，其特征在于，包括以下单元将包括使生成预测图像所使用的系数及指定参照图像的参照索引与图像编号对应起来的指令、上述参照索引、预测误差的编码信号的图像编码信号进行解码，得到所述指令、所述参照索引和所述预测误差的图像编码信息获得单元；根据解码后的所述指令和解码后的所述参照索引，指定对解码对象图像上的块进行移动补偿时的参照图像的参照图像指定单元；使用与所述参照索引相对应的所述系数，对通过检测在所述参照图像指定步骤中指定的参照图像内的移动所得到的块进行线性预测，由此生成预测图像的预测图像生成单元；根据所述预测图像和解码后的预测误差生成解码图像的解码图像生成单元；将用图像编号识别的已解码完毕的图像存储到存储单元中作为参照图像的参照图像存储单元；上述图像编码信息获得单元将表示上述图像编码信号中的上述参照索引的最大值的信息进行解码。
19.一种程序，其特征在于，使计算机执行权利要求1到8中任何一项记载的图像编码方法或权利要求9到16中任何一项记载的图像解码方法。
20.一种编码数据，表示具有多幅编码的图像的动态图像，具有能够由计算机进行解码的数据结构，其特征在于，上述编码数据将以下的数据进行编码用于生成预测图像的系数；指定上述系数和对解码图像上的块进行移动补偿时的参照图像的参照索引；使上述参照索引与图像编号对应起来的指令；预测图像与输入的编码对象图像内的块之差即预测误差，该预测图像对通过检测由上述参照索引指定的参照图像内的移动所得到的块，用与上述参照索引相对应的上述系数进行线性预测而生成；表示上述参照索引的最大值的信息。
21.如权利要求20所述的编码数据，其特征在于，表示上述最大值的信息包于在上述编码数据所包含的图像共同信息区域内。
全文摘要
本发明的图像编码方法，将由图像编号识别的已编码完毕的图像存储在存储单元中作为参照图像，生成使生成预测图像所使用的系数及指定参照图像的参照索引与图像编号对应起来的指令，用上述参照索引指定对编码对象图像内的块进行移动补偿时的参照图像，用与上述参照索引相对应的上述系数对通过检测指定的参照图像上的移动得到的块实施线性预测，由此生成预测图像，输出包括将所述指令、所述参照索引、所述系数和输入的编码对象图像内的块与所述预测图像的差即预测误差进行编码后的编码信号在内的图像编码信号，此时，将表示上述图像编码信号中的上述参照索引的最大值的信息进行编码，并且生成将多个参照索引与1个以上的图像编号对应起来的指令。
文档编号G06T9/00GK1568622SQ0380125
公开日2005年1月19日 申请日期2003年7月22日 优先权日2002年8月8日
发明者安倍清史, 野真也, 近藤敏志, 羽饲诚 申请人:松下电器产业株式会社