专利名称：动画图像编码装置和方法、动画图像解码装置和方法
技术领域：
本发明涉及使用了具有动态补偿的时间方向频带分割处理的动画图像编码装置、动画图像解码装置、动画图像编码方法、动画图像解码方法、动画图像编码程序、动画图像解码程序。
背景技术：
作为用于高效地进行动画图像数据的传送和积蓄的技术，已知各种压缩编码技术。例如，已知在MPEG1～4、H.261～H.264中采用的动画图像编码技术、使用了子频带分割和WEB速率分割的动画图像编码技术等。
在使用了子频带分割和WEB速率分割的动画图像编码方式中，将构成动画图像的多个图像逐一作为编码对象。使用规定的滤波器，将编码对象的图像分割为多个频带。对分割后的各信号进行量化，进而进行编码。将该编码称为“画面内子频带编码方式”。
另一方面，有基于被称为时间方向频带分割的处理的编码方式。在该方式中，将构成动画图像的多个图像每二个地作为编码对象。编码对象的二个图像通过使用规定的滤波器在时间方向上进行频带分割，而分割为高频频带信号(以下称为高频带信号)、低频频带信号(以下称为低频带信号)。使用离散余弦变换对高频带信号进行编码。对于低频带信号，与根据与编码对象的二个图像不同的二个图像同样地生成的低频带信号作为一组，进而在时间方向上进行频带分割。在该方式下，通过重复进行低频带信号的时间方向上的频带分割，而达到良好的编码性能。
在Seung-Jong choi and John W.Woods，“Motion-Compensated3-D Subband Coding of Video”，IEEE TRANSACTIONS ON IMAGEPROCESSING，VOL.8，NO.2，FEBRUARY 1999中，记载了使用了以下的处理的动画图像编码方式，即在上述时间方向频带分割的基础上进而施加现有的动态检测、动态补偿的被称为“附加动态补偿的时间方向频带分割”的处理。
通过附加动态补偿的时间方向频带分割，对于低频带信号减轻了输入图像本来具有的噪声信号，并且对于高频带信号减小了预测误差，因此提高了压缩编码效率。
但是，为了提高使用了上述附加动态补偿的时间方向频带分割的动画图像编码的压缩编码效率，必须多次进行低频带信号的频带分割的处理。
图20是模式地表示现有的附加动态补偿的时间方向频带分割处理的流程的图。在图20中，a0、b0、a1、b1、a2、b2、a3、b3、a4、b4分别表示构成动画图像的各图像。在它们中，通过频带分割处理2001，将二个图像ai、bi(i＝0，1，2，3……)分割为高频带信号hi(i＝0，1，2，3……)、低频带信号ri(i＝0，1，2，3……)。通过频带分割处理2002，进而将相邻的二个低频带信号ri分割为高频带信号和低频带信号。例如，通过频带分割处理2002，将r0、r1分割为高频带信号h01、低频带信号r01。同样地，通过频带分割处理2002，将r2、r3分割为高频带信号h23和低频带信号r23。为了提高压缩率，通过频带分割处理2003，将r01、r23分割为高频带信号h0123、低频带信号r0123。通过规定方法，对这样分割了的图像信号r0123、h0123、h01、h23、h0、h1、h2、h3进行压缩编码。作为频带分割处理2001、2002、2003一般使用Haar变换。
由图20可知，为了生成最终的低频带信号r0123，需要a0、b0、a1、b1、a2、b2、a3、b3的8格(comma)的图像。为了进一步提高压缩率，需要16格的图像。
这样，对于使用了现有的附加动态补偿的时间方向频带分割的编码，为了提高压缩率，需要多次进行低频带信号的分割。因此，增大了图像传送的延迟时间。另外，为了到最终的低频带信号的分割结束为止存储输入图像和中间处理图像，需要大容量的帧存储器。
在对基于附加动态补偿的时间方向频带分割的数据进行解码时，同样会产生这样的问题。
发明内容
因此，本发明的目的就在于提供一种降低附加动态补偿的时间方向频带分割的处理延迟并且能够以高编码效率对动画图像进行编码的动画图像编码装置、动画图像编码方法、动画图像编码程序。另外，本发明的目的在于提供一种能够以很少的处理延迟从通过该动画图像编码装置生成的数据复原动画图像的动画图像解码装置、动画图像解码方法、动画图像解码程序。
本发明的一个方面的动画图像编码装置具备(a)将在动画图像中在时间方向上顺序排列的二个图像作为编码对象的第1图像和第2图像，通过在时间方向上对该第1图像和第2图像进行频带分割，生成高频带信号和低频带信号的频带分割装置；(b)通过对上述高频带信号适用第1编码处理，生成压缩高频带信号的第1编码装置；(c)通过对上述低频带信号适用第2编码处理，生成压缩低频带信号的第2编码装置，其中，(d)上述第2编码装置将基于上述第1图像和第2图像的上述低频带信号作为编码对象的低频带信号，通过参照针对与上述第1图像和第2图像不同的上述动画图像的二个图像已经生成了的低频带信号，来生成上述编码对象的低频带信号的预测信号，并对基于该编码对象的低频带信号和该预测信号的差分的残差信号进行编码，从而生成压缩低频带信号。
另外，本发明的另一个方面的动画图像编码方法具备(a)频带分割装置将在动画图像中在时间方向上排列的二个图像作为编码对象第1图像和第2图像，通过在时间方向上对该第1图像和第2图像进行频带分割，生成高频带信号和低频带信号的频带分割步骤；(b)第1编码装置通过对上述高频带信号适用第1编码处理，生成压缩高频带信号的第1编码步骤；(c)通过对上述低频带信号适用第2编码处理，生成压缩低频带信号的第2编码步骤，其中，(d)在上述第2编码步骤中，上述第2编码装置将基于上述第1图像和第2图像的上述低频带信号作为编码对象的低频带信号，通过参照针对与上述第1图像和第2图像不同的上述动画图像的二个图像已经生成了的低频带信号，来生成上述编码对象的低频带信号的预测信号，并对基于该编码对象的低频带信号和该预测信号的差分的残差信号进行编码，从而生成压缩低频带信号。
另外，本发明的另一个方面的动画图像编码程序是使计算机作为以下装置发挥功能的程序(a)将在动画图像中在时间方向上排列的二个图像作为编码对象第1图像和第2图像，通过在时间方向上对该第1图像和第2图像进行频带分割，生成高频带信号和低频带信号的频带分割装置；(b)通过对上述高频带信号适用第1编码处理，生成压缩高频带信号的第1编码装置；(c)通过对上述低频带信号适用第2编码处理，生成压缩低频带信号的第2编码装置。在此，(d)上述第2编码装置将基于上述第1图像和第2图像的上述低频带信号作为编码对象的低频带信号，通过参照针对与上述第1图像和第2图像不同的上述动画图像的二个图像已经生成了的低频带信号，来生成上述编码对象的低频带信号的预测信号，并对基于该编码对象的低频带信号和该预测信号的差分的残差信号进行编码，从而生成压缩低频带信号。
根据本发明，将构成动画图像的多个图像每二个地作为编码对象的图像，并只执行一次该编码对象的图像的频带分割。因此，减少了频带分割所伴随的延迟。另外，在第2编码处理中，对基于编码对象的图像的低频带信号、基于针对与编码对象的图像不同的动画图像的二个图像已经生成的低频带信号的预测信号的差分的残差信号进行编码。因此，即使执行一次低频带信号的频带分割处理，也能够高效地对低频带信号进行编码。
本发明的另一个方面的动画图像编码装置具备(a)将在动画图像中在时间方向上顺序排列的二个图像作为编码对象的第1图像和第2图像，通过在时间方向上对该第1图像和第2图像进行频带分割，生成高频带信号和低频带信号的频带分割装置；(b)通过对上述高频带信号适用第1编码处理，生成压缩高频带信号的第1编码装置；(c)通过对上述低频带信号适用第2编码处理，生成压缩低频带信号的第2编码装置；(d)通过对上述压缩低频带信号适用用于重放上述低频带信号的解码处理(第2解码处理)，生成重放低频带信号的解码装置(第2解码装置)，其中，(e)上述第2编码装置将基于上述第1图像和第2图像的上述低频带信号作为编码对象的低频带信号，通过参照针对与上述第1图像和第2图像不同的上述动画图像的二个图像已经生成了的低频带信号，来生成上述编码对象的低频带信号的预测信号，并对基于该编码对象的低频带信号和该预测信号的差分的残差信号进行编码，从而生成压缩低频带信号。
本发明的另一个方面的动画图像编码方法具备(a)频带分割装置将在动画图像中在时间方向上顺序排列的二个图像作为编码对象的第1图像和第2图像，通过在时间方向上对该第1图像和第2图像进行频带分割，生成高频带信号和低频带信号的频带分割步骤；(b)第1编码装置通过对上述高频带信号适用第1编码处理，生成压缩高频带信号的第1编码步骤；(c)第2编码装置通过对上述低频带信号适用第2编码处理，生成压缩低频带信号的第2编码步骤；(d)解码装置(第2解码装置)通过对上述压缩低频带信号适用用于重放上述低频带信号的解码处理(第2解码处理)，生成重放低频带信号的解码步骤(第2解码步骤)，其中，(e)在上述第2编码步骤中，将基于上述第1图像和第2图像的上述低频带信号作为编码对象的低频带信号，通过参照针对与上述第1图像和第2图像不同的上述动画图像的二个图像已经生成了的低频带信号，来生成上述编码对象的低频带信号的预测信号，并对基于该编码对象的低频带信号和该预测信号的差分的残差信号进行编码，从而生成压缩低频带信号。
本发明的另一个方面的动画图像编码程序使计算机作为以下装置而发挥功能(a)将在动画图像中在时间方向上顺序排列的二个图像作为编码对象的第1图像和第2图像，通过在时间方向上对该第1图像和第2图像进行频带分割，生成高频带信号和低频带信号的频带分割装置；(b)通过对上述高频带信号适用第1编码处理，生成压缩高频带信号的第1编码装置；(c)通过对上述低频带信号适用第2编码处理，生成压缩低频带信号的第2编码装置；(d)通过对上述压缩低频带信号适用用于重放上述低频带信号的解码处理(第2解码处理)，生成重放低频带信号的解码装置(第2解码装置)。在此，(e)上述第2编码装置将基于上述第1图像和第2图像的上述低频带信号作为编码对象的低频带信号，通过参照针对与上述第1图像和第2图像不同的上述动画图像的二个图像已经生成了的低频带信号，来生成上述编码对象的低频带信号的预测信号，并对基于该编码对象的低频带信号和该预测信号的差分的残差信号进行编码，从而生成压缩低频带信号。
根据本发明，将构成动画图像的多个图像每二个地作为编码对象的图像，并只执行一次该编码对象的图像的频带分割。因此，减少了频带分割所伴随的延迟。另外，在第2编码处理中，对基于编码对象的图像的低频带信号、基于针对与编码对象的图像不同的动画图像的二个图像已经生成的低频带信号的预测信号的差分的残差信号进行编码。因此，即使执行一次低频带信号的频带分割处理，也能够高效地对低频带信号进行编码。
本发明的另一个方面的动画图像编码装置具备(a)将在动画图像中在时间方向上顺序排列的二个图像作为编码对象的第1图像和第2图像，通过在时间方向上对该第1图像和第2图像进行频带分割，生成高频带信号和低频带信号的频带分割装置；(b)通过对上述高频带信号适用第1编码处理，生成压缩高频带信号的第1编码装置；(c)通过对上述压缩高频带信号适用用于重放上述压缩高频带信号的第1解码处理，生成重放高频带信号的第1解码装置；(d)通过对上述低频带信号适用第2编码处理，生成压缩低频带信号的第2编码装置；(e)通过对上述压缩低频带信号适用用于重放上述低频带信号的解码处理，生成重放低频带信号的第2解码装置；(f)通过对由上述第1解码装置生成的重放高频带信号和由上述第2解码装置生成的重放低频带信号进行频带合成，生成上述第1图像和第2图像各自的重放图像的频带合成装置，其中，(g)上述第2编码装置将基于上述第1图像和第2图像的上述低频带信号作为编码对象的低频带信号，通过参照针对与上述第1图像和第2图像不同的上述动画图像的二个图像已经生成了的重放低频带信号、针对该二个图像已经生成的二个重放图像中的至少一个，来生成上述编码对象的低频带信号的预测信号，并对基于该编码对象的低频带信号和该预测信号的差分的残差信号进行编码，从而生成压缩低频带信号。
本发明的另一个方面的动画图像编码方法具备(a)频带分割装置将在动画图像中在时间方向上顺序排列的二个图像作为编码对象的第1图像和第2图像，通过在时间方向上对该第1图像和第2图像进行频带分割，生成高频带信号和低频带信号的频带分割步骤；(b)第1编码装置通过对上述高频带信号适用第1编码处理，生成压缩高频带信号的第1编码步骤；(c)第1解码装置通过对上述压缩高频带信号适用用于重放上述压缩高频带信号的第1解码处理，生成重放高频带信号的第1解码步骤；(d)第2编码装置通过对上述低频带信号适用第2编码处理，生成压缩低频带信号的第2编码步骤；(e)第2解码装置通过对上述压缩低频带信号适用用于重放上述低频带信号的解码处理，生成重放低频带信号的第2解码步骤；(f)频带合成装置通过对由上述第1解码装置生成的重放高频带信号和由上述第2解码装置生成的重放低频带信号进行频带合成，生成上述第1图像和第2图像各自的重放图像的频带合成步骤，其中，(g)上述第2编码装置将基于上述第1图像和第2图像的上述低频带信号作为编码对象的低频带信号，通过参照针对与上述第1图像和第2图像不同的上述动画图像的二个图像已经生成了的重放低频带信号、针对该二个图像已经生成的二个重放图像中的至少一个，来生成上述编码对象的低频带信号的预测信号，并对基于该编码对象的低频带信号和该预测信号的差分的残差信号进行编码，从而生成压缩低频带信号。
本发明的另一个方面的动画图像编码程序使计算机作为以下装置而发挥功能(a)将在动画图像中在时间方向上顺序排列的二个图像作为编码对象的第1图像和第2图像，通过在时间方向上对该第1图像和第2图像进行频带分割，生成高频带信号和低频带信号的频带分割装置；(b)通过对上述高频带信号适用第1编码处理，生成压缩高频带信号的第1编码装置；(c)通过对上述压缩高频带信号适用用于重放上述压缩高频带信号的第1解码处理，生成重放高频带信号的第1解码装置；(d)通过对上述低频带信号适用第2编码处理，生成压缩低频带信号的第2编码装置；(e)通过对上述压缩低频带信号适用用于重放上述低频带信号的解码处理，生成重放低频带信号的第2解码装置；(f)通过对由上述第1解码装置生成的重放高频带信号和由上述第2解码装置生成的重放低频带信号进行频带合成，生成上述第1图像和第2图像各自的重放图像的频带合成装置，其中，(g)上述第2编码装置将基于上述第1图像和第2图像的上述低频带信号作为编码对象的低频带信号，通过参照针对与上述第1图像和第2图像不同的上述动画图像的二个图像已经生成了的重放低频带信号、针对该二个图像已经生成的二个重放图像中的至少一个，来生成上述编码对象的低频带信号的预测信号，并对基于该编码对象的低频带信号和该预测信号的差分的残差信号进行编码，从而生成压缩低频带信号。
根据本发明，将构成动画图像的多个图像每二个地作为编码对象的图像，并只执行一次该编码对象的图像的频带分割。因此，减少了频带分割所伴随的延迟。另外，在第2编码处理中，对基于编码对象的图像的低频带信号、基于针对与编码对象的图像不同的动画图像的二个图像已经生成的重放低频带信号和重放图像的至少一个的预测信号的差分的残差信号进行编码。因此，即使执行一次低频带信号的频带分割处理，也能够高效地对低频带信号进行编码。
本发明的一个方面的动画图像解码装置具备(a)针对对在动画图像中在时间方向上顺序排列的二个图像进行频带分割而成的高频带信号的编码后的压缩高频带信号适用第1解码处理，生成重放高频带信号的第1解码装置；(b)针对对上述二个图像进行频带分割而成的低频带信号的编码后的压缩低频带信号适用第2解码处理，生成重放低频带信号的第2解码装置，其中，(c)上述第2解码装置通过参照根据与解码对象的压缩低频带信号不同的压缩低频带信号已经生成的重放低频带信号，生成解码对象的压缩低频带信号的预测信号，将对该解码对象的压缩低频带信号进行解码而成的信号和该预测信号进行相加，从而生成与该解码对象的压缩低频带信号对应的重放低频带信号。另外，本发明的动画图像解码装置还可以具备通过对上述重放高频带信号和上述重放低频带信号进行频带合成，生成分别重放上述二个图像而成的二个重放图像的频带合成装置。
本发明的另一个方面的动画图像解码方法具备(a)第1解码装置针对对在动画图像中在时间方向上顺序排列的二个图像进行频带分割而成的高频带信号的编码后的压缩高频带信号适用第1解码处理，生成重放高频带信号的第1解码步骤；(b)第2解码装置针对对上述二个图像进行频带分割而成的低频带信号的编码后的压缩低频带信号适用第2解码处理，生成重放低频带信号的第2解码步骤，其中，(c)在上述第2解码步骤中，上述第2解码装置通过参照根据与解码对象的压缩低频带信号不同的压缩低频带信号已经生成的重放低频带信号，生成解码对象的压缩低频带信号的预测信号，将对该解码对象的压缩低频带信号进行解码而成的信号和该预测信号进行相加，从而生成与该解码对象的压缩低频带信号对应的重放低频带信号。另外，本发明的动画图像解码方法还可以包括频带合成装置通过对上述重放高频带信号和上述重放低频带信号进行频带合成，生成分别重放上述二个图像而成的二个重放图像的频带合成步骤。
本发明的另一个方面的动画图像解码程序使计算机作为以下的装置而发挥功能(a)针对对在动画图像中在时间方向上顺序排列的二个图像进行频带分割而成的高频带信号的编码后的压缩高频带信号适用第1解码处理，生成重放高频带信号的第1解码装置；(b)针对对上述二个图像进行频带分割而成的低频带信号的编码后的压缩低频带信号适用第2解码处理，生成重放低频带信号的第2解码装置，在此，(c)上述第2解码装置通过参照根据与解码对象的压缩低频带信号不同的压缩低频带信号已经生成的重放低频带信号，生成解码对象的压缩低频带信号的预测信号，将对该解码对象的压缩低频带信号进行解码而成的信号和该预测信号进行相加，从而生成与该解码对象的压缩低频带信号对应的重放低频带信号。另外，本发明的动画图像解码程序还可以是作为以下装置发挥功能的程序通过对上述重放高频带信号和上述重放低频带信号进行频带合成，生成分别重放上述二个图像而成的二个重放图像的频带合成装置。
在本发明中，通过将对解码对象的压缩低频带信号进行解码后的信号(重放残差信号)、参照根据与该解码对象的压缩低频带信号不同的压缩低频带信号已经生成的重放低频带信号而生成的预测信号相加，生成重放低频带信号。这样，通过一次的解码处理生成重放低频带信号，因此通过本发明，能够减少复原重放低频带信号的延迟。另外，在本发明中，在进一步具备频带合成装置的情况下，通过将该重放低频带信号与对应的重放高频带信号进行频带合成，来生成二个重放图像。这样，通过一次频带合成处理生成二个重放图像，因此减少了复原动画图像的延迟。
本发明的另一个方面的动画图像解码装置具备(a)针对对在动画图像中在时间方向上顺序排列的二个图像进行频带分割而成的高频带信号的编码后的压缩高频带信号适用第1解码处理，生成重放高频带信号的第1解码装置；(b)针对对上述二个图像进行频带分割而成的低频带信号的编码后的压缩低频带信号适用第2解码处理，生成重放低频带信号的第2解码装置；(c)通过对上述重放高频带信号和上述重放低频带信号进行频带合成，生成分别重放上述二个图像而成的二个重放图像的频带合成装置，其中，(d)上述第2解码装置通过参照根据与解码对象的压缩低频带信号不同的压缩低频带信号已经生成的重放低频带信号、根据该重放低频带信号和与该重放低频带信号对应的重放高频带信号已经生成的二个重放图像的至少一个，生成解码对象的压缩低频带信号的预测信号，将对该解码对象的压缩低频带信号进行解码而成的信号和该预测信号进行相加，从而生成与该解码对象的压缩低频带信号对应的重放低频带信号。
本发明的另一个方面的动画图像解码方法具备(a)第1解码装置针对对在动画图像中在时间方向上顺序排列的二个图像进行频带分割而成的高频带信号的编码后的压缩高频带信号适用第1解码处理，生成重放高频带信号的第1解码步骤；(b)第2解码装置针对对上述二个图像进行频带分割而成的低频带信号的编码后的压缩低频带信号适用第2解码处理，生成重放低频带信号的第2解码步骤；(c)频带合成装置通过对上述重放高频带信号和上述重放低频带信号进行频带合成，生成分别重放上述二个图像而成的二个重放图像的频带合成步骤，其中，(d)在上述第2解码步骤中，上述第2解码装置通过参照根据与解码对象的压缩低频带信号不同的压缩低频带信号已经生成的重放低频带信号、根据该重放低频带信号和与该重放低频带信号对应的重放高频带信号已经生成的二个重放图像的至少一个，生成解码对象的压缩低频带信号的预测信号，将对该解码对象的压缩低频带信号进行解码而成的信号和该预测信号进行相加，从而生成与该解码对象的压缩低频带信号对应的重放低频带信号。
本发明的另一个方面的动画图像解码程序使计算机作为以下的装置而发挥功能(a)针对对在动画图像中在时间方向上顺序排列的二个图像进行频带分割而成的高频带信号的编码后的压缩高频带信号适用第1解码处理，生成重放高频带信号的第1解码装置；(b)针对对上述二个图像进行频带分割而成的低频带信号的编码后的压缩低频带信号适用第2解码处理，生成重放低频带信号的第2解码装置；(c)通过对上述重放高频带信号和上述重放低频带信号进行频带合成，生成分别重放上述二个图像而成的二个重放图像的频带合成装置，其中，(d)上述第2解码装置通过参照根据与解码对象的压缩低频带信号不同的压缩低频带信号已经生成的重放低频带信号、根据该重放低频带信号和与该重放低频带信号对应的重放高频带信号已经生成的二个重放图像的至少一个，生成解码对象的压缩低频带信号的预测信号，将对该解码对象的压缩低频带信号进行解码而成的信号和该预测信号进行相加，从而生成与该解码对象的压缩低频带信号对应的重放低频带信号。
在本发明中，通过将对解码对象的压缩低频带信号进行解码后的信号(重放残差信号)、参照根据与该解码对象的压缩低频带信号不同的压缩低频带信号已经生成的重放低频带信号和重放图像的至少一个而生成的预测信号相加，生成重放低频带信号。通过将该重放低频带信号与对应的重放高频带信号进行频带合成，来生成二个重放图像。这样，通过一次频带合成处理生成二个重放图像，因此通过本发明减少了复原动画图像的延迟。
图1是表示本发明的实施例1的动画图像编码装置的结构的图。
图2是表示频带分割部件的结构的图。
图3是表示频带合成部件的结构的图。
图4是本发明的实施例1的动画图像编码方法的流程图。
图5是与频带分割有关的流程图。
图6是与第2编码处理有关的流程图。
图7是与第2解码处理有关的流程图。
图8是与频带合成有关的流程图。
图9是表示本发明的实施例1的动画图像编码程序的结构和记录介质的图。
图10是表示用于执行记录在记录介质中的程序的计算机的硬件结构的图。
图11是用于执行存储在记录介质中的程序的计算机的斜视图。
图12是表示本发明的实施例2的编码装置的结构的图。
图13是本发明的实施例2的动画图像编码方法的流程图。
图14是与第2编码处理有关的流程图。
图15是表示本发明的实施例2的动画图像编码程序的结构和记录介质的图。
图16是表示本发明的实施例3的动画图像解码装置的结构的图。
图17是本发明的实施例3的动画图像解码方法的流程图。
图18是与第2解码处理有关的流程图。
图19是表示本发明的实施例的动画图像解码程序的结构和记录介质的图。
图20是模式地表示现有的附加动态补偿的时间方向频带分割处理的流程的图。
图21是表示本发明的实施例1的动画图像编码装置的一个变形例子的结构的图。
具体实施例方式
以下，参照附图详细说明本发明的理想的实施例。另外，在各附图中，对相同或相当的部分附加相同的符号。
<实施例1>
图1是表示本发明的实施例1的动画图像编码装置的结构的图。图1所示的动画图像编码装置120物理上是具备CPU(中央处理装置)、被称为存储器的存储装置、被称为显示器的显示装置、通信装置等的计算机。另外，动画图像编码装置120也可以是被称为便携电话的移动通信终端、或被称为DVD记录装置的设备。即，对动画图像编码装置120可以广泛适用能够进行信息处理的装置。
如图1所示，动画图像编码装置120在功能上具备输入端子101、输入图像存储部件102、频带分割部件(频带分割装置)103、第1编码部件(第1编码装置)104、第1解码部件(第1解码装置)105、第2编码部件(第2编码装置)106、第2解码部件(第2解码装置)107、多路复用部件108、频带合成部件(频带合成装置)109、输出端子110、存储部件116。
向输入端子101输入包含多个图像的动画图像。输入端子101经由线路L101向输入图像存储部件102输出动画图像。
输入图像存储部件102暂时存储经由线路L101接收到的动画图像。输入图像存储部件102将构成所存储的动画图像的多个图像中的在时间方向上顺序排列的二个图像作为编码对象的第1图像和第2图像(以下称为图像K和图像L)输出。
频带分割部件103在时间方向上对经由线路L119接收到的图像K和经由线路L102接收到的图像L进行频带分割，生成高频带信号HKL和低频带信号LKL。图2是表示频带分割部件103的结构的图。如图2所示，频带分割部件103具有动态补偿器201、减法器202、放大器203、动态补偿器204、加法器205。
动态补偿器201通过动态补偿处理生成图像L的预测图像。动态补偿器201在该动态补偿处理中，参照图像K。动态补偿器201例如能够执行基于块匹配法的动态补偿处理。具体地说，动态补偿器201将图像L分割为由n×m(在本实施例中为n＝m＝8)像素构成的块。然后，动态补偿器201针对图像L的各块，从图像K中求出具有与该块内的部分图像的误差最小的部分图像的区域。动态补偿器201进而针对各块，将该块和求出的对应的区域之间的向量作为动态向量，将该区域内的部分图像作为预测图像。
减法器202通过求出经由线路L102接收到的图像L的各块的部分图像和经由线路L203接收到的对应的预测图像的差分，来生成高频带信号HKL。
放大器203通过将经由线路L119接收到的图像K的像素值放大为2倍，生成图像K2。
动态补偿器204通过对高频带信号HKL适用动态补偿处理，生成动态补偿信号。另外，动态补偿器204在该动态补偿处理中，将由动态补偿器201生成的动态向量的方向相反的向量作为动态向量使用。
加法器205通过将经由线路L205接收到的上述图像K2和经由线路L206接收到的动态补偿信号相加，来生成低频带信号LKL。
返回到图1，频带分割部件103经由线路L120将动态向量输出到多路复用部件108和频带合成部件109。
第1编码部件104通过对经由线路L103接收到的高频带信号HKL适用第1编码处理，生成压缩高频带信号HKLC。具体地说，在该第1编码处理中，第1编码部件104将高频带信号HKL分割为多个块。然后，第1编码部件104针对各块，对该块内的信号实施离散余弦变换而生成变换系数，通过对该变换系数进行量化而生成量化变换系数，通过对该量化变换系数进行可变长度编码，生成压缩高频带信号HKLC。另外，也可以代替离散余弦变换而适用子波变换。
第1解码部件105通过对经由线路L105接收到的压缩高频带信号HKLC适用第1解码处理，而复原重放高频带信号HKLR。在第1解码处理中，是与第1编码处理对称的处理。因此，第1解码部件105在第1解码处理中，通过对压缩高频带信号HKLC进行可变长度解码而生成重放量化变换系数，通过对该重放量化变换系数进行逆量化而生成重放变换系数，通过对该重放变换系数实施逆离散余弦变换，而复原重放高频带信号HKLR。
第2编码部件106通过对经由线路L106接收到的低频带信号LKL适用第2编码处理，生成压缩低频带信号LKLC。另外，第2编码部件106经由线路L117输出由第2编码处理生成的动态向量和参照图像识别信息。
第2解码部件107通过对经由线路L114接收到的压缩低频带信号LKLC适用第2解码处理，来复原重放低频带信号LKLR。另外，将在后面详细说明第2编码部件106和第2解码部件107。
多路复用部件108通过对经由线路L104接收到的压缩高频带信号HKLC、经由线路L113接收到的压缩低频带信号LKLC、经由线路L120从频带分割部件103接收到的动态向量、经由线路L117从第2编码部件106接收到的动态向量以及参照图像识别信息进行多路复用，生成动画图像的压缩数据。经由线路L108将该压缩数据输出到输出端于110。
频带合成部件109通过对经由线路L109接收到的重放高频带信号HKLR、经由线路L110接收到的重放低频带信号LKLR进行频带合成，生成图像K和图像L各自的重放图像。以下，将图像K的重放图像称为重放图像KR，将图像L的重放图像称为重放图像LR。另外，频带合成部件109在进行频带合成时，使用经由线路L120从频带分割部件103接收到的动态向量。
图3是表示频带合成部件109的结构的图。如图3所示，频带合成部件109具备动态补偿器301、减法器302、放大器303、动态补偿器304、加法器305。
动态补偿器301通过对经由线路L109接收到的重放高频带信号HKLR适用动态补偿处理，生成动态补偿信号。另外，动态补偿器301的动态补偿处理是与动态补偿器204的动态补偿处理一样的处理。即，动态补偿器301使用经由线路L120接收到的动态向量(参考图1)，进行动态补偿处理。
减法器302通过求出经由线路L110接收到的重放低频带信号LKLR与经由线路L303接收到的动态补偿信号的差分，生成图像K2的重放信号。
放大器303通过使经由线路L305接收到的图像K2的重放信号的信号值成为1/2倍，生成重放图像KR。
动态补偿器304使用从频带分割部件103接收到的动态向量，对重放图像KR适用动态补偿处理，生成重放图像LR的预测图像。另外，动态补偿器304的动态补偿处理是与动态补偿器201的动态补偿处理一样的处理。
加法器305通过将经由线路L109接收到的重放高频带信号HKLR、经由线路L306接收到的预测图像相加，而生成重放图像LR。
返回到图1，存储部件116存储经由线路L110接收到的重放低频带信号LKLR、经由线路L122和L107接收到的重放图像KR和重放图像LR。
以下，参照图1，详细说明第2编码部件106。如图1所示，第2编码部件106具备动态检测器111、减法器112、编码器113、动态补偿器117。
以下，将作为与图像K和图像L不同的动画图像的二个图像的由动画图像编码装置120比图像K和图像L先处理的二个图像称为图像M和图像N。动画图像编码装置120在处理图像K和图像L之前，将对通过对图像M和图像N进行频带分割而生成的低频带信号进行重放而成的重放低频带信号LMNR、对图像M进行重放而成的重放图像MR、对图像N进行重放而成的重放图像NR存储在存储部件116中。
动态检测器111经由线路L106接收编码对象的低频带信号LKL，经由线路L116接收重放低频带信号LMNR、重放图像MR、重放图像NR。动态检测器111通过参照重放低频带信号LMNR、重放图像MR、重放图像NR，执行低频带信号LKL的动态检测处理。动态检测器111可以在该动态检测处理中使用块匹配法。
具体地说，动态检测器111在该动态检测处理中，针对低频带信号LKL的各块，从上述重放低频带信号LMNR、重放图像MR和重放图像NR中，求出具有与该块内的信号对应的误差最小的信号的区域。动态检测器111将低频带信号LKL的各块和求出的对应的区域之间的向量作为动态向量，生成用于确定该对应的区域是否是从上述重放低频带信号LMNR、重放图像MR和重放图像NR中选择出的区域的信息，即参照图像识别信息。
动态补偿器117通过动态补偿处理，生成低频带信号LKL的预测信号。具体地说，在该动态补偿处理中，动态补偿器117根据经由线路L117接收到的参照图像识别信息和动态向量，从经由线路L118接收到的重放低频带信号LMNR、重放图像MR、重放图像NR中确定上述区域，将该区域内的信号作为预测信号。
减法器112通过求出经由线路L106接收到的低频带信号LKL的各块的信号和经由线路L112接收到的对应的预测信号的差分，来生成残差信号。
编码器113通过对经由线路L111接收到的上述残差信号适用编码处理，生成压缩低频带信号LKLC。在本实施例中，编码器113通过对残差信号实施离散余弦变换而生成变换系数，通过对该变换系数进行量化而生成量化变换系数，通过对该量化变换系数进行可变长度编码，生成压缩低频带信号LKLC。另外，也可以代替离散余弦变换而适用子波变换。
以下，参照图1，详细说明第2解码部件107。如图1所示，第2解码部件107具备解码器114、加法器115。
解码器114通过对经由线路L114接收到的压缩低频带信号LKLC适用解码处理，复原重放残差信号。解码器114的解码处理是与编码器113的编码处理对称的处理。在本实施例中，解码器114通过对压缩低频带信号LKLC进行可变长度解码而生成重放量化变换系数，通过对该重放量化变换系数进行逆量化而生成重放变换系数，通过对该重放变换系数实施逆离散余弦变换而复原重放残差信号。
加法器115通过将经由线路L112接收到的预测信号和经由线路L115接收到的重放残差信号相加，生成重放低频带信号LKLR。
以下，说明动画图像编码装置120的动作。同时说明实施例1的动画图像编码方法。图4是本发明的实施例1的动画图像编码方法的流程图。
如图4所示，在该动画图像编码方法中，首先，输入包含多个图像的动画图像，并由输入图像存储部件102暂时存储该动画图像，将构成所存储的动画图像的多个图像中的在时间方向上顺序排列的二个图像作为编码对象的图像K和图像L输出(步骤S01)。
接着，由频带分割部件103在时间方向上对图像K和图像L进行频带分割，生成高频带信号HKL、低频带信号LKL、动态向量(步骤S02)。将在后面详细说明步骤S02。
接着，通过由第1编码部件104对高频带信号HKL适用上述的第1编码处理，生成压缩高频带信号HKLC(步骤S03)。
接着，通过由第1解码部件105对压缩高频带信号HKLC适用上述的第1解码处理，而复原重放高频带信号HKLR(步骤S04)。
接着，通过由第2编码部件106对低频带信号LKL适用第2编码处理，生成压缩低频带信号LKLC、动态向量和参照图像识别信息(步骤S05)。将在后面详细说明步骤S05。
接着，通过由第2解码部件107对经由压缩低频带信号LKLC适用第2解码处理，来复原重放低频带信号LKLR(步骤S06)。另外，将在后面详细说明步骤S06。
接着，通过由多路复用部件108对压缩高频带信号HKLC、压缩低频带信号LKLC、从频带分割部件103接收到的动态向量、从第2编码部件106接收到的动态向量以及参照图像识别信息进行多路复用，生成压缩数据(步骤S07)。
接着，通过由频带合成部件109对重放高频带信号HKLR、重放低频带信号LKLR进行频带合成，生成上述图像K和图像L各自的重放图像KR、重放图像LR(步骤S08)。在该频带合成中，使用从频带分割部件103接收到的动态向量。另外，将在后面详细说明步骤S08。
接着，由存储部件116存储重放低频带信号LKLR、重放图像KR、重放图像LR(步骤S09)。
以下，详细说明步骤S02的频带分割。图5是与频带分割有关的流程图。首先，将构成动画图像的多个图像中的在时间方向上顺序排列的二个图像作为编码对象的图像K和图像L输入(步骤S02-1)。
接着，由动态补偿器201执行上述的动态补偿处理(步骤S02-2)。即，通过参照图像K生成图像L的预测图像。
接着，由减法器202求出图像L的各块的部分图像和对应的预测图像的差分，来生成高频带信号HKL(步骤S02-3)。
接着，由放大器203将图像K的像素值放大为2倍，生成图像K2(步骤S02-4)。
接着，由动态补偿器204对高频带信号HKL适用上述动态补偿处理，生成动态补偿信号(步骤S02-5)。
接着，由加法器205将图像K2和动态补偿信号相加，来生成低频带信号LKL(步骤S02-6)。
以下，详细说明步骤S05的第2编码处理。图6是与第2编码处理有关的流程图。首先，输入编码对象的低频带信号LKL、针对图像M和图像N已经生成的重放低频带信号LMNR、重放图像MR、重放图像NR(步骤S05-1)。
接着，由动态检测器111执行上述的动态检测处理，生成动态向量和参照图像识别信息(步骤S05-2)。
接着，由动态补偿器117执行上述的动态补偿处理(步骤S05-3)。在该动态补偿处理中，将根据由动态检测器111生成的动态向量和参照图像识别信息所确定的区域内的信号作为预测信号。
接着，由减法器112求出低频带信号LKL的各块的信号和对应的预测信号的差分，来生成残差信号(步骤S05-4)。
接着，由编码器113对由减法器112生成的残差信号适用上述编码处理，生成压缩低频带信号LKLC(步骤S05-5)。
以下，详细说明步骤S06的第2解码处理。图7是与第2解码处理有关的流程图。首先，输入压缩低频带信号LKLC(步骤S06-1)。
接着，由解码器114对压缩低频带信号LKLC适用解码处理，复原重放残差信号(步骤S06-2)。解码器114的解码处理是与编码器113的编码处理对称的处理。在本实施例中，由解码器114对压缩低频带信号LKLC进行可变长度解码而生成重放量化变换系数，通过对该重放量化变换系数进行逆量化而生成重放变换系数，通过对该重放变换系数实施逆离散余弦变换而复原重放残差信号。
接着，由加法器115将上述预测信号和上述重放残差信号相加，生成重放低频带信号LKLR(步骤S06-3)。
以下，详细说明步骤S08的频带合成。图8是与频带合成有关的流程图。首先，输入重放高频带信号HKLR、重放低频带信号LKLR、从频带分割部件接收到的动态向量(步骤S08-1)。
接着，由动态补偿器301对重放高频带信号HKLR适用上述的动态补偿处理，生成动态补偿信号(步骤S08-2)。
接着，由减法器302求出重放低频带信号LKLR与上述动态补偿信号的差分，生成图像K2的重放信号(步骤S08-3)。
接着，由放大器303使图像K2的重放信号的信号值成为1/2倍，生成重放图像KR(步骤S08-4)。
接着，由动态补偿器304对重放图像KR适用上述的动态补偿处理，生成重放图像LR的预测图像(步骤S08-5)。在该动态补偿处理中，使用来自频带分割部件103的动态向量。
接着，由加法器305将重放高频带信号HKLR、上述预测图像相加，而生成重放图像LR(步骤S08-6)。
接着，说明使计算机作为动画图像编码装置120而动作的动画图像编码程序。图9是表示本发明的实施例1的动画图像编码程序的结构、记录介质的图。
如图9所示，动画图像编码程序P100存储在记录介质10中被提供。作为记录介质10，示例软盘、CD-ROM、DVD或者ROM等记录介质、或者半导体存储器。
图10是表示用于执行记录在记录介质中的程序的计算机的硬件结构的图，图11是用于执行存储在记录介质中的程序的计算机的斜视图。
如图10所示，计算机30具备软盘驱动器装置、CD-ROM驱动器装置、DVD驱动器装置等读取装置12、使操作系统常驻的工作用存储器(RAM)14、存储记录在记录介质10中的程序的存储器16、被称为显示器的显示装置18、作为输入装置的鼠标20和键盘22、用于进行数据等的收发的通信装置24、控制程序的执行的CPU26。计算机30如果将记录介质10插入到读取装置12中，则能够从读取装置12访问存储在记录介质10中的动画图像编码程序P100，通过该动画图像编码程序P100，能够作为动画图像编码装置120动作。
如图11所示，也可以作为重叠到输送波中的计算机数据信号40经由网络提供动画图像编码程序P100。在该情况下，计算机30将由通信装置24接收到的动画图像编码程序P100存储在存储器16中，能够执行该动画图像编码程序P100。
如图9所示，动画图像编码程序P100具备输入图像存储模块P10、频带分割模块P20、第1编码模块P30、第1解码模块P40、第2编码模块P50、第2解码模块P60、多路复用模块P70、频带合成模块P80、存储模块P90。另外，频带分割模块P20由动态补偿子模块P21、减法子模块P22、放大子模块P23、动态补偿子模块P24、加法子模块P25构成，第2编码模块P50由动态检测子模块P51、动态补偿子模块P52、减法子模块P53、编码子模块P54构成，第2解码模块P60由解码子模块P61、加法P62构成，频带合成模块P80由动态补偿子模块P81、减法子模块P82、放大子模块P83、动态补偿子模块P84、加法子模块P85构成。
使计算机实现输入图像存储模块P10、频带分割模块P20、第1编码模块P30、第1解码模块P40、第2编码模块P50、第2解码模块P60、多路复用模块P70、频带合成模块P80、存储模块P90、动态补偿子模块P21、减法子模块P22、放大子模块P23、动态补偿子模块P24、加法子模块P25、动态检测子模块P51、动态补偿子模块P52、减法子模块P53、编码子模块P54、解码子模块P61、加法子模块P62、动态补偿子模块P81、减法子模块P82、放大子模块P83、动态补偿子模块P84、加法子模块P85的功能分别与上述的输入图像存储部件102、频带分割部件103、第1编码部件104、第1解码部件105、第2编码部件106、第2解码部件107、多路复用部件108、频带合成部件109、存储部件116、动态补偿器201、减法器202、放大器203、动态补偿器204、加法器205、动态检测器111、动态补偿器117、减法器112、编码器113、解码器114、加法器115、动态补偿器301、减法器302、放大器303、动态补偿器304、加法器305中的对应要素相同。
以下，说明动画图像编码装置120的作用和效果。在动画图像编码装置120中，将构成动画图像的多个图像每二个地作为编码对象的图像，并只执行一次该编码对象的图像的频带分割。因此，减少了频带分割所伴随的延迟。另外，在第2编码处理中，对基于编码对象的图像的低频带信号、基于针对与编码对象的图像不同的动画图像的二个图像已经生成的重放低频带信号和重放图像的至少一个的预测信号的残差信号进行编码。因此，即使执行一次低频带信号的频带分割处理，也能够高效地对低频带信号进行编码。
因此，缩短了编码所需要的时间，大幅度地缩短了图像传送的延迟时间。进而，在编码时，大幅度减少了用于存储输入图像和中间处理图像的帧存储器的容量。
以上，说明了动画图像编码装置120，但由于动画图像编码装置120在对最初的编码对象的二个图像进行编码时，不将信号存储到存储部件116中，所以在本实施例中，动画图像编码装置120对根据最初的编码对象的二个图像生成的低频带信号适用在H.264中采用的画面内预测。
另外，第2编码部件106从已生成的重放低频带信号LMNR、重放图像MR、重放图像NR中生成低频带信号LKR的预测信号，但也可以使用重放低频带信号LMNR、重放图像MR、重放图像NR中的至少一个生成预测信号。另外，如图21所示，第2编码部件106也可以只根据重放低频带信号LMNR生成预测信号。该情况下的动画图像编码装置120a可以删除第1解码部件105和频带合成部件109。
另外，编码对象的图像K和图像L可以是在时间方向上相邻的二个图像，也可以是在时间方向上离开的二个帧的图像。
另外，第1编码部件104是与第2编码部件106不同的结构，但也可以是与第2编码部件106相同的结构。在该情况下，第1编码部件104通过参照从图像M和N已经生成的重放高频带信号HMN等，来生成与高频带信号HKL对应的预测信号。另外，在该情况下，第1解码部件105是与第2解码部件107一样的结构。
<实施例2>
接着，说明本发明的实施例2的动画图像编码装置。图12是表示本发明的实施例2的编码装置的结构的图。图12所示的动画图像编码装置1220物理上是具备CPU(中央处理装置)、被称为存储器的存储装置、被称为显示器的显示装置、通信装置等的计算机。另外，动画图像编码装置1220也可以是被称为便携电话的移动通信终端、或被称为DVD记录装置的设备。即，对动画图像编码装置1220可以广泛适用能够进行信息处理的装置。
如图12所示，动画图像编码装置1220在功能上具备输入端子101、输入图像存储部件102、频带分割部件(频带分割装置)103、第1编码部件(第1编码装置)104、第2编码部件(第2编码装置)1206、多路复用部件108、输出端子110、存储部件1216。
输入端子101、输入图像存储部件102、频带分割部件103、第1编码部件104和多路复用部件108是与动画图像编码装置120中的对应要素一样的要素。
第2编码部件1206通过对经由线路L106接收到的低频带信号LKL适用第2编码处理，生成压缩低频带信号LKLC。另外，第2编码部件1206经由线路L117输出由第2编码处理生成的动态向量。
存储部件1216存储经由线路L106接收到的低频带信号LKL。
以下，详细说明第2编码部件1206。如图12所示，第2编码部件1206具备动态检测器1211、减法器1212、编码器1213、动态补偿器1217。
以下，动画图像编码装置1220在对图像K和图像L进行处理之前，将通过对图像M和图像N进行频带分割而生成的低频带信号LMn存储到存储部件1216中。
动态检测器1211经由线路L106接收编码对象的低频带信号LKL，经由线路L116接收低频带信号LMN。动态检测器1211执行参照低频带信号LMN的动态检测处理。即，动态检测器1211的动态检测处理与实施例1的动态检测器111的动态检测处理相比，所参照的信号不同。通过该动态检测处理，动态检测器1211求出低频带信号LKL的各块和低频带信号LMN内的对应的区域之间的向量，将该向量作为动态向量。
动态补偿器1217通过执行动态补偿处理，生成低频带信号LKL的预测信号。在该动态补偿处理中，动态补偿器1217根据经由线路L117接收到的动态向量，确定经由线路L118接收到的低频带信号LMN内的区域，将该区域内的信号作为预测信号。
减法器1212通过求出经由线路L106接收到的低频带信号LKL的各块的信号与经由线路L1212接收到的对应的预测信号的差分，生成残差信号。
编码器1213通过对经由线路L1211接收到的残差信号适用编码处理，而生成压缩低频带信号LKLC。该编码处理与编码器113的编码处理一样。
接着，说明动画图像编码装置1220的动作。同时说明实施例2的动画图像编码方法。图13是本发明的实施例2的动画图像编码方法的流程图。
如图13所示，在该动画图像编码方法中，首先，从步骤S01到步骤S03为止的处理与实施例1的对应的处理一样。
接着，由第2编码部件1206对低频带信号LKL适用第2编码处理，生成压缩低频带信号LKLC和动态向量(步骤S105)。
后面的步骤S107的处理与实施例1的对应的处理一样。在步骤S107后面，由存储部件1216存储低频带信号LKL(步骤S109)。
以下，详细说明步骤S105的第2编码处理。图14是与第2编码处理有关的流程图。首先，输入编码对象的低频带信号LKL、针对图像M和图像N已经生成的低频带信号LMN(步骤S105-1)。
接着，由动态检测器1211执行上述的动态检测处理，生成动态向量(步骤S105-2)。
接着，由动态补偿器1217执行上述的动态补偿处理，生成低频带信号LKL的预测信号(步骤S105-3)。
接着，由减法器1212求出低频带信号LKL的各块的信号与对应的预测信号的差分，生成残差信号(步骤S105-4)。
接着，由编码器1213对残差信号适用上述的编码处理，生成压缩低频带信号LKLC(步骤S105-5)。
接着，说明使计算机作为动画图像编码装置1220而动作的动画图像编码程序。图15是表示本发明的实施例2的动画图像编码程序的结构和记录介质的图。
如图15所示，动画图像编码程序P200存储在记录介质10中被提供。作为记录介质10，示例软盘、CD-ROM、DVD或者ROM等记录介质、或者半导体存储器等。
如果将动画图像编码程序P200插入到图10和图11所示的计算机30的读取装置12中，则计算机30能够访问存储在记录介质10中的动画图像编码程序P200。通过该动画图像编码程序P200，计算机30能够作为动画图像编码装置1220动作。另外，如图11所示，也可以作为重叠在传送波中的计算机数据信号经由网络提供动画图像编码程序P200。在该情况下，计算机30将通过通信装置24接收到的动画图像编码程序P200存储在存储器16中，能够执行该动画图像编码程序P200。
如图15所示，动画图像编码程序P200具备输入图像存储模块P10、频带分割模块P20、第1编码模块P30、第2编码模块P150、多路复用模块P70、存储模块P190。另外，第2编码模块P150由动态检测子模块P151、动态补偿子模块P152、减法子模块P153、编码子模块P154构成。
使计算机实现输入图像存储模块P10、频带分割模块P20、第1编码模块P30、第2编码模块P150、多路复用模块P70、存储模块P190、动态检测子模块P151、动态补偿子模块P152、减法子模块P153、编码子模块P154的功能分别与上述的输入图像存储部件102、频带分割部件103、第1编码部件104、第2编码部件1206、多路复用部件108、存储部件1216、动态检测器1211、动态补偿器1217、减法器1212、编码器1213中的对应要素相同。
以下，说明动画图像编码装置1220的作用和效果。在动画图像编码装置1220中，将构成动画图像的多个图像每二个地作为编码对象的图像，并只执行一次该编码对象图像的频带分割。因此，减少了频带分割所伴随的延迟。另外，在第2编码处理中，对基于编码对象的图像的低频带信号、基于针对与编码对象的图像不同的动画图像的二个图像已经生成的低频带信号的预测信号的差分的残差信号进行编码。因此，即使执行一次低频带信号的频带分割处理，也能够高效地对低频带信号进行编码。
因此，缩短了编码所需要的时间，大幅度地缩短了图像传送的延迟时间。进而，在编码时，大幅度减少了用于存储输入图像和中间处理图像的帧存储器的容量。
<实施例3>
接着，说明本发明的实施例3的动画图像解码装置。图16是表示本发明的实施例3的动画图像解码装置的结构的图。图16所示的动画图像解码装置1620是能够根据由动画图像编码装置120生成的压缩数据重放动画图像的装置。
动画图像解码装置1620物理上是具备CPU(中央处理装置)、被称为存储器的存储装置、被称为显示器的显示装置、通信装置等的计算机。另外，动画图像编码装置1620也可以是被称为便携电话的移动通信终端、或被称为DVD重放装置的设备。即，对动画图像解码装置1620可以广泛适用能够进行信息处理的装置。
如图16所示，动画图像解码装置1620在功能上具备输入端子1601、数据分析部件1602、第1解码部件(第1解码装置)1603、第2解码部件(第2解码装置)1604、存储部件1607、频带合成部件(频带合成装置)1609、输出端子1610和1611。
向输入端子1601输入由动画图像编码装置120生成的压缩数据。输入端子1601经由线路L1601向数据分析部件1602输出压缩动画图像数据。
数据分析部件1602通过对经由线路L1601接收到的压缩数据进行分析，而经由线路L1602将压缩高频带信号HKLC输出到第1解码部件1603，经由线路L1612将压缩低频带信号LKLC输出到第2解码部件1604，经由线路L1611将由动画图像编码装置120的第2编码部件106生成的动态向量和参照图像识别信息输出到第2解码部件1604，经由线路L1610将由动画图像编码装置120的频带分割部件103生成的动态向量输出到频带合成部件1609。
第1解码部件1603通过对经由线路L1602接收到的压缩高频带信号HKLC适用第1解码处理，生成重放高频带信号HKLR。在第1解码处理中，执行与动画图像编码装置120的第1编码处理对称的处理。因此，第1解码部件1603通过对压缩高频带信号HKLC进行可变长度解码而生成重放量化变换系数，通过对该重放量化变换系数进行逆量化而生成重放变换系数，通过对该重放变换系数实施逆离散余弦变换，而复原重放高频带信号HKLR。
第2解码部件1604通过对经由线路L1612接收到的压缩低频带信号LKLC适用第2解码处理，生成重放低频带信号LKLR。将在后面详细说明第2解码部件1604。
频带合成部件1609通过对经由线路L1603接收到的重放高频带信号HKLR、经由线路L1605接收到的重放低频带信号LKLR进行频带合成，而生成图像K、图像L的重放图像KR、重放图像LR。另外，频带合成部件1609在频带合成时，使用经由线路L1610接收到的动态向量。频带合成部件1609的处理是与动画图像编码装置120的频带合成部件109的处理一样的处理。
存储部件1607存储经由线路L1605接收到的重放低频带信号LKLR、经由线路L1608和L1609接收到的重放图像KR、重放图像LR。
以下，详细说明第2解码部件1604。第2解码部件1604具备解码器1605、加法器1606、动态补偿器1608。
动画图像解码装置1620在对压缩低频带信号LKLC适用第2解码处理之前，将重放低频带信号LMNR、重放图像MR、重放图像NR存储到存储部件1607中。
解码器1605通过对经由线路L1612接收到的压缩低频带信号LKLC适用解码处理，而复原重放残差信号。该解码处理是与动画图像编码装置120的编码器113的编码处理对称的处理。
动态补偿器1608根据经由线路L1611接收到的参照图像识别信息和动态向量，从经由线路L1606接收到的重放低频带信号LMNR、重放图像MR和重放图像NR中确定区域，将该区域内的信号作为预测信号。
加法器1606将经由线路L1604接收到的重放残差信号和经由线路L1607接收到的预测信号相加，生成重放低频带信号LKLR。
接着，说明动画图像解码装置1620的动作。同时说明实施例3的动画图像解码方法。图17是本发明的实施例3的动画图像解码方法的流程图。
如图17所示，在该动画图像解码方法中，首先输入压缩数据(步骤S201)。
接着，由数据分析部件1602对压缩动画图像数据进行分析，从而将压缩高频带信号HKLC输出到第1解码部件1603，将压缩低频带信号LKLC输出到第2解码部件1604，将由动画图像编码装置120的第2编码部件106生成的动态向量和参照图像识别信息输出到第2解码部件1604，将由动画图像编码装置120的频带分割部件103生成的动态向量输出到频带合成部件1609(步骤S202)。
接着，由第1解码部件1603对压缩高频带信号HKLC适用上述的第1解码处理，复原重放高频带信号HKLR(步骤S203)。
接着，由第2解码部件1604对压缩低频带信号LKLC适用上述的第2解码处理，复原重放低频带信号LKLR(步骤S204)。将在后面详细说明步骤S204。
接着，由频带合成部件1609对重放高频带信号HKLR、重放低频带信号LKLR进行频带合成，而生成图像K、图像L各自的重放图像(步骤S205)。
接着，由存储部件1607存储重放低频带信号LKLR、重放图像KR、重放图像LR(步骤S206)。
以下，详细说明步骤S204的第2解码。图18是与第2解码处理有关的流程图。首先，输入压缩低频带信号LKLC、由动画图像编码装置120的第2编码部件106生成的动态向量和参照图像识别信息、上述重放低频带信号LKLR、重放图像KR、重放图像LR(步骤S204-1)。
接着，由解码器1605对压缩低频带信号LKLC适用解码处理，而复原重放残差信号。该解码处理是与动画图像编码装置120的编码器113的编码处理对称的处理(步骤S204-2)。
接着，由动态补偿器1608根据参照图像识别信息和动态向量，从重放低频带信号LMNR、重放图像MR和重放图像NR中确定区域，将该区域内的信号作为预测信号(步骤S204-3)。
接着，由加法器1606将上述重放残差信号和上述预测信号相加，生成重放低频带信号LKLR(步骤S204-4)。
接着，说明本发明的实施例的动画图像解码程序。图19是表示本发明的实施例的动画图像解码程序的结构和记录介质的图。
如图19所示，动画图像解码程序P300存储在记录介质10中被提供。作为记录介质10，示例软盘、CD-ROM、DVD或者ROM等记录介质、或者半导体存储器等。
如果将动画图像解码程序P300插入到图10和图11所示的计算机30的读取装置12中，则计算机30能够访问存储在记录介质10中的动画图像解码程序P300。通过该动画图像解码程序P300，计算机30能够作为动画图像解码装置1620动作。另外，如图11所示，也可以作为重叠在传送波中的计算机数据信号40经由网络提供动画图像解码程序P300。在该情况下，计算机30将通过通信装置24接收到的动画图像解码程序P300存储在存储器16中，能够执行该动画图像解码程序P300。
如图19所示，动画图像解码程序P300具备数据分析模块P210、第1解码模块P220、第2解码模块P230、频带合成模块P240、存储模块P250。另外，第2解码模块P230具备解码子模块P231、动态补偿子模块P232、加法子模块P233。
使计算机实现数据分析模块P210、第1解码模块P220、第2解码模块P230、频带合成模块P240、存储模块P250、解码子模块P231、动态补偿子模块P232、加法子模块P233的功能分别与上述的数据分析部件1602、第1解码部件1603、第2解码部件1604、频带合成部件1609、存储部件1607、解码器1605、动态补偿器1608、加法器1606中的对应的要素一样。
以上，说明了动画图像解码装置1620，但由于动画图像解码装置1620在重放最初的图像时，不将信号存储到存储部件1607中，所以在本实施例中，动画图像解码装置1620在重放最初的图像时使用在H.264中适用的画面内预测解码处理。
另外，第2解码部件1604从已经生成的重放低频带信号LMNR、重放图像MR、重放图像NR中生成预测信号，但也可以与动画图像编码装置的第2编码部件的第2编码处理对应地，从重放低频带信号LMNR、重放图像MR、重放图像NR中的至少一个生成预测信号。进而，并不只限于重放低频带信号LMNR、重放图像MR、重放图像NR，也可以将与这些重放信号不同的多个重放低频带信号LXYR、重放图像XR、重放图像YR作为参照图像使用。在此，X≠M或N，Y≠M或N。
即，也可以在生成该预测信号之前将所生成的重放低频带信号、重放图像作为参照图像，生成低频带信号的预测信号。换一种说法，不只是与该低频带信号相同的电平的频带的重放低频带信号，还可以根据该低频带信号将高频带(高电平的频带)的重放图像作为参照图像，生成低频带信号的预测信号。进而换一种说法，可以针对与频带有关的多个电平，预测低频带信号的预测信号。另外，不只是针对该低频带信号的基础的二个图像，在动画图像中根据之前的二个图像生成的重放低频带信号、重放图像，还可以将根据在动画图像中更之前的二个图像生成的重放低频带信号、重放图像作为参照图像，生成低频带信号的预测信号。
以下，说明动画图像解码装置1620的作用和效果。在动画图像解码装置1620中，通过将对解码对象的压缩低频带信号进行解码后的信号(重放残差信号)、通过参照根据与该解码对象的压缩低频带信号不同的压缩低频带信号已经生成的重放低频带信号和重放图像的至少一个而生成的预测信号进行相加，生成重放低频带信号。通过将该重放低频带信号与对应的重放高频带信号进行频带合成，而生成二个重放图像。这样，由于通过一次的频带合成处理生成二个重放图像，所以减少了动画图像的复原的延迟。
因此，缩短了解码所需要的时间，大幅度地缩短了图像传送的延迟时间。进而，在解码时，大幅度减少了用于存储输入图像和中间处理图像的帧存储器的容量。
如上所述，根据本发明，提供一种降低附加动态补偿的时间方向频带分割的处理延迟并且能够以高编码效率对动画图像进行编码的动画图像编码装置、动画图像编码方法、动画图像编码程序。另外，提供一种能够以很少的处理延迟从由该动画图像编码装置生成的数据复原动画图像的动画图像解码装置、动画图像解码方法、动画图像解码程序。
另外，根据本发明，由于缩短了编码和解码所需要的时间，所以大幅度缩短了图像传送的延迟时间。进而，大幅度减少了在编码和解码时用于存储输入图像和中间处理图像的帧存储器的容量。
以上，在适合的实施例中图示说明了本发明的原理，但对于本发明，本技术领域的技术人员可以在不脱离这样的原理的范围内，对配置和详细内容进行变更。本发明并不只限于实施例所揭示的特定的结构。因此，根据权利要求及其精神范围所进行的修改和变更也包含在本发明中。
权利要求
1.一种动画图像编码装置，其特征在于包括将在动画图像中在时间方向上顺序排列的二个图像作为编码对象的第1图像和第2图像，通过在时间方向上对该第1图像和第2图像进行频带分割，生成高频带信号和低频带信号的频带分割装置；通过对上述高频带信号适用第1编码处理，生成压缩高频带信号的第1编码装置；通过对上述低频带信号适用第2编码处理，生成压缩低频带信号的第2编码装置，其中上述第2编码装置将基于上述第1图像和第2图像的上述低频带信号作为编码对象的低频带信号，通过参照针对与上述第1图像和第2图像不同的上述动画图像的二个图像已经生成了的重放低频带信号，来生成上述编码对象的低频带信号的预测信号，并对基于该编码对象的低频带信号和该预测信号的差分的残差信号进行编码，从而生成压缩低频带信号。
2.一种动画图像编码装置，其特征在于包括将在动画图像中在时间方向上顺序排列的二个图像作为编码对象的第1图像和第2图像，通过在时间方向上对该第1图像和第2图像进行频带分割，生成高频带信号和低频带信号的频带分割装置；通过对上述高频带信号适用第1编码处理，生成压缩高频带信号的第1编码装置；通过对上述低频带信号适用第2编码处理，生成压缩低频带信号的第2编码装置；通过对上述压缩低频带信号适用用于重放上述低频带信号的解码处理，生成重放低频带信号的解码装置，其中上述第2编码装置将基于上述第1图像和第2图像的上述低频带信号作为编码对象的低频带信号，通过参照针对与上述第1图像和第2图像不同的上述动画图像的二个图像已经生成了的重放低频带信号，来生成上述编码对象的低频带信号的预测信号，并对基于该编码对象的低频带信号和该预测信号的差分的残差信号进行编码，从而生成压缩低频带信号。
3.一种动画图像编码装置，其特征在于包括将在动画图像中在时间方向上顺序排列的二个图像作为编码对象的第1图像和第2图像，通过在时间方向上对该第1图像和第2图像进行频带分割，生成高频带信号和低频带信号的频带分割装置；通过对上述高频带信号适用第1编码处理，生成压缩高频带信号的第1编码装置；通过对上述压缩高频带信号适用用于重放上述压缩高频带信号的第1解码处理，生成重放高频带信号的第1解码装置；通过对上述低频带信号适用第2编码处理，生成压缩低频带信号的第2编码装置；通过对上述压缩低频带信号适用用于重放上述低频带信号的第2解码处理，生成重放低频带信号的第2解码装置；通过对由上述第1解码装置生成的重放高频带信号和由上述第2解码装置生成的重放低频带信号进行频带合成，生成上述第1图像和第2图像各自的重放图像的频带合成装置，其中，上述第2编码装置将基于上述第1图像和第2图像的上述低频带信号作为编码对象的低频带信号，通过参照针对与上述第1图像和第2图像不同的上述动画图像的二个图像已经生成了的重放低频带信号、针对该二个图像已经生成的二个重放图像中的至少一个，来生成上述编码对象的低频带信号的预测信号，并对基于该编码对象的低频带信号和该预测信号的差分的残差信号进行编码，从而生成压缩低频带信号。
4.一种动画图像解码装置，其特征在于包括针对对在动画图像中在时间方向上顺序排列的二个图像进行频带分割而成的高频带信号的编码后的压缩高频带信号适用第1解码处理，生成重放高频带信号的第1解码装置；针对对上述二个图像进行频带分割而成的低频带信号的编码后的压缩低频带信号适用第2解码处理，生成重放低频带信号的第2解码装置，其中上述第2解码装置通过参照根据与解码对象的压缩低频带信号不同的压缩低频带信号已经生成的重放低频带信号，生成解码对象的压缩低频带信号的预测信号，将对该解码对象的压缩低频带信号进行解码而成的信号和该预测信号进行相加，从而生成与该解码对象的压缩低频带信号对应的重放低频带信号。
5.一种动画图像解码装置，其特征在于包括针对对在动画图像中在时间方向上顺序排列的二个图像进行频带分割而成的高频带信号的编码后的压缩高频带信号适用第1解码处理，生成重放高频带信号的第1解码装置；针对对上述二个图像进行频带分割而成的低频带信号的编码后的压缩低频带信号适用第2解码处理，生成重放低频带信号的第2解码装置；通过对上述重放高频带信号和上述重放低频带信号进行频带合成，生成分别重放上述二个图像而成的二个重放图像的频带合成装置，其中上述第2解码装置通过参照根据与解码对象的压缩低频带信号不同的压缩低频带信号已经生成的重放低频带信号、根据该重放低频带信号和与该重放低频带信号对应的重放高频带信号已经生成的二个重放图像的至少一个，生成解码对象的压缩低频带信号的预测信号，将对该解码对象的压缩低频带信号进行解码而成的信号和该预测信号进行相加，从而生成与该解码对象的压缩低频带信号对应的重放低频带信号。
6.一种动画图像编码方法，其特征在于包括频带分割装置将在动画图像中在时间方向上顺序排列的二个图像作为编码对象的第1图像和第2图像，通过在时间方向上对该第1图像和第2图像进行频带分割，生成高频带信号和低频带信号的频带分割步骤；第1编码装置通过对上述高频带信号适用第1编码处理，生成压缩高频带信号的第1编码步骤；第1解码装置通过对上述压缩高频带信号适用用于重放上述压缩高频带信号的第1解码处理，生成重放高频带信号的第1解码步骤；第2编码装置通过对上述低频带信号适用第2编码处理，生成压缩低频带信号的第2编码步骤；第2解码装置通过对上述压缩低频带信号适用用于重放上述低频带信号的第2解码处理，生成重放低频带信号的第2解码步骤；频带合成装置通过对由上述第1解码装置生成的重放高频带信号和由上述第2解码装置生成的重放低频带信号进行频带合成，生成上述第1图像和第2图像各自的重放图像的频带合成步骤，其中在上述第2编码步骤中，上述第2编码装置将基于上述第1图像和第2图像的上述低频带信号作为编码对象的低频带信号，通过参照针对与上述第1图像和第2图像不同的上述动画图像的二个图像已经生成了的重放低频带信号、针对该二个图像已经生成的二个重放图像中的至少一个，来生成上述编码对象的低频带信号的预测信号，并对基于该编码对象的低频带信号和该预测信号的差分的残差信号进行编码，从而生成压缩低频带信号。
7.一种动画图像解码方法，其特征在于包括第1解码装置针对对在动画图像中在时间方向上顺序排列的二个图像进行频带分割而成的高频带信号的编码后的压缩高频带信号适用第1解码处理，生成重放高频带信号的第1解码步骤；第2解码装置针对对上述二个图像进行频带分割而成的低频带信号的编码后的压缩低频带信号适用第2解码处理，生成重放低频带信号的第2解码步骤；频带合成装置通过对上述重放高频带信号和上述重放低频带信号进行频带合成，生成分别重放上述二个图像而成的二个重放图像的频带合成步骤，其中在上述第2解码步骤中，上述第2解码装置通过参照根据与解码对象的压缩低频带信号不同的压缩低频带信号已经生成的重放低频带信号、根据该重放低频带信号和与该重放低频带信号对应的重放高频带信号已经生成的二个重放图像的至少一个，生成解码对象的压缩低频带信号的预测信号，将对该解码对象的压缩低频带信号进行解码而成的信号和该预测信号进行相加，从而生成与该解码对象的压缩低频带信号对应的重放低频带信号。
8.一种动画图像编码程序，其特征在于使计算机作为以下装置而发挥功能将在动画图像中在时间方向上顺序排列的二个图像作为编码对象的第1图像和第2图像，通过在时间方向上对该第1图像和第2图像进行频带分割，生成高频带信号和低频带信号的频带分割装置；通过对上述高频带信号适用第1编码处理，生成压缩高频带信号的第1编码装置；通过对上述压缩高频带信号适用用于重放上述压缩高频带信号的第1解码处理，生成重放高频带信号的第1解码装置；通过对上述低频带信号适用第2编码处理，生成压缩低频带信号的第2编码装置；通过对上述压缩低频带信号适用用于重放上述低频带信号的第2解码处理，生成重放低频带信号的第2解码装置；通过对由上述第1解码装置生成的重放高频带信号和由上述第2解码装置生成的重放低频带信号进行频带合成，生成上述第1图像和第2图像各自的重放图像的频带合成装置，其中上述第2编码装置将基于上述第1图像和第2图像的上述低频带信号作为编码对象的低频带信号，通过参照针对与上述第1图像和第2图像不同的上述动画图像的二个图像已经生成了的重放低频带信号、针对该二个图像已经生成的二个重放图像中的至少一个，来生成上述编码对象的低频带信号的预测信号，并对基于该编码对象的低频带信号和该预测信号的差分的残差信号进行编码，从而生成压缩低频带信号。
9.一种动画图像解码程序，其特征在于使计算机作为以下的装置而发挥功能针对对在动画图像中在时间方向上顺序排列的二个图像进行频带分割而成的高频带信号的编码后的压缩高频带信号适用第1解码处理，生成重放高频带信号的第1解码装置；针对对上述二个图像进行频带分割而成的低频带信号的编码后的压缩低频带信号适用第2解码处理，生成重放低频带信号的第2解码装置；通过对上述重放高频带信号和上述重放低频带信号进行频带合成，生成分别重放上述二个图像而成的二个重放图像的频带合成装置，其中上述第2解码装置通过参照根据与解码对象的压缩低频带信号不同的压缩低频带信号已经生成的重放低频带信号、根据该重放低频带信号和与该重放低频带信号对应的重放高频带信号已经生成的二个重放图像的至少一个，生成解码对象的压缩低频带信号的预测信号，将对该解码对象的压缩低频带信号进行解码而成的信号和该预测信号进行相加，从而生成与该解码对象的压缩低频带信号对应的重放低频带信号。
全文摘要
在本发明的一个实施例的动画图像编码装置中，将动画图像中的多个图像每二个地作为编码对象。通过频带分割处理将编码对象的图像频带分割为高频带信号和低频带信号。通过第1编码处理将高频带信号处理为压缩高频带信号，通过第2编码处理将低频带信号处理为压缩低频带信号。通过第2解码处理将压缩低频带信号处理为重放低频带信号。在第2编码处理中，根据基于其他的低频带信号的重放低频带信号，生成编码对象的低频带信号的预测信号，并对基于编码对象的低频带信号和该重放低频带信号的差分的残差信号进行编码。
文档编号H04N7/32GK1777288SQ20051010760
公开日2006年5月24日 申请日期2005年9月29日 优先权日2004年10月1日
发明者文仲丞, 陈朝庆 申请人:株式会社Ntt都科摩