图像解码方法

专利名称：图像解码方法
技术领域：
本发明涉及一种图像解码方法、图像编码方法、图像编码装置、图像解码装置、用软件来实施的程序和记录该程序的记录媒体。
背景技术：
近年来，随着多媒体应用的发展，一般可统一处理图像、声音、文本等所有媒体的信息。此时，可通过数字化所有媒体来统一处理媒体。但是，因为数字化的图像具有庞大的数据量，所以为了存储、传送，图像的信息压缩技术是不可缺少的。另一方面，为了相互运用压缩的图像数据，压缩技术的标准化也是重要的。作为图像压缩技术的标准参考，有ITU-T建议(国际电气通信联盟电气通信标准化部门)的H.261、H.262、ISO(国际标准化机构)的MPEG(移动图像专家组)-1、MPEG-2、MPEG-4等。


图1是表示现有的图像编码装置100的结构框图。在本发明中，将构成1个图像的单位称为图象(picture)。在交织(interlace)图像信号中，图象意味着场或者帧，在渐进(progressive)图像中，图象意味着帧。
图像编码装置100具备差分器101、图像编码部102、可变长度编码部103、图像解码部104、加法器105、象素间滤波器106、图像存储器107、图象间预测部108和图象间预测推定部109。差分器101从输入正输入端子的输入图像中减去输入负输入端子的预测图像，输出差分图像。图像编码部102编码输入的差分图像。例如，使用DCT变换等变频输入的数据，通过量化变换结果的步骤数据来进行编码。可变长度编码部103可变长度编码编码的差分图像和来自图象间预测推定部109的预测参数，向结果得到的编码数据附加记述与该编码数据相关联信息的头等关联数据，整理为输出编码位流的格式后，输出到图像编码装置100的外部。图像解码部104对于由图像编码部102编码的差分图像，通过实施图像编码部102进行的编码的逆处理，解码编码的差分图像，进行解码。例如，对于编码的差分图像，在实施逆量化处理后，例如实施逆DCT变换等逆步骤变换，解码输入图像与预测图像的差分。加法器105将解码的差分图像与预测图像相加，编码输入图像。象素间滤波器106执行例如抑制解码输入图像的高频分量的编码噪声等滤波。图像存储器107将加法器105中解码图像的至少1图象大小的图像数据保持为参考图像。图象间预测部108根据图象间预测推定部109产生的预测结果，从图像存储器107内的参考图像中读取预测图像。图象间预测推定部109导出作为输入图像对参考图像的运动变化量的预测参数PredParam。
更具体而言，从外部向图像编码装置100输入图像数据Img。将图像数据Img输入差分器101的正输入端子。差分器101求出图像数据Img与输入负输入端子的预测图像数据Pred的象素值差分，作为差分图像数据Res输出。如下得到预测图像数据Pred。首先，作为已编码图象的图像，在暂时编码后，进行解码，将编码成1图象大小的图像的参考图像数据Ref存储在图像存储器107中。接着，根据预测参数PredParam，从参考图像数据Ref中，对应于每个输入图像数据Img的块，切出表示块图像的数据。表面该块图像的数据是预测图像数据Pred。图像编码装置100将几个完成编码的图象作为预测用参考图像数据Ref存储在图像存储器107中，图象间预测部108根据图像存储器107中存储的参考图像数据Ref生成预测图像数据Pred。图象间预测推定部109根据输入图像数据Img和参考图像数据Ref，求出用于预测的预测参数数据PredParam(例如MPEG的图像编码方式中使用的运动矢量信息等)。在图象内编码的情况下，设预测图像的象素值为0。
图像编码部102编码差分图像数据Res，作为差分图像编码数据CodedRes输出。图像解码部104根据编码的差分图像编码数据CodedRes解码原始图像，为了用作图象间预测的参考图像，解码差分图像编码数据CodedRes，作为解码差分图像数据ReconRes输出。在加法器105中将解码差分图像数据ReconRes表示的象素值和预测图像数据Pred表示的象素值相加，作为解码图像数据Recon输出。象素间滤波器106滤波运算处理解码图像数据Recon，作为完成滤波解码图像数据FilteredImg存储在图像存储器107中。
在象素间滤波器106中，在降低解码图像数据Recon的编码噪声、将图像用作参考图像的情况下，具有使预测效率提高的效果。作为象素间滤波器106的实例，有ITU-T建议的H.261的环路滤波器。将由象素间滤波器106执行象素间滤波运算的完成滤波解码图像数据FilteredImg存储在图像存储器107中，在编码以后的图象时用作参考图像。可变长度编码部103可变长度编码差分图像编码数据CodedRes和预测参数数据PredParam，汇总成一个编码数据Bitstream后，输出到图像编码装置100的外部。图2是表示现有图像解码装置200的结构框图。图像解码装置200具备可变长度解码部201、图像解码部202、加法器203、象素间滤波器204、图像存储器205和图象间预测部206。从外部向图像解码装置200输入编码数据Bitstream。可变长度解码部201可变长度解码输入的编码数据Bitstream，并分离成差分图像编码数据CodedRes和预测参数数据PredParam。图像解码部202解码差分图像编码数据CodedRes，作为解码差分图像数据ReconRes输出。将参照作为解码差分图像数据ReconRes输出的图象的、即图像编码装置100中相当于参考图像数据Ref的图象存储在已解码的图像存储器107中。因此，图象间预测部206根据预测参数数据PredParam，基于参考图像数据Ref生成预测图像数据Pred。加法器203将预测图像数据Pred与解码差分图像数据ReconRes相加，作为解码图像数据Recon输出。象素间滤波器204对解码图像数据Recon实施象素间滤波运算，作为完成滤波图像数据FilteredImg，输出到图像解码装置200的外部。所谓图像解码装置200的外部例如是电视等显示装置。另外，将完成滤波解码图像数据FilteredImg存储在图像存储器205中，作为以后的图象参考图像数据Ref来参照。
但是，例如，若考虑使用便携电话等来传送动态图像的情况等时，为了使便携设备一次充电就可长时间使用，期望抑制设备整体的消耗功率，所以最好不具备为了图像处理而必需大功率的高性能处理能力。因此，为了图像处理，若以只能使用处理能力低的运算器的便携设备为对象，则有时只能使用要求的处理量小的象素间滤波器。另一方面，在对高画质动态图像的传送和高编码效率要求强的应用中，对运算器要求的处理量大，但有时也想使用性能高的象素间滤波器。若编码方式弹性对应于这些要求，则根据该编码方式、该解码方式的图像编码装置和图像解码装置等动作范围是广泛有益的。
鉴于这些现有问题，本发明的目的在于提供一种根据多种状况来选择使用象素间滤波器并生成编码数据的图像编码装置、和解码编码数据的图像解码装置。

发明内容
一种图像解码方法，所述方法包括将编码图像解码时，使用由参考图像生成的预测图像进行解码，或者不使用所述预测图像进行解码的方法，解码步骤，将所述编码图像解码，并将解码图像复原；滤波步骤，根据表示是否用所述预测图像的信息，将解码图像用象素间滤波器进行滤波；存储步骤，将滤波后的解码图像储存。
所述图像解码方法，其特征在于当编码图像为切片时，将编码图像解码时表示是否用所述预测图像的信息则为表示切片的类型的信息；当编码图像为图像时，将编码图像解码时表示是否用所述预测图像的信息则为图像的类型的信息。
所述图像解码方法，其特征在于当编码图像为宏块时，将编码图像解码时表示是否用所述预测图像的信息则为表示宏块和块的类型中至少一种的信息。
所述图像解码方法，其特征在于用所述预测图像将所述编码图像解码，包括前方预测解码和双向预测解码中的至少一种，表示是否使用所述预测图像的信息，为表示不使用预测图像解码，表示在用预测图像解码时用前方预测解码，以及表示在用预测图像解码时用双向预测解码中至少一个的信息。
所述图像解码方法，其特征在于从切片头抽出表示是否使用所述预测图像的信息，在所述滤波步骤中，根据抽出来的所述信息，将由解码步骤得到的解码图像以切片为单位进行滤波。
所述图像解码方法，其特征在于从切片头抽出表示是否使用所述预测图像的信息，在所述滤波步骤中，根据抽出的所述信息，将由解码步骤得到的解码图像以图像为单位进行滤波。
所述图像解码方法，其特征在于不使用预测图像被解码的解码图像所使用的象素间滤波器的平滑度高于使用预测图像被解码的解码图像所使用的象素间滤波器的平滑度。
一种图像解码方法，其是将编码图像解码时使用由参考图像生成的预测图像进行解码、或者不使用所述预测图像进行解码的方法，所述解码方法包括解码步骤，将所述编码图像解码，并将解码图像复原；滤波步骤，对解码图像用象素间滤波器进行滤波；存储步骤，将滤波后的解码图像进行储存；所述解码图像在不使用所述预测图像被解码时所用的滤波器的平滑度高于所述解码图像在使用预测图像被解码时所用的滤波器的平滑度。
另外，根据本发明的图像解码装置根据编码表示动态图像中图象的图像数据和表示动画中其它图象的预测图像数据的差分所得到的编码图像数据，解码表示原始动态图像的多个图像数据，其特征在于具备解码部，将上述编码图像数据的解码结果、与对应于该编码图像数据的、已解码的预测图像数据相加，解码表示原始图象的图像数据；选择部，从对解码的上述图像数据实施象素间滤波运算的多个象素间滤波器中选择1个；和预测图像生成部，根据由选择的上述象素间滤波器实施上述运算的图像数据，生成对应于其它编码图像数据的预测图像数据。
因此，在根据本发明的图像解码装置中，具有如下效果对应于图像解码装置的处理能力和有无图像参照，选择象素间滤波器，可生成预测图像。另外，在由图像编码装置切换象素间滤波器的情况下，即使图像解码装置也可使用对应的象素间滤波器来正确解码。
并且，根据本发明的图像编码装置(和图像解码装置)编码重复输入的帧图像，其特征在于具备编码部，通过对帧图像实施规定的变换处理来执行编码；逆变换部，对由上述编码部编码的帧图像实施上述变换处理的逆变换处理；滤波部，对帧图像实施滤波处理；存储部，存储帧图像；和控制部，进行控制，使对由上述逆变换部进行逆变换处理得到的帧图像实施上述滤波部进行的滤波处理后，将该帧图像存储在上述存储部中，或不实施上述滤波部进行的滤波处理，将该帧图像存储在上述存储部中，上述编码部边参照上述存储部中存储的过去的帧图像边编码上述帧图像。
因此，在图像编码(和图像解码)中，通常不用添加去除噪声等的象素间滤波器，必要时可选择地添加象素间滤波器，所以例如通过仅向对画质影响大的帧图像添加象素间滤波器，即使是处理能力小的图像编码装置(图像解码装置)，也可采用象素间滤波器，从而以低的位速率得到高的画质改善效果。
这里，上述控制部也可控制成在上述帧图像的重要性高的情况下，对该帧图像实施上述滤波处理，在上述帧图像的重要性低的情况下，对该帧图像不实施上述滤波处理。例如，上述控制部控制成在上述帧图像是由上述编码部执行面内编码的帧图像的情况下，判断该帧的重要性高，对该帧图像实施上述滤波处理，在上述帧图像是由上述编码部执行面间编码的帧图像的情况下，判断该帧的重要性低，对该帧图像不实施上述滤波处理，或控制成在上述帧图像是由上述编码部执行前向预测编码的帧图像的情况下，判断该帧的重要性高，对该帧图像实施上述滤波处理，在上述帧图像是由上述编码部执行双向预测编码的帧图像的情况下，判断该帧的重要性低，对该帧图像不实施上述滤波处理，或控制成在上述帧图像是由上述编码部执行基本层(base layer)编码的帧图像的情况下，判断该帧的重要性高，对该帧图像实施上述滤波处理，在上述帧图像是由上述编码部执行增强层(enhancement layer)编码的帧图像的情况下，判断该帧的重要性低，对该帧图像不实施上述滤波处理，由此，因为优先对具有对其它帧图像影响性大的帧图像、即面内编码帧图像、前向预测编码帧图像、基本层帧图像等实施象素间滤波，所以对于相同处理负载的增大，可更有效地得到象素间滤波器进行的噪声去除等画质改善效果。
另外，上述控制部也可控制成监视该图像编码装置(图像解码装置)的处理能力的余量，在有余量的情况下，实施滤波处理，直到重要性更低的帧图像，在没有余量的情况下，不实施滤波处理，直到重要性更高的帧图像。例如，向上述帧图像对应附加对应于上述重要性的优先顺序，上述控制部也可控制成通过监视该图像编码装置具备的CPU运转率来监视上述余量，在上述运转率高的情况下，仅对优先级高的帧图像实施滤波处理，在上述运转率低的情况下，实施滤波处理，直到优先级低的帧图像。
从而，因为可控制滤波处理的ON/OFF，以充分发挥图像编码装置(图像解码装置)的处理能力，所以可高效率使用CPU，即使是相同的硬件资源，也可实现高画质的编码(解码)。
如上所述，通过本发明，可以低的位速率(高压缩率)来实现高画质的图像编码及图像解码，尤其是，可在有限的硬件资源下发挥软件的图像编码处理和图像解码处理的高画质改善效果，在信息通信技术和计算机广泛普及的今天，实用价值极高。
附图的简要说明图1是表示现有图像编码装置的结构框图。
图2是表示现有图像解码装置的结构框图。
图3是表示根据本发明实施例1的图像编码装置的结构框图。
图4是表示在每个输入图像切片中切换象素间滤波器的图像编码装置的结构框图。
图5(a)是表示本发明的图像编码装置输出的编码数据位流Bitstream的流结构的图。图5(b)是表示本发明的图像编码装置在以切片为单位切换象素间滤波器的情况下输出的编码数据位流Bitstream的流结构的图。
图6是表示解码由根据本实施例1的图像编码装置生成的编码数据位流Bitstream的图像解码装置的结构框图。
图7是表示在内部不具备指定象素间滤波器的情况下，代用具备的象素间滤波器的图像解码装置的结构框图。
图8是表示根据本发明实施例2的图像编码装置的结构框图。
图9是表示作为图8所示象素间滤波器一例的分块滤波器的运算内容的图。(a)是表示滤波前的块交界附近的象素值的图。(b)是表示滤波后的块交界附近的象素值的图。
图10是表示象素间滤波器的滤波处理流程的流程图。
图11是表示可选择进行或不进行象素间滤波处理的图像解码装置的结构框图。
图12是表示在输出级还具备可选择象素间滤波器的图像解码装置的结构框图。
图13是表示可对应于各帧的图象类型来选择象素间滤波器的图像解码装置的结构框图。
图14是表示根据本发明实施例3的图像编码装置的功能结构框图。
图15是表示图14所示优先顺序决定部的详细功能结构的框图。
图16是表示图14所示滤波器处理控制部的详细功能结构的框图。
图17是表示存储在图14所示图像存储器中的帧图像的参照关系的图。
图18是表示图16所示开关切换处理部执行的开关驱动处理的流程图。
图19是表示根据本发明实施例4的图像解码装置的功能结构框图。
图20是使用存储上述实施例1到实施例3的图像编码方法或图像解码方法的软盘，由计算机系统进行实施的情况说明图。(a)表示作为记录媒体主体的软盘的物理格式的实例。(b)表示从软件正面看到的外观、截面结构及软盘，(c)表示在软盘FD上执行上述程序的记录再现用的结构。
图21是表示实现内容配送服务的内容提供系统的整体结构框图。
图22是表示便携电话外观一例的图。
图23是表示便携电话结构的框图。
图24是说明进行上述实施例中所示编码处理或解码处理的设备和使用该设备的系统的图。
实施发明的最佳形态(实施例1)下面，参照附图来说明本发明的具体实施例。图3是表示根据本发明实施例1的图像编码装置300的结构框图。图中，因为已说明与图1所示现有图像编码装置100一样的结构要素和数据，所以标以相同符号，并省略说明。在以后的图中也一样，对已说明的现有结构要素和数据标以相同符号，并省略说明。图像编码装置300具备差分器101、图像编码部102、可变长编码部305、图像解码部104、加法器105、图像存储器107、图象间预测部108、图象间预测推定部109、开关301、开关302、象素间滤波器A303和象素间滤波器B304。开关301和开关302分别是对应于滤波器种类数据FilterType1的值，来选择连接端子1和端子2之一的开关。开关301被设置在加法器105的输出端子、与象素间滤波器A303和象素间滤波器B304的输入端子之间。开关302被设置在图像存储器107的输入端子、与象素间滤波器A303和象素间滤波器B304的输出端子之间。象素间滤波器A303和象素间滤波器B304是，例如对块间交界附近的高频噪声进行平滑处理，去除块失真的分块滤波器(デブロックフイルタ)，各自平滑处理的程度不同。另外，对应于平滑处理的程度，平滑处理用运算处理量不同。另外，开关301和开关302等图示的结构既可安装成硬件，也可安装成软件。另外，在其它附图中也一样。
可变长度编码部305分别可变长度编码、例如霍夫曼编码输入的滤波器种类数据FilterType1、差分图像编码数据CodedRes和预测参数数据PredParam，汇聚成一个编码数据位流Bitstream1后，输出到图像编码装置300的外部。
更具体说明与现有图像编码装置100相比新构成上述结构的图像编码装置300动作的部分。首先，从外部向图像编码装置300输入滤波器种类数据FilterTypel。这里，所谓从外部输入是指例如用户从图像编码装置外部使用键盘等用户接口的输入、或者是由装置固定的数据，是由装置依据位速率(压缩率)或图像尺寸来决定的值。将该滤波器种类数据FilterType1输入开关301和开关302。该开关301和开关302对应于该滤波器种类数据FilterType1的值来切换连接于端子“1”和端子“2”之一上。例如，在滤波器种类数据FilterType1的值为“1”的情况下，开关301和开关302都连接端子“1”。此时对于从加法器105输出的解码图像数据Recon，适用象素间滤波器A303的滤波。在滤波器种类数据FilterType1的值为“2”的情况下，开关301和开关302切换到端子“2”侧，对于从加法器105输出的解码图像数据Recon，适用象素间滤波器B304的滤波。因此，将实施了象素间滤波器A303或象素间滤波器B304的滤波的完成滤波解码图像数据FilteredImg1存储在图像存储器107中，用作以后图象的预测编码中的参考图像。另外，将特定象素间滤波器的滤波器种类数据FilterType1与同一图象的差分图像编码数据CodedRes和预测参数数据PredParam一起输入可变长度编码部305，分别进行可变长度编码。滤波器种类数据FilterType1的可变长度编码结果与该差分图像编码数据CodedRes和预测参数数据PredParam的可变长度编码结果相对应后，存储在编码数据Bitstream1中，存储于记录媒体中，也传送给图像解码装置。即，对各图象的解码图像数据Recon适用的象素间滤波器种类由存储在编码数据Bitstream1中的滤波器种类数据FilterType1通知给图像解码装置。从而，在解码编码数据Bitstream1的图像解码装置中，可特定在图像编码装置300中适用于各图象的解码图像数据Recon的象素间滤波器，所以可分各图象的解码图像使用与其相同的滤波器。在上述说明中虽设滤波器种类数据FilterType1的值为“1”、“2”，但这是方便说明来定义的值，只要是可区别多个种类的值，也可是任何值。
如上所述，在图像编码装置300中，作为象素间滤波器，具备多个不同预测性能、处理量的象素间滤波器，可对应于从外部输入的滤波器种类数据FilterType1来切换使用。如此切换使用不同预测性能、处理量的象素间滤波器具有以下优点。首先，为了说明，设象素间滤波器A303的处理量比象素间滤波器B304的少，另一方面，象素间滤波器B304的噪声抑制效果比象素间滤波器A303的高，预测编码效率提高。作为本发明的解码图像编码装置300输出的编码数据的图像解码装置，考虑仅具备象素间滤波器A303的图像解码装置A、和具备象素间滤波器A303和象素间滤波器B304两者的图像解码装置B这两种图像解码装置。前者的图像解码装置A要求的处理量小，适于处理能力低的设备。后者的图像解码装置B适于处理量大的设备。后者的图像解码装置B也可解码使用象素间滤波器A303和象素间滤波器B304任一象素间滤波器的编码数据，对前者的图像解码装置A具有上位互换性。在这种情况下，图像编码装置300可用作还对应于上述两种任一图像解码装置的图像编码装置。即，如上所述，在图像编码装置300中，通过对应于设为对象的图像解码装置的处理能力来选择适当预测性能、处理量的象素间滤波器，对种类广范的设备，可适用使用与图像编码装置300中适用的相同象素间滤波器的编码方法(对编码数据Bitstream1解码)。
另外，在所谓对应于图像解码装置的处理能力的编码数据生成的用途之外，还可对应于图像编码装置300的处理能力来切换象素间滤波器。例如，在编码图像尺寸和图象速率大的情况下，编码处理整体所需的处理量变大。因此，在编码图像尺寸和图象速率小于一定值的情况下，使用要求的处理能力高的象素间滤波器B304，在编码图像尺寸和图象速率大于一定值的情况下，使用要求的处理能力低的象素间滤波器A303，编码处理整体所需的处理量不会变高。另外，在由1台装置时分执行多个处理的时隙系统上实现图像编码的情况下，图像编码所用处理量可在其它处理的影响下动态变化。因此，在图像编码所用处理量在规定以上的情况下，使用处理量高的象素间滤波器B304，在图像编码所用处理量在规定以小的情况下，使用处理量比象素间滤波器B304少的象素间滤波器A303。
象素间滤波器的切换定时也可是具备多个适于特定性质图像的象素间滤波器，对应于各图像的性质，以图象单位切换象素间滤波器。例如，在文字等边缘信息重要的情况下，使用边缘保存性好的象素间滤波器。通过边缘检测或文字检测等图像处理技术来自动判断执行切换，也可由用户从明示的适于自然图像的象素间滤波器、适于文字的象素间滤波器、适于边缘的象素间滤波器中进行选择。这样，若多个象素间滤波器的切换成为可能，则因为可选择适于图像性质的滤波器，所以可进一步提高预测效率。即，不对应于处理量来切换，而是切换滤波器来提高画质也是有效的。因此，在本实施例中说明了对应于处理量来进行切换，但也可切换滤波器来提高画质。
切换象素间滤波器的单位不限于图象单位，因为图像的性质也可因图像内的部分而不同，所以例如也可以MPEG切片、宏块和块等比图象小的图像区域作为单位，也可将至少多于1个象素集合的区域作为单位来切换象素间滤波器。
图4是表示在每个输入图像切片中切换象素间滤波器的图像编码装置400的结构框图。图像编码装置400是以MPEG切片单位切换象素间滤波器来执行解码象素的滤波的图像编码装置，具备差分器101、图像编码部102、图像解码部104、加法器105、图像存储器107、图象间预测部108、图象间预测推定部109、开关403、开关404、象素间滤波器A303、象素间滤波器B304、可变长度编码部305、滤波器切换位置判断部401和开关402。滤波器切换位置判断部401根据从外部输入的图像数据Img来检测输入图像的切片，每次切换检测到的切片时，例如，向开关402输出例如输出1个脉冲的滤波器切换控制数据SetFType。开关402是在不输出滤波器切换控制数据SetFType期间截断端子间连接的开关，在输出滤波器切换控制数据SetFType的瞬间，仅以极短的时间将从外部输入的滤波器种类数据FilterType1导向开关403和开关404。开关403和开关404都对应于每次切换输入图像数据Img的切片时瞬间输入的滤波器种类数据FilterType1的值，连接端子“1”或端子“2”之一，保持该状态。即，在截断开关402的连接期间，不切换象素间滤波器。结果，每次切换输入图像数据Img的切片时，通过滤波器种类数据FilterType1来选择新的象素间滤波器，可防止在切片途中切换象素间滤波器。
如上所述，通过本发明的象素编码装置，可使用对应于再现本发明图像编码装置输出的编码数据的图像解码装置的处理能力的象素间滤波器，生成编码数据。另外，可对应于图像编码装置的处理能力来选择象素间滤波器。
本实施例的图像编码装置具备的象素间滤波器虽为两个，但也可具备3个以上的象素间滤波器。与本实施例一样，选择3个以上象素间滤波器之一来使用，只要编码数据中包含表示使用的象素间滤波器种类的滤波器种类数据即可。
另外，也可不对应于处理量来进行切换，而是切换滤波器来提高画质。
另外，在图像编码装置400中，虽设滤波器切换控制数据SetFType为在每次检测切片(スライス)切换时表示值“1”、在此外的期间表示值“0”的脉冲波形，但本发明不限于此，例如，也可以是每个切换切片时反转的矩形波，也可是其它波形。另外，虽设开关402为在滤波器切换控制数据SetFType为同相位期间截断端子间连接的开关，但本发明不限于此，在不是滤波器切换位置的情况下，滤波器切换位置判断部401也可输出表示截面开关402的滤波器切换控制数据SetFType。另外，在图像编码装置400中，虽设以图像数据Img的切片单位来切换象素间滤波器，但也可以图象单位来切换象素间滤波器。另外，也可以块、宏块或各一定多个象素为单位来切换象素间滤波器。
图5(a)是表示本发明的图像编码装置输出的编码数据位流Bitstream的流结构的图。图5(b)是表示本发明的图像编码装置在以切片为单位切换象素间滤波器的情况下输出的编码数据Bitstream的流结构的图。本发明的编码数据的特征在于特定多个象素间滤波器之一的滤波器种类数据FilterType1包含在编码数据Bitstream中。在通过该流结构来解码本发明的编码数据Bitstream的图像解码装置中，通过调查编码数据Bitstream中包含的滤波器种类数据FilterType1，可使用与编码时使用的象素间滤波器相同的象素间滤波器。
在图5(a)所示的编码数据Bitstream中，在附加在编码数据Bitstream整体上的头901中(例如斜线部)记述表示用于各图象滤波的象素间滤波器的滤波器种类数据FilterType的值。该编码数据Bitstream对应于图3所示从图像编码装置300输出的编码数据Bitstream1，另外，在图5(b)所示的编码数据Bitstream中，在每个切片中设置的切片头902中(例如斜线部)记述表示用于该切片滤波的象素间滤波器的滤波器种类数据FilterType的值。该编码数据Bitstream对应于图4所示从图像编码装置400输出的编码数据Bitstream1。这样，通过将滤波器种类数据FilterType存储在作为编码数据Bitstream开头部分的头901、和作为数据记录、传送基本单位、还作为纠错、修正单位的切片开头的切片头902等中，在图像解码装置中，通过从头901或切片输入编码数据Bitstream，可在该切片解码之前特定该切片的滤波种类。
这里，虽说明以切片单位来切换象素间滤波器，但不仅切片单位，也可以由比切片小的图像领域单位(只要集合1个以上象素的区域即可，例如MPEG宏块、块等)切换象素间滤波器。另外，也可以作为比切片大的图像区域单位的图象来进行切换。此时，除记述在图5(a)所示头901中(例如斜线部)以外，例如也可将对应于各图象的滤波器种类数据FilterType1的值记述在对每个图象编码数据设置的图象头中。另外，在设宏块或块为滤波方法的切换单位的情况下，只要对每个切片汇集各宏块或各块的滤波器种类数据FilterType1的值，记述在切片头中即可。
另外，也可在由包等传送的情况下分离成头部和数据部来分别传送。此时，如图5所示，头部和数据部不会成为一个位流。但是，在包的情况下，即使传送顺序多少有前有后，但对应于对应数据部的头部仅由其它包来传送，即使不成为一个位流，理论上也与图5中说明的位流情况相同。
如上所述，通过设定输入本发明图像编码装置的滤波器种类数据FilterType1的值来选择对应于图像解码装置的处理能力的象素间滤波器，可生成对应于再现本发明图像编码装置输出的编码数据的图像解码装置处理能力的编码数据。另外，可对应于图像编码装置的处理能力来选择象素间滤波器。
另外，也可不对应于处理量来进行切换，而切换滤波器来提高画质。
图6是表示解码由根据本实施例1的图像编码装置生成的编码数据Bitstream的图像解码装置1000的结构框图。图像解码装置1000是根据记述在输入的编码数据Bitstream1头中的滤波器种类数据FilterType1，对每个图象或每个切片切换象素间滤波器，解码编码数据Bitstream1的编码数据的图像解码装置，具备可变长度解码部201、图像解码部202、加法器203、图像存储器205、图象间预测部206、开关1001、开关1002、象素间滤波器A1003和象素间滤波器B1004。
从外部向图像解码装置1000输入编码数据Bitstream1。通过例如实施例1中的图像编码装置300或图像编码装置400来编码编码数据Bitstream1。可变长度解码部201可变长度解码输入的编码数据Bitstream1，分离成差分图像编码数据CodedRes、预测参数数据PredParam和滤波器种类数据FilterType1，分别向图像解码部202输出差分图像编码数据CodedRes，向图象间预测部206输出预测参数数据PredParam，向开关1001和开关1002输出滤波器种类数据FilterType1。开关1001和开关1002在输入值“1”来作为滤波器种类数据FilterType1的情况下，切换到端子“1”侧，对解码图像数据Recon适用象素间滤波器A1003的滤波。在输入值“2”来作为滤波器种类数据FilterType1的情况下，开关1001和开关1002切换到端子“2”侧，对解码图像数据Recon适用象素间滤波器B1004的滤波。在通过任一象素间滤波器实施象素间滤波运算的情况下，都会在将完成滤波解码图像数据FilteredImg1存储在图像存储器205中，同时，输出到图像解码装置1000的外部，例如显示装置等。
如上所述，根据本发明的图像解码装置1000，可解码在头部包含特定象素间滤波器种类的滤波器种类数据FilterType1的编码数据Bitstream1。
本实施例的图像解码装置具备的象素间滤波器虽为两个，但也可具备3个以上的象素间滤波器。与本实施例一样，只要根据编码数据Bitstream内的滤波器种类数据，选择3个以上象素间滤波器之一来使用即可。
如实施例1所示，在以图象单位、或比图象小的图像区域单位来切换滤波器种类的情况下，在变更滤波器种类的时刻切换象素间滤波器。
图7是表示在内部不具备指定象素间滤波器的情况下，代用具备的象素间滤波器的图像解码装置1100的结构框图。图像解码装置1100的特征在于在图像解码装置1100内不具备由编码数据中包含的滤波器种类数据选择的象素间滤波器的情况下，代替使用图像编码装置1100中具备的任一象素间滤波器。该图像解码装置1100具备可变长度解码部201、图像解码部202、加法器203、图像存储器205、图象间预测部206、开关1001、开关1002、象素间滤波器A1003、象素间滤波器B1004和滤波器种类数据变换部1101。
例如，设图像解码装置1100中仅具备滤波器种类数据FilterType1的值“1”和值“2”表示的两种象素间滤波器A1003和象素间滤波器B1004。从外部向图像解码装置1100输入编码数据Bitstream3。可变长度解码部201可变长度解码输入的编码数据Bitstream3，分离成差分图像编码数据CodedRes、预测参数数据PredParam和滤波器种类数据FilterType3，分别向图像解码部202输出差分图像编码数据CodedRes，向图象间预测部206输出预测参数数据PredParam，向滤波器种类数据变换部1101输出滤波器种类数据FilterType3。滤波器种类数据变换部1101在滤波器种类数据FilterType3的值为表示图像解码装置1100中不具备的象素间滤波器的值“3”时，将滤波器种类数据FilterType3的值“3”变换为表示平滑度与例如图像解码装置1100中具备的象素间滤波器中指定象素间滤波器最近似的象素间滤波器的“2”的值，作为滤波器种类数据FilterType4输出。
通过执行这种变换处理，在图像解码装置1100中，因为使用与编码时不同的象素间滤波器，所以多少产生画质恶化，但因为可进行接近原来解码图像的解码处理，所以作为简易的图像解码装置是非常有效的。在输入值“1”来作为滤波器种类数据FilterType4的情况下，开关1001和开关1002都切换到端子“1”侧，对解码图像数据Recon适用象素间滤波器A1003的滤波。在输入值“2”来作为滤波器种类数据FilterType4的情况下，开关1001和开关1002都切换到端子“2”侧，对解码图像数据Recon适用象素间滤波器B1004的滤波。将作为象素间滤波器处理结果的完成滤波解码图像数据FilteredImg3输出到图像解码装置1100外的显示装置等。
如上所述，根据图像解码装置1100，即使指定图像解码装置100不具备的象素间滤波器的滤波器种类数据FilterType3在包含于输入编码数据Bitstream3中的情况下，也可代用内部具备的象素间滤波器来执行解码。因此，不会导致大幅度的画质恶化，可解码编码数据Bitstream。
在图像解码装置1100具备的象素间滤波器(也包含没有象素间滤波运算)为1个的情况下，可通过强制使用该象素间滤波器来执行解码。
在本实施例的图像解码装置中，虽具备两个象素间滤波器(没有象素间滤波运算也算作1个滤波器)，但即使有3个以上的象素间滤波器也可进行同样的处理。即，作为1个象素间滤波器，也包含不执行象素间滤波运算，将解码图像数据Recon原样存储在图像存储器205中的处理。
如实施例1所示，在以图象单位、或比图象小的图像区域单位来切换滤波器种类的情况下，在变更滤波器种类的时刻切换象素间滤波器。
用图9和图10来更详细说明象素间滤波器303、304、1003、1004的动作。图9是表示作为象素间滤波器一例的分块滤波器的运算内容的图。图9(a)是表示滤波前的块交界附近的象素值的图。图9(b)是表示滤波后的块交界附近的象素值的图。图10是表示象素间滤波器的滤波处理流程的流程图。图9(a)表示同一水平扫描线上的象素601-象素608中的各个象素值。象素601-象素604都是块610内的象素，而象素605-象素608是邻接于块610的块611内的象素。象素601-象素604的象素值分别为p3、p2、p1和p0，象素605-象素608的象素值分别为q0、q1、q2和q3。在图像编码装置中，通过以块(或宏块)等为单位来执行图象间预测、图像编码、可变长度编码和图像解码等处理。因此，跨过相邻块(或宏块)间的交界、例如块610与块611的交界的象素间、例如象素604与象素605中，在高频下容易产生编码噪声。例如，在图9(a)所示象素604的象素值p0与象素605的象素值q0中，倾向于象素值的差由于编码噪声的影响而容易变大。因此，象素间滤波器可使用多个参照来决定滤波器，例如是对应于决定滤波器的参数α、β的滤波器，通过该象素间滤波器来滤波跨过块交界的象素组的象素值。
如图10所示，象素间滤波器首先求出跨过块交界的象素604与象素605的象素值的差(p0-q0)的绝对值，判断求出的绝对值是否小于参数α的值(S701)。判断结果，若象素值的差(p0-q0)的绝对值大于参数α的值，则象素间滤波器对由解码图像数据Recon表示的象素值不执行分块滤波处理(S704)。另一方面，若步骤S701中的判断结果是跨过块交界的相邻象素间的象素值差(p0-q0)的绝对值小于参数α，则象素间滤波器还求出象素604与象素603的象素值之差(p1-q0)的绝对值，判断求出的绝对值是否小于参数β的值(S702)。这里，象素604和象素603是同一块610内的相邻象素。判断结果，若象素值之差(p1-q0)的绝对值大于参数β的值，则象素间滤波器503对由解码图像数据Recon表示的象素值不执行分块滤波处理(S704)。另外，若判断结果是象素值差(p1-q0)的绝对值小于参数β，则还求出象素605与象素606的象素值之差(q1-q0)的绝对值，判断求出的绝对值是否小于参数β的值(S703)。这里，象素605和象素606是同一块611内的相邻象素。判断结果，若象素值之差(q1-q0)的绝对值大于参数β的值，则象素间滤波器对由解码图像数据Recon表示的象素值不执行分块滤波处理(S704)。另一方面，若象素值之差(q1-q0)的绝对值小于参数β的值，则象素间滤波器503对解码图像数据Recon执行滤波，去除编码噪声，结束处理。象素间滤波器对跨过块交界的水平扫描线方向和垂直扫描线方向的各象素列重复以上处理。从而，在3组相邻象素的象素值之差都小于一定值的情况下，通过实施分块滤波处理，去除失真。
在上述步骤S704的分块滤波处理中，对交界附近的象素执行平滑处理滤波(抑制高频分量滤波)。例如，可对象素604的象素值p0、象素605的象素值q0、象素603的象素值p1和象素606的象素值q1使用抑制高频分量的低通滤波器(Low Pass Filter)来生成平滑处理产生的象素604的新的象素值P0。
(实施例2)图8是表示根据实施例2的图像编码装置500的结构框图。图像编码装置500与图像编码装置300的不同之处在于作为象素间滤波处理，可选择将解码图像数据Recon作为参考图像数据Ref原样存储在图像存储器107中。
图像编码装置500具备差分器101、图像编码部102、图像解码部104、加法器105、图像存储器107、图象间预测部108、图象间预测推定部109、开关501、开关502、象素间滤波器503、表格保持部504和可变长度编码部505。
在滤波器种类数据FilterType2的值为“0”时，开关501和开关502都切换到端子“0”侧，将从加法器105输出的解码图像数据Recon原样存储在图像存储器107中。在滤波器种类数据FilterType2的值为“1”时，开关501和开关502都切换到端子“1”侧，将从加法器105输出的解码图像数据Recon导向象素间滤波器503。象素间滤波器503是用于象素值滤波的滤波器，例如是抑制块交界中高频分量的编码噪声的分块滤波器。将通过象素间滤波器503进行象素间滤波运算的完成滤波解码图像数据FilteredImg2存储在图像存储器107中。可变长度编码部505可变长度编码滤波器种类数据FilterType2、差分图像编码数据CodedRes和预测参数数据PredParam，汇聚成图5(a)所示的1个编码数据Bitstream2，输出到图像编码装置500的外部。
图像编码装置500具备的象素间滤波器为1个，但也可以是2个以上象素间滤波器。选择2个以上象素间滤波器之一或无象素间滤波运算并使用，编码数据中最好包含表示使用的象素间滤波器种类(包含无象素间滤波运算)的滤波器种类数据。另外，图像编码装置500中也可省略表格保持部504，而在象素间滤波器503的内部具备表格保持部504的功能。
如上所述，在本发明的图像编码装置500中，可使用对应于再现从该图像编码装置500输出的编码数据Bitstream2的图像解码装置处理能力的象素间滤波器来生成编码数据。另外，可对应于图像编码装置500的处理能力来选择象素间滤波器。另外，也可以图象单位或比图象还小的图像区域单位来切换滤波器种类。
图11是表示可选择进行或不进行象素间滤波处理的根据实施例2的图像解码装置1200的结构框图。图像解码装置1200与图6的图像解码装置1000的不同点在于可选择不执行象素间滤波运算，作为象素间滤波处理，将解码图像数据Recon作为参考图像数据Ref，原样存储在图像存储器205中。图像解码装置1200具备可变长度解码部201、图像解码部202、加法器203、图像存储器205、图象间预测部206、开关1201、开关1202和象素间滤波器1203。
向图像解码装置1200输入例如由图8的图像编码装置500编码的图9(a)的编码数据那样、在头内包含表示编码时适用的象素间滤波器的滤波器种类数据FilterType2的编码数据Bitstream2。在滤波器种类数据FilterType2中包含作为滤波器种类的表示“无象素间滤波运算”的值。可变长度解码部201可变长度解码输入的编码数据Bitstream2，分离成差分图像编码数据CodedRes、预测参数数据PredParam和滤波器种类数据FilterType2，将分离后的差分图像编码数据CodedRes、预测参数数据PredParam和滤波器种类数据FilterType2分别输出到图像解码部202、图象间预测部206和开关1201及开关1202。
在输入值“0”来作为滤波器种类数据FilterType2的情况下，开关1201和开关1202都切换到端子“0”侧，将从加法器203输出的解码图像数据Recon原样存储在图像存储器205中。在输入值“1”来作为滤波器种类数据FilterType2的情况下，开关1201和开关1202都切换到端子“1”侧，对解码图像数据Recon适用象素间滤波器1203的滤波。
另外，也可在根据滤波器种类数据来判断作为参考图像的解码图像中未使用象素间滤波器的情况下，在将该解码图像作为参考图像存储在图像存储器中时，不进行象素间滤波器的滤波，仅在向图像解码装置的外部输出时，才使用象素间滤波器。图12是表示在图像输出部中还具备可选择象素间滤波器的图像解码装置1300的结构框图。如上所述，图像解码装置1300是如下的图像解码装置在滤波器种类数据FilterType2表示对从加法器203输出的解码图像不执行象素间滤波器的滤波时，对图像存储器中存储的解码图像不滤波，通过设置在输出侧的象素间滤波器来对输出到外部的解码图像执行滤波，具备可变长度解码部201、图像解码部202、加法器203、图像存储器205、图象间预测部206、开关1201、开关1202、象素间滤波器1203、开关1301、开关1302和象素间滤波器1303。
在滤波器种类数据FilterType2的值为“1”的情况下，开关1201、开关1202、开关1301、开关1302都切换到端子“1”侧。此时，开关1201和开关1202导通加法器203的输出、象素间滤波器1203和图像存储器205，开关1302截断开关1202的输出与象素间滤波器1303的导通，与开关1301短路。因此，象素间滤波器1203对解码图像数据Recon执行滤波运算，输出完成滤波解码图像数据FilterdImg3。将完成滤波解码图像数据FilterdImg3作为输出图像OutImg原样、即不由象素间滤波器1303重复滤波地输出到图像解码装置外的显示装置等。在滤波器种类数据FilterType2的值为“0”的情况下，开关1201、开关1202、开关1301、开关1302都切换到端子“0”侧。此时，开关1201截断加法器203的输出与象素间滤波器1203的导通，与开关1202短路。另一方面，开关1302导通开关1202的输出、象素间滤波器1303与开关1301的外部输出端子。因此，象素间滤波器1203不对从加法器203输出的解码图像数据Recon执行象素间滤波运算，而作为参考图像，原样存储在图像存储器205中。从开关1202的输出侧取得的解码图像数据Recon、即实际上未滤波的完成滤波解码图像数据FilterdImg3由象素间滤波器1303实施象素间滤波运算，作为输出图像OutImg，输出到图像解码装置1300以外的显示装置等。
这里，为了说明，将象素间滤波器1203和象素间滤波器1303记载为不同的结构要素，但安装上也可使用相同的象素间滤波器(因为两个象素间滤波器不同时动作，所以即使使用相同的象素间滤波器也没问题)。另外，象素间滤波器1203和象素间滤波器1303也可是现有的象素间滤波器106，或是图8所示内置表格保持部504的象素间滤波器503。并且，也可以是内置多个保持参数表620的表格保持部504的象素间滤波器503。此时，还必需向象素间滤波器503输入滤波器种类数据FilterType2’。
如上所述，根据图像解码装置1300，即使对成为参考图像的解码图像不实施滤波的情况下，也可对该解码图像实施象素间滤波器的滤波，所以在显示从图像解码装置1300输出的输出图像OutImg的显示装置中，可显示更高画质的动态图像。这在对成为参考图像的解码图像不实施滤波的情况下，处理能力有余量的设备情况下特别有效。
如实施例1所示，在以图象单位、或比图象小的图像区域单位来切换由滤波器种类数据FilterType2表示的象素间滤波器的种类的情况下，在变更滤波器种类的时刻切换象素间滤波器。
图13是表示可对应于各图象的图象类型来选择象素间滤波器1203的图像解码装置1400的结构框图。图像解码装置1400是解码是否将完成解码的图象用作参考图像的信息、例如包含各图象的图象种类等的编码数据的图像解码装置，具备图像解码部202、加法器203、图像存储器205、图象间预测部206、象素间滤波器1203、可变长度解码部1401、开关1402、开关1403和图象种类数据变换部1404。
可变长度解码部1401可变长度解码从外部输入的编码数据Bitstream4，并分离成图象种类数据Ptype、差分图像编码数据CodedRes和预测参数数据PredParam。分别将分离后的图象种类数据Ptype输出到图象种类数据变换部1404，将差分图像编码数据CodedRes输出到图像解码部202，将预测参数数据PredParam输出到图象间预测部206。图象种类数据Ptype是表示该图象是否可被用作参考图像的信息。例如，在作为国际标准参考的MPEG-1、2中，编码数据中包含每帧中称为图象类型的信息，称为B图象的帧不被用作参考图像。因此，也可将编码数据中包含的图象类型用作本实施例的图象种类数据。若对不被用作参考图像的图象执行象素间滤波器的滤波时，不会对其它图象解码产生过多坏影响。
这里，图像解码装置1400在该图象不被用作参考图像的情况下不执行象素间滤波。例如，在图像解码装置1400的处理能力低，在再现时刻不能执行与时间一致的解码时，通过不对未被用作参考图像的图象执行象素间滤波器的滤波，可减轻图像解码装置1400的处理量。当用图13的框图来说明时，首先，图象种类数据变换部1404若输入的图象种类数据Ptype表示B图象以外的图象，即表示将该图象用作参考图像，则开关1402和开关1403都被切换到端子“1”。从而，图像解码装置1400使用象素间滤波器1203，对解码图像数据Recon执行象素间滤波运算，将运算结果作为完成滤波解码图像数据FilterdImg5存储在图像存储器205中，同时，输出到图像解码装置1400以外的显示装置等。另一方面，图象种类数据Ptype若表示该图象是B图象，即该图象不被用作参考图像，则开关1402和开关1403被切换到端子“0”，不使用象素间滤波器1203，将从加法器105输出的解码图像数据Recon原样输出到外部。
如上所述，根据图像解码装置1400，因为对没有参考其它图象的B图象省略了象素间滤波器1203的滤波，所以对其它图象的解码没有产生大的影响，可减轻编码数据Bitstream的解码要求的处理量。另外，因为图像解码装置1400对应于编码数据的图象类型来选择象素间滤波器，所以象素间滤波器的选择信息未进入图象头(ヘッダ)等头信息中，即使对从现有图像编码装置输出的编码数据，也可省略对未参考图像的滤波处理，可减轻滤波处理的负载。
未参照的图象无不进行滤波处理无关，例如图13所示，不必保存在图像存储器205中。由此，只要在仅保存参照的图象、在图像存储器205中进行滤波处理的数据即可。
严格地说不意味着未参照B图象的图像，还考虑参照B图像的图像编码方法。因此，不是单纯由图象类型来选择象素间滤波器，若判断是否实际参照的图象，则即使在参照B图象的情况下，也可进行更适当的处理。即使在参照B图象的情况下，为了简化安装，也单纯地由图象类型来进行切换。
另外，不切换是否执行象素间滤波器，如图6或图7所示，也可由图象种类或是否参考图象来切换象素间滤波器1003、象素间滤波器1004与两个滤波器。
另外，说明通过图象种类和是否参考图象来切换象素间滤波器的图像解码装置的实例，但即使在图像编码装置中也可同样执行该切换。
(实施例3)图14是表示根据本发明实施例3的图像编码装置1500的功能结构框图。图像编码装置1500由具备CPU、存储器、安装了图像编码用程序的硬盘(HD)等的计算机装置实现，作为功能，具备操作接收部1505、前处理部1510、减法部1512、正交变换部1513、量化部1514、可变长度编码部1517、后处理部1520、逆量化部1521、逆正交变换部1522、加法部1524、开关部1530、象素间滤波器1540、图像存储器1541、运动检测部1542、运动补偿部1543、优先顺序决定部1550和滤波器处理控制部1560。
操作接收部1505接收操作者的输入操作。前处理部1510具备模式变换部，将输入的图像信号模式变换为由操作接收部1505的操作指定的空间分辨率；和图象重新排列部，与图象种类一致，重新排列图象，等，依次输出图象种类和各帧的帧图像等。
图象类型中有画面内编码模式时生成的、无参考图像的I图象(IntraPicture面内编码图像)、画面间编码模式时生成的仅参照1个图象的P图象(Predictive Picture预测编码图像)及还可参照后方图像的B图象(BiPredictive Picture多个预测图像)，限制在画面间编码模式时的运动检测时，存储在图像存储器1541中的可由运动检测部5142同时参照的解码图像个数。
另外，在编码帧图像的情况下，有使用3个图象种类来编码情况的模式(下面还将该模式称为IPB编码模式)、和仅使用I图象和P图象这两个图象来进行编码情况的模式。在仅使用I图象和P图象这两个图象来进行编码情况的模式下，有对可参照的P图象及不可参照的P图象进行编码的模式(下面还将该模式称为第1IP编码模式)、和对层次编码中的基本层的P图象、可由增强层参照的P图象及不可由增强层参照的P图象进行编码的模式(下面还将该模式称为第2IP编码模式)。所谓层次编码是将图象分成基本层和增强层这两个层，基本层是可仅由基本层的图象组单独再现的集合，增强层是为了编码、解码而必需基线图象组的图象组。若仅是基本层，则位数少，若基本层与增强层结合，则位数多，但图象数变多，所以基线在所有情况下记录、传送，增强层仅在必需高画质的情况下记录、传送，可容易实现两种用途是层次编码的特征。
在第1IP编码模式的情况下，在向帧图像附加[有可能]或[无可能]的信息的同时，向图象种类附加[有可能]或[无可能]的信息。另外，在第2编码模式的情况下，向帧图像附加[基本]、[有可能]或[无可能]的信息的同时，向图象种类附加[基本]、[有可能]或[无可能]的信息。
减法部1512在画面内编码模式时原样输出从前处理部1510输出的帧图像，在画面间编码模式时，计算作为帧图像与从运动补偿部1543输出的运动补偿图像的差分值的运动补偿误差(残差图像)。
正交变换部1513通过分别对从减法部1512输出的画面内编码模式时的帧图像及画面间编码模式时的运动补偿误差执行离散余弦变换等正交变换，输出变换为频域的频率分量。量化部1514通过量化从正交变换部1513输出的频率分量，输出量化值。可变长度编码部1517通过对从量化部1514输出的量化值使用分配对应于发生频度的码长的可变长度码(霍夫曼码)，输出还实施信息压缩的编码信号。后处理部1520具有暂时存储编码信号等的缓冲器、和控制量化部1514中的量化宽度用的速率控制部等，将上述运动矢量、图象种类等、和从可变长度编码部1517输出的编码信号变换为位流的编码信号后输出。
逆量化部1521通过逆量化量化部1514生成的量化值，解码频率分量。逆正交变换部1522通过逆正交变换由逆量化部1512解码的频率分量，在画面内编码模式时解码帧图像，在画面间编码模式时解码作为象素差分值的运动补偿误差(残差图像)。加法部1524在画面内编码模式时原样输出由逆正交变换部1522解码的帧图像(解码图像)，在画面间编码模式时，通过将由逆正交变换部1522解码的残差图像和由运动补偿部1543生成的运动补偿图像相加，解码帧图像。
开关部1530由通过滤波处理控制部1560对每个图象的开关ON/OFF控制、同步切换开关形态的一对开关1531、1532构成，将象素间滤波器1540组装环内，或离开环，即，跳过象素间滤波器1540的处理。象素间滤波器1540在开关1531、1532ON时，对从加法部1524输出的解码图像，以块单位执行空间低通滤波处理，生成没有块失真等的解码图像。例如，算出某个象素、其周围象素与平均值，若某个象素与周围象素的差在规定范围内，则一个一个地对块交界附近的象素执行将该某个象素置换成算出的平均值的处理。
图像存储器1541以多个帧大小存储从开关部1530输出的解码图像。从而，可在与解码从后处理部1520输出的编码信号的图像解码装置相同的状态下，监视解码图像，并将解码图像用作画面间编码模式时的参考图像。在第1IP编码模式和第2IP编码模式中，必需将附加有参照可能性信息的P图象解码图像存储在图像存储器1541中，不必将附加无参照可能性的信息的P图象解码图像存储在图像存储器1541中。因此，有/无可能性的信息表示与将解码图像存储/不存储到图像存储器1541中相同的含义。
运动检测部1542在画面间编码模式时，从存储在图像存储器1541中的解码图像中检索与从前处理部1510输出的帧图像的差分最小的参考图像，输出作为差分象素运动量的运动矢量。在输出运动矢量时，输出参考图像是前方图像、后方图像、两图像的平均值等块预测种类。运动补偿部1543执行由运动矢量及块预测种类表示的运算，生成运动补偿图像。优先顺序决定部1550对应于图象种类、基本层、增强层，输出该图象的优先级。滤波器处理控制部1560对应于从优先顺序决定部1550输出的优先级或CPU运转率，ON/OFF控制开关1531、1532。
图15是表示图14所示优先顺序决定部1550的详细功能结构的框图。如图所示，优先顺序决定部1550对应于图象种类及基本层、增强层来输出图象的优先级，如图15所示，由3个表格1551-1553、选择器1554和决定处理部1555构成。在第2IP编码模式中的P图象的情况下，还向图象种类附加表示[基本]、[有参照可能性]或[无]的信息。
表格1551在通过操作接收部1505的操作来指定IPB编码模式情况下被选择，是对应帧图像的图象种类和优先级的表格，在I图象中，优先级设定为
，在P图象中，优先级设定为[1]，在B图象中，优先级设定为[2]。另外，设定为随着数值变大，优先级变低。
表格1552在通过操作接收部1505的操作来指定第1IP编码模式情况下被选择，是对应帧图像的图象种类和优先级的表格，在I图象中，优先级设定为
，在P(有参照可能性)图象中，优先级设定为[1]，在P(无参照可能性)图象中，优先级设定为[2]。
表格1553是在指定第2IP编码模式I、P(基本、有参照可能性、无参照可能性)编码模式的情况下被选择的表格，是对应帧图像的图象种类和优先级的表格，在I图象中，优先级设定为
，在P(基本)图象中，优先级设定为[1]，在P(有参照可能性)图象中，优先级设定为[2]，在P(无参照可能性)图象中，优先级设定为[3]。
选择器1554根据由操作接收部1505指定的编码模式(IPB编码模式、第1IP编码模式)，选择表格1551-1553之一。决定处理部1555参照由选择器1554选择的表格，决定对应于从前处理部1510输出的图象种类及基本层、增强层的优先级，输出决定的优先级。具体而言，在指定IPB编码模式的情况下，选择器1554选择表格1551，决定处理部1555在每次从前处理部1510输出图象种类时，输出对应于I图象、P图象、B图象的优先级。另外，在指定第1IP编码模式的情况下，选择器1554选择表格1552，决定处理部1555根据图像种类、附加在P图象上的数据([有可能性]、[无可能性])，输出优先级。并且，在指定第2IP编码模式的情况下，选择器1554选择表格1553，决定处理部1555根据图像种类、附加在P图象上的数据(参照的[基本]、[有可能性]、[无可能性])，输出优先级。
图16是表示图14所示滤波器处理控制部1560的详细功能结构的框图。如图所示，滤波处理控制部1560对应于从优先顺序决定部1550输出的优先级及CPU运转率，ON/OFF控制开关1531、1532，如图16所示，由3个表格1561-1563、选择器1564和开关切换处理部1565构成。表格1561在指定IPB编码模式的情况下被选择，是表示实施滤波处理情况下的优先级与CPU运转率的组合的表格，设定在CPU的运转率小于70％、优先级为0-2的情况下，开关ON，在CPU的运转率大于70％小于80％、优先级仅为0和1的情况下，开关ON，在CPU的运转率大于80％、优先级仅为0的情况下，开关ON。
表格1562在指定第1IP编码模式的情况下被选择，是表示实施滤波处理情况下的优先级与CPU运转率的组合的表格，设定在CPU的运转率小于70％、优先级为0-2的情况下，开关ON，在CPU的运转率大于70％小于80％、优先级仅为0和1的情况下，开关ON，在CPU的运转率大于80％、优先级仅为0的情况下，开关ON。
表格1563在指定第2IP编码模式的情况下被选择，是表示实施滤波处理情况下的优先级与CPU运转率的组合的表格，设定在CPU的运转率小于70％、优先级为0-3的情况下，开关ON，在CPU的运转率大于70％小于80％、优先级仅为0、1和2的情况下，开关ON，在CPU的运转率大于80％、优先级仅为0和1的情况下，开关ON。
选择器1564根据由操作接收部1505指定的编码模式(IPB编码模式、新第1IP编码模式)，选择表格1561-1563之一。开关切换处理部1565参照由选择器1564选择的表格，根据对从优先顺序决定部1550输出的各优先级和图象取得的CPU运转率，输出开关ON或OFF信号，ON/OFF控制开关部1530的开关1531、1532。
具体而言，在指定IPB编码模式的情况下，选择器1564选择表格1561，开关切换处理部1565在CPU运转率小于70％的情况下，对所有I图象、P图象、B图象输出开关ON信号。另外，在CPU运转率大于70％小于80％的情况下，开关切换处理部1565仅在I图象和P图象的情况下输出开关ON信号。另外，在CPU运转率大于80％的情况下，开关切换处理部1565仅在I图象的情况下输出开关ON信号。
另外，在指定第1IP编码模式的情况下，选择器1564选择表格1562，开关切换处理部1565在CPU运转率小于70％的情况下，对所有I图象、P图象(有可能性)、P图象(无可能性)输出开关ON信号。另外，在CPU运转率大于70％小于80％的情况下，开关切换处理部1565仅在I图象和P图象(有可能性)的情况下输出开关ON信号。另外，在CPU运转率大于80％的情况下，开关切换处理部1565仅在I图象的情况下输出开关ON信号。
并且，在指定第2IP编码模式的情况下，选择器1564选择表格1563，开关切换处理部1565对所有I图象、P图象(基本)、P图象(有可能性)、P图象(无可能性)输出开关ON信号。另外，在CPU运转率大于70％小于80％的情况下，开关切换处理部1565仅在I图象、P图象(基本)、P图象(有可能性)的情况下输出开关ON信号。另外，在CPU运转率大于80％的情况下，开关切换处理部1565仅在I图象、P图象(基本)的情况下输出开关ON信号。
接着，说明如此构成的图像编码装置1500的动作。
在将帧图像作为I图象进行编码的画面内编码模式时，通过正交变换部1513的正交变换将从前处理部1510输出的帧图像压缩编码成频率分量，通过量化部1514的量化压缩编码成量化值。该量化值可通过可变长度编码部1517的可变长度编码进行可变长度压缩编码，通过后处理部1520变换为I图象的位流编码信号，存储在硬盘等存储媒体中。
另一方面，从量化部1514输出的量化值由逆量化部1521的逆正交变换解码成频率分量，由逆正交变换部1522的逆正交变换解码成帧图像。解码后的帧图像(解码图像)在控制开关1531、1532通过滤波处理控制部1560的控制ON的情况下，由象素间滤波器1540实施去除块失真的滤波处理后，存储在图像存储器1541中，在OFF开关1531、1532的情况下，不实施滤波处理，存储在图像存储器1541中。
另外，在将帧图像作为P图象及B图象进行编码的画面间编码模式时，由运动检测部1542生成运动矢量，由运动补偿部1543生成运动补偿图像(预测图像)，由减法部1512生成运动补偿误差(差分图像)。运动检测部1542根据前方或后方的1个或多个参考图像，检索图像存储器1541中存储的解码图像中与从前处理部1510输出的帧图像的差分最小的预测图像。
图17是表示存储在图像存储器1541中的帧图像的参照关系的图。尤其是，图17(a)是表示IPB方式情况预测中的参考图像的图，图17(b)是表示第1IP方式情况预测中的参考图像的图，图17(c)是表示第2IP方式情况预测中的参考图像的图。在各方式的各图象下栏中示出对应于该图象的优先顺序(优先级)。
在图17(a)的IPB方式情况的P图象预测中，可参照前方的I图象及P图象。在B图象的预测中，可参照前方的I图象或P图象，同时，可参照1个后方时间上最近的I图象或P图象。
在H.26L的B图象预测中，除I图象、P图象外，也可将B图象作为前方图像来参照。在将B图象用作参考图像的模式情况下，在向B图象的帧图像附加[有可能性]或[无可能性]的信息的同时，向图象种类附加[有可能性]或[无可能性]的信息。另外，在该模式中，必需将附加有参照可能性信息的B图象解码图像存储在图像存储器1541中，不必将附加无参照可能性信息的B图象解码图像存储在图像存储器1541中。
在图17(b)的第1IP方式情况中的P(有参照可能性)图象的预测中，可参照前方的I图象及P(有参照可能性)图象。在P(无参照可能性)图象的预测中，可参照前方的I图象或P(有参照可能性)图象。
在图17(c)的第2IP方式情况中的P(基本)图象的预测中，可参照前方的I图象及P(基本)图象。在P(有参照可能性)图象的预测中，可参照前方的I图象或P(基本)图象。在P(无参照可能性)图象的预测中，可参照多个前方的I图象、P(基本)图象或P(有参照可能性)图象。
为了说明方便，说明指定IPB编码模式的情况。
在这种限制下，运动检测部1542输出检索的参考图像与从前处理部1510输出的帧图像的差分象素的运动量，作为运动矢量，同时，输出表示参考图像是前方图像、后方图像或是双向图像平均值的块预测种类。运动补偿部1543对差分象素执行由从运动检测部1542输出的运动矢量和块预测种类表示的运算，生成运动补偿图像。减法部1512通过将从前处理部1510输出的帧图像与由运动补偿部1543生成的运动补偿图像相减，生成运动补偿误差(差分图像)。
从减法部1512输出的运动补偿误差(差分图像)通过正交变换部1513的正交变换，压缩编码成频率分量，通过量化部1514的量化压缩编码成量化值。该量化值可通过可变长度编码部1517的可变长度编码进行可变长度压缩编码，通过后处理部1520，与运动矢量等一起变换为P图象或B图象的位流编码信号，存储在硬盘等存储媒体中。
另一方面，从量化部1514输出的具有参照可能性的P图象或B图象的量化值由逆量化部1521的逆正交变换解码成频率分量，由逆正交变换部1522的逆正交变换解码成运动补偿误差(差分图像)。通过由加法部1524将运动补偿误差(差分图像)与运动补偿图像相加，解码成帧图像。解码后的帧图像(解码图像)在控制开关1531、1532通过滤波处理控制部1560的控制ON的情况下，由象素间滤波器1540实施去除块失真的滤波处理后，存储在图像存储器1541中，在OFF开关1531、1532的情况下，不实施滤波处理，存储在图像存储器1541中。
这里，详细说明滤波处理控制部1560的开关1531、1532的ON/OFF控制。
图18是表示滤波处理控制部1560的开关切换处理部1565执行的开关驱动处理的流程图。
可是，优先顺序决定部1550的决定处理部1555参照由选择器1554选择的表格1551，对从前处理部1510输出的每个图象决定对应于图象种类的优先级，输出决定的优先级。具体而言，在指定IPB编码模式的情况下，选择器1554选择表格1551，决定处理部1555在每次从前处理部1510输出图象种类时，在I图象的情况下，输出优先级
，在P图象的情况下，输出优先级[1]，在B图象的情况下，输出优先级[2]。
滤波处理控制部1560的开关切换处理部1565在每次图象编码时取得该图象的优先级和图像编码装置1500具备的CPU运转率(S21)，决定表格(图16的实例中为表格1561)参照的入口(entry)(S22)。
具体而言，若CPU运转率小于70％，则将参照的入口决定为第1行，若CPU运转率大于70％小于80％，则将参照的入口决定为第2行，若CPU运转率大于80％，则将参照的入口决定为第3行。
若决定结束参照入口，则开关切换处理部1565读取该入口的右栏(S23)，判断对解码图像的图象种类设定的优先级是否在右栏(S24)。若在右栏(S24为是)，则开关切换处理部1565向开关1531、1532输出开关接通的信号(S25)。从而对解码图像实施滤波处理，将实施了滤波处理的解码图像存储在图像存储器1541中。
相反，若不在右栏(S24为否)，则开关切换处理部1565向开关1531、1532输出开关断开的信号(S26)。从而跳过对解码图像的滤波处理，不实施滤波处理，将解码图像存储在图像存储器1541中。
对每个图象执行这种控制，将实施了滤波处理的解码图像和未实施滤波处理的解码图像依次存储在图像存储器1541中。因此，在图像编码中，通常不需要噪声去除等象素间滤波器，必要时可选择地附加象素间滤波器，例如，通过仅向对画质影响大的帧图像附加象素间滤波器，即使是处理能力小的图像编码装置，也能维持图像存储器中存储的重要帧的画质，在图像存储器中存储的解码图像中积累的块失真变少，运动补偿部的预测效率提高，与MPEG技术相比，还可减少画质恶化，以低的位速率得到高的画质改善效果。
即，因为优先向对其它帧图像具有大的影响度的帧图像、即画面内编码帧图像、前向预测编码帧图像、基本层的帧图像等实施象素间滤波，所以对相同处理负载的增大，可更有效地得到象素间滤波器的噪声去除等画质改善效果。
因为可控制滤波处理的ON/OFF，以充分发挥图像编码装置的处理能力，所以可以高效率使用CPU，即使是相同的硬件资源，也可实现高画质的编码。
(实施例4)接着，说明根据本发明实施例的图像解码装置。图19是表示根据本发明实施例4的图像解码装置1600的功能结构框图。
图像解码装置1600解码由图14所示图像编码装置1500编码的编码信号，由具有CPU、存储器、安装图像解码用程序的硬盘(HD)等的计算机装置实现，作为功能，具备前处理部1610、可变长度解码部1617、逆量化部1621、逆正交变换部1622、加法部1624、开关部1630、象素间滤波器1640、后处理部1670、图像存储器1641、运动补偿部1643、优先顺序决定部1650和滤波处理控制部1660。
前处理部1610具备暂时存储编码信号的缓冲器等，分离包含在编码信号中的图象种类、运动矢量、图像自身的编码信号后输出。另外，在图像的编码信号为第1IP编码模式的情况下，在向帧图像附加[有可能]或[无可能]的信息的同时，向图象种类附加[有可能]或[无可能]的信息。另外，在第2编码模式的情况下，向帧图像附加[基本]、[有可能]或[无可能]的信息的同时，向图象种类附加[基本]、[有可能]或[无可能]的信息。
可变长度解码部1617通过对从前处理部1610输出的编码信号进行解码(霍夫曼解码)，输出固定长度的量化值。逆量化部1621通过逆量化从可变长度解码部1617输出的量化值，解码频率分量。逆正交变换部1622通过逆正交变换由逆量化部1612解码的频率分量，在画面内编码模式时解码帧图像，在画面间编码模式时解码作为象素差分值的运动补偿误差(残差图像)。
加法部1624在画面内编码模式时原样输出由逆正交变换部1622解码的帧图像(解码图像)，在画面间编码模式时，通过将由逆正交变换部1622解码的运动补偿误差(残差图像)和由运动补偿部1643生成的运动补偿图像相加，解码帧图像。开关部1630由通过滤波处理控制部1660对每个图象的开关ON/OFF控制、同步切换开关形态的一对开关1631、1632构成，将象素间滤波器1640组装环内，或离开环，即，跳过象素间滤波器1640的处理。
象素间滤波器1640在开关1631、1632ON时，对从加法部1624输出的解码图像，以块单位执行空间低通滤波处理，生成没有块失真等的解码图像。例如，算出某个象素、其周围象素与平均值，若某个象素与周围象素的差在规定范围内，则一个一个地对块交界附近的象素执行将该某个象素置换成算出的平均值的处理。
后处理部1670具有格式变换部，格式变换为规定空间分辨率；和画面顺序恢复部，将与图象种类一致后重新排列的画面恢复为原始顺序，等，将解码图像输出到监视器等。图像存储器1641以多个帧大小存储从开关部1630输出的具有参照可能性的解码图像。运动补偿部1643对图像存储器1641中存储的解码图像执行由从前处理部1610输出的运动矢量及块预测种类表示的运算，生成运动补偿图像。优先顺序决定部1650与图15所示的优先顺序决定部1550结构相同，对应于从前处理部1610输出的图象种类、基本层、增强层，输出该图象的优先级。滤波处理控制部1660与图16所示滤波处理控制部1560的结构相同，对应于从优先顺序决定部1650输出的优先级或通过监视得到的CPU运转率，ON/OFF控制开关部1630的开关1631、1632。
接着，说明如此构成的图像解码装置1600的动作。与图像编码装置1500一致，为了说明方便，说明指定IPB编码模式的情况。
在将I图象的编码信号解码成帧图像的画面内编码模式时，通过可变长度解码部1617可变长度解码从前处理部1610输出的编码信号，解码成量化值，通过逆量化部1621的逆正交变换，扩展解码成频率分量，通过逆正交变换部1622的逆正交变换解码成帧图像(解码图像)。解码后的帧图像(解码图像)在开关1631、1632通过滤波处理控制部1660的控制ON的情况下，由象素间滤波器1640实施去除块失真的滤波处理后，存储在图像存储器1641中，同时，后处理部1670将图像的顺序恢复为原始顺序，进行格式变换，输出到监视器等。相反，在OFF开关1631、1632的情况下，解码图像不实施滤波处理就存储在图像存储器1641中，同时，后处理部1670将图像的顺序恢复为原始顺序，进行格式变换，输出到监视器等。
另外，在将P图象及B图象的编码信号解码成帧图像的画面间编码模式时，由可变长度解码部1617可变长度解码从前处理部1610输出的编码信号，解码成量化值，通过逆量化部1621的逆正交变换，扩展解码成频率分量，通过逆正交变换部1622的逆正交变换，解码成运动补偿误差(差分图像)。
另一方面，通过运动补偿部1643生成运动补偿图像(预测图像)。运动补偿部1643对从图像存储器1641中读取的参考图像的差分象素执行由从前处理部1610输出的运动矢量和块预测种类表示的运算，生成运动补偿图像。
通过由加法部1624将运动补偿误差(差分图像)与运动补偿图像相加，解码成帧图像。解码后的帧图像(解码图像)在开关1631、1632通过滤波处理控制部1660的控制ON的情况下，由象素间滤波器1640实施去除块失真的滤波处理后，后处理部1670将图像的顺序恢复为原始顺序，进行格式变换，输出到监视器等，同时，将具有参照可能性的解码图像存储在图像存储器1641中。相反，在OFF开关1631、1632的情况下，不实施滤波处理，后处理部1670将图像的顺序恢复为原始顺序，进行格式变换，输出到监视器等，同时，将具有参照可能性的解码图像存储在图像存储器1641中。这里，与图像编码装置1500的开关1531、1532的情况一样，由滤波处理控制部1660来ON/OFF控制开关1631、1632。
即，滤波处理控制部1660的开关切换处理部在每次图象编码时取得该图象的优先级和图像解码装置1600具备的CPU运转率，决定IPB编码模式用表格参照的入口，读取该入口的右栏，判断对解码图像的图象种类设定的优先级是否在右栏。若在右栏，则滤波处理控制部1660的开关切换处理部向开关1631、1632输出开关接通的信号。从而对解码图像实施滤波处理，将实施了滤波处理的解码图像存储在图像存储器1641中。相反，若不在右栏，则滤波处理控制部1660的开关切换处理部向开关1631、1632输出开关断开的信号。从而跳过对解码图像的滤波处理，不实施滤波处理，将解码图像存储在图像存储器1641中。
对每个图象执行这种控制，将实施了滤波处理的解码图像和未实施滤波处理的解码图像依次存储在图像存储器1641中。
因此，在图像解码中，通常不需要噪声去除等象素间滤波器，必要时可选择地附加象素间滤波器，例如，通过仅向对画质影响大的帧图像附加象素间滤波器，即使是处理能力小的图像编码装置，也能维持图像存储器中存储的重要帧的画质，在图像存储器中存储的解码图像中积累的块失真变少，运动补偿部的预测效率提高，与MPEG技术相比，还可减少画质恶化，以低的位速率得到高的画质改善效果。
即，因为优先向对其它帧图像具有大的影响度的帧图像、即画面内编码帧图像、前向预测编码帧图像、基本层帧图像等实施象素间滤波，所以对相同处理负载的增大，可更有效地得到象素间滤波器的噪声去除等画质改善效果。
因为可控制滤波处理的ON/OFF，以充分发挥图像解码装置的处理能力，所以可以高效率使用CPU，即使是相同的硬件资源，也可实现高画质的编码。
本发明不仅可实现为这种图像编码装置和图像解码装置，而且还可实现将这些装置具备的特征部作为频率的图像编码方法和图像解码方法，或实现为在计算机中执行这些步骤的程序。另外，不用说，该程序可通过CD-ROM等记录媒体或因特网等传输媒体进行流通。
(实施例5)通过将实现上述各实施例中所示图像编码方法或图像解码方法结构的程序记录在软盘等记录媒体中，可在独立计算机系统中简单实施上述各实施例中所示处理。
图20是使用存储上述实施例1到实施例2的图像编码方法或图像解码方法的软盘，由计算机系统进行实施的情况说明图。
图20(b)表示从软件正面看到的外观、截面结构及软盘，图20(a)表示作为记录媒体主体的软盘的物理格式的实例。软盘FD内置于壳体F内，在该盘表面从外周向内周以同心圆状形成多个轨道Tr，将各轨道沿角度方向分割成16个扇区Se。因此，在存储上述程序的软盘中，在上述软盘FD上分配的区域中，记录作为上述程序的图像编码方法。
另外，图20(c)表示在软盘FD上执行上述程序的记录再现用的结构。在软盘FD上记录上述程序的情况下，从计算机系统Cs经软盘驱动器写入作为上述程序的图像编码方法或图像解码方法。另外，在通过软盘内的程序将上述图像编码方法构筑在计算机系统中的情况下，由软盘驱动器从软盘中读取程序，传输到计算机系统。
在上述说明中，说明将软盘用作记录媒体，但即使使用光盘也可一样执行。另外，记录媒体不限于此，若是IC卡、ROM盒等可记录程序的媒体也可同样实施。
图21至图24是说明执行上述实施例中所示编码处理或解码处理的设备和使用该设备的系统的图。
图21是表示实现内容配送服务的内容提供系统ex100的整体结构框图。将通信服务的提供区域分割成期望大小，在各小区内分别设置作为固定无线站的基站ex107-ex110。该内容提供系统ex100例如经因特网服务提供商ex102和电话网ex104，将计算机ex111、PDA(personal digital assistant)ex112、摄像机ex113、便携电话ex114连接于因特网ex101上。但是，内容提供系统ex100不限于图21的组合，也可以是任意组合后连接。另外，也可不通过作为固定无线站的基站ex107-ex110而直接连接在电话网ex104上。
摄像机ex113是数字视频摄像机等可动画摄像的设备。另外，便携电话是PDC(Personal Digital Communications)方式、CDMA(Code Division MultipleAccess)方式、W-CDMA(Wideband-Code Division Multiple Access)方式或GSM(Global System for Mobile Communications)方式的便携电话机，或PHS(Personal Handyphone System)等，任一个都无妨。
从摄像机ex113经基站ex109、电话网ex104连接流动服务器(ストリ一ミングサ一バ)ex103，使用摄像机ex113可进行基于用户发送的编码处理数据的实况配送等。可由摄像机ex113来执行摄像数据的编码处理，也可由进行数据发送处理的服务器等来执行。由摄像机116拍摄的动画数据也可经计算机ex111发送到流动服务器ex103。摄像机ex116是数字摄像机等可拍摄静止画面、动画的设备。此时，既可由摄像机ex116也可由计算机ex111任一来执行动画数据的编码。另外，在计算机ex111或摄像机ex116具有的LSIex117中处理编码处理。也可将图像编码、解码用软件组装作为计算机ex111等中读取记录媒体的任一存储媒体(CD-ROM、软盘、硬盘等)中。另外，也可由带摄像机的便携电话ex115来发送动画数据。此时的动画数据是由便携电话115具有的LSI编码处理的数据。
图22是表示便携电话ex115一例的图。便携电话ex115具有与基站ex110之间收发信电波用的天线ex201、CCD摄像机等可拍摄电影、静止画面的摄像部ex203、显示解码由摄像部203拍摄的电影、由天线ex201接收的电影等的数据的液晶显示器等显示部ex202、由操作键组构成的主体部ex204、进行声音输出用的扬声器等声音输出部ex208、进行声音输入用的麦克风等声音输入部ex205、保持拍摄的动画或静止画面数据、接收到的邮件数据、动画数据或静止画面数据等编码数据或解码数据的存储媒体ex207、可将存储媒体ex207安装在便携电话ex115上的插槽部ex206。存储媒体ex207为SD卡等在塑料壳体内容纳作为可电改写或擦除的非易失性存储器EEPROM(Electrically Erasable andProgrammable Read Only Memory)的一种的闪存元件的媒体。
在内容提供系统ex100中，与上述实施例一样编码处理用户用摄像机ex113、摄像机ex116等拍摄的内容(例如拍摄音乐现场的电影等)，发送给流动服务器ex103，另一方面，流动服务器ex103对有要求的客户机流配送上述内容数据。作为客户机，有可解码上述编码处理后的数据的计算机ex111、PDAex112、摄像机113ex、便携电话ex114等。由此，内容提供系统ex100是如下系统可在客户机接收编码后的数据并再现，并在客户机实时接收后进行解码并再现，从而也可实现个人播放。
用图23来说明便携电话ex115。便携电话ex115对于统一控制显示部ex202和主体部ex204各部的主控制部ex311，通过同步总线ex313来彼此连接电源电路部ex310、操作输入控制部ex304、图像编码部ex312、摄像机接口部ex303、LCD(Liquid Crystal Display)控制部ex302、图像解码部ex309、复用分离部ex308、记录再现部ex307、解调电路部ex306及声音处理部ex305。电源电路部ex310若由于用户操作而结束通话及电源键变为接通状态时，通过从电池组向各部供电，启动带摄像机的数字便携电话ex115为可动作状态。便携电话ex115根据由CPU、ROM和RAM等构成的主控制部ex311的控制，在声音通话模式时，通过声音处理部ex305将由声音输入部ex205音响共鸣的声音数据变换为数字声音数据，由解调电路部ex306进行频谱扩展处理，由收发信电路部ex301实施数字模拟变换处理及变频处理后，经天线ex201发送。另外，便携电话机ex115放大声音通话模式时由天线ex201接收的接收数据，实施变频处理及模拟数据变换处理，由解调电路部ex306进行频谱逆扩展处理，由声音处理部ex305变换为模拟声音数据后，经声音输出部208输出。并且，在数据通信模式时发送电子邮件的情况下，将通过主体部ex204的操作键操作输入的电子邮件的文本数据经操作输入控制部ex304送出到主控制部ex311。主控制部ex311在解调电路部ex306频谱扩展处理文本数据，在收发信电路部ex301实施数字模拟变换处理及变频处理后，经天线ex201发送给基站ex110。
在数据通信模式时发送图像数据的情况下，将摄像部ex203拍摄的图像数据经摄像机接口部ex303提供给图像编码部ex312。另外，在不发送图像数据的情况下，也可将由摄像部ex203拍摄的图像数据经摄像机接口部ex303和LCD控制部ex302直接显示在显示部ex202上。
图像编码部ex312通过上述实施例中示出的编码方法进行压缩编码，将从摄像部ex203提供的图像数据变换为编码图像数据，并将其发送给复用分离部ex308。另外，与此同时，便携电话机ex115经声音处理部ex305，将摄像部ex203在拍摄中由声音输入部ex205音响共鸣的声音作为数字声音数据发送给复用分离部ex308。
复用分离部ex308按规定方式复用从图像编码部ex312提供的编码图像数据和从声音处理部ex305提供的声音数据，由解调电路部ex306频谱扩展处理结果得到的复用数据，在实施数字模拟变换处理及变频处理后，由收发信电路部ex301经天线ex201进行发送。
在数据通信模式时，在接收链接主页等的动态图像文件的数据情况下，由解调电路部ex306频谱逆扩展处理经天线ex201从基站ex110接收到的接收数据，将结果得到的复用数据发送给复用分离部ex308。
在解码经天线ex201接收到的复用数据中，复用分离部ex308通过分离复用数据而分成编码图像数据和声音数据，经同步总线ex313将该编码图像数据提供给图像解码部ex309，同时，将该声音数据提供给声音处理部ex305。
接着，图像解码部ex309通过由对应于上述实施例所示编码方法的解码方法解码编码图像数据，生成再现动态图像数据，经LCD控制部ex302提供给显示部ex202，从而，显示例如包含在链接在主页上的动态图像文件中的动画数据。与此同时，声音处理部ex305将声音数据变换为模拟声音数据后，提供给声音输出部ex208，从而，再现例如包含在链接在主页上的动态图像文件中的声音数据。
另外，不限于上述系统实例，最近，卫星、地面波的数字播放成为话题，如图24所示，也可在数字播放用系统中组装上述实施例的至少编码方法或解码方法之一。具体而言，播放站ex409经电波将电影信息的编码位流传送给通信或播放卫星ex410。接收到位流的播放卫星ex410发送播放用电波，具有卫星播放接收设备的家庭天线ex406接收该电波，通过电视(接收机)ex401或机顶盒(STB)ex407等装置解码编码位流，对其进行再现。另外，读取记录在作为记录媒体的CD或DVD等存储媒体ex402中的编码位流，在编码的再现装置ex403中也可安装上述实施例中所示图像解码装置。此时，在监视器ex404中显示再现的电影信号。另外，还考虑如下结构在与有线电视用电缆ex405或卫星/地面波播放天线ex406连接的机顶盒ex407内安装图像解码装置，由电视的监视器ex408来再现。此时也可不是机顶盒，而在电视内组装图像解码装置。另外，也可以由具有天线ex411的车ex412来从卫星ex410或从基站ex107接收信号，在车ex412具有的汽车导航系统ex413等的显示装置中再现动画。
另外，也可由上述实施例所示图像编码装置来编码图像信号，并记录在记录媒体中。作为具体例，有将图像信号记录在DVD盘ex421上的DVD记录器、和记录在硬盘中的盘式记录器等记录器ex420。还可记录在SD卡ex422中。若记录器ex420具有上述实施例所示图像解码装置，则可再现DVD盘ex421或SD卡ex422中记录的图像信号，并显示在监视器ex408中。
汽车导航系统ex413的结构虽与例如图23所示便携电话ex115一样，但考虑从图23所示结构中去除摄像部ex203和摄像机接口部ex303、图像编码部ex312的结构。同样还可考虑计算机ex111或电视(接收机)ex401等。
另外，上述便携电话ex114的终端除具有编码器、解码器两者的收发信型终端外，考虑仅编码器的发送终端、仅解码器的接收终端的三种安装形式。
因此，通过本说明书中示出的编码方法、解码方法，可实现本实施例所示任一装置、系统。
产业上的可利用性根据本发明的图像编码装置用作具备通信功能的个人计算机、PDA和便携电话等中具备的图像编码装置。
根据本发明的图像解码装置用作具备通信功能的个人计算机、PDA和便携电话等中具备的图像解码装置。
权利要求
1.一种用于编码图像的方法，所述方法包括在使用或不使用预测图像的情况下对输入图像进行编码以获得编码数据，其中所述预测图像是通过参照参考图像产生的；解码所述编码数据以获得解码图像，其特征在于根据表明在所述编码步骤中是否使用所述预测图像的信息，使用滤波器特性来对所述解码图像进行滤波；和存储经过滤波的解码图像，以用作参考图像来编码后续输入图像。
2.如权利要求1所述的编码方法，其中关于所述预测图像的使用的信息包括切片编码类型和图像编码类型中的至少一种，所述切片编码类型表明对每个切片是在使用所述预测图像的情况下进行编码还是在不使用所述预测图像的情况下进行编码，所述图像编码类型表明对每个图像是在使用所述预测图像的情况下进行编码还是在不使用所述预测图像的情况下进行编码。
3.如权利要求1所述的编码方法，其中关于所述预测图像的使用的信息包括宏块编码类型和块编码类型中的至少一种，所述宏块编码类型表明对每个宏块是在使用所述预测图像的情况下进行编码还是在不使用所述预测图像的情况下进行编码，所述块编码类型表明对每个块是在使用所述预测图像的情况下进行编码还是在不使用所述预测图像的情况下进行编码。
4.如权利要求1所述的编码方法，其中使用所述预测图像对所述输入图像进行的编码是预测编码和双预测编码中的至少一种。
5.如权利要求1所述的编码方法其中关于所述预测图像的使用的信息被存储在切片头中，并且与所述编码数据一起作为比特流输出，以及其中针对每个切片，根据所述信息对所述解码图像进行滤波。
6.如权利要求1所述的编码方法其中关于所述预测图像的使用的信息被存储在图像头中，并且与所述编码数据一起作为比特流输出，以及其中针对每个图像，根据所述信息对所述解码图像进行滤波。
7.如权利要求1所述的编码方法其中在不使用所述预测图像的情况下对所述输入图像进行编码时执行的滤波的平滑度高于在使用所述预测图像的情况下对所述输入图像进行编码时执行的滤波的平滑度。
全文摘要
本发明的图像编码方法和图像解码方法，图像编码装置(300)编码表示输入图像的图像数据(Img)、与表示对上述输入图像的预测图像的预测图像数据(Pred)的差分，生成编码图像数据，其中，具备图像解码部(104)，在编码图像数据(Img)后，进行解码；象素间滤波器A、B(303、304)，对由图像解码部(104)得到的解码图像数据(Recon)实施象素间滤波运算；开关(301、302)，选择上述象素间滤波器之一；和图象间预测部(108)，将由选择的象素间滤波器得到的完成滤波解码图像数据(FilteredImg)用作参考图像数据(Ref)，生成相对输入图像数据(Img)的预测图像数据(Pred)。
文档编号H04N7/34GK1968413SQ200610099798
公开日2007年5月23日 申请日期2002年9月11日 优先权日2001年9月12日
发明者羽饲诚, 角野真也 申请人:松下电器产业株式会社