专利名称：运动图像再现方法、装置以及程序的制作方法
技术领域：
本发明涉及在将编码的动画数据通过传输通路分发，特别是通过窄带的移动网络或互联网进行传输的情况下，适于在接收侧提高运动图像的再现品质的方法、装置以及程序。
背景技术：
作为将运动图像信号压缩编码后以窄的带域高效率地进行传输的方法，例如公知有ITU-T(International Telecommunication UnionTelecommunication Standardization Sector国际电信联盟电信标准化部)标准H.263和H.264、或者由ISO(International Organization of Standardization国际标准化组织)/IEC(International Electrotechnical Commission国际电工委员会)标准化了的MPEG(Moving Picture Experts Group运动图象专家组)-4等。
另外，已知有即使在实施跳帧处理从而仅显示一部分图像数据的情况下，也能够传递与原运动图像数据所具有的运动相关的信息，从而能够进行动感显示的方法和装置(例如参照专利文献1)。在专利文献1中，运动生成部根据构成图像数据的每一像素的与图像数据对应的运动向量，进行使用多个像素所具有的像素值的加权加法，从而生成实施了运动生成/赋予处理的图像数据。另外，还已知有这样的运动图像解码方法，通过所述方法，即使在由于通信线路的传输速率或压缩运动图像数据的数据量大而一个画面的图像的编码需要花费较长时间的情况下，也能够消除再现运动图像的运动不流畅(例如参照专利文献2)。在专利文献2中，运动补偿电路生成运动插值矢量数据，并使得从帧存储器读出的图像数据按每一帧根据各个运动插值矢量数据顺次移位，同时写入显示存储器中，所述运动插值矢量数据是将各个宏块的运动矢量n等分而得的基准运动矢量数据的m倍。另外，还已知有能够在接收侧正确再现缺失的帧的运动图像压缩装置(例如参照专利文献3)。在专利文献3中，动画内插部根据从相邻传输帧求得的运动矢量逼近运动曲线，并根据相邻传输帧之间的距离比来重构应内插的插值帧。另外还已知有下述的结构，即估计缺失的像素块的运动矢量，并通过用前帧的运动补偿的像素块来置换该像素块来使由于输入信号的错误而引起的图像品质的恶化不明显(例如参照专利文献4)。同样已知有下述的结构，即在传输通路中，为了减少发生传输错误时的解码图像的恶化，而从前帧或同一帧的周围插补解码图像或运动矢量的一部分(例如参照专利文献5)。另外，还已知有下述的结构，即根据运动矢量而在相邻传输帧之间重构适当的插值帧，并进行帧内插处理，由此在接收侧正确地重构缺失的帧(例如参照专利文献6)。
专利文献1日本专利文献特开2000-333131号公报(第6页、图1)；专利文献2日本专利文献特开平07-67114号公报(第3页、图1)；专利文献3日本专利文献特开平07-177514号公报(第3、5页、图1)；专利文献4日本专利文献特开平08-9386号公报(第3页、图1)；专利文献5日本专利文献特开平08-79742号公报(第3页、图1)；专利文献6日本专利文献特开平10-271508号公报(第2、3页、图1)。
发明内容
H.263、H.264、MPEG-4等压缩方式由于压缩率高而被公知。但是，当通过频带窄的移动传输通路(例如PDC(Personal digital Cellular个人数字蜂窝)便携式电话的28.8kbps传输通路，或者第三代(3GPP)便携式电话等的64kbps传输通路)或互联网等来进行动画内容的发布等时，由于传输通路的频带窄，因而需要大幅减少每秒的动画帧数(fps每秒的画面数)(例如在PDC中为2fps、在第三代(3GPP)中为5fps等)。
为此，在接收侧，特别是在运动较大的内容中，会出现信息缺失大，难以充分再现运动，从而再现品质大幅下降的问题。
因此，本发明的第一目的是提供一种运动图像再现方法、装置以及程序，其例如即使在移动传输通路或者互联网等中传输速率慢，不能确保充足的fps(每秒的动画帧数)的情况下，也能够在接收侧增大fps，充分再现运动，从而改善运动图像的品质。
另外，本发明的第二目的是提供一种运动图像再现方法、装置以及程序，其仅通过接收侧的处理就能够直接使用现有的编码器或压缩编码流，而不用在发送侧进行任何改动。
另外，本发明的第三目的是提供一种仅在接收侧追加很少的功能就能够减少接收侧的处理量的运动图像再现方法、装置以及程序。
为了达到上述目的，本申请中公开的发明大致具有如下构成本发明第一方面的装置包括解码部，接收将运动图像压缩编码了的比特流，并根据所述比特流来复原画面；特征参数提取部，从所述复原的画面中提取特征参数；以及图像复原部，使用在时间上为过去的特征参数或在时间上为将来的特征参数中的任一个或者二者来实施预先确定的处理，由此复原没有接收到的画面。
本发明第二方面的装置包括解码部，接收将运动图像压缩编码了的比特流，并从所述比特流中解码并输出至少一个特征参数，然后使用所述被解码的特征参数来复原画面；以及图像复原部，使用在时间上为过去的特征参数或在时间上为将来的特征参数中的任一个或者二者来实施预先确定的处理，由此复原没有接收到的画面。
本发明第三方面的装置包括解码部，接收将运动图像压缩编码了的比特流，并根据所述比特流来复原画面；以及图像复原部，将画面分割成预先确定了大小的小区间，在至少一个小区间从所述复原的画面中提取特征参数，并确定是否使用在时间上为过去的特征参数或在时间上为将来的特征参数中的任一个或者二者来实施预先确定的处理，然后在此基础上复原没有接收到的画面。
本发明第四方面的装置包括解码部，接收将运动图像压缩编码了的比特流，并从所述比特流中解码并输出至少一个特征参数，然后使用所述解码的特征参数来复原画面；以及图像复原部，将画面分割成预先确定了大小的小区间，并确定是否在至少一个小区间使用在时间上为过去的特征参数或在时间上为将来的特征参数中的任一个或者二者来实施预先确定的处理，然后在此基础上复原没有接收到的画面。
本发明第五方面的装置包括解码部，接收将运动图像压缩编码了的比特流，并根据所述比特流来复原画面；特征参数提取部，从所述复原的图像中提取特征参数；以及图像复原部，使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，然后在此基础上复原没有接收到的画面。
本发明第六方面的装置包括解码部，接收将运动图像压缩编码了的比特流，并从所述比特流中解码并输出至少一个特征参数，然后使用所述解码的特征参数来复原画面；以及图像复原部，使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，然后在此基础上复原没有接收到的画面。
本发明第七方面的装置包括解码部，接收将运动图像压缩编码了的比特流，并根据所述比特流来复原画面；以及图像复原部，将画面分割成预先确定了大小的小区间，在至少一个小区间从所述复原的画面中提取特征参数，并确定是否使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，并在此基础上复原没有接收到的画面。
本发明第八方面的装置包括解码部，接收将运动图像压缩编码了的比特流，并从所述比特流中解码并输出至少一个特征参数，然后使用所述被解码的特征参数来复原画面；以及图像复原部，将画面分割成预先确定了大小的小区间，并确定是否在至少一个小区间使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，然后在此基础上复原没有接收到的画面。
本发明第一方面的方法包括由解码部接收将运动图像压缩编码了的比特流，并根据所述比特流来复原画面的步骤；由特征参数提取部从所述解码部所复原的画面中提取特征参数的步骤；以及由图像复原部使用在时间上为过去的特征参数和/或在时间上为将来的特征参数来实施预先确定的处理，由此复原没有接收到的画面的步骤。
根据本发明，与上述第二至第八方面的装置发明相应地提供第二至第八方面的方法发明。另外，根据本发明，与上述各个方面的方法发明相应地提供在计算机或处理器中使所述处理步骤发挥功能的计算机程序。
根据本发明，接收被压缩编码的图像信息来复原画面，并从所述复原的画面或者所述复原过程中的图像信息中提取规定的特征参数，然后根据所述特征参数和所述复原的画面来复原与所述复原的画面不同的画面，由此可复原没有接收到的画面。
发明效果根据本发明，通过在接收侧使用规定的特定参数来复原没有接收到的图像，例如即使在移动传输通路或互联网等中传输速率慢，不能确保充足的帧数的情况下，也能够在接收侧增加图像帧数，从而能够充分表现运动。由此，能够改善运动图像的品质。
另外，根据本发明，由于仅通过接收侧的处理就能够达到上述目的，因而在发送侧可以不作任何改动。因此，根据本发明，可以直接使用现有的编码器和压缩编码流。
另外，根据本发明，由于仅在接收侧追加很少的功能即可，因此抑制了成本的增加，且接收侧的处理量也较小。
图1是本发明第一实施方式的结构示意图；图2是本发明第二实施方式的结构示意图；图3是本发明第三实施方式的结构示意图；图4是本发明第四实施方式的结构示意图；图5是本发明第五实施方式的结构示意图；图6是本发明第六实施方式的结构示意图；图7是本发明第七实施方式的结构示意图；图8是本发明第八实施方式的结构示意图。
标号说明200解码单元201接收缓冲器
202可变长度解码器203逆量化器204逆变换器205帧存储器206运动补偿预测器207加法器210特征参数提取部211帧存储器212、222、231运动图像复原器215、230插值器220小区间分割器221特征参数提取&判断器225小区间分割&判断器具体实施方式
下面参照附图来更为详细地说明本发明。图1是本发明第一实施方式的运动图像再现装置的结构示意图。参照图1，该运动图像再现装置包括解码单元200、特征参数提取器210、帧存储器211、以及运动图像复原器212。
解码单元200包括接收缓冲器201、可变长度解码器202、逆量化器203、逆变换器204、帧存储器205、运动补偿预测器206以及加法器207。
接收缓冲器201接收并临时存储将运动图像压缩编码了的比特流，之后将存储的接收编码比特流输出给可变长度解码器202。这里，在发送侧(图中未示出)进行运动图像的压缩编码，压缩编码所需的编码器例如可以使用ITU-T标准的H.261、H.263、H.264、或者ISO/IEC标准的MPEG-4、或者这些之外的运动图像压缩编码方式。
可变长度解码器202对从接收缓冲器201输出的接收编码比特流进行可变长度解码，并将被解码的量化变换系数输出给逆量化器203。
逆量化器203对从可变长度解码器202输出的量化变换系数进行逆量化运算，并将被逆量化的变换系数输出给逆变换器204。
逆变换器204对从逆量化器203输出的变换系数，作为一个示例，进行离散余弦逆变换(I-DCT；Inverse Discrete Cosine Transform)，并将变换后的运动图像信号输出给加法器207。
在本实施方式中，逆变换器204的逆变换采用了离散余弦逆变换，但也可以使用其它的变换(例如，在H.264的情况下使用逆整数变换)。
帧存储器205临时存储从加法器207输出的运动图像信号。
运动补偿预测器206使用从可变长度解码器202输出的特征参数对存储在帧存储器205中的运动图像信号进行运动补偿预测。运动补偿预测器206向加法器207输出作为进行运动补偿预测的结果而得的运动图像信号。
加法器207对从逆变换器204输出的运动图像信号和从运动补偿预测器206输出的运动图像信号进行加法运算。在加法器207中进行加法运算后的运动图像信号作为解码单元输出信号被输出到帧存储器205、帧存储器211以及特征参数提取器210中。
特征参数提取器210从解码单元输出的运动图像信号中至少提取一个特征参数，并将其输出给运动图像复原器212。这里，特征参数例如可以使用运动矢量。
运动图像复原器212输入在时间上为过去的特征参数或在时间上为将来的特征参数中的任一个，或者输入二者，并且，从帧存储器211输入在时间上为过去的图像或在时间上为将来的图像(解码图像)中的任一个，或者输入二者，然后与上述特征参数进行组合，实施预先确定的处理，由此再现没有接收到的运动图像帧，然后进行输出。作为预先确定的处理，例如可以使用利用运动矢量的运动补偿(Motion Compensation)帧间预测的处理。
根据本发明第一实施方式的方法的处理过程包括以下步骤。由于由步骤1、2、3的顺序序列来组成，因此没有图示流程图(后面的实施方式与之相同)。
步骤1解码单元200接收将运动图像压缩编码了的比特流，并从该比特流复原画面。
步骤2特征参数提取器210从解码单元200所复原的画面中提取特征参数。
步骤3运动图像复原器212使用在时间上为过去的特征参数和/或在时间上为将来的特征参数实施预先确定的处理(例如，利用运动矢量的运动补偿帧间预测)，由此来复原没有接收到的画面。
上述各个步骤可通过在构成运动图像再现装置的计算机(DSP(数字信号处理器)等处理器)上运行程序来实现其处理。后述的其它实施方式也一样。
下面说明本发明的第二实施方式。图2是本发明第二实施方式的结构示意图。在图2中，与图1相同或等同的元件被标以相同的参照标号。参照图2可知，本实施方式省略了特征参数提取器210。下面说明与图1所示的所述第一实施方式的不同之处。
参照图2，在本实施方式中，从可变长度解码器202的输出中提取特征参数，并输入到运动图像复原器212中。因此不需要在所述第一实施方式中设置的特征参数提取器210。
根据本发明第二实施方式的方法的处理过程包括以下步骤。
步骤1解码单元200接收将运动图像压缩编码了的比特流，并从所述比特流中解码并输出至少一个特征参数，然后使用所述被解码的特征参数来复原画面。
步骤2运动图像复原器212使用在时间上为过去的特征参数和/或在时间上为将来的特征参数来实施预先确定的处理(例如，利用运动矢量的运动补偿帧间预测)，由此来复原没有接收到的画面。
下面说明本发明的第三实施方式。图3是本发明第三实施方式的结构示意图。在图3中，与图1相同或等同的元件被标以相同的参照标号。在本实施方式中，在解码单元200(和图1的上述第一实施方式相同)和运动图像复原器222之间具有小区间分割器220和特征参数提取&判断器221。下面对不同之处进行说明，并适当省略与图1所示的第一实施方式相同部分的说明。
小区间分割器220将复原的画面分割成预先确定的小区间，并输出小区间的分界(demarcations)。小区间的大小例如可以采用宏块(MB)或宏块的整数倍大小。
特征参数提取&判断器221在至少一个小区间中提取特征参数，并输出给运动图像复原器222。特征参数例如可以使用运动矢量。
另外，特征参数提取&判断器221判断是否在至少一个小区间使用特征参数进行运动图像复原器222中的处理，并输出判断信号。例如，特征参数提取&判断器221判断小区间是运动区域还是静止区域，并将判断结果作为判断信号进行输出。
运动图像复原器222输入分割小区间的分界、至少一个小区间的判断信号、以及至少一个小区间的特征参数，并从帧存储器211输入过去的画面或将来的画面中的任一个，或者输入二者，然后根据输入的判断信号，在至少一个小区间进行预先确定的处理，从而复原没有接收到的画面。这里，预先确定的处理例如可以使用利用运动矢量的运动补偿帧间预测。
根据本发明第三实施方式的方法的处理过程包括以下步骤。
步骤1解码单元200接收将运动图像压缩编码了的比特流，并从该比特流复原画面。
步骤2小区间分割器220将画面分割成预先确定了大小的小区间。
步骤3特征参数提取&判断器221在至少一个小区间从所述复原的画面提取特征参数并输出给运动图像复原器222，并且，确定是否使用在时间上为过去的特征参数和/或在时间上为将来的特征参数在运动图像复原器222中实施预先确定的处理(例如，利用运动矢量的运动补偿帧间预测)，由此复原没有接收到的画面。
下面说明本发明的第四实施方式。图4是本发明第四实施方式的结构示意图。在图4中，与图1相同或等同的元件被标以相同的参照标号。在本实施方式中，在解码单元200(和图1所示的上述第一实施方式相同)和运动图像复原器222之间具有小区间分割&判断器225。下面对不同之处进行说明，并适当省略与图1、图3所示的第一、第三实施方式相同部分的说明。
小区间分割&判断器225将复原的画面分割成预先确定的小区间，并输出小区间的分界。小区间的大小例如可以采用宏块(MB)或宏块的整数倍大小。
另外，小区间分割&判断器225判断是否在至少一个小区间使用特征参数进行运动图像复原器222中的处理，并输出判断信号。例如，小区间分割&判断器225判断小区间是运动区域还是静止区域，并将判断结果作为判断信号进行输出。
根据本发明第四实施方式的方法的处理过程包括以下步骤。
步骤1解码单元200接收将运动图像压缩编码了的比特流，并从所述比特流中解码并输出至少一个特征参数，然后使用所述被解码的特征参数来复原画面。
步骤2小区间分割&判断器225将画面分割成预先确定了大小的小区间，并确定是否在至少一个小区间使用在时间上为过去的特征参数和/或在时间上为将来的特征参数在运动图像复原器222中实施预先确定的处理(例如，利用运动矢量的运动补偿帧间预测)。
步骤3运动图像复原器222输入分割小区间的分界、至少一个小区间的判断信号、至少一个小区间的特征参数，并从帧存储器211输入过去的画面或将来的画面中的任一个，或者输入两者，从而复原没有接收到的画面。
下面说明本发明的第五实施方式。图5是本发明第五实施方式的结构示意图。在图5中，与图1相同或等同的元件被标以相同的参照标号。在本实施方式中，在图1所示的上述第一实施方式的特征参数提取器210和运动图像复原器212之间具有插值器215。下面对不同之处进行说明，并适当省略与图1所示的第一实施方式相同部分的说明。
插值器215输入特征参数提取器210的输出，使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，并将插值后的特征参数输出给运动图像复原器212。特征参数例如可以使用运动矢量。运动图像复原器212使用作为来自插值器215的特征参数的运动矢量来进行运动补偿帧间预测，从而根据帧存储器211的过去和/或将来的画面来复原运动图像。
根据本发明第五实施方式的方法的处理过程包括以下步骤。
步骤1解码单元200接收将运动图像压缩编码了的比特流，并从该比特流复原画面。
步骤2特征参数提取器210从在解码单元200中解码的图像中提取特征参数。
步骤3插值器215使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，并将插值后的特征参数输出给运动图像复原器212。
步骤4运动图像复原器212输入插值器215的输出(被插值的特征参数)，并从帧存储器211中输入过去的画面或者将来的画面中的任一个，或者输入两者，复原没有接收到的画面。
下面说明本发明的第六实施方式。图6是本发明第六实施方式的结构示意图。在图6中，与图1相同或等同的元件被标以相同的参照标号。在本实施方式中，在图1所示的所述第一实施方式的解码单元200的可变长度解码器202和运动图像复原器212之间具有插值器215。下面对不同之处进行说明，并适当省略与图1、图5所示的第一、第五实施方式相同部分的说明。
在本实施方式中，插值器215从可变长度解码器202的输出中输入特征参数。因此，在本实施方式中不需要图5所示的特征参数提取器210。
根据本发明第六实施方式的方法的处理过程包括以下步骤。
步骤1解码单元200接收将运动图像压缩编码了的比特流，并从所述比特流解码并输出至少一个特征参数，然后使用所述被解码的特征参数来复原画面。
步骤2插值器215从解码单元200获取在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个，并使用特征参数在时间方向上进行插值，运动图像复原器212基于从插值器215输出的在时间方向上进行插值的特征参数来复原没有接收到的画面。
下面说明本发明的第七实施方式。图7是本发明第七实施方式的结构示意图。在图7中，与图1相同或等同的元件被标以相同的参照标号。在本实施方式中，在解码单元200和运动图像复原器231之间具有小区间分割器220、特征参数提取&判断器221、以及插值器230。下面对不同之处进行说明，并适当省略与图1、图3所示的第一、第三实施方式相同部分的说明。
小区间分割器220将复原的画面分割成预先确定的小区间，并输出小区间的分界。小区间的大小例如可以采用宏块(MB)或宏块的整数倍大小。
特征参数提取&判断器221在至少一个小区间提取特征参数，并输出给运动图像复原器231。作为特征参数例如可以使用运动矢量。
另外，特征参数提取&判断器221判断是否在至少一个小区间使用特征参数进行运动图像复原器222中的处理，并输出判断信号。例如，特征参数提取&判断器221判断小区间是运动区域还是静止区域，并将判断结果作为判断信号进行输出。
插值器230在至少一个小区间输入小区间的分界和特征参数判断信号，并根据判断信号，使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值。
运动图像复原器231输入分割小区间的分界、至少一个小区间的判断信号、以及至少一个小区间的插值器230的输出，并从帧存储器211输入过去的画面或者将来的画面中的任一个，或者输入二者，然后根据判断信号来在至少一个小区间进行预先确定的处理，从而复原没有接收到的画面。预先确定的处理例如可以使用运动补偿帧间预测。
根据本发明第七实施方式的方法的处理过程包括以下步骤。
步骤1解码单元200接收将运动图像压缩编码了的比特流，并从该比特流复原画面。
步骤2小区间分割器220将画面分割成预先确定了大小的小区间。
步骤3特征参数提取&判断器221在至少一个小区间从所述复原的画面提取特征参数，并确定是否使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值。
步骤4运动图像复原器231输入分割小区间的分界、至少一个小区间的判断信号、至少一个小区间的插值器230的输出，然后复原没有接收到的画面。
下面说明本发明的第八实施方式。图8是本发明第八实施方式的结构示意图。在图8中，与图7相同或等同的元件被标以相同的参照标号。在本实施方式中，在解码单元200和运动图像复原器231之间具有小区间分割&判断器225和插值器230。下面对不同之处进行说明，并适当省略与图1、图7所示的第一、第七实施方式相同部分的说明。
小区间分割&判断器225将复原的画面分割成预先确定的小区间，并输出小区间的分界。小区间的大小例如可以使用宏块(MB)或宏块的整数倍大小。
另外，小区间分割&判断器225判断是否在至少一个小区间使用特征参数进行运动图像复原器222中的处理，并输出判断信号。作为判断的一个示例，判断小区间是运动区域还是静止区域，并将判断结果作为判断信号进行输出。
由于插值器230从可变长度解码器202的输出中输入特征参数，因此不需要图7所示的第七实施方式的特征参数提取&判断器221。
根据本发明第八实施方式的方法的处理过程包括以下步骤。
步骤1解码单元200接收将运动图像压缩编码了的比特流，并从所述比特流中解码并输出至少一个特征参数，然后使用所述被解码的特征参数来复原画面。
步骤2小区间分割&判断器225将画面分割成预先确定了大小的小区间，并确定是否在至少一个小区间使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值。
步骤3运动图像复原器231使用分割小区间的分界、至少一个小区间的判断信号、以及来自解码单元200的过去的特征参数和将来的特征参数中的至少一个来复原没有接收到的画面。
以上基于上述各个实施方式对本发明进行了说明，但本发明不限于上述各实施方式的结构，包括基于本发明原理的各种变形和修改是显然的。
权利要求
1.一种运动图像再现装置，其特征在于，包括解码部，接收将运动图像压缩编码了的比特流，并根据所述比特流来复原画面；特征参数提取部，从所述复原的画面提取特征参数；以及图像复原部，使用在时间上为过去的特征参数和/或在时间上为将来的特征参数实施预先确定的处理，由此复原没有接收到的画面。
2.一种运动图像再现装置，其特征在于，包括解码部，接收将运动图像压缩编码了的比特流，从所述比特流中解码并输出至少一个特征参数，并使用所述被解码的特征参数复原画面；和图像复原部，使用在时间上为过去的特征参数和/或在时间上为将来的特征参数实施预先确定的处理，由此复原没有接收到的画面。
3.一种运动图像再现装置，其特征在于，包括解码部，接收将运动图像压缩编码了的比特流，并根据所述比特流来复原画面；和图像复原部，将画面分割成预先确定了大小的小区间，在至少一个小区间从所述被复原的画面中提取特征参数，并确定是否使用在时间上为过去的特征参数和/或在时间上为将来的特征参数实施预先确定的处理，然后复原没有接收到的画面。
4.一种运动图像再现装置，其特征在于，包括解码部，接收将运动图像压缩编码了的比特流，从所述比特流中解码并输出至少一个特征参数，并使用所述被解码的特征参数复原画面；和图像复原部，将画面分割成预先确定了大小的小区间，并确定是否在至少一个小区间使用在时间上为过去的特征参数和/或在时间上为将来的特征参数实施预先确定的处理，然后复原没有接收到的画面。
5.一种运动图像再现装置，其特征在于，包括解码部，接收将运动图像压缩编码了的比特流，并根据所述比特流来复原画面；特征参数提取部，从所述被复原的图像提取特征参数；以及图像复原部，使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，然后复原没有接收到的画面。
6.一种运动图像再现装置，其特征在于，包括解码部，接收将运动图像压缩编码了的比特流，从所述比特流中解码并输出至少一个特征参数，并使用所述被解码的特征参数复原画面；和图像复原部，使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，然后复原没有接收到的画面。
7.一种运动图像再现装置，其特征在于，包括解码部，接收将运动图像压缩编码了的比特流，并根据所述比特流来复原画面；和图像复原部，将画面分割成预先确定了大小的小区间，在至少一个小区间从所述被复原的画面中提取特征参数，并确定是否使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，然后复原没有接收到的画面。
8.一种运动图像再现装置，其特征在于，包括解码部，接收将运动图像压缩编码了的比特流，从所述比特流中解码并输出至少一个特征参数，并使用所述被解码的特征参数复原画面；和图像复原部，将画面分割成预先确定了大小的小区间，并确定是否在至少一个小区间使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，然后复原没有接收到的画面。
9.一种运动图像再现装置，其特征在于，包括解码单元，其包括解码器，接收并解码将运动图像压缩编码了的比特流，并输出量化变换系数；逆量化器，对从所述解码器输出的量化变换系数进行逆量化运算；逆变换器，对在所述逆量化器中逆量化的变换系数进行与编码侧的变换相反的变换；加法器，在一个输入端中输入在所述逆变换器中变换的运动图像信号；以及运动补偿预测器，使用从所述解码器输出的特征参数对从所述加法器输出的运动图像信号进行运动补偿预测，并将获得的运动图像信号提供给所述加法器的另一输入端，所述解码单元将在所述加法器中相加从所述逆变换器输出的运动图像信号和从所述运动补偿预测器输出的运动图像信号而得的运动图像信号作为解码单元输出信号进行输出；帧存储器，存储从所述解码单元输出的运动图像信号；特征参数提取器，从所述解码单元所输出的运动图像信号中提取特征参数；以及运动图像复原器，从所述特征参数提取器输入特征参数，从所述帧存储器输入在时间上为过去和/或在时间上为将来的图像，使用所述特征参数再现运动图像帧，并输出再现的运动图像帧。
10.一种运动图像再现装置，其特征在于，包括解码单元，其包括解码器，接收并解码将运动图像压缩编码了的比特流，并输出量化变换系数；逆量化器，对从所述解码器输出的量化变换系数进行逆量化运算；逆变换器，对在所述逆量化器中逆量化的变换系数进行与编码侧的变换相反的变换；加法器，在一个输入端中输入在所述逆变换器中变换的运动图像信号；以及运动补偿预测器，使用从所述解码器输出的特征参数对从所述加法器输出的运动图像信号进行运动补偿预测，并将获得的运动图像信号提供给所述加法器的另一输入端，所述解码单元将在所述加法器中相加从所述逆变换器输出的运动图像信号和从所述运动补偿预测器输出的运动图像信号而得的运动图像信号作为解码单元输出信号进行输出；帧存储器，存储从所述解码单元输出的运动图像信号；以及运动图像复原器，从所述解码器的输出中输入特征参数，从所述帧存储器输入在时间上为过去和/或在时间上为将来的图像，使用所述特征参数再现运动图像帧，并输出再现的运动图像帧。
11.一种运动图像再现装置，其特征在于，包括解码单元，其包括解码器，接收并解码将运动图像压缩编码了的比特流，并输出量化变换系数；逆量化器，对从所述解码器输出的量化变换系数进行逆量化运算；逆变换器，对在所述逆量化器中逆量化的变换系数进行与编码侧的变换相反的变换；加法器，在一个输入端中输入在所述逆变换器中变换的运动图像信号；以及运动补偿预测器，使用从所述解码器输出的特征参数对从所述加法器输出的运动图像信号进行运动补偿预测，并将获得的运动图像信号提供给所述加法器的另一输入端，所述解码单元将在所述加法器中相加从所述逆变换器输出的运动图像信号和从所述运动补偿预测器输出的运动图像信号而得的运动图像信号作为解码单元输出信号进行输出；帧存储器，存储从所述解码单元输出的运动图像信号；小区间分割器，接收来自所述解码单元的输出，将复原的画面分割成预先确定的小区间，并输出小区间的分界；特征参数提取/判断器，在至少一个小区间提取并输出特征参数，判断是否在至少一个小区间使用特征参数进行运动图像复原处理，并输出判断信号；以及运动图像复原器，从所述特征参数提取/判断器输入特征参数、判断结果、小区间的信息，从所述帧存储器输入在时间上为过去和/或在时间上为将来的图像，使用所述特征参数再现运动图像帧，并输出再现的运动图像帧。
12.一种运动图像再现装置，其特征在于，包括解码单元，其包括解码器，接收并解码将运动图像压缩编码了的比特流，并输出量化变换系数；逆量化器，对从所述解码器输出的量化变换系数进行逆量化运算；逆变换器，对在所述逆量化器中逆量化的变换系数进行与编码侧的变换相反的变换；加法器，在一个输入端中输入在所述逆变换器中变换的运动图像信号；以及运动补偿预测器，使用从所述解码器输出的特征参数对从所述加法器输出的运动图像信号进行运动补偿预测，并将获得的运动图像信号提供给所述加法器的另一输入端，所述解码单元将在所述加法器中相加从所述逆变换器输出的运动图像信号和从所述运动补偿预测器输出的运动图像信号而得的运动图像信号作为解码单元输出信号进行输出；帧存储器，存储从所述解码单元输出的运动图像信号；小区间分割/判断器，接收来自所述解码单元的输出，将复原的画面分割成预先确定的小区间，输出小区间的分界，在至少一个小区间提取并输出特征参数，判断是否在至少一个小区间中使用特征参数进行运动图像复原处理，并输出判断信号；以及运动图像复原器，从所述解码器输入特征参数，从所述小区间分割/判断器输入判断结果、小区间的信息，从所述帧存储器输入在时间上为过去和/或在时间上为将来的图像，使用所述特征参数再现运动图像帧，并输出再现的运动图像帧。
13.一种运动图像再现装置，其特征在于，包括解码单元，其包括解码器，接收并解码将运动图像压缩编码了的比特流，并输出量化变换系数；逆量化器，对从所述解码器输出的量化变换系数进行逆量化运算；逆变换器，对在所述逆量化器中逆量化的变换系数进行与编码侧的变换相反的变换；加法器，在一个输入端中输入在所述逆变换器中变换的运动图像信号；以及运动补偿预测器，使用从所述解码器输出的特征参数对从所述加法器输出的运动图像信号进行运动补偿预测，并将获得的运动图像信号提供给所述加法器的另一输入端，所述解码单元将在所述加法器中相加从所述逆变换器输出的运动图像信号和从所述运动补偿预测器输出的运动图像信号而得的运动图像信号作为解码单元输出信号进行输出；帧存储器，存储从所述解码单元输出的运动图像信号；特征参数提取器，从所述解码单元所输出的运动图像信号中提取特征参数；插值器，输入所述特征参数提取器的输出，使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值；以及运动图像复原器，从所述插值器输入特征参数，从所述帧存储器输入在时间上为过去和/或在时间上为将来的图像，使用所述被插值的特征参数再现运动图像帧，并输出再现的运动图像帧。
14.一种运动图像再现装置，其特征在于，包括解码单元，其包括解码器，接收并解码将运动图像压缩编码了的比特流，并输出量化变换系数；逆量化器，对从所述解码器输出的量化变换系数进行逆量化运算；逆变换器，对在所述逆量化器中逆量化的变换系数进行与编码侧的变换相反的变换；加法器，在一个输入端中输入在所述逆变换器中变换的运动图像信号；以及运动补偿预测器，使用从所述解码器输出的特征参数对从所述加法器输出的运动图像信号进行运动补偿预测，并将获得的运动图像信号提供给所述加法器的另一输入端，所述解码单元将在所述加法器中相加从所述逆变换器输出的运动图像信号和从所述运动补偿预测器输出的运动图像信号而得的运动图像信号作为解码单元输出信号进行输出；帧存储器，存储从所述解码单元输出的运动图像信号；插值器，输入来自所述解码单元的解码器的特征参数，使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值；以及运动图像复原器，从所述插值器输入特征参数，从所述帧存储器输入在时间上为过去和/或在时间上为将来的图像，使用所述被插值的特征参数再现运动图像帧，并输出再现的运动图像帧。
15.一种运动图像再现装置，其特征在于，包括解码单元，其包括解码器，接收并解码将运动图像压缩编码了的比特流，并输出量化变换系数；逆量化器，对从所述解码器输出的量化变换系数进行逆量化运算；逆变换器，对在所述逆量化器中逆量化的变换系数进行与编码侧的变换相反的变换；加法器，在一个输入端中输入在所述逆变换器中变换的运动图像信号；以及运动补偿预测器，使用从所述解码器输出的特征参数对从所述加法器输出的运动图像信号进行运动补偿预测，并将获得的运动图像信号提供给所述加法器的另一输入端，所述解码单元将在所述加法器中相加从所述逆变换器输出的运动图像信号和从所述运动补偿预测器输出的运动图像信号而得的运动图像信号作为解码单元输出信号进行输出；帧存储器，存储从所述解码单元输出的运动图像信号；小区间分割器，接收来自所述解码单元的输出，将复原的画面分割成预先确定的小区间，并输出小区间的分界；特征参数提取/判断器，输入来自所述小区间分割器的小区间的分割信息，并在至少一个小区间提取并输出特征参数，进而判断是否在至少一个小区间使用特征参数进行运动图像复原处理，并输出判断信号；插值器，输入来自所述特征参数提取/判断器的特征参数，使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值；以及运动图像复原器，输入在所述插值器被插值的特征参数、所述判断结果、小区间的信息，从所述帧存储器输入在时间上为过去和/或在时间上为将来的图像，使用所述特征参数再现运动图像帧，并输出再现的运动图像帧。
16.一种运动图像再现装置，其特征在于，包括解码单元，其包括解码器，接收并解码将运动图像压缩编码了的比特流，并输出量化变换系数；逆量化器，对从所述解码器输出的量化变换系数进行逆量化运算；逆变换器，对在所述逆量化器中逆量化的变换系数进行与编码侧的变换相反的变换；加法器，在一个输入端中输入在所述逆变换器中变换的运动图像信号；以及运动补偿预测器，使用从所述解码器输出的特征参数对从所述加法器输出的运动图像信号进行运动补偿预测，并将获得的运动图像信号提供给所述加法器的另一输入端，所述解码单元将在所述加法器中相加从所述逆变换器输出的运动图像信号和从所述运动补偿预测器输出的运动图像信号而得的运动图像信号作为解码单元输出信号进行输出；帧存储器，存储从所述解码单元输出的运动图像信号；小区间分割/判断器，接收来自所述解码单元的输出，将复原的画面分割成预先确定的小区间，输出小区间的分界，并且在至少一个小区间提取并输出特征参数，判断是否在至少一个小区间使用特征参数进行运动图像复原处理；插值器，输入来自所述解码器的特征参数，并输入所述小区间分割/判断器的判断结果以及小区间的分割信息，使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值；以及运动图像复原器，输入在所述插值器被插值的特征参数，进而输入所述判断结果、小区间的分割信息，从所述帧存储器输入在时间上为过去和/或在时间上为将来的图像，使用所述特征参数再现运动图像帧，并输出再现的运动图像帧。
17.如权利要求9至16中任一项所述的运动图像再现装置，其特征在于，所述特征参数是运动矢量，所述运动图像复原器通过进行作为帧间预测的利用运动矢量的运动图像帧间预测来再现运动图像帧。
18.一种运动图像再现方法，其特征在于，包括下述步骤解码部接收将运动图像压缩编码了的比特流，并根据所述比特流来复原画面；特征参数提取部从所述解码部所复原的画面中提取特征参数；以及图像复原部使用在时间上为过去的特征参数和/或在时间上为将来的特征参数实施预先确定的处理，由此复原没有接收到的画面。
19.一种运动图像再现方法，其特征在于，包括下述步骤解码部接收将运动图像压缩编码了的比特流，并从所述比特流中解码并输出至少一个特征参数，并使用所述被解码的特征参数复原画面；和图像复原部使用在时间上为过去的特征参数和/或在时间上为将来的特征参数实施预先确定的处理，由此复原没有接收到的画面。
20.一种运动图像再现方法，其特征在于，包括下述步骤解码部接收将运动图像压缩编码了的比特流，并根据所述比特流来复原画面；和图像复原部将画面分割成预先确定了大小的小区间，在至少一个小区间从所述被复原的画面中提取特征参数，并确定是否使用在时间上为过去的特征参数和/或在时间上为将来的特征参数实施预先确定的处理，然后复原没有接收到的画面。
21.一种运动图像再现方法，其特征在于，包括下述步骤解码部接收将运动图像压缩编码了的比特流，从所述比特流中解码并输出至少一个特征参数后，使用所述被解码的特征参数复原画面；和图像复原部将画面分割成预先确定了大小的小区间，并确定是否在至少一个小区间中使用在时间上为过去的特征参数和/或在时间上为将来的特征参数实施预先确定的处理，然后复原没有接收到的画面。
22.一种运动图像再现方法，其特征在于，包括下述步骤解码部接收将运动图像压缩编码了的比特流，并根据所述比特流来复原画面；特征参数提取部从所述复原的画面中提取特征参数；以及图像复原部使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，然后复原没有接收到的画面。
23.一种运动图像再现方法，其特征在于，包括下述步骤解码部接收将运动图像压缩编码了的比特流，从所述比特流中解码并输出至少一个特征参数，并使用所述被解码的特征参数复原画面；和图像复原部使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，然后复原没有接收到的画面。
24.一种运动图像再现方法，其特征在于，包括下述步骤解码部接收将运动图像压缩编码了的比特流，并根据所述比特流来复原画面；和图像复原部将画面分割成预先确定了大小的小区间，在至少一个小区间从所述被复原的画面中提取特征参数，并确定是否使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，然后复原没有接收到的画面。
25.一种运动图像再现方法，其特征在于，包括下述步骤解码部接收将运动图像压缩编码了的比特流，从所述比特流中解码并输出至少一个特征参数后，并使用所述被解码的特征参数复原画面；和图像复原部将画面分割成预先确定了大小的小区间，并确定是否在至少一个小区间使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，然后复原没有接收到的画面。
26.一种程序，使构成接收将运动图像压缩编码了的比特流来再现运动图像的装置的计算机执行下述处理根据所述压缩编码的比特流来复原画面；从所述复原的画面中提取特征参数；以及使用在时间上为过去的特征参数和/或在时间上为将来的特征参数实施预先确定的处理，由此复原没有接收到的画面。
27.一种程序，使构成接收将运动图像压缩编码了的比特流来再现运动图像的装置的计算机执行下述处理从所述压缩编码的比特流中解码并输出至少一个特征参数，并使用所述被解码的特征参数复原画面；和使用在时间上为过去的特征参数和/或在时间上为将来的特征参数实施预先确定的处理，由此复原没有接收到的画面。
28.一种程序，使构成接收将运动图像压缩编码了的比特流来再现运动图像的装置的计算机执行下述处理根据所述压缩编码的比特流来复原画面；和将画面分割成预先确定了大小的小区间，在至少一个小区间从所述复原的画面中提取特征参数，并确定是否使用在时间上为过去的特征参数和/或在时间上为将来的特征参数实施预先确定的处理，然后复原没有接收到的画面的处理。
29.一种程序，使构成接收将运动图像压缩编码了的比特流来再现运动图像的装置的计算机执行下述处理从所述压缩编码的比特流中解码并输出至少一个特征参数，并使用所述被解码的特征参数复原画面；和将画面分割成预先确定了大小的小区间，并确定是否在至少一个小区间使用在时间上为过去的特征参数和/或在时间上为将来的特征参数实施预先确定的处理，然后复原没有接收到的画面。
30.一种程序，使构成接收将运动图像压缩编码了的比特流来再现运动图像的装置的计算机执行下述处理根据所述压缩编码的比特流来复原画面；从所述复原的图像中提取特征参数；以及使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，然后复原没有接收到的画面。
31.一种程序，使构成接收将运动图像压缩编码了的比特流来再现运动图像的装置的计算机执行下述处理从所述压缩编码的比特流中解码并输出至少一个特征参数，并使用所述被解码的特征参数复原画面；和使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，然后复原没有接收到的画面。
32.一种程序，使构成接收将运动图像压缩编码了的比特流来再现运动图像的装置的计算机执行下述处理根据所述压缩编码的比特流来复原画面；和将画面分割成预先确定了大小的小区间，在至少一个小区间从所述复原的画面中提取特征参数，并确定是否使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，然后复原没有接收到的画面。
33.一种程序，使构成接收将运动图像压缩编码了的比特流来再现运动图像的装置的计算机执行下述处理从所述压缩编码的比特流中解码并输出至少一个特征参数，并使用所述被解码的特征参数复原画面；和图像复原部将画面分割成预先确定了大小的小区间，并确定是否在至少一个小区间使用在时间上为过去的特征参数和在时间上为将来的特征参数中的至少一个来在时间方向上进行插值，然后复原没有接收到的画面。
34.一种图像再现装置，其特征在于，包括接收并解码被压缩编码了的图像信息来复原画面的单元；和从所述复原画面提取规定的特征参数，或者在所述解码过程中提取规定的特征参数，并根据所述提取的特征参数和所述复原画面来复原与所述复原的画面不同的画面的单元。
35.一种图像再现方法，其是利用图像再现装置再现画面的方法，其特征在于，包括下述步骤接收压缩编码的图像信息并对其进行解码，由此复原画面；从所述复原画面中提取规定的特征参数，或者在进行所述解码时提取规定的特征参数；以及根据所述提取的特征参数和所述复原的画面来复原与所述复原的画面不同的画面。
36.一种程序，使构成接收被压缩编码的图像信息来进行再现的装置的计算机执行下述处理接收并解码所述图像信息来复原画面；从所述复原画面中提取规定的特征参数，或者在所述解码过程中提取规定的特征参数；以及根据所述特征参数和所述复原的画面来复原与所述复原的画面不同的画面。
全文摘要
本发明提供了一种装置和方法，其通过在接收侧使用特征参数来复原没有接收到的图像，即使在传输线路的传输速率慢，不能确保充足的帧数的情况下，也能够在接收侧充分表现运动，从而改善运动图像的品质。所述装置包括解码单元(200)，接收将运动图像压缩编码了的比特流，并根据所述比特流来复原画面；特征参数提取器(210)，从所述复原的画面中提取特征参数；以及运动图像复原器(212)，使用在时间上为过去和在时间上为将来的特征参数中的任一个或者二者来实施预先确定的处理，由此复原没有接收到的画面。
文档编号H04N7/32GK1898963SQ20048003804
公开日2007年1月17日 申请日期2004年10月27日 优先权日2003年12月18日
发明者小泽一范 申请人:日本电气株式会社