专利名称：活动图象编码译码装置和方法以及活动图象编码记录媒体的制作方法
技术领域：
本发明涉及为高效地传送、存储和显示图象而将图象信息以较少的代码量变为数字化信号的高效率编码，特别是涉及采用以隔行扫描活动图象信号为对象的双向图象间预测而进行的编码处理。
<双向预测编码>
在进行图象间预测的活动图象的高效率编码中，有一种方法是在m(m为大于2的整数)帧中以一帧作为特定帧，在帧内通过独立或单方向的预测进行编码，另外的帧则由其前后的特定帧通过双向预测而进行编码。
这种编码方法在本申请书及同一申请人提出的特开平2-192378号等之中有记载，另外也用于MPEG-1方式(ISO/IEC-11172)、MPEG-2方式(ISO/IEC-13818)中。
此种方式的图象类型，根据图象间预测形态的不同，分为三种帧内独立编码帧称为I帧，单方向预测帧称为P帧，而双方向预测帧称为B帧。其中I帧和P帧用于采用局部译码图象进行图象间预测，而B帧只预测，不作为预测参照帧使用。
<隔行图象编码>
隔行扫描信号，其偶数场和奇数场相差时间为60分之1秒、扫描线为一条，使用单纯的图象间预测方法不能进行恰当的预测。所以，在MPEG-2标准中，使用的方法有通过场单位的处理将多个场作为参照图象的方法和把帧单位的处理作为基本并且部分地改换为场单位预测的方法。
但是，在MPEG-2标准的场合，上述图象类型(IPB)一定是以帧单位设定。也即，即或是场单位的处理，也是将2个场连续地设定为I及P场。
在任何一种场合，当图象有活动而场间产生差异时就以场单位预测。此时，由于隔行扫描信号的扫描线结构的原因，场图象中存在多量的回线，所以即使仅仅将图象平移，也会发生比较多的预测误差。
<现有例的活动图象编码装置>
图5示出采用双向预测时的编码装置的构成例。
编码处理是以场单位作为基本。但是，图象类型(IPB)为帧单位。在后面的现有技术例子中，记作帧的是隔行扫描的连续2场的帧。
从图象输入端子7进来的隔行扫描图象信号由开关56将I及P帧送入减法器51，将B帧送入帧延迟器61。I及P帧每m(通常为2或3)帧周期地进行设定，由开关56与输入信号同步切换。
送到减法器51上的I及P帧信号与由图象间预测器57给出的图象间预测信号相减并将得到的预测误差送入DCT 52。
DCT 52以8×8象素单位进行离散余弦变换(DCT)的变换处理，得到的系数送往量化器53。量化器53根据所定的步长将系数量化并将成为固定长代码的系数送入可变长编码器54和逆量化器55。
可变长编码器54依照称为折线扫描的顺序将二维的8×8个系数变换为一维数组，借助霍夫曼代码使系数成为0的连续数和0以外的系数值而进行编码。这样形成的代码串的I及P帧的信号由复用器13作为B帧的代码串复用而从代码输出端子14输出。
另一方面，利用逆量化器55及逆DCT 60进行量化器53和DCT 52的逆处理而使图象间预测误差再生。所得到的再生图象间预测误差在加法器59中加上预测信号成为再生图象而送入图象存储器58。在图象存储器58内存储的再生图象送入图象间预测器57。
图象间预测器57按照图象的类型生成不同的预测信号，I和P帧送入减法器51，B帧送入减法器17。
预测信号在I帧的情况下不进行预测，所以为0值，在P帧情况下为从前面的I及P帧生成的信号，而在B帧的情况下为从前后的I及P帧生成的信号。各图象为隔行扫描信号，将偶数场和奇数场两方作为参照图象并采用预测误差小的一方作为预测信号。
另一方面，B帧的信号在延迟器61中延迟(m-1)帧而送入减法器17。在其中，由于图象的类型为帧单位，延迟使2场成为合并的帧单位。经过延迟的图象信号由减法器17、DCT 18、量化器19、可变长编码器20进行与减法器51、DCT 52、量化器53、可变长编码器54中同样的处理而编码。
另外，因为B帧未成为图象间预测的参照帧，在B帧的编码系统中不存在局部译码部分。
在图5中，I及P帧的处理系统和B帧的处理系统是分开的，但由于减法器以后的处理基本相同，也可以统一成为一个系统的处理回路。
这样得到的B帧的代码串在复用器13中复用。由复用形成的代码串，其帧的次序与图象输入的次序不同，成为I及P帧在B的前面的形式。
<现有例的活动图象译码装置>
下面说明与图5的活动图象编码装置对应的译码装置。图6示出其构成。
来自代码输入端子33的代码在复用分离器34中将I及P帧的代码串和B帧的代码串分离。
I及P帧的代码串送往可变长译码器62，在其中返回成为固定长代码，通过逆量化器55和逆DCT 60得到再生图象间预测误差，由加法器59加上图象间预测信号而成为再生图象。如此得到的再生图象信号送往图象存储器63。
图象间预测器64生成与图象间预测器57同样的预测信号，将I及P帧送往加法器59，将B帧送往加法器41。图象间预测器64与图象间预测器57不同，因为不能检测运动矢量及选择预测模式，只能依照传送的信息动作，所以处理量大幅度减少。
另一方面，B帧的代码串经可变长译码器38、逆量化器39、逆DCT40、加法器41译码而成为再生图象。
开关42从图象存储器63得到I帧及P帧的再生图象并从加法器41得到B帧的再生图象而从图象输出端子43输出。此时输出的帧的次序不是按传送顺序而是返回到原来图象的时间顺序。
因为此处各帧是由2场连续形成的，所以从图象输出端子43输出的信号是隔行扫描信号。
在现有的隔行扫描活动图象编码装置中，即或图象有一点活动，则由于在隔行扫描图象信号中所包含的循环畸变成分使图象间预测无法恰当进行，哪怕是只要图象平行移动，也会产生相当大的图象间预测误差。
另一方面，如果将隔行扫描图象转换为顺次扫描图象而进行编码，虽然上述问题可以减轻，但扫描线数目增加一倍，编码和译码的处理量增加一倍，作成装置很困难。
本发明即是针对以上一点而完成的，其目的是要提供一种活动图象编码装置(方法)、译码装置(方法)以及代码记录媒体，使得可以在隔行扫描图象信号的m(m为大于2的整数)场中将1场变换为顺次扫描的帧，通过独立或单方向预测将该帧编码和译码，而对另外的隔行扫描的原样的场则从其前后的顺次扫描帧进行双向预测而进行编码和译码，从而可以更恰当地进行图象间预测。
另外，因为再生图象也是隔行扫描图象，不适于在顺次扫描的监视器上显示。
本发明即是针对以上一点而完成的，其目的是要提供一种译码装置，使得可以在隔行扫描图象信号的m(m为大于2的整数)场中将1场变换为顺次扫描的帧，通过独立或单方向预测将该帧编码和译码，而对另外的场则在将预测误差译码后变换为顺次扫描，从其前后的顺次扫描帧进行双向预测，从而可以通过高效率的编码和少量的处理而得到顺次扫描再生图象。
本发明是一种活动图象编码装置(方法)，使得可以在隔行扫描活动图象的高效率编码中，在隔行扫描图象信号的m(m为大于2的整数)场中将1场变换为扫描线为倍密度的顺次扫描的1帧，通过帧内独立的或从编码后的顺次扫描的帧的单方向的预测对该顺次扫描的帧进行预测编码，而对顺次扫描帧以外的隔行扫描的原样的场则将其前后的顺次扫描帧作为参照帧进行预测而进行编码。
此外，还包括将通过上述活动图象编码装置编码的代码串记录下来的活动图象编码记录媒体。
此外，本发明是一种在上述活动图象编码装置中，在对隔行扫描的原样的场进行图象间预测之际，对顺次扫描的参照帧的扫描线进行减线使之变换为与隔行扫描的1场相同的扫描线数的活动图象编码装置。
另外，本发明是一种活动图象译码装置(方法)，可以在隔行扫描图象信号的m(m为大于2的整数)场中1场是扫描线为倍密度的顺次扫描帧，另外的场为隔行扫描的原样的图象代码串进行译码的活动图象译码中，通过帧内独立的或从编码后的顺次扫描的帧的单方向的预测对该顺次扫描的帧进行预测译码，通过扫描线减线而变为与隔行扫描的1场相同的扫描线数，对隔行扫描的原样的场则将其时间上在前或在后的顺次扫描帧作为参照帧进行预测而进行译码，以原来的时间顺序代替场的次序而得到再生的隔行扫描图象信号。
另外，这是一种活动图象译码装置，在其中通过对顺次扫描的参照帧的扫描线进行减线变换为与隔行扫描的1场相同的扫描线数而用于对隔行扫描的原样的场的图象间预测。
另外，本发明可以在隔行扫描图象信号的m(m为大于2的整数)场中1场是扫描线为倍密度的顺次扫描帧，另外的场为隔行扫描的原样的图象代码串进行译码的图象译码中，对顺次扫描的帧，通过帧内独立的或从编码后的顺次扫描的帧的单方向的预测进行预测译码而得到第一再生图象。
另一方面，隔行扫描的原样的场对经过将预测误差译码而得到的再生预测误差在垂直方向上进行重复取样可得到与顺次扫描的扫描线相当的再生预测误差，在其上加上将在时间上在前或在后的第一再生图象作为参照帧的预测信号可得到第二再生图象。并且是一种通过将第二再生图象插入到第一再生图象之间可得到使所有的帧都成为顺次扫描的再生活动图象的活动图象译码装置。
本发明的作用是可以在隔行扫描图象信号的m(m为大于2的整数)场中将1场变换为顺次扫描的帧，对该帧通过独立或单方向预测进行编码和译码，而对另外的隔行扫描的原样的场则从其前后的顺次扫描帧进行双向预测而进行编码和译码。
由此，因为在图象间预测中所使用的参照图象都成为顺次扫描的帧，利用没有循环畸变成分的顺次扫描的图象就可以进行恰当的图象间预测。另外，因为图象类型(IPB)的单位变成了一半，相对m的图象间预测距离也变为现有例子的一半。
另一方面，因为双向预测的内容为隔行扫描场的原样，预测信号使用的是经过减线的顺次扫描帧，所以不会增加编码处理量。
另外，因为双向预测场是隔行扫描的原样，预测信号是在从顺次扫描帧开始的顺次扫描的状态下得到的，所以只要将预测误差与顺次扫描变换相加就可以得到顺次扫描的再生图象。
附图简介
图1示出本发明的活动图象编码装置的一实施例的构成。
图2示出本发明的图象类型和扫描线的情况。
图3示出本发明的活动图象译码装置的一实施例的构成。
图4示出在本发明的1系统处理中的时序情况。
图5示出现有的活动图象编码装置的一构成例。
图6示出现有的活动图象译码装置的一构成例。
图7示出本发明的活动图象译码装置的另一实施例的构成。
图8示出本发明的图象类型和扫描线的情况。
图9示出本发明活动图象信号压缩方法实施例的示意图。
图10示出本发明隔行扫描图象信号的预测编码方法用于MPEG方式时的编码句法的说明图。标号说明1顺次扫描变换器2、17、51减法器3、18、52DCT4、19、53量化器5、20、54可变长编码器6、55逆量化器9、35、57、64图象间预测器10、32、58、63 图象存储器11、41、59 加法器
12、20 逆DCT13 复用器14 代码输出端子15、36 扫描线减线器16 场延迟器31、38 可变长译码器33 代码输入端子34 复用分离器41 开关(图象在构成装置)43 图象输出端子44 扫描线补插器61 帧延迟器实施例<实施例的活动图象编码装置1>
下面说明本发明的运动补偿编码装置的一实施例。图1示出其构成，与图5中的现有例相同的构成部件用同样的标号标记。在图1中，与图5比较，多出了顺次扫描变换器1和扫描线减线器15。另外，帧延迟器61变成了场延迟器16，开关8和图象间预测器9的动作与现有例有所不同。
下面将实施例的处理与现有例对比说明。图象处理单位是隔行扫描信号的场单位，图象类型(IBP)的设定也用场单位。
其次，实施例的最大特征是成为I及P的场通过顺次扫描变换而变换为倍密度的图象(帧)的处理。因为顺次扫描的各图象不称为“场”，原来是1场的图象，现在称为“帧”。B场则以原样的场单位进行处理。
图2示出这种图象类型和扫描线的情况。
I及P帧通过扫描线补插而成为倍密度状态。标准析象度的电视方式的有效扫描线数，帧图象为480条，场图象为240条。因为I及P帧的扫描线数变成了原来场的一倍，所以处理量也加倍。
I及P帧的编码，因为不是象现有例那样由2场构成，是顺次扫描，所以图象间预测与现有例不同，是简单的帧单位的处理。
另一方面，因为对B场的预测参照图象是以帧的方式存在，基本上是以帧单位形成预测信号，扫描线与被预测信号合起来构成减线场的信号。
下面与图1一起说明各块构成部的动作。
从图象输入端子进来的隔行扫描信号由开关8在m场中将1场送入顺次扫描变换器1中，其他送入场延迟器16。开关8与输入信号的场同步地计数场的序号而动作。m为大于2的整数，具体说来可取3至6比现有例大一点的值。其原因是在m相同时，图象间预测距离是现有例的一半，即使m大一些，也不过使预测距离变大而已。
顺次扫描变换器1如特开平8-130716中所示，是利用前后的场以小块单位进行运动补偿，将在隔行扫描时丢掉的扫描线进行内插补插。此时，因为前后场的信号是必需的，由顺次扫描变换器1辅助地提供该信号。
利用顺次扫描变换器1得到的扫描线成为倍密度的图象信号而加到减法器2上。减法器2、DCT 3、量化器4、可变长编码器5的动作基本上与现有例相同，因为在帧单位处理时，每60分之1秒之间存在1帧，所以要进行完全的实时处理，就必须以现有例一倍的速度进行处理。
局部译码部分的逆量化器6、逆DCT 12、加法器11的动作也相同。图象存储器10的输入输出速度相同，在现有例中原来需要有2场大小，因为顺次扫描成为一帧，容量相同。
图象间预测器9可以以单纯的帧单位进行处理，比现有例简单。以16×16象素乃至8×8象素单位检测运动矢量，根据该运动矢量进行运动补偿。运动补偿精度一般为象素精度的2分之1。
另一方面，B场的图象信号在场延迟器16中与现有例同样地延迟(m-1)个场。因为图象类型的单位成为场单位，延迟单位也成为场。
此外，因为在顺次扫描变换器1中进行场间内插补插的场合会在其中产生1场的延迟，所以要进行延迟以对之补偿。在这种场合总计延迟m个场。
加法器17、DCT 18、量化器19、可变长编码器20的动作基本上是与现有例相同的场单位处理。
但是，因为图象类型(IPB)也是场单位，所以不必象现有例那样要同样类型的图象连续送入。
<实施例的活动图象编码装置2>
在图1中I及P帧的处理系统的减法器2、DCT 3、量化器4、可变长编码器5和B场的处理系统的减法器17、DCT 18、量化器19、可变长编码器20是分开构成的。
但是，因为其处理内容基本相同，可以合成为一个系统采用时分方式进行顺次处理。
在这种场合，因为I及P帧的处理量是B场的处理量的一倍，所以处理时序图成为图4的处理a的情况。因为I及P帧的处理时间变长，B场的处理时间必须短于60分之1秒。
另一方面，如在特开平6-311505中所披露的那样，在对B场的预测误差可使用二次抽样，使DCT 18以后的处理量减半的场合，如图4的处理b所示，在m＝3的场合与现有例的处理量相同就可以了，m更大时比现有例更少。
其具体构成可在减法器17和DCT 18之间在水平方向上插入一个二次抽样器。
<实施例的活动图象译码装置1>
在图3中示出与图1的编码装置对应的活动图象译码装置的一实施例。
与图6中的现有例相同的部分用同一标号标记。与图6的现有例在结构上的不同之处在于具有扫描线减线器15和36。另外，图象间预测器35的动作不同，可变长编码器31、逆量化器6、逆DCT 12、加法器11对I及P图象的动作是帧单位的处理。
从代码输入端子33进来的代码由复用分离器34分离为I及P帧的代码串和B帧的代码串。I及P帧的代码串由可变长译码器31、逆量化器6、逆DCT 12、加法器11进行与图6中的现有例同样的译码处理而成为再生图象。
在这里，为了进行完全的实时处理，1帧的处理必须在60分之1秒内结束。这样得到的再生图象信号送往图象存储器32。
图象间预测器35生成与图1的图象间预测器9同样的预测信号，I及P帧送往加法器11，B帧送往扫描线减线器15。图象间预测器35与图象间预测器9不同，因为不执行运动矢量的检测及预测模式的选择，而是根据传送来的信息动作，所以处理量大幅减少。
另外，与图6的现有例的译码装置的图象间预测器不同，是单纯的帧单位的处理。
另一方面，B帧的代码串由可变长译码器38、逆量化器39、逆DCT40、加法器41译码而成为再生图象。这一处理是以场单位进行处理。由图象间预测器35输出的帧单位的预测信号在扫描线减线器15中对扫描线减线成为帧图象之后送入加法器41。
开关42从扫描线减线器36得到I及P帧的再生图象并从加法器41得到B帧的再生图象而由图象输出端子43输出。此时，帧的次序不是传送的顺序，而是返回原来的图象的时间顺序而输出。
扫描线减线器36对作为顺次扫描的1帧而记录于图象存储器32内的图象信号的扫描线进行减线并使之成为隔行扫描的1场而输出。由图象输出端子43输出的信号是隔行扫描信号。
另外，扫描线减线器15和36，与二次抽样处理不同，原则上在减线前不进行滤波处理。这是因为顺次扫描的再生帧图象是对原来的隔行扫描图象进行顺次扫描变换而成，垂直频率特性作为隔行扫描信号在适当的程度上受到限制的缘故。
编码装置，如在第二实施例中所述，在对B场的预测误差实施二次抽样的场合，在逆DCT 40和加法器41之间在水平方向上插入一个重复取样器。
<实施例的活动图象译码装置2>
与图1的编码装置对应的译码装置如图7所示。与图6中的现有例相同的部分用同一标号标记。与图6的现有例在结构上的不同之处在于具有扫描线补插器44。另外，图象间预测器35的动作不同，可变长编码器31、逆量化器6、逆DCT 12、加法器11对I及P图象的动作是帧单位的处理。
从代码输入端子33进来的代码由复用分离器34分离为I及P帧的代码串和B场的代码串。I及P帧的代码串由可变长译码器31、逆量化器6、逆DCT 12、加法器11进行与图6中的现有例同样的译码处理而成为再生图象。在这里，为了进行完全的实时处理，1帧的处理必须在60分之1秒内结束。这样得到的顺次扫描的再生图象信号送往图象存储器32。
图象间预测器35生成与图1的图象间预测器9同样的预测信号，I及P帧送往加法器11，B场送往加法器41。图象间预测器35与图象间预测器9不同，因为不执行运动矢量的检测及预测模式的选择，而是根据传送来的信息动作，所以处理量大幅减少。另外，与图6的现有例的译码装置的图象间预测器不同，是单纯的帧单位的处理。
另一方面，B帧的代码串由可变长译码器38、逆量化器39、逆DCT 40译码而成为再生预测误差。这一处理是以场单位进行处理。场形态的再生预测误差由扫描线补插器44在垂直方向上进行扫描线补插(重复抽样)而成为帧形态的再生预测误差。也即与扫描线240线对应的预测误差变为480线的预测误差而送入加法器41。这一扫描线补插处理是场内的单纯重复抽样，与图1的编码装置中的顺次扫描变换部1比较起来是极为简单的处理。
在加法器41中由图象间预测器35输出的预测信号与成为顺次扫描帧形态的预测误差相加而成为再生图象。在此处，因为预测信号是利用原来的顺次扫描的帧而得到的，再生图象也成为顺次扫描的帧。也即通过合理利用图象间预测处理，只要采用预测误差的重复抽样处理，就可以实现与顺次扫描变换部1相同的顺次扫描变换处理。
开关42从图象存储器32得到I及P帧的再生图象并从加法器41得到成为顺次扫描帧的B场的再生图象，通过顺次扫描的帧再构成图象并由图象输出端子43输出。
此时，帧的次序不是传送的顺序，而是返回原来的图象的时间顺序而输出。由图象输出端子43输出的信号成为顺次扫描的活动图象信号。
图8示出图象类型和扫描线的情况。
I、P是在编码侧变换为顺次扫描，B是在译码侧变换为顺次扫描，最后全都成为顺次扫描。
<活动图象编码记录媒体>
对利用图1的编码装置得到的有关图象的代码串、声音及控制信息的代码串，借助MPEG系统标准等的方法进行复用，对由此得到的代码串加上纠错符号并经过调制后记录在媒体上，从而得到可改善编码效率的数字编码图象信息记录媒体。
也即，本发明的活动图象编码记录媒体具有改善编码效率的效果，其方法是在将高效率编码的隔行扫描活动图象信息进行记录的记录媒体上，在作为编码对象的隔行扫描图象信号的m(m为大于2的整数)场中将1场变换为扫描线为倍密度的顺次扫描的1帧，而将另外的场保持隔行扫描的原样，对上述的顺次扫描的帧，通过帧内独立的或从编码后的顺次扫描的帧的单方向的预测对该顺次扫描的帧进行预测编码而得到第一代码串，而对上述顺次扫描帧以外的隔行扫描的原样的场则将在时间上在其前或其后的顺次扫描帧作为参照帧进行预测编码而得到第二代码串，将上述顺次扫描的帧及隔行扫描信号的原样的帧的两方的代码串进行记录。
另外，在读出专用媒体的场合，可利用压模等进行高速记录。
图9为示出作为本发明的活动图象信号的压缩方法的实施例的概念说明图。
如图9所示，本发明的压缩方法将输入帧图象分割为输入场图象(奇数场和偶数场)。对于分割的输入场图象，将之与分割为奇数场和偶数场的比较场图象进行对比，从对比的场图象检测出的运动矢量之中检测选择最适合的运动矢量。将求出检测选择的运动矢量侧的比较场图象移动运动矢量的大小的预测值从输入的场图象中减去，对该差值和运动矢量进行编码(可变长编码)。
上述的选择作为最适合的运动矢量是对将图象内分割为二维块(比如8×8个象素)的各个块检测得出的，而检测得出的信息有二个，对每个块检测出的矢量值(以水平方向和垂直方向的二维矢量表示)和表示是来自哪一个场的图象的矢量值的模式信号。
在这种场合，如果邻接的块间的物体相同，矢量值会指向几乎相同的方向，由于邻接差分集中于零的附近，进行可变长编码就可以大幅度地压缩信息量。但是，模式信号的邻接相关性很少，信息量无法充分地压缩。
因此，可将矢量值(运动矢量的垂直方向值)作为隔行扫描状态的帧图象的空间位置中的运动矢量来表示。这样一来，在编码侧不送出模式信号时可以对运动矢量值和模式信号进行编码和译码。
根据本发明的压缩方法，因为对场图象可以在各个场的运动矢量之内选择最适当的而进行运动补偿预测编码，所以在可以避免隔行扫描引起的时间方向的弊害的同时，还可以有效地利用场间的相关性。另外，因为通过将矢量值(运动矢量的垂直方向值)表示成为隔行扫描的场图象的空间位置的运动矢量值，可以在编码侧不传送模式信号时对运动矢量值和模式信号进行编码和译码，所以可借助可变长编码大幅度地压缩信息量。
此外，即使将场空间位置的垂直方向矢量值增大一倍，在其值的最下位比特上添加一个一比特的模式信号作为运动矢量值，也不会损害矢量值的邻接相关性而可以将信息量进行充分地压缩。
本发明的隔行扫描图象信号预测编码方法的特征如下此方法的基本是对于由奇数场和偶数场形成一个帧的隔行扫描图象信号，奇数场的图象信号是由各奇数场间，而偶数场的图象信号是由各偶数场间分别进行帧间预测编码，至于按规定的每个帧间隔设定的基准帧，对一方的基准场(比如奇数场)的图象信号是进行场内编码，而对另一方的基准场(比如偶数场)的图象信号是进行场间预测编码。
图10是表示将有关本发明的隔行扫描图象信号的预测编码方法应用于MPEG方式的标准案的场合的编码句法的说明图。
在图10中，IS是基准帧的一方的基准场，此基准场IS的图象信号进行的是在场内结束其编码的场内编码。
PS是基准帧的另一方的基准场，此场PS的图象信号是通过和基准场IS的场间预测进行编码。
P是副基准场，此副基准场P的图象信号是通过对应其紧前面的基准帧的场IS，PS的场间预测进行编码。
另一场B是从比该场B在时间上在前面或在后面的基准场IS，PS或副基准场P的对应的场之间，在前方向、后方向和前后两方向上内插的3种预测方式中应用以最合适的方向进行帧间预测而进行编码。
另外，在基准帧内的一方的基准场和另一方的基准场之间的相关性小的场合，对另一方的基准场的可不进行场间编码，而进行场内编码。也即也可以根据一方的基准场的图象信号和另一方的基准场的图象信号之间的预测误差的大小，对于另一方的基准场，在场间预测编码或者场内编码之间进行适当的切换。
根据本发明的预测编码方法，可以减少基准帧的图象信号的代码量。另外，在基准帧内的两个场的相关性小的场合，对基准帧的另一方的场的图象实行场内编码可以提高画质。
在本发明中，因为可以在隔行扫描图象信号的m(m为大于2的整数)场中将1场变换为顺次扫描的帧，通过独立或单方向预测将该帧编码和译码，而对另外的隔行扫描的原样的场则从其前后的顺次扫描帧进行双向预测而进行编码和译码，所以图象间预测的参照图象全部变成顺次扫描帧，而因为顺次扫描帧不存在象隔行扫描图象那样的时间偏离，面内的各扫描线满足取样定理，不存在循环畸变成分。因此运动补偿图象间预测可以使预测比较好地符合，而编码效率良好。
另外，由于帧内独立编码也同样不存在时间偏离和循环畸变成分，所以可借助较少的代码量进行编码。
另外，因为参照图象经常是帧单位，与场比较扫描线的密度高一倍，在进行运动补偿的场合，运动矢量的精度在垂直方向上高一倍。
另一方面，在m值与现有例相同的场合，由于图象类型(IPB)是以场单位设定，图象间预测距离变为一半而使图象间预测误差减少。假设图象间预测距离和现有例相同使m的值加倍，B帧的比例比现有例为多。因为B帧通过双向预测与P帧相比可削减代码量，整体代码量可减少。
另外，从隔行扫描到顺次扫描的变换处理仅仅利用全部图象的1/m部分进行，最后将所有的图象变换为顺次扫描，可以直接在计算机用的监视器及液晶和PDP等以顺次扫描显示的显示装置上直接提供活动图象并实现高画质，这也即为本发明的目的所在。
权利要求
1.一种活动图象编码装置，对隔行扫描活动图象进行编码，其特征在于包括在作为编码对象的隔行扫描图象信号的m(m为大于2的整数)场中将1场变换为扫描线为倍密度的顺次扫描的1帧，而另外的场则按隔行扫描的原样输出的顺次扫描装置、对上述的顺次扫描的帧，通过帧内独立的或从编码后的顺次扫描的帧的单方向的预测进行预测编码的第一编码装置、和对上述顺次扫描帧以外的隔行扫描的原样的场在时间上在其前或其后的顺次扫描帧作为参照帧进行预测编码的第二编码装置。
2.如权利要求1中所述的活动图象编码装置，其特征在于在上述的隔行扫描活动图象编码装置中上述第二编码装置对顺次扫描的参照帧的扫描线进行减线而变换为与隔行扫描的1场相同的扫描线数，并用于隔行扫描的原样的场的图象间预测。
3.一种活动图象译码装置，其特征在于在对隔行扫描图象信号的m(m为大于2的整数)场中将1场变换为扫描线为倍密度的顺次扫描的1帧，而另外的场则按隔行扫描的原样的图象代码串进行译码的活动图象译码装置中包括有对上述的顺次扫描的帧，通过帧内独立的或从编码后的顺次扫描的帧的单方向的预测进行预测译码的第一译码装置、和对上述顺次扫描帧以外的隔行扫描的原样的场在时间上在其前或其后的顺次扫描帧作为参照帧进行预测译码的第二译码装置、对借助上述第一译码装置译码的顺次扫描的帧进行减线而变换为与隔行扫描的1场相同的扫描线数、借助在上述第二译码装置译码的场之间插入而得到再生隔行扫描图象信号的图象再构成装置。
4.如权利要求3中所述的活动图象译码装置，其特征在于在上述装置中上述第二译码装置对顺次扫描的参照帧的扫描线进行减线而变换为与隔行扫描的1场相同的扫描线数、并用于隔行扫描的原样的场的图象间预测。
5.一种活动图象编码记录媒体，记录高效率编码的隔行扫描活动图象信息，其特征在于，在作为编码对象的隔行扫描图象信号的m(m为大于2的整数)场中将1场变换为扫描线为倍密度的顺次扫描的1帧，而将另外的场保持隔行扫描的原样，对上述的顺次扫描的帧，通过帧内独立的或从编码后的顺次扫描的帧的单方向的预测对该顺次扫描的帧进行预测编码而得到第一代码串，而对上述顺次扫描帧以外的隔行扫描的原样的场则将在时间上在其前或其后的顺次扫描帧作为参照帧进行预测编码而得到第二代码串，将上述顺次扫描的帧及隔行扫描信号的原样的帧的两方的代码串进行记录。
6.一种活动图象编码方法，对隔行扫描活动图象编码，其特征在于，在作为编码对象的隔行扫描图象信号的m(m为大于2的整数)场中将1场变换为扫描线为倍密度的顺次扫描的1帧，而将另外的场保持隔行扫描的原样而输出，对上述的顺次扫描的帧，通过帧内独立的或从编码后的顺次扫描的帧的单方向的预测对该顺次扫描的帧进行预测而进行第一编码，而对上述顺次扫描帧以外的隔行扫描的原样的场则将在时间上在其前或其后的顺次扫描帧作为参照帧进行预测而进行第二编码。
7.一种活动图象译码方法，其特征在于在对隔行扫描图象信号的m(m为大于2的整数)场中将1场变换为扫描线为倍密度的顺次扫描的1帧，而另外的场则按隔行扫描的原样的图象代码串进行译码的活动图象译码方法中，对上述的顺次扫描的帧，通过帧内独立的或从编码后的顺次扫描的帧的单方向的预测进行预测译码的第一译码、和对上述顺次扫描帧以外的隔行扫描的原样的场在时间上在其前或其后的顺次扫描帧作为参照帧进行预测译码的第二译码、对借助上述第一译码而译码的顺次扫描的帧进行减线而变换为与隔行扫描的1场相同的扫描线数、借助在上述第二译码而译码的场之间插入而得到再生隔行扫描图象信号。
8.一种活动图象译码装置，其特征在于在对隔行扫描图象信号的m(m为大于2的整数)场中将1场变换为扫描线为倍密度的顺次扫描的1帧，而另外的场则按隔行扫描的原样的图象代码串进行译码的活动图象译码装置中包括有对上述的顺次扫描的帧，通过帧内独立的或从编码后的顺次扫描的帧的单方向的预测进行预测译码、得到第一再生图象的译码装置、对上述隔行扫描的原样的场对经过将预测误差译码而得到的再生预测误差在垂直方向上进行重复取样可得到与顺次扫描的扫描线相应的再生预测误差的装置、将在时间上在前或在后的第一再生图象作为参照帧而形成上述隔行扫描的原样的场的预测信号并加于与上述顺次扫描的扫描线相当的再生预测误差之上而得到第二再生图象的预测加法装置、和将借助上述预测加法装置得到的第二再生图象插入借助上述译码装置得到的第一再生图象之间，从而使全部的帧变成顺次扫描的再生活动图象的图象再构成装置。
9.一种活动图象译码方法，其特征在于在对隔行扫描图象信号的m(m为大于2的整数)场中将1场变换为扫描线为倍密度的顺次扫描的1帧，而另外的场则按隔行扫描的原样的图象代码串进行译码的活动图象译码方法中，对上述的顺次扫描的帧，通过帧内独立的或从编码后的顺次扫描的帧的单方向的预测进行预测译码而得到第一再生图象、对上述隔行扫描的原样的场对经过将预测误差译码而得到的再生预测误差在垂直方向上进行重复取样可得到与顺次扫描的扫描线相当的再生预测误差、将在时间上在前或在后的第一再生图象作为参照帧而形成上述隔行扫描的原样的场的预测信号并加于与上述顺次扫描的扫描线相当的再生预测误差之上而得到第二再生图象、和将借助上述预测加法装置得到的第二再生图象插入借助上述译码装置得到的第一再生图象之间，从而使全部的帧变成顺次扫描的再生活动图象。
10.一种帧间预测编码装置，其特征在于包括由连续输入的视频信号的帧中将按规定间隔配置的参照帧和位于此参照帧之间的非参照帧进行分离设定的装置、将上述参照帧的显示信息编码的装置、根据上述非参照帧的前面及后面的参照帧的显示信息对各非参照帧的显示信息进行预测的装置、上述预测的显示信息和上述非参照帧所对应的实际显示信息之间的误差的生成装置、和对上述误差进行编码的装置。
11.一种帧间预测编码装置，其特征在于在包含利用连续输入的视频信号的帧间的运动矢量实施运动补偿帧间预测的装置的帧间预测编码装置中包括由连续输入的视频信号的帧中将按规定间隔配置的参照帧进行分离设定的装置、检测上述参照帧间的运动矢量的装置、将位于上述参照帧间的非参照帧和参照帧之间的运动矢量作为关于上述参照帧间的上述运动矢量的差分进行检测的装置。
12.如权利要求11中所述的帧间预测编码装置，其特征在于还包括根据上述非参照帧的前面及后面的参照帧的信号生成各非参照帧的预测信号的装置、生成表示上述预测信号和与其对应的非参照帧的信号之间的差分的预测误差的装置、对上述预测误差进行编码的编码装置、和将通过上述编码装置进行编码而生成的编码数据输出和传送的装置。
13.一种帧间预测编码装置，其特征在于在包含由连续输入的视频信号的帧中将按规定间隔配置的参照帧进行设定的装置、将上述参照帧的各帧进行编码的第一编码装置、根据上述非参照帧的前面及后面的参照帧的信号生成各非参照帧的预测信号的装置、生成表示上述预测信号和与其对应的非参照帧的信号之间的差分的预测误差的装置、将上述参照帧的各帧进行编码的第二编码装置、将通过上述第一编码装置及上述第二编码装置进行编码而生成的编码数据输出和传送的装置。
14.一种译码装置，其特征在于是一种将权利要求A1中所述的帧间预测编码装置编码的视频信号进行译码的译码装置，其构成包括将上述参照帧的编码显示信息和上述编码误差输入并译码，使译码的各参照帧生成上述参照帧的显示信息和对应的输出的译码装置、根据上述非参照帧的分别处于前面及后面的2个参照帧生成各非参照帧的上述预测显示信息的预测信号生成装置、将上述非参照帧的上述误差和上述的预测显示信息合成的合成装置、和将为生成视频信号将各参照帧及非参照帧的显示信息以适当的顺序输出的装置。
15.一种译码装置，其特征在于是通过分开安排离开配置的参照帧和位于其间的非参照帧将编码器已经编码的视频信号进行译码的译码装置，并且还是在上述参照帧的上述显示信息以从上述编码器编码的形态输出的同时还用于在其中对上述非参照帧的显示信息进行预测，并且相应于上述编码器对各非参照帧的预测显示信息和实际显示信息的差分对各非参照帧生成并输出预测信号的译码装置，其构成包括将编码的各参照帧和各非参照帧的预测误差信号输入并译码的译码装置、和由各非参照帧对应的预测误差信号和上述非参照帧的前面及后面的参照帧再生各非参照帧的显示信息的处理装置。
16.如权利要求15中所述的译码装置，其特征在于还包括为生成视频信号将各参照帧及非参照帧的显示信息以适当的顺序输出的输出装置。
17.一种帧间预测编码方法，其特征在于还包括(a)由连续输入的视频信号的帧中将按规定间隔配置的参照帧和位于此参照帧之间的非参照帧进行分离设定的步骤、(b)将上述参照帧的显示信息编码的步骤、(c)根据上述非参照帧的前面及后面的参照帧的显示信息对各非参照帧的显示信息进行预测的步骤、(d)上述预测的显示信息和上述非参照帧所对应的实际显示信息之间的误差的生成步骤、和(e)对上述误差进行编码的步骤。
18.一种译码方法，其特征在于是通过分开安排离开配置的参照帧和位于其间的非参照帧将编码器已经编码的视频信号进行译码的译码装置，并且还是在上述参照帧的上述显示信息以从上述编码器编码的形态输出的同时还用于在其中对上述非参照帧的显示信息进行预测，并且相应于上述编码器对各非参照帧的预测显示信息和实际显示信息的差分对各非参照帧生成并输出预测信号的译码方法，其构成包括(a)将编码的各参照帧和各非参照帧的预测误差信号输入并译码的步骤、(b)由各非参照帧对应的预测误差信号和上述非参照帧的前面及后面的参照帧再生各非参照帧的显示信息的步骤、和(c)为生成视频信号将各参照帧及非参照帧的显示信息以适当的顺序输出的步骤。
19.一种活动图象信号的压缩方法，其特征在于其构成包括(1)在将输入帧图象分割为多个输入场图象之后，对由多个场图象形成的输入帧图象进行选择的步骤、(2)在将比较帧图象分割为多个比较场图象之后，对对应于上述输入帧图象的比较帧图象进行选择的步骤、(3)对上述输入场图象和构成上述比较帧图象的各比较场图象之间的运动矢量进行检测的步骤、和(4)在上述第三个步骤中检测出的上述运动矢量中选择预测误差的评价值的最小值，并借助使用它进行运动补偿预测编码的步骤。
20.如权利要求19中所述的活动图象信号的压缩方法，其特征在于还包括将在上述输入场图象和上述比较场图象之间所选择的运动矢量的垂直方向上的值作为隔行扫描的帧图象的输入帧图象和比较帧图象之间的运动矢量值进行编码的步骤。
21.如权利要求19中所述的活动图象信号的压缩方法，其特征在于在其中上述多个场是构成上述帧的2个场图象，并且还包括在与上述比较场图象对应的上述输入场图象的运动矢量的垂直方向上的值的一倍的值的最下位比特上增加一个用于判断是来自第一场图象的运动矢量还是来自第二场图象的运动矢量的一个比特的信息而将上述运动矢量进行编码的步骤。
22.一种隔行扫描图象信号的预测编码方法，其特征在于在包含有在按所定的每个帧间隔设定、并且对该图象信号在帧内独立地编码的基准帧(I)、根据该基准帧每隔所定的帧进行设定的、并且将在时间上在前面的基准帧(I)的图象信号用作参照帧、通过单方向的帧间预测进行编码的副基准帧(P)、作为上述基准帧(I)及上述副基准帧(P)以外的帧、并且把在时间上在前面及/或在后面的基准帧(I)或副基准帧(P)的图象信号用作参照帧、通过双向的帧间预测进行编码的双向帧间预测帧(B)的以2个场形成1个帧的隔行扫描图象信号的预测编码方法中，上述基准帧(I)中的一方的场的图象信号(IS)在场内独立地进行编码、上述基准帧(I)中的另一方的场的图象信号(PS)利用同一基准帧的上述一方的场的图象信号{或将该图象信号进行编码处理之后进行译码处理的局部译码信号}(IS)作为参照帧进行帧间预测编码。
23.一种隔行扫描图象信号的预测编码方法，其特征在于在包含有在按所定的每个帧间隔设定、并且对该图象信号在帧内独立地编码的基准帧(I)、根据该基准帧每隔所定的帧进行设定的、并且将在时间上在前面的基准帧(I)的图象信号用作参照帧、通过单方向的帧间预测进行编码的副基准帧(P)、作为上述基准帧(I)及上述副基准帧(P)以外的帧、并且把在时间上在前面及/或在后面的基准帧(I)或副基准帧(P)的图象信号用作参照帧、通过双向的帧间预测进行编码的双向帧间预测帧(B)的以2个场形成1个帧的隔行扫描图象信号的预测编码方法中，上述基准帧(I)中的一方的场的图象信号(IS)在场内独立地进行编码、上述基准帧(I)中的另一方的场的图象信号(PS)利用同一基准帧的上述一方的场的图象信号{或将该图象信号进行编码处理之后进行译码处理的局部译码信号}(IS)作为参照帧进行帧间预测编码还是在帧内独立地进行编码之间根据上述一方的场的图象信号(IS)和上述另一方的场的图象信号(PS)之间的预测误差的大小适当地进行切换。
24.一种隔行扫描图象信号的预测编码方法，其特征在于在包含有在按所定的每个帧间隔设定、并且对该图象信号在帧内独立地编码的基准帧(I)进行生成的第1装置、根据该基准帧每隔所定的帧进行设定的、并且对把在时间上在前面的基准帧(I)的图象信号用作参照帧、通过单方向的帧间预测进行编码的副基准帧(P)进行生成的第2装置、作为上述基准帧(I)及上述副基准帧(P)以外的帧、并且对把在时间上在前面及/或在后面的基准帧(I)或副基准帧(P)的图象信号用作参照帧、通过双方向的帧间预测进行编码的双方向帧间预测帧(B)进行生成的第3装置的以2个场形成1个帧的隔行扫描图象信号的预测编码装置中，对上述基准帧(I)中的一方的场的图象信号(IS)在场内独立地进行编码的第4装置、和上述基准帧(I)中的另一方的场的图象信号(PS)利用同一基准帧的上述一方的场的图象信号{或将该图象信号进行编码处理之后进行译码处理的局部译码信号}(IS)作为参照帧进行帧间预测编码的第5装置。
25.一种隔行扫描图象信号的预测编码方法，其特征在于在包含有在按所定的每个帧间隔设定、并且对该图象信号在帧内独立地编码的基准帧(I)进行生成的第1装置、根据该基准帧每隔所定的帧进行设定的、并且对把在时间上在前面的基准帧(I)的图象信号用作参照帧、通过单方向的帧间预测进行编码的副基准帧(P)进行生成的第2装置、作为上述基准帧(I)及上述副基准帧(P)以外的帧、并且对把在时间上在前面及/或在后面的基准帧(I)或副基准帧(P)的图象信号用作参照帧、通过双方向的帧间预测进行编码的双方向帧间预测帧(B)进行生成的第3装置的以2个场形成1个帧的隔行扫描图象信号的预测编码装置中，对上述基准帧(I)中的一方的场的图象信号(IS)在场内独立地进行编码的第4装置、和上述基准帧(I)中的另一方的场的图象信号(PS)利用同一基准帧的上述一方的场的图象信号{或将该图象信号进行编码处理之后进行译码处理的局部译码信号}(IS)作为参照帧进行帧间预测编码还是在帧内独立地进行编码之间根据上述一方的场的图象信号(IS)和上述另一方的场的图象信号(PS)之间的预测误差的大小适当地进行切换的第5装置。
全文摘要
本发明编码处理的装置,包括在对隔行扫描图象信号的m(m为大于2的整数)场中将1场变换为扫描线为倍密度的顺次扫描的1帧,而另外的场原样隔行扫描输出的顺次扫描变换装置、对上述顺次扫描帧,通过帧内独立的或从编码后的顺次扫描的帧的单方向的预测进行预测译码的第一译码装置;和对上述顺次扫描帧以外的隔行扫描的场在时间上以其前或后的顺次扫描帧作为参照帧进行预测译码的第二译码装置。
文档编号H04N7/32GK1201332SQ9810431
公开日1998年12月9日 申请日期1998年1月25日 优先权日1997年5月30日
发明者杉山贤二 申请人:日本胜利株式会社