编码数据变换方法、再编码方法、再编码系统以及数据记录媒体的制作方法

文档序号:7968267阅读:270来源:国知局
专利名称:编码数据变换方法、再编码方法、再编码系统以及数据记录媒体的制作方法
技术领域
本发明涉及编码数据变换方法、再编码方法、再编码系统以及数据记录媒体,特别是涉及用不同于其编码处理的编码方式或编码参数的再编码处理把存储在数据库内的实施运动图象信号编码处理所得到的编码数据变换为接收者能解码的编码数据的变换方法、再编码方法、再编码系统以及存储了用软件实施该再编码处理的程序的数据记录媒体。
近年来,为迎接集中处理声音、图象及其他信息的多媒体时代的到来,作为多媒体的对象,提出来把原来的信息媒体即把报刊、杂志、电视、收音机、电话等的信息传递给人的装置。一般,所谓多媒体是指不仅仅把文字还有图形、声音、特别是图象等同时关联起来予以表现的媒体,但是,把用上述原来的信息媒体处理的信息作为多媒体的对象时,必要的条件是把这种信息作成为数字形式的信息(数字数据)。
可是,用上述各信息媒体处理的信息量作为数字形式的信息量来估量时,对于文字来说,每一个文字的信息量是1~2字节,与此相对应,对于声音来说,必须每秒钟64K比特(电话品质)以上的信息量,对于运动图象来说,就必须要每秒钟100M比特(现行的电视广播品质)以上的信息量。换言之,在对应的信息媒体上原样处理信息量变得如此庞大的运动图象等的数字形式的信息是不现实的。例如虽然具有64Kbps~1.5Mbps的综合服务数字网(ISDNIntegratedServices Digital Network)已经使电视电话实用化,但是,用ISDN原样传送对应于电视摄象机的图象输出的数字运动图象信息是不可能的。
因此,信息的压缩技术就是很必要的,例如有关电视电话,正在使用由ITU-T(国际电气通信联合-电气通信标准化部门)国际标准化了的H.261或H.263规格的运动图象压缩技术。如果按照MPEG1标准的信息压缩技术,就能够在通常的音乐用CD(高密度盘)上同时记录声音信息和图象信息。
这里,所谓MPEG(Moving Picture Experts Group)是有关运动图象数据(运动图象的图象信号)的压缩技术的国际标准,MPEG1是将运动图象数据压缩到1.5Mbps的标准,即把电视信号的信息压缩到约百分之一的标准。因为把MPEG1标准作为对象的传送速度主要被限制于大约1.5Mbps,所以,要用应该满足更高图象质量的要求的标准化了的MPEG2把运动图象数据压缩到2~15Mbps。
MPEG2是有关数字图象编码方式的世界标准中最有代表性的标准,而且现在正在有关当今数字TV广播或数字视盘等的技术领域内快速普及。
另外,在目前的状况下,用MPEG1、MPEG2和使标准化升级的作业组(ISO/IEC JTC1/SC29/WG11)能以物体为单位进行编码处理或信号操作,实现多媒体时代所必要的新的功能的运动图象数据的压缩技术正在被标准化为MPEG4。虽然当初是用该MPEG4针对低位速度的编码方法的标准化,但是,现在正在把标准化的对象扩展到对应于隔行扫描图象的高位速度的更通用的编码处理之中。
可是,MPEG2是对应于通用编码处理的标准,能够根据用途在各种各样的条件下运用。这里,MPEG2的通用条件由显示画面中的象素数或图象编码信号(位流)的位速度等的有关图象品质的要素来决定。
但是,因为在各图象机器中硬件的性能受限于成本的制约,所以,能够作为输入图象信号来处理的比特流大多被限定为在预先决定的条件下进行编码的比特流。
例如用普通品质TV(电视机)的解码器就不能对HDTV(高清晰度电视)品质的(对应于高象素数的图象的)比特流进行解码。
另一方面,在能够对使图象信号按照6Mbps的位速度进行编码所得到的比特流进行记录相当于2小时图象的记录装置中,在该装置内部按3Mbps的比特率压缩具有6Mbps比特率的输入比特流。这样就能够对上述比特流进行记录相当于4小时图象的长时间的记录。
因此,把输入到各图象机内的MPEG2比特流变换为该各图象机内对应于其硬件性能或使用目的的MPEG2比特流的再编码技术就变得很重要。关于这样的再编码技术,近年来,发表了许多研究结果(Gertjsn Keesman,RobertHellinghuizen,Fokke Hoeksema,Geert Heideman,“Transcoding of MPEGbitstreams”,Signal ProcessingImage Communication Vol.8,1996,pp.481-500等)。
图20是用来说明原来的再编码系统100a的方框图。
该原来的再编码系统100a由解码单元D1和编码单元E1构成,解码单元D1接受对图象数据进行MPEG2标准的编码处理所得到的MPEG2比特流Eg1,并对该比特流Eg1实施解码处理,然后生成解码数据Rg1,编码单元E1对该解码数据Rg1根据与上述编码处理不同的条件实施MPEG2标准的编码处理,并输出再编码数据Eg2。这里,上述MPEG2比特流是在每个由规定数的象素构成的作为编码单位的图象空间(数据块)内对图象数据进行编码所得到的比特流。因此,上述解码单元D1在上述每个数据块内进行对比特流的解码处理,而编码单元E1则在上述每个数据块内对上述解码数据Rg1进行编码处理。
下面来说明构成再编码系统100a的解码单元D1的详细构成。
该解码单元D1具有对上述编过码的MPEG2比特流Eg1实施可变长解码处理的VLD(可变长解码装置)100、对该VLD100的输出Vg实施逆量化的逆量化装置101、对该逆量化装置101的输出IQg实施把频域的数据变换为空间区域的数据的IICT(逆离散余弦变换)处理的IDCT器102。上述解码单元D1具有把该IDCT器102的输出数据ITg和预测数据Mg1相加的加法器103、把该加法器103的输出Rg1作为上述预测数据Mg1存储起来的帧存储器104,并把该加法器103的输出Rg1作为上述解码数据输出。
下面来说明构成上述再编码系统100a的编码单元E1的详细构成。
该编码单元E1具有计算来自上述解码单元D1的输出数据Rg1和该预测数据Mg2的差分值Dg的减法器105、对该减法器105的输出Dg实施把空间区域的数据变换为频域的数据的DCT(离散余弦变换)处理的DCT器106、根据量化控制信号Cq对上述DCT器106的输出Tg实施量化处理的量化装置107。上述编码单元E1具有对该量化装置107的输出Qg实施可变长编码处理的VLC(可变长编码)器112、根据VLC器112的输出Eg2把上述量化控制信号Cq输出到上述量化装置107的速率控制装置113,并把上述VLC器112的输出Eg2作为再编码数据输出。
这里,上述速率控制装置113根据再编码数据Eg2计算出把对应于成为编码处理的对象的数据块(被处理数据块)的DCT输出Tg编码时的目标比特数,然后把所得到的目标比特数作为上述量化控制信号Cq输出到上述量化装置107。
编码单元E1具有对上述量化装置107的输出Qg实施逆量化的逆量化装置108、对该逆量化装置108的输出IQg2实施IDCT(逆离散余弦变换)处理的IDCT器109。上述编码单元E1具有把来自上述IDCT器109的输出数据ITg2和预测数据Mg2相加的加法器110、存储该加法器110的输出Rg2的帧存储器111,并把该帧存储器111的输出Mg2作为上述预测数据输出。
图21是表示上述量化装置107的详细构成的方框图。
该量化装置107具有接受来自速率控制装置113的目标比特数Cq并导出量化级Qs2的量化级导出器200、根据该量化级Qs2对DCT106的输出Tg实施量化处理的量化器201。
下面来说明其动作。
首先,把对图象信号实施编码处理所得到的编码数据Eg1输入到解码单元D1。
在VLD器100中可变长解码处理把上述编码数据Eg1变换为量化系数Vg,然后输出到逆量化装置101。在逆量化装置101中,根据对图象信号的编码处理中的量化级对该量化系数Vg实施逆量化处理,从而把频率成分IQg复原出来,在IDCT器102中,通过把频域的数据变换成空间区域的数据的IDCT(逆离散余弦变换)处理把该频率成分IQg变换为空间区域数据ITg。在把该空间区域数据ITg输入到加法器103时,该加法器103就进行该空间区域数据ITg和预测Mg1耳熟局的加法运算处理,该加法运算所得到的再生数据Rg1被作为完成了解码的图象数据(预测数据)Mg1存储在帧存储器104中,同时被作为解码数据输出。
接下来,说明上述再编码系统100a中的编码单元E1的动作。
首先,把从上述解码单元D1输出的再生数据Rg1输入到减法器105。减法器105求出来自解码单元D1的再生数据Rg1与该预测数据Mg2的差分值作为差分数据Dg。该差分数据Dg被输入到DCT器106;在DCT器106中,通过把空间区域数据变换为频域数据的DCT(离散余弦变换)处理,就把该差分数据Dg变换成为DCT系数(频率成分)Tg,该DCT系数Tg被输出到量化装置107。
在该量化装置107,根据来自速率控制装置113的量化控制信号Cq对来自DCT器106的DCT系数Tg实施量化处理。也就是说,在上述量化装置107的量化级导出器200中,根据上述量化控制信号Cq导出不同于上述解码单元内逆量化处理时的量化级的量化级。并且在量化器201中根据该导出来的量化级进行上述DCT系数Tg的量化处理。
该量化处理所得到的量化值Qg被输出到VLC器112和逆量化装置108。在VLC器112中,进行可变长编码处理,把来自上述量化装置107的量化值Qg变换为可变长代码,并把该可变长代码作为再编码数据Eg2输出。在速率控制装置113中,根据该VLC的输出Eg2生成上述量化控制信号Cq,并输出到上述量化装置107。
另一方面,在逆量化装置108中,对来自量化装置107的量化值Qg实施逆量化处理,然后把逆量化处理所得到的DCT系数IQg2输出到IDCT器109。在IDCT器109中,IDCT(逆离散余弦变换)处理把该DCT系数IQg2变换为空间区域数据ITg2,然后把该数据ITg2输出到加法器110。在该加法器110中,进行来自IDCT器109的输出数据ITg2和预测数据Mg2的加法运算处理。该加法运算处理所得到的再生数据Rg2被作为预测数据Mg2存储在帧存储器111内。
在图20所示的再编码系统100a中,虽然所输入的编码数据(比特流)和从该系统输出的编码数据成为对应于同一种编码方式(MPEG2方式)的数据,但是,上述再编码系统100a也可以把对应于H261规格、H263规格、MPEG1规格或MPEG2规格的编码数据变换为对应于MPEG4规格的编码数据。上述再编码系统100a也可以把对应于MPEG4规格的编码数据变换为对应于H263规格的编码数据。
可是,用原来的再编码系统和再编码再编码方法很难减小包含在再编码流内的量化误差。
也就是说,如上所述,输入到再编码系统100a内的编码数据Eg1是对图象数据实施包含量化处理在内的编码处理所得到的数据,所以,在编码数据Eg1中包含有量化误差。因此,对该编码数据Eg1实施解码处理和再编码处理所得到的再编码数据Eg2成为包含有上述编码数据Eg1内所包含的量化误差的数据。但是,使用再编码处理中的量化条件有可能使包含在再编码数据Eg2内的量化误差比包含在再编码数据Eg1内的量化误差显著地增大。
另外,用原来的再编码系统100a很难使编码误差最小化那样设定再编码处理中的量化级,下面对此进行详细说明。
图22是编码数据流的比特率与包含在编码数据流内的编码误差的关系图,在图22中,基于速率误差理论的两者的关系在2维坐标上用曲线C来表示。在该坐标中,横轴对应于比特率,纵轴对应于编码误差。
一般,在上述比特率和编码误差之间,上述速率误差理论的关系成立,根据比特率来决定编码误差的下限值。换言之,如果比特率高,编码误差就可以取更小的值,但是,如果比特率低。编码误差就不能取太小的值。
因此,进行直接编码处理即对未实施编码处理的图象信号进行编码处理来像以下那样决定最合适的量化级。
首先,根据对图象信号用预定的两个量化级实施包含量化处理的编码处理所得到的2组比特率和编码误差来求出对应于成为编码处理对象的图象的表示比特率和编码误差的关系式(指数函数),由该关系式可知对应于编码流比特率的编码误差的下限值。
然后,根据该关系式在对应于各帧(画面)的总比特数不超过帧目标比特数的范围内决定每一帧内编码误差最小的量化级。即决定实际编码误差最接近于对应于被允许的最大比特率的编码误差的下限值的量化级。
可是,这样的最合适的量化级的导出方法是基于表示比特率和编码误差的关系式(指数函数)的方法,而在不能导出该关系式的再编码处理中不能利用。
也就是说,再编码处理所得到的编码流中编码误差成为包含在输入流内的编码误差和由再编码处理所生成的编码误差的合成误差。这种情况下,因为包含在输入流内的编码误差不清楚,所以像上述直接编码处理那样,就不能求出表示比特率和编码误差的关系式(指数函数)。
而且,因为这样的量化级的导出方法是以帧(图象)为单位来决定量化级,所以不能有效地降低编码误差。
另外,上述量化级的导出方法是决定对成为编码处理的对象的对象画面(被处理帧)的编码误差变小的量化级,因此不能成为对应于MPEG中的画面间预测编码处理的量化级,下面简单地说明该问题。
图23是用来说明MPEG中的画面间预测编码处理的模式图,表示有包含I帧、P帧、B帧的并成为MPEG对应的编码处理的对象的代表性的运动图象的图象数据。
这里,I帧F(1)是对与该帧相对应的图象数据实施不参照对应于其他帧的图象数据的画面内编码处理的帧。P帧F(3)、F(5)是对与这些帧相对应的图象数据实施参照显示顺序比这些帧更靠前的编码处理完的帧的图象数据的画面间预测编码处理的帧。B帧F(2)、F(4)是对与这些帧相对应的图象数据实施参照显示顺序在这些帧前后的编码处理完的帧的图象数据的画面间预测编码处理的帧。而且在各帧F(1)~F(5)内,设定有显示时刻T1~T5(T1<T2<T3<T4<T5)。
这种情况下,对P帧F(3)的编码处理参照对应于I帧F(1)的图象数据来进行,对P帧F(5)、B帧F(2)、F(4)的编码处理时,参照对应于该P帧F(3)的图象数据。因此,伴随对P帧F(3)的编码处理的编码误差少,就会增大对帧F(2)、F(4)、F(5)的画面间预测编码处理时的预测误差。
换言之,在画面间预测编码处理时,仅仅设定使对帧F(3)的编码误差最小化那样对应于帧F(3)的量化级还不能有效地使参照对应于帧F(3)的图象数据进行编码处理的帧F(2)、F(4)、F(5)的编码误差最小化。
本发明就是为解决上述的问题而提出的解决方案,其目的是提供能够有效地抑制包含在编码数据内的量化误差的增大,同时对由图象数据的编码所得到的编码数据进行再编码处理的编码数据变换方法和再编码系统,以及存储了用计算机进行按该编码数据变换方法进行处理的程序的数据记录媒体。
本发明的目的是提供一种基于按照速率误差理论的比特率与编码误差的关系能够使编码误差最小化的再编码方法和再编码系统,以及存储了用计算机进行按该再编码方法进行编码处理的程序的数据记录媒体。
另外,本发明的目的是提供一种能够有效地使对应于进行画面间预测编码处理的帧的再编码误差最小化那样地对该画面间预测编码处理参照的帧进行再编码处理的再编码方法和再编码系统,以及存储了用计算机按该再编码方法进行编码处理的程序的数据记录媒体。
按照本发明(权利要求1)的编码数据变换方法,包含解码处理和再编码处理,上述解码处理把对图象数据实施包含第一正交变换处理和第一量化处理的编码处理所得到的第一编码数据按每编码单位进行解码生成解码数据,上述再编码处理按每编码单位对该解码数据进行编码生成第二编码数据;上述解码处理包含用上述第一量化处理中使用的第一量化级对上述从第一编码数据得到的量化系数进行逆量化的逆量化处理;上述再编码处理包含第二正交变换处理和第二量化处理,上述第二正交变换处理对上述解码数据实施正交变换而生成频域数据,上述第二量化处理根据上述第二编码数据和上述第一量化级导出第二量化级,并用该第二量化级对上述频域数据实施量化。
按照本发明(权利要求2)的编码数据变换方法,在权利要求1记载的编码数据变换方法中,上述第二量化处理包含候补导出处理和量化级导出处理,上述候补导出处理根据上述第二编码数据导出量化级候补,上述量化级导出处理根据该量化级候补和上述第一量化级导出上述第二量化级。
按照本发明(权利要求3)的编码数据变换方法,在权利要求2记载的编码数据变换方法中,在上述量化级导出处理中,当上述量化级候补具有大于上述第一量化级的值而小于该第一量化级的值的2倍的范围内的值时,导出具有与上述第一量化级的值相同的值的量化级或导出具有超过该第一量化级的值2倍的值的量化级作为上述第二量化级,并且上述量化级候补具有上述范围以外的值时,导出该量化级候补作为上述第二量化级。
按照本发明(权利要求4)的编码数据变换方法,在权利要求1记载的编码数据变换方法中,上述编码处理包含使用画面内象素值相关的第一画面内编码处理和使用画面间象素值相关的第一画面间编码处理;并用上述第一画面内编码处理进行第一画面内量化处理,用上述第一画面间编码处理进行第一画面间量化处理;上述再编码处理作为上述第二量化处理,包含使用画面内象素值相关的第二画面内编码处理和使用画面间象素值相关的第二画面间编码处理;并用上述第二画面内编码处理进行第二画面内量化处理,用上述第二画面间编码处理进行第二画面间量化处理;上述解码处理包含对应于上述画面内编码处理的画面内解码处理和对应于上述画面间编码处理的画面间解码处理,并用上述画面内解码处理进行画面内逆量化处理,用上述画面间解码处理进行画面间逆量化处理;上述第二量化处理包含平均量化级导出处理和量化级导出处理,上述平均量化级导出处理导出上述第一、第二画面内量化处理中的每个编码单位的量化级的平均值分别作为第一、第二画面内平均量化级,同时导出上述第一、第二画面间量化处理中的每个编码单位的量化级的平均值分别作为第一、第二画面间平均量化级;上述量化级导出处理根据上述各平均量化级和上述再编码数据导出上述第二量化级。
按照表发明(权利要求5)的编码数据变换方法,在权利要求4记载的编码数据变换方法中,用上述量化级处理导出上述第二量化级,使第二画面内平均量化级对上述第一画面内平均量化级的比率小于第二画面间平均量化级对上述第一画面间平均量化级的比率。
按照本发明(权利要求6)的再编码系统具有解码单元和再编码单元,上述解码单元接受按每个编码单位对图象数据实施包含第一正交变换处理和第一量化处理的编码处理所得到的输入编码数据,并按每编码单位对该输入编码数据进行解码生成解码数据;上述编码单元对该解码数据进行编码生成再编码数据;上述解码单元具有用上述第一量化处理中的第一量化级对上述从第一编码数据得到的量化系数进行逆量化的逆量化器;上述编码单元具有频率变换器和量化装置,上述频率变换器对上述解码数据实施第二正交变换而生成频域数据;上述量化装置用根据上述再编码数据和上述第一量化级导出的第二量化级对上述频域数据实施第二量化处理。
按照本发明(权利要求7)的再编码系统,在权利要求6记载的再编码系统中,上述逆量化器根据对上述输入编码数据实施编码处理是画面内编码处理还是画面间编码处理来进行对应于该各编码处理的画面内量化处理和画面间量化处理的一方的逆量化处理;上述量化装置具有第一级导出器、第二级导出器和量化级导出器,上述第一级导出器根据来自上述逆量化器的第一量化级把对应于画面内量化处理的逆量化处理中的每编码单位的量化级进行平均,作为画面内平均量化级而导出,上述第二级导出器根据来自上述逆量化器的第一量化级把对应于画面间量化处理的逆量化处理中的每编码单位的量化级进行平均,而导出画面间平均量化级,上述量化级导出器根据上述再编码数据、上述画面内平均量化级和画面间平均量化级导出第二量化级;并且,上述量化装置用该第二量化级对上述频域数据实施量化。
按照本发明(权利要求8)的数据记录媒体,存储有用计算机进行权利要求1记载的编码数据变换方法的数据变换程序。
按照本发明(权利要求9)的再编码方法,用再编码处理来对把图象信号进行编码所得到的输入数据流变换为比特率低于指定比特率的再编码数据流,包含解码处理、量化级各不相同的多个模拟编码处理、量化级导出处理和主编码处理;上述解码处理把上述输入数据流解码并生成解码数据流;上述多个模拟编码处理对上述解码数据流按每个编码单位顺序量化来进行编码;上述量化级导出处理根据上述各模拟编码处理得到的每个编码单位的比特数、由上述各模拟编码处理的编码误差的增加量以及上述指定比特率导出最合适的量化级使上述再编码数据流的比特率和指定比特率之差更小;上述主量化处理对上述解码数据流用该最合适的量化级行量化编码,并输出对应于上述输入数据流的再编码数据流。
按照本发明(权利要求10)的再编码方法,在权利要求9记载的再编码方法中,作为上述多个模拟编码处理,包含有对上述解码数据流用第一量化级进行量化编码的第一模拟编码处理和对上述解码数据流用大于上述第一量化级的第二量化级进行量化编码的第二模拟编码处理。
按照本发明(权利要求11)的再编码方法,在权利要求10记载的再编码方法中,在上述量化级导出处理中根据上述第一模拟编码处理所得到的每编码单位的比特数、上述第一模拟编码处理的编码误差的增加量、上述第二模拟编码处理所得到的每编码单位的比特数和上述第二模拟编码处理的编码误差的增加量来计算出再编码处理中编码误差的增加量的变化对每编码单位的比特数的变化的比例即再编码误差增加率,并根据对该每编码单位再编码误差增加量的大小来导出上述第一量化级和第二量化级的一方作为最合适的量化级。
按照本发明(权利要求12)的再编码方法,对把图象信号进行编码所得到的输入数据流按每个编码单位实施再编码处理,并把该输入数据流变换为比特率小于指定比特率的再编码数据流;还包含运算处理、解码处理、量化级各不相同的多个模拟编码处理、量化级最合适化处理和主编码处理;上述运算处理根据上述再编码处理的结果得到的数据计算对应于一幅画面的目标再编码误差增加率即由再编码处理增加的每编码单位编码误差对由再编码处理减少的每编码单位的比特数的比例;上述解码处理对上述输入数据流进行解码而生成解码数据流;上述多个模拟编码处理按每个编码单位对上述解码数据流顺序量化编码;上述量化级最合适化处理根据上述各模拟编码处理所得到的每编码单位的比特数、上述各模拟编码处理的编码误差的增加量和上述目标再编码误差增加率对每个编码单位导出最合适量化级;上述主编码处理用该最合适量化级对上述解码数据流进行量化编码,并输出对应于上述输入数据流的再编码数据流。
按照本发明(权利要求13)的再编码方法,在权利要求12记载的再编码方法中,作为上述多个模拟编码处理,包含用第一量化级量化编码上述解码数据流的第一模拟编码处理、用大于第一量化级的第二量化级量化编码上述解码数据流的第二模拟编码处理和用大于第二量化级的第三量化级量化编码上述解码数据流的第三模拟编码处理。
按照本发明(权利要求14)的再编码方法,在权利要求13记载的再编码方法中,上述量化级导出处理包含函数导出处理和量化级决定处理;上述函数导出处理根据由上述第一、第二和第三模拟编码处理生成的每个第一、第二和第三编码单位的比特数、上述第一、第二和第三模拟编码处理的第一、第二和第三编码误差增加量以及上述第一、第二和第三模拟编码处理中的第一、第二和第三量化级按每个编码单位导出再编码处理中的表示编码误差的增加量的变化对每个编码单位的比特数的变化的比例即再编码误差增加率与对应于各编码单位的量化级的关系的函数;上述量化级决定处理根据上述函数把对应于上述编码单位的再编码误差增加率与对应于上述一幅画面的目标再编码误差增加率一致的量化级决定为对各编码单位的最合适量化级。
按照本发明(权利要求15)的再编码方法,在权利要求14记载的再编码方法中,在上述量化级导出处理中,只有在对应于上述编码单位的再编码误差增加率小于上述对应于一幅画面的目标再编码误差增加率时,导出上述第一模拟编码处理中的量化级作为最合适量化级来取代上述量化级决定处理所得到的最合适量化级。
按照本发明(权利要求16)的再编码方法,在权利要求15记载的再编码方法中,在上述量化级导出处理中,在对应于上述编码单位的再编码误差增加率小于上述对应于一幅画面的目标再编码误差增加率以外时,导出上述第二量化级以上的值作为上述量化级决定处理所得到的最合适量化级的值。
按照本发明(权利要求17)的再编码系统,通过再编码处理把对图象信号进行编码所得到的输入数据流变换为比特率小于指定比特率的再编码数据流;设置有计算器、解码器、量化级各不相同的多个模拟编码部、量化级导出器和主编码器;上述计算器根据上述再编码处理的结果得到的数据和从本装置外部供给的指定比特率计算出对应于成为再编码处理对象的对象画面的目标比特数;上述解码器对上述输入数据流进行解码而生成解码数据流;上述多个模拟编码部按每个编码单位对上述解码数据流顺序量化并进行编码的模拟编码处理;上述量化级导出器根据上述各模拟编码部的处理所得到的每编码单位的比特数、上述各模拟编码部的处理的编码误差的增加量和对应于上述对象画面的目标比特数导出最合适量化级使上述再编码数据流的比特率与指定比特率之差小;上述主编码器用该最合适量化级对上述解码数据流进行量化编码,并输出对应于上述输入数据流的再编码数据流。
按照本发明(权利要求18)的再编码系统,在权利要求17记载的再编码系统中,上述多个模拟编码部设置有第一模拟编码部、第二模拟编码部和转换器上述第一模拟编码部对上述解码数据流实施包含按照第一量化级的量化处理的第一模拟编码处理,并输出该模拟编码处理所得到的每编码单位的比特数、该模拟编码处理的编码误差的增加量和上述第一量化级;上述第二模拟编码部对上述解码数据流实施包含由比上述第一量化级大的第二量化级的量化处理的第二模拟编码处理,并输出该模拟编码处理所得到的每编码单位的比特数、该模拟编码处理的编码误差的增加量和上述第二量化级;上述转换器选择上述第一量化级和第二量化级的一方;上述量化级导出器控制该转换器,以便根据由上述第一和第二模拟编码处理所得到的每编码单位的比特数以及上述第一和第二模拟编码处理的编码误差的增加量来计算出再编码处理中的编码误差增加量的变化对每编码单位的比特数的变化的比例即再编码误差增加率,并根据对应于该各编码单位的再编码误差增加率的大小上述转换器选择上述第一量化级和第二量化级的一方作为最合适量化级。
按照本发明(权利要求19)的再编码系统,对把图象信号进行编码所得到的输入数据流按每个编码单位实施再编码处理,并把该输入数据流变换为比特率小于指定比特率的再编码数据流;设置有计算器、解码器、量化级各不相同的多个模拟编码部、量化级导出器和主编码器;上述计算器根据上述再编码处理的结果得到的数据计算对应于一幅画面的目标再编码误差增加率即由再编码处理增加的每编码单位编码误差对由再编码处理减少的每编码单位的比特数的比例;上述解码器对上述输入数据流进行解码而生成解码数据流;上述多个模拟编码部按每个编码单位对上述解码数据流进行顺序量化编码的模拟编码处理;上述量化级导出器根据上述各模拟编码部的处理所得到的每编码单位的比特数、上述各模拟编码部的处理的编码误差的增加量和上述目标再编码误差增加率对每个编码单位导出最合适量化级;上述主编码器用该最合适量化级对上述解码数据流进行量化编码,并输出对应于上述输入数据流的再编码数据流。
按照本发明(权利要求20)的再编码系统,在权利要求19记载的再编码系统中,上述多个模拟编码部设置有第一模拟编码部、第二模拟编码部和第三模拟编码部;上述第一模拟编码部对上述解码数据流实施包含按照第一量化级的量化处理的第一模拟编码处理,并输出该模拟编码处理所得到的每编码单位的比特数、该模拟编码处理的编码误差的增加量和上述第一量化级;上述第二模拟编码部对上述解码数据流实施包含按照比第一量化级大的第二量化级的量化处理的第二模拟编码处理,并输出该模拟编码处理所得到的每编码单位的比特数、该模拟编码处理的编码误差的增加量和上述第二量化级;上述第三模拟编码部对上述解码数据流实施包含按照比第二量化级大的第三量化级的量化处理的第三模拟编码处理,并输出该模拟编码处理所得到的每编码单位的比特数、该模拟编码处理的编码误差的增加量和上述第三量化级。
按照本发明(权利要求21)的再编码系统,在权利要求20记载的再编码系统中,上述量化级导出器具有运算部和量化级选择部;上述运算部根据上述各模拟编码部的处理所得到的每编码单位的比特数和上述各模拟编码部的处理的编码误差的增加量,对每个编码单位计算出再编码处理中的编码误差增加量的变化对每编码单位比特数的变化的比例即再编码误差增加率;上述量化级选择部根据对应于各编码单位的再编码误差的增加率和上述目标再编码误差增加率的比较结果来选择上述第一、第二和第三量化级中的一个。
按照本发明(权利要求22)的再编码系统在权利要求20记载的再编码系统中,上述量化级导出器具有函数导出器和量化级计算器;上述函数导出器根据上述第一、第二和第三模拟编码处理所生成的每第一、第二和第三编码单位的比特数、上述第一、第二和第三模拟编码处理的第一、第二和第三编码误差增加量以及上述第一、第二和第三模拟编码处理中的第一、第二和第三量化级按每个编码单位导出在再编码处理中的表示编码误差的增加量的变化对每编码单位的比特数的变化的比例即再编码误差增加率与对应于各编码单位的量化级的关系的函数;上述量化级计算器根据上述函数计算出使对应于上述各编码单位的再编码误差增加率与对应于上述一幅画面的目标再编码误差增加率一致的量化级作为对各编码单位的最合适量化级。
按照本发明(权利要求23)的再编码系统,在权利要求22记载的再编码系统中,上述量化级导出器具有比较器和量化级选择部;上述比较器比较对应于上述各编码单位的再编码误差增加率和上述目标再编码误差增加率;上述量化级选择部根据该比较器的比较结果选择从上述量化级计算器计算出的量化级和上述第一量化级的一方,并把所选择出来的量化级作为最合适量化级输出。
按照本发明(权利要求24)的数据记录媒体,存储了用计算机执行权利要求9记载的再编码方法的数据变换程序。
按照本发明(权利要求25)的数据记录媒体,存储了用计算机执行权利要求12记载的再编码方法的程序。


图1是说明本发明实施例1的再编码系统10的方框图。
图2是说明构成上述实施例1的再编码系统10的量化装置151的方框图。
图3是说明构成上述实施例1的量化装置151的量化级导出器251的方框图。
图4是说明构成本发明的实施例2的再编码系统的量化装置152的方框图。
图5是说明构成上述实施例2的量化装置152的量化级导出器252的方框图。
图6是表示由上述实施例2的量化级导出器252得到的第二量化级Qs2与从构成上述实施例2的量化装置152的量化级候补导出器250输出的量化级候补Qsb的关系曲线。
图7是表示再编码处理的比特率和量化畸变(量化误差)的关系图。
图8是说明本发明的实施例3的再编码系统30的方框图。
图9是说明构成上述实施例3的再编码系统30的量化装置153的方框图。
图10是说明构成上述实施例3的量化装置153的量化级导出器273的方框图。
图11是说明本发明的实施例4的再编码系统40的方框图。
图12是表示在上述实施例4的再编码系统40中由解码图象数据Vdec的模拟编码处理产生的模拟编码误差与由该模拟编码处理产生的每编码单位的比特数(模拟编码比特数)的关系的曲线图。
图13是表示构成上述实施例4的再编码系统40的量化导出器U74的具体构成的方框图。
图14是导出上述实施例4中的各编码单位的最合适量化级的处理的说明图,分别表示该处理的流程(图(a))、1帧中的编码单位的排列(图(b))和对各编码单位设定最合适量化级Qd的状态(图(c))。
图15是说明本发明的实施例5的再编码系统50的方框图。
图16是表示构成上述实施例5的再编码系统50的量化级导出器U75的具体构成方框图。
图17是说明本发明的实施例6的再编码系统的方框图,表示着该再编码系统中的量化级导出器U76的构成。
图18是说明本发明的实施例7的再编码系统的方框图,表示着该再编码系统中的量化级导出器U77的构成。
图19是存储了用计算机进行上述实施例1~7的再编码系统的再编码处理的程序的数据记录媒体(图(a)、(b))和上述计算机系统(图(c))的说明图。
图20是说明原来的再编码系统100a的方框图。
图21是说明构成原来的再编码系统100a的量化装置107的方框图。
图22是表示编码数据流的比特率与包含在编码数据流内的编码误差关系的曲线。
图23是说明MPEG中的画面间预测编码处理的模式图。
首先说明本发明的着眼点最和基本原理。
像在现有技术中所说明的那样,被输入到再编码系统中的编码数据是对图象数据实施包含量化处理(第一量化处理)的编码处理所得到的数据,在该编码数据中包含有量化误差。
在再编码系统中,对上述编码数据实施包含逆量化处理的解码处理来生成解码数据,再对该解码数据实施包含再量化处理(第二量化处理)的编码处理来生成再编码数据。
本发明的发明人对在这样得到的再编码数据中根据再编码处理中的量化条件量化误差比包含在上述编码数据内的量化误差显著变大的问题重复进行研究,结果发现了上述编码数据中所包含的第二量化处理引起的量化误差的大小随第一量化处理中的量化级与第二量化处理中的量化级的大小关系显著变化。
以下用曲线图作简单说明。
图7是用2维坐标曲线表示再编码数据的比特率与包含在该再编码数据内的量化畸变的关系的曲线图。其中,横轴对应于比特率的大小,纵轴作为上述量化畸变对应于量化误差的倒数。实线A表示对应于对图象数据仅实施一次包含量化处理的编码处理所得到的编码数据(下称直接编码数据)的比特率与量化畸变的关系。虚线B表示对应于对上述直接编码数据实施再编码处理所得到的再编码数据的比特率与量化畸变的关系。
有实线A可知,在对图象数据进行一次量化处理的编码处理(直接编码处理)中,把编码处理中的量化级作为中间变量的比特率与量化畸变(量化误差)的倒数的函数几乎呈线性关系。另一方面,如虚线B所示,在对上述直接编码数据进行的再编码处理中,把再编码处理中的量化级作为中间变量的比特率与量化畸变(量化误差)的倒数的函数呈非线性关系。
例如,在用量化级的值(第一量化级值)QPi(QPi=QP)进行直接编码处理中的量化处理的情况下,把再编码处理中的量化级值(第二量化级值)QPr设定在规定范围(QP≤QPr≤2QP)内时,与把直接编码处理中的量化级值(第一量化级值)QPi设定在规定范围(QP≤QPi≤2QP)内时相比,量化误差显著增加。
具体地说,在其比特率高的情况下,即第一量化处理中的量化级值QPi与第二量化处理中的量化级值QPr的差小的情况下,再编码数据中的量化误差大;另一方面,在第二量化处理中的量化级值QPr大于2QP(QPi=QP)的情况下,即在再编码数据的比特率低的情况下,这次从实验判明了直接编码处理中的量化误差与再编码处理中的量化误差的差值几乎没有。
在用比第一量化处理的量化级更密的量化级进行第二量化处理的情况下,再编码数据中的量化误差的第一量化处理引起的量化误差比由第二量化处理引起的量化误差更大,不言而喻,即使用比第一量化处理中的量化级更密的量化级来进行第二量化处理,仅增加再编码数据中的比特率也不能减低量化误差。
因此,本发明者着眼于上述那样的再编码处理中的量化级和量化误差的关系,想出了在对图象数据实施直接编码处理得到的编码数据再编码处理中把该量化处理中的量化级值(第二量化级值)QPr取为大于包含在上述直接编码处理中的量化处理的量化级值(第一量化级值)QPi的2倍的方法来解决由上述再编码处理所得到的再编码数据的量化误差有可能比直接编码处理所得到的编码数据的量化误差显著增大的问题。
另外,在MPEG等编码方法中,对画面内编码处理和画面间编码处理的各个采用最合适化的量化处理,因此,画面内编码用的量化方法不同于画面间编码用的量化方法。而且,再编码处理发生的量化误差的大小与再编码处理中的量化方法存在着密切的关系。
例如,在画面内编码处理和画面间编码处理中,分别用相同的第一量化级进行遵照MPEG的量化处理,进一步对这些编码处理所得到的比特流分别进行再编码处理,这种再编码处理包含同样用第一量化级的k倍的第二量化级的第二量化处理,在这种情况下,按照画面内量化处理的量化误差比按照画面间量化处理的量化误差大,这次也用实验判明了这个问题。
因此,本发明的发明人想出了导出第二量化级的方法,以便使相对于画面内量化处理中的第一量化级的第二量化级的比率(再量化比率)小于画面间量化处理中的再量化比率。
而且,力图把上述再编码处理中的量化级Qrd设定得使量化误差最小化是很困难的,而本发明的发明人决心要解决这种课题并进行锐意研究,结果发现比特率与编码误差的关系虽然随编码方式或编码对象图象而变化,但是如果使对比特率的每单位变动量的编码误差的变动量(即图23所示的曲线C的斜率)对构成一帧的全部编码单位(例如由8×8象素构成的数据块或由16×16象素构成的宏数据块等)大体一定的话,那么,对应于一帧内的全部编码单位的编码误差的平均值就最小。
因此,按照本发明的再编码方法和再编码系统对输入的编码数据流按照每编码单位进行削减其比特率的量化编码的、量化级不同的多种模拟量化处理,然后求出对比特率的单位变动量的编码误差的变动量作为再编码误差增加率,对每编码单位决定量化级,使对应于各编码单位的再编码误差增加率尽可能一定。
下面用图1至图19说明本发明的实施例。
(实施例1)图1是说明本发明实施例的再编码系统10的方框图。
本实施例1的再编码系统10由解码单元Da1和编码单元Ea1构成。解码单元Da1接受对图象数据实施包含量化处理(第一量化处理)的编码处理所得到的编码数据Eg1,然后对该编码数据Eg1实施包含逆量化处理的解码处理,生成解码数据Rg1,编码单元Ea1对该解码数据Rg1实施包含再量化处理(第二量化处理)的编码处理(再编码处理),生成再编码数据Eg2。
本实施例1的再编码系统10的解码单元Da1设置有逆量化装置101a,用来取代原来的解码单元D1中的逆量化装置101,而且在进行对VLD(可变长解码)器100的输出Vg的逆量化处理的同时,向编码单元E1输出这时所使用的第一量化级Qs1。这里,上述逆量化处理中所使用的的第一量化级Qs1与对图象数据的量化处理(第一量化处理)中所使用的量化是级相同。本实施例1的再编码系统10的编码单元Ea1设置有量化装置151,用来取代原来的再编码单元E1中的量化装置107,并根据来自速率控制装置113的量化控制信号Cq和来自上述逆量化装置101a的第一量化级Qs1对DCT器106的输出Tg实施量化处理。
本实施例1的再编码系统10中的其他构成与原来的再编码系统100a一样。
图2是表示本实施例1的再编码系统10中的编码单元Ea1量化装置151的具体构成的方框图。
该量化装置具有量化级候补导出器250、量化级导出器251和量化器201,量化级候补导出器250根据来自速率控制装置113的量化控制信号Cq导出对成为编码处理对象的对象帧的编码比特数接近于对该对象帧的目标比特数的量化级候补Qsb,量化级导出器251根据该量化级候补Qsb和上述第一量化级Qs1导出第二量化处理中的量化级(第二量化级)Qs2,量化器201根据上述第二量化级Qs2对DCT器106的输出Tg实施量化处理并输出量化系数Qg。
图3是上述量化装置151中的量化级导出器251的具体构成的方框图。
该量化级导出器251具有比较器260和转换器261,比较器260比较来自上述量化级候补导出器250的量化级候补Qsb和来自逆量化装置101a的第一量化级Qs1,转换器261根据该比较器260的比较结果CP1选择输出上述量化级候补Qsb和上述第一量化级Qs1的一方;该量化级导出器251输出该转换器261的输出作为第二量化级Qs2。
具体地说,如果量化级候补Qsb未满第一量化级Qs1,上述转换器261就选择第一量化级Qs1,如果量化级候补Qsb大于第一量化级Qs1,上述转换器261就选择量化级候补Qsb。
下面来说明动作。
在该实施例1的再编码系统10中,一旦输入对图象数据实施包含量化处理的编码处理所得到的编码数据Eg1,其解码单元Da1就对该编码数据Eg1实施包含逆量化处理的解码处理来生成解码数据(再生数据)Rg1。在进行上述逆量化处理时,把上述量化处理时所用的第一量化级Qs1从逆量化装置101a输出到编码单元Ea1的量化装置151。
从上述解码单元Da1输出的再生数据Rg1被输入到上述编码单元Ea1时,其减法器105求出来自解码单元Da1的再生数据Rg1和其预测数据Mg2的差值,然后把该差值作为差分数据Dg输出到DCT器106。DCT器106通过DCT处理(离散余弦变换)把该差分数据Dg变换为DCT系数Tg,并把该DCT系数Tg输出到量化装置151。
上述量化装置151根据来自解码单元Da1的逆量化装置101a的第一量化级Qs1和来自速率控制装置113的量化控制信号Cq对来自DCT器106的DCT系数Tg实施量化处理(第二量化处理)。由该量化处理所得到的量化值(量化系数)Qg被输出到VLC器112和逆量化装置108。
而且,上述VLC器112进行进行可变长编码处理,把来自上述量化装置151的量化值Qg变换为可变长代码,并作为再编码数据Eg2输出该可变长代码。速率控制装置113根据该VLC器112的输出Eg2生成表示对对象帧的目标比特数的量化控制信号Cq,并输出到上述量化装置151。
另一方面,逆量化装置108对来自量化装置151的量化值Qg实施逆量化处理,并把由该逆量化处理得到的DCT系数IQg2输出到IDCT器109。在IDCT器109中由IDCT(逆离散余弦变换)处理把DCT系数IQg2该变换为空间区域数据ITg2,并输出到加法器110。在加法器110中进行来自IDCT器109的输出数据ITg2与上述预测数据Mg2的加法运算处理,由该加法运算处理得到的再生数据Rg2被存储在帧存储器111内作为预测数据Mg2。
以下用图2来说明上述量化装置151的动作。
从上述速率控制装置113输出的表示对成为编码处理对象的对象帧的目标比特数的量化控制信号Cq被输入到量化级候补导出器250。量化级候补导出器250导出对上述对象帧的编码比特数接近于对该对象帧的目标比特数的量化级候补Qsb,并把量化级候补Qsb输出到量化级导出器251。
于是,量化级导出器251就根据上述量化级候补Qsb和来自解码单元Da1的第一量化级QS1导出第二量化级Qs2,并把第二量化级Qs2输出到量化器201。该量化器201根据上述第二量化级Qs2对DCT器的输出Tg实施量化处理。
这时,用图3所示的上述量化级导出器251把上述量化级候补导出器250的输出Qsb(量化级候补)和解码单元Da1的逆量化装置101a的输出Qs1(第一量化级)输入到比较器260,上述比较器260对上述量化级候补导出器250的输出Qsb和上述逆量化装置101a的输出Qs1进行比较,并把比较结果CP1输出到转换器261。转换器261根据上述比较结果CP1选择上述量化级侯补导出器250的输出Qsb和上述逆量化装置101a的输出Qs1之一方,并作为第二量化级Qs2而导出。
这样,按照本实施例1的再编码系统,解码单元Da1中的逆量化装置101a在进行对VLD器100的输出Vg的逆量化处理同时,把该逆量化处理时所用的第一量化级Qs1输出到编码单元Ea1;编码单元Ea1中的量化装置151根据表示对对象帧的目标比特数的量化控制信号Cq和上述第一量化级Qs1用比上述第一量化级Qs1更大的量化级进行量化处理。所以,能够进行对编码数据Eg1的再编码处理,同时不招致比特数的增大,能够抑制量化误差的增加。
在该实施例1中,作为上述第二量化级Qs2,必要的话,使用根据上述量化控制信号Cq(目标比特数)得到的量化级候补Qsb和第一量化级之一方,所以,与仅使用量化级候补Qsb作为上述第二量化级Qs2的情况相比,再编码数据Eg2的每一帧的比特数对目标比特数略由增减,但是,该比特数的增减可以忽略不计。也就是说,在该实施例1中,按帧内的规定数的象素数构成的数据块单位而且用比第一量化级Qs1更大的量化级进行再编码处理中的量化处理。因此,在实际用途中,用重要的帧单位变动比特数的宏比特数的增减可以忽略用大于该实施例1中的第一量化级Qs1的量化级进行第二量化处理的这种构成不会妨碍该实施例1的速率控制,即根据再编码数据按照量化级来控制每一帧的比特数的反馈控制。
(实施例2)图4是说明构成本发明的实施例2的再编码系统的量化装置152的方框图。
本发明的实施例2的再编码系统中的量化装置152设置有量化级导出器252,用以取代实施例1中的量化装置151中的量化级导出器251,并把量化级候补Qsb与从第一量化处理中的量化级(第一量化级)Qs1得到的阈值Qth和该第一量化级Qs1常数倍所得到的常数倍值Qmu相比较,再根据该比较结果导出第二量化级Qs2。这里,上述阈值Qth是第一量化级Qs1的m倍,上述常数倍值Qmu取为第一量化级Qs1的n倍(n>m),具体地说,m是1.5,n是2。
本实施例2的再编码系统中的其他构成与实施例1的再编码系统10的完全相同。
图5表示构成该量化装置152的量化级导出器252。
上述量化级导出器252具有根据第一量化级Qs1导出阈值Qth(=m×Qs1)的阈值导出器262、比较该阈值Qth与在量化级候补导出器250生成的量化级候补Qsb并输出表示比较结果比较输出CP2的比较器263和根据该比较器263的输出CP2选择上述第一量化级Qs1和上述量化级候补Qsb之一方并作为选择量化级Qse输出的转换器264。这里,在上述比较器263的比较结果是量化级候补Qsb未满上述阈值Qth时,该转换器264输出第一量化级Qs1作为选择量化级Qse,量化级候补Qsb超过上述阈值Qth时,该转换器264输出该量化级候补Qsb作为选择量化级Qse。
上述量化级导出器252具有把第一量化级Qs1常数倍(n倍)并输出常数倍值Qmu(=n×Qs1)的常数倍器265、比较该常数倍值Qmu与来自上述量化级候补导出器250的量化级候补Qsb并输出表示比较结果的比较输出CP3的比较器266、根据该比较器266的比较输出CP3选择来自上述转换器264的选择量化级Qse和来自上述常数倍器265的常数倍值Qmu之一方并作为第二量化级Qs2输出的转换器267。这里,在上述比较器266的比较结果是量化级候补Qsb未满上述常数倍值Qmu时,该转换器267输出上述常数倍值Qmu作为第二量化级Qs2,量化级候补Qsb超过上述常数倍值Qmu时,该转换器267输出来自转换器264的选择量化级Qse作为第二量化级Qs2。
上述常数倍器265的倍数值n大于上述阈值导出器262的倍数值m,该阈值导出器262中的倍数值m可以用目标比特率或帧速率、量化方式等进行切换。
图6用曲线D来表示按照上述构成的量化级导出器252得到的第二量化级Qs2与从量化级候补导出器250输出的量化级候补Qsb的关系,其中m,n分别取为m=1.5,n=2。
由该曲线可知,在量化级导出器252中,如果量化级候补Qsb未满上述阈值Qth,就输出第一量化级Qs1作为第二量化级Qs2。如果量化级候补Qsb大于阈值Qth(1.5×Qs1),而小于上述常数倍值Qmu(=2×Qs1),就选择第一量化级Qs1的2倍(2×Qs1)作为第二量化级Qs2。另外,如果量化级候补Qsb大于上述常数倍值Qmu(=2×Qs1),就选择量化级候补Qsb作为第二量化级Qs2。
下面来说明动作。
在本实施例2的再编码系统中,构成该量化装置152的量化级导出器252以外的动作是与实施例1的再编码系统10中的相同。因此,下面仅详细说明量化级导出器252的动作。
在本实施例2的再编码系统中,对解码单元Da1中再生的数据Rg实施编码单元中包含的编码处理时,在量化装置152中,用量化级候补导出器250生成量化级候补Qsb。这样,量化级导出器252根据从解码单元Da1的逆量化装置101a供给的第一量化级Qs1得到的阈值Qth和常数倍值Qmu来选择上述第一量化级Qs1、常数倍值Qmu和量化级候补Qsb中的一个作为第二量化级Qs2。而且,量化器201根据该第二量化级Qs2对频域数据Tg实施量化处理。
以下,具体说明上述量化级导出器252的动作。
一旦把第一量化级Qs1从解码单元输入到上述量化级导出器252,阈值导出器262就进行第一量化级Qs1的m倍运算来导出规定的阈值Qth,并把该阈值Qth输出到比较器263。这样,比较器263就把来自量化级候补导出器250的量化级候补Qsb与来自阈值导出器262的阈值Qth相比较,并把表示该比较结果的比较输出CP2输出到转换器264。转换器264根据上述比较输出CP2来选择上述第一量化级Qs1和量化级候补Qsb之一方,作为选择量化级Qse,输出到转换器267。
这时,常数倍器265进行来自上述解码单元Da1的第一量化级Qs1的n倍运算,来生成常倍值Qmu,并把该常数倍值Qmu输出到转换器267和比较器266。该比较器266把来自量化级候补导出器250的量化级候补Qsb与来自常数倍器265的常数倍值Qmu相比较,并把表示该比较结果的比较输出CP3输出到转换器267。这样,上述转换器267根据上述比较输出CP3选择来自上述常数倍器265的常数倍值Qmu和在上述转换器264中选择的选择量化级Qse的一方作为第二量化级Qs2导出。
这样,在按照本实施例2的再编码系统中设置有根据再编码数据的比特率和该再编码数据内包含的量化畸变的关系导出量化级候补Qsb的量化级候补导出器250、根据该量化级候补Qsb和逆量化处理中所用的第一量化级Qs1导出再编码处理中的量化级(第二量化级)Qs2的量化级导出器252,在上述量化级候补Qsb具有从该量化级候补Qsb和第一量化级Qs1及其常数倍值Qmu的大小关系决定的最合适的范围内的值时,输出上述量化级候补Qsb作为第二量化级Qs2,在上述量化级候补Qsb具有该最合适的范围外的值时,输出第一量化级Qs1或其常数倍的量化级Qmu,所以能够进行对编码数据Eg1的再编码处理的同时不招致比特数的增大并有效地抑制量化误差的增大。
在本实施例2中,在上述量化级候补Qsb未满常数倍值Qmu(第一量化级Qs1的n倍)的情况下,以阈值Qth(m×Qs1)为基准把第一量化级Qs1或第一量化级Qs1的n倍即常数倍值Qmu的某一方作为第二量化级Qs2,但是也可以使上述阈值Qth变动。
例如变动上述阈值Qth,使第二量化级Qs2在上述第一量化级Qs1和上述第一量化级Qs1的n倍即常数信值Qmu之间频繁地转换,这样也能够提高把编码比特率作为规定的比特率的速率控制的应答性。
具体地说,使阈值Qth作如下的变动,根据求出的新的阈值Qth来决定量化级Qs2。
首先,求量化级候补Qsb的平均,作为目标的平均量化级Qt,再求第二量化级Qs2的平均,作为实际的平均量化级Qave。
在实际的平均量化级Qave大于目标的平均量化级Qt的情况下,换言之,在量化级候补Qsb平均成为小的值的情况下,把Qth′=Qth/2作为新的阈值。但是,在Qth′小于Qs1的情况下,取Qth′=Qth。
在实际的平均量化级Qave小于目标的平均量化级Qt的情况下,换言之,在量化级候补Qsb平均成为大的值的情况下,把Qth′=Qth+Qth/2作为新的阈值。但是,在Qth′小于Qmu的情况下,取Qth′=Qmu。
(实施例3)图8是说明实施例3的再编码系统30的方框图。
本实施例3的再编码系统30设置有量化装置153,以取代实施例1的编码单元Ea1中的量化装置151,该量化装置153分别导出对应于画面内编码处理和画面间编码处理的量化级,并用对应于各量化处理的量化级进行量化处理;对应于按数据块单位或按帧单位进行画面内编码处理和画面间编码处理的转换,在量化处理也在对应于画面内编码处理的量化处理(画面内量化处理)和对应于画面间编码处理的量化处理(画面间量化处理)之间转换。
图9是表示上述量化装置153结构的方框图。
该量化装置153具有画面内平均量化级导出器270和画面间平均量化级导出器271,画面内平均量化级导出器270根据在解码单元Da1中逆量化处理时所使用的第一量化级Qs1把对画面内量化处理中的各宏数据块的量化级在每一帧内进行平均,计算出所得到的值Qintra(第一画面内平均量化级QsI1),画面间平均量化级导出器271根据上述第一量化级Qs1把对画面内量化处理中的各宏数据块的量化级在每一帧内进行平均,计算出所得到的值Qinter(第一画面间平均量化级QsP1)。
在该量化装置153中具有画面内平均量化级导出器272a和画面间平均量化级导出器272b,画面内平均量化级导出器272a根据成为编码处理的对象的对象帧紧接在前的前帧之前的量化处理时所使用的第二量化级Qs2把对画面内量化处理中的各宏数据块的量化级在每一帧内进行平均,计算出所得到的值Qintra(第二画面内平均量化级QsI2),画面间平均量化级导出器272b根据上述第二量化级Qs2把对画面内量化处理中的各宏数据块的量化级在每一帧内进行平均,计算出所得到的值Qinter(第二画面间平均量化级QsP2)。
该量化装置153还具有量化级导出器273和量化器201,量化级导出器273参照上述第一、第二画面内平均量化级QsI1、QsI2以及上述第一、第二画面间平均量化级QsP1、QsP2,从作为量化控制信号Cq输入的目标比特数导出量化级Qs2,量化器201根据该第二量化级Qs2对来自DCT器106的输出Tg进行量化。
图10是表示量化级导出器273的具体构成的方框图。
该量化级导出器273具有帧目标比特数决定器710、宏数据块目标比特数决定器711和量化级决定器712,帧目标比特数决定器710根据上述第一画面内平均量化级QsI1和第一画面间平均量化级QsP1从对应于量化控制信号Cq表示的被处理宏数据块的目标比特数计算出对应于成为再量化处理的对象的被处理帧的目标比特数fCg,宏数据块目标比特数决定器711根据对被处理帧的目标比特数fCg和来自速率控制装置113的量化控制信号Cq对被处理宏数据块生成能使用的比特数mCg,量化级决定器712根据该比特数mCg、上述第二画面内平均量化级QsI2、第二画面间平均量化级QsP2和来自速率控制装置113的量化控制信号Cq决定对被处理宏数据块的量化级Qs2。
这里,设第一画面内平均量化级QsI1的值为Qintra,设第一画面间平均量化级QsP1的值为Qinter,分别设画面内编码帧、画面间编码帧的每一帧的编码比特数为Nintra、Ninter,设画面内再量化级与画面间再量化级的比为α×QintraQinter,该比值用来补正画面内编码处理和画面间编码处理中的再量化误差的比率。这样,因为量化级和编码比特数存在反比关系,所以,再量化后的画面内编码帧和画面间编码帧之间的每一帧的比特数的比就成为Nintra/αNinter。这里,α为满足0<α<1的值。
而且,上述帧目标比特数决定器710生成每一帧的目标比特数fCg,其中与再编码处理输出的每单位时间的比特数有关的画面内编码帧和画面间编码帧之间的比率就成为Nintra/α×画面内编码帧数Ninter×画面间编码帧数。
宏数据块目标比特数决定器711从由帧目标比特数决定器710导出的每一帧的目标比特数fCg中减去被处理帧中的对已处理宏数据块的编码处理中发生了的比特数,再用未处理的宏数据块数除对应于该被处理帧的剩余比特数(即对该被处理帧中的未处理宏数据块的编码处理能够使用的比特数),然后把所得到的比特数作为被编码宏数据块中能使用的比特数并输出到宏数据块量化级决定器712。
一般,对应于宏数据块的比特数与量化级之间存在下述关系。
画面内编码量化级=Kintra/被编码宏数据块中能够使用的比特数 (式A)画面减编码量化级
=Kinter/被编码宏数据块中能够使用的比特数 (式B)这里,Kintra和Kinter是常数。画面内编码量化级是在画面内编码处理的量化处理(画面内量化处理)中对成为处理对象的各宏数据块所用的量化级,画面间编码量化级是在画面间编码处理的量化处理(画面间量化处理)中对成为处理对象的各宏数据块所用的量化级。
上述宏数据块量化级决定器712根据来自速率控制器113的目标比特数Cg、画面内平均量化级QsI2、画面间平均量化级QsP2按照下述公式(式C)和(式D)对每个宏数据块求出Kintra和Kinter的值。然后,用所得到的Kintra和Kinter的值更新上述(式A)或(式B)中的Kintra和Kinter,把对被编码宏数据块能使用的比特数代入这些(式A)和(式B)来导出对应于各宏数据块的Qs2量化级。
Kintra=画面内平均量化级×(完成画面内编码比特数/完成画面内编码宏数据块数)(式C)Kinter=画面间平均量化级×(完成画面间编码比特数/完成画面间编码宏数据块数)(式D)下面来说明效果。
在MPEG等的编码方式中,在利用画面内象素值相关的画面内编码处理和利用画面间象素值相关的画面间编码处理之间按宏数据块单位或帧单位转换对图象信号(图象数据)的编码处理。在上述编码处理时,也在对应画面内编码处理的方式和对应画面间编码处理的方式之间转换量化方式。
可是,由于随根据量化方式的不同由再编码处理所生成的量化误差也不相同,所以,为了降低再编码畸变就必须导出对应于编码处理种类的量化级。
特别是在MPEG方式中,对由画面内编码处理所得到的画面内编码数据和由画面间编码处理所得到的画面间编码数据进行再编码处理时,对这些编码数据用同样的量化级实施量化处理的情况下,对画面内编码数据的再编码误差有大于对画面间编码数据的再编码误差的倾向。
因此,在对画面内编码数据的再编码处理中,必须用比对画面间编码数据的再编码处理更密的量化级(即更小的量化级)来进行再编码处理。而且,由对画面内编码数据的再编码处理产生的比特数必须成为目标比特数。
总之,在该实施例3的量化级导出器273中,根据画面内平均量化级导出器270和画面间平均量化级导出器271的输出即平均量化级来预测量化器201进行的量化处理中的画面内量化级和画面间量化级,同时预测对应于由再编码处理产生的一帧的比特数。而且,在量化级导出器273中,根据这些预测值来决定上述画面内编码量化级和画面间编码量化级,使对应于各帧的比特数平均成为规定的比特数,但是画面内编码量化级要比画面间编码量化级更密。
在画面内平均量化级导出器272a和画面间平均量化级导出器272b中,计算出在量化级导出器273中分别作为第二量化级导出的画面内量化级和画面间量化级的平均值。进而在量化级导出器273中,根据这些平均值来补正表示对应于在第二量化级的导出处理中所必要的各宏数据块的目标比特数和量化级的关系的关系式(上述(式A)和(式B))。
以下来说明本实施例3的再编码系统的具体动作。
在本实施例3的再编码系统中,构成其编码单元Ea1的量化装置153以外的动作与实施例1的再编码系统10中的动作一样。因此,下面来说明量化装置153的动作。
在本实施例3的再编码系统中,对解码单元Da1中生成的数据Rg实施包含在编码单元Ea1中的量化处理的编码处理时,量化装置153分别导出对应于量化级导出器273中的画面内编码处理和画面间编码处理的各处理的第二量化级Qs2,并根据该第二量化级实施对频域数据Tg的量化处理。
也就是说,从解码单元Da1把第一量化级Qs1输入到上述量化装置153时,画面内平均量化级导出器270和画面间平均量化级导出器271用所输入的第一量化级Qs1分别导出第一画面内平均量化级QsI1和第一画面间平均量化级QsP1,并把这些量化级QsI1和QsP1输出到量化级导出器273。
上述量化级导出器273参照上述两量化级QsI1和QsP1以及对再编码处理完的帧的第二画面内平均量化级QsI2和第二画面间平均量化级QsP2,并根据用量化控制信号Cq表示的目标比特数来导出第二量化级Qs2,然后输出到量化器201。
这样,该量化器201就根据所导出的第二量化级Qs2对来自编码单元Ea1中的DCT器106的频域数据Tg实施量化处理。而且,画面内平均量化级导出器272a和画面间平均量化级导出器272b根据上述量化级导出器273的输出Qs2分别计算出上述第二画面内平均量化级QsI2和第二画面间平均量化级QsP2。
以下用图10来详述上述量化级导出器273的动作。
一旦把来自画面内平均量化级导出器270的第一画面内平均量化级QsI1和来自画面间平均量化级导出器271的第一画面间平均量化级QsP1输入到上述量化级导出器273,帧目标比特数决定器710就根据这些量化级QsI1和QsP1从对来自速率控制装置113的量化控制信号Cq表示的各宏数据块的目标比特数算出每一帧的目标比特数fCg,并输出到宏数据块目标比特数决定器711。
该宏数据块目标比特数决定器711首先根据量化控制信号Cq算出被处理帧中的已经处理的宏数据块的编码处理中产生的比特数和未处理的宏数据块的数。然后,宏数据块目标比特数决定器711根据来自上述帧目标比特数决定器710的每一帧的目标比特数fCg从该目标比特数fCg中减去在上述被处理帧中的已经处理的宏数据块的编码处理时发生的比特数,来计算出该被处理帧的剩余比特数。再把所算出的上述被处理帧的剩余比特数除以上述未处理的宏数据块的数。这样所得到的比特数作为被处理的宏数据块中能够使用的比特数mCg,并输出到宏数据块量化级决定器712。
一旦输入了被处理的宏数据块中能够使用的比特数mCg,该宏数据块量化级决定器712就参照速率控制装置113的输出即量化控制信号Cq、画面内平均量化级导出器272a的输出即第二平均量化级QsI2和画面间平均量化级导出器272b的输出即第二平均量化级QsP2,根据对应于宏数据块的比特数与量化级的关系(上述(式A)~(式D))导出对被处理宏数据块的量化级Qs2。
这样,在按照本实施例3的再编码系统30中,用量化级导出器273导出对应于各宏数据块的第二量化级,来补正画面内编码处理和画面间编码处理中的再量化误差的比率,所以,能够进行包含画面内编码处理和画面间编码处理的再编码处理,同时能够有效地抑制量化误差的增大。
(实施例4)图11是说明本发明的实施例4的再编码系统的方框图。
本实施例4的再编码系统40具有解码器U1、第一模拟编码器U2a和第二模拟编码器U2b,解码器U1对输入数据流Vin按每编码单位实施包含逆量化处理的解码处理,并输出解码图象数据(解码数据流)Vdec,同时输出该逆量化处理中所使用的量化级Qin,第一模拟编码器U2a参照参照画面的图象数据按每编码单位对上述解码图象数据Vdec实施包含按量化级Qa进行的量化处理和局部解码处理的第一模拟编码处理,第二模拟编码器U2b参照画面的图象数据按每编码单位对上述解码图象数据Vdec实施包含按比上述量化级Qa更大的量化级Qb进行的量化处理和局部解码处理的第二模拟编码处理。上述输入数据流Vin是对图象数据按其每编码单位实施包含量化处理的编码处理所得到的图象数据。上述编码单位作为由一幅画面(帧)中的16×16象素构成的区域(宏数据块)。
这里,上述第一模拟编码器U2a输出由包含在上述第一模拟编码处理中的局部解码处理所得到的局部解码图象数据Vstra,同时按每编码单位输出包含在该模拟编码处理中的量化处理中所使用的对应于各编码单位的量化级Qa、由该模拟编码处理生成的对应于各编码单位的编码误差(模拟编码增加误差)Da和由该模拟编码处理发生的每编码单位的比特数(模拟编码比特数)Ra。上述第二模拟编码器U2b输出由包含在上述第二模拟编码处理中的局部解码处理所得到的局部解码图象数据Vstrb,同时按每编码单位输出包含在该模拟编码处理中的量化处理中所使用的量化级Qb、由该模拟编码处理生成的编码误差(模拟编码增加误差)Db和由该模拟编码处理发生的每编码单位的比特数(模拟编码比特数)Rb。
上述再编码系统40还具有存储上述第一模拟编码器U2a输出的局部解码图象数据Vstra的第一模拟存储器U3a和存储上述第二模拟编码器U2b输出的局部解码图象数据Vstrb的第二模拟存储器U3b。
上述再编码系统40具有量化级导出器U74,该量化级导出器U74根据上述第一模拟编码器U2a输出的量化级Qa、模拟编码增加误差Da和模拟编码比特数Ra、第二模拟编码器U2b输出的量化级Qb、模拟编码增加误差Db和模拟编码比特数Rb、被分配到各帧(画面)的比特数(帧目标比特数)Rd选择输出上述量化级Qa和Qb之一方作为对应于各编码单位的最合适量化级Qd。具体地说,该量化级导出器U74按每编码单位从上述量化级Qa、Qb、模拟编码增加误差Da、Db和模拟编码比特数Ra、Rb求出再编码误差增加率λ,并选择上述量化级Qa和Qb之一方作为对应于各编码单位的量化级,使对应于各编码单位的再编码误差增加率尽可能一定。
上述再编码系统40具有主编码器U2d、主存储器U3d和帧目标比特数计算器U6,主编码器U2d参照参照画面的图象数据对上述解码图象数据Vdec实施用量化级Qd的量化处理和局部编码处理,并输出再编码数据流Vout,同时输出由该局部解码处理所得到的局部解码图象数据Vstrd,主存储器U3d存储该局部解码图象数据Vstrd,帧目标比特数计算器U6根据由外部供给的目标比特率Rate和再编码数据流Vout的比特率计算出上述帧目标比特数Rd。
这里,上述第一模拟存储器U3a存储来自上述第一模拟量化器U2a的局部解码图象数据Vstra,并在对接在被处理画面之后的未处理画面的模拟编码处理时把该存储了的图像数据作为参照画面的图象数据(参照画面数据)Va输出到上述第一模拟编码器U2a。上述第二模拟存储器U3b存储来自上述第二模拟量化器U2b的局部解码图象数据Vstrb,并在对接在被处理画面之后的未处理画面的模拟编码处理时把该存储了的图像数据作为参照画面的图象数据(参照画面数据)Vb输出到上述第二模拟编码器U2b。另外,上述主存储器U3d在对接在被处理画面之后的未处理画面的再编码处理时把上述被存储的局部解码数据Vstrd作为参照画面的图象数据(参照画面数据)Vrefd输出到上述主编码器U2d,同时,在对接在被处理画面之后的未处理画面的第一、第二模拟编码处理把上述被存储的局部解码数据Vstrd作为参照画面的图象数据(参照画面数据)Vrefa、Vrefb输出到上述第一、第二模拟编码器U2a、U2b。
这样,由于在主存储器U3d中存储着对应于实际输出的再编码数据流的局部解码图象数据,所以,对于存储在主存储器U3d内的各编码完的图象数据中的存储在第一、第二模拟存储器U3a、U3b内的编码完的图象数据和对应于同一画面的图象数据来说,上述第一、第二模拟编码器U2a、U2b就参照存储在主存储器U3d中的各编码完的图象数据Vrefa、Vrefb来取代存储在第一、第二模拟存储器U3a、U3b内的编码完的图象数据Va、Vb。
下面来说明该实施例4的量化级导出器U74中所用的再编码误差增加率λ1。
图12说明的是上述再编码系统40的第一、第二模拟编码器U3a、U3b的解码图象数据Vdec的模拟编码处理所产生的模拟编码误差与该模拟编码处理所发生的每编码单位的比特数(模拟编码比特数)的关系。
这里,包含在各模拟编码器所生成的模拟编码数据流内的实际编码误差Dra、Drb就成为包含在输入数据流Vin内的编码误差Din与各模拟编码处理产生的模拟编码误差Da、Db之和。
也就是说,对解码图象数据Vdec实施包含量化级Qa的量化处理的第一模拟编码处理所得到的第一模拟编码数据流内包含的实际编码误差Dra用以下公式1来表示。
Dra=Din+Da(式1)对解码图象数据Vdec实施包含量化级Qb的量化处理的第二模拟编码处理所得到的第二模拟编码数据流内包含的实际编码误差Drb用以下公式2来表示。
Drb=Din+Db(式2)因此,包含在上述第一、第二模拟编码数据流内的实际的编码误差的差分ΔDab由下式3来表示。但是,由于第二模拟编码处理中的量化级Qb大于第一模拟编码处理中的量化级Qa,所以由第二模拟编码处理产生的编码误差Db就大于由第一模拟编码处理产生的编码误差Da。
ΔDab=Drb-Dra=(Din+Db)-(Din+Da)=Db-Da(式3)上述第一、第二模拟编码处理所得到的每编码单位的比特数(第一、第二模拟编码比特数)Ra、Rb的差分ΔRab用以下式4来表示。但是,由于第二模拟编码处理中的量化级Qb大于第一模拟编码处理中的量化级Qa,所以第二模拟编码编码比特数Rb就小于第一模拟编码比特数Ra。
ΔRab=Ra-Rb (式4)因此,上述再编码误差增加率(比特率的每单位变动量的模拟编码比特数的变动量)λ1由以下的公式5来表示。
λ1=ΔDab/ΔRab=(Db-Da)/(Ra-Rb)(式5)一般,如果编码处理中的量化级变大,编码数据流中的每单位比特数的编码误差的变动量就变大。
因此,在每编码单位中选择第一模拟编码处理中的量化级Qa和第二模拟编码处理中的量化级Qb的一方作为最合适量化级Qd的量化级导出器U74中,为使上述再编码误差增加率λ1在一帧中的各编码单位之间尽量成为同值的误差最小化的条件,对于上述再编码误差增加率λ1小的编码单位来说是用大的一方的量化级Qb作为最合适量化级Qd,对于上述再编码误差增加率λ1大的编码单位来说是用小的一方的量化级Qa为最合适量化级Qd。
图13是构成上述实施例4的再编码系统40的量化级导出器U74的具体构成的方框图。
上述量化级导出器U74具有比特数减法器U8b和误差减法器U9b,比特数减法器U8b接受由来自上述第一、第二模拟编码器U2a、U2b的由第一、第二模拟编码处理产生的对应于各编码单位的第一、第二模拟编码比特数Ra、Rb,并计算出这些模拟编码比特数的差分作为模拟编码比特数增加量ΔRab,误差减法器U9b接受来自上述第一、第二模拟编码器U2a、U2b的对应于各编码单位的模拟编码误差(再编码增加误差)Da、Db,并计算出这些再编码增加误差的差分作为模拟编码误差增加量ΔDab。
上述量化级导出器U74具有除法器U10b、选择转换器U14和最小误差选择器U20,除法器U10b把模拟编码误差增加量ΔDab除以模拟编码比特数增加量ΔRab,导出对应于各编码单位的再编码误差增加率λ1,选择转换器U14根据控制信号Qse1选择来自上述第一、第二模拟编码器U2a、U2b的对应于各编码单位的量化级Qa、Qb之一方,作为对应于成为处理对象的编码单位的最合适化量化级进行输出,最小误差选择器U20在各编码单位间比较再编码误差增加率λ1的大小,用控制信号Qse1控制上述选择转换器U14,使帧比特数(1帧的再编码数据流中的比特数)成为帧目标比特数Rd。
下面来说明动作。
一旦把输入数据流供给该再编码系统40,解码器U1就对编码数据流即输λ数据流Vin实施包含逆量化处理的解码处理,并按每编码单位输出解码数据流(解码图象数据)Vdec和上述逆量化处理中的量化级Qin。
而且,在第一模拟编码器U2a中,参照存储在第一模拟存储器U3a中的参照画面数据Va或存储在主存储器U3d中的参照画面数据Vrefa,对成为处理对象的对象画面的解码数据流Vdec按每编码单位实施包含用量化级Qa的量化处理和局部解码处理的第一模拟编码处理。上述量化级Qa被设定得小于上述逆量化处理中所用的量化级Qin,这样,从上述第一模拟编码器U2a输出局部解码图象数据Vstra的同时,输出上述量化级Qa、模拟编码比特数Ra和模拟编码误差Da。
同样,在第二模拟编码器U2b中,参照存储在第二模拟存储器U3b中的参照画面数据Vb或存储在主存储器U3d中的参照画面数据Vrefb,对成为处理对象的对象画面的解码数据流Vdec实施包含用量化级Qb的量化处理和局部解码处理的第二模拟编码处理。上述量化级Qb被设定得不小于上述第一模拟编码处理中包含的逆量化处理中的量化级Qin,且大于上述量化级Qa。这样,从上述第二模拟编码器U2b输出局部解码图象数据Vstrb的同时,输出上述量化级Qb、模拟编码比特数Rb和模拟编码误差Db。
这时,把上述局部解码图象数据Vstra、Vstrb存储在上述第一、第二模拟存储器U3a、U3b中作为对应于编码处理完的画面(帧)的图象数据。这样,存储在第一、第二模拟存储器U3a、U3b中的图象数据在对应于未处理的画面的解码数据的编码处理时就被用作上述参照画面数据Va、Vb。
而且,在上述量化级导出器U74中,根据来自上述第一、第二模拟编码器U2a、U2b的量化级Qa、Qb、模拟编码比特数Ra、Rb和模拟编码误差Da、Db,进行导出对应于各编码单位的最合适量化级Qd的处理,使对应于成为处理对象对象画面的编码比特数不超过帧目标比特数Rd。
该最合适量化级Qd被供给主编码器U2d,并在该主编码器U2d中参照存储在主编码器U3d内的参照画面数据Vrefd,对上述解码图象数据Vdec实施包含用Qd量化级的量化处理和局部解码处理的再编码处理。这样,从主编码器U2d输出再编码数据流Vout的同时,输出局部解码图象数据Vstrd。
这时,上述局部解码图象数据Vstrd被存储在上述主存储器U3d内作为对应于编码处理完的画面(帧)的图象数据。在对应于未处理画面的图象数据的再编码处理时,这样存储在主存储器U3d内的图象数据被用作为上述参照画面数据Vrefd,而且,在对应于未处理画面的图象数据的第一、第二模拟编码处理时也被用作为上述参照画面数据Vrefa、Vrefb。
因为在主存储器U3d中存储着对应于实际输出的再编码数据流Vout的局部解码图象数据,所以,在上述第一、第二模拟编码器U2a、U2b中,对于存储在主存储器U3d中的各编码完的画面图象数据中的存储在第一、第二模拟存储器U3a、U3b内的编码完的画面的图象数据和对应于同一画面的图象数据来说,使用存储在主存储器U3d内的各编码完的画面图象数据作为参照图象数据Vrefa、Vrefb,取代存储在第一、第二模拟存储器U3a、U3b中的编码完的画面图象数据(参照图象数据)。
上述再编码数据流Vout被供给帧目标比特数计算器U6,并在该计算器U6中根据再编码数据流Vout的比特率和从外部供给的目标比特率Rate计算对应于接在处理完画面后的处理对象画面的帧目标比特数Rd,并输出到上述量化级导出器U74。
以下,来说明上述量化级导出器U74的具体动作。
首先,比特数减法器U8b从第一模拟编码比特数Ra中减去第二模拟编码比特数Rb,计算出这些模拟编码比特数的差分(模拟编码比特数变动量)ΔRab。误差减法器U9b从来自上述第二模拟编码器U2b的模拟编码误差Db中减去来自上述第一模拟编码器U2a的模拟编码误差Da,计算出这些模拟编码误差的差分(模拟编码误差变动量)ΔDab。除法器U10b再把模拟编码误差变动量ΔDab除以模拟编码比特数变动量ΔRab,得出上述再编码误差增加率λ1。
在最小误差选择器U20内进行在各编码单位之间的再编码误差增加率λ1大小的比较,根据上述比较处理结果,把控制信号Qse1输出到选择转换器U14,该控制信号Qse1用来按每编码单位选择来自上述第一、第二模拟编码器U2a、U2b的量化级Qa、Qb之一方,使帧比特数(1帧的再编码数据流内的比特数)不超过帧目标比特数Rd。
该选择转换器U14根据上述控制信号Qse1按每编码单位选择上述量化级Qa、Qb之一方,并把所选择的量化级作为最合适量化级Qd输出。
下面来说明最小误差选择器U20上述的具体动作。
图14是由上述最小误差选择器U20导出各编码单位的最合适量化级的处理的说明图。图14(a)表示该量化级导出处理的流程图,图14(b)表示一幅画面(1帧)中的编码单位的排列。图14(c)模式式地表示把对应于一帧内的各编码单位的最合适量化级Qd设定为上述第一、第二模拟编码处理中的量化级Qa、Qb的某一个的状态。
这里,编码单位取作一幅画面(帧)中的16×16象素构成的显示区域(宏数据块),1帧中的宏数据块的数目设为n个。把表示对应于1帧中的第i(i=1,2,…,n)宏数据块B[i]的量化级设为Q[i],把对对应于1帧中的第i宏数据块B[i]的解码图象数据实施包含用量化级Qa、Qb进行的量化处理的模拟编码处理所得到的模拟编码比特数分别设为Ra[i]、Rb[i]。以下在有关图4的说明中把宏数据块简单地称作数据块。
在上述最小误差选择器U20中在决定成为处理对象的对象画面(被处理帧)中的各数据块的最合适量化级的处理中,首先求出对各数据块B[i]的解码图象数据实施包含用量化级Qa、Qb进行的量化处理的第一、第二模拟编码处理情况下的第一、第二模拟编码比特数Ra[i]、Rb[i],然后算出被处理帧中的全部数据块的第一模拟编码比特数Ra[i]的和R(=∑Ra[i])(步骤S1)。
接下来,对于被处理帧中的全部数据块,把表示对应的量化级的变量Q[i]用上述量化级Qa初始化(步骤S2)。即在该时刻,暂时使对应于被处理帧中的各数据块B[i]的量化级Q[i]全部成为Qa(Q[i]=Qa)。结果,被处理帧中的全部数据块的模拟编码比特数Ra[i]的和R就成为R=∑Ra[i]。
此后,该量化级Q[i]是Qa,并且进行检索再编码误差增加率λ1(=(Db-Da)/(Ra-Rb))成为最小值的数据块B[k]的处理(步骤S3)。
接下来,把检索处理所找到的数据块B[k]的量化级Q[k]从量化级Qa变更为比其大的量化级Qb,并把被处理帧中的全部数据块的模拟编码比特数的和R更新为R+Rb[k]-Ra[k](步骤S4)。
然后,判断上述被处理帧中的全部数据块的模拟编码比特数的和R是否大于帧目标比特数Rd(步骤S5)。如果该判断结果是模拟编码比特数的和R大于帧目标比特数Rd,就再次重复进行上述步骤S3~步骤S5。另一方面,如果上述步骤S5的判断结果是模拟编码比特数的和R小于帧目标比特数Rd,就输出该时刻的被处理帧中的各数据块的量化级Q[i]的值(Qa或Qb)(参照图14(c))作为对应于各数据块的最合适量化级Qd(步骤S6)。
这样,在本实施例4的再编码系统40中,由于设置有对解码输入数据流所得到的被处理帧对应的解码图象数据(解码数据流)Vdec按每编码单位实施包含预先用量化级Qa、Qb进行的量化处理的第一、第二模拟编码处理的第一、第二模拟编码器U2a、U2b,并从该各模拟编码处理的结果求出对应于各再编码误差增加率λ1,然后按顺序从被处理帧中的再编码误差增加率λ1小的编码单位分配上述两量化级中的大的量化级Qb,使被处理帧中的全部编码单位的编码比特数是总和不超过目标比特数Rd,再把小的量化级Qa分配到被处理帧中的其余编码单位,所以,就使对应于被处理帧中的各编码单位的再编码误差增加率接近于一定值。即使在不知道这样输入的数据流Vin中包含的编码误差的再编码处理中也能够减小再编码误差,并且能够抑制由再编码数据流Vout再生的图象质量的劣化。
在上述实施例4中,虽然把编码处理的单位设为宏数据块(由1帧中的16×16象素构成),但是编码处理的单位并不限定于上述的MPEG中的宏数据块。例如上述编码处理的单位也可以是构成上述宏数据块的8×8象素构成的子数据块或由多个上述宏数据块构成的数据片。
在上述的实施例4中,作为再编码系统,用第一、第二模拟编码器U2a、U2b仅对主编码器U2d中的成为再编码处理的对象的帧进行包含量化处理的模拟编码处理,但是,上述再编码系统的构成并不局限于此。
例如在进行MPEG中的画面减预测编码处理的情况下,再编码系统不仅用第一、第二模拟编码器U2a、U2b对主编码器U2d中的成为再编码处理对象的被处理帧实施模拟编码处理,而且在再编码处理时,也可以对用该被处理帧作为参照帧的其他帧实施模拟编码处理。
总之,在这样构成的再编码系统中,具体地说,在主编码器U2d中,在对设定图24所示的显示时刻T3的P帧F(3)的再编码处理的情况下,在上述第一、第二模拟编码器U2a、U2b中,不仅对该P帧F(3)实施模拟编码处理,而且也对设定显示时刻T2、T4的B帧F(2)、F(4)以及的设定显示时刻T5的P帧F(5)实施模拟编码处理。对各帧F(2)~F(5)中的全部编码单位计算对应的模拟编码增加误差Da、Db和模拟编码比特数Ra、Rb,并求出再编码误差增加率λ1。另外,在上述帧F(3)中的各编码单位内,根据对应于各帧F(2)~F(5)中的全部的每个编码单位的再编码误差增加率λ1设定上述量化级Qa、Qb之一方作为最合适量化级。
这种情况下,设定对应于帧F(3)中的各编码单位的最合适量化级使对应于帧F(3)、F(2)、F(4)、F(5)的编码误差最小化。
这里,不言而喻,P帧F(3)是对B帧F(2)、F(4)和P帧F(5)的画面间编码处理时参照该图象数据的帧。
(实施例5)图15是说明本发明的实施例5的再编码系统的方框图。
本实施例5的再编码系统除上述实施例4的再编码系统40中的第一、第二模拟编码器U2a、U2b,还具有第三模拟编码器U2c,该第三模拟编码器U2c参照参照画面的图象数据对来自上述U1的图象解码数据(解码数据流)Vdec按每编码单位实施包含用比上述量化级Qb更大的Qc的量化处理和局部解码处理的第三模拟编码处理。该第三模拟编码器U2c输出包含上述第三模拟编码处理的局部解码处理所得到的局部解码图象数据Vstrc,同时,把包含该模拟编码处理的量化处理所用的量化级Qc、由该模拟编码处理产生的编码误差(模拟编码误差)Dc以及由该模拟编码处理发生的模拟编码比特数Rc输出到每个编码单位。
除上述实施例4的再编码系统40中的第一、第二模拟存储器U3a、U3b之外,该再编码系统50还具有第三模拟存储器U3c,该第三模拟存储器U3c存储由上述第三模拟编码器U2c输出的局部解码图象数据Vstrc。该第三模拟存储器U3c存储来自上述第三模拟编码器U2c的局部解码图象数据Vstrc,并在接在上述被处理画面后的未处理画面的模拟编码处理时把所存储在图象数据作为参照画面的图象数据Vc输出到第三模拟编码器U2c。
进一步,在该再编码系统50中,对接在被处理画面后的未处理画面的再编码处理时,上述主存储器U3d把上述被存储的局部解码图象数据Vstrd作为参照画面的图象数据(参照图象数据)Vrefd输出到上述主编码存储器U2d,同时,在对接在被处理画面后的未处理画面的第一、第二、第三模拟编码处理时,作为参照画面的图象数据(参照图象数据)Vrefa、Vrefb、Vrefc输出到上述第一、第二、第三模拟编码器U2a、U2b、U2c。
这样,由于在主存储器U3d中存储有对应于实际输出的再编码数据流的局部解码图象数据,所以,对于存储在主存储器U3d中的各编码完的画面图象数据中的存储在第一、第二、第三模拟存储器U3a、U3b、U3c内的编码完的画面图象数据和对应于同一画面的图象数据来说,上述第一、第二、第三模拟编码器U2a、U2b、U2c参照存储在主存储器U3d中各编码完的画面图象数据Vrefa、Vrefb、Vrefc,取代存储在第一、第二、第三模拟存储器U3a、U3b、U3c内的编码完的画面图象数据Va、Vb、Vc。
该再编码系统50具有速率畸变计算器U5,用以代替上述实施例4的再编码系统40中的帧目标比特数计算器U6,该速率畸变计算器U5根据来自主编码器U2d的再编码数据流Vout把再编码数据流Vout的比特流(当前的比特率)与来自外部的目标比特率Rate相比较,并根据该比较结果对每帧计算对应于被处理帧的再编码误差增加率λ。
这里,如果编码处理中的帧(被处理帧)的平均比特率大于目标比特率,该速率畸变计算器U5就根据对应于各帧的再编码数据流Vout输出大的值作为对应于成为编码处理的对象的编码单位的再编码误差增加率λ,如果编码处理中的帧(被处理帧)的平均比特率小于目标比特率,就输出小的值作为对应于成为编码处理的对象的编码单位的再编码误差增加率λ。这是因为如果再编码误差增加率λ大,最合适量化级Qd就大,该实施例5的再编码系统50减小再编码数据流Vout的比特率;另一方面,如果再编码误差增加率λ小,最合适量化级Qd就小,再编码系统50增大再编码数据流Vout的比特率。
另外,该再编码系统50具有量化级导出器U75,来代替上述实施例4的再编码系统40中的量化级导出器U74,该量化级导出器U75根据上述第一模拟编码器U2a输出的量化级Qa、模拟编码增加误差Qa、模拟编码比特数Ra、第二模拟编码器U2b输出的量化级Qb、模拟编码增加误差Qb、模拟编码比特数Rb、第三模拟编码器U2c输出的量化级Qc、模拟编码增加误差Qc、模拟编码比特数Rc以及来自上述速率畸变计算器U5的再编码误差增加率λ来选择输出上述量化级Qa、Qb和Qc中的一个作为对应于各编码单位的最合适量化级Qd。
该实施例5的再编码系统50的其他构成与图11所示的实施例4的再编码系统40一样。
图16是表示构成该实施例5的再编码系统50的量化级导出器U75的具体构成的方框图。
上述量化级导出器U75具有第一比特数减法器U8b和第二比特数减法器U8c,第一比特数减法器U8b接受来自上述第一、第二模拟编码器U2a、U2b的第一、第二模拟比特数Ra、Rb,并计算出它们的差分(模拟编码比特数变动量)ΔRab,第二比特数减法器U8c接受来自上述第二、第三模拟编码器U2b、U2c的第二、第三模拟比特数Rb、Rc,并计算出它们的差分(模拟编码比特数变动量)ΔRbc。
上述量化级导出器U75具有第一误差减法器U9b和第二误差减法器U9c,第一误差减法器U9b接受来自上述第一、第二模拟编码器U2a、U2b的模拟编码增加误差Da、Db,并计算出它们的差分(模拟编码误差变动量)ΔDab,第二误差减法器U9c接受来自上述第二、第三模拟编码器U2b、U2c的模拟编码增加误差Db、Dc,并计算出它们的差分(模拟编码误差变动量)ΔDbc。
上述量化级导出器U75具有第一除法器U10b和第二除法器U10c,第一除法器U10b把模拟编码误差变动量ΔDab除以模拟编码比特数变动量ΔRab,导出对应于各编码单位的第一再编码误差增加率λ1,第二除法器U10c把模拟编码误差变动量ΔDbc除以模拟编码比特数变动量ΔRbc,导出对应于各编码单位的第二再编码误差增加率λ2。
上述量化级导出器U75具有第一比较器U11b和第二比较器U11c,第一比较器U11b把来自上述速率畸变计算器U5的当前再编码处理中的再编码误差增加率λ与来自上述除法器U10b的第一再编码误差增加率λ1相比较,并输出对应比较结果的第一转换控制信号Qseb,第二比较器U11c把上述当前再编码处理中的再编码误差增加率λ与来自上述除法器U10c的第二再编码误差增加率λ2相比较,并输出对应比较结果的第二转换控制信号Qsec。
上述量化级导出器U75具有选择转换器U50,该选择转换器U50根据上述第一、第二转换控制信号Qseb、Qsec选择由上述各模拟编码器U2a、U2b、U2c供给的量化级Qa、Qb、Qc中的一个,并把所选出的量化级作为最合适量化级Qd而输出。
具体地说,上述量化级导出器U75在再编码误差增加率λ小于上述再编码误差增加率λ1时由选择转换器U50用上述转换控制信号Qseb选择量化级Qa作为最合适量化级Qd,在上述再编码误差增加率λ大于上述再编码误差增加率λ1而小于上述再编码误差增加率λ2时由选择转换器U50用上述转换控制信号Qseb和转换控制信号Qsec选择量化级Qb作为最合适量化级Qd。另外,在上述再编码误差增加率λ大于上述再编码误差增加率λ2时,选择转换器U50用上述转换控制信号Qsec选择量化级Qc作为最合适量化级Qd。
下面来说明动作。
一旦把输入数据流Vin供给该再编码系统50,与实施例4一样,解码器U1就对编码数据流即输入数据流Vin实施解码处理,并在第一、第二模拟编码器U2a、U2b中对解码数据流Vdec实施第一、第二模拟编码处理。
这时,在本实施例5中,用第三模拟编码器U2c对上述解码数据流Vdec实施与上述第一、第二模拟编码器U2a、U2b中的第一、第二模拟编码处理一样的第三模拟编码处理。
也就是说,第三模拟编码器U2c参照存储在第三模拟存储器U3c内的参照图象数据Vc或存储在主存储器U3d内的参照图象数据Vrefc对成为处理对象的处理画面解码数据流Vdec实施包含用量化级Qc(Qc>Qb>Qa)的量化处理和局部解码处理的第三模拟编码处理。并且要把上述量化级Qc设定得小于上述逆量化处理所用的Qin。这样,从上述第三模拟编码器U2输出局部解码图象数据Vstrc的同时,输出对应于各编码单位的量化级Qc、模拟编码比特数Rc和模拟编码误差Dc。
这时,把上述局部解码图象数据Vstrc作为对应于编码处理完的画面(帧)存储在上述第三模拟存储器U3c中。这样,存储在第三模拟存储器U3c中的图象数据在对应于未处理画面的图象数据的模拟编码处理时就被用作上述参照画面数据Vc。
上述量化级导出器U75根据来自上述第一、第二、第三模拟编码器U2a、U2b、U2c的量化级Qa、Qb、Qc、模拟编码比特数Ra、Rb、Rc和模拟编码误差DA、Db、Dc导出对应于各编码单位的最合适Qd,使对于各数据块(编码单位)的再编码误差增加率不超过对应于被处理画面的平均再编码误差增加率λ。
这样,与实施例4一样,上述主编码器U2d参照存储在主存储器U3d内的参照图象数据Vrefd对上述解码图象数据Vdec实施包含用最合适Qd的量化处理和局部解码处理的再编码处理。因此,从主编码器U2d输出再编码数据流Vout的同时,输出局部解码图象数据Vstrd。
如果编码处理中的帧的平均比特率大于该帧的目标比特率,速率畸变计算器U5就根据对应于各帧的再编码数据流Vout输出大的值作为再编码误差增加率λ,如果编码处理中的帧的平均比特率小于该帧的目标比特率,就输出小的值作为再编码误差增加率λ。
以下,来说明上述量化级导出器U75的具体动作。
首先,在该实施5中,进行计算第一比特数减法器U8b中的模拟编码比特数变动量ΔRab的减法处理、计算第一误差减法器U9b中的模拟编码误差变动量Dab的减法处理和导出第一除法器U10b中的再编码误差增加率λ1的运算处理,同时进行计算第二比特数减法器U8c中的模拟编码比特数变动量ΔRbc的减法处理、计算第二误差减法器U9c中的模拟编码误差变动量ΔDbc的减法处理和导出第二除法器U10c中的再编码误差增加率λ2的运算处理。
这里,第一比特数减法器U8b、第一误差减法器U9b、第一除法器U10b中的处理与实施例4中的处理完全一样,第二比特数减法器U8c、第二误差减法器U9c、第二除法器U10c中的处理与上述减法器U8b、减法器U9b、除法器U10b中的处理是一样的。
也就是说,上述第二比特数减法器U8c从上述第二模拟编码比特数Rb中减去第三模拟编码比特数Rc,计算出它们的差分(模拟编码比特数变动量)ΔRbc。第二误差减法器U9c从来自上述第三模拟编码器U2c的模拟编码增加误差Dc中减去来自上述第二模拟编码器U2b的模拟编码增加误差Db,计算出它们的差分(模拟编码误差变动量)ΔDbc。第二除法器U10c把模拟编码误差变动量ΔDbc除以模拟编码比特数变动量ΔRbc,导出上述第二再编码误差增加率λ2。
在第一比较器U11b中,来自上述除法器U10b的第一再编码误差增加率λ1与当前的再编码处理中的再编码误差增加率λ进行比较,并输出响应比较结果的第一转换控制信号Qseb。在第二比较器U11c中,来自上述除法器U10c的第二再编码误差增加率λ2与当前的再编码处理中的再编码误差增加率λ进行比较,并输出响应比较结果的第二转换控制信号Qsec。
而且,上述选择转换器U50根据上述第一、第二转换控制信号Qseb、Qsec选择上述各模拟编码器U2a、U2b、U2c供给的量化级Qa、Qb、Qc中的一个,并把所选出来的量化级作为最合适量化级Qd而输出。
具体地说,在再编码误差增加率λ小于上述再编码误差增加率λ1时,转换器U50用上述转换控制信号Qseb选择量化级Qa作为最合适量化级Qd;在上述再编码误差增加率λ大于上述再编码误差增加率λ1而小于上述再编码误差增加率λ2时,转换器U50用转换控制信号Qseb和转换控制信号Qsec选择量化级Qb作为最合适量化级Qd;在再编码误差增加率λ大于上述再编码误差增加率λ2时,转换器U50用上述转换控制信号Qsec选择量化级Qc作为最合适量化级Qd。
这样,在本实施例5中设置有速率畸变计算器U5,该速率畸变计算器U5根据来自主编码器U2d的再编码数据流Vout比较再编码数据流Vout的比特率(当前比特率)与来自外部的目标比特率Rate,并根据比较结果计算成为对应于被处理帧的图象质量的指标的平均再编码误差增加率λ,从量化级Qa、Qb、Qc(Qa<Qb<Qc)各不相同的第一、第二、第三模拟编码器U2a、U2b、U2c的编码结果所得到的对应于编码单位的第一、第二再编码误差增加率λ1、λ2(λ1<λ2)小于上述1帧的平均再编码误差增加率λ时,把对应于该数据块的最合适量化级Qd设定为量化级Qb、Qc,所以,能够抑制图象质量的劣化,同时能够降低比特率。
在上述实施例5有三个模拟编码器,把第一、第二再编码误差增加率λ1、λ2与上述1帧的平均再编码误差增加率λ进行比较,来决定对应于各数据块的最合适量化级Qd,但是,再编码系统中的模拟编码器的个数不局限于三个,如实施例4中的再编码系统40那样,即使有两个或四个都可以。
例如,作为模拟编码器,在具有第一、第二模拟编码器的再编码系统中,在量化级Qa、Qb(Qa<Qb)不同的第一、第二模拟编码器U2a、U2b的编码结果所得到的对应于编码单位的第一再编码误差增加率λ1小于上述1帧的平均再编码误差增加率λ时,上述量化级导出器U75选择量化级Qa、Qb之中大的一方作为对应于该数据块的最合适量化级Qd,第一再编码误差增加率λ1不小于上述1帧的平均再编码误差增加率λ时,选择量化级Qa、Qb之中小的一方作为对应于该数据块的最合适量化级Qd。
(实施例6)图17是说明本发明的实施例6的再编码系统的流程图,表示该实施例6的再编码系统中的量化级导出器的构成。
该实施例6的再编码系统设置有量化级导出器U76来代替上述实施例5的再编码系统50的量化级导出器U75,该量化级导出器U76根据各模拟编码器的模拟编码处理的结果所得到的量化级Qb、Qc、模拟编码比特数Ra、Rb、Rc和模拟编码增加误差Da、Db、Dc来求再编码误差增加率λ与量化级Q的关系,再根据该关系和来自速率畸变计算器U5的目标再编码误差增加率λ来求对应于各编码单位的最合适量化级Qd。而且,该实施例6的再编码系统中的其他构成与上述实施例5的再编码系统一样。
以下,用图17来说明构成该实施例6的再编码系统的量化级导出器U76的具体构成。
本实施例6的量化级导出器U76设置有误差RD导出器U12和量化级计算器U31,用来替代实施例5的量化级导出器U75的第一、第二比较器U11b、U11c和转换器U50,误差RD导出器U12导出表示目标再编码误差增加率λ与比特率R的关系的误差RD函数f,量化级计算器U31使用该误差RD函数f从量化级Q与再编码比特数(对应于由解码数据流Vdec的编码处理所得到的编码单位的比特数)R的关系按每编码单位计算出对应于再编码误差增加率λ的最合适量化级。这里,比特率等价于对应编码单位发生的比特数。
以下,具体说明上述误差RD导出器U12和量化级计算器U31。
一般,在对应于各数据块(编码单位)的编码比特数R和对应于各数据块的编码误差D之间,用下述的式6表示的函数(速率误差函数)成立。
D=g(R) (式6)因此,在再编码处理中,包含在再编码数据流中的编码误差D用下述的式7来表示。
ΔD+Din=g(R)(式7)其中,ΔD是再编码增加误差(由再编码处理增加的编码误差),Din是输入数据流Vin的编码误差。
因此,再编码误差增加率λ用下述式8表示。 这里,众所周知,上述函数g(R)能够近似地如下述公式9表示。
g(R)=A·RB(式9)其中A和B是常数。
因此,从上述式8和式9,再编码误差增加率λ用以下的式10来表示。
λ=A·RB-1(式10)这里,如果把再编码误差增加率λ1设为R=Rb时的再编码误差增加率λ,把再编码误差增加率λ2设为R=Rc时的再编码误差增加率λ,就能够用上述式10来求出上述常数A和B。结果,导出用下述式11表示的误差RD函数f。
R=f(λ) (式11)上述误差RD导出器U12根据来自第二、第三模拟编码器U2b、U2c的再编码数据流的比特率Rb、Rc和来自除法器U10b、U10c的再编码误差增加率λ1、λ2进行导出由上述式11表示的函数f的运算处理。
另一方面,在量化级Q和比特率R之间,用下式12表示的关系成立。
R=α·Qβ(式12)其中α、β是常数,如果把比特率Rb、Rc和量化级Qb、Qc代入上式12,就得到α和β。结果,导出用下式13表示的函数h。
R=h(Q) (式13)因此,如下式14所示,由上述式11和式13来求出表示对应于再编码误差增加率λ的量化级Q的关系的函数s。
Q=s(λ) (式14)
换言之,使用该式14,能够导出对应于再编码误差增加率λ的量化级作为最合适量化级Qd。
上述量化级计算器U31根据来自第二模拟编码器U2b的模拟编码比特数Rb和第二模拟编码处理中的量化级Qb、来自第三模拟编码器U2c的模拟编码比特数Rc和第三模拟编码处理中的量化级Qc进行导出由上式13表示的函数h运算处理的同时,从该函数h和由上述误差RD导出器U12求出来的函数f来求上述函数s,进一步从该函数s来求出对应于在上述速率畸变计算器U5求出的目标再编码误差增加率λ的量化级作为最合适量化级Qd。
下面来说明动作。
该实施例6的再编码系统除量化级导出器U76的动作以外,进行与实施例5的再编码系统50完全相同的动作。
因此,以下来说明量化级导出器U76的动作。
首先,该实施例6进行计算第一比特数减法器U8b中的模拟编码比特数变动量ΔRab的减法运算处理、计算第一误差减法器U9b中的模拟编码误差变动量ΔDab的减法运算处理和导出第一除法器U10b中的再编码误差增加率λ1的运算处理,同时进行计算第二比特数减法器U8c中的模拟编码比特数变动量ΔRbc的减法运算处理、计算第二误差减法器U9c中的模拟编码误差变动量ΔDbc的减法运算处理和导出第二除法器U10c中的再编码误差增加率λ2的运算处理。
这样,误差RD导出器U12根据在第二、第三模拟编码器U2b、U2c中得到的模拟编码比特数Rb、Rc和来自第一、第二除法器U10b、U10c的再编码误差增加率λ1、λ2来导出由上述式11表示的函数f(R=f(λ))。
上述量化级计算器U31根据第二模拟编码处理的模拟编码比特数Rb和第二模拟编码处理中的量化级Qb、第三模拟编码处理的模拟编码比特数Rc和第三模拟编码处理中的量化级Qc进行导出由上述式13表示的函数h(R=h(Q)的运算处理。进一步,从该函数h和由上述误差RD导出器U12求出的函数f来求由上述式14表示的函数s(Q=s(λ))。再用该函数来求对应于在上述速率畸变计算器U5中求出来的目标再编码误差增加率λ的量化级作为最合适量化级Qd。
这样,本实施例6的再编码系统中的量化级导出器U76具有误差RD导出器U12和量化级计算器U31,误差RD导出器U12根据模拟编码处理的结果导出表示再编码误差增加率λ与比特率关系的函数f(R=f(λ)),量化级计算器U31根据该函数f和上述模拟编码处理的结果来求出表示再编码误差增加率λ与量化级的关系的函数s(Q=s(λ)),再用该函数s按每编码单位来导出对应于在速率畸变计算器U5中求出来的目标再编码误差增加率λ的量化级作为最合适量化级Qd,所以,能够更细地设定对应于各编码单位的最合适量化级Qd。
在该实施例6中,根据模拟编码增加误差Db、Da的差、模拟编码比特数Ra、Rb的差、模拟编码增加误差Db、Dc的差、模拟编码比特数Rb、Rc的差来导出误差RD函数f,但是也可以把模拟编码增加误差Dc、Da的差分用于上述模拟编码增加误差的差分,也可以把再编码比特数Ra、Rc的差分用于每编码单位(数据块)的模拟编码比特数的差分。
(实施例7)图18是说明本发明的实施例7的再编码系统的方框图,表示该实施例7的再编码系统中的量化级导出器的构成。
该实施例7的再编码系统设置有量化级导出器U77来替代上述实施例6的再编码系统的量化级导出器U76,量化级导出器U77根据再编码误差增加率λ1的大小来选择由量化级计算器U31输出的量化级Qf和上述量化级Qa、Qb、Qc之中的最小的量化级Qa的一方,并把该被选定的量化级输出,作为最合适量化级Qd。
以下用图18来说明构成该实施例7的再编码系统的量化级导出器U77的具体构成。
除上述实施例6的量化级导出器U76的构成之外,该量化级导出器U77设置有比较器U11和选择转换器U70,比较器U11比较来自第一除法器U10b的第一再编码误差增加率λ1和来自速率畸变计算器的目标再编码误差增加率λ,并输出转换控制信号Qse,选择转换器U70根据该转换控制信号Qse选择由量化级计算器U31输出的量化级Qf和上述最小的量化级Qa之一方,并输出该选定的量化级作为最合适量化级Qd。
以下简单说明上述比较器U11的具体构成。
一般,在再编码系统中,在对输入数据流Vin实施的编码处理中的量化级Qin的大小与再编码处理中的量化级Qd的大小之差大的情况下,即在再编码误差增加率大的情况下,随量化级Qd变大,再编码误差增加率λ单调增加。另一方面,在对输入数据流Vin实施的编码处理中的量化级Qin的大小与再编码处理中的量化级Qd的大小之差小的情况下,即在再编码误差增加率小的情况下,即使量化级Qd变大,再编码误差增加率λ也未必增加,根据情况,有可能减少。这一点正像在实施例2中用图7所说明的那样,而且在文献(电子信息通信学会研究会报告IE99-32MPEG2再编码中的量化畸变误差的探讨)中作了详细记载。
在图7中,在再编码数据的比特率高的情况下,即在第一量化处理(编码处理中的量化处理)中的量化级值QPi与第二量化处理(再编码处理中的量化处理)中的量化级值QPr之差小的情况下,再编码数据中的量化误差大,另一方面,在第二量化处理中的量化级值QPr大于2QP(QPi=QP)即在再编码数据的比特率低的情况下,直接编码处理中的量化误差与再编码处理中的量化误差之间几乎没有差别。这里,再编码数据中的量化误差的增减对应于再编码误差增加率的增减。
因此,上述比较器U11控制上述选择转换器U70,以便在由模拟编码处理所得到的对应于编码单位(被处理数据块)的再编码误差增加率λ1小于对被处理帧的目标再编码误差增加率λ时,上述选择转换器U70选择第一、第二、第三模拟编码处理中的量化级Qa、Qb、Qc(Qa<Qb<Qc)之中的最小量化级Qa,在上述再编码误差增加率λ1大于再编码误差增加率λ时,上述选择转换器U70选择来自上述量化级计算器U31的量化级Qf。
换言之,该实施例7相当于上述实施例6的再编码系统和实施例2的再编码系统组合起来所得到的构成。具体地说,该实施例7的量化级导出器U77中的比较器U11和选择转换器U70相当于上述实施例2的量化装置152中的量化级导出器252,上述量化级导出器U77中的比较器U11和选择转换器U70以外的部分相当于上述实施例2的量化装置152中的量化级候补导出器250。
该实施例7的量化级导出器U77把模拟编码处理所得到的再编码误差增加率λ1与对被处理帧的目标再编码误差增加率λ进行比较,λ1<λ时,选择上述各模拟编码处理中的最小的量化级Qa作为再编码处理中的量化级,λ1≥λ时,选择来自上述量化级计算器U31的量化级Qf作为再编码处理中的量化级。这样的量化级导出处理等同于上述实施例2中的量化级导出处理,即把量化级候补Qsb与阈值Qth(=n×Qs1)和常数倍值Qmu(=m×Qs1>Qth)相比较,Qsb<Qmu时,选择第一量化级Qs1或常数倍值Qmu作为量化级,Qmu≤Qsb时,选择化级候补Qsb作为量化级量。
下面说明动作。
除量化级导出器U77的动作之外,该实施例7的再编码系统进行与实施例5的再编码系统50完全一样的动作。
因此,以下来说明量化级导出器U77的动作。
在该实施例7中,减法器U8b、U8c、减法器U9b、U9c、除法器U10b、U10c、误差RD计算器U12和量化级计算器U31进行与上述实施例完全相同的运算处理。因此,从上述除法器U10b、U10c输出对应于编码单位(被处理数据块)的第一、第二再编码误差增加率λ1、λ2。从误差RD计算器U12导出误差RD函数f,从量化级计算器U31输出对应于被处理帧的目标再编码误差增加率λ所响应的值Qf,作为对应于被处理数据块的量化级。
上述比较器U11比较对应于被处理数据块的第一再编码误差增加率λ1和对应于被处理帧的目标再编码误差增加率的大小,根据比较结果把转换控制信号Qse输出到上述选择转换器U70。该选择转换器U70根据转换控制信号Qse选择来自量化级计算器U31的量化级Qf和第一模拟编码处理中的量化级Qa之一方作为最合适量化级Qd。
具体地说,在对应于上述被处理数据块的第一再编码误差增加率λ1小于对应于被处理帧的目标再编码误差增加率λ时,上述选择转换器U70用上述转换控制信号Qse选择量化级Qa作为最合适量化级Qd,在上述第一再编码误差增加率λ1不小于目标再编码误差增加率λ时,上述选择转换器U70选择来自量化级计算器U31的量化级Qf作为最合适量化级Qd。
这样,在本实施例7的再编码系统中,除上述实施例6的量化级导出器U76的构成之外,量化级导出器U77具有比较器U11,该比较器U11把来自除法器U10b的再编码误差增加率λ1与来自速率畸变计算器的目标再编码误差增加率λ进行比较,并根据比较结果输出转换控制信号Qse,只有在再编码误差增加率λ1小于来自速率畸变计算器的目标再编码误差增加率λ时,选择模拟编码处理中的最小量化级Qa取代由量化级计算器U31得到的量化级Qf作为对应于被处理数据块的量化级,所以,当再编码误差增加率是对于量化级的增加的再编码误差增加率的变化不单调增加并且由量化级计算器U31导出再编码误差最小的最合适量化级Qd困难的范围内的值时,始终使用模拟编码处理中的最小量化级Qa作为被处理数据块的最合适量化级Qd。
因此,在被处理帧的目标再编码误差增加率λ是输入数据流Vin的量化级Qin与对输入数据流的再编码处理中的量化级Qd的差分小的范围内的值的情况下,能够防止动作不稳定。而且,在上述被处理帧的目标再编码误差增加率λ是上述范围以外的值时,把由量化级计算器U31导出的量化级Qf作为量化级Qd能够使再编码误差最小化。
在上述实施例6和7中,作为表示再编码数据流的每编码单位的编码比特数R与再编码误差增加率λ的关系的函数,表示了式11所示的误差RD函数f,但是表示这些关系的函数不局限于此。
例如,如果从模拟编码增加误差Da、Db、Dc和模拟编码比特数Ra、Rb、Rc导出具有与上述式11所示的误差RD函数f同样的倾向、性质的其他误差RD函数,也可以使用该其他误差RD函数作为表示编码比特数R与再编码误差增加率λ的关系的函数。
在上述实施例5至实施例7中,作为再编码系统第一、第二、第三模拟编码器U2a、U2b、U2c仅仅对成为主编码器U2d内的再编码处理的对象的帧进行包含量化处理的模拟编码处理,但是,上述再编码系统的构成并不局限于此。
例如,如上述实施例4中所具体说明的那样,再编码系统在进行MPEG中的画面间预测编码处理的情况下,第一、第二、第三模拟编码器U2a、U2b、U2c不仅对成为主编码器U2d内的再编码处理的对象的帧,而且也可以对再编码处理时把该被处理帧用作参照帧的其他帧实施模拟编码处理。
另外,把用软件进行上述实施例1~7的再编码系统的再编码处理的处理程序记录在软盘等的数据记录媒体上就能够用独立的计算机系统来简单地实现上述各实施例的再编码处理。
图19是说明存储了用计算机系统进行上述各实施例的再编码处理的程序的数据记录媒体(图19(a)、(b))以及上述计算机系统(图19(c))的图。
图19(a)表示从软盘的正面看的外观、断面构造和软盘,图19(b)表示记录媒体本体即软盘的物理格式的例子。软盘ED内装于盒F内,在该盘的表面上从外周向内周形成有同心圆状的多条记录轨迹,各轨迹沿角度方向被分割为16个扇区。因此,在存储了上述程序的软盘中在上述软盘FD上被分配的区域内记录有上述程序。
图19(c)表示对软盘FD进行上述程序的记录重放的构成。在把上述程序记录在软盘FD上的情况下,计算机系统Cs经软盘驱动器把作为上述程序的数据写入到软盘FD上。用软盘内的程序进行上述各实施例的再编码处理的系统构成在计算机系统中的情况下,用软盘驱动器从软盘中读出程序,在传送到计算机系统中。
在上述的说明中,仅仅列举了软盘作为数据记录媒体,与上述软盘的情况一样,使用光盘也能够进行用软件的再编码处理。另外,数据记录媒体并不局限于上述的光盘和软盘,IC卡、ROM卡等,只要能够记录程序的媒体都可以,在使用这些记录媒体的情况下,与使用上述的软盘等的情况一样,都能够实施用软件的再编码处理。
如上上述,按照本发明(第1方面)的编码数据变换方法,由于包含解码处理和再编码处理,上述解码处理把对图象数据实施包含第一正交变换处理和第一量化处理所得到的第一编码数据解码生成解码数据,上述再编码处理包含对该解码数据实施第二正交变换处理和第二量化处理生成再编码数据;上述再编码处理根据上述再编码数据和上述第一量化处理中的量化级进行上述第二量化处理;所以,能够根据上述上述第一量化处理中的量化级设定上述第二量化处理中的量化级。总之,在基于上述再编码数据的再编码处理中的目标比特数的制约之下,考虑再编码处理中的比特率与量化畸变(量化误差)的非线性关系,就能够设定上述第二量化处理中的量化级,使之量化误差尽可能小。这样,就能够在比特率的制约之下有效地抑制再编码处理中的量化误差的增大。
按照本发明(第2方面),由于在第1方面记载的编码数据变换方法中,上述第二量化处理即再编码处理中的量化处理根据上述再编码数据导出量化级候补并根据该量化级候补和上述第一量化处理中的量化级导出量化级,所以,选择上述量化级候补和上述第一量化处理中的量化级上述中的大的一方作为第二量化处理中的量化级,通过这样的简单处理,就能够抑制量化误差的增大,同时能够使再编码处理产生的比特数低于目标比特数。
按照本发明(第3方面),由于在第2方面记载的编码数据变换方法中,在导出上述第二量化处理(再编码处理中的量化处理)中的量化级的处理中,根据上述量化级候补的大小来设定上述第二量化处理中的量化级,导出与上述第一量化处理中的量化级同值的量化级、大于其2倍的量化级或上述量化级候补,所以,能够设定上述第一量化处理中的量化级到其2倍的量化级范围以外的值作为第二量化处理中的量化级。这样,对编码数据不增大比特数也不招致量化误差的显著增大,并能够使再编码处理产生的比特数小于目标比特数。
按照本发明(第4方面),由于在第1方面记载的编码数据变换方法中,求出对应于上述第一编码处理中的画面内量化处理和画面间量化处理的平均量化级和对应于上述第二编码处理(再编码处理)中的画面内量化处理和画面间量化处理的平均量化级,并在再编码处理中的量化处理中根据上述各平均量化级和上述再生编码数据导出量化级,所以,在包含画面内编码处理和画面间编码处理的再编码处理中,能够使对画面内编码处理的再量化比率即第二量化级对第一量化级的比率比画面间编码处理的再量化比率更小,并能够在画面内编码处理和画面间编码处理之间使量化误差的大小均一化。
按照本发明(第5方面),由于在第4方面记载的编码数据变换方法中,上述再编码处理导出上述再编码处理中的量化处理所使用的量化级,使再编码处理中的画面内平均量化级对上述编码处理中的画面内平均量化级的比率小于再编码处理中的画面间平均量化级对上述编码处理中的画面间平均量化级的的比率,所以,能够导出再编码处理中的量化级,使对画面内编码处理的再量化比率(即第二编码处理中的量化级对第一编码处理中的量化级的比率)比画面间编码处理中的再量化比率小。这样,在再编码处理中的画面内编码处理与画面间编码处理之间,能够使各编码处理产生的量化误差的大小均一化。
按照本发明(第6方面)的再编码系统,由于设置有解码单元和再编码单元,上述解码单元接受对图象数据实施包含第一量化处理的编码处理所得到的输入编码数据,并对该编码数据进行解码生成解码数据;上述再编码单元对该解码数据实施包含第二量化处理的再编码处理生成再编码数据;上述编码单元中的量化装置根据上述再编码数据和上述第一量化处理中的量化级进行上述第二量化处理;所以,能够根据再编码数据把再编码处理中的比特数抑制到目标比特数的以下,同时,能够根据再编码处理中的比特率与量化畸变(量化误差)的非线性关系设定上述第二量化处理中的量化级,使之量化误差尽可能小。这样,就能够在比特率的制约之下有效地抑制再编码处理中的量化误差的增大。
按照本发明(第7方面),由于在第6方面记载的再编码系统中,上述编码单元中的量化装置设置有平均量化级导出器,上述平均量化级导出器求出对应于上述编码处理中的画面内量化处理和画面间量化处理的平均量化级以及对应于上述再编码处理中的画面内量化处理和画面间量化处理的平均量化级,再编码处理中的量化处理根据上述各平均量化级和上述再编码数据导出量化级,所以,包含画面内量化处理和画面间量化处理的再编码处理能够使对画面内编码处理的再量化比率即第二量化级对第一量化级的比率小于对画面间编码处理的再量化比率,并能够在画面内编码处理和画面间编码处理之间使量化误差的大小均一化。
按照本发明(第8方面)的数据记录媒体,由于存储了用计算机进行按照第1方面记载的编码数据变换方法把第一编码数据变换为第二编码数据的处理的程序,所以,能够进行再编码处理而有效地抑制量化误差。
按照本发明(第9方面)的再编码方法,由于包含把解码输入数据流得到的解码数据流按每编码单位顺序量化编码的不同量化级的多个模拟编码处理,并根据上述各模拟编码处理的结果导出最合适量化级,使再编码数据流的比特率与指定比特率之差变小,所以,即使在不知道输入数据流内包含的误差的再编码处理中,也能够使再编码误差最小化,而且能够使再编码数据流的比特率抑制在规定值以下。结果,能够使图象质量几乎不受损坏,而且,能够得到传送效率高的再编码数据流。
按照本发明(第10方面),由于在第9方面的再编码方法中,作为上述多个模拟编码处理,包含其量化处理中的量化级各不相同的第一、第二模拟编码处理,所以,能够用简单的构成导出再编码处理中的最合适量化级。
按照本发明(第11方面),由于在第10方面的再编码方法中,上述量化级导出处理根据第一、第二模拟编码处理的结果计算出对每编码单位的比特数的变化的编码误差的增加量的变化的比例,即再编码误差增加率,并根据每个编码单位内再编码误差增加率的大小导出上述第一量化级和第二量化级的一方作为最合适量化级,所以,即使在不知道输入数据流中包含的误差的再编码处理中,也能够根据速率误差理论使编码误差最小化。
按照本发明(第12方面)的再编码方法,由于包含根据输入数据流的再编码处理的结果得到的数据来求出对应于一幅画面内的目标再编码误差增加率的运算处理和把解码输入数据流得到的解码数据流按每编码单位顺序量化编码的量化级各不相同的多个模拟编码处理,并根据上述目标再编码误差增加率和上述各模拟编码处理的结果导出最合适量化级,所以,即使在不知道输入数据流中包含的误差的再编码处理中,也能够使编码误差最小化,而且能够避免由再编码数据流所得到的图象质量的劣化。结果,能够把编码数据流变换为传送效率高的数据流而不会招致图象质量的劣化。
按照本发明(第13方面),由于在第12方面记载的再编码方法中,作为上述多个模拟编码处理,包含量化处理中量化级各不相同的第一、第二、第三模拟编码处理,所以能够用比较简单的构成导出再编码处理中的最合适量化级。
按照本发明(第14方面),由于在第13方面记载的再编码方法中,上述量化级导出处理根据上述第一、第二和第三模拟编码处理的结果导出表示再编码误差增加率与量化级关系的函数,并根据上述函数决定使对应于上述编码单位的再编码误差增加率与对应于上述一幅画面的目标再编码误差增加率一致的量化级,作为各编码单位中的最合适量化级,所以能够高精度地导出最合适量化级。
按照本发明(第15方面),由于在第14方面记载的再编码方法中,上述量化级导出处理只有在对应于上述编码单位的再编码误差增加率小于对应于上述一幅画面的目标再编码误差增加率时,取代上述量化级决定处理所得到的最合适量化级,而导出上述第一模拟编码处理中的量化级作为最合适量化级,所以即使根据上述函数难以导出最合适量化级的情况下也能够稳定地进行量化级的导出动作。
按照本发明(第16方面),由于在第15方面记载的再编码方法中,上述量化级导出处理在对应于上述编码单位的再编码误差增加率小于对应于上述一幅画面的目标再编码误差增加率以外时,导出上述第二量化级以上的值作为上述量化级决定处理所得到的最合适量化级的值,所以在有可能根据上述函数导出最合适量化级的情况下,能够高精度地导出最合适量化级。
按照本发明(第17方面)的再编码系统,由于设置有计算器、解码器、量化级各不相同的多个模拟编码部;上述计算器根据上述再编码处理的结果得到的数据和从本装置外部供给的指定比特率计算出对应于成为再编码处理对象的对象画面的目标比特数,上述解码器对上述输入数据流进行解码而生成解码数据流,上述多个模拟编码部按每个编码单位对上述解码数据流进行顺序量化编码的模拟编码处理;根据上述各模拟编码处理的结果导出上述再编码数据流的比特率与指定比特率之差小的最合适量化级,所以即使在不知道数据流内包含的误差的再编码处理中也能够使编码误差最小化,而且能够把再编码数据流的比特率抑制在规定值以下。结果,能够得到传送效率高的再编码数据流而几乎不损害图象质量。
按照本发明(第18方面),由于在第17方面记载的再编码系统中,作为上述多个模拟编码部设置有对上述解码数据流的量化处理中的量化级不同的两个模拟编码部,在导出最合适量化级的处理中根据上述两个模拟编码部的处理结果来计算出再编码处理中的编码误差增加量的变化对每编码单位的比特数的变化的比例即再编码误差增加率,并根据对各编码单位的再编码误差增加率的大小导出上述第一量化级和第二量化级的一方作为最合适量化级,所以即使在不知道数据流内包含的误差的再编码处理中也能够根据速率误差理论使编码误差最小化。
按照本发明(第19方面)的再编码系统,由于设置有计算器、解码器、量化级各不相同的多个模拟编码部,上述计算器根据再编码处理的结果得到的数据计算对应于一幅画面的目标再编码误差增加率即由再编码处理增加的每编码单位的编码误差对由再编码处理削减的每编码单位的比特数的比例,上述解码器对输入数据流进行解码生成解码数据流,上述多个模拟编码部按每个编码单位对上述解码数据流进行顺序量化编码的模拟编码处理;根据上述目标再编码误差增加率和各模拟编码处理的结果导出最合适量化级,所以即使在不知道数据流内包含的误差的再编码处理中也能够使编码误差最小化,而且能够避免从再编码数据了得到的图象的质量的劣化。结果,能够把编码数据流变换为传送效率高的数据流,而不会招致图象质量的劣化。
按照本发明(第20方面),由于在第19方面记载的再编码系统中,作为上述多个模拟编码部设置有对上述解码数据流的量化处理中的量化级各不相同的三个模拟编码部,所以能够用比较简单的构成导出再编码处理中的最合适量化级。
按照本发明(第21方面),由于在第20方面记载的再编码系统中,在上述量化级导出器内根据对应于各编码单位的再编码误差的增加率和上述目标再编码误差增加率的比较结果来选择上述第一、第二和第三量化级中的一个,所以能够用比较简单的构成高精度地导出再编码处理中的最合适量化级。
按照本发明(第22方面),由于在第20方面记载的再编码系统中,在上述量化级导出器内按每编码单位导出表示再编码误差增加率与量化级的关系的函数,并根据上述函数计算出对应于上述各编码单位的再编码误差增加率与对应于上述一幅画面的目标再编码误差增加率一致的量化级作为对各编码单位的最合适量化级,所以能够非常高精度地导出再编码处理中的最合适量化级。
按照本发明(第23方面),由于在第22方面记载的再编码系统中,根据对应于上述各编码单位的再编码误差增加率和上述目标再编码误差增加率的比较结果选择从上述量化级计算器计算出的量化级和上述第一量化级的一方作为最合适量化级,所以即使在难以根据上述函数导出最合适量化级的情况下也能够稳定进行量化级的导出动作,另一方面,在能够根据上述函数导出最合适量化级的情况下能够高精度地导出最合适量化级。
按照本发明(第24方面)的数据记录媒体,由于存储了用计算机执行第9方面记载的再编码方法把输入数据流变换为再编码数据流的处理的程序,所以能够用软件来实现把上述编码数据流变换为传送效率高的数据流的处理而不会招致图象质量的劣化。
按照本发明(第25方面)的数据记录媒体,由于存储了用计算机执行第12方面记载的再编码方法把输入数据流变换为再编码数据流的处理的程序,所以能够用软件来实现把上述编码数据流变换为传送效率高的数据流的处理而不会招致图象质量的劣化。
权利要求
1.一种编码数据变换方法,包含解码处理和再编码处理,上述解码处理把对图象数据实施包含第一正交变换处理和第一量化处理的编码处理所得到的第一编码数据按每编码单位解码生成解码数据,上述再编码处理按每编码单位对该解码数据进行编码生成第二编码数据,其特征在于上述解码处理包含用上述第一量化处理中使用的第一量化级对从上述第一编码数据得到的量化系数进行逆量化的逆量化处理;上述再编码处理包含第二正交变换处理和第二量化处理,上述第二正交变换处理对上述解码数据实施正交变换而生成频域数据,上述第二量化处理根据上述第二编码数据和上述第一量化级导出第二量化级,并用该第二量化级对上述频域数据实施量化。
2.根据权利要求1记载的编码数据变换方法,其特征在于上述第二量化处理包含候补导出处理和量化级导出处理,上述候补导出处理根据上述第二编码数据导出量化级候补,上述量化级导出处理根据该量化级候补和上述第一量化级导出上述第二量化级。
3.根据权利要求2记载的编码数据变换方法,其特征在于在上述量化级导出处理中,当上述量化级候补具有大于上述第一量化级的值而小于该第一量化级的值的2倍的范围内的值时,导出具有与上述第一量化级的值相同的值的量化级或导出具有超过该第一量化级的值2倍的值的量化级作为上述第二量化级,并且上述量化级候补具有上述范围以外的值时,导出该量化级候补作为上述第二量化级。
4.根据权利要求1记载的编码数据变换方法,其特征在于上述编码处理包含使用画面内象素值相关的第一画面内编码处理和使用画面间象素值相关的第一画面间编码处理;并用上述第一画面内编码处理进行第一画面内量化处理,用上述第一画面间编码处理进行第一画面间量化处理;上述再编码处理作为上述第二量化处理,包含使用画面内象素值相关的第二画面内编码处理和使用画面间象素值相关的第二画面间编码处理;并用上述第二画面内编码处理进行第二画面内量化处理,用上述第二画面间编码处理进行第二画面间量化处理;上述解码处理包含对应于上述画面内编码处理的画面内解码处理和对应于上述画面间编码处理的画面间解码处理,并用上述画面内解码处理进行画面内逆量化处理,用上述画面间解码处理进行画面间逆量化处理;上述第二量化处理包含平均量化级导出处理和量化级导出处理,上述平均量化级导出处理导出上述第一、第二画面内量化处理中的每个编码单位的量化级的平均值分别作为第一、第二画面内平均量化级,同时导出上述第一、第二画面间量化处理中的每个编码单位的量化级的平均值分别作为第一、第二画面间平均量化级;上述量化级导出处理根据上述各平均量化级和上述再编码数据导出上述第二量化级。
5.根据权利要求4记载的编码数据变换方法,其特征在于上述第二量化级导出处理导出上述第二量化级,使第二画面内平均量化级对上述第一画面内平均量化级的比率小于第二画面间平均量化级对上述第一画面间平均量化级的比率。
6.一种再编码系统具有解码单元和再编码单元,上述解码单元接受按每个编码单位对图象数据实施包含第一正交变换处理和第一量化处理的编码处理所得到的输入编码数据,并按每编码单位对该输入编码数据进行解码生成解码数据;上述编码单元对该解码数据进行编码生成再编码数据,其特征在于上述解码单元具有用上述第一量化处理中的第一量化级对上述从第一编码数据得到的量化系数进行逆量化的逆量化器;上述编码单元具有频率变换器和量化装置,上述频率变换器对上述解码数据实施第二正交变换而生成频域数据;上述量化装置用根据上述再编码数据和上述第一量化级导出的第二量化级对上述频域数据实施第二量化处理。
7.根据权利要求6记载的再编码系统,其特征在于上述逆量化器根据对上述输入编码数据实施编码处理是画面内编码处理还是画面间编码处理来进行对应于该各编码处理的画面内量化处理和画面间量化处理的一方的逆量化处理;上述量化装置具有第一级导出器、第二级导出器和量化级导出器,上述第一级导出器根据来自上述逆量化器的第一量化级把对应于画面内量化处理的逆量化处理中的每编码单位的量化级进行平均,来作为画面内平均量化级,上述第二级导出器根据来自上述逆量化器的第一量化级把对应于画面间量化处理的逆量化处理中的每编码单位的量化级进行平均,而导出画面间平均量化级,上述量化级导出器根据上述再编码数据、上述画面内平均量化级和画面间平均量化级导出第二量化级;并且,上述量化装置用该第二量化级对上述频域数据实施量化。
8.一种数据记录媒体,其特征在于存储有用计算机进行权利要求1记载的编码数据变换方法的数据变换程序。
9.一种再编码方法,用再编码处理来对把图象信号进行编码所得到的输入数据流变换为比特率低于指定比特率的再编码数据流,其特征在于包含解码处理、量化级各不相同的多个模拟编码处理、量化级导出处理和主编码处理;上述解码处理把上述输入数据流解码并生成解码数据流;上述多个模拟编码处理对上述解码数据流按每个编码单位顺序量化来进行编码;上述量化级导出处理根据上述各模拟编码处理得到的每个编码单位的比特数、由上述各模拟编码处理的编码误差的增加量以及上述指定比特率导出最合适的量化级使上述再编码数据流的比特率和指定比特率之差更小;上述主量化处理对上述解码数据流用该最合适的量化级进行量化编码,并输出对应于上述输入数据流的再编码数据流。
10.根据权利要求9记载的再编码方法,其特征在于作为上述多个模拟编码处理,包含有对上述解码数据流用第一量化级进行量化编码的第一模拟编码处理,和对上述解码数据流用大于上述第一量化级的第二量化级进行量化编码的第二模拟编码处理。
11.根据权利要求10记载的再编码方法,其特征在于上述量化级导出处理,根据上述第一模拟编码处理所得到的每编码单位的比特数、上述第一模拟编码处理的编码误差的增加量、上述第二模拟编码处理所得到的每编码单位的比特数和上述第二模拟编码处理的编码误差的增加量,计算出再编码处理中编码误差的增加量的变化对每编码单位的比特数的变化的比例即再编码误差增加率,并根据对该每编码单位再编码误差增加量的大小来导出上述第一量化级和第二量化级的一方作为最合适的量化级。
12.一种再编码方法,对把图象信号进行编码所得到的输入数据流按每个编码单位实施再编码处理,并把该输入数据流变换为比特率小于指定比特率的再编码数据流,其特征在于包含运算处理、解码处理、量化级各不相同的多个模拟编码处理、量化级最合适化处理和主编码处理;上述运算处理根据上述再编码处理的结果得到的数据计算对应于一幅画面的目标再编码误差增加率即由再编码处理增加的每编码单位编码误差对由再编码处理减少的每编码单位的比特数的比例;上述解码处理对上述输入数据流进行解码而生成解码数据流;上述多个模拟编码处理按每个编码单位对上述解码数据流顺序量化编码;上述量化级最合适化处理根据上述各模拟编码处理所得到的每编码单位的比特数、上述各模拟编码处理的编码误差的增加量和上述目标再编码误差增加率对每个编码单位导出最合适量化级;上述主编码处理用该最合适量化级对上述解码数据流进行量化编码,并输出对应于上述输入数据流的再编码数据流。
13.根据权利要求12记载的再编码方法,其特征在于作为上述多个模拟编码处理,包含用第一量化级量化编码上述解码数据流的第一模拟编码处理、用大于第一量化级的第二量化级量化编码上述解码数据流的第二模拟编码处理和用大于第二量化级的第三量化级量化编码上述解码数据流的第三模拟编码处理。
14.根据权利要求13记载的再编码方法,其特征在于上述量化级导出处理包含函数导出处理和量化级决定处理;上述函数导出处理,根据由上述第一、第二和第三模拟编码处理生成的每个第一、第二和第三编码单位的比特数、上述第一、第二和第三模拟编码处理的第一、第二和第三编码误差增加量以及上述第一、第二和第三模拟编码处理中的第一、第二和第三量化级,按每个编码单位导出再编码处理中的表示编码误差的增加量的变化对每个编码单位的比特数的变化的比例,即再编码误差增加率与对应于各编码单位的量化级的关系的函数;上述量化级决定处理根据上述函数把对应于上述编码单位的再编码误差增加率与对应于上述一幅画面的目标再编码误差增加率一致的量化级决定为对各编码单位的最合适量化级。
15.根据权利要求14记载的再编码方法,其特征在于在上述量化级导出处理中,只有在对应于上述编码单位的再编码误差增加率小于上述对应于一幅画面的目标再编码误差增加率时,导出上述第一模拟编码处理中的量化级作为最合适量化级来取代上述量化级决定处理所得到的最合适量化级。
16.根据权利要求15记载的再编码方法,其特征在于在上述量化级导出处理中,在对应于上述编码单位的再编码误差增加率小于上述对应于一幅画面的目标再编码误差增加率以外时,导出上述第二量化级以上的值作为上述量化级决定处理所得到的最合适量化级的值。
17.一种再编码系统,通过再编码处理把图象信号进行编码所得到的输入数据流变换为比特率小于指定比特率的再编码数据流,其特征在于设置有计算器、解码器、量化级各不相同的多个模拟编码部、量化级导出器和主编码器;上述计算器根据上述再编码处理的结果得到的数据和从本装置外部供给的指定比特率计算出对应于成为再编码处理对象的对象画面的目标比特数;上述解码器对上述输入数据流进行解码而生成解码数据流;上述多个模拟编码部按每个编码单位对上述解码数据流顺序量化并进行编码的模拟编码处理;上述量化级导出器根据上述各模拟编码部的处理所得到的每编码单位的比特数、上述各模拟编码部的处理的编码误差的增加量和对应于上述对象画面的目标比特数导出最合适量化级使上述再编码数据流的比特率与指定比特率之差小;上述主编码器用该最合适量化级对上述解码数据流进行量化编码,并输出对应于上述输入数据流的再编码数据流。
18.根据权利要求17记载的再编码系统,其特征在于上述多个模拟编码部设置有第一模拟编码部、第二模拟编码部和转换器;上述第一模拟编码部对上述解码数据流实施包含按照第一量化级的量化处理的第一模拟编码处理,并输出该模拟编码处理所得到的每编码单位的比特数、该模拟编码处理的编码误差的增加量和上述第一量化级;上述第二模拟编码部对上述解码数据流实施包含由比上述第一量化级大的第二量化级的量化处理的第二模拟编码处理,并输出该模拟编码处理所得到的每编码单位的比特数、该模拟编码处理的编码误差的增加量和上述第二量化级;上述转换器选择上述第一量化级和第二量化级的一方;上述量化级导出器控制该转换器,以便根据由上述第一和第二模拟编码处理所得到的每编码单位的比特数以及上述第一和第二模拟编码处理的编码误差的增加量来计算出再编码处理中的编码误差增加量的变化对每编码单位的比特数的变化的比例即再编码误差增加率,并根据对应于该各编码单位的再编码误差增加率的大小来选择上述第一量化级和第二量化级的一方作为最合适量化级。
19.一种再编码系统,对把图象信号进行编码所得到的输入数据流按每个编码单位实施再编码处理,并把该输入数据流变换为比特率小于指定比特率的再编码数据流,其特征在于设置有计算器、解码器、量化级各不相同的多个模拟编码部、量化级导出器和主编码器;上述计算器根据上述再编码处理的结果得到的数据计算对应于一幅画面的目标再编码误差增加率,即由再编码处理增加的每编码单位编码误差对由再编码处理减少的每编码单位的比特数的比例;上述解码器对上述输入数据流进行解码而生成解码数据流;上述多个模拟编码部按每个编码单位对上述解码数据流顺序量化并进行编码的模拟编码处理;上述量化级导出器根据上述各模拟编码部的处理所得到的每编码单位的比特数、上述各模拟编码部的处理的编码误差的增加量和上述目标再编码误差增加率对每个编码单位导出最合适量化级;上述主编码器用该最合适量化级对上述解码数据流进行量化编码,并输出对应于上述输入数据流的再编码数据流。
20.根据权利要求19记载的再编码系统,其特征在于上述多个模拟编码部设置有第一模拟编码部、第二模拟编码部和第三模拟编码部;上述第一模拟编码部对上述解码数据流实施包含按照第一量化级的量化处理的第一模拟编码处理,并输出该模拟编码处理所得到的每编码单位的比特数、该模拟编码处理的编码误差的增加量和上述第一量化级;上述第二模拟编码部对上述解码数据流实施包含按照比第一量化级大的第二量化级的量化处理的第二模拟编码处理,并输出该模拟编码处理所得到的每编码单位的比特数、该模拟编码处理的编码误差的增加量和上述第二量化级;上述第三模拟编码部对上述解码数据流实施包含按照比第二量化级大的第三量化级的量化处理的第三模拟编码处理,并输出该模拟编码处理所得到的每编码单位的比特数、该模拟编码处理的编码误差的增加量和上述第三量化级。
21.根据权利要求20记载的再编码系统,其特征在于上述量化级导出器具有运算部和量化级选择部;上述运算部,根据上述各模拟编码部的处理所得到的每编码单位的比特数和上述各模拟编码部的处理的编码误差的增加量,对每个编码单位计算出再编码处理中的编码误差增加量的变化对每编码单位比特数的变化的比例即再编码误差增加率;上述量化级选择部根据对应于各编码单位的再编码误差的增加率和上述目标再编码误差增加率的比较结果来选择上述第一、第二和第三量化级中的一个。
22.根据权利要求20记载的再编码系统,其特征在于上述量化级导出器具有函数导出器和量化级计算器;上述函数导出器,根据上述第一、第二和第三模拟编码处理所生成的每第一、第二和第三编码单位的比特数、上述第一、第二和第三模拟编码处理的第一、第二和第三编码误差增加量以及上述第一、第二和第三模拟编码处理中的第一、第二和第三量化级,按每个编码单位导出在再编码处理中的表示编码误差的增加量的变化对每编码单位的比特数的变化的比例,即再编码误差增加率与对应于各编码单位的量化级的关系的函数;上述量化级计算器,根据上述函数计算出使对应于上述各编码单位的再编码误差增加率与对应于上述一幅画面的目标再编码误差增加率一致的量化级,作为对各编码单位的最合适量化级。
23.根据权利要求22记载的再编码系统,其特征在于上述量化级导出器具有比较器和量化级选择部;上述比较器比较对应于上述各编码单位的再编码误差增加率和上述目标再编码误差增加率;上述量化级选择部根据该比较器的比较结果选择从上述量化级计算器计算出的量化级和上述第一量化级的一方,并把所选择出来的量化级作为最合适量化级输出。
24.一种数据记录媒体,其特征在于存储了用计算机执行权利要求9记载的再编码方法的数据变换程序。
25.一种数据记录媒体,其特征在于存储了用计算机执行权利要求12记载的再编码方法的数据变换程序。
全文摘要
本发明提供了一种能够进行再编码处理而又能有效地抑制量化误差增大的再编码系统。在解码单元Da1,逆量化装置101a对量化系数Vg用第一量化级实施逆量化处理的同时,把这时所用的第一量化级Qs1输出到编码单元Ea1,在编码单元Ea1,量化装置151根据再编码数据Eg2和上述第一量化级Qs1对频域数据Tg进行量化处理。
文档编号H04N7/50GK1288336SQ0011880
公开日2001年3月21日 申请日期2000年4月13日 优先权日1999年4月13日
发明者角野真也 申请人:松下电器产业株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1