数字信号编码装置、数字信号解码装置、数字信号算术编码方法及数字信号算术解码方法

专利名称：数字信号编码装置、数字信号解码装置、数字信号算术编码方法及数字信号算术解码方法
技术领域：
本发明是有关于被使用在视频图像压缩编码技术和压缩视频图像数据传输技术 等的数字信号编码装置、数字信号解码装置、数字信号算术编码方法及数字信号算术解码 方法。
背景技术：
在已知的MPEG和ITU-TH. 26x等的国际标准视频图像编码方式中，是采用霍夫曼 编码做为熵编码。虽然霍夫曼编码是在需要各个信息源符号作为独立的字码来表现的场合 时，可提供最适的编码性能，但在一方面如视频图像信号那样的信号的形状局部性地在变 动，则会在所谓对信息源符号的发生概率为变动的场合时无法保证最适性的问题。在该场合时，可以采用如下方案动态地来适应各个信息源符号的发生概率，并集 合多个符号而以1个字码来表现的方法做为算术编码。M 弓| ffi Mark Nelson, "Arithmetic Coding+StatisticalModeling = Data Compress part 1-Arithmetic Coding", Dr. Dobb' sjournal, February 1991 而简单地来力口 以说明算术编码的想法。在此是考虑将字母字符做为信息源符号的信息源，而思考将所谓 “BILLGATES”的信息进行算术编码。此时，各个字符的发生概率是如

图1那样地被定义。而且，如同图的值域所示那样 地，仅决定一个被定义在w、l]的区间的概率数直线上的区域。其次，进入编码处理。首先虽执行字符“B”的编码，但此相当于选定概率数直线上 的范围W.2、0.3]。因此，在字符“B”是成为对应一组值域
的上限(High)与下 限(Low)的值。其次，在“1”编码之际，是改变在“B”编码所选定的值域
而当做
区间，并选定其中的W.5、0.6]的区间。总之，算术编码的处理过程是相当于执行概率数直 线的值域的挤入。而只要对各字符来反复该处理，则如图2所示那样地，“BILLGATES”的算术编码结 果是以在字符“S”编码完毕的时刻的Low值<0. 2572167752〉来表现。解码处理是也可考虑与此相反的处理。首先调查编码结果<0. 2572167752〉为相当于概率数直线上的那一个字符所分配 的值域而得到“B”。
之后，通过于减去“B”的Low值之后在值域来实施除法运算，而得到 <0.572167752〉。该结果为，可解码出对应于
的区间的字符“I”。以下，反复该处 理而可解码出“BILL GATES”。通过以上的处理，若执行算术编码，即使为非常长的讯息的编码也可在最后被映 射至1个字码。然而从实际的实装上是无法处理无限的小数点精度，及于编码 解码程序 以需要乘除法运算而使得运算负荷变高等的问题来看，例如，执行作为字码表现而利用整 数型寄存器的浮动小数点运算，以将上述Low值以2的乘方来近似并将乘除法运算进行置 换成移位运算等来下工夫。若依据算术编码，则理想上是通过上述的程序而可以很适合于 信息源符号的发生概率的熵编码。特别是，在发生概率为动态地变动的场合时，以追踪发生 概率的变动的情况而将图1的表进行适宜更新，而可得到比霍夫曼编码更高的编码效率。因为已知的数字信号算术编码方法及数字信号算术解码方法是如以上那样地被 构成，所以于传输被熵编码的视频图像信号之际，通常是，为了将随着传输错误而来的视频 图像错乱抑制至最小限，并将视频图像的各帧分割成部分区域，而以可再同步的单位(例 如为MPEG-2片段构造)来传输的居多。因此，在霍夫曼编码中，虽然各个编码对象符号是为了被映射至整数位长的字码， 而仅以集合所相当的字码而做为传输单位来定义即可，但在算术编码中，因为不仅需要明 示地中断编码程序的特殊符号，而且于再开始编码之际，将至此以前为止的符号的发生概 率的学习处理过程一度进行复位，而需要排出可确定码的位，所以会有招致在中断的前后 的编码效率降低的可能性。再者，假如算术编码处理为以于1视频图像帧中不被复位来编 码，而于如传输时不得不分割成包数据等的小单位的场合时，某一包的解码处理是刚好无 前一包的数据则无法实施，而会有所谓于起因于传输错误和延迟等的包遗失发生的场合时 视频图像品质显著地劣化的课题。

发明内容
因为本发明是为了解决上述的课题而做成，并以得到可确保耐错误性、同时可提 高算术编码的编码效率的数字信号编码装置及数字信号算术编码方法做为目的。而且，本发明是以得到即使在编码装置侧无前一传输单位的算术编码状态或符号 发生概率学习状态被复位的情况下而继续被编码的场合时，也可正确地解码的数字信号解 码装置及数字信号算术解码方法做为目的。本发明的数字信号编码装置及数字信号算术编码方法是在将既定传输单位的数 字信号以算术编码进行压缩之际，以可将表现在某传输单位的编码为完毕的时刻的算术编 码状态的信息，作为次一传输单位的数据的一部分进行复用，或以基于与含于1个或多个 相邻接的传输单位的信号间的依存关系，来决定编码符号的发生概率，同时以计数被编码 的符号的出现频度来学习上述发生概率，而以可将表现在某传输单位的编码为完毕的时刻 的发生概率学习状态的信息，作为次一传输单位数据的一部分而进行复用。因此，可不必复位此以前的算术编码状态或符号发生概率学习状态而继续地使编 码继续，所以具有可一面确保耐错误性，一面可实施提高算术编码的编码效率的编码的效
果
而且，本发明的数字信号解码装置及数字信号算术解码方法是在某传输单位的解码开始时，以基于表现做为该传输单位数据的一部分而被复用的算术编码状态的信息，而 执行解码动作的初始化，或于某传输单位的解码开始时，以基于表现做为该传输单位数据 的一部分而被复用的符号发生概率学习状态的信息，而执行使用在解码该传输单位的发生 概率的初始化，同时于解码既定传输单位的压缩数字信号之际，以基于与含于1个或多个 相邻接的传输单位的信号间的依存关系而决定解码符号的发生概率，并以可以计数被解码 的符号的出现频度来学习上述发生概率而执行解码。因此，即使在编码装置侧无可复位前一传输单位的算术编码状态或符号发生概率 学习状态而继续地执行编码的场合时，也具有正确地可解码的效果。附图简单说明图1是显示将所谓“BILLGATES”的字符进行算术编码的场合时的各个字符的发生 概率的说明图。图2是显示将所谓“BILLGATES”的字符进行算术编码的场合时的算术编码结果的 说明图。图3是显示本发明的实施形态一的视频图像编码装置(数字信号编码装置)的构 成图。图4是显示本发明的实施形态一的视频图像解码装置(数字信号解码装置)的构 成图。图5是显示图3的算术编码部6的内部构成的构成图。图6是显示图5的算术编码部6的处理内容的流程图。图7是显示文脉模型的一例的说明图。图8是显示运动向量用文脉模型的一例的说明图。图9是说明片段构造的说明图。图10是显示由算术编码部6所生成的位数据流的一例的说明图。图11是显示由算术编码部6所生成的其他的位数据流的一例的说明图。图12是显示由算术编码部6所生成的其他的位数据流的一例的说明图。图13是显示图4的算术解码部27的内部构成的构成图。图14是显示图13的算术解码部27的处理内容的流程图。图15是显示在实施形态二中的算术编码部6的内部构成的构成图。图16是显示图15的算术编码部6的处理内容的流程图。图17是说明文脉模型的学习状态的说明图。图18是显示由实施形态二的算术编码部6所生成的位数据流的一例的说明图。图19是显示实施形态二的算术解码部27的内部构成的构成图。图20是显示图19的算术解码部27的处理内容的流程图。图21是显示由实施形态三的算术编码部6所生成的位数据流的一例的说明图。发明的
具体实施例方式以下，为了更详细来说明本发明，就可实施本发明的最佳形态，根据附图来说明。实施形态一在本实施形态一中，做为以将视频图像帧均等分割16X16像素的矩形区域(以 下，为宏块)的单位而执行编码的视频图像编码方式来适用算术编码之例，是使用D. Marpe及其他人的在"VideoCompression Using Context-Based Adaptive Arithmetic Coding，，, International Conference on Image Processing 2001 所揭示的事例来力卩以说明。图3是显示本发明实施形态一的视频图像编码装置(数字信号编码装置)的构成 图，在图中，运动检测部2是使用储存于帧存储器3a的参考图像4，而从输入视频图像信号 1以宏块单位来检测运动向量5。运动补偿部7是基于运动检测部2所检测的运动向量5 来取得时间预测图像8。减法器51是求出输入视频图像信号1与时间预测图像8的差分， 而将其差分做为时间预测余差信号9进行输出。空间预测部10a是以参考输入视频图像信号1，而执行从同一视频图像帧内的空 间的近旁区域来的预测而生成空间预测余差信号11。编码模式判定部12是从将时间预 测余差信号9进行编码的运动预测模式；做为运动向量5为零而无时间预测余差信号9成 分的情况的跳过模式；及将空间预测余差信号11进行编码的内部模式之中，来选择可以最 有效率地编码相当的宏块的模式而输出编码模式信息13。正交变换部15是将由编码模式判定部12所选择的编码对象信号进行正交变换而 输出正交变换系数数据。量子化部16是以由编码控制部22所决定的量子化步骤参数23 所示的粒度，而执行其正交变换系数数据的量子化。逆量子化部18是以量子化步骤参数23所示的粒度，而执行从量子化部16所输出 的正交变换系数数据17的逆量子化。逆正交变换部19是将由逆量子化部18所逆量子化 的正交变换系数数据进行逆正交变换。切换部52是根据从编码模式判定部12所输出的编 码模式信息13而选择从运动补偿部7所输出的时间预测图像8、或从空间预测部10a所输 出的空间预测图像20进行输出。加法器53是将切换部52的输出信号与逆正交变换部19 的输出信号做加法运算而生成局部解码图像21，并将其局部解码图像21做为参考图像4而 储存于帧存储器3a。算术编码部6是以实施运动向量5、编码模式信息13、空间预测模式14、及正交变 换系数数据17等的编码对象数据的熵编码，而将其编码结果做为视频图像压缩数据26，由 发送缓冲器24而输出。编码控制部22是控制编码模式判定部12、及量子化部16和逆量子 化部18等。图4是显示本发明实施形态一的视频图像解码装置(数字信号解码装置)的构成 图，在图中，算术解码部27是以实施熵解码处理，来解码运动向量5、编码模式信息13、空 间预测模式14、正交变换系数数据17、及量子化步骤参数23等。逆量子化部18是将由算 术解码部27所解码的正交变换系数数据17及量子化步骤参数23进行逆量子化。逆正交 变换部19是将逆量子化的正交变换系数数据17及量子化步骤参数23进行逆正交变换并 局部解码。运动补偿部7是使用由算术解码部27所解码的运动向量5而复原时间预测图像 8。而空间预测部10b是从由算术解码部27所解码的空间预测模式14来复原空间预测图 像20。切换部54是根据由算术解码部27所解码的编码模式信息13而选择时间预测图 像8或空间预测图像20进行输出。加法器55是将做为逆正交变换部19的输出信号的预 测余差信号与切换部54的输出信号做加法运算而输出解码图像21。还有，解码图像21是 被储存于做为在以下的帧的预测图像生成中所使用的帧存储器3b。
其次，就动作加以说明。最初，以说明视频图像编码装置及视频图像解码装置的动作概要。(1)视频图像编码装置的动作概要输入视频图像信号1是以各个视频图像帧被分割成宏块的单位而被输入，视频图 像编码装置的运动检测部2是使用被储存于帧存储器3a的参考图像4，而以宏块单位来检 测运动向量5。运动补偿部7是只要运动检测部2 —检测运动向量5，便基于其运动向量5而取得 时间预测图像8。减法器51是只要一从运动补偿部7收到时间预测图像8，则求得输入视频图像信 号1与时间预测图像8的差分，而将其差分做为时间预测余差信号9而输出至编码模式判 定部12。一方面，空间预测部10a是只要一输入输入视频图像信号1，则参考其输入视频图 像信号1，而执行来自同一视频图像帧内的空间的近旁区域的预测而生成空间预测余差信 号11。编码模式判定部12是从将时间预测余差信号9进行编码的运动预测模式；做为 运动向量5为零而无时间预测余差信号9的成分的情况的跳过模式；及将空间预测余差信 号11进行编码的内部模式之中，来作选择以最好效率来编码相当的宏块的模式，而将其编 码模式信息13输出至算术编码部6。还有，在选择运动预测模式的场合时，是将时间预测余 差信号9做为编码对象信号而输出至正交变换部15，而于选择内部模式的场合时，将空间 预测余差信号11做为编码对象信号而输出至正交变换部15。而且，在选择运动预测模式的场合时，运动向量5为作为编码对象信息而从运动 检测部2被输出至算术编码部6，在选择内部模式的场合时，内部预测模式14为作为编码对 象信息而从空间预测部10a被输出至算术编码部6。正交变换部15是只要一从编码模式判定部12收到编码对象信号，则将其编码对 象信号做为正交变换而将正交变换系数数据输出至量子化部16。量子化部16是只要一从正交变换部15收到正交变换系数数据，则以由编码控制 部22而决定的量子化步骤参数23所示的粒度，而执行其正交变换系数数据的量子化。还有，编码控制部22以调整量子化步骤参数23，而可取得编码率与品质的平衡。 一般而言，算术编码之后，以每隔一定时间来确认被储存于刚传输前的发送缓冲器24中的 编码数据的占有量，并根据其缓冲器余量25来执行量子化步骤参数23的参数调整。例如， 在缓冲器余量25为很多时，除了一面做出抑制编码率外，在缓冲器余量25尚有余裕的场 合，也可一面提高编码率而使品质得以提高。逆量子化部18是只要一从量子化部16收到正交变换系数数据17，则以量子化步 骤参数23所示的粒度，而执行其正交变换系数数据17的逆量子化。逆正交变换部19是将由逆量子化部18所逆量子化的正交变换系数数据进行逆正 交变换。切换部52是根据从编码模式判定部12输出的编码模式信息13而选择从运动补 偿部7所输出的时间预测图像8、或从空间预测部10a所输出的空间预测图像20进行输出。 即、在编码模式信息13为显示运动预测模式的场合时，选择从运动补偿部7所输出的时间预测图像8进行输出，而在编码模式信息13为显示内部模式的场合时，选择从空间预测部 10a所输出的空间预测图像20进行输出。加法器53是将切换部52的输出信号与逆正交变换部19的输出信号做加法运算 而生成局部解码图像21。还有，局部解码图像21是为了被使用于以下的帧的运动预测，而 作为参考图像4被储存于帧存储器3a。算术编码部6是根据后述的程序而实施运动向量5、编码模式信息13、空间预测模 式14、及正交变换系数数据17等的编码对象数据的熵编码，并将其编码结果做为视频图像 压缩数据26，由发送缓冲器24进行输出。(2)视频图像解码装置的动作概要算术解码部27是只要一从视频图像编码装置接收到视频图像压缩数据26，则以 实施后述的熵解码处理，而解码运动向量5、编码模式信息13、空间预测模式14、正交变换 系数数据17、及量子化步骤参数23等。逆量子化部18是将由算术解码部27而解码的正交变换系数数据17、及量子化步 骤参数23于以逆量子化，而逆正交变换部19是将逆量子化的正交变换系数数据17、及量子 化步骤参数23进行逆正交变换而行局部解码。运动补偿部7是在由算术解码部27而解码的编码模式信息13为显示运动预测模 式的场合时，使用由算术解码部27而解码的运动向量5而复原时间预测图像8。空间预测部10b是在由算术解码部27而解码的编码模式信息13为显示内部模式 的场合时，从由算术解码部27而解码的空间预测模式14来复原空间预测图像20。在此，视频图像编码装置侧的空间预测部10a与视频图像解码装置侧的空间预测 部10b的差异是为对前者所取得的所有的空间预测模式的种别，并含有最有效率地来选定 空间预测模式14的处理，而后者是从所提供的空间预测模式14而只限定于生成空间预测 图像20的处理。切换部54是根据由算术解码部27而解码的编码模式信息13而选择以运动补偿 部7而复原的时间预测图像8、或以空间预测部10b而复原的空间预测图像20，并将其选择 图像做为预测图像而输出至加法器55。加法器55是只要一从切换部54收到预测图像，就将其预测图像与从逆正交变换 部19所输出的预测余差信号做加法运算而得到解码图像21。还有，解码图像21是为了被使用于以下的帧的预测图像生成，而被储存于帧存储 器3b。帧存储器3a与3b的差异是仅为所谓各自被搭载于视频图像编码装置与视频图像解 码装置的区别。(3)算术编码 解码处理以下，对做为本发明的要点的算术编码及解码处理详细地来加以说明。编码处理 是在图3的算术编码部6来执行，而解码处理是在图4的算术解码部27来执行。图5是显示图3的算术编码部6的内部构成的构成图。在图中，算术编码部6是 包括文脉模型决定部28，决定对做为编码对象数据的运动向量5、编码模式信息13、空间 预测模式14、及正交变换系数数据17等的各个数据型态而定义的的文脉模型(后述)；二 进位化部29，根据对各编码对象数据型态而决定的二进位化规则将n进位数据转换成二进 位数据；发生概率生成部30，提供二进位化后的各个二进位化序列bin的值(0或1)的发生概率；编码部31，基于被生成的发生概率而执行算术编码；及传输单位生成部35，通知中 断算术编码的时序，同时以其时序来构成成为传输单位的数据。图6是显示图5的算术编码部6的处理内容的流程图。1)文脉模型决定处理(步骤ST1)所谓文脉模型是将与成为信息源(编码)符号的发生概率的变动要因的其他的信 息的依存关系进行模型化，并以对应该依存关系来切换发生概率的状态，而成为可执行更 适应于符号的实际发生概率的编码。图7是说明文脉模型的概念的说明图。还有，在图7中是将信息源符号做为二进 位。所谓图7的0 2的ctx的选择分支分支是以想象使用该ctx的信息源符号的发生概 率的状态并根据状况而变化的事实来加以定义。以在该实施形态一中的视频图像编码而言，可根据在某宏块的编码数据与其周边 的宏块的编码数据间的依存关系来切换ctx的值。图8是显示运动向量用文脉模型的一例的说明图，图8是以关于D.Marpe及其 他人的在"Video Compression Using Context-BasedAdaptive Arithmetic Coding，，， International Conference on ImageProcessing 2001 所揭示的宏块的运云J]向量的文脉 模型为例。在图8中，以块C的运动向量为编码对象，正确而言是将从近旁来预测块C的运动 向量的预测差分值mvdk(C)编码。而ctX_mvd(C、k)为文脉模型。分别以mvdk(A)显示在块A的运动向量预测差分值、及以mvdk(B)显示在块B的运 动向量预测差分值，它们并被使用于文脉模型的切换评价值ek(C)的定义。评价值ek(C)是显示近旁的运动向量的偏差情形，一般而言于该偏差为小的场合 时会有mvdk(C)变小，相反地于ek(C)为较大的场合时也会有mvdk(C)变大的倾向。因而，mvdk(C)的符号发生概率是最好以基于ek(C)而被适应化。而该发生概率的 变动设定是文脉模型，可说在该情形具有3种类的发生概率变动。除此之外，关于编码模式信息13、空间预测模式14、及正交变换系数数据17等的 编码对象数据的每一个，预先定义文脉模型，而在视频图像编码装置的算术编码部6与视 频图像解码装置的算术解码部27被共有。在图5所示的算术编码部6的文脉模型决定部 28中，基于如该编码对象数据的种别而执行选择预先所决定的模型的处理。还有，因为从文脉模型之中，选择任意的发生概率变动的处理是相当于下述3)的 发生概率生成处理，所以在此进行说明。 2) 二进位化处理(步骤ST2)文脉模型是将编码对象数据在二进位化部29进行二进位序列化，而根据二进位 序列的各bin(二进位位置)来决定。二进位化的规则是根据各编码数据的所取得的值的 大致分布，来变换成可变长的二进位序列。二进位化中与通过将原本取得多值的编码对象 数据直接进行算术编码比，通过以bin为单位进行编码，因为可削减概率数直线分割数，所 以可简化运算。因此，具有可使文脉模型瘦身的优点。3)发生概率生成处理(步骤ST3)在上述1)、2)的处理程序中，多值编码对象数据的二进位化、及适用各bin的文脉 模型的设定已经完毕，准备编码。因为各文脉模型含有对0/1的各个发生概率的变动，发生概率生成部30参考在步骤ST1所决定的文脉模型来执行在各bin中的0/1发生概率的生 成处理。图8是显示做为发生概率选择的评价值ek(C)的一例，发生概率生成部30决定如 图8的ek(C)所示的做为发生概率选择的评价值，并根据此，从所参考的文脉模型的选择分 支之中，来决定将哪一个发生概率变动使用于现在的编码。4)编码处理(步骤ST3 ST7)因为通过3)，可得到算术编码处理程序所需要的概率数直线上的0/1各值的发生 概率，所以根据在现有例所举的处理程序而在编码部31来执行算术编码(步骤ST4)。而且，实际的编码值(0或1) 32是被反馈至发生概率生成部30，并为了更新所使用 的文脉模型的发生概率变动部分而计算0/1产生频度(步骤ST5)。例如，在以使用某特定的文脉模型内的发生概率变动而执行100个bin的编码处 理的时刻，在该发生概率变动中的0/1的发生概率分别是0.25、0.75。在此，只要一使用相 同的发生概率变动而编码1，则1的出现频度就被更新，而0/1的发生概率变化成0. 247、 0. 752。通过该机制，而成为可执行适应于实际的发生概率的有效率的编码。而且，新的在编码部31所生成的编码值(0或1)32的算术码33是被传送至传输 单位生成部35，如下述6)的所述那样地，做为以构成传输单位的数据而进行复用(步骤 ST6)。而且，对1个编码对象数据的二进位序列bin整体来判断编码处理是否结束(步 骤ST7)，若尚未结束，则返回步骤ST3，而执行在各bin中的发生概率的生成处理以下的处 理。另一方面，若为结束，则进一步转移至其次所说明的传输单位生成处理。5)传输单位生成处理(步骤ST8 ST9)虽然算术编码是将多个编码对象数据的序列进行变换至1个字码，但因为视频图 像信号是执行在帧间的运动预测，或执行在帧单位的显示，所以需要将帧做为单位而生成 解码图像来更新帧存储器内部。因而，需要在被算术编码的压缩数据上能够明确地判断所 谓帧的单位的间隙，进而，从与声音 声频等的其他的媒体的复用、及包传输等的目的来看， 也需要以帧内的较细的单位来区分压缩数据而进行传输。以此例而言，一般可举出片段构 造、即将多个宏块依Z形扫描顺序进行群组化(grouping)的单位。图9是将片段构造进行说明的说明图。点线所围起来的矩形相当于宏块。一般上片段构造是做为解码时的再同步的单 位而被处理。做为极端的例子，为将片段数据照常映射成IP传输用的包装载。在视频 图像等不太允许传输延迟的实时媒体的IP传输上，大多使用RTP(Real time Transport Protocol)。大多情况是RTP包将时间标记提供标头部分，而在装载部分映射视频图像的片 段数据并被传输。例如，在Kikuchi及其他人的在“RTPPayload Format for MPEG_4Audio/ Visual Streams”，RFC 3016中，规定有将MPEG-4视频图像压缩数据以MPEG-4的片段(视 频图像包)的单位进行映射成RTP装载的方法。因为RTP是做为UDP包而被传输，所以一般无再发送控制，而在发生包遗失的场合 时，会有片段数据为无法完整送达解码装置的情形。假如，其后的片段数据若要执行依存于 该被废弃的片段的信息的编码，则即使其假定已正常地送达解码装置也无法做正常解码。因此，任意的片段都需要从其开头无关于任何的依存关系地可正常地来解码。例如，一般而言，碰到执行Slice5的编码，不要执行利用位于其上部的Slice3和位于左的 Slice4的宏块群的信息的编码。另一方面，在使算术编码的效率得以提高上，最好是基于周边的状况而使之适应 符号的发生概率，或继续保持概率数直线的分割过程。例如，为了将Slice5完全独立于 Slice4来编码，在Slice4的最终宏块的算术编码结束的时刻，无法保持可表现在算术编码 中的字码的寄存器值，而在Slice5成为将复位寄存器于初始状态后的编码进行再开。因 此，无法利用存在于Slice4的结尾与Slice5的开头之间的相关，而招致编码效率的降低。 总之，一般设计成提高以编码效率的降低做为牺牲，对起因于传输错误等的片段数据的无 法预期的遗失的耐遗失性。
在该实施形态一的传输单位生成部35中，提供的是提高该设计的适应性的方法 以及装置。即，在依据传输错误等的片段数据的遗失的概率极为低的情形下，不实施恒常切 断关于算术编码的片段间的依存关系，而可积极地加以利用。在一方面，在片段数据的遗失的可能性为很高的场合时，可切断片段间的依存关 系，而适应性地来控制在传输单位的编码效率。总之，在该实施形态一中的传输单位生成部35上，作为视频图像编码装置内部的 控制信号，而以区分传输单位的时序而接收传输单位指示信号36，并基于该传输单位指示 信号36所输入的时序，区分从编码部31所输入的算术码33的字码而生成传输单位的数 据。具体而言，传输单位生成部35是将编码值32的算术码33逐次地做为传输单位构 成位进行复用(步骤ST6)，同时通过上述传输单位指示信号36来判断仅含在传输单位内所 得到的宏块的部分的数据的编码是否结束(步骤ST8)，在判断传输单位内的所有的编码未 结束的场合时，返回步骤ST1，并执行文脉模型决定以下的处理。相反，在判断传输单位内的所有的编码结束的场合时，传输单位生成部35做为次 一传输单位数据的标头信息而附加以下的2个信息(步骤ST9)。1.在次一传输单位，来附加概率数直线分割状况、即显示是否复位可表示做为字 码表现的算术编码处理过程的寄存器值的“寄存器复位标志”。还有，在最初被生成的传输 单位上，该寄存器复位标志恒常指示 < 进行复位 > 来加以设定。2.仅于上述1.的寄存器复位标志为显示 < 不进行复位 > 的场合时，做为使用于 次一传输单位的算术编码及解码的开始时的寄存器值，而附加做为在其时刻的寄存器值的 “初始寄存器值”。还有，该初始寄存器值如图5所示那样地，为从编码部31来输入至传输 单位生成部35的初始寄存器值34。图10是显示由算术编码部6所生成的位数据流的一例的说明图。如图10所示那样地，在每一片段视频图像压缩数据、及做为各片段视频图像压缩 数据的标头的片段标头数据除了片段开始码之外，设置上述1.的寄存器复位标志；及初 始寄存器值，该值仅于上述1.的寄存器复位标志显示为 < 不进行复位 > 的场合时进行复用。如上所述，若依据2个附加信息，则即使于刚好前面的片段为有遗失的场合时，通 过使用含于自身的片段标头数据的寄存器复位标志、及做为初始寄存器值的寄存器初始化 的值，而成为即使在片段间也可执行保持算术字码的连续性的编码，而得以保持编码效率。
还有，在图10中，虽然片段标头数据与片段视频图像压缩数据为在同一数据流上被复用，但如图11所示那样地，片段标头数据是以另外的数据流的形态而以离线被传输， 在片段视频图像压缩数据也可以附加上对应的片段标头数据的ID信息来加以构成。在同 图，是显示将数据流根据IP协定来传输的例，并显示将标头数据部分以可靠性较高的TCP/ IP来传输，而将视频图像压缩数据部分以低延迟的RTP/UDP/IP来传输的例。若依据图11 的构成所根据的标头、及传输单位的分离传输形式，则以RTP/UDP/IP来传输的数据未必被 分割成所谓片段的数据单位也可。在片段中，基本上而言，虽需要将与近旁区域的视频图像信号的依存关系(文脉 模型)全部进行复位，以在该片段可单独地再开解码，但此是会招致视频图像编码效率的 降低。如图11所示那样地，若可以TCP/IP来传输初始寄存器状态，则视频图像信号自体 是一面利用帧内的每一文脉模型一面执行编码，而在执行RTP包化的阶段也可分割被算术 编码过的数据来加以传输。因而，若依据该结构，则因为算术编码处理过程不依据线路的状 况即可稳定地获得，所以可将执行不受片段构造限制的编码的位数据流以保持较高的耐错 误性来加以传输。另外，如图12所示那样地，也可将是否使用寄存器复位标志与初始寄存器值的语 法以可显示在更上位的层来加以构成。在图12中，是显示在以从多个视频图像帧所构成的 视频图像顺序的单位而被给予的标头信息上，复用可表示是否使用寄存器复位标志与初始 寄存器值的语法的寄存器复位控制标志的例。例如，在判断线路的品质变坏，而通过视频图像顺序来执行寄存器复位方为可进 行稳定的视频图像传输的场合时，将寄存器复位控制标志设定成表示 < 通过视频图像顺 序，而在片段的开头恒常使寄存器复位〉的值。此时，对于成为在片段的单位上的复用化对 象的寄存器复位标志和初始寄存器值在片段级别的复用变为不需要。因此，在如某特定的传输条件(线路的错误率等)为继续的场合时，若可以视频图 像顺序的单位来控制寄存器复位，则可降低以片段为单位来传输的开销信息。不用说，寄存 器复位控制标志也可以附加到第N帧、第N+1帧等来表示的、视频图像顺序中的任意的视频 图像帧的标头信息。图13是显示图4的算术解码部27的内部构成的构成图。视频图像解码装置的算术解码部27含有传输单位解码初始化部37，在每一接 收的传输单位，基于被含于标头的关于算术编码处理过程的附加信息，来执行算术解码处 理的初始化；文脉模型决定部28，基于算术解码的处理过程来特定运动向量5、编码模式信 息13、空间预测模式14、及正交变换系数数据17等的解码对象数据的形态，而决定分别与 视频图像编码装置来共通定义的文脉模型；二进位化部29，生成基于解码对象数据的形态 而决定的二进位化规则；发生概率生成部30，根据二进位化规则与文脉模型，而提供各个 bin(0或1)的发生概率；及解码部38，基于所生成的发生概率而执行算术解码，而从其结果 所得的二进位序列与上述二进位化规则来解码运动向量5、编码模式信息13、空间预测模 式14、及正交变换系数数据17等的数据。图14是显示图13的算术解码部27的处理内容的流程图。6)传输单位解码初始化处理(步骤ST10)
如图10所示那样地，基于寄存器复位标志及初始寄存器值34，执行在解码部38 中的算术解码开始状态的初始化(步骤ST10)。寄存器复位标志，表示以每一片段等的传输 单位来复用，而显示算术编码处理过程的寄存器值有无复位；而在复位寄存器值的场合时， 初始寄存器值34不被使用。7)文脉模型决定处理、二进位化处理、发生概率生成处理 虽然这些处理程序是分别由图13所示的文脉模型决定部28、二进位化部29、及发 生概率生成部30所执行，但因为与在视频图像编码装置侧的处理程序1) 3)所示的文脉 模型决定处理STl、二进位化处理ST2、及发生概率生成处理ST3相同，所以分别提供相同的 步骤号码，而省略这些说明。8)算术解码处理(步骤STl 1)因为从此处起将要做解码的bin的发生概率已经由至7)为止的处理程序确定，所 以在解码部38中，根据现有例所示的算术解码处理的程序，而复原bin的值(步骤ST11)， 并且与视频图像编码装置侧的处理一样地来计数0/1产生频度而更新bin的发生概率(步 骤ST5)，判断通过与由二进位化规则所定的二进位序列图形相比较而解码的bin的值是否 为确定(步骤ST12)。若与由二进位化规则所定的二进位序列图形相比较而解码的bin的值为不确定， 则再度执行在步骤ST3的各bin中的0/1发生概率生成处理以下的处理(步骤ST3、ST11、 ST5、ST12)。在一方面，在与由二进位化规则所定的二进位序列图形吻合的确认而解码的各 bin的值为已确定的场合时，将吻合的图形所指示的数据值做为解码数据值进行输出，若对 片段等的传输单位全部尚未解码完毕(步骤ST13)，则为了对所有传输单位进行解码，需反 复执行步骤STl的文脉模型决定处理以下的处理。以上很显明看出，若依据该实施形态一，因为在以片段等的较细的传输单位进行 区分而传输视频图像压缩数据之际，附加可表示做为片段标头数据而显示算术编码处理过 程的寄存器值有无复位的寄存器复位标志、及初始寄存器值34，所以可不切断算术编码的 编码处理程序的连续性来执行编码，而成为一面可提高对传输错误的耐错误性一面可保持 编码效率，使其解码变为可行。还有，在该实施形态一中，虽然做为传输单位而设想了片段构造，但即使将视频图 像帧做为传输单位也可适用本发明。实施形态二、在该实施形态二中，就算术编码部6及算术解码部27的另外形态进行叙述。在该 实施形态二中，其特征在于不仅表示算术编码处理过程的字码的状态的寄存器值，对文脉 模型内的发生概率变动的学习状态、即对依据在发生概率生成部30的bin的发生概率更新 处理而来的文脉模型内的发生概率变动的学习状态也复用于片段标头。例如，在上述实施形态一中所说明的图8，例如为了使块C的算术编码的效率得以 提高，而将该块C的例如位于上部的块B的运动向量的信息做为发生概率变动决定来使用。 因而，例如假设块C与块B位于不同的片段，则需要禁止将块B的信息使用在发生概率决定 处理程序。此种情形意味着依据文脉模型而来的发生概率适应化的编码效率会降低。
因此，在该实施形态二中，因为提供使该设计的适应性得以提高的方法及装置，所 以在依据传输错误等的片段数据的遗失的概率极为低的情形下，可不恒常切断相关于算术 编码的片段间的依存关系，而可积极地进行利用，另外在片段数据的遗失的可能性很高的 场合，可切断片段间的依存关系，而可以适应地控制传输单位的编码效率。图15是显示在实施形态二的算术编码部6的内部构成的构成图。在该实施形态二的算术编码部6与图5所示的上述实施形态 一的算术编码部6不 同之处仅在于发生概率生成部30将被做为复用至片段标头的对象的文脉模型的状态39交 给传输单位生成部35。图16是显示图15的算术编码部6的处理内容的流程图。与在上述实施形态一的图6的流程图相比较很明显，与其不同点是在步骤ST3的 各bin中的0/1发生概率生成处理的文脉模型状态39、即对依据在发生概率生成部30的 bin的发生概率更新处理而来的文脉模型内的发生概率变动的学习状态39也与步骤ST4的 二进位算术编码处理的寄存器值同样地，仅为在步骤ST9的传输单位生成部35中的次传输 单位的标头构成处理上复用于片段标头的点而已。图17是说明文脉模型的学习状态的说明图。使用图17，来说明关于文脉模型的状 态39的意义。图17是在第k号传输单位内有η个宏块的情形，并对各宏块来定义仅1度被使用 的文脉模型Ctx，并表示对各宏块CtX的发生概率发生变动的情形。所谓文脉模型的状态39继续至次一传输单位，意味着如该图17所示那样地， 第k号传输单位的最终状态Ctxk(I1-I)为在第k+Ι号传输单位的ctx的初始状态、即在 ctxk+1 (n-1) = 0、1、2 的 0、1 的发生概率 po、pl 与在 ctxk(n-l) = 0、1、2 的值 0、1 的发生概 率p0、p相等。因此，在传输单位生成部35中，显示Ctxk(Ii-I)的状态的数据做为在第k+1 号传输单位的标头信息的一部分而被传输。图18是显示由实施形态二的算术编码部6所生成的位数据流的一例的说明图。在该实施形态二中，在每一片段视频图像压缩数据的片段标头数据来附加与图10 所示的实施形态一同样的片段开始码、寄存器复位标志、及初始寄存器值，还有刚好前面的 片段的文脉模型状态的信息。但是，在该实施形态二中，不仅使寄存器复位标志含有初始寄存器值有无复用，也 含有文脉模型状态数据有无复用。还有，做为表示文脉模型状态数据有无复用的信息不用说，不仅可设置寄存器复 位标志，也可设置别的标志来加以构成。而且，虽然即使为上述实施形态一也可加以说明，但在图18中，虽然片段标头数 据与片段视频图像压缩数据在同一数据流上被复用，但片段标头是以别的数据流的形式离 线被传输，而在压缩数据也可以附上对应的片段标头数据的ID信息来加以构成。图19是显示实施形态二的算术解码部27的内部构成的构成图。在该实施形态二 的算术解码部27与图13所示的实施形态一的算术解码部27不同之处，仅在于传输单位解 码初始化部37将刚好被片段标头所复用之前的片段的文脉模型的状态39交给发生概率生 成部30，而成为将文脉模型的状态从刚好前面的片段来继续的构成之点。图20是显示图19的算术解码部27的处理内容的流程图。
与在上述实施形态一的图14的流程图相比较很明显地可看出，与此不同之点是 在步骤STlO的各传输单位解码初始化处理中，从片段标头所解码的文脉模型状态39参考 步骤ST3的处理、即在步骤STl所决定的文脉模型被输出至执行在各bin的0/1发生概率 的生成处理的处理上，使用于发生概率生成部30的0/1发生概率的生成处理之点。还有，关于在片段标头所交给的文脉模型的状态，因为文脉模型数极多的场合时 变为片段标头的开销，所以也可以选择对编码效率的贡献显著的文脉模型，将该状态进行 复用来加以构成。
例如，因为运动向量和正交变换系数数据在全符号量中所占的比例较多，所以可 考虑仅对于该等文脉模型的状态来加以继续的构成等。而且，可将继续状态的文脉模型的 种别明示地复用于位数据流来构成，也可以根据视频图像的局部的状况而选择性地只对于 重要的文脉模型来执行状态继续。从以上很明显看出，若依据该实施形态二，在区分成较细的传输单位来传输视频 图像压缩数据之际，因为可附加做为片段标头数据而表示显示算术编码处理过程的寄存 器值有无复位的寄存器复位标志；初始寄存器值34 ；及表示刚好前面的片段的文脉模型状 态的信息，而可不必切断算术编码的编码处理程序的连续性而执行编码，而成为可一面提 高对传输错误的耐错误性并一面保持编码效率。还有，虽然在该实施形态二中，做为传输单位而设想了片段构造，但即使将视频图 像帧做为传输单位也可适用本发明。特别是，在该实施形态二中，因为附加表示刚好前面的片段的文脉模型状态的信 息，所以例如，在图8即使使位于块C、及与该块C刚好前面的块B成为不同的片段，也可以 块C的发生概率决定处理程序来利用块B的文脉模型状态，可使依据文脉模型而来的发生 概率适应化的编码效率得以提高。总之，依据传输错误等，在片段数据的遗失的概率极为低 的情况下，可不必恒常地切断关于算术编码的片段间的依存关系，至刚好前面片段的文脉 模型状态为止也可积极地加以利用，另外，在片段数据的遗失的可能性很高的场合时，刚好 前面片段的文脉模型状态不予利用，切断片段间的依存关系，成为可适应性地来控制传输 单位的编码效率。还有，在该实施形态二的场合时，虽然说明过如图18所示的位数据流语法那样 地，在每一片段数据，与上述实施形态一的寄存器复位标志及初始寄存器值的附加并列地， 将表示刚好前面片段的各数据的文脉模型状态的信息做为片段标头数据而进行附加，但上 述实施形态一的寄存器复位标志及初始寄存器值是不予附加而省略掉，而也可将仅表示刚 好前面片段的各数据的文脉模型状态的信息做为片段标头数据进行附加，而且，与是否与 上述实施形态一的寄存器复位标志及初始寄存器值的附加并列来设置无关，不用说即使附 加表示该文脉模型状态复位标志为OFF、即附加仅在不做复位的场合时表示刚好前面片段 的各数据的文脉模型状态的信息来设置文脉模型状态复位标志(以参考图21)，而使之利 用于解码时也可。实施形态三在该实施形态三中，对将传输单位以被编码的数据的形态另外地进行群组化的数 据区分形式而构成的例来加以叙述。例如，以公开在JointVideo Team(JVT)of IS0/IEC MPEG andlTU-T VCEG中所研讨的视频图像编码方式设计书草稿Working DraftNumber2，Revision3，JVT-Bl18r3的数据 区分法做为例子，以显示如图9所示的片段构造为单位，将特定的形态的数据进行群组化 而被构成的数据单位以片段数据的形来传输仅存在于其内部的宏块数部分的方式。做为以 群组化而构成的数据单位而成的片段数据的数据形态，例如有以下所示的O 7的数据形 态。0TYPE_HEADER 图像(帧)或片段标头1TYPE_MBHEADER宏块标头信息(编码模式信息等)2TYPE_MVD 运动向量3TYPE_CBP CBP (宏块内的有效正交变换系数分布)4TYPE_2x2DC 交变换系数数据(1)5TYPE_C0EFF_Y正交变换系数数据(2)6TYPE_C0EFF_C正交变换系数数据(3)7TYPE_E0S 数据流结束识别信息例如，在数据形态2的TYPE_MVD的片段中，是仅将收集其内部的宏块数部分、及运 动向量信息的数据做为片段数据进行传输。因而，在接于第k号片段的TYPE_MVD的数据后，而解码第k+Ι号片段的TYPE_MVD 数据的场合时，若仅将关于在第k号片段末尾的运动向量的文脉模型的状态预先复用于做 为送出第k+Ι号片段的TYPE_MVD数据的片段的标头，则可继续用于运动向量的算术编码的 文脉模型学习状态。图21是显示由实施形态三的算术编码部6所生成的位数据流的一例的说明图。在 图21中，例如，在将成为数据形态2的TYPE_MVD的片段的情形的运动向量做为片段数据进 行复用的场合时，在其片段标头中，附加片段开始码和表示TYPE_MVD的数据形态ID、文脉 模型状态复位标志、及表示刚好前面片段的运动向量用文脉模型状态的信息。而且，例如，在仅将数据形态5的TYPE_C0EFF_Y的正交变换系数数据(2)做为片 段数据进行复用的场合时，是在其片段标头中，附加片段开始码和表示TYPE_C0EFF_Y的数 据形态ID、文脉模型状态复位标志、及表示刚好前面片段的正交变换系数数据用文脉模型 状态的信息。还有，在同图中，虽然片段标头数据与压缩数据被复用于同一数据流上，但片断标 头是以另外的数据流的形式而离线被传输，在压缩数据，也可附上对应的片段标头数据的 ID信息来加以构成。而且，在该实施形态三的算术编码部6是在图15的构成中，传输单位生成部35根 据上述数据区分法的规则而执行片段内的宏块数据的再构成，也可以将表示各数据形态的 种别的ID信息、及对应各数据形态的文脉模型的学习状态进行复用而构成。而且，在该实施形态三中的算术解码部27，在图19的构成中，传输单位解码初始 化部37通过将复用于片段标头的数据形态种别ID通知至文脉模型决定部28，而决定所使 用的文脉模型，且通过将文脉模型学习状态通知至发生概率生成部30，而在片段间予继续 文脉模型的学习状态39，来执行算术解码也可以。以上很明显地看出，若依据该实施形态三，则即使在将视频图像信号分割成以既 定的数据形态来群组化的传输单位而执行压缩编码的场合时，在将属于该传输单位的视频图像信号进行算术编码之际，因为不将以在前的既定的数据形态来群组化的传输单位的符 号发生概率学习状态复位而继续编码，所以即使以既定的数据形态来群组化的场合，也可 一边确保耐错误性，一边来实施提高算术编码的编码效率的编码。还有，在该实施形态三中，虽然做为传输单位而例举了每一片段构造的数据形态 种别，但即使换成视频图像帧单位的每一数据形态种别的传输也可来适用本发明。
而且，图21所示的实施形态三说明了位数据流语法之一例的场合，在每一数据形 态的每一片段数据中，附加文脉模型状态复位标志、及该标志为表示OFF时的刚好前面片 段的各数据的文脉模型状态的信息做为片段标头数据，但与图18所示的实施形态二的位 数据流语法的一例的场合同样，在每一数据形态的片段数据中，也可与寄存器复位标志及 初始寄存器值的附加为并列地，将文脉模型状态复位标志、及其标志表示OFF时的刚好前 面片段的各数据的文脉模型状态的信息做为片段标头数据进行附加，而且，与是否与寄存 器复位标志及初始寄存器值的附加并列地进行设置无关，不用说也可省略文脉模型状态复 位标志，而恒常地附加表示刚好前面片段的各数据的文脉模型状态的信息而使之用于解码 时也可以。而且，虽然在以上的实施形态一 三中，做为数字信号，例举了视频图像数据为一 例进行了说明，但在本发明中，不限于此，不仅视频图像数据的数字信号，就连声音的数字 信号、及静止图像的数字信号，进而文本的数字信号、及任意地组合这些信号的多媒体的数 字信号也可适用。而且，虽然在以上的实施形态一、二中，做为数字信号的传输单位而举出了片段、 在实施形态三中，举出了在片段内除了数据的形态以外及区分了数据形态等的既定传输 单位为一例进行了说明，但在本发明中，不限于此，也可将多个片段收集而构成的1图像 (picture)、即1视频图像帧单位做为既定传输单位也可以，而且设想对通信以外的储存系 统等的使用，不用说不只是既定的传输单位，连既定的储存单位也是可以的。如以上所述，有关本发明的数字信号编码装置等适用于在压缩视频图像信号而传 输之际，需要确保耐错误性，同时提高算术编码的编码效率的场合。
权利要求
一种数字信号解码装置，将被压缩编码的数字信号以既定的传输单位接收而进行解码，其特征在于包括算术解码部，该算术解码部由以下部分构成传输单位解码初始化部，按每个上述传输单位，基于其标头所包含的附加信息，进行算术解码处理的初始化；文脉模型决定部，从多个文脉模型中决定按解码对象数据的每个形态而使用的文脉模型；二进位化部，生成基于解码对象数据的形态而决定的二进位化规则；发生概率生成部，提供对应于二进位化规则的文脉模型的发生概率；以及解码部，基于所生成的发生概率进行算术解码。
2.一种数字信号解码方法，将被压缩编码的数字信号以既定的传输单位接收而进行解 码，其特征在于包括算术解码步骤，该算术解码步骤由以下步骤构成传输单位解码初始化步骤，按每个上述传输单位，基于其标头所包含的附加信息，进行 算术解码处理的初始化；文脉模型决定步骤，从多个文脉模型中决定按解码对象数据的每个形态而使用的文脉 模型；二进位化步骤，生成基于解码对象数据的形态而决定的二进位化规则； 发生概率生成步骤，提供对应于二进位化规则的文脉模型的发生概率；以及 解码步骤，基于所生成的发生概率进行算术解码。
全文摘要
在作为片段构造的视频图像压缩数据的片段视频图像压缩数据的位数据流语法中，在每一片段视频图像压缩数据，作为各片段视频图像压缩数据的片段标头复用片段开始码；寄存器复位标志，在次一传输单位表示是否复位表示算术编码处理程序的字码的状态的寄存器值；及初始寄存器值，只在该寄存器复位标志表示<不执行复位>的场合时，应使用做为次一传输单位的算术编码以及解码的开始时所使用的寄存器值，就是在该时刻的寄存器值。
文档编号H04N7/24GK101841710SQ20101014385
公开日2010年9月22日 申请日期2003年4月10日 优先权日2002年4月25日
发明者关口俊一, 山田悦久, 浅井光太郎 申请人:三菱电机株式会社