利用基本层的图像信号的编码/解码方法及装置的制作方法

专利名称：利用基本层的图像信号的编码/解码方法及装置的制作方法
技术领域：
本发明涉及图像信号的可伸缩(sca 1 ab 1 e)编码和解码，尤其涉及在利用动态 补偿时间过滤(MCTF: Motion Compensated Temporal Fi 1 ter)方式进行可伸缩编 码时，追加使用图像信号基本层(base layer)对图像进行编码，并且对基本层进行 编码处理后的图像数据进行解码的方法和装置。
背景技术：
将图像信号数字化的标准有许多种，MPEG是其中最具代表性的一种。由于该 MPEG标准被采用为当前在DVD等记录媒体上收录电影内容等的标准，因而被广泛 使用。并且，作为代表性标准的还有H. 264，估计今后它将被使用为高品质TV电 视信号的标准。但是，TV电视信号需要使用宽频带，而现在普遍使用的手机和笔记本电脑以 及今后将广泛使用的移动(mobile)电视(TV )和掌上电脑(PC )等是通过无线进行 图像接收和发送的，针对这样的图像来分配用于传送TV信号的宽频带是不易进行 的。因此，只能使此类移动性便携装置的图像压缩方式中所使用的标准当中图像信 号的压缩效率进一步提高。更详细地说，也就是上述移动性便携装置不得不使自身处理或表现 (presentation)的能力多样化。因此，被压缩的图像也必须照样子进行多种预先准 备，这就意味着针对同一个图像源(source)需要具有每秒传送帧数、解像度、每个 像素的比特数等多种变数的组合值，这样一来，内容提供商就不得不承受更多的负 担。基于这种理由，内容提供商针对一个图像源准备了高速比特率的压缩图像数 据，如果上述移动性装置提出申请，就在对原始图像进行解码之后，利用与提出申 请装置的图像处理能力(capabi 1 i ty)相适应的图像数据提供并执行适当的编码过 程。但是，在这种方式当中需要以代码转换(transcoding)(解码+编码)过程作为基 础，所以在提供移动性装置所申请的图像时就会发生一些时间迟延。并且，代码转
换也由于目标编码的多样性而需要复杂的硬件设备和算法。为了消除这种不利因素，开发了可伸缩的图像编解码器(SVC: Scalable Video Codec)。这种方式能够在对图像信号进行编码的过程中编码出最高的画质，这样， 即使只提供被生成图像序列的部分序列(从整个序列中间隔着选择出来的帧的序列) 也能够显示出低画质的图像。动态补偿时间过滤(MCTF: Motion Compensated Temporal Filter)方式是为 了在上述可伸缩图像编解码器上使用而被提出的编码方式。但是，由于该MCTF方 式象前面所讲述的那样极有可能被应用在带宽受到限制的移动通信当中，所以为了 降低每秒被传送的比特数，需要有很高的压缩效率即高编码率(coding rate)。但是，如上所述，虽然对利用可伸缩动态补偿时间过滤(MCTF)方式进行编 码的图像序列来说，即使只接收并处理部分序列也能够显示出低画质的图像，但是 当比特率(bitrate)变低时，就很容易出现画质格外低下的问题。发明内容本发明正是为解决上述问题而提出的，其目的在于提供一种在利用可伸缩方 式对图像进行编码时，提供用于低传送率的利用基本层的图像信号的编码/解码 方法及装置。本发明的另一个目的是提供一种在利用可伸缩方式对图像信号进行编码时， 利用基本层与图像序列之间的相互关系来生成预测图像的方法和装置。本发明的另 一个目的是提供一种为了使用其他基本层的图像序列而生成/记 录必要的管理信息的方法和装置。本发明还有一个目的是提供一种追加使用基本层的图像信号对编码后的数据 流进行解码的方法和装置。为了实现上述目的， 一种利用基本层的图像信号的编码装置，是针对由帧序 列构成的图像信号进行编码的装置，其特征在于包括以下几个组成部分用可伸缩 的方式对上述图像信号进行编码，然后输出第1层比特流的动态补偿时间过滤编码 器；用图像信号基本层方式对上述图像信号进行编码，然后输出第2层比特流的基 本层编码器。所述动态补偿时间过滤编码器由以下几个部分组成针对上述帧序列 内任意帧中所包含的图像块，在包括与上述任意帧在时间上前后相邻的帧以及上述 第2层的比特流中所包含的辅助帧序列当中在时间上与上述任意帧处于前、后及同
时段的辅助帧在内的巾贞的集合中，使用至少1个帧内的标准块来求出上述图像块中各个像素的差值的编码第1设备；以及如杲被上述第1设备使用的标准块属于上述 第1层比特流，就把上述求出的各个像素的差值加在上述标准块上的编码第2设备。所述标准块是在一个帧或更小的规定大小的区域内，与上述图像块之间的影 像差值小于预定门坎值的块当中差值最小的块。所述编码第1设备是把体现出上述图像块内各个像素的差值是否是以某一帧 内的块为标准求出的差值的信息记录在上述图像块头信息内的装置。所述动态补偿时间过滤编码器还包括在上述前帧和/或后帧的各个像素值中，对上述第2层比特流中所包含的辅助帧序列中的辅助帧内的各个像素值进行差减， 然后求出上述前帧和/或后帧的帧影像差的编码第3设备。所述动态补偿时间过滤编码器利用并联及串联连接的数个编码第1设备和编码第2设备，求出由N个原影像的帧中带有影像差的N/2个H帧和被加上影像差 的N/2个L帧所形成的n编码水平的帧序列，并且针对上述n编码水平的L帧序列， 用相同方法求出由N/4个H帧和N/4个L帧所形成的n+l编码水平的帧序列；所述第3设备只针对编码水平中某一水平的L帧，对上述辅助帧序列中辅助 帧的各个像素值进行差减，然后求出该L帧的影像差。所迷动态补偿时间过滤编码器将有关求出上述影像差的L帧序列的编码水平 的信息插入并记录在上述第1层的比特流中。所述动态补偿时间过滤编码器把体现出上述第2层比特流中的帧和上述第1 层比特流中的帧之间的时间相关性的定时信息插入并记录在上述第1层比特流中。所述定时信息包括体现上述第2层的比特流是否具有固定帧率的标记信息， 和有关将上述第l层比特流中的帧和上述第2层比特流中的帧看作是同一影像的标 准时间步长的信息。在所述标记信息显示出上述第2层的比特流是否具有固定帧率时，所述定时 信息还包括有关上述第2层比特流内的帧的传送率的信息。有关所述帧率的信息由体现一定时间的第l值和对上述第l值进行分解的第2 值构成。所述基本层编码器将上述图像信号编码成具有小画面帧的第2层比特流，它 的画面比上述第1层比特流内帧的画面小。所述编码第1设备为了求出上述图像块内各个像素的差值而将上述小画面帧扩大。另外，为了实现上述目的， 一种利用基本层的图像信号的编码方法，是针对 由帧序列构成的图像信号进行编码的方法，其特征在于包括以下几个步骤以图像 信号可伸缩的第1方式对上述图像信号进行编码并输出第1层比特流的步骤；以图 像信号基本层的第2方式对上述图像信号进行编码并输出第2层比特流的步骤。所 述以图像信号可伸缩的第1方式进行编码的步骤包括以下几个过程针对上述帧序 列中任意一帧内所包舍的图像块，在包括与上述帧在时间上前后相邻的帧以及上述 第2层比特流内所包含的辅助帧序列当中在时间上与上述任意一帧处于前、后及同 时段的辅助帧在内的帧的集合当中，使用至少1个帧内的标准块来求出上迷图像块 内各个像素的差值的编码第1过程；如果上述第1步骤所使用的标准块是上述第1 层比特流内的帧，就将上述求出来的各个像素的差值加在上述标准块上的编码第2 过程。所述标准块是在一个帧或更小的规定大小的区域内，与上述图像块之间的影 像差值小于预定门坎值的块当中差值最小的块。所述编码第1过程是把显示上述图像块内各个像素的差值是否是以某一帧内 的块为标准求出的差值的信息记录在上述图像块的头信息内的过程。所述以图像信号可伸缩的第1方式进行编码的步骤还包括在上述前帧和/或后帧的各个像素值中，对上述第2层的比特流中所包含的辅 助帧序列中的辅助帧的各个像素值进行差减，然后求出上述前帧和/或后帧的帧影 像差的编码第3过程。所述以图像信号可伸缩的第1方式进行编码的步骤，通过并联及串联运行编 码第1过程和编码第2过程的方式，求出由N个原影像的帧中具有影像差的N/2 个H帧和被加上影像差的N/2个L帧所形成的n编码水平的帧序列，并且针对上述 n编码水平的L帧序列，用相同方法求出由N/4个H帧和N/4个L帧所形成的n+l 编码水平的帧序列；所述编码第3过程只针对编码水平中某一水平的L帧对上述辅助帧序列中辅 助帧的各个像素值进行差减，然后求出该L帧的影像差。所述以图像信号可伸缩的第1方式进行编码的步骤,将有关求出上述影像差的 L帧序列的编码水平的信息插入并记录在上述第1层的比特流中。所述以图像信号可伸缩的第1方式进行编码的步骤，把体现上述第2层的比
特流中的帧和上述第1层的比特流中的帧之间的时间相关性的定时信息插入并记 录在上述第1层的比特流中。所述定时信息包括体现上述第2层的比特流是否具有固定帧率的标记信息， 和有关将上述第l层比特流中的帧和上述第2层比特流中的帧看作为同一影像的标准时间步长的信息。在所述标记信息体现出上述第2层的比特流是否具有固定帧率时，所述定时 信息还包括有关上述第2层比特流内的帧的传送率的信息。所述以图像信号基本层第2方式进行编码的步骤，将上述图像信号编码成具 有小画面帧的第2层比特流，它的画面比上述第l层比特流内帧的画面小。所述编码第1过程为了求出上述图像块内各个像素的差值而将上述小画面帧 扩大。另夕卜，为了实现上述目的， 一种利用基本层的图像信号的解码装置，是接收 包括具有差值的像素的H帧序列和L帧序列在内的第l层比特流和另外的第2层比 特流并将其解码成图像信号的装置，其特征在于包括以下几个组成部分以图像信 号可伸缩的第1方式对上述第1层比特流进行解码并将其还原为具有原来影像的图 像帧然后进行输出的动态补偿时间过滤解码器；以图像信号基本层的第2方式对上 述第2层比特流进行解码并将其还原为具有原来影像的辅助图像帧然后进行输出 的基本层解码器。所述动态补偿时间过滤解码器包括以下几个组成部分确认具有上述H帧序 列内任意一帧中所包含的对象块的各个像素的差值是否是在包括与上述任意帧在 时间上前后相邻的帧以及上述辅助图像帧序列当中在时间上与上述任意一帧处于 前、后及同时段的辅助图像帧在内的帧的集合中，以某一个或几个帧内的其他块为 标准求出来的差值的解码第1设备；如果上述解码第1设备的确认结果是上述其他 块属于上述第1层比特流内的帧中，就将上述对象块的各个像素的差值从上述其他 块中差减出去的解码第2设备；依据上述差值被差减后的其他块和/或位于上述辅 助图像帧内的其他块的各个像素值，从上述对象块内的各个像素的差值中还原出上 述对象块的原来影像的解码第3设备。另外，为了实现上述目的， 一种利用基本层的图像信号的解码方法，是对具 有差值像素的包含有H帧序列和L帧序列的第1层比特流和另外的第2层比特流进 行接收，并将其解码成图像信号的方法，其特征在于包括以下几个步骤用图像信
号可伸缩的第1方式对所述第1层比特流进行解码，然后将其还原为具有原来影像的图像帧并进行输出的步骤；和用图像信号基本层的第2方式对所述第2层比特流进行解码，然后将其还原为具有原来影像的辅助图像帧并进行输出的步骤。用所述图像信号可伸缩的第1方式进行解码的步骤包括以下几个过程 确认所述H帧序列内任意一帧中的对象块所拥有的各个像素的差值是不是把 帧的集合当中的某一个或几个帧内的其他块作为标准求出来的差值的解码第1过程，其中帧的集合中包括与所述任意一帧在时间上前后相邻的帧和所述辅助图像帧 序列当中在时间上与所述任意一帧处于前、后及相同时段的辅助图像帧；如果所述 确认结果为上述其他块位于所述第1层比特流内，就将所迷对象块中各个像素的差 值从上述其他块中差减出去的解码第2过程；根据上述差值被差减掉的其他块和/ 或所述辅助图像帧内其他块的各个像素值，从上述对象块内的各个像素的差值中将 所述对象块的原来影像还原出来的解码第3过程。本发明的效果综上所述，本发明的利用基本层的图像信号的编码/解码方法及装置在动态 补偿时间过滤(MCTF)编码中，如果在增强层的帧之外利用专门为低性能解码器提 供的基本层的帧来制作H帧和L帧，那么由于编码后的整体数据量减少了， MCTF 的编码率也就提高了。为进一步说明本发明的上述目的、结构特点和效果，以下将结合附图对本 发明进行详细的描述。


图1是以本发明为依据的图像信号压缩方法所适用的图像信号编码装置中结 构块的示意图。图2是图1所显示的在MCTF编码器内进行图像估值/预测和更新动作的滤波 器的结构示意图。图3是依据本发明，在一个G0P内的图像期间内制作出与L帧之间存在影像 差的H帧的过程示意图。图4是依据本发明，为了说明基本层的辅助帧与增强层的主帧之间在时间上 的相关性，而对被插入并进行传送的定时信息的结构进行举例说明的示意图。
图5a和5b是依据本发明，对在制作一个预测图像的H帧时可以被用来作标 准的增强层与基本层的帧之间的关系进行分别显示的示意图。图6是对图2所示的滤波器在制作一个宏块时的多种标准块选择模式进行有 限说明的示意图。图7是依据本发明对宏块头信息中所包含的标准块选择模式的信息结构进行 显示的示意图。图8是以本发明为依据的将使用基本层时所需的必要信息放置在增强层比特 流中的结构示意图。图9是依据本发明，针对基本层中辅助帧影像被差减后的增强层编码水平的 信息结构进行显示的示意图。图IO显示的是针对被图1所示的装置进行编码后的数据流进行解码的装置方块图。图11显示的是图10中MCTF解码器内执行逆估值/预测和逆更新动作的逆滤 波器的结构示意图。附图中主要部分的符号说明100MCTF编码器101:分离器102估值/预测器103:更新器105240:基本层解码器105a，240a:定标器110紋理编码器120:运动编码部130多路复用器200:解复用器210紋理解码器220:运动解码部230MCTF解码器231:逆更新器232逆估值/预测器234:排序器235运动矢量解码器具体实施方式
下面将参照附图对本发明的利用基本层的图像信号的编码/解码方法及装 置的实施例进行详细说明。图1是以本发明为依据的图像信号的可伸缩(scalable)压缩方法所适用的图 像信号编码装置的结构块示意图。
图1的图像信号编码装置包括以下几个组成部分本发明所适用的利用MCTF 方式将输入的图像(视频)信号编码成各个宏块(macro block)单位并生成适当管 理信息的动态补偿时间过滤(以下简称MCTF)编码器100;将上述编码后的各个宏 块的信息变换成压缩比特列的紋理(Texture)编码部110;将上述通过MCTF编码器 100得到的图像块的运动矢量(motion vectors)以指定的方式编码成压缩比特列的 运动编码部120; 将输入的图像信号以指定的方式，例如MPEG1、 2、 4或H. 261、 H. 263、H. 264方式进行编码并生成小画面例如原来大小的25°/。的图像序列的基本层 (base layer以下简称BL)编码器150;在将上述紋理编码部110输出的数据和上 述基本层(BL)编码器150的小画面序列、上述运动编码部120的输出矢量数据压 缩(encapsulate)成指定的格式之后，再利用已经指定的传送格式进行相互复用然 后输出的多路复用器130。在下面的说明当中，将上述小画面图像序列称为基本层 序列，将上述MCTF编码器100的输出帧序列称为增强(enhanced)层序列。上迷基 本层序列是提供给不得不进行上述增强层主帧序列的低画质解码的装置进行选择 性使用的辅助帧序列。上述MCTF编码器100针对任意图像帧内的宏块进行运动估值(motion estimation)和预测(prediction)动作，并且针对该宏块与相邻帧内宏块之间的影 像差来执行对该宏块进行进一步更新(update)的动作，图2就是对执行该动作的滤 波器的结构进行显示的示意图。图2所显示的滤波器包括以下几个组成部分将输入图像(视频)的帧序列 分离成前后帧的分离器101;对经过上述基本层(BL)编码器150编码处理后的小 画面序列图像进行解码，并且利用内部定标器105a将该图像还原成原来图像大小 的解码器105;负责在前后相邻的帧或由上述定标器105a进行大小还原的帧中找 出关于将要进行预测(predict ive)帧制作的帧内各个宏块的标准块，并算出该标 准块与实际宏块之间的影像差(各个对应像素的差值)和运动矢量，或者执行求出由 上述定标器105a进行大小还原的同时段帧的宏块与标准块之间的影像差等预测动 作(prediction)(以下简称"P"动作)的估值/预测器102;针对经过上述运动估 值而找出标准块情况下的宏块，在将上述求出的影像差正规化(norma lize)之后， 对相关标准块执行进一步更新(update)动作的更新器103。上述更新器103执行的 动作被称作"U"动作(operation),而经过"U"动作生成的帧被称作"L"帧。而 且，上述更新器103针对更新后的帧，对在定标器105a中进行扩大的同时段帧进
行差减，然后有选择性地执行输出动作。图2的滤波器可以不针对图像帧而是针对一个帧被分割后形成的数个片段同 时进行并列操作，由上述估值器102制作的具有影像差的帧(或片段)叫作"H"帧(片段)。这是由于"H'"帧(片段)中的差值数据反映了图像信号的高频成份。在下面实施例当中所使用的"帧"的概念中包含了片段的意思。所述估值/预测器102针对被输入的各个图像帧，将其分割成预定大小的宏块 (macro-block),并且从相邻的前后帧和/或在上述定标器105a中被扩大的帧中找 出影像与各个分割后的宏块最相似的影像块。即，找出在时间上(temporal)具有相 互关系的宏块。最相似的影像块是与对象影像块之间影像差最小的块。影像差的大 小由例如pixel-to-pixel的差值总和或平均值等决定，因此它是在小于规定门 坎值的块中数值最小的块，即影像差最小的块，该宏块被称作标准(reference)块。 标准块可以在时间关系上的前帧(包括基本层帧)和后帧(包括基本层帧)当中分别 存在一个。在找到标准块的情况下，所述估值/预测器102求出当前块的块运动矢量值并 算出该标准块(只限前帧或后帧当中)的各个像素值和/或标准块(相邻两帧当中)的 各个平均像素值以及当前块内各个像素的误差值即差值并进行输出。如果在上述的运动估值动作当中，没有在相邻的两个帧(包括基本层帧)中找 到与当前宏块之间的影像差值小于规定门坎值的块，就对与当前帧同时段或邻近时 段的帧是否存在于上述基本层序列当中进行确认，如果存在的话，就利用所对应宏 块的像素值求出当前块的差值但不求运动矢量。所述邻近时段是指可以被看作具有 同一图像的帧的时间步长，有关该时间步长的信息被放置在编码后的码流中进行传 送。后面将会对此进行说明。关于当前宏块，即使在找到标准块的情况下，也可以使用基本层的同时段或 邻近时段的对应宏块。即，可以使用与被找出的标准块相对应的宏块中的例如各个 像素的平均值来求出当前宏块的像素差值。在这种情况下，求出有关被找出的标准 块的宏块运动矢量，并且把用来告知基本层的帧已经被使用的信息记录在当前宏块 的头中。由上述估值/预测器102执行的上述动作被称为"P"动作(operation)。 所述MCTF编码器IOO针对规定的图像序列区间例如一个图像组(GOP: Group of Pictures),来^U于前面所讲的"P'，动作和"U"动作并生成H帧和L帧，并且 由串联连接的下一段估值/预测器和更新器(未图示)来针对L帧序列再次执行"P"动作和"U"动作并生成H帧和L帧。通过执行适当次数的此类动作来制成最终的 增强(enhanced)层序列。图3就是对此类事例进行显示的示意图，截止到一个GOP 内的L帧数量达到2个时为止，已经执行了 3次"P"动作和"U"动作。在执行图 3所示的动作时，当上述MCTF编码器100内的更新器103从l次L帧序列当中制 作2次L帧序列时，在1次L帧序列中对在上迷定标器105a所扩大的同时段帧进 行差减和生成。当然，也可以不对1次L帧而对其他次L帧进行差减，然后生成下 一次的L帧。例如，当由上述定标器105a提供的基本层图像在时间上与1次L帧 相交错时，如果进一步提高差减水平的话，就能够减少实际图像在时间上的差异， 所以通过提高差减水平来使上述L帧和基本层的扩大图像得到差减。如上所述，如果使用被提供给基本层的小画面序列来进行适当次数的L帧差 减并生成增强层序列的话，那么在增强层的序列中，由于图像冗余(redundancy) 被删除使得编码数据的数量减少了 ，也就是提高了编码增益(coding gain)。并且，所述MCTF编码器IOO在进行上述可伸缩编码时，把用来在增强层与基 本层之间进行定时的图4所示结构的信息放置在增强层的比特流中。为了图4的定 时信息，需要从上述基本层编码器150和/或外部输入设定的值中接收必要的内容， 图4的定时信息在增强层比特流的传送初期被传送一次或被周期性地插入并传送。在图4的定时信息结构中，"flag—BL—fixed—frame —rate"是指基本层比特流 是否在上述基本层编码器150中被用固定的帧率进行编码的信息， "BL—time_increment —resolution"是关于"BL—time_increm ent，，中所记录时间 值的分解能的信息，例如，如果l(秒)被记录在"BL—time-increment"中，而5 4皮i己录在"BL—time一increment一reso lution，， 中，刃卩么t尤表示基本层6々中贞每1/5 秒传送一次。并且，"THR_ temporally—coincidence"体现的是表示增强层的帧和 基本层的帧之间具有互相相同的图像的时间步长。该字段，例如msec可以具有单 位的值，即当该值为10的情况下，如果在编码时被插入的增强层的帧的时间信息 和从上述帧率(1—time一increment" / "BL一time—incremen t —resolution")中 计算出来的基本层的任意帧的时间信息(接收帧数* "BL_time_increment" / "BL—time—increment —resolution")之间的差小于0. 01 (秒)，那么它们在解码器 端就净皮看作是具有相同图^^的即相互时间 一致(in coincidence)的帧。另一方面，所述估值/预测器102在执行"P"动作并制作H帧时，当找出当 前帧内任意宏块的标准块然后将当前块制成预测(predictive)影4象块时，如图5a 所显示的那样，除了可以使用增强层中相邻的前后L帧之外，还可以选择并使用由 上述定标器105a提供的基本层的扩大图像。在以本发明为依据的理想实施例中，在制作H帧时使用5个帧。图5b显示了 为了制作任意H帧而能够使用的5个帧，即，为了将一个L帧400L制作成H帧400H, 使用了与上述L帧400L相同的MCTF水平的前后L帧401、 402以及在基本层上处 于相同时点的帧405及其前后帧403、 404。图6显示了几个在依据本发明使用5个帧时将任意一个宏块制作成影像差数 据时所选择的2个以下的帧的例子。"Fwd-BL—mode"表示标准块是基本层序列中在 时间上处于前面的图像的情况；"Bwd— BL-mode，'表示标准块是基础层序列中在时 间上处于后面的图像的情况；"Bid_BL—mode"表示标准块是基本层序列中在时间上 处于前面和后面的两个图像的情况；"Fwd—BL—Bwd—EL—mode"表示标准块是基本层 的前面图像和增强层的后面图像的情况；"FwdLEL—Bwd—BL—mode"表示标准块是增 强层的前面图像和基础层的后面图像的情况。并且，"TC—pred-mode"是指使用基 本层同时段图像的对应块的像素值时的情况；'TC—pred_Bwd-BL—mode"是指使用基 本层同时段图像的对应块和位于基本层后面图像中的标准块时的情况； "TC_pred-Fwd—BL—mode"是指使用基本层同时段图像的对应块和位于基本层前面 图像中的标准块时的情况；"TC—pred—Bwd-EL—mode"是指使用基本层同时段图像的 对应块和位于增强层后面图像中的标准块时的情况；"TC—pred-Fwd—EL _mode，，是 指使用基本层同时段图像的对应块和位于增强层前面图像中的标准块时的情况。还有图6中没有显示的其他多种模式，为了将图6中所显示的模式和图6中 没有显示的多种模式中的一种告知给解码器一側，上述MCTF编码器IOO将具有图 7所显示结构的"标准块选择模式"信息，按照图8所显示的那样，插入并记录在 决定相关宏块中头区域位置的字段(Ref-Se1—mode)当中，然后传送给上述紋理编码 部IIO。上述Ref—Sel—mode字段可以插入帧(或片段)的头内，也可以在同一帧(或 片段)内使用相同的2张标准图像。在图7的标准块选择模式的信息结构中，"flag_use_BL"是显示基础层是否 4皮<吏用为标准块的信息，"reference-selection-code"是记录上面所述各个冲莫式 的相关值的字段，是显示前面所讲的5个帧中的一个或二个任意帧是否被用来制作 宏块影像差的信息。
另 一方面，所述MCTF编码器100把对基本层的图像序列进行差减的L帧序列的水平即有关MCTF水平的信息，以图9所示的结构，依据图8所显示的那样，记 录在决定相关G0P头区域位置的字段(BL-Subtr action)当中进行传送。在图9所 示的信息结构中，"flag腸usel"是指相关G0P中是否使用了基本层的信息； "BL—subtract ion—level"指的是针对某种水平的L帧序列，基本层的图像序列是 否被差减。利用截止目前所说明的方法进行编码的数据流是通过有线或无线被传送到解 码装置中的，或者是将记录媒体作为媒介来进行传送的，解码装置可以依据下面将 说明的方法来还原出原来的增强层和/或基本层的图像信号。图IO是针对由图1所示装置进行编码的数据流进行解码的装置方块图。图10 的解码装置包括以下几个组成部分从接收到的数据流中分离出压缩后的运动矢量 流和压缩后的宏块信息流以及基本层码流的解复用器200;将被压缩的宏块信息流 还原到原来非压缩状态的紋理解码部210;将被压缩的运动矢量流还原到原来非压 缩状态的运动解码部220;对解除压缩的宏块信息流和运动矢量流以MCTF方式逆 变换为原来的图像信号的MCTF解码器230;利用决定上述基本层码流的方式，例 如MPEG4或H. 264方式进行解码的基本层解码器240。上述基本层解码器240内还 包括将基本层的小画面图像序列扩大为增强层图像大小的定标器240a。所述MCTF解码器230，为了从被输入的码流中还原出原来的帧序列，而将如图 11所示结构的逆(inverse)滤波器作为内部组成成份。图11的逆滤波器包括以下几个组成部分将被输入的增强层码流分成H帧和 L帧，并且对增强层码流内的各个头信息进行解释的前端信息处理机236;将被输 入的H帧的各个像素的差值从补充输入的L帧中差减出去的逆更新器231;参照被 差减去H帧影像差的L帧和/或由上述定标器240a进行扩大并输入的图像，将H 帧还原为具有原来影像的帧的逆估值/预测器232;对被输入的运动矢量流进行解 码并且将各个块的运动矢量信息提供给上述逆估值/预测器232的运动矢量解码器 235;以及将上述逆估值/预测器232所完成的帧有间隔地插入上述逆更新器231 输出的L帧之间，从而形成正常的图像帧序列的排序器2 34。所述逆更新器231和逆估值/预测器232与前面说明的MCTF的编码水平相适 应，它被设置在上述排序器234的前端并由多段构成。而且，各段(stage)逆更新 器中的一个输出L帧与上述解码器240中定标器240a的扩大图像的影像值相加
239，所述MCTF解码器230才艮据增强层码流中所放置的如图9所显示的 BL—subtraction—level的值来决定是否在某段(编码水平)的L帧输出当中加上基 本层的帧。所述前端信息处理机236对被输入的增强层码流进行解释，然后区分并输入 为L帧序列和H帧序列，而且利用该码流内的各个头信息，将有关在制作H帧内的 宏块时所使用的帧的信息告知给上述逆估值/预测器232。该信息可以从接收到的 图7所显示的"标准块选择模式"(reference-selection-code)的信息当中得知。因此，所述逆估值/预测器232可以针对一个H帧内的任意宏块，以制作该块 的预测影像为目的，而特别指定被使用的增强层的L帧和/或基础层的扩大帧，并 且利用上述运动矢量解码器235中提供的运动矢量来掌握位于相关帧内的标准块， 然后在上述任意宏块内的各个像素的差值上加上标准块的各个像素值或两个宏块 的各个像素的平均值，通过这种方式来还原出原来的影像。尤其当上述逆估值/预 测器232利用基本层的帧时，利用上述前端信息处理机236解释的如图4所显示的 定时信息，在当前增强层的图像序列当中，指定当前H帧的前、后或同时段基本层 的辅助帧。如果对上述基本层解码器240的输出帧进行计数，那么就可以从图4 的信息中得知各个基本层帧的时间，因而可以得知当前H帧的前后帧，然后根据两 帧的时间差和'THR—tempo rally—coin cidence'的值来判断其是否处于同时段。针对一个H帧，将其分成规定单位例如片段(s 1 ice)单位来并列运行，并在使 该帧内的所有宏块具有原来的影像之后，通过将这些宏块组合在一起的方式来构成 一个完整的图像帧。依据前面所讲的方法，被以MCTF方式进行编码的数据流被还原成完整的图像 帧序列。尤其是当针对一个GOP执行N次以上前面所讲的MCTF编码中的估值/预测 和更新动作的情况下，如果执行N次上述逆估值/预测及逆更新动作并求出图像帧 序列，就可以得到原来图像信号的画质，并且如果执行次数少于N次，那么虽然画 质有些下降但也可以得到比特率相对低的图像帧序列。但是，如果不用MCTF方式 来获得比特率低的图像帧序列而是对基本层的帧序列进行解码输出，就会得到与之 相比更低的画质。因此，解码装置需要与自身性能相符的能够执行上述逆估值/预 测及逆更新动作的设计，或者是只对基本层的码流进行解码的设计。前面所讲的解码装置可以被安装在移动通信终端机或用来再生记录媒体的装 置上。
本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发 明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述 实施例的变化、变型都将落在本发明权利要求书的范围内。
权利要求
1、一种利用基本层的图像信号的编码装置，是针对由帧序列构成的图像信号进行编码的装置，其特征在于包括以下几个组成部分用图像信号可伸缩的方式对上述图像信号进行编码，然后输出第1层比特流的动态补偿时间过滤编码器；用图像信号基本层方式对上述图像信号进行编码，然后输出第2层比特流的基本层编码器；所述动态补偿时间过滤编码器由以下几个部分组成针对上述帧序列内任意帧中所包含的图像块，在包括与上述任意帧在时间上前后相邻的帧以及上述第2层的比特流中所包含的辅助帧序列当中在时间上与上述任意帧处于前、后及同时段的辅助帧在内的帧的集合中，使用至少1个帧内的标准块来求出上述图像块中各个像素的差值的编码第1设备；如果被上述第1设备使用的标准块属于上述第1层比特流，就把上述求出的各个像素的差值加在上述标准块上的编码第2设备。
2、 如权利要求l所述的利用基本层的图像信号的编码装置，其特征在于 所述标准块是在一个帧或更小的规定大小的区域内，与上述图像块之间的影像差值小于预定门坎值的块当中差值最小的块。
3、 如权利要求l所述的利用基本层的图像信号的编码装置，其特征在于 所述编码第1设备是把体现出上述图像块内各个像素的差值是否是以某一帧内的块为标准求出的差值的信息记录在上述图像块头信息内的装置。
4、 如权利要求l所述的利用基本层的图像信号的编码装置，其特征在于 所述动态补偿时间过滤编码器还包括在上述前帧和/或后帧的各个像素值中，对上述第2层比特流中所包含的辅助帧序列中的辅助帧内的各个像素值进行差减， 然后求出上述前帧和/或后帧的帧影像差的编码第3设备。
5、 如权利要求4所述的利用基本层的图像信号的编码装置，其特征在于所述动态补偿时间过滤编码器利用并联及串联连接的数个编码第1设备和编码第2设备，求出由N个原影像的帧中带有影像差的N/2个H帧和被加上影像差 的N/2个L帧所形成的n编码水平的帧序列，并且针对上述n编码水平的L帧序列， 用相同方法求出由N/4个H帧和N/4个L帧所形成的n+1编码水平的帧序列；所述第3设备只针对编码水平中某一水平的L帧，对上述辅助帧序列中辅助 帧的各个像素值进行差减，然后求出该L帧的影像差。
6、 如权利要求5所述的利用基本层的图像信号的编码装置，其特征在于 所述动态补偿时间过滤编码器将有关求出上述影像差的L帧序列的编码水平的信息插入并记录在上述第1层的比特流中。
7、 如权利要求l所述的利用基本层的图像信号的编码装置，其特征在于 所述动态补偿时间过滤编码器把体现出上述第2层比特流中的帧和上述第1层比特流中的帧之间的时间相关性的定时信息插入并记录在上述第1层比特流中。
8、 如权利要求7所述的利用基本层的图像信号的编码装置，其特征在于 所述定时信息包括体现上述第2层的比特流是否具有固定帧率的标记信息，和有关将上述第l层比特流中的帧和上述第2层比特流中的帧看作是同一影像的标 准时间步长的信息。
9、 如权利要求8所述的利用基本层的图像信号的编码装置，其特征在于 在所述标记信息显示出上述第2层的比特流是否具有固定帧率时，所述定时信息还包括有关上述第2层比特流内的帧的传送率的信息。
10、 如权利要求9所述的利用基本层的图像信号的编码装置，其特征在于 有关所述帧率的信息由体现一定时间的第l值和对上述第l值进行分解的第2值构成。
11、 如权利要求1所述的利用基本层的图像信号的编码装置，其特征在于 所述基本层编码器将上述图像信号编码成具有小画面帧的第2层比特流，它 的画面比上述第l层比特流内帧的画面小。
12 、如权利要求11所述的利用基本层的图像信号的编码装置，其特征在于 所述编码第1设备为了求出上述图像块内各个像素的差值而将上述小画面帧扩大。
13、 一种利用基本层的图像信号的编码方法，是针对由帧序列构成的图像信 号进行编码的方法，其特征在于包括以下几个步骤以图像信号可伸缩的第1方式对上述图像信号进行编码并输出第1层比特流 的步骤；以图像信号基本层的第2方式对上述图像信号进行编码并输出第2层比特流 的步骤；所述以图像信号可伸缩的第1方式进行编码的步骤包括以下几个过程 针对上述帧序列中任意一帧内所包含的图像块，在包括与上述帧在时间上前后相邻的帧以及上述第2层比特流内所包含的辅助帧序列当中在时间上与上述任意一帧处于前、后及同时段的辅助帧在内的帧的集合当中，使用至少1个帧内的标准块来求出上述图像块内各个像素的差值的编码第1过程；如果上述第1步骤所使用的标准块是上述第1层比特流内的帧，就将上述求出来的各个像素的差值加在上述标准块上的编码第2过程。
14、 如权利要求13所述的利用基本层的图像信号的编码方法，其特征在于 所述标准块是在一个帧或更小的规定大小的区域内，与上述图像块之间的影像差值小于预定门坎值的块当中差值最小的块。
15、 如权利要求13所述的利用基本层的图像信号的编码方法，其特征在于 所述编码第1过程是把显示上述图像块内各个像素的差值是否是以某一帧内的块为标准求出的差值的信息记录在上述图像块的头信息内的过程。
16、 如权利要求13所述的利用基本层的图像信号的编码方法，其特征在于: 所述以图像信号可伸缩的第1方式进行编码的步骤还包括 在上述前帧和/或后帧的各个〗象素值中，对上述第2层的比特流中所包舍的辅 助帧序列中的辅助帧的各个像素值进行差减，然后求出上述前帧和/或后帧的帧影 像差的编码第3过程。
17、 如权利要求16所述的利用基本层的图像信号的编码方法，其特征在于 所述以图像信号可伸缩的第1方式进行编码的步骤，通过并联及串联运行编码第1过程和编码第2过程的方式，求出由N个原影像的帧中具有影像差的N/2 个H帧和被加上影像差的N/2个L帧所形成的n编码水平的帧序列，并且针对上述 n编码水平的L帧序列，用相同方法求出由N/4个H帧和N/4个L帧所形成的n+l 编码水平的帧序列；所述编码第3过程只针对编码水平中某一水平的L帧对上述辅助帧序列中辅 助帧的各个像素值进行差减，然后求出该L帧的影像差。
18、 如权利要求17所述的利用基本层的图像信号的编码方法，其特征在于 所述以图像信号可伸缩的第1方式进行编码的步骤，将有关求出上述影像差的L帧序列的编码水平的信息插入并记录在上述第1层的比特流中。
19、 如权利要求13所述的利用基本层的图像信号的编码方法，其特征在于 所迷以图像信号可伸缩的第1方式进行编码的步骤，把体现上述第2层的比特流中的帧和上述第1层的比特流中的帧之间的时间相关性的定时信息插入并记 录在上述第l层的比特流中。
20、 如权利要求19所述的利用基本层的图像信号的编码方法，其特征在于 所述定时信息包括体现上述第2层的比特流是否具有固定帧率的标记信息，和有关将上述第1层比特流中的帧和上述第2层比特流中的帧看作为同一影像的标准时间步长的信息。
21、 如权利要求20所述的利用基本层的图像信号的编码方法，其特征在于 在所述标记信息体现出上述第2层的比特流是否具有固定帧率时，所述定时信息还包括有关上述第2层比特流内的帧的传送率的信息。
22、 如权利要求13所述的利用基本层的图像信号的编码方法，其特征在于 所述以图像信号基本层第2方式进行编码的步骤，将上述图像信号编码成具有小画面帧的第2层比特流，它的画面比上述第l层比特流内帧的画面小。
23、 如权利要求22所述的利用基本层的图像信号的编码方法，其特征在于 所述编码第1过程为了求出上述图像块内各个像素的差值而将上述小画面帧扩大。
24、 一种利用基本层的图像信号的解码装置，是接收包括具有差值的像素的 H帧序列和L帧序列在内的第l层比特流和另外的第2层比特流并将其解码成图像 信号的装置，其特征在于包括以下几个组成部分以图像信号可伸缩的第1方式对上述第1层比特流进行解码并将其还原为具 有原来影像的图像帧然后进行输出的动态补偿时间过滤解码器；以图像信号基本层的第2方式对上述第2层比特流进行解码并将其还原为具 有原来影像的辅助图像帧然后进行输出的基本层解码器；所述动态补偿时间过滤解码器包括以下几个组成部分确认具有上述H帧序列内任意一帧中所包含的对象块的各个像素的差值是否 是在包括与上述任意帧在时间上前后相邻的帧以及上述辅助图像帧序列当中在时 间上与上述任意一帧处于前、后及同时段的辅助图像帧在内的帧的集合中，以某一 个或几个帧内的其他块为标准求出来的差值的解码第1设备；如果上述解码第1设备的确认结果是上述其他块属于上述第1层比特流内的 帧中，就将上述对象块的各个像素的差值从上述其他块中差减出去的解码第2设备；依据上述差值被差减后的其他块和/或位于上述辅助图像帧内的其他块的各 个像素值，从上述对象块内的各个像素的差值中还原出上述对象块的原来影像的解码第3设备。
25、 如权利要求24所述的利用基本层的图像信号的解码装置，其特征在于 所述解码第1设备根据上述对象块的头信息中所包含的信息，指定至少一个包括求出具有上述对象块内各个像素差值的标准块在内的帧。
26、 如权利要求24所述的利用基本层的图像信号的解码装置，其特征在于 所述动态补偿时间过滤解码器还包括将上述辅助图像帧内的各个像素值加在上述前帧和/或后帧内各个像素值上的解码第4设备。
27、 如权利要求26所述的利用基本层的图像信号的解码装置，其特征在于 所述动态补偿时间过滤解码器使用并联及串联连接的数个上述解码第2设备和解码第3设备，从由具有3N/4个影像差的H帧和N/4个L帧所形成的n+l编码 水平的帧序列当中，将具有N/4个影像差的H帧还原为具有原来影像的L帧，然后 形成由具有N/2个影像差的H帧和N/2个L帧所形成的n编码水平的帧序列，并且 针对该帧序列中具有N/2个影像差的H帧还原出原来的影像，然后求出由全部N 个L帧所形成的图像帧序列；所述解码第4设备只针对编码水平中某一水平的L帧来加上辅助图像帧的各 个像素值。
28、 如权利要求27所述的利用基本层的图像信号的解码装置，其特征在于 所述动态补偿时间过滤解码器根据被插入上述第1层比特流内的信息，对有关将被加上辅助图像帧中各个像素值的L帧序列的编码水平进行判断。
29、 如权利要求24所述的利用基本层的图像信号的解码装置，其特征在于 所述动态补偿时间过滤解码器从上述被插入第1层比特流中的信息当中，获得体现第2层比特流中的帧与上述第l层比特流中的帧之间的时间相关性的定时信 息，并且根据上述获得的定时信息，来判断位于上述辅助图像帧序列中的各个辅助 图像帧和上述任意一帧之间是否在时间上处于前、后和/或相同时段。
30、 如权利要求29所述的利用基本层的图像信号的解码装置，其特征在于 所述定时信息包括有关上述第2层比特流的帧传送率的信息，和有关将上述第l层比特流中的帧和上述第2层比特流中的帧看作为同时段影像的标准时间步长 的信息。
31、 如权利要求24所述的利用基本层的图像信号的解码装置，其特征在于所述辅助图^象还包括具有与上述第1层比特流中帧的画面大小相同并对上述第2层比特流进行解码，然后对所获得的小画面帧进行扩大的由上述辅助图像帧所 构成的定标器。
32、 一种利用基本层的图像信号的解码方法，是对具有差值像素的包含有H 帧序列和L帧序列的第1层比特流和另外的第2层比特流进行接收，并将其解码成 图像信号的方法，其特征在于包括以下几个步骤用图像信号可伸缩的第1方式对所述第1层比特流进行解码，然后将其还原 为具有原来影像的图像帧并进行输出的步骤；和用图像信号基本层的第2方式对所述第2层比特流进行解码，然后将其还原 为具有原来影像的辅助图像帧并进行输出的步骤；用所述图像信号可伸缩的第1方式进行解码的步骤包括以下几个过程确认所述H帧序列内任意一帧中的对象块所拥有的各个像素的差值是不是把 帧的集合当中的某一个或几个帧内的其他块作为标准求出来的差值的解码第1过 程，其中帧的集合中包括与所述任意一帧在时间上前后相邻的帧和所述辅助图像帧 序列当中在时间上与所述任意一帧处于前、后及相同时段的辅助图像帧；如果所述确认结果为上述其他块位于所述第1层比特流内，就将所述对象块 中各个像素的差值从上述其他块中差减出去的解码第2过程；根据上述差值被差减掉的其他块和/或所述辅助图像帧内其他块的各个像素 值，从上述对象块内的各个像素的差值中将所述对象块的原来影像还原出来的解码 第3过程。
33、 如权利要求32所述的利用基本层的图像信号的解码方法，其特征在于 所述解码第1过程根据上述对象块的头信息中所包含的信息，指定至少一个包括求出所述对象块中各个像素的差值的标准块在内的帧。
34、如权利要求32所述的利用基本层的图像信号的解码方法，其特征在于 以所述图像信号可伸缩的第1方式进行解码的步骤还包括，将所述辅助图像帧的各个像素值加在所述前帧和/或后帧的各个像素值上的 第4过程。
35、 如权利要求34所述的利用基本层的图像信号的解码方法，其特征在于 用所述图像信号可伸缩的第1方式进行解码的步骤，通过对所迷解码第2过程和解码第3过程进行并联和串联运行的方式，从具 有3N/4个影《象差的H帧和N/4个L帧所形成的n+l编码水平的帧序列当中，将具 有N/4个影像差的H帧还原为具有原来影像的L帧；并构成由具有N/2个影像差的 H帧和N/2个L顿所形成的n编码水平的帧序列，并且针对该帧序列中具有N/2个 影像差的H帧来还原出原来的影像，然后求出由全部N个L帧所形成的图像帧序列。所述解码第4过程只给编码水平中某一水平的L帧加上所述辅助图像帧的各 个像素值。
36、 如权利要求35所述的利用基本层的图像信号的解码方法，其特征在于 用所述图像信号可伸缩的第1方式进行解码的步骤，根据被插入所述第1层比特流中的信息，对有关将被加上所述辅助图像帧中 各个像素值的L帧序列的编码水平进行判断。
37、 如权利要求32所述的利用基本层的图像信号的解码方法，其特征在于 用所述图像信号可伸缩的第1方式进行解码的步骤，从被插入所述第1层比特流中的信息当中获得体现所述第2层比特流中的帧 和所述第1层比特流中的帧之间的时间相关性的定时信息，并且根据所获得的定时 信息，来判断所述辅助图像帧序列中各个辅助图像帧和上述任意一帧之间是否在时 间上处于前、后和/或相同时段。
38、 如权利要求37所述的利用基本层的图像信号的解码方法，其特征在于 所述定时信息当中包括有关所述第2层比特流中帧的传送率的信息，和把所述第l层比特流中的帧与所述第2层比特流中的帧看作是同时段影像的帧的标准时 间步长的信息。
39、如权利要求32所述的利用基本层的图像信号的解码方法，其特征在于 所述辅助图像帧在对所述第2层比特流进行解码之后，将其扩大为与所述第1 层比特流中的帧的画面大小相同的帧。
全文摘要
一种利用基本层的图像信号的编码/解码方法及装置，能在用可伸缩的动态补偿时间过滤(MCTF)方式对图像信号进行编码并输出第1层比特流的同时，用指定的图像信号基本层的其他方式对该图像信号进行编码并输出第2层比特流，当利用MCTF方式进行编码时，针对上述图像信号的帧序列中任意一帧内所包含的图像块，在包括与上述任意一帧在时间上前后相邻的帧和上述第2层比特流中所包含的辅助帧序列中在时间上与上述任意一帧处于前、后及相同时段的辅助帧在内的帧的集合当中，使用至少一个帧内的标准块来求出上述图像块中各个像素的差值。本发明的这种利用第2层的帧来制作第1层的帧内图像的方式可以提高编码率。
文档编号G06T9/00GK101127900SQ20061003014
公开日2008年2月20日 申请日期2006年8月17日 优先权日2006年8月17日
发明者全丙文, 尹道玄, 朴志虎, 朴胜旭 申请人:上海乐金广电电子有限公司