专利名称：视频分层编码层间运动矢量的预测方法
技术领域：
本发明涉及视频编码领域，特别涉及交织模式下视频分层编码(Scalable video coding,简称"SVC")中层间运动矢量预测技术。
背景技术：
随着计算机互联网(Internet)和移动通信网络的飞速发展，多媒体压缩 及通信技术的应用越来越广泛，从网上广播、电影播放到远程教学以及在线 的新闻网站等都用到了流媒体技术。当前网上传送视频、音频主要有下载和 流式传送两种方式。流式传送是连续传送视/音频信号，当流媒体在客户机播 放时其余部分在后台继续下载。流式传送有顺序流式传送和实时流式传送两 种方式。实时流式传送是实时传送，特别适合现场事件，实时流式传送必须 匹配连接带宽，这意味着图像质量会因网络速度降低而变差，以减少对传送 带宽的需求。
尤其是随着第三代移动通信系统(3rdGeneration,简称"3G，，)的出现 和普遍基于网际协议(Internet Protocol,筒称"IP")的网络迅速发展，视 频通信正逐步成为通信的主要业务之一。而双方或多方视频通信业务，如可 视电话、视频会议、移动终端多媒体服务等，更对多媒体数据流的传送及服 务质量提出苛刻的要求。不仅要求网络传送实时性更好，而且等效地也要求 视频数据压缩编码效率更高。
SVC是MPEG制定的最新编解码技术，可根据用途改变像素和帧速率。 SVC已被定位于产品化进程正在迅速发展的H,264的扩展标准，其特点是根 据终端种类和无线状态，改变分辨率与帧速率。SVC的另一优点是只要准备
一个^L频源，就能发送^会多个终端和月良务。SVC的石马流中包4舌一个基本层 (Base Layer,简称"BL")和一个以上的增强层(Enhanced Layer,简称"EL，，)。 在由ITU和MPEG联合制定的先进视频压缩标准(Advanced Video Coding, 简称"AVC")标准的SVC扩展部分中，规定基本层是可以和H.264/AVC 兼容的。
图1示出了其基本算法框图。当视频流数据进入编码器时，在经过二维 的空间采样得到分辨率更低的图像作为基本层及各个低级的增强层，显然越 底层的图像其时间或空间分辨率或者其他指标越低。在各个层面上，各自进 行时间上的运动估计等独立的编码方式，在底层完成编码后的图像经过插值 恢复到与上一层的图像相同的分辨率级别，在传给上一层，使得上一层核心 编码器可以利用下一层的图像进行预测，提高编码效率。这就是SVC的层间 预测编码的原理。在编码完成后多媒体源将各层复用在信道上发送，当然接 收方也可以根据服务质量要求或带宽条件预订或临时选择接收各个层次媒体 数据，高效实现UMA目的。
而在目前SVC编码中，层间信息的预测主要由紋理预测和运动信息预测 两部份组成。层间紋理预测主要是利用基本层或前一层对应块的紋理信息来 作为当前块的帧内预测信息的预测方式。如图2所示，为了得到高层中宏块 对应的基本层预测信息，还需要对基本层对应位置上的块进行去块效应和插 值。插值的比例根据基本层和增强之间空间分辨率的大小决定，这种模式也 称为帧内基本层(intra一BL)模式，即根据同一时刻中，下一层的紋理信息 进行预测。
这里需要提及的几个基本概念是普通的非分层的视频编码中，往往存 在两种预测才莫式——帧内(intra)和帧间(inter),其中帧内预测不涉及时 间轴上前后帧的关联，而帧间即根据前或者后面的帧进行预测。这里SVC中 只是新引入了一个层次的概念，但在同一层中，仍然依照传统的视频编码模
式，因此为了区别帧内(intra )模式，采用帧内基本层(intra—BL )指示这里 的层间同 一 时间点上下 一 层对上 一 层的预测模式。
与紋理信息不同的是，运动信息本身就涉及时间轴上前后帧的关系，但 由于时间点上对应的各个层次之间的帧具有对应关系，因此运动信息也具有 对应关系。于是，层间运动信息的预测也是利用基本层或前一层对应块的运 动信息来作为当前块的运动信息的预测的方式。不过在对增强层的运动信息 进行编码时，在H.264原有的编码模式下增加了 2种新的宏块模式基本层 模式和1/4象素精度模式。
当使用基本层模式时，当前宏块不必再传输更多的运动信息，直接代替 无需预测。这种模式下将使用来自前一层对应宏块的运动/预测信息以及宏块 分块信息。当前一层的空间分辨率较小时，运动矢量将被放大。如果前一层 的对应宏块是一个intra宏块，那么当前宏块模式就被设置为intra一BL模式。 对于当前宏块的各个分块，使用的参考帧索引与前一层中的对应宏块分区也 是一致的。在增强层与其基本层之间，相应的运动矢量要乘以一个因子，该 因子是与空间分辨率比例有关的。
而1/4象素精度模式一般只是在前一层的空间分辨率较小时使用。这种 模式与基本层模式类似，宏块分区、参考帧索引和运动矢量的获得也与基本 层模式一样。然而，对每个运动矢量，都会额外地传输一个1/4抽样值并叠 加到运动矢量上。
上面详细介绍了 SVC层间预测中紋理信息和运动信息两种预测模式的 技术细节。但是需要提及的是以上的层间的预测方法都是在增强层和基本 层以帧编码的冲莫式下实现的。然而，新的标准中SVC将引入交织(interlace) 模式时，对应的层间预测必需要进行一些改变才能适用或者不降低编码效率。
这里需要介绍SVC将要引入的交织模式的原理。交织模式是指在原先的 前后两帧图像考虑到其相似性，将其合并为一帧进行编码以提高编码效率，
这种交织模式在静止或运动緩慢的视频流中产生的效果非常好。比如视频流 在时间轴上前后两幅图像经过采样得到垂直分辨率减半的半幅图像，然后两 幅图像隔行交叉，得到交织后的图像，这个过程即称为交织，其中交织后的
图像成为帧(frame),交织之前的半幅图像称为场(field)。
此外，还需要介绍宏块的概念，宏块就是帧中某小块图像，往往是编码 处理过程的操作单位， 一般是16x16。而在交织模式下，帧和场由于在垂直 分辨率上相差一倍，因此宏块的对应关系也存在一倍的缩放。
下面介绍交织模式下的两种编码方式， 一种是基于宏块级别的帧、场编 码模式自适应(MBAFF),另一种是基于图像级别的帧、场编码模式自适应 (PAFF)。注意，这里要需要引入两个概念，即帧编码模式和场编码模式， 分别是指统一编码和独立编码，其中帧编码模式(统一编码)是指两个场的 对应内容一起编码，这种模式适应于静止图像流或者緩慢运动图像，而场编 码模式(独立编码)是指两个场的对应内容独立编码，这种模式反之适应于 运动剧烈的图像。这里帧编码模式和场编码模式只是借用帧和场的概念，不 要和帧、场混淆。
可见，MBAFF和PAFF事实上只是一个编码级别的不同，基本原理完 全一样，PAFF也可以看成以宏块为单位，只不过所有宏块的编码方式选择 必须一致，而MBAFF则可以独立选择。
交织模式不仅可以在基本层实行，也可以在增强层实行。相对于交织模 式(interlace,简称"i模式")，普通的称为逐行模式(progressive,简称 "p模式")。另外，由于引入交织模式，基本层和增强层的速率或帧率可 能会不同，比如引入交织模式后的基本层速率会减半。
综上所述，在引入交织模式后，能够有效提高媒体流编码效率和压縮率， 但是，由于i模式改变了该层(基本层或增强层)的内容结构，使得其与其 他层可能产生不一致的对应内容或者速率，则对于原先的层间预测中的紋理
信息或运动信息预测变得不实用。因此，需要提出一种在交织模式下层间运 动和紋理预测的方法和设备，能够提高交织模式下的层间预测的效率，从而
能够保证甚至提高svc的压缩效率。
针对增强层和基本层不同的隔行interlace才莫式和逐行progressive模式 (帧模式)的组合，目前公开的文献中给出了一个i模式下层间预测的总体 方案，通过构建虛拟基本层(Virtual Base Layer,简称"VBL")来完成层 间各种模式之间的一个转换和对应，虛拟基本层保留了基本层的纹理和运动 信息，同时又和增强层的帧场编码结构模式一样，有利于在不改变原来系统 框架的基础上完成i模式下的层间预测。
目前公开文献中基本层和增强层的组合可以是为i->p, p->i，或i》i。例 如i->p表示基本层是以interlace模式编码，包括PAFF模式和MBAFF模式， 增强层输入序列是逐行扫描的，以帧模式编码。其他模式的意思依此类推。 针对不同的模式，目前公开文献中给出了不同的层间预测解决方案，其中 p->i、 i->i、 p->p、 i》p情况下虛拟基本层的形成过程分别如图3、图4和图5 所示。
通过以上过程可以发现，虛拟基本层是层间预测的一个桥梁。虛拟基本 层和增强层具有一样的帧、场编码模式，因而在增强层编码时，直接就可以 利用虚拟基本层的信息进行层间预测。同时虚拟基本层在基本层的基础上通 过对应关系整合而成，尽可能地保留了基本层的对应信息，具有较高的预测 准确性。由此可见虛拟基本层的形成是inerlaced模式下，层间预测的关键技 术。
层间运动矢量的预测是虛拟基本层的一个重要功能，虚拟基本层要在基 本层和增强层不同的帧场模式下，把基本层的运动矢量映射为对应的增强层 模式下的运动矢量，同时保持一定的预测精度。
运动矢量的预测根据上下两层的对应关系的也是四种模式场编码->帧
编石马，帧编石马->场编；马，场编石马->场编-马，帧编石马->帧编》马。由于场编；马-> 场编码和帧编码->帧编码上下两层的帧场编码模式一样，运动矢量可以完全 拷贝不需要任何的转换。所以关键的运动矢量预测技术就在于场编码->帧编
码，帧编码->场编码两种模式下的运动矢量转换关系了。下面以interlaced模 式下MBAFF编码模式情况为例说明现有的运动矢量预测方法
场到帧的映射关系如图6和7所示。基本层宏块对是按照场编码，增强 层宏块对是按帧编码。图6中虚拟基本层宏块对中每一小块的参考帧按照箭 头方向从基本层对应的小块的参考帧通过归一化而来，因为场编码时参考帧 索引值是帧编码时的两倍，将场的参考帧索引如1和2归依化为1， 3和4 归一化为2，如此类推。图7中给出了运动矢量的对应参考关系，虚拟基本 层每一块的运动矢量按照对应的B4 (4x4小块)块的号码以及参考帧对应 关系从基本层对应块通过转换求得运动矢量，这里的转换主要是运动矢量需 要在垂直方向放大2倍，因为场的高度是对应帧高度的一半，场的运动矢量 转换为帧的运动矢量需要乘以2。
帧到场的映射关系如图8和图9所示。基本层宏块对是按照帧编码，增 强层宏块对是按场编码。图8中虚拟基本层场编码宏块对中每一小块的参考 帧按照箭头方向从基本层对应的小块的参考帧通过反归 一化得到，因为场编 码时参考帧索引值是帧编码时的两倍，将场的参考帧索引如果是1反归一化
为1， 2反归一化为3， 3反归一化为5，如此类推。图9中给出了运动矢量 的对应参考关系，虛拟基本层每一块的运动矢量按照对应的B4 (4x4小块) 块的号码以及对应填充模式(斜线)，参考帧对应关系从基本层对应块通过 转换求得运动矢量，这里的转换主要是运动矢量需要在垂直方向缩小2倍， 因为场的高度是对应帧高度的一半，帧的运动矢量转换为场的运动矢量需要 除以2。
一般的层间的预测情况如图IO所示，基本层有3帧，增强层对应的也
有3帧，基本层每一帧包含一个顶场和一个底场，在基本层和增强层的对应 中发现，基本层的两场并不都是和增强层对应帧对应的，只有一场是和增强 层对应的，根据原始序列顶场和底场采样时间点不同，时间点对应的一场和 增强层对应的帧对应。这里假设是顶场对应，所以在层间预测时，如果使用
基本层的整帧或者底场的信息进行预测，效果不会很好，最好是使用顶场信 台
具体到运动矢量的预测，同样也存在不对应的现象。如图11所示，表
示的是基本层和增强层帧率一样，基本层是interlace编码，增强层是 progressive编码，基本层画面群组(Group of Pictures,筒称"GOP" ) =2, 对应增强层GOP = 4，图中上面三层分别对应的是基本层、虚拟基本层和增 强层。箭头所指示的是运动矢量，示出了参考帧和运动矢量的大小。处在中 间的 一帧图像在基本层中是按照场编码的，它的运动矢量可以参考前一帧的 顶场和底场，同时也可以参考后一帧的顶场和底场。由于增强层和虚拟基本 层是帧编码，所以只能参考前一帧和后一帧。在中间一帧图像的虚拟基本层 运动矢量形成过程中，目前公开文献的算法中是分别取了顶场和底场的块来 形成虛拟基本层的运动矢量。由前面的分析可知，只用当前对应一场的信息 应该更准确。这里对应的就应该是中间一帧的顶场。即使这样也还是存在预 测不准确的情况，图11中的第4层就是将基本层各场按照每一场平均的时间 跨度分开放置，当中间一帧的顶场参考的是前一帧的底场场，以及后一帧的 底场时(虚线箭头所示)，这时前后的运动矢量参考帧都是2 (指底场)， 目前公开文献中的算法是归一化算法，即归一化之后虚拟基本层的参考帧是 1 (指顶场)，运动矢量也是仅仅在垂直方向上放大了两倍，就直接转换为了 虚拟基本层的运动矢量，对应的就是图11中的第二层中的运动矢量。显然， 这里的转换是不精确的。只有当中间一帧参考的是前后两顿的顶场时，这种 转换才是较为合理的，因为它实际的时间跨度和虚拟基本层的时间跨度是一 致的，而当参考的是前后两帧的底场时，实际的时间跨度和虚拟基本层的时
间跨度是不一致的，这样直接的转换就会导致虚拟基本层的层间预测运动矢 量不够精确，从而减少编码效率。
发明内容
有鉴于此，本发明的主要目的在于提供一种视频分层编码层间运动矢量 的预测方法，使得层间运动矢量预测的精度得以提高，从而提高系统的压缩效率。
为实现上述目的，本发明提供了一种视频分层编码层间运动矢量的预测
方法，包含以下步骤
基本层为交织模式，增强层为逐行模式时，如果基本层场编码块的运动 矢量的参考帧在时间轴上没有与增强层对应帧的编码块的参考帧完全吻合， 则根据基本层编码块和/或其相邻帧或场中相同位置块的运动矢量，和所述增 强层对应帧与其参考帧之间的标准时间跨度，以及基本层编码块所属场与其 参考帧之间的时间跨度，生成在时间跨度上为所述标准时间跨度的标准运动 矢量，根据该标准运动矢量生成增强层对应块的层间预测或实际运动矢量。
其中，通过以下公式生成所述标准运动矢量
标准运动矢量=基本层编码块的运动矢量x标准时间跨度/基本层编码 块的运动矢量的时间跨度。
此外在所述方法中，通过以下方式生成所述标准运动矢量
将所述基本层编码块的相邻帧或场中相同位置块的运动矢量中具有所 述标准时间跨度的运动矢量复制为所述标准运动矢量。
此外在所述方法中，如果所述基本层编码块的运动矢量的时间跨度大于 所述标准时间5争度，则通过以下公式生成所述标准运动矢量
标准运动矢量=基本层编码块的运动矢量x标准时间跨度/基本层编码
块的运动矢量的时间跨度；
如果所述基本层编码块的运动矢量的时间跨度小于所述标准时间跨度， 则进一步判断所述相邻帧或场中相同位置块的运动矢量的时间跨度是否为所 述标准时间跨度，如果是则将该运动矢量复制为所述标准运动矢量，否则通 过以下公式生成所述标准运动矢量
标准运动矢量=基本层编码块的运动矢量x标准时间跨度/基本层编码 块的运动矢量的时间跨度。
此外在所述方法中，所述根据标准运动矢量生成增强层对应块的运动矢 量的步骤进一步包含以下子步骤
先根据所述标准运动矢量生成虛拟基本层对应块的虛拟运动矢量，再根 据该虛拟运动矢量生成所述增强层对应宏块的预测或实际运动矢量。
此外在所述方法中，如果所述基本层编码块的运动矢量的参考帧在时间 轴上与所述增强层参考帧完全吻合，则根据该基本层编码块的运动矢量生成 所述增强层对应宏块的预测或实际运动矢量。
此外在所述方法中，在下列情况下所述基本层编码块的运动矢量的参考 帧在时间轴上没有与增强层参考帧完全吻合
所述基本层编码块的运动矢量的参考帧为另一个基本层帧的底场，而所 述增强层参考帧在时间轴上对应于该基本层帧的顶场。
通过比较可以发现，本发明的技术方案与现有技术的主要区别在于，基 本层为交织模式且增强层为逐行模式的条件下，为增强层编码块生成运动矢 量时，将基本层中相关运动矢量调整得与增强层相关运动矢量在时间跨度上 一致。因为基本层和增强层中相应运动矢量在时间跨度上一致，所以可以提 高层间运动矢量预测的精度，从而提高系统的压缩效率。
虛拟基本层是为生成增强层服务的，虚拟基本层的帧与增强层的帧在时 间轴上是对应的，所以在生成虚拟基本层的运动矢量时，也要将基本层中相 关运动矢量调整得与虚拟基本层中相关运动矢量在时间跨度上一致。现有技 术中，在生成虚拟基本层的运动矢量时使用了归一化的方法，直接使用了基 本层中顶场和底场的运动矢量，而这些基本层中的运动矢量可能与虚拟基本 层中相应的运动矢量在时间跨度上并不一致，从而降低了层间运动矢量的预 测精度。而本发明通过调整基本层中相关运动矢量的时间跨度，使基本层和 虚拟基本层中相应运动矢量在时间跨度上一致，因此会有更高的层间运动矢 量的预测精度。
调整基本层中相关运动矢量时，有两种基本方式
第一种方式是通过缩放将基本层中相应编码块的运动矢量的时间跨度 调整为与虚拟基本层中相应运动矢量一致。这种方式在基本层中相应编码块 的运动矢量比虛拟基本层中相应运动矢量时间跨度更大时较为精确，因为这 时是一种内部插值，不是外延。
第二种方式是从相邻帧或场的相同位置编码块的运动矢量中选取与虚 拟基本层中相应运动矢量在时间跨度上一致的运动矢量。这种方式在基本层 中相应编码块的运动矢量比虛拟基本层中相应运动矢量时间跨度更小时较为 精确，由于运动的一致性，前后两帧同一位置处的运动很大概率上是保持一 致的。
还可以将上述两种基本方式结合起来，在基本层中相应编码块的运动矢 量比虚拟基本层中相应运动矢量时间跨度更小时，先用第二种方式，如果找 不到具有合适时间跨度的运动矢量，再使用第一种方式。这种结合的方案得 到的结果在总体会比单独使用第一、第二种方式更好些。
在虚拟基本层运动矢量的形成过程中，对前向运动矢量和后向运动矢量 可以使用不同的方法，以便在前向和后向都有较好的效果。
图1是SVC算法结构示意图2是非交织模式下SVC层间紋理预测原理示意图3是现有技术实现中基本层是p增强层是i情况下虛拟基本层的形成 过程示意图4是现有技术中基本层是i增强层是i情况下虛拟基本层的形成过程 示意图5是现有技术中基本层是i或p,增强层是p情况下虚拟基本层的形 成过程示意图6是现有技术中场到帧的映射中参考帧对应关系示意图7是现有技术中场到帧的映射中运动矢量对应关系示意图8是现有技术中帧到场的映射中参考帧对应关系示意图9是现有技术中帧到场的映射中运动矢量对应关系示意图10是现有技术中 一般的层间的预测情况示意图11是现有技术中层间运动矢量的预测方法示意图12是根据本发明第一实施方式的SVC层间运动矢量的预测方法流程
图13是根据本发明第一实施方式的层间运动矢量的预测方法示意图； 图14是Soccer序列测试效果对比图； 图15是Parkrun序列测试效果对比图； 图16是Crew序列测试效果对比图。
具体实施例方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发 明作进一 步地详细描述。
本发明的要点在于，在场到帧的运动矢量预测中，不再采用归一化的方 法来确定对应块的运动矢量，而是根据时间跨度来确定虚拟基本层运动矢量 的大小。
本发明第一实施方式的流程如图12所示。该实施方式中，基本层为交 织(interlace )模式，增强层为逐行(progressive )模式。
在步骤1201中，系统判断基本层场编码块的运动矢量的参考帧在时间 轴上是否与增强层对应帧的编码块的参考帧完全吻合，如果是则进入步骤 1204，否则进入步骤1202。
在步骤1202中，根据基本层编码块和/或其相邻帧或场中相同位置块的 运动矢量，和虚拟基本层对应帧与其参考帧之间的标准时间跨度，以及基本 层编码块所属场与其参考帧之间的时间跨度，生成在时间跨度上为标准时间 跨度的标准运动矢量。因为虛拟基本层的帧在时间轴上应当与增强层的相应 帧完全吻合，所以虚拟基本层对应帧与其参考帧之间的时间跨度就是增强层 帧与其参考帧之间的时间跨度.，
下面以图13中的情况为例，对标准运动矢量的生成进行说明。MV1和 MV2是参考前后两帧底场的运动矢量。因为图13中虚拟基本层和增强层的 帧在时间轴上仅与基本层顶场相对应，这种情况下直接使用参考帧为基本层 底场的MV1和MV2是不准确的。需要将MV1和MV2转换成以相应顶场为 参考帧的标准运动矢量，该标准运动矢量的时间跨度为图13中基本层中间一 帧的顶场到基本层左右两帧的顶场之间的时间跨度，也就是上文所称的标准 时间跨度。前后向的标准时间跨度可能是不同的，不失一般性，设前向的标
准时间3争度为w，后向的标准时间跨度为m。其中w和m是以场序列采样率 为单位的时域跨度，同一基本层帧的顶场和底场之间的时间跨度为1。本实 施方式中4吏用的转换方法是对MV1和MV2进行缩方文。
先进行后向的运动矢量缩放。在后向，MV2在时间跨度大于标准时间跨 度，对应的标准运动矢量MV2'可根据以下公式得到
MV2' = MV2 x( m ) / ( m + 1 )
因为MV2在时间跨度大于标准时间跨度，属于内部插值，所以MV2' 较为精确。
再进行前向的运动矢量缩放。在前向，MV1在时间跨度上小于标准时间 跨度，对应的标准运动矢量MV1'可根据以下公式得到
MV1' = MV1 x(w) / (w - 1 )
因为MV1在时间跨度上小于标准时间跨度，所以这是一种外延估值， 但前向参考帧的两场之间的运动是不可预测的，当这两场之间基本没有运动 时，这种方法的效率就不会很高了。在后面的实施方式中将采用其它方法生 成前向标准运动矢量。
此后进入步骤1203,才艮据基本层编码块的标准运动矢量MV1'和MV2' 生成虚拟基本层对应块的虛拟运动矢量。此后进入步骤1205。
在步骤1204中，根据基本层编码块的运动矢量生成虚拟基本层对应块 的虛拟运动矢量。此后进入步骤1205。
在步骤1205中，根据虛拟运动矢量生成增强层对应宏块的预测或实际 运动矢量。这一步骤的实现可以参见现有技术中相关文献的说明。
在第一实施方式中，通过缩放处理，使得基本层和增强层中相应运动矢 量在时间跨度上一致，所以可以提高层间运动矢量预测的精度，从而提高系 统的压缩效率。
本发明的第二实施方式与第一实施方式大致相同，区别在于生成前向标 准运动矢量的方法不同。本实施方式中，将基本层编码块的相邻帧或场中相 同位置块的运动矢量中具有标准时间跨度的运动矢量复制为前向标准运动矢量。
以图13为例，MV3是与当前块对应的下一场块中相同位置的块的运动 矢量，即当前块所在场宏块对中底块的运动矢量。MV3的时间跨度与标准时 间跨度相同。本发明将MV3复制为前向标准运动矢量MV1'，再以MV1'生 成虛拟基本层对应块的前向虚拟运动矢量。由于运动的一致性，前后两帧同 一位置处的运动在很大概率上是保持一致的，所以采用这种方法也是具有较 高效率的。
第二实施方式中提出了将MV3复制为MV1'的方法，这在MV3的参考 帧是图13所示的左侧帧底场时是可行的，但是如果MV3的参考帧不是图12 所示的底场时，而是其他参考帧，由于时间跨度的不同，这时使用MV3来 预测就不准确了。在第三实施方式中为进一步解决这个问题提出了方案。
本发明的第三实施方式与第二实施方式大致相同，区别在于生成前向标 准运动矢量的方法不同。在第三实施方式中，将第一实施方式和第二实施方 式中生成前向标准运动矢量的方案进行结合。即，先判断相邻帧或场中相同 位置块的运动矢量的时间跨度是否为标准时间跨度，如果是则将该运动矢量
复制为标准运动矢量，否则通过对基本层编码块的运动矢量的缩放生成所述 标准运动矢量。
具体在图13的例子中，先判断MV3是否和MV1'具有同样的时间跨度， 如果是则将MV3复制为MV1'，否则通过公式MV1' = MV1 x (w)/ (w
-1)计算出Mvr。
这种方案结合了第一和第二实施方式的优点，充分有效地利用了基本层 的运动矢量信息，提高了层间运动矢量的预测效率。
在图14、图15和图16中示出了以三种视频序列测试的结果。其中，图 14使用的是Soccer序列，图15使用的是Parkrim序列，图16使用的是Crew 序列。这些测试中，基本层和增强层都是4CIF图像序列，基本层是interlaced 编码序列，增强层是progressive编码序列，上下两层帧率一样，基本层以 Rl, R2, R3三个码率点进行编码，对应基本层每个码率点，增强层也分别 在相应码率点编码，每个序列可得到3组曲线。图14、图15和图16中，每 个图各有6根曲线，"R1一原"代表原始算法以Rl码率点进行编码的结果，
"R1—新"代表改进后算法以Rl码率点进行编码的结果，"R2—原，，代表原 始算法以R2码率点进行编码的结果，"112_新"代表改进后算法以R2码率 点进行编码的结果，"R3一原"代表原始算法以R3码率点进行编码的结果，
"R3一新，，代表改进后算法以R3码率点进行编码的结果。图中的横坐标为码 率，纵坐标为峰值信噪比(Peak Signal-to-Noise Ratio,简称"PSNR")。在 相同条件下，对于同样的PSNR，码率越低表示压缩效率越高，换句话说， 在相同的条件下，在相对左侧的曲线较好。可以看出，在图14、图15和图 16中，相同条件下，使用本发明改进后的算法得到的结果均好于原始算法。 从Crew序列、Parkrun序列、到Soccer序列，图像的变化程序是越来越剧烈， 而从效果上看，改进后的算法相对于对原始算法的优势越来越明显，可以看 出，本发明的方案更适用于画面变化较快的场景。
虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和 描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各 种改变，而不偏离本发明的精神和范围。
权利要求
1.一种视频分层编码层间运动矢量的预测方法，其特征在于，包含以下步骤基本层为交织模式，增强层为逐行模式时，如果基本层场编码块的运动矢量的参考帧在时间轴上没有与增强层对应帧的编码块的参考帧完全吻合，则根据基本层编码块和/或其相邻帧或场中相同位置块的运动矢量，和所述增强层对应帧与其参考帧之间的标准时间跨度，以及基本层编码块所属场与其参考帧之间的时间跨度，生成在时间跨度上为所述标准时间跨度的标准运动矢量，根据该标准运动矢量生成增强层对应块的层间预测或实际运动矢量。
2. 根据权利要求1所述的视频分层编码层间运动矢量的预测方法，其 特征在于，通过以下公式生成所述标准运动矢量标准运动矢量=基本层编码块的运动矢量x标准时间跨度/基本层编码 块的运动矢量的时间跨度。
3. 根据权利要求1所述的视频分层编码层间运动矢量的预测方法，其 特征在于，通过以下方式生成所述标准运动矢量将所述基本层编码块的相邻帧或场中相同位置块的运动矢量中具有所 述标准时间跨度的运动矢量复制为所述标准运动矢量。
4. 根据权利要求1所述的视频分层编码层间运动矢量的预测方法，其 特征在于，如果所述基本层编码块的运动矢量的时间跨度大于所述标准时间 跨度，则通过以下公式生成所述标准运动矢量标准运动矢量=基本层编码块的运动矢量x标准时间跨度/基本层编码 块的运动矢量的时间跨度；如果所述基本层编码块的运动矢量的时间跨度小于所述标准时间跨度， 则进一步判断所述相邻帧或场中相同位置块的运动矢量的时间跨度是否为 所述标准时间跨度，如果是则将该运动矢量复制为所述标准运动矢量，否则通过以下公式生成所述标准运动矢量标准运动矢量=基本层编码块的运动矢量x标准时间跨度/基本层编码 块的运动矢量的时间跨度。
5. 根据权利要求1至4中任一项所述的视频分层编码层间运动矢量的 预测方法，其特征在于，所述根据标准运动矢量生成增强层对应块的运动矢 量的步骤进一步包含以下子步骤先根据所述标准运动矢量生成虚拟基本层对应块的虛拟运动矢量，再根 据该虚拟运动矢量生成所述增强层对应宏块的预测或实际运动矢量。
6. 根据权利要求1至4中任一项所述的视频分层编码层间运动矢量的 预测方法，其特征在于，如果所述基本层编码块的运动矢量的参考帧在时间 轴上与所述增强层参考帧完全吻合，则根据该基本层编码块的运动矢量生成 所述增强层对应宏块的预测或实际运动矢量。
7. 根据权利要求1至4中任一项所述的视频分层编码层间运动矢量的 预测方法，其特征在于，在下列情况下所述基本层编码块的运动矢量的参考 帧在时间轴上没有与增强层参考帧完全吻合所述基本层编码块的运动矢量的参考帧为另一个基本层帧的底场，而所 述增强层参考帧在时间轴上对应于该基本层帧的顶场。
全文摘要
本发明涉及视频编码领域，公开了一种视频分层编码层间运动矢量的预测方法，使得层间运动矢量预测的精度得以提高，从而提高系统的压缩效率。本发明中，基本层为交织模式且增强层为逐行模式的条件下，为虚拟基本层编码块生成运动矢量时，将基本层中相关运动矢量调整得与虚拟基本层相关运动矢量在时间跨度上一致，从而提高层间运动矢量预测的精度。调整基本层中相关运动矢量时，有两种方式，一种是通过缩放将基本层中相应编码块的运动矢量的时间跨度调整为与虚拟基本层中相应运动矢量一致，另一种是从相邻帧或场的相同位置编码块的运动矢量中选取与虚拟基本层中相应运动矢量在时间跨度上一致的运动矢量，还可以将这两种方式结合起来。
文档编号H04N7/32GK101102503SQ20061010108
公开日2008年1月9日 申请日期2006年7月7日 优先权日2006年7月7日
发明者周建同, 曾鹏鑫, 熊联欢, 谢清鹏 申请人:华为技术有限公司