专利名称：用于对数字视频数据的隔行序列进行可缩放编码和解码的方法
技术领域：
本发明涉及一种用于视频压缩的方法。更具体地说，本发明涉及一种用于在对数字视频数据的隔行(interlaced)序列进行编码和解码时实现可缩放性(scalability)的方法。
背景技术：
当今的大多数视频编码算法使用运动补偿预测编码，以减少传输带宽。在这些混合方案中，使用运动补偿减小了时间冗余度，并且通过运动补偿残余变换编码减小了空间冗余度。虽然大多数标准定义(SD)视频素材(包括用于测试目的的可用MPEG视频素材)是隔行的，但是最近对于可缩放视频编码的研究已经仅仅集中在逐行(progressive)视频的评价上。这一方面的努力受到例如“Description of Exploration experiments in Scalable VideoCoding”，ISO/IEC JEC1/SC29/WG11，MPEG2002/N5414，Awaji，December 2002中提到的MPEG-4的鼓励。已知的算法(例如，WO9003082中公开的用于HDTV的算法)不足以用于传输空间及时间可缩放的隔行视频，这是因为需要更大范围的可缩放性。新的显示器类型(例如，小型移动显示器)利用低空间及时间分辨率的逐行视频序列即可，而其他显示器(例如，HDTV接收机)需要具有高空间分辨率及标准时间分辨率的隔行序列。
发明内容
本发明的目的是隔行视频的子带或小波编码的改进。由于在隔行视频中，空间和时间维紧密联系在一起，所以本发明性方法使用空间-时间信噪比(SNR)环境中的额外探索。
本发明要解决的问题是提供一种在对隔行视频进行编码及解码时提供完全的空间及时间可缩放性的方法。在权利要求1中公开了用于编码的这种方法，并且在权利要求6中公开了用于解码的这种方法。在权利要求10中公开了利用用于编码的方法的一种装置。在权利要求11中公开了利用用于解码的方法的一种装置。其可以将所接收到的信号转换为不同级别时间分辨率(逐行或隔行)以及不同级别空间分辨率的视频序列。
根据本发明，以支持空间、时间和质量可缩放性、关于SNR的质量的方式来处理隔行数字视频数据，即，通过足够的拆分操作和空间-时间滤波，导致了生成可缩放的空间和/或时间次级分辨率序列。
这是通过将隔行源视频素材划分或分解为两层(即基础层(BL)和增强层(EL))获得的。BL包含逐行模式的输入视频源的完全可缩放描述，其中可缩放性是指空间分辨率、时间分辨率和质量。EL与BL组合时允许低成本、可缩放地重构原始隔行视频素材，这包括获得原始的空间分辨率、时间分辨率和SNR质量。
这种分解可以通过在隔行视频序列中每隔一个场关联到同一层来实现，例如，一层处理偶数场而另一层处理奇数场。有利的是，通过使用来自BL的运动估计(ME)向量用于EL处理的部分，可以节省计算量。隔行视频序列被分解为属于BL和EL两层的五个分量。根据本发明的接收机可以将这些分量组合为具有关于空间-时间分辨率和SNR的各种质量级别的视频序列。
在独立权利要求、下面的描述和附图中公开了本发明的有利实施例。
本发明的示例性实施例是参考附图描述的，其中图1示出了根据本发明的用于可缩放编码的视频编码器的结构；以及图2示出了根据本发明的可缩放视频解码器的结构。
具体实施例方式
图1示出了根据本发明的视频编码器的结构。输入信号I是时间分辨率为2αHz(即，每秒2α场或每秒α帧)且空间分辨率为2M×2N(即，一帧具有2N行，每行有2M个像素，或者一场具有N行，每行具有2M个像素)的隔行视频序列。拆分模块SP分发该序列，使得各个场以交替方式传递到第一或第二支路。第一支路生成BL信息和EL信息，但是在这里其被称作BL支路。另一支路只生成EL信息，并且其在这里被称作EL支路。每个支路接收时间分辨率为每秒α帧且空间分辨率为2M×N像素的视频序列。例如，BL序列F1包含偶数场，而EL序列包含奇数场。一般地，拆分模块SP执行任意拆分变换，从单个源描述产生两个描述。也可以利用各种滤波器来进行更复杂的处理，例如低通/高通滤波。
BL支路对F1序列沿x轴(即，在线内)执行空间滤波SF1，并且从F1的较低频率部分生成空间分辨率为M×N像素的视频序列L，并且从F1的高频部分生成空间分辨率增强信号H。在示例中，可以由低通滤波器LProw和高通滤波器HProw来执行滤波，这两者都执行例如因子为2的水平子采样。其他因子也可能有用。低分辨率序列L被输入到空间-时间滤波器STF，并被输入到运动估计(ME)模块ME1。空间-时间滤波器STF执行运动补偿时间变换，这也被称作3D小波变化或者2D+t小波变换。其可以被实现为例如长度为2的Haar变换滤波器，或者是长度为9和7或长度为5和3的Daubechies滤波器。ME模块ME1生成运动向量MV1，其用作三个目的第一，它们被用来最优化空间-时间滤波过程；第二，它们被传输到接收机，例如用于反向滤波过程；第三，它们将被用在编码器的EL支路中。
空间-时间滤波器STF的输出信号P被发送出去，并且接收机可以将其与运动向量MV1结合起来，以再现例如M×N像素、αHz的逐行模式视频序列。有利的是，当使用上述实施方式时，也可以设计空间-时间滤波器，使得该逐行序列在x和y方向上关于时间分辨率和空间分辨率都可缩放。该滤波器取决于目标帧速率或格式，可以包含数个滤波级别，从而，例如可以获得M’×N’的空间分辨率和/或θαHz的时间分辨率，其中M’和N’的范围在
和
中，并且θ∈Q01，Q01是范围在
中的有理数。这一滤波过程可以得到不同的空间-时间频率，它们的装配(例如，数据流内的组织)使得基础层完全可缩放。该模块STF的输出P是分辨率为M’×N’的逐行序列，这是原始的2M×2N格式的次级分辨率，并且其代表本发明系统生成的最低的空间和时间分辨率级别。
空间分辨率增强信号H(包含沿x轴的高频场)属于增强层EL，并且可以被高级接收机用来重构在x方向具有更高空间分辨率(直至原始分辨率)的帧。
EL支路对F2序列执行运动补偿时间滤波(MCTF)。其使用运动向量(MV)，以便当对象在一副画面中相对于另一幅画面移动其位置时，最小化要被传输的数据量。可以使用两组不同的MV从原始隔行序列生成的MV，或者是通过比较具有相同奇偶性(或者是奇数，或者是偶数)的场而生成的MV。有利的是，对于后一种情形，可以使用BL支路的ME1模块中生成的MV1向量，这是因为例如两个连续的偶数场之间的运动极有可能非常类似于两个相应的奇数场之间的运动，或者反之亦然。运动仍然有可能在四个场的序列内变换，所以使用第二运动估计模块ME2中从隔行序列I生成的较好的运动向量MV2可能是有利的。因此，在EL支路中集成了判决模块，以便为MCTF决定使用哪一组MV。发送这些判决信息可能是有利的。
运动补偿时间滤波(MCTF)使得可以生成滤波后的F2场FF2，即，比原始的F2场具有更低成本的F2场。这些滤波后的场FF2具有与输入F2场相同的空间和时间分辨率。通过使用所述的运动向量，获得了成本降低，这是因为减少了发送的数据量。运动估计和运动补偿可以独立于奇偶性来跨场执行，以便捕获场内和场间的相关性。可以使用各种预测模型(后向、前向以及双向)以及多参考场算法。为了减少MV编码成本和估计复杂度，可以取决于目标需求，来先验或后验地使用来自基础层的运动信息。
对于传输，将得到的流复用到一个位流中是有利的。所述的编码方法将隔行的原始视频序列分解到两层(BL和EL)中，这允许得到的位流在编码器侧以及在解码器侧支持多种空间和时间分辨率级别。所述的EL还可以被视作多层，因为其包含数个级别的分辨率。
作为一个具体的示例，输入视频序列I是标准定义(SD)视频，其中α＝30或2αHz是60Hz，F1例如代表偶数场而F2例如代表奇数场，LProw执行2∶1子采样，L是30Hz的公共图形格式(CIF)序列，并且STF是1级空间-时间滤波器，从而P是15Hz的CIF序列。
在解码器侧，取决于目标应用，必须考虑几种情形逐行或隔行模式中的无损或有损解码。图2示出了示例性的高级解码器，其可以生成各种质量级别，可以根据技术或用户需要来选择这些级别。解码器模式可以由质量选择器QS来选择。例如，这可以由发射机或内容供应商、或者接收机的技术能力、或者用户喜好来控制。不同模式的示例是无损或有损、不同的场速率、不同的空间分辨率等。解码过程取决于所选择的解码质量。
从解码器的观点来看，最简单的模式是逐行无损模式。在这种情形中，只有基础层信号BL(包括逐行序列P和运动向量MV1)需要被完全解码。通过使用空间-时间合成STS来执行解码。以这种方式，所重构的视频序列V1具有完全的空间-时间分辨率，即，M×N像素的空间分辨率和αHz的时间分辨率。
另一模式是逐行有损模式。这意味着所重构的视频序列V2的空间-时间分辨率是逐行无损模式V1中所获得的分辨率的次级分辨率。使用空间-时间合成STS来解码使得可以重构任意M’×N’、θ’αHz的逐行序列，其中M’和N’的范围在
和
中，θ’的范围在
中。同样，只有基础层需要被解码。
当需要重构完全的原始隔行视频素材时，即，不损失信息，这时需要隔行无损模式。这意味着整个基础层BL和增强层EL都必须被完全解码。如针对编码器所述，EL信号包括涉及F1场的x方向中较高频率的额外数据H、从输入的隔行序列生成的运动向量MV2、以及涉及F2场的信息FF2。为了正确地解码，必须反向执行所有的编码器操作。反向滤波通常被称为合成。当向额外数据H和所重构的BL信号V1分别应用各自的反向滤波(这种情形中是空间合成SS)时，其产生视频序列V3，这对应于编码器侧的分辨率为2M×N、αHz的原始F1序列。另外，通过使用反向运动补偿时间滤波器IMCTF，可以从其他EL信号FF2和MV2来合成来自编码器侧的具有相同分辨率的原始F2序列。然后，反向拆分操作ISP将F1场与F2场合并，以重构完全的隔行视频序列V4，该序列具有2M×2N、2αHz(或每秒α个隔行帧)的完全时间分辨率。
作为另一种可能性，可以使用隔行有损模式。这意味着所重构的空间-时间分辨率时完全分辨率的次级分辨率。如上面针对逐行有损模式所述，解码使得可以重构任意M’×N’、θαHz的隔行序列。这种有损情形意味着基础层或增强层或者这两层没有被彻底解码。这可以由空间-时间合成STS来执行，从而可以使用V2而不是V1来进行进一步的处理。这也可以由空间合成SS或反向运动补偿时间滤波IMCTF来执行。
在本发明的另一实施例中，可以简化编码器处的空间-时间滤波器STF，从而直接发送F1序列。这种情形中，还可以取消接收机处的空间-时间合成STS。
有利的是，该发明性方法提供了生成可缩放视频(包括隔行视频)的可能性，使同样的位流可用于高分辨率的隔行模式TV以及低分辨率的逐行模式移动设备。因为位流被完全嵌入，所以可以在发射机侧以及在接收机侧提取所有想要的空间或时间次级分辨率。
本发明方法可以被用于所有的视频应用，优选地可用于所有的MPEG系统。
权利要求
1.一种用于对数字视频数据的隔行序列进行编码的方法，其中生成了多层的编码信号基础层以及一个或多个增强层，其中至少所述基础层适于视频数据的基本重构，并且所述增强层适于增强视频数据的所述基础层重构，所述方法特征在于如下步骤所述隔行序列(I)被分解为两个子序列(F1、F2)；以不同的方式处理所述两个子序列(F1、F2)；所述第一子序列(F1)被分解(SF1)为低频流(L)和高频流(H)；所述低频流(L)由第一数字滤波器(STF)处理；所述第一滤波器(STF)的输出被用来生成基础层信号(P)；所述低频流(L)还被用于第一运动估计(ME1)，所得到的运动向量(MV1)与所述基础层信号(P)一起适于在解码器处重构逐行模式的视频序列；所述第二子序列由第二数字滤波器(MCTF)处理。
2.根据权利要求1所述的方法，其中所述第一数字滤波器(STF)适于修改时间维或空间维或这两维上的分辨率。
3.根据权利要求1或2之一所述的方法，其中对所述隔行视频序列(I)执行第二运动估计(ME2)。
4.根据权利要求1～3之一所述的方法，其中所述第二数字滤波器(MCTF)还使用所述隔行视频信号(I)或者所述第一运动估计(ME1)的结果。
5.根据权利要求1～4之一所述的方法，其中至少发送了下列子序列中的某些所述第一子序列(L)的所述低频流(P)、所述第一子序列(L)的所述运动向量(MV1)、所述第一子序列的所述高频流(H)、所述隔行序列(I)的运动向量(MV2)、滤波后的第二子序列(FF2)。
6.一种用于解码位流的方法，所述位流由多个子流组成，其中所述子流与基础层(BL)或增强层(EL)相关联，所述方法包括如下步骤选择或确定(QS)解码质量；从所述位流中提取那些与所述基础层(BL)相关联的子流(P、MV1)；和对所述子流(P、MV1)执行反向数字滤波(STS)，产生逐行模式视频序列(V1)。
7.根据权利要求6所述的方法，还包括如下步骤对所述逐行模式视频序列(V1)和与所述增强层(EL)相关联的子流(H)中的一个或多个子流执行反向数字滤波(SS)，所述滤波(SS)生成增强的逐行模式视频序列(V3)。
8.根据权利要求6或7之一所述的方法，还包括如下步骤对所述增强的逐行模式视频序列(V3)和与所述增强层(EL)相关联的子流(MV2、FF2)中的一个或多个子流执行反向数字滤波(IMCTF、ISP)，所述滤波(IMCTF、ISP)生成具有增强或完全空间-时间分辨率的隔行视频序列(V4)。
9.根据权利要求6～8之一所述的方法，其中对与所述基础层(BL)相关联的子流执行的所述反向数字滤波(STS)产生空间上或时间上或者在这两维上都缩放了的逐行模式视频序列(V2)的表示。
10.一种用于视频编码的装置，其使用权利要求1～5中任何一项所述的方法。
11.一种用于解码的装置，其使用权利要求6～9中任何一项所述的方法。
全文摘要
一种用于对数字视频数据的隔行序列进行编码的方法将隔行视频序列(I)分解为第一场(F1)和第二场(F2)，执行数字滤波(SF1)以获得第一场(F1)的低频分量信号(L)和高频分量信号(H)，并且使用空间－时间滤波(STF)和运动估计(ME1)来生成基础层信号(P、MV1)，所述基层信号适于在接收机中重构逐行模式视频序列(V1、V2)。有利的是，编码器处的空间－时间滤波器(STF)和接收机处的反向过程(STS)可以执行空间及时间维上的缩放。第二场(F2)用来生成增强信号(FF2、MV2)，这使接收机能够再现具有完全、或缩放的空间和/或时间分辨率的隔行视频序列。
文档编号H04N7/46GK1778116SQ200480004335
公开日2006年5月24日 申请日期2004年2月20日 优先权日2003年3月3日
发明者格温埃利·马康, 纪尧姆·布瓦松, 爱德华·弗朗索瓦, 热罗姆·维耶龙, 菲利普·罗伯特, 克里斯蒂娜·吉耶莫 申请人:汤姆森许可贸易公司