专利名称：对h.264视频数据进行分层信道编码的方法
技术领域：
本发明涉及H. 264视频编码传输，并且更具体地，涉及一种采用分层形式对基于 H. 264标准的压缩视频流进行信道编码，以实现对H. 264视频流的分层保护的方法。
背景技术：
随着3G移动通信的飞速发展，人们对视频数据传输的可靠性和实时性要求越来越高。H. 264作为新一代的视频编码标准，具有更高效的压缩比和更优越的网络适应性。然而高效的压缩比会使压缩视频流在传输过程中对信道误码更加敏感，特别是无线信道。一旦出现单个突发性错误，就可能严重干扰了解码端的正常解码，使解码视频的质量急剧下降。H. 264标准具有较高的编码效率和较强的抗误码特性，但H. 264视频码流去掉了大量的时间和空间相关性，这将使得码流对信道误码非常敏感。而现有技术中，信源编码(例如H. 264, MPEG X等编码)是与信道编码分开进行的。在进行信道编码时，并不会考虑信源编码中不同数据可能容忍的信道误码率之间的差异，而一般采用一致性的均等方式对输入的压缩码流(例如采用H. 26X.MPEG X标准进行压缩的输出码流)进行信道编码。在一个实例中，信道编码器将输入的视频流按与信源编码无关的特定规则划分为多个数据块，并针对每个数据块按照固定编码率(encoding rate) 添加冗余信息。为了实现视频在波动性强的无线信道上可靠传输，探索信源编码与信道编码的融合是一种有效方法。因此，当前迫切需要一种能够通过将H. 264信源编码与信道编码相结合，来提高 H. 264视频码流的抗误码特性且同时能够具有较高编码效率的视频流编码传输方法。
发明内容
本发明提出了一种能够高效地结合H. 264信源编码与信道编码的特性的H. 264 视频传输方法，该方法能够在波动性强的信道环境下，通过对H. 264视频流进行分层并针对各层添加不同的信道编码冗余，来实现对H. 264视频流中重要性不同的数据的不平等保护，从而提高重构视频的主观和客观质量，增强了传输系统的鲁棒性。为此，本发明首先对经过H. 264编码的视频码流进行分层，随后采用一种基于以 LDPC(低密度奇偶校验码)码进行的预编码的新的信道编码算法，来与这种H. 264视频流分层保护相结合，从而实现对H. 264视频码流的传输的分层保护。在一个方案中，一种对H. 264视频流进行信道编码的方法，包括以下步骤按照 H. 264标准对输入的视频流进行编码，以得到H. 264视频码流；按照在所述H. 264视频码流进行解码时对解码的重要程度，将所述H. 264视频码流分解为具有不同重要程度的多个层；以及采用LDPC(低密度奇偶校验码)预编码器对所述多个层中每个层的符号进行信道预编码，并随后对LDPC编码符号进行信道编码，以便为所述多个层中具有较高重要程度的层产生较多的冗余信息，并为所述多个层中具有较低重要程度的层产生较少的冗余信息； 以及将添加了冗余信息的所述多个层合并后进行发射。在另一个方案中，一种对H. 264视频流进行信道编码的装置，包括用于按照 H. 264标准对输入的视频流进行编码，以得到H. 264视频码流的模块；用于按照在所述 H. 264视频码流进行解码时对解码的重要程度，将所述H. 264视频码流分解为具有不同重要程度的多个层的模块；以及用于采用LDPC (低密度奇偶校验码)预编码器对所述多个层中每个层的符号进行信道预编码，并随后对LDPC编码符号进行信道编码，以便为所述多个层中具有较高重要程度的层产生较多的冗余信息，并为所述多个层中具有较低重要程度的层产生较少的冗余信息的模块；以及用于将添加了冗余信息的所述多个层合并后进行发射的模块。所述多个层包括层A，其包含头信息；层B，其包含帧内编码模式以及帧内系数信息，并且其中，仅在层A被成功传输的情况下，所述层B中的数据才能够被用于解码；层C， 其包含帧间编码模式以及帧间系数。在另一个方案中，一种计算机程序产品，其包含指令，所述指令在由处理器执行时，实现如上所述的方法中的各个步骤。
图1是根据本发明的一个实施例的信源编码为信道编码提供分层信息的框图；图2是一个具有视频编解码能力的通信终端的示意图；图3是根据本发明的原理，对不同的层添加不同的冗余码的示意图；图4是根据本发明的一个实施例，对压缩视频码流进行信道编码的示意图；图5是根据本发明的一个实施例的用于对H. 264视频编码数据进行分层信道编码的方法流程图；以及图6是根据本发明的一个实施例的用于对H. 264视频编码数据进行分层信道编码的装置示意图。
具体实施例方式以下结合多个具体实施例对本发明进行了详细参数。在各个实施例中阐述了若干具体细节，但对于本领域普通技术人员显而易见的是，这些具体细节并非旨在将本发明的保护范围限制于此，而仅作为示例性内容而使得本领域技术人员能够更为容易地理解并实现本发明。本发明的保护范围由附带的权利要求来界定。在图1中，示出了根据本发明的一个实施例信源编码为信道编码提供分层信息的框图。如图所示，数据源提供待发送的视频数据流，其可以是以各种方式产生的视频流，例如以数字摄像机拍摄的数字视频帧序列，借助于电视卡获取的电视内容视频帧序列等等。
5数据源将数据提供给信源编码器，其采用H. 264标准对该视频帧序列进行编码，得到编码的视频码流。编码视频流被输入信道编码器进行信道编码。信道编码器依据来自信源编码器的信息将编码的视频码流进行分层。具体而言，信道编码器按照编码的视频码流中不同类型的数据对接收机端的信源解码的重要程度的不同，将编码的视频码流中的数据分为多个层1、2、3、...，并对这些层添加不同的冗余信息，如以下进一步论述的。进一步而言，为了适应这种分层的信道编码，本发明提出了一种基于分层的信道编码方法。首先采用LDPC(低密度奇偶校验码)码对多个层1、2、3、...中数据分别进行预处理，然后再进行信道编码。经过信道编码后的码流经过调制、滤波、上变频等等操作后在有线或无线信道上发送给预期的接收方。接收方在接收到预期信号后，对接收到的信号进行下变频、滤波、解调等操作，并采用与发送方处所进行的处理相反的方式来进行信道解码、信源解码，以恢复由发送方的数据源所提供的视频帧序列，并将其提供给数据宿，以待稍后使用。从图1可以看出，本发明的一个创新点在于，并非是将H. 264编码与信道编码分开地进行处理，而是通过信源编码器提供的分层信息(例如，以各种方式提供)，将H. 264编码与信道编码(经过相应的修改)结合起来。图2给出了一种其中可应用本发明的方案的无线终端的示意性框图。在图中，存储器250存储待发送的视频帧序列，其可以是通过I/O接口 230以本领域已知的各种方式获得的。H. 264编解码器260对来自存储器250的视频帧序列进行编码，获得编码比特流， 并将编码比特流输入到发射/接收(TX/RX)数据处理器210进行基于分层的信道编码(如以下进一步详述的)。经过信道编码的数据流被提供给发射机/接收机(TX/RX)单元200 进行调制、滤波、上变频等操作，并经由天线220发送。在接收端，具有类似结构的无线终端、用户终端、基站等设备可以采用与发送方进行的处理相反的方式对接收到的数据进行处理，以恢复被发送的视频帧序列。虽然图2示出无线终端的一种具体结构，但应意识到，可应用本发明的无线终端并非局限于此。例如，TX/RX 200、H. 264编解码器260和TX/RX数据处理器210的功能的一些或全部可以合并到单个处理单元MO中，并且本领域技术人员结合具体设计约束，可以在这些组件之间进行功能的重新划分而不会脱离本发明的保护范围。图3是根据本发明的原理，对不同的层添加不同的冗余码的示意图。为了能够按照H. 264视频流中不同数据的类型而在信道编码中给予其相应的不同的冗余信息，从而实现对不同数据类型的不同保护，在H. 264编码阶段，将与宏块、量化参数、运动矢量、帧内编码信息以及帧间编码信息相关的信息提供给信道编码器，并且信道编码器依据该信息对输入的H. 264视频流进行分层，其中各个层在解码时的重要程度不同。基于按照各个层在解码时的重要程度而对各个层进行的排序，为不同的层添加不同的冗余码。如图所示，层1、2、 3、4、5、...是按照重要程度从高到低的顺序排列的，而为其添加的冗余码的数量也是按照从多到少的顺序排列的。在一个具体实施例中，信道编码器按照上述分层信息，将视频流分为3个层层A 其包含头信息。这是各个层中最重要的类型，在丢失此层数据的情况下，其他层是不能使用的。该层可以包括如MB、量化参数及运动矢量等。
层B 其包含帧内编码模式及帧内系数信息，属于内部层。在层A有效情况下，层B 才能用于解码，由于帧内信息可以阻止进一步的变异，所以其比帧间信息重要。层C 其包含帧间编码模式及帧间系数，属于帧间层。此层信息不需要在编码器和解码器之间同步，故属于非重要类型。这样就可以针对重要性的不同来实现不同程度的错误保护。一般而言，视频码流中的一些控制信息、同步信息和运动矢量信息是属于比较重要的数据，应将这些数据组织在层A，其他如DCT系数等可组织在层B。通常，如果层B或层C丢失，有效头信息是可以用来改善差错掩盖的效率，在丢包信道下，这将使得解码视频质量有所提高。图4是根据本发明的一个实施例，对压缩视频码流进行信道编码的示意图。在本发明的一个实施例中，针对输入的源符号IX1, X2, x3，…，XJ (即H. 264视频流)，首先采用 LDPC码进行预编码，然后采用本发明的改进的信道编码对LDPC编码符号Y1J2，Y3,... Yn进行信道编码。具体的编码步骤如下。1.构造LDPC码的校验矩阵。2.消除LDPC校验矩阵中存在的长度为4的短环。3.获得LDPC编码后的编码比特U。具体而言，对校验矩阵H[A I B]进行高斯消元得H[I|P]，
权利要求
1.一种对H. 264视频流进行信道编码的方法，包括以下步骤 按照H. 264标准对输入的视频流进行编码，以得到H. 264视频码流；按照在所述H. 264视频码流进行解码时对解码的重要程度，将所述H. 264视频码流分解为具有不同重要程度的多个层；以及采用LDPC (低密度奇偶校验码)预编码器对所述多个层中每个层的符号进行信道预编码，并随后对LDPC编码符号进行信道编码，以便为所述多个层中具有较高重要程度的层产生较多的冗余信息，并为所述多个层中具有较低重要程度的层产生较少的冗余信息；以及将添加了冗余信息的所述多个层合并后进行发射。
2.如权利要求1所述的方法，其中，所述多个层包括 层A，其包含头信息；层B，其包含帧内编码模式以及帧内系数信息，并且其中，仅在层A被成功传输的情况下，所述层B中的数据才能够被用于解码； 层C，其包含帧间编码模式以及帧间系数。
3.如权利要求1所述的方法，其中，所述采用LDPC预编码器对所述多个层中每个层的符号进行信道预编码的步骤进一步包括以下步骤(1)分别为所述多个层中的每一层构造LDPC码的校验矩阵H[A|B]；(2)消除LDPC校验矩阵中存在的长度为4的短环；(3)获得经LDPC编码后的编码比特u；
4.如权利要求3所述的方法，其中，所述信道编码进一步包括以下步骤(4)确定LT编码器的度分布参数u(d)；(5)根据生成的度d，随机地从K个信源符号中选择d个相互不同的信源符号进行异或运算来得到编码符号。
5.如权利要求3所述的方法，其中，所述步骤C3)进一步包括对各校验矩阵H[A|B]进行高斯消元以得到H[I|P]，其中，由
6.如权利要求4所述的方法，其中，所述步骤(4)进一步包括确定LT编码器的度分 布参数
7.一种对H. 264视频流进行信道编码的装置，包括用于按照H. 264标准对输入的视频流进行编码，以得到H. 264视频码流的模块； 用于按照在所述H. 264视频码流进行解码时对解码的重要程度，将所述H. 264视频码流分解为具有不同重要程度的多个层的模块；以及用于采用LDPC (低密度奇偶校验码)预编码器对所述多个层中每个层的符号进行信道预编码，并随后对LDPC编码符号进行信道编码，以便为所述多个层中具有较高重要程度的层产生较多的冗余信息，并为所述多个层中具有较低重要程度的层产生较少的冗余信息的模块；以及用于将添加了冗余信息的所述多个层合并后进行发射的模块， 其中，所述多个层包括 层Α，其包含头信息；层B，其包含帧内编码模式以及帧内系数信息，并且其中，仅在层A被成功传输的情况下，所述层B中的数据才能够被用于解码； 层C，其包含帧间编码模式以及帧间系数。
8.一种计算机程序产品，其包含指令，所述指令在由处理器执行时， 实现如权利要求1-6所述的方法中的各个步骤。
全文摘要
一种采用分层形式对基于H.264标准的压缩视频流进行信道编码，以实现对H.264视频流的分层保护的方法。
文档编号H04N7/26GK102158698SQ201110062540
公开日2011年8月17日 申请日期2011年3月16日 优先权日2011年3月16日
发明者张萌萌, 白慧慧 申请人:北方工业大学