专利名称：基于分布式信源编码技术使用副信道增强预测视频编解码器的鲁棒性的方法、设备和系统的制作方法
技术领域：
本发明一般涉及易错(error-prone)网络上的多媒体，特别涉及结合无线网络上的多媒体使用的视频编码和解码技术。
背景技术：
当前的视频压缩技术，例如ITU-T H.263、H.263+、H.263++、ISO MPEG-4以及JVT H.264，已经在压缩视频中变得越来越有效。在新兴的基于带宽有限信道(例如无线信道)的多媒体应用中，以相对较低的比特率获得良好视觉质量的能力导致视频应用变得越来越普遍。但是，当前视频编解码器所使用的压缩技术的预测特性使得所压缩的视频比特流容易由于信道中的分组丢失而发生恶化。
信道差错或者分组丢失可以导致视频编码器和解码器之间的同步丢失。更具体地，在编码器处的重构视频帧的本地解码副本可能与在解码器处的相应重构视频帧不匹配。由于在接收机的解码器和发射机的解码器之间会存在漂移(drift)，视频编码器和解码器之间的同步丢失有时也称为“漂移”。漂移可以导致解码视频质量的显著损失。
由于漂移所导致的解码质量的下降是作为当前视频编解码器基础的基于预测的编码的直接结果。也就是，为了对当前的视频帧进行解码，需要正确地重构所有先前的视频帧。这个问题在无线信道中更加显著，无线信道中的分组丢失比有线网络更加频繁，而且易于以突发的形式出现。
已经将重传方案(例如自动重复请求(ARQ)或者前向纠错(FEC)方案)用于抵制编码器和解码器之间的漂移问题，由此减轻了由于分组丢失而导致的质量损失。但是，使用ARQ或者FEC方案(或者两者的组合)可能不是有效的，这是由于视频应用的延迟限制可能排除了对这些方案的使用。而且，基于FEC的方案不能保证数据是否被接收到，漂移继续存在直至接收到下一个帧内(帧内由视频编码器用于中断预测循环并从而停止漂移)。
A.D.Wyner和J.Ziv在“The rate distortion function for sourcecoding with side information at the decoder”(IEEE Trans.Inf.Theory，vol.22，pp.1-10，1976年1月)中对Wyner-Ziv定理进行了讨论。这个定理解决了具有边信息(side-information)的信源编码的问题。考虑两个相关信源X和Y。编码器需要在只有解码器访问信源Y时压缩信源X。当均方差是失真测量值且X＝Y+N(其中N具有高斯分布)时，无论编码器是否访问Y，编码X的速率-失真性能都是相同的。
近来，基于Wyner-Ziv框架内具有边信息的信源编码原理，提出了信源信道联合编码技术以解决漂移问题。例如，参见R.Puri和K.Ramchandran，“PRISMA New Robust Video Coding Architecture basedon Distributed Compression Principles”，Allerton Conference onCommunication，Control and Computing，2002；A.Sehgal，A.Jagmohan和N.Ahuja，“Wyner-Ziv Coding of VideoAn Error-ResilientCompression Framework”，IEEE Trans.on Multimedia，vol.6，pp.249-258，2004；A.Aaron，S.Rane，R.Zhang和B.Girod，“Wyner-ZivCoding of VideoApplications to compression and error resilience”，Proc.IEEE Data Compression Conf.，2003；以及A.Aaron，S.Rane，D.Rebollo-Monedero和B.Girod，“Systematic Lossy Forward ErrorProtection for Video Waveforms”，Proc.IEEE Int.Conf.Image Proc.，2003。
R.Puri和K.Ramchandran在“PRISMA New Robust Video CodingArchitecture based on Distributed Compression Principles”(AllertonConference on Communication，Control and Computing，2002)中以及A.Aaron，S.Rane，R.Zhang和B.Girod在“Wyner-Ziv Coding of VideoApplications to compression and error resilience”(Proc.IEEE DataCompression Conf.，2003)中描述的编解码器是避开预测编码框架的完全视频编解码器。
另一方面，A.Sehgal，A.Jagmohan和N.Ahuja在“Wyner-ZivCoding of VideoAn Error-Resilient Compression Framework”(IEEETrans.on Multimedia，vol.6，pp.249-258，2004)中以及A.Aaron，S.Rane，D.Rebollo-Monedero和B.Girod在“Systematic Lossy ForwardError Protection for Video Waveforms”(Proc.IEEE Int.Conf.ImageProc.，2003)中描述的编解码器保留了预测编码框架，但是发送一些附加信息以减轻漂移的影响。
尽管取得了这些进步，但是本领域仍需要如下技术，其不仅能够通过协助减轻分组丢失对于在无线信道上传输的压缩视频比特流的影响，来实现在该无线信道上的强壮的视频传递，而且还满足下列要求·能够与现有的压缩技术协同工作·具有低处理延迟·快速消除/降低视频编码器和解码器之间的漂移
·当与视频编解码器所使用的技术相比时，需要低比特率发明内容本文公开的实施例通过在出现信道差错或者分组丢失时提供改进视频编码性能的分布式信源编码技术，满足了以上所述的要求。
使用下列术语·主流(main stream)使用预测编解码器压缩的视频数据·主信道在其上传输主流的逻辑信道·WyZER流使用分布式编码原理构造的Wyner Ziv抗错(errorresilience)流·辅助信道(secondary channel)在其上传输WyZER流的逻辑信道·主信道编码器用于对主流进行编码的编码器·主信道解码器用于对主流进行解码的解码器·WyZER编码器用于对WyZER流进行编码的编码器·WyZER解码器用于对WyZER流进行解码的解码器·边信息已解码的主流数据，其由WyZER解码器用于在接收机处对帧进行重构·DSC分布式信源编码在存在信道差错的情况下，对编码器处的视频帧和解码器处的重构视频帧之间的相关性进行估计。在一个实施例中，在离散余弦变换(DCT)域中计算相关性。相关性可以用于寻找陪集(coset)，如在2003年3月24日递交的、名称为“Method，Apparatus and System forEncoding and Decoding Side Information for Multimedia Transmission”的U.S.专利申请No.10/396,982中所述。
本发明的实施例可以通过将WyZER流作为抗错流，协助减轻传统视频编解码器中的漂移问题。实施例可以通过发送附加信息，协助降低或者消除漂移。例如，在一个实施例中，可以使用辅助信道技术，其中，WyZER流可以用于停止漂移以及改善视频质量。预测序列和原始序列之间的相关性可以用于设计码本(codebook)以及找到表示原始图像所需的陪集。所述信息可在另一个信道或者辅助信道上发送。在另一个实施例中，所需的陪集数量可以在辅助信道上以头部信息的形式传送至WyZER解码器。
在一个实施例中，使用DSC，可以以较低的速率在辅助信道上发送对视频序列的另一个描述，所述辅助信道可以用于纠正在接收机处的重构视频帧中由信道丢失所引起的差错。可以借助于预测解码器所重构的视频帧对在辅助信道上发送的比特流进行解码。从而，可以减轻差错传播的影响。
在一个实施例中，如果解码器仅能够对主流数据进行解码，则其将丢弃在辅助信道上发射的附加信息。如果解码器可以对这两种流进行解码，则其将首先对主流数据进行解码，然后使用所述信息对WyZER流数据进行解码，并且向用户提供最终的重构图像。
图1是无线通信系统的框图。
图2(a)是对于使用H.263+编码器以及DSC技术进行编码的视频序列，峰值信号噪声比(PSNR)与帧数量的对比图。
图2(b)是对于使用H.263+编码器、FEC以及DSC技术进行编码的视频序列，PSNR与帧数量的对比图。
图2(c)是对于使用H.263+编码器、FEC以及DSC技术进行编码的另一个视频序列，PSNR与帧数量的对比图。
图2(d)是对于使用H.263+编码器、FEC以及DSC技术进行编码的称为“Stefan”的视频序列，PSNR与差错百分比的对比图。
图2(e)是对于使用H.263+编码器、FEC以及DSC技术进行编码的称为“Football”的视频序列，PSNR与差错百分比的对比图。
图2(f)是对于使用FEC以及DSC技术进行编码的“Football”视频序列，PSNR与平均突发长度的对比图。
图3是示出可以实现DSC技术的无线通信系统一部分的框图。
图4是示出用于确定对于副信道(side-channel)编码器的帧内比特分配的实施例的流程图。
图5是示出用于确定副信道编码器将使用的信源码本的划分(partition)的最大数量的实施例的流程图。
图6是WyZER编码器的框图。
图7是WyZER解码器的框图。
具体实施例方式
当前的视频编码标准使用预测框架来获得对于视频信号的良好压缩性能。这种压缩方案的实例包括MPEG-4、H.263+以及H.264。但是，当在易错信道上传输这种压缩比特流时，视频质量会被严重破坏，例如图2(a)-(c)中使用目标PSNR度量所示。易错信道的实例包括cdma2000、WCDMA、GSM以及其它新兴的无线网络。在本发明中，使用预测编解码进行压缩的视频数据被称为“主流”，在其上传输主流的逻辑信道被称为“主信道”。
减轻信道差错有害影响的实例包括对具有差错的传输单元的重传(RLP重传、混合ARQ等等)、抗错分组化(对传输单元中在语义上更加重要的比特提供更强的差错保护的数据划分、数据交织等等)、限制所丢失信源数据的程度的比特流语法(使用再同步标记、可逆变长编码RVLC等等)。
在本发明中，生成独立的比特流，以与主流一起用于改进抗错性。使用基于分布式信源编码原理的视频数据WyZER-Ziv编码来构建这种流。我们将这种流称为Wyzer Ziv抗错流(WyZER流)。WyZER流在“辅助信道”上传输，辅助信道是与用于例如MPEG-4、H.263+以及H.264等视频编解码器的主信道不同的逻辑信道。预测视频编码器所重构的视频帧作为WyZER解码器的边信息，用于对WyZER流进行解码。
根据本发明的另一个方案，提供了如下技术，其使用R.Zhang，S.L.Regunathan和K.Rose在“Optimal intra/inter mode switching forrobust video communication over the Internet”(Proc.33rd Ann.AsilomarConf.on Sig.Syst.Comp.，1999)中详述的某些概念，在离散余弦变换(DCT)域中估计在差错重构的帧与帧本身之间的相关性。
根据本发明的另一个方案，WyZER编码器工作在DCT域中，以利用DCT的能量集中特性。基于可用于副信道的速率以及相关性估计，从DC和低频系数开始，对尽可能多的DCT系数进行编码。
如果客户接收到主流以及WyZER流，但是仅能对主流进行解码(也就是，其仅具有预测解码器，例如MPEG-4或H.263+或H.264解码器)，则客户将仅对主流进行解码，而忽略WyZER流。具有预测解码器和WyZER解码器的客户可以对两种比特流进行解码，因此，其可比仅具有预测解码器的客户接收质量更好的解码视频。
虽然A.Sehgal，A.Jagmohan和N.Ahuja在“Wyner-ziv Coding ofVideoAn Error-Resilient Compression Framework”(IEEE Trans.onMultimedia，vol.6，pp.249-258，2004)中的算法以及A.Aaron，S.Rane，D.Rebollo-Monedero和B.Girod在“Systematic Lossy Forward ErrorProtection for Video Waveforms”(Proc.IEEE Int.Conf.Image Proc.，2003)中的算法也在辅助信道解码器处将预测编码器所重构的差错帧用作边信息，但是在本发明与这些文献中描述的技术之间存在很多重要差异。例如，在A.Sehgal，A.Jagmohan和N.Ahuja的“Wyner-zivCoding of VideoAn Error-Resilient Compression Framework”(IEEETrans.on Multimedia，vol.6，pp.249-258，2004)中，作者将某些帧标记为“peg”帧。这些技术允许在一个peg帧到下一个peg帧之间出现差错传播。在每个peg帧上，从编码器将一些附加信息发送至解码器，以允许解码器纠正peg帧中的差错。
相反地，本发明的方案则尽可能早地停止或者降低漂移或者差错。这样，可以或多或少地保持稳定的质量，从视觉角度来说这是非常重要的。
另一方面，在A.Aaron，S.Rane，D.Rebollo-Monedero和B.Girod的“Systematic Lossy Forward Error Protection for Video Waveforms”(Proc.IEEE Int.Conf.Image Proc.，2003)中，与每个帧一起发送对视频序列的独立描述，但是其具有较粗的量化。对于这种较粗的描述可以使用Wyner-Ziv框架进行编码，并且可以借助在解码器处作为边信息的差错帧对其进行解码。从而，上述文章中的方法并未试图停止漂移，这是因为其最多仅可以恢复所述较粗的描述。在上述文章中描述的技术工作在像素域中而并非在DCT域中，从而放弃了对空间相关性的使用。
对于具有边信息的信源编码，编码器需要在失真限制内对信源进行编码，解码器需要能够对受到信源和边信息之间的相关噪声N影响的编码码字进行解码。虽然Wyner和Ziv所证明的结论是非建设性的且在实质上是渐进的，然而已经提出了多种解决这个问题的建设性方法，其中，将信源码本划分为与相关噪声N匹配的信道编码的陪集。划分或者陪集的数量取决于N的统计特性。
图1是示出根据一个实施例的在无线信道上的编码视频方案的系统框图。该系统包括预测编码器10，其包括帧缓冲器，预测编码器10通过无线主信道25将比特流传送至预测解码器20；以及辅助信道(WyZER)编码器30，其通过无线辅助信道45将比特流传送至辅助信道(WyZER)解码器40。
在图1中，预测解码器20通过无线主信道25从预测编码器10接收比特流，并且重构信号 作为对输入到编码器10的视频信号X的表示。预测解码器20所重构的比特流 可能受到比特流在无线信道上的传输中的差错的影响。重构信号 作为WyZER解码器40的边信息，WyZER解码器40输出 以作为最终的重构。
在一个实施例中，输入视频信号X是正在由预测编码器10进行编码的当前视频信号，预测编码器10可压缩输入视频信号，并且基于例如运动估计(ME)以及位移帧差(DFD)变换等技术发送所压缩的比特流。WyZER编码器30向WyZER解码器40发送使用了Wyner-Ziv框架的X的独立描述。
接着，WyZER解码器40对在辅助信道上发送的比特流进行解码，并且使用重构的信号 输出对视频信号X的最终重构 与重构信号 相比，最终的重构信号 通常将是对原始视频信号X的更好重构，这是因为，如下所述，WyZER解码器40能够对在比特流经由无线信道进行传输期间出现的某些差错进行纠正。可将最终重构信号 写回到预测解码器20的帧缓冲器中。
在该实施例中，为了设计WyZER编码器30，假设分配给WyZER编码器的速率是固定的，并且相关性结构是X=X~+Z,]]>其中X表示原始输入信号， 表示预测解码器对原始信号X的重构，以及Z表示相关噪声向量。
此外，在该实施例中，因为操作发生在离散余弦变换(DCT)域中，所以假设相关噪声向量Z的分量是独立的。将这些分量建模为高斯分布，这是因为在所有具有相同方差的分布中，高斯具有最大的熵并从而提供对最坏情况的分析。对于X中的每个分量，WyZER编码器30需要找到信源码本的划分数量，即陪集数量，因此其需要知道Z中每个分量的方差。为了找到这些方差，可以按照如下所述使用相关估计技术。
例如，在一个实施例中，相关估计算法使用R.Zhang，S.L.Regunathan和K.Rose在“Optimal intra/inter mode switching for robustvideo communication over the Internet”(Proc.33rd Ann.Asilomar Conf.on Sig.Syst.Comp.，1999)中所提出算法的某些方案。但是，与上述公开内容不同，本发明的该实施例实现在DCT域中。对于主信道和辅助信道，假设两个信道上的分组消除(erasure)是独立的，而且所述分组可被独立地解码。还假设丢失分组的概率等于丢失块信息的概率。当丢失块时，预测解码器使用帧存储器中在前一帧中相同位置处的块代替所丢失的块。主信道和辅助信道上的分组丢失概率分别表示为p和q。
如在名称为“Method，Apparatus and System for Encoding andDecoding Side Information for Multimedia Transmission”的共同未决U.S.专利申请No.10/396,982中所述，WyZER编码器可以向WyZER解码器传送陪集索引。然后，WyZER解码器对索引进行解码，以识别包括通常与边信息相结合的码字的陪集。在一个实施例中，可以使用S.S.Pradhan和K.Ramchandran在“Distributed source coding usingsyndromes(DISCUS)Design and construction”(Proc.IEEE DataCompression Conf.，1999)中详细描述的概念。一般而言，信源码本可以划分为任意信道编码的陪集。
在图6中示出WyZER编码器的详细框图。其包括三个模块，失真统计计算器、陪集编码器以及帧统计计算器。WyZER编码器使用当前的视频帧数据以及在解码器处对视频帧的预期重构，来计算相关噪声的统计量。这些统计量由陪集编码器用于生成WyZER比特流。在WyZER对帧进行编码之后，对统计量进行更新，以使其可在下一帧中使用。
图7示出WyZER解码器的框图。包括陪集比特和陪集索引信息的WyZER比特与边信息(来自主解码器)一起用于生成WyZER解码输出。
根据R.Zhang，S.L.Regunathan和K.Rose在“Optimal intra/intermode switching for robust video communication over the Internet”(Proc.33rd Ann.Asilomar Conf.on Sig.Syst.Comp，1999)中的符号，使gni，k作为在第n个帧的第k个块中第i个DCT系数按照折线扫描顺序的原始值。使 表示其编码器重构，即 是gni，k的量化表示。由预测解码器将这个系数重构为 重构 是用于编码器的随机变量。
考虑不存在辅助信道的情况。存在两种情况对块进行帧内(I块)或者帧间(预测或者P块)编码。I块是自包含的，即，其包括呈现或者显示一个完整数据块所需要的所有信息。P块不是自包含的，其通常包含相对于前一帧的差异信息，例如运动向量以及差异结构向量。考虑p是由于信道差错而丢失信息单元的概率。此外，假设对应于丢失信息单元的区域由先前重构的同一位置的视频进行填充。然后，如果对块进行帧内编码，则 方程(1)以及，如果对块进行帧间(预测)编码，则 方程(2)其中，e^ni,k=g^ni,k-g^n-1i,j·gn-1i,j]]>是对gni，k的预测量(predictor)，即，对第n个帧中的第k个块的最佳预测量是第(n-1)个帧中的第j个块。当一个块丢失时，简单地将其替换为在前一帧中相同位置处的块。应当注意，尽管无差错地接收对于特定块的预测比特流， 也可能不等于 即，该块可能由于先前存在的差错而产生差错。这种情况的预期失真是 方程(3)可以对块中的所有DCT系数计算预期失真dni，k，并且WyZER编码器应当对这种相关性进行编码。其目的是使差错重构的DCT系数精确至无差错的量化表示，以停止漂移。但是，由于辅助信道的速率限制，可能无法对所有系数进行编码。此处，正确的方法是使用可用速率来使DCT系数的子集精确化，这将使预期失真最小化。但是，对于每个块都进行这种优化是非常复杂的。基于脱机测试，发现在大多数时间里最佳策略是在精确化较高频率系数之前精确化较低频率系数。这也产生了来自于从视觉角度的直观感觉。从而，对于联机算法，仅传输可以在给定速率内向辅助信道提供的m个最低频率的DCT系数。对于所述m个DCT系数，当主流和WyZER流通过时，WyZER解码器将在解码器处恢复其编码器重构。从而，对于所述m个DCT系数，解码器处的重构将是 方程(4)对于未由WyZER编码器进行编码的剩余DCT系数， 由上述方程(2)给出。
为了使用方程(3)计算预期失真dni，k，需要计算 以及 (这是因为 和gni，k在编码器处是已知的)。方程(1)、(2)和(4)可以用于将 和 与 和 相关联。从而，WyZER编码器可以使用简单的递归算法(与R.Zhang，S.L.Regunathan和K.Rose在“Optimal intra/inter mode switching for robustvideo communication over the Intemet”(Proc.33rd Ann.Asilomar Conf.on Sig.Syst.Comp.，1999)中所使用的算法相似)计算 和 从而使用方程(3)计算dni，k。应当注意，为了实现编码的目的，预测编码器将帧划分为非重叠空间块的网格。如果预测量块(上述分析中第(n-1)个帧中的第j个块)不与这个非重叠块的网格一致，则WyZER编码器在对第(n-1)个帧进行编码的同时不存储 和 的值(由于j不是第(n-1)个帧中的有效块)。在这种情况下，在计算中使用与作为有效块的第(n-1)个帧中第j个块具有最大重叠的块。可选地，也可以使用第(n-1)个帧中与第j个块相重叠的相应块的加权平均。
相关噪声估计(dni，k)确定信源码本的划分数量或者陪集数量。陪集数量这个信息可通过辅助信道以头部信息的形式传送至WyZER解码器。为了限制头部的大小，可以针对每个系数，限制可以采用的陪集数量的可能值。对可能值的限制可以基于广泛的测试。
图2(a)-(f)是指示上述WyZER编解码器的有效性的多个性能比较的仿真结果图。为了进行仿真，将H.263+编码器用作预测视频编解码器，对本领域技术人员所公知的标准视频序列进行编码。分配给辅助信道的速率约是主信道速率的30％。
图2(a)是对于使用上述H.263+编码器202以及DSC技术204进行编码的视频序列，峰值信号噪声比(PSNR)与帧数量的对比图。在图2(a)中，丢弃标准“Flower Garden”视频序列(352×240，15fps，1个帧内后面跟着29个帧间)中的第三帧。为了使比较公平，使用相同的附加速率量对H.263+进行补偿。图2(a)示出在使用DSC技术的情况下，由于纠正了漂移，在三十个帧序列的结尾处，PSNR在丢弃的帧之后平稳增加到比H.263+高出约7-8dB。
还使用无线信道仿真器对上述的DSC技术进行测试，所述无线信道仿真器向在遵循CDMA 20001x标准5的无线网络上传输的多媒体数据流添加分组差错。对于这些测试，对DSC技术进行修改，以允许将辅助信道上的部分速率分配给前向纠错编码(FEC)，而将剩余部分分配给WyZER流。这种处理的原因是WyZER流不能从丢失中立即恢复(参考图2(a))，这与使用FEC以及消除数量小于FEC纠错能力的情况不同。从视觉和PSNR角度来说，这是非常重要的。但是，如上所述，由于不能保证差错恢复性，因而并未将副信道上的整个速率都分配给FEC。对于通常具有显著差错突发的无线信道尤为如此。
图2(b)是对于使用上述H.263+编码器212、FEC 214以及DSC技术216进行编码的视频序列，PSNR与帧数量的对比图。在生成图2(b)过程中所使用的标准视频序列是“Stefan”视频序列(352×240，15fps，1GOP)。在图2(b)中，所比较的三个不同编码技术如下1)H.263+以与分配给主信道和辅助信道的总速率相等的速率进行编码(曲线212)，2)对FEC分配全部辅助信道速率(我们使用Reed-Solomon编码)(曲线214)，以及3)所提出的算法，通过将辅助信道的部分速率分配给FEC来进行修改(再次使用RS编码)(曲线216)。
对于FEC和DSC技术，即上述的(2)和(3)，延迟限制是1帧。进行测试，以找到在(3)的情况下FEC和WyZER流之间的最佳速率划分。在大多数情况下，最好是向FEC和WyZER流分配大致相等的速率，并且这也是获得此处所示结果的设置。主流和WyZER流在同一(仿真)无线信道上进行发送。
在图2(b)中所示的Stefan序列的情况下，所提出的WyZER 216方法优于其它方法，其所获得的平均PSNR比仅有FEC的情况214高出2.9dB，并且比基线H.263+(曲线212)高出5.2dB。
图2(c)是对于使用上述H.263+编码器222、FEC 224以及WyZER技术226进行编码的另一个视频序列，PSNR与帧数量的对比图。在生成图2(c)的过程中使用的标准视频序列是“Football”视频序列(352×240，15fps，1GOP)。图2(c)示出对于分组丢失率为8.5％，用于Stefan和Football序列(352×240，15fps，1GOP)的三种编码方案的典型性能。
在图2(c)中，所提出的DSC技术226的PSNR在帧23和26处存在暂时的下降，但是其在这两种情况中都得以快速恢复。在这个测试中，WyZER技术226的平均PSNR比仅有FEC的情况224高出3.1dB，比基线H.263+(曲线222)高出5.6dB。
图2(d)是对于使用H.263+编码器232、FEC 234以及DSC技术236进行编码的视频序列“Stefan”，PSNR与差错百分比的对比图。图2(e)是对于使用H.263+编码器242、FEC 244以及DSC技术246进行编码的视频序列“Football”，PSNR与差错百分比的对比图。如图2(d)和2(e)中所示，对于三种编码方法的典型性能，本发明的方法始终优于另外两种。虽然结果仅仅针对SIF(352×240)序列，但是对于具有其它空间大小的视频序列(例如QCIF、CIF)也可以观测到相似的情况。
还进行了其它实验，以研究突发长度对性能的影响。图2(f)是对于使用FEC 252以及DSC 254进行编码的“Football”视频序列(176×144，15fps，30帧)，PSNR与平均突发长度的对比图。如在图2(f)中所示，当平均突发长度大于0.6时，根据本发明的技术254优于仅有FEC 252的情况，但是当突发长度小于0.6时，其差于仅有FEC的情况。
从而，使用上述技术的仿真结果显示出在合理延迟限制的情况下，其比传统的差错保护方案(例如前向纠错编码)表现出更大的性能上的提高。
所述DSC技术可适用于大量无线设备和无线标准。可以实现所述DSC技术的无线设备的实例包括蜂窝电话、具有无线通信功能的个人计算机、个人数字助理(PDA)以及其它无线设备。运行所述DSC技术所基于的无线标准的实例包括称为全球移动通信系统(GSM)、通用分组无线业务(GPRS)、增强数据GSM环境(EDGE)、TIA/EIA-95-B(IS-95)、TIA/EIA-98-C(IS-98)、CDMA2000、宽带CDMA(WCDMA)的标准以及其它标准。
图3是示出可以实现DSC技术的无线通信系统一部分的框图。如图1所示，无线通信系统包括第一无线通信设备(WCD)302，其也称为移动台(MS)。无线通信系统包括第二无线设备304，其可以是无线基础设施的一部分、另一个无线设备或者与无线基础设施相连的陆上线路设备。
第一无线设备302包括WyZER编码器306、WyZER解码器308、发射机310和接收机312。第二无线设备304包括WyZER编码器320、WyZER解码器322、发射机324和接收机324。第二无线设备304可接收输入信号X1，例如视频信号。输入信号X1与DSC编码器320相连。在DSC编码器320内，包括有预测编码器330和WyZER编码器332。根据所述DSC技术对输入信号进行编码，从预测编码器320和WyZER编码器332向发射机324输出主流和WyZER流。
主流和WyZER流通过无线通信信道(可将多个逻辑信道用于发射两个流)发射至第一无线设备302中的接收机312。主流从接收机312输出至第一无线设备302中DSC解码器308内的预测解码器334。WyZER流从接收机312输出至WyZER解码器336。预测解码器334的输出 也输入到WyZER解码器336。根据所述的DSC技术，预测解码器和WyZER解码器共同产生和输出对输入信号X1的重构信号 以与上述相似的方式，第一无线设备可接收输入信号X2，X2由包括在第一无线设备302中的DSC编码器306内的预测编码器340和WyZER编码器342进行编码。主流和WyZER流从DSC编码器306输出至发射机310。第二无线设备304中的接收机326接收比特流，并且向第二无线设备304中DSC解码器322中的预测解码器344输出预测比特流且向WyZER解码器346输出WyZER流。预测解码器344的输出 也输入到WyZER解码器346。根据所述的DSC技术，预测解码器和WyZER解码器共同产生和输出对输入信号X2的重构信号 在另一个实施例中，无线设备可能仅包括DSC编码器或者仅包括DSC解码器。例如，如果设备被配置为广播或者发射编码数据但是并不接收编码数据，则其可能具有DSC编码器以对广播数据进行编码，但可能不具有DSC解码器，这是因为其不接收编码数据。相似地，配置为接收和解码信号但是并不发射编码信号的设备可能包括解码器但不包括编码器。这种类型系统的实例可以是广播系统，例如视频广播系统，其中，广播装置向至少一个用户(通常向很多用户)广播发射编码数据，但是用户并不向广播装置发回编码数据。在这个实例中，广播装置无线设备将包括DSC编码器以对广播数据进行编码，用户无线设备将包括DSC解码器以对所接收的编码广播进行解码。
图4是示出用于确定对于WyZER编码器的帧内比特分配的实施例的流程图。流程开始于方框402，其中，对划分为多个数据块的整个数据帧进行检查。流程继续进行到方框404，其中，确定应当保护哪个数据块。例如，可以基于如果单个数据块丢失或受到破坏则该特定数据块的丢失将对在接收机处的数据帧重构造成的有害影响，对数据块进行“分级”。其丢失将会更有害于进行重构的块具有较高的等级。
流程继续进行到方框406，其中，确定分配给WyZER编码器的数据量。一般而言，希望分配给辅助信道最小的数据量，这是因为所分配的数据量必须通过辅助信道进行发射，因此会消耗附加的系统资源。从而，基于希望如何保护特定的数据块，将更多的数据分配给辅助信道并在其上进行传输。例如，如果一个数据块的“等级”高，则这个块与“等级”较低的块相比，可将更多的数据分配给辅助信道并在其上进行传输。
图5是示出用于确定WyZER编码器将使用的信源码本的划分的最大数量的实施例的流程图。流程从方框502开始，其中，确定相关噪声估计。例如，对于表示数据块的预测比特流被成功地从预测编码器传送至预测解码器的情况，可以确定变换系数的相关噪声。即使该块被成功地传送，所解码的块也可能由于先前块中的差错而具有差错。流程继续进行到方框504，其中，确定用于表示数据块的信源码本的划分数量。信源码本的划分数量也称为陪集。
在一个实施例中，可通过无线辅助信道通信在WyZER流的头部中将陪集数量传送至WyZER解码器。
本领域技术人员将会了解到，可使用多种不同技术中的任何技术来表示信息和信号。例如，可在上述描述中引用的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或者粒子、光场或者粒子或者任何其它组合进行表示。
本领域技术人员将会进一步了解到，结合本文所公开实施例描述的各个示意性逻辑块、模块、电路和算法步骤可实现为电子硬件、计算机软件或者两者的组合。为了清晰地说明硬件和软件的可互换性，在上面已经在功能方面对多个示意性组件、方框、模块、电路和步骤进行了描述。所述功能实现为硬件还是软件取决于特定应用以及对整个系统的设计限制。对于每个特定的应用，熟练的技术人员可以用多种方式实现所述功能，但是这些实现方式不应当被认为脱离了本发明的范围。
结合本文所公开实施例描述的多个示意性逻辑方框、模块和电路可由通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件或者设计用于执行本文所述功能的任何组合。通用处理器可以是微处理器，或者可选地，处理器可以是任何传统的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP核心的组合或者任何其它这种配置。
结合本文所公开实施例描述的方法或算法的步骤可直接实现在硬件、由处理器运行的软件模块或者这两者的组合中。软件模块可位于RAM存储器、闪存存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动硬盘、CD-ROM或者本领域中公知的任何其它形式的存储介质中。示例性存储器介质与处理器相连，使得处理器可以从存储器介质读取信息以及向其中写入信息。可选地，存储器介质可以与处理器集成在一起。处理器和存储器介质可位于ASIC中。ASIC可位于用户终端中。可选地，处理器和存储器介质可作为离散组件而位于用户终端中。
提供对所公开实施例的前述描述，以使本领域技术人员能够实现或者使用本发明。本领域技术人员将会了解到对这些实施例的各种修改，并且，在不脱离本发明的精神或范围的前提下，本文定义的一般原理可应用于其它实施例。从而，本发明并不旨在限制于本文所示的实施例，而应给予与本文所公开的原理和新颖特性相一致的的最宽范围。
权利要求
1.一种无线通信设备，包括预测编码器，配置为接收输入信号，根据预测编码标准对所述信号进行编码，以及输出预测编码比特流；辅助信道编码器，配置为接收所述输入信号，根据辅助信道编码标准对所述信号进行编码，以及输出辅助信道编码比特流。
2.根据权利要求1所述的无线通信设备，其中，所述预测编码比特流在主通信信道上进行发射。
3.根据权利要求1所述的无线通信设备，其中，所述辅助信道编码比特流在辅助信道通信信道上进行发射。
4.根据权利要求1所述的无线通信设备，其中，所述预测编码标准是与MPEG-4标准兼容的标准。
5.根据权利要求1所述的无线通信设备，其中，所述预测编码标准是与H.26x标准兼容的标准。
6.根据权利要求1所述的无线通信设备，其中，所述辅助信道编码标准是与Wyner Ziv技术兼容的标准。
7.根据权利要求1所述的无线通信设备，其中，所述输入信号是视频信号。
8.根据权利要求1所述的无线通信设备，其中，所述输入信号包括帧内编码数据块以及帧间编码数据块。
9.根据权利要求8所述的无线通信设备，其中，Wyner Ziv技术应用于所述帧间编码数据块。
10.根据权利要求1所述的无线通信设备，其中，所述辅助信道编码器将使用预定数量的陪集对所述输入信号进行编码。
11.根据权利要求10所述的无线通信设备，其中，所述预定陪集的数量包括在所述辅助信道编码比特流的头部中。
12.一种无线通信设备，包括预测解码器，配置为接收原始信号的比特流表示，根据预测解码标准对所述比特流进行解码，以及输出重构信号；辅助信道解码器，配置为接收所述原始信号的比特流表示和所述重构信号，根据辅助信道解码标准对所述比特流进行解码，以及对所解码的辅助信道比特流和所述重构信号进行合并以生成和输出对所述原始信号的最终重构。
13.根据权利要求12所述的无线通信设备，其中，由所述预测解码器解码的所述比特流在主通信信道上进行接收。
14.根据权利要求12所述的无线通信设备，其中，由所述辅助信道解码器解码的所述比特流在辅助信道通信信道上进行接收。
15.根据权利要求12所述的无线通信设备，其中，所述预测解码标准是与MPEG-4标准兼容的标准。
16.根据权利要求12所述的无线通信设备，其中，所述预测解码标准是与H.26x标准兼容的标准。
17.根据权利要求12所述的无线通信设备，其中，所述辅助信道解码标准是与Wyner Ziv技术兼容的标准。
18.根据权利要求12所述的无线通信设备，其中，所述原始信号是视频信号。
19.根据权利要求12所述的无线通信设备，其中，所述原始信号包括帧内编码数据块以及帧间编码数据块。
20.根据权利要求19所述的无线通信设备，其中，Wyner-Ziv技术应用于所述帧间编码数据块。
21.根据权利要求12所述的无线通信设备，其中，所述辅助信道解码器将使用预定数量的陪集对所述辅助信道比特流进行解码。
22.根据权利要求21所述的无线通信设备，其中，所述预定陪集的数量包括在所述辅助信道编码比特流的头部中。
23.一种无线通信设备，包括编码器，包括预测编码器，配置为接收输入信号，根据预测编码标准对所述信号进行编码，以及输出预测编码比特流；辅助信道编码器，配置为接收所述输入信号，根据辅助信道编码标准对所述信号进行编码，以及输出辅助信道编码比特流，解码器，包括预测解码器，配置为接收比特流，根据预测解码标准对所述比特流进行解码，以及输出重构信号；以及辅助信道解码器，配置为接收比特流和所述重构信号，根据辅助信道解码标准对所述比特流进行解码，以及对所解码的比特流和所述重构信号进行合并以生成和输出对原始信号的最终重构。
24.根据权利要求23所述的无线通信设备，其中，所述预测解码标准是与MPEG-4标准兼容的标准。
25.根据权利要求23所述的无线通信设备，其中，所述预测解码标准是与H.26x标准兼容的标准。
26.根据权利要求23所述的无线通信设备，其中，所述辅助信道解码标准是与Wyner Ziv技术兼容的标准。
27.根据权利要求23所述的无线通信设备，其中，所述输入信号是视频信号。
28.根据权利要求23所述的无线通信设备，其中，所述无线通信设备是手机。
29.根据权利要求23所述的无线通信设备，其中，所述无线设备是无线基础设施的一部分。
30.一种无线通信系统，包括第一无线设备，包括预测编码器，配置为接收输入信号，根据预测编码标准对所述信号进行编码，以及输出对所述输入信号的预测编码比特流表示；辅助信道编码器，配置为接收所述输入信号，根据辅助信道编码标准对所述信号进行编码，以及输出对所述输入信号的辅助信道编码比特流表示，第二无线设备，包括预测解码器，配置为接收所述预测编码器输出的所述比特流，根据预测解码标准对所述比特流进行解码，以及输出对所述输入信号的重构；以及辅助信道解码器，配置为接收所述辅助信道编码器输出的所述比特流，根据辅助信道解码标准对所述比特流进行解码，以及对所解码的辅助信道比特流和所述重构信号进行合并，以生成和输出对所述输入信号的最终重构。
31.根据权利要求30所述的无线通信系统，其中，所述预测解码标准是与MPEG-4标准兼容的标准。
32.根据权利要求30所述的无线通信系统，其中，所述预测解码标准是与H.26x标准兼容的标准。
33.根据权利要求30所述的无线通信系统，其中，所述辅助信道解码标准是与Wyner Ziv技术兼容的标准。
34.根据权利要求30所述的无线通信系统，其中，所述第一无线通信设备是手机。
35.根据权利要求30所述的无线通信系统，其中，所述第一无线设备是无线通信基础设施设备的一部分。
36.根据权利要求30所述的无线通信系统，其中，所述第二无线通信设备是手机。
37.根据权利要求30所述的无线通信系统，其中，所述第二无线设备是无线通信基础设施设备的一部分。
38.一种对数据进行编码的方法，该方法包括接收输入信号；根据预测编码标准对所述信号进行编码，并且输出预测编码比特流；以及根据辅助信道编码标准对所述信号进行编码，并且输出辅助信道编码比特流。
39.根据权利要求38所述的编码方法，其中，所述预测编码标准是与MPEG-4标准兼容的标准。
40.根据权利要求38所述的编码方法，其中，所述预测编码标准是与H.26x标准兼容的标准。
41.根据权利要求38所述的编码方法，其中，所述辅助信道编码标准是与Wyner Ziv技术兼容的标准。
42.根据权利要求38所述的编码方法，其中，所述输入信号是视频信号。
43.根据权利要求38所述的编码方法，其中，所述输入信号包括帧内编码数据块以及帧间编码数据块。
44.根据权利要求43所述的编码方法，其中，Wyner Ziv技术应用于所述帧间编码数据块。
45.根据权利要求38所述的编码方法，其中，所述辅助信道编码器将使用预定数量的陪集对所述输入信号进行编码。
46.根据权利要求45所述的编码方法，其中，所述预定陪集的数量包括在所述辅助信道编码比特流的头部中。
47.一种对数据进行解码的方法，该方法包括接收对原始信号的预测编码比特流表示；根据预测解码标准对所述预测编码比特流进行解码，并且输出重构信号；接收对所述原始信号的辅助信道编码比特流表示和所述重构信号；以及根据辅助信道编码标准对所述辅助信道编码比特流进行解码，并且对所解码的辅助信道比特流和所述重构信号进行合并以生成和输出对所述原始信号的最终重构。
48.根据权利要求47所述的解码方法，其中，所述预测解码标准是与MPEG-4标准兼容的标准。
49.根据权利要求47所述的解码方法，其中，所述预测解码标准是与H.26x标准兼容的标准。
50.根据权利要求47所述的解码方法，其中，所述辅助信道解码标准是与Wyner Ziv技术兼容的标准。
51.根据权利要求47所述的解码方法，其中，所述原始信号是视频信号。
52.根据权利要求47所述的解码方法，其中，所述原始信号包括帧内编码数据块以及帧间编码数据块。
53.根据权利要求52所述的解码方法，其中，Wyner Ziv技术应用于所述帧间编码数据块。
54.根据权利要求47所述的解码方法，其中，所述辅助信道解码器将使用预定数量的陪集对所述辅助信道比特流进行解码。
55.根据权利要求54所述的解码方法，其中，所述预定陪集的数量包括在所述辅助信道编码比特流的头部中。
56.一种用于确定对于辅助信道编码器的帧内比特分配的方法，该方法包括检查整个数据帧；确定所述数据帧内的哪些数据块需要保护；以及基于所述需要保护的数据块，确定在所述帧内将分配给辅助信道并由辅助信道发射的数据量。
57.一种用于确定信源码本的划分的方法，该方法包括确定相关噪声估计；以及基于所述相关噪声估计的估计，确定信源码本的划分数量。
58.一种计算机可读介质，其实现对数据进行编码的方法，该方法包括接收输入信号；根据预测编码标准对所述信号进行编码，并且输出预测编码比特流；以及根据辅助信道编码标准对所述信号进行编码，并且输出辅助信道编码比特流。
59.一种计算机可读介质，其实现对数据进行解码的方法，该方法包括接收对原始信号的第一比特流表示；根据预测解码标准对所述第一比特流进行解码，并且输出重构信号；接收对所述原始信号的第二比特流表示和所述重构信号；以及根据辅助信道解码标准对所述第二比特流进行解码，并且对所述辅助信道解码比特流和所述重构信号进行合并以生成和输出对所述原始信号的最终重构。
60.根据权利要求59所述的方法，其中，根据预测编码标准对所述第一比特流进行编码。
61.根据权利要求59所述的方法，其中，根据辅助信道编码标准对所述第二比特流进行编码。
62.一种无线通信设备，包括用于接收输入信号的装置；用于根据预测编码标准对所述信号进行编码并且输出预测编码比特流的装置；以及用于根据辅助信道编码标准对所述信号进行编码并且输出辅助信道编码比特流的装置。
63.一种无线通信设备，包括用于接收对原始信号的第一比特流表示的装置；用于根据预测解码标准对所述比特流进行解码并且输出重构信号的装置；用于接收对所述原始信号的第二比特流表示和所述重构信号的装置；以及用于根据辅助信道编码标准对所述第二比特流进行解码，并且对所述辅助信道解码比特流和所述重构信号进行合并以生成和输出对所述原始信号的最终重构的装置。
全文摘要
一种用于提供分布式信源编码技术的方法、设备和系统，其在发生信道差错或者丢失时改善数据编码性能，例如视频数据编码。通过发送附加信息来消除或者减少数据重构中的差错。预测序列和原始序列之间的相关性可以用于设计码本，以及用于找到表示原始图像所需的陪集。所述信息可在另一个信道或者辅助信道上进行发送。
文档编号H03M13/00GK1993996SQ200580026008
公开日2007年7月4日 申请日期2005年5月31日 优先权日2004年6月1日
发明者哈利纳特·加鲁达德里, 纳韦恩·B·斯里尼瓦桑莫特, 赫金·钟, 卡纳安·拉马钱德兰, 阿比希克·马宗达 申请人:高通股份有限公司