用于从突发错误效应中恢复的多栅格化视频的时移传输的制作方法

专利名称：用于从突发错误效应中恢复的多栅格化视频的时移传输的制作方法
用于从突发错误效应中恢复的多栅格化视频的时移传输相关申请的交叉引用本申请要求享有于2008年6月17日申请的名称为“用于从突发错误效应恢复的 多栅格化视频的时移传输”的第12/141015号美国实用新型专利的优先权，该申请的全部内 容在此通过引用并入。
背景技术：
本发明总体上涉及数字网络中的数据传输，更具体地，涉及改进通过数字网络的 数字视频传输中的错误检测、纠正和/或隐藏。通过数字网络的视频流传输包括几个方面，例如用于各种类型的通信网络和系统 的视频压缩、纠错和数据丢失隐藏。这样的应用通常需要以最小的数据丢失或感知数据丢 失辅助数据传输的鲁棒系统和方法。最小化数据丢失或感知数据丢失的系统在诸如使用分 组交换网络的视频广播应用中尤为重要，如大的突发错误普遍的互联网。分组交换互联网 协议(IP)网络中的突发错误可以由各种机构导致，包括通过IP网络传输的不同数据分组 的IP路由时间的差异。遗憾的是，用于以最小的数据丢失或感知数据丢失辅助鲁棒数据传 输的传统系统和方法在不要求过大的网络带宽和存储器的情况下，通常不能应对相对大量 的数据丢失。


图1是根据一个实施例的采用视频分块(partition)、时移以及前向纠错(FEC)的 通信系统的框图。图2是示出了由图1的系统对视频帧进行第一示例性分块的示图。图3a是显示了时移视频流的并行传输和一个示例性数据丢失间隔的第一示例性 时序图，其中每个流对应一个由图1的示例性通信系统所处理的视频信号的一个分块或栅 格。图北是显示了来自对应于图3a的视频段(U)的一组视频帧的视频数据的示例 性发送定时的第二示例性时序图。图4是示出了针对第一视频段(tl)的图3a的数据丢失间隔的一个示例性数据丢 失模式的图2的示例性视频帧的示图。图5示出了根据图2所示的视频分块进行分块的第二示例性视频帧，并且显示了 针对第二视频段(^)的图3a的视频丢失间隔的一个示例性数据丢失模式。图6示出了根据图2所示的视频分块进行分块的第三示例性视频帧，并且显示了 针对第三视频段(U)的图3a的视频丢失间隔的一个示例性数据丢失模式。图7示出了由图1的系统进行的第二示例性视频帧分块。图8示出了针对第一视频段的图3a的数据丢失间隔的一个示例性数据丢失模式 的图7的示例性视频帧。图9示出了根据图7所示的视频分块进行分块的示例性视频帧，并且显示了针对第二视频段的图3a的视频丢失间隔的一个示例性数据丢失模式。图10示出了根据图7所示的视频分块进行分块的示例性视频帧，并且显示了针对 第三视频段的图3a的视频丢失间隔的一个示例性数据丢失模式。图11示出了由图1的系统进行的第三示例性视频分块。图12是显示了时移视频流的并行传输和一个示例性的数据丢失间隔的第三示例 性时序图，其中每个流对应一个由图1的示例性通信系统所处理的视频信号的一个分块或 栅格。图13示出了根据图11所示的视频分块进行分块的示例性视频帧，并且显示了针 对第一视频段(tl)的图12的视频丢失间隔的一个示例性数据丢失模式。图14示出了根据图11所示的视频分块进行分块的示例性视频帧，并且显示了针 对第二视频段(O的图12的视频丢失间隔的一个示例性数据丢失模式。图15示出了针对第三视频段(U)的图12的数据丢失间隔的一个示例性数据丢 失模式的图11的示例性视频帧。图16是适用于图1的通信系统的第一示例性方法的流程图。图17是适用于图1的通信系统的第二示例性方法的流程图。
具体实施方式
描述鍵本发明的一个实施例利用多个矩阵来映射视频信号的一帧。出于当前讨论的目 的，一个矩阵可以是任意像素或与其关联的数据的分组。一个像素可以包括与一个数据点 相关联的一个或多个值，其中数据点可以是视频帧的最小可显示元素或部分。数据帧可以 是用于辅助建立一个图像或其表示的任何数据集合。每个矩阵可以含有少量像素，如n，以η = 4为例，矩阵中有4个像素。注意在具体 实施例中η = ρ，其中ρ表示作为结果的流的数量，以下作更充分的讨论。因而，形成相应 的η个流并且这些流通过网络或信道以时间偏斜和/或时间交织的方式来发送，以下作更 充分的讨论。在一个具体实施例中公开了一种处理和发送视觉信息的装置。视觉信息可以是来 自信源的任何信息，例如来自照相机，从胶卷扫描，或合成地创建生成以形成一个图像或其 中一部分。术语“视觉信息”和“图像数据”在此可互换使用。在具体实施例中，该装置包 括一个将多个矩阵映射到一个视频帧的第一机构。当来自一个视频帧的特定视频数据集合 或组(例如对应于像素的视频数据)被关联或指派到一个矩阵时，则称该矩阵被映射到该 视频帧。第二机构指派每个矩阵的η个像素到输入视频信号的η个对应的抽取版本。视频 信号的抽取版本可以是表示来自原始或输入视频信号的视频数据子集的视频信号的任何 版本。输入视频信号的抽取版本在此处也被称为视频分块，栅格化版本，输入视频信号的栅 格，或二次采样版本。输入视频信号的抽取版本的帧也被称为栅格化帧，二次采样帧、抽取 帧或帧分块。总之，术语“栅格”可以描述视频信号的分块，其中视频信号的每个栅格可以 包括与视频信号帧中像素位置的特定集合相对应的像素信息。像素位置的特定集合被称为 采样区域。注意，视频抽取、二次采样、分块或栅格化可能会将混叠引入到视频信号中，混叠可通过一个或多个滤波操作例如抗混叠滤波器来移除。第三机构根据第一相对时序提供了来自η个抽取视频信号的η个流。η个抽取视 频信号中的每一个抽取视频信号与输入视频信号的各自的栅格、分块、抽取版本或二次采 样版本相对应。出于当前讨论的目的，流可以是任何连续发送或接收的数据，例如但不限 于，根据视频压缩规格如运动图像专家组(MPEG)-4标准第10部分的语法和语义按照发送 顺序的视频信号的压缩视频帧。时序可以规定出现在第一视频流中(例如标为Sl的流，以 下作更充分的讨论)的视频信号的第一版本的一个或多个段(例如标为tl的段，以下作更 充分的讨论)和出现在第二视频流中(例如标为S2的流，以下作更充分的讨论)的视频信 号的第二版本的一个或多个对应的段(例如标为tl的段)之间的时间关系。注意，出于本 发明讨论的目的，视频信号可以被分块、抽取、二次采样或栅格化成为多个版本，该多个版 本可以是被处理或压缩成多个对应的流，该多个流可以被选择性地称为数字视频信号或视 频信号。进而，多个流的每一个也可被称为视频信号。第四机构执行了将第一相对时序变为与第一相对时序不同的第二相对时序的指 令。第二相对时序被认为是第一相对时序的时间偏斜和/或时间交织版本。例如，特征在 于第一时序的第一流集合可包括第一时序或时间关系的各个段。相应的具有第二时序的第 二流集合可以包括第一流集合的各个段，其中各个段处于不同的时间关系，使得这些段的 顺序被偏斜或分离不同时间间隔，而不是各个段在第一流集合中那样的顺序。一种示例性方法包括接收具有一个或多个视频帧的视频信号；将视频信号的一个 或多个视频帧的每一个分块为多个抽取帧；然后将多个抽取帧的各个序列分离或处理为一 个或多个可识别视频流。所述一个或多个可识别视频流中的每一个可被分段为连续段，其 中每个连续段包括一个或多个连续压缩视频帧。在本实施例的方法中，每个压缩视频帧与η 个抽取视频帧相关联，其中η表示矩阵(即，像素的具体分组)的像素数目，矩阵被连续映 射到非抽取视频帧上。一个或多个可识别视频流中每一个的段都相对于一个或多个其他可 识别视频流的对应段被有策略地时移。时移或偏斜发生在发送前以辅助纠错和/或错误隐 藏，以下作更充分的讨论。一个或多个可识别视频流的传输导致了多栅格化视频的时移传 输。示例实施例一个更为具体的实施例实现了一种用于将视频信号分离为多个可识别栅格的装 置，多个可识别栅格也被称作错误隐藏分块、抽取版本或二次采样版本。这样的栅格不会与 可伸缩视频编码方法的分层相混淆。这些栅格的每一个被关联于或“指派”来自视频信号 每一帧中的对应像素位置集合(也称“采样区域”)的像素数据。每个栅格包括来自于视频 帧的特定抽取版本的像素信息，并且视频帧的给定抽取版本被包括在视频信号的特定栅格 中。提供了不同抽取视频帧的采样像素位置的每个集合被认为形成给定视频帧中的一个像 素栅格，像素的栅格也被称为栅格化帧或子帧。给定视频信号的视频帧的多个栅格化帧确 定了可以作为分离的流被处理和发送的各个抽取视频帧序列。每个单独的抽取视频帧序列 被称为原始或输入视频信号的一个栅格，并且被压缩和分段成连续视频段，并进行前向纠 错(FEC)处理，以下作更充分的讨论。输入视频信号的每个单独抽取视频帧序列是视频信 号的各自独立表示。每个各自表示的图片可被进行独立于输入视频信号的其他表示的处理 或压缩。因此，视频信号的每个表示各自是视频信号的独立表示，因为其可被进行独立于视频信号的其他保留表示的处理或压缩。每个作为结果的子视频流(例如压缩格式的视频信 号的抽取版本)可被进行独立于其他子视频流的处理或解压缩。流的每个段或视频信号的每个段可以包括一个或多个按发送顺序的连续视频帧。 所述连续视频帧可以是压缩视频帧。压缩视频帧可以是应用了压缩算法或其他操作以减少 用于表示视频帧的比特数量的任何帧。给定视频流中的每个连续视频帧对应于源自原始或 输入视频信号帧的各个抽取视频帧。如果不同流中的视频帧是源自原始或输入视频信号中 相同视频帧的各个抽取版本或表示，则它们被认为是互相对应的。单独流中的对应段，如下所述，可以互相相对有时移，从而在给定时间间隔期间的 数据丢失将不会损坏与输入视频信号的给定帧相关联的全部抽取视频帧。因此帧的丢失或 受损部分，比如压缩的帧，可在接收端通过各种机构隐藏，这些机构包括线性或非线性插值 或帧增线(upscaling)，以下作更充分的讨论。因此，本实施例结合了纠错和错误隐藏以辅 助有损信道或网络比如互联网协议(IP)分组交换网络中的视频的弹性鲁棒传输。此处讨 论的某些实施例可能在涉及经由分组交换网络的广播视频也被称为过顶(over-the-top) 视频传输的应用中尤为有用。注意，可以将FEC技术应用到将通过网络被发送的给定数据流中。对数据流应用 FEC涉及将冗余数据叠加到数据流上从而在发生某些类型的数据丢失时减少或消除重新发 送数据的需要。冗余数据有利于在发生数据丢失时接收器重建数据流。由于噪声、不同IP 路由收敛时间，无线网络中的瑞利衰落等，数据可能被丢失。对数据流应用FEC也可以包括 使用冗余数据对数据流中的丢失数据或其他错误的纠正。然而，由于很多通信系统的过大开销和带宽限制，某些传统FEC系统经常没有对 大的丢失作出纠正或适当补偿，如超过500毫秒的突发相关丢失。这会导致例如被传输视 频的不合需要的空白帧以及作为结果的被显示视频信号中相应的黑屏。这样的问题可由此 处讨论的某些实施例来解决。为了清楚显示，各个公知的元件，例如视频放大器、网络卡、路由器、互联网服务提 供商(ISI^s)、互联网协议安全性(IPSEC)集中器、媒体网关(MGWs)、滤波器、复用器或解复 用器、传输流等，已从图中被省略掉。然而，本领域技术人员受到当前的教导将知道使用哪 些元件以及如何使用它们以满足给定应用的需要。出于当前讨论的目的，电子传输数据可以是经由电磁能量从第一位置被通信到 第二位置的任何数据。电子传输数据的例子包括经由互联网协议(IP)在分组交换网络 中传输的数据，经由电路交换网络传输的数据如公共交换电话网络(PSTN)，以及使用无线 协议无线传输的数据如码分多址(CDMA)、高级移动电话服务(AMPS)、WiFi (无线保真)、 WiMAX(全球微波接入互操作性)及蓝牙协议。图1是根据一个实施例的使用视频分块、时移以及前向纠错(FEC)的通信系统10 的框图。通信系统10包括与第一接收器14和第二接收器30进行通信的发送器12。出于 当前讨论的目的，通信系统可以是包含互相通信或适用于互相通信的一个或多个组件的任 何装置或装置的集合。发送器12包括一个耦接到视频时移模块18的视频分块模块16。视频时移模块 18耦接到视频编码器20。虽然视频时移模块18被显示先于视频压缩模块22，但是其他实 施例可以在处理路径的不同节点中实现时移功能。例如，可替换实施例可以在视频压缩模块22的输出设置视频时移模块18。其他设置也是可以的。视频编码器20包括视频压缩 模块22，该视频压缩模块22耦接到包含FEC模块沈的发送链M。在一个实施例中，发送 器12包括视频分块模块16的滤波能力。这样的滤波能力可以包括线性、非线性或抗混叠 滤波能力。如果第一和第二抽取视频帧源自输入视频信号的同一个帧，则认为第一抽取视频 帧对应于第二抽取视频帧。也就是说，视频分块模块16从输入视频信号的同一个帧产生了 第一和第二抽取帧，因此，出于显示或输出的目的，两个抽取帧在时间上对应于相同情况或 时间间隔。同样地，多个对应的抽取视频帧是指源自输入视频信号的同一个帧并且出于显 示或输出的目的在时间上对应于相同情况或相同时间间隔的多个抽取视频帧。如果第一视频流中的压缩视频帧和第二视频流中的压缩视频帧在被压缩之前都 是对应的抽取帧(即，都源自输入视频信号的同一个帧)，则可以认为第一视频流中的压缩 视频帧对应于第二视频流中的压缩视频帧。同样地，如果多个视频流中的每一个都源自输 入视频信号的同一个帧，则可以认为这多个视频流中的各个压缩视频帧是对应的压缩视频 帧。依据该实施例，视频的分块可以发生在它们被压缩之前或被压缩期间。依据该实施例， 帧或视频段的时移可以发生在它们压缩之前、压缩期间或压缩之后。依据该实施例，分块和 时移可以是也可以不是发生在发送器12的同一个处理模块中的。出于显示一个特定实施例的目的，令frame (k，ν)表示给定的视频流ν的按照发送 顺序的第k个巾贞，这样frame (k，1)是第一视频流中第k个视频帧；frame (k，2)是第二视频 流中对应的第k个帧；frame (k，ρ)是第ρ个视频流中对应的第k个帧。设nf (帧的数量) 为正整数，如果对于取值为1至nf的k的每个整数值，按发送顺序表示为第k个的帧都是对 应帧，则认为第一视频流的nf个连续帧的段在时间上对应于第二视频流的nf个连续帧的 段。类似地，如果各个视频流中的多个段中的两个的所有可能组对都是时间上对应的段，则 认为各个视频流中的这多个段是时间上对应的段或仅仅是对应的段。也就是说，如果(1) P个段中的每一个有相同帧数nf，并且⑵按发送顺序，对于取值为1至nf的k的每个整 数值，P个段的每一个段的第k个帧都是其他(p-1)个段中各个第k个帧的对应帧，则认为 这P个视频段是对应段。视频压缩模块22根据视频编码规范的语法和语义输出ρ个视频流的每一个中的 连续压缩视频帧。编码器20可规定传输流的使用，视频信号的多个流经由发送链M在发 送到网络32之前被复用为该传输流。视频流中的连续压缩视频的发送顺序可以等于也可 以不等于这些帧的显示或输出顺序。例如，在某些应用中，可能要求在具有更早显示或输出 时间的帧之前发送未来参考帧，但这取决于该未来参考帧用于其重建的解码版本。视频压 缩模块22作用于ρ个抽取视频信号的压缩，从而对应的ρ个视频流的每一个中的连续压缩 视频帧的相对发送顺序都是相同的。然而，在本实施例中，虽然所述P个视频流的每一个中 的帧的相对发送顺序都是相同的，但是，如下面解释的，P个对应视频段的每个集合根据第 二相对时序被发送，第二相对时序是第一相对时序的偏斜或时移版本。发送器12经由网络32耦接到第一接收器14和第二接收器30。网络32可以是互 联网、无线网络或其他类型的网络或通信信道。虽然此处描述了多个接收器或解码器，但是 其他实施例可使用用于一个或多个视频流的单个解码器或接收器。第一接收器14包括第一解码器34，第一解码器34耦接到第一视频解分块模块42，第一视频解分块模块42耦接到第一丢失隐藏及延迟补偿模块(LCALCM1)44。第一解码 器34包括含有第一逆FEC模块38的第一接收链36。第一接收链36耦接到第一解码器34 中的第一视频解压缩模块40。第一解码器34耦接到第一视频解分块模块42，第一视频解 分块模块42耦接到第一丢失隐藏及延迟补偿模块44。第二接收器30类似于第一接收器 14，除了 第二接收器30适用于订阅第一接收器14订阅的视频流子集，以及可以包括没有 包括在第一接收器14中的某些滤波能力，如帧增线(upscaling)能力，或者额外或不同的 帧增线能力。出于当前讨论的目的，视频流可以是视频数据任何连续发送的部分，例如而不限 于，按发送顺序的视频流的压缩视频帧，发送顺序根据视频压缩规范的语法和语义。一个示 例性的视频流包括一系列连续发送的视频分组。一个视频帧的发送可能需要多个视频分组 的发送。在一个实施例中，多个单独的视频流被复用成为单个传输流，再在单个发送信道 上发送。传输流中提供附加信息以识别视频流。附加信息可包括指示压缩视频帧分块的解 码版本如何被组装成用于显示或输出的更大的帧的信息。附加信息也可以包括指示栅格化 帧的相对时序和传输流中对应段的信息，以下作更充分的讨论。在可替换的实施例中，视频流包括多个子视频流，这多个子视频流例如通过以下 方式被打包和适当地复用到该视频流中例如通过将携带压缩格式的对应栅格的视频分组 散布到视频流中来经由子视频流执行多个抽取视频帧(即，栅格化帧)的并行或同时发送。 在本实施例中，每个子视频流对应输入视频信号的各个分块。视频流中的附加信息提供了 传达栅格的空间关系和压缩视频段或压缩视频帧分块的相对时序的标识信息。出于当前讨 论的目的，视频流中的视频段和/或帧(或子帧)的相对时序可规定视频流中每一组对应 视频段和/或每个对应帧的起始、终止或完成的实际顺序，并且还可以规定视频流中每个 视频段和/或视频流中每个帧的起始、终止或完成之间的时间间隔。当压缩帧的序列通过 信道被发送时，被发送的帧的相对顺序可被称为相对时间发送顺序、相对发送顺序或相对 时间顺序。视频段或帧的相对时间顺序被认为是相对的，因为它们互相之间以时间间隔或 以输入视频信号连续帧的间隔被排序和定位以用于发送。被并行发送的多个视频流不必通过公共发送信道被同时发送或复用。在另一个实 施例中，分别对应于视频分块的多个视频流利用适当的同步供应和标识信息在第一位置和 第二位置之间的两个不同的发送信道上被并行地发送。这样的信道被称为并行信道。第二接收器30包括第二接收链46，第二接收链46包括第二逆FEC模块48。第 二解码器56包括第二逆FEC模块48和第二视频解压缩模块50。第二解码器56被耦接到 第二视频解分块模块52。第二视频解分块模块52被耦接到第二视频隐藏及延迟补偿模块 (LCALC2)540丢失隐藏及延迟补偿模块4454是错误隐藏模块。出于当前讨论的目的，错误隐 藏模块可以是适用于掩饰视频流损坏的任何实体，如省略数据、丢失数据、受损数据或尚未 被接收器接收到的数据，或发生在视频流发送或接收中的其他错误。此处，损坏是指省略数 据、丢失数据、受损数据、或尚未被接收器接收到的数据，或发生在视频流发送或接收中的 其他错误。LCALCl 44和LCALC2 54包括滤波能力，例如实现解码视频帧的增线的线性、非线性或抗混叠滤波能力。LCALC 1 44和LCALC 2 M的滤波能力可补偿丢失数据、受损数据或 未接收的数据。例如，滤波能力可以被用来增线第一视频流的解码帧的至少一部分以隐藏 第二视频流的对应帧的损坏。用于当前讨论的目的，当导出或复制数据以补偿数据的损坏 时，则说数据被增线。可以利用LCALC 1 44或LCALC 2 M的滤波能力来增线frame (k，1)解码版本 的至少一个部分，其在空间上对应于frame(k，2)受损部分。解码的frame (k，1)的增线 (upscaled)版本中产生的像素值中的一些或可能全部被用于补偿frame (k，2)解码版本的 至少一个受损部分的对应像素，或整个frame (kj)如果frame (kj)完全地被损坏了或不 可解码的话。在一个实施例中，当frame(k，2)被损坏了，单个的解码未受损帧，例如frame(k， 1)，在LCALC 1 44或LCALC 2 54中被增线以补偿frame (k，2)中相应的一个或多个空间对 应受损部分。可替换地或另外地，当frame (kd)显示了一个或多个部分帧的损坏，单个解 码未受损帧，例如frame (k，1)，的一个或多个部分在LCALC 1 44或LCALC 2 54中被增线以 补偿frame (k，2)中各个空间上对应的未受损部分。在另一个实施例中，ρ个视频流和标识信息在第一接收器14被接收。LCALCl 44 的滤波能力被用于增线(P-I)个对应的未受损帧的解码版本以补偿第Ρ个视频流的对应帧 中的一个或多个损坏。用于当前讨论的目的，P个接收的视频流的每个中各自第k个帧被 认为是对应的视频帧。P个对应的第k个视频帧的相对时序由第一接收器14从接收的标识 信息即附加信息来确定，该标识信息被包括在传输流中。P个对应的第k个帧的相对时序可 由第一接收器14从接收的用于识别ρ个对应的视频段的相对时序的标识信息来确定。对 应的P个视频帧由第一解码器36根据它们的相对时序来解码。ρ个对应的第k个视频帧的 解码版本的空间关系也由第一接收器14从相同的接收到的标识信息来确定。在一个可替换的实施例中，ρ个对应的第k个视频帧的解码版本的空间关系由第 一接收器14从不同于上述的接收的标识信息的额外的或不同的附加信息来确定。具有与 发送器12的输入视频信号相同的空间分辨率的合成或组合视频帧由第一视频解分块模块 42根据从标识信息或额外的或不同的附加信息确定的空间关系来形成。(p-1)个对应的解 码帧中的一个或多个在LCALCl 44中被单独增线以补偿第ρ个视频流的第k个帧中的一个 或多个损坏。类似地，当两个不同的接收视频流中两个对应的帧显示出损坏，单独地增线 (P-2)个对应的解码帧的一个或多个以对损坏进行补偿。第二个接收器30可进行类似第一 接收器14的操作，除了第二接收器30接收或订阅少于ρ个视频流以外，以下作更充分的讨 论。注意，图1示出的模块之间的各个耦接和模块的成组是出于显示的目的。在不背 离当前教导的范围的情况下，本领域技术人员可采用不同的耦接和成组。例如，编码器20 可包括视频分块模块16和时间时移模块18。另外，FEC模块沈可以被包括在视频压缩模 块22之前和/或之后，也可以被认为是编码器20的一部分。图1中的各个模块的确切耦 接和顺序是应用特定的，可以由本领域技术人员在不必过度实验的情况下容易地改变以满 足给定应用的需要。在一个实施例中，第一接收器14和第二接收器30被设置在一个能够接收和处理 两个视频传输流的物理接收器之中，其中每个传输流同时包括多个子视频流。在这个实施例中，第一接收器14和第二接收器30中的一个或多个相似或相同功能的模块可由相同或 共同的物理处理装置来实现。在操作中，视频分块模块I6接收视频信号作为输入。在本实施例中，输入视频信 号是数字化的未压缩的视频信号，该视频信号作为数字化图片或视频帧的序列按其时间显 示或输出顺序并且根据数字视频或视频接口规范而被摄取。数字视频或视频接口规范可以 规定像素时钟、图片格式、每秒图片的数量、像素格式、和/或视频帧像素的扫描或序列顺 序，或其他属性和值的使用。输入视频的扫描格式可以对应于逐行扫描或隔行扫描视频信 号。作为结果的摄取的视频信号被认为包括或表示视频数据。确切的图片格式、每秒图片 的数量、像素格式和接收的视频数据的扫描格式可以是应用特定的特定的。不同类型的视 频格式可以用于不同的应用。出于当前讨论的目的，视频数据可以是包含视频信号的任何数据。视频信号可以 是能够被显示的一个或多个图片或图像数据的任何序列。图像数据可以是从照相机生成 的、从胶卷扫描的、或为了形成图像或图像的一部分而合成地产生的任何信息。图像可以 是任何事物的视觉表示。视频帧可以是用于辅助构造图像或表示图像的图像数据的任何 集合。数据的集合可以包括信息的多个像素，其中像素可以包括与一个数据点关联的一个 或多个值，数据点可以是视频帧的最小可显示元素或部分。术语“图片”、“帧”、“视频帧”和 “图像帧”在这里可互换使用。视频分块模块例如模块16，可以是任何硬件和/或软件装置、装置的集合，或适用 于识别、分离或标记视频信号的不同栅格即分块的其他实体。视频分块模块16包括电路和 指令，可以包括一个或多个软件和/或硬件程序以用于选择性地将输入视频信号的输入帧 栅格化，从而将输入视频信号的输入帧分离成不同的抽取帧，称为栅格化帧。在图1的具体 实施例中，视频分块模块16对每个输入帧进行采样以获取更小的栅格化帧。栅格化帧包括 来自特定采样区域的像素信息，特定采样区域表示像素的预定空间位置的集合，其中像素 是从每个输入帧的矩阵中选择的。每个帧的像素被分组成为矩阵。在一个示例实施例中，帧的矩阵包括相邻或连续 像素的4X4的不重叠组。帧像素对矩阵的指派被认为是一个帧上不重叠连续矩阵的二维 映射。在另一个实施例中，视频信号中的视频数据的每个帧被分成ρ (以4为例)个采样 区域或分块，其中P个采样区域的每一个对应于视频分块模块16输出的ρ个不同抽取视频 信号即栅格中的一个。P个分块即栅格中的每一个对应于表示采样区域的像素位置的集合。 输入帧的特定采样区域的像素位置处的实际像素(或与像素关联的值)表示栅格的像素。 单个帧的采样区域的像素表示一个栅格化帧。栅格可以包括一起表示视频信号的分块的多 个栅格化帧。在本具体实施例中，视频信号的分块或栅格通过被称作子视频流或子流的流 被传送。子流可以在一个或多个汇集的流(例如单个传输流)中通过网络32被发送，这取 决于给定实现的特定性。根据帧上的不重叠连续η像素矩阵的映射，为ρ个栅格中的每一个所选择的像素 被散布在帧上。例如，在每个矩阵的像素的数量(η)为4(n = 4)且从输入视频信号形成的 分块或流(也称为子视频流或子流)的数量(P)为4(p = 4)的一个可操作的模式中，图片 分辨率为水平方向640像素和垂直方向480像素的视频帧用320XMO网格的2X2矩阵映射，因此，视频帧被分成具有4个像素的不同组(矩阵)。每个2X2矩阵包括四个“相邻的” 或邻接的像素，邻近的含义描述如下。2X2矩阵的每个像素被指派到四个栅格即分块中的 一个，每个栅格通过四个流中的一个被传送。注意，在不背离当前教导的范围的情况下，视 频帧可以用不同于2X2像素矩阵的大小和形状的矩阵来映射。如果像素处于互相水平地或垂直地直接挨着的位置，则认为像素是与另一个像素 空间相邻的或相邻的。在一个可替换的实施例中，如果像素彼此在对角线方向挨着，也可被 认为是相邻的。例如，如果第一像素的至少一个角与第二像素的至少一个角相邻，则可以认 为两个像素是相邻的。输入视频帧上的不重叠连续矩阵映射的二维网格中的每个矩阵对应于一个采样 区域，其中该采样区域表示该矩阵的像素的位置。对应于映射的矩阵的采样区域的形状可 以是方形、矩形、直线形或多边形。在本具体实施例中，采样区域具有相对于帧的边缘的定 义的水平边缘和垂直边缘。例如，如果矩形帧是倾斜的，倾斜的帧中采样区域的边缘仍然被 认为是水平的或垂直的。两个相邻的映射的矩阵分离处于与其水平边缘或垂直边缘接壤的相邻像素。在一 个实施例中，视频帧中的每个映射的矩阵与至少一个其他映射的矩阵相邻。可替换地，视频 帧中每个映射的矩阵相邻于至少两个其他不同的映射的矩阵。可替换地，视频帧中每个映 射的矩阵水平地相邻于至少一个其他映射的矩阵并且垂直地相邻于至少一个其他映射的 矩阵。可替换地，视频帧中每个映射的内部矩阵相邻于至少四个其他不同的映射的矩阵。内 部矩阵的边界与视频帧边界的任何部分都不重合也不相邻。在一个实施例中，所有映射到帧的矩阵都有相同的形状和大小。在一个可替换的 实施例中，替换的按扫描顺序的映射的矩阵大小不同。在另一个实施例中，替换的按扫描顺 序的映射的矩阵形状不同。在又一个实施例中，按扫描顺序的可替换的矩阵大小和形状都 不同。因此，在不背离当前教导的范围的情况下，按扫描顺序的交替映射的矩阵可以具有不 同的形状和/或大小。在一个实施例中，映射到帧的矩阵不重叠。在一个可替换的实施例中，映射到帧的 矩阵重叠。因此，映射的矩阵可以在空间上重叠也可以在空间上不重叠。每个映射的矩阵包含被视频分块模块16分发到ρ个分块或栅格中的η个像素。 在一个实施例中，映射的矩阵中的像素数量等于分块数量(即η = ρ)，每个分块有相同的 像素数。也就是说，输入视频信号的P个不同抽取版本的每一个都有相同的空间帧分辨率。 在一个可替换的实施例中，P小于η，η/ρ是整数，ρ个分块有相同的空间帧分辨率。也就是 说，视频分块模块16可以从每个映射的矩阵指派(η/ρ)个像素到ρ个分块中的每一个。而在另一个实施例中，ρ小于η，η除以ρ不等于一个整数，ρ个分块中的至少一个 具有与其他抽取视频信号各自的空间帧分辨率不同的空间帧分辨率。注意，在某些实施例或实现中，视频分块模块16可以包括用于根据一个或多个预 定准则选择性地调整由视频分块模块16采用的二次采样模式或映射的矩阵的方法或指 令。例如，可选择二次采样模块以使任何数据丢失更容易基于一个或多个人类感知特性被 隐藏或掩饰。例如，人感知发生在一帧或显示屏中像素沿对角线方向的丢失的像素数据的 临时重建可能不能像感知发生在显示屏的水平方向或垂直方向的丢失的像素数据那样容 易。因此，二次采样模式可以被选择为使数据丢失在预定时间间隔内以不同于垂直行或水平行的模式发生，以下作更充分的讨论。在图1的本具体实施例中，视频分块模块16输出ρ个源自输入视频信号的单独的 抽取视频信号，输入视频信号的形式是按照输入视频信号原始帧的显示顺序的数字化未压 缩帧的序列。输出抽取视频信号被提供给时移模块18。ρ个单独的抽取视频信号被并行地(即 同时地)提供给时移模块18。时移模块18将ρ个抽取视频信号的每一个分成连续视频段， 从而每个连续段的起始和终止与P个视频信号的每一个相一致以保持时间对应段。时移模 块18根据第一相对时序输出ρ个对应段的连续集合至视频压缩模块22。在一个实施例中，每个具有ρ个对应段的连续集合的每个段的中的连续抽取帧的 数量是固定的。在可替换的实施例中，给定的抽取视频信号的两个连续视频段中的连续帧 数量nf从第一数量变为第二数量。对于其他P-I个抽取视频信号的对应段也发生了从第 一连续帧数量到第二连续帧数量的变化。注意，被时移模块18输出的ρ个并行时移抽取视频信号可从单个输入视频信号创 建而不是从由视频分块模块16输出的四个并行信号创建。例如，视频的视频分块模块16 可以可替换地输出视频数据到存储器或存储装置(不是直接输出到时移模块18)。作为结 果存储在存储器或存储装置的视频数据可以包括用于识别存储的视频数据中的视频栅格 及其段的标识信息。标识信息可进一步规定视频段中抽取帧的数量，视频段在各自的P个 抽取视频信号中的时序，并且还可以规定不同视频段之间的时间关系。发送器12的输入视频信号可以包括数字化的未压缩帧的序列，包括经由视频分 块模块16利用包含η个像素的不重叠连续矩阵映射的视频帧。对于一个ρ = η = 4的实 施例，每个被映射的矩阵的每个像素都有策略地被指派到由视频分块模块16输出然后由 时移模块18处理的四个并行抽取视频信号中不同的一个。四个并行分块中的每一个从给 定帧中的每个映射矩阵获得一个像素。可通过视频分块模块16的滤波能力从输入视频信 号的对应像素值改变每个被指派给一个分块的像素值。每个抽取视频信号被认为是对应于输入视频信号的一个或多个分块或栅格。每个 帧包括采样区域，采样区域的像素被指派给栅格，栅格也被称作分块。在本实施例中，采样 区域包括对应于输入视频信号帧行和列中的交替像素的位置，输入视频信号被输入至视频 分块模块16。在一个可替换的实施例中，给定流(也被称为子流)，即被视频分块模块16输出的 P个视频信号中给定的一个，可以包括给定视频帧的多个栅格或分块。在这种情况下，(输 入至视频分块模块16的)输入视频信号的每个帧被栅格化为栅格化帧，其中来自给定输入 帧的多个栅格化帧被指派给给定流。在本实施例中，流的数量(P)少于矩阵中的像素数量 (η)。在ρ = η = 4且每个帧用不重叠连续2X2矩阵的二维网格映射的实施例中，由视 频分块模块16输出的四个抽取视频信号(流)的第一抽取视频信号包括位于与一个或多 个被映射的2X2矩阵对应的像素位置集合的左上部分的一个或多个像素。第二抽取视频 信号包括位于与被映射的2X2矩阵对应的像素位置集合的右上部分的一个或多个像素。 第三抽取视频信号包括位于与映射的2X2矩阵对应的像素位置集合的左下部分的一个或 多个像素。第四抽取视频信号包括与映射的2X2矩阵对应的像素位置集合的右下部分的一个或多个像素。2X2矩阵的特定映射在视频信号的每个帧上被选择性地重复，以使四个 抽取视频信号的每一个都包括从输入视频信号每个视频帧的所有其他行上所有其他像素 中选择的不同像素集合。注意，在不背离当前教导的范围的情况下，可以采用多于或少于四个像素和四个 不同栅格。例如，视频分块模块16可以将输入视频信号分块为并行地输出至时移模块18 的2 (而不是4)个抽取视频信号(流)。可替换地，视频分块模块16能识别输入视频信号的不同栅格并且作为对其的响 应输出单个未压缩视频信号至时移模块18。在一个可替换的实施例中，被视频分块模块16 输出的单个未压缩视频信号被补充识别单个未压缩视频信号的不同栅格或分块的附加信 息。对输入视频信号实现分块或栅格化的具体细节可以是应用特定的特定的。例如，在可替换的实施例中，视频分块模块16提供识别输入视频信号不同栅格的 附加信息。识别不同栅格的信息使得时移模块18能够有选择地改变由视频分块模块16输 出的单个流的P个视频成分(对应于上述其他实现方式的流)不同段之间的时间关系。P 个视频成分可以作为独立的流被时移模块18输出。识别不同栅格的附加信息也可以辅助 接收器14根据第二相对时序从彼此有时移的多个解码视频流中重建视频信号，第二相对 时序已被相对于第一时序偏斜，以下作更充分的讨论。经由附加信息识别不同栅格可通过 各种机构来实现，例如通过特定识别分组的插入，通过在传输流水平、打包基本流水平、编 码视频层选择性地增加或改变分组头，或其他机构。可替换地，标识信息被提供在以下数据 字段中传输流的分组头或在分组载荷之外。在另一个实施例中，标识信息被提供在打包基 本流的分组头或分组载荷之外的数据字段，其中打包基本流被携带于传输流分组的载荷之 中。在又一个实施例中，标识信息被提供在编码视频层的分组头或分组载荷之外的数据字 段中。可替换地，标识信息传送由发送器12在每个连续发送时间间隔上复用和发送的ρ 个不对应视频段之间的时间关系，参考图3a作以下讨论，其中ρ个不对应视频段中的每个 分别对应于不同视频流。在不背离当前教导的范围的情况下，本领域技术人员受到当前的教导可以容易地 实现视频分块和解分块以满足给定实现的需要。在一个实施例中，视频分块模块16对输入视频信号的每个连续帧使用相同的采 样区域(用于获取不同栅格或分块)。每个分块包括每个连续输入帧中相同空间位置处的 像素，采样区域被认为是二维采样区域。注意，采样区域表示像素位置的集合，其中处于像 素位置集合中的位置的像素表示栅格或分块。出于这个原因，采样区域也可被称作采样栅 格。在可替换的实施例中，贡献于至少两个分块的像素的空间位置从一个帧变为下一 个帧，采样栅格被认为是三维采样栅格。视频分块模块16通过将m个二维采样栅格的唯一 集合映射到输入视频信号的t个连续帧的每个连续集合来实现三维采样栅格。被视频分块模块16输出和识别的多个对应抽取帧显示了相对于彼此的第一时间 关系，也被称为第一相对时序。如上所讨论的，如果多个对应抽取帧源于输入视频信号中的 相同帧，则认为多个对应抽取帧是对应的。出于当前讨论的目的，第一分块的抽取帧对应于 第二分块抽取帧的时间关系可以包括分离两个对应抽取帧的任何时间间隔或时间间隔的集合。例如，对应于第一段的用于构造第一输入视频帧的数据可以由视频分块模块16在第 一时间间隔中接收，而对应于第二段的用于构造第二输入视频帧的数据可以在第二时间间 隔中接收。第一时间间隔和第二时间间隔可以用第三时间间隔分离。从第一输入视频帧和 第二输入视频帧获得的并且由视频分块模块16输出的作为结果的抽取帧也可以用第三时 间间隔分离。(由时移模块18给出的)第二相对时序的特征在于选择性偏斜的第三时间间 隔，以下作更充分的讨论。视频信号帧之间的示例性第一时间关系可以是使视频帧出现在为了以连续时间 间隔进行的发送或接收而分组的单独像素组的数据流中出现。视频信号帧之间的示例性第 二时间关系可以是使视频帧或视频帧的部分(例如视频帧的栅格化帧)出现在为了以与用 于第一时间关系的时间间隔不同的时间间隔进行的发送和接收而分组的单独像素组的数 据流中出现。在以上显示的示例中，第一段和第二段对应于单独的视频帧或具有多个视频帧的 单独视频段。实际上，当具有输入帧的输入视频信号被栅格化时，第一段和第二段包括分别 对应于输入视频帧中第一段的一个或多个视频帧的采样区域和第二段的一个或多个视频 帧的采样区域的栅格化帧。出于当前讨论的目的，视频帧的采样区域也被称为空间部分。注意，视频分块模块16可以识别输入至视频分块模块16的视频信号的分块数量 (P)。视频分块模块16可以包括用于将输入视频信号分离到多个数据流中的指令，其中每 个数据流对应于源自输入视频信号的一个或多个对应采样区域的一个或多个分块即栅格。时移模块18执行用于选择性地改变第一时间关系的指令，从而使关联于给定帧 的视频数据，以与表现从视频分块模块16输出的对应视频数据的特征的时间间隔不同的 时间相对间隔，从时移模块18输出。例如，用于发送与视频分块模块16输出的视频信号中 的给定帧相对应的数据的时间量不同于在时移模块18处理了视频分块模块16输出的信号 之后用于发送来自相同帧的数据的时间量。这辅助估计丢失数据(如发送过程中突发错误 造成的数据丢失)，从而辅助重建视频帧，以下作更充分的讨论。出于当前讨论的目的，当一个预定时间间隔被插入到视频数据流第一段和第二段 的发送之间时，则认为视频数据流的第一段相对于视频数据流的第二段被时移。例如，在此 处讨论的某些实施例中，视频子流的对应段被彼此相对时移，从而在发生了视频数据丢失 达预定的数据丢失间隔的情况中，辅助接收的视频流中的错误隐藏。视频时移模块，如时移模块18，可以是任何硬件和/或软件装置、装置集合、或适 用于适时移除或重排视频不同段或其他部分的任意其他实体。如果作为结果的时移视频在 时移移除之前被显示，则显示将是杂乱的，因为视频帧的栅格的接收的时间跨度将比通常 为给定帧的接收而分配的时间跨度更大。在本具体实施例中，时移模块18适用于识别从视 频分块模块16输出的视频数据的多个流和段。时移模块18还适用于使不同流的多个段中 的一个段或多个段相对于不同流的多个段中的一个其他段或多个其他段具有一个或多个 预定时间间隔的时移。在本具体实施例中，一个或多个预定时间间隔被设定大小从而能够针对大于约 500毫秒而小于约2秒的预定数据丢失间隔估计由编码器20输出的视频数据流的丢失数据 分组。数据丢失间隔可以是其间数据流中的数据显示出错误，丢失，受损，或者是不可用的 任意时间间隔。各种机构可造成通信信道或网络中的数据丢失，包括突发错误、信号衰落、或其他信号丢失机构。由时移模块18输出的四个并行时移数据流被输入至编码器20。注意，并行时移数 据流(P个视频信号)可以经由视频分块模块16中实现的抗混叠滤波器被滤波。抗混叠滤 波可以是被设计成满足给定实现的抗混叠需要的低通滤波器或其他类型的滤波器。由时移模块18输出的并行时移数据流被输入至编码器20的视频压缩模块22。 视频压缩模块22可包括用于压缩四个时移数据流的指令。视频压缩模块22所采用的压 缩算法的具体细节是应用特定的，且是根据视频编码规范的，视频编码规范例如是IS0/IEC MPEG-2视频(也被称为ITUH. 262)或IS0/IEC MPEG-4第10部分(也被称为ITU H. 264)。注意，在分组交换网络中，缺少子流的单个数据流一般会包括多个信息分组，每个 分组可以采用不同路径通过网络32到达目的地址。相应地，为了通过分组交换网络发送， 缺少子流的单个数据流可以是其中单独的分组具有相似的源和目的地址的任何数据流。当 数据流的数据被同时地或近似同时地从不同源地址发送和/或发送至不同目的地址时，认 为数据流具有并行发送的多个子流。注意，当所述单个装置具有与其对应的多个地址时，不 同源地址和不同目的地址可对应于一个单个装置。出于当前讨论的目的，分组交换网络可 以是一个或多个通信链路的任何集合，信息分组通过这些通信链路经由关联于这些分组的 地址信息被路由。视频压缩模块22输出四个并行时移和压缩视频数据流至发送链24。发送链M包 括用于准备由视频压缩模块22输出的压缩视频数据以用于通过网络32发送的各个模块和 功能。例如，发送链M包括FEC模块26，FEC模块沈将前向纠错应用到视频压缩模块22 输出的每个子流。FEC涉及叠加冗余数据到数据流以减少或消除某些类型的数据丢失发生时重发数 据的需要。冗余数据辅助在发生数据流失时接收器处数据流的重建。FEC模块沈叠加充分 冗余数据到视频压缩模块22输出的每个子流中，以使接收器14，30能够对一个FEC保护时 间间隔也称FEC保护窗内的每个视频子流校正错误或数据丢失。总的来说，FEC保护时间 间隔经常相对小于LCALC4454实现的丢失隐藏间隔，以下作更充分的讨论。发送链M的具体细节是应用特定的。例如，当通过分组交换网络(例如互联网) 发送时，发送链M可以包括路由器和耦接到互联网服务提供商的防火墙等等。当通过无线 网络发送时，发送链M可以包括基带至IF(中频)转换器、自动增益控制、滤波器、上变频 器、数模转换器、双工器、天线等等。在本具体实施例中，发送链M通过网络32发送四个数据流。在其他实施例中可 以使用不同数量的数据流。网络32可通过分组交换网络、电路交换网络、无线网络等被实现。可替换地，网络 32可以用发送器12和接收器14、30之间的直接通信链路替代。在无线应用中，四个数据流 可通过四个不同的通信信道或频段被发送到接收器14、30。第一接收器14接收或以其他方式订阅由发送链M通过网络32发送的全部四个 数据流。在无线实现中，第一接收链36可以包括一个或多个放大器、下变频器、滤波器、自 动增益控制电路、中频至基带转换器、模数转换器等。在分组交换网络应用中，接收链36或 46可以包括一个或多个路由器或其他网络硬件从而辅助连接接收器14和网络32。第一接 收链36的具体细节是应用特定的。本领域技术人员受到当前的教导，可以在没有过多试验的情况下容易地确定和实现适合的接收链以满足给定应用的需要。在本实施例中，第一接收链36包括逆FEC模块38。逆FEC模块38执行了用于修复 发生在从发送链M中接收的四个数据流的一个或多个中的某些数据丢失或损伤。某些数 据丢失或损伤对应于在预定的数据丢失间隔内的数据丢失或损伤，数据丢失间隔称为FEC 保护窗。本领域技术人员在没有过多试验的情况下容易地使现有的FEC模块、方法和技术 适用于此处讨论的实施例。第一逆FEC模块38还适用于并行数据流在通过网络32被发送 之前由发送链M的FEC模块沈一开始对并行数据流执行的任何不当修改。第一视频解压缩模块40包括用于解压缩被视频压缩模块22压缩的数据流的一个 或多个电路、例程或指令。指令可以包括与由视频压缩模块22 —开始采用来压缩数据流的 处理相反的处理。解压缩的视频数据流被视频解压缩模块40输出，随后被第一视频解分块模块42 解分块。第一视频解分块模块42包括用于移除已经通过时移模块18应用的视频数据流之 间的任何时移以及用于合并数据流成为用于准备输入LCALC144的想要的格式的指令。移除时移和合并数据流的机构的具体细节是应用特定的。可采用各种适合的方 法。例如，并行视频数据流可包括识别视频数据流应该被如何重建的标签或分组头。可以 被视频分块模块16和时移模块18添加的标识信息可以使视频解分块模块42能够基于标 签或分组头重新合并数据流并移除时移。标识信息的具体选择和实现是应用特定的，可以 取决于数据格式的选择。例如，MPEG-2(移动图片专家组-2)格式的视频可以采用程序图 或联合表，其可包括分组识别信息以区分P个流并且使接收器如图1的接收器14能够取消 时移模块18和视频分块模块16所执行的时移和视频分块。第一丢失隐藏及延迟补偿模块44包括用于隐藏逆FEC模块38未修复的任何数据 丢失的指令。进而，由于输入至视频分块模块16的原始或输入视频信号的不同分块或栅格 (部分)被置于分离的数据流中，并且彼此之间有时移，所以可能在接收器14、30处出现称 作延迟间隔的时间间隔。该延迟间隔表示，例如，在初始视频帧集合的所有部分到达丢失隐 藏及延迟补偿模块44之前发生的时间间隔。在这个初始延迟间隔期间，当丢失隐藏及延迟 补偿模块44等待初始数据帧的所有部分的接收时，丢失隐藏及延迟补偿模块44隐藏还没 有被接收到的缺失信息。例如在电视或机顶盒终端的一个频道被改变之后将具有缺失数据的初始帧的数 量取决于被时移模块18应用到每个数据流的时移量以及输入视频信号被视频分块模块16 分成的段(例如2秒的段)的大小。例如，如果在第一数据流第一段的发送和第四数据流 的对应的第一段的发送之间发生三秒间隔，则在视频不再需要延迟补偿之前，约值三秒的 初始帧被LCALCl 44接收。LCALCl 44的输出可以被输入至视频处理的另一个阶段，至显示 装置、至存储器或至另一个实体。丢失隐藏及延迟补偿模块44可采用用于隐藏缺失或丢失信息的各种方法。例如， 在一个实施例中，缺失的像素信息通过插值处理来估计。插值处理可以包括在视频帧上显 示了色彩亮度的最少变化量和/或色彩亮度变化的结合的方向上执行线性或非线性插值。 提供缺失或被破坏的像素信息是一种上采样。因此，缺失的或被破坏的像素的上采样可通 过使用非线性上采样在亮度和/或色度梯度减少的方向上填充像素来实现。插值可包括确定某些信息在视频显示期间如何变化，然后继续或插值该模式以填充缺失像素。各种类型的插值都是可以的。确定用于缺失像素信息的值的细节可以是应用 特定的。本领域技术人员根据本发明的教导可随时实现本发明的不同实施例。例如，可使 用任何适合的隐藏算法来估计或得到缺失的数据。此外，尽管LCALCl 44总体上采用关联于给定帧的像素信息来估计帧内的丢失像 素信息，但是实施例不限于此。例如，在某些实现中，可使用来自相邻帧的像素信息来进一 步估计给定帧中的丢失像素信息。而且，丢失隐藏技术还可包括采用运动信息，例如通过运 动矢量来估计丢失像素信息。第二接收器30的操作类似于第一接收器14，除了第二接收器30订阅了被发送链 24发送的并行数据流的仅仅一个子集意外。在这种情况下，第二丢失隐藏及延迟补偿模块 54隐藏了对应于缺失数据流的数据。在本实施例中，这对应于用于每个视频数据帧中四个 相邻像素(在P = 4的具体情况下)的预定组的一个像素。注意，此处讨论的实施例不限于特定的视频格式。不同视频格式可以采用不同的 编码器和解码器。而且，实施例不限于视频数据传输，像此处讨论的类似概念可以用于音频 数据或其他类型的数据的鲁棒传输。在没有过度试验的情况下，本领域技术人员受到当前 的教导可以容易地修改系统10的模块以满足给定实现的需要。在本具体实施中，视频帧中的每个像素包括亮度成分(Y’)，色度蓝成分(Cb)，和 色度红成分(Cr)。Y’成分包含了亮度信息，同时色度成分Cb和Cr包含了色彩信息。某些视频格式如MPEG-2使用色度二次采样。色度二次采样涉及给亮度成分分配 比色度成分更高的分辨率和关联的带宽，因为人对色度信息的视觉感知的敏感度低于对亮 度信息，即亮度或亮度信息的敏感度。在某些使用了采用色度二次采样的视频格式的应用中，用于给定视频帧的色度信 息可以与亮度信息单独地被发送。因此，给定帧可以作为单独的子帧被发送，其中色度子帧 比亮度子帧小几倍，倍数因子由格式化视频时采用的二次采样率决定。因此，给定视频帧可以在单独的子帧中被发送，其中每个单独的子帧包括所结合 的帧的成分。在这样的应用中，根据此处讨论的实施例，单独的子帧可被及时混洗并发送。 如果，例如亮度帧的部分由于大于FEC保护窗的大信号衰落或干扰而丢失，并且对应的色 度子帧没有丢失，则LCALC 4454可容易地估计亮度子帧的丢失像素。作为结果的估计的 图片可表示原始或输入视频帧的相对精确的视觉描述，因为现有的色度信息可辅助掩饰丢 失的亮度信息。因此，如果任何子帧的成分丢失，残留的子帧可辅助掩饰或隐藏缺失的像素 信息。注意，在不背离当前教导的范围的情况下，可采用不使用色度二次采样也不使用子帧 的视频格式。尽管图1的实施例主要关于包括视频帧序列的视频信号的处理进行讨论，但是实 施方式并不限于此。例如，具有其样本和元素的输出顺序的音频信号或其他媒体信号根据 本发明的教导可被分成不同的分块，其中音频或媒体信号的不同的分块在被接收器重新结 合之前，被处理、及时地混洗，通过不同并行数据流可选择地被发送。图2示出了由图1的系统10对视频帧60进行的第一示例性分块。帧60包括像 素行和列，其中在第i行第j列的像素位置被表示为ij。帧60中每个像素ij与给定采样 区域关联，采样区域也称作采样栅格，并与分块关联，以作为单独的对应视频流被处理和发 送。每个视频流对应不同的栅格或分块。在一个实施例中，多个单独的视频流在单个发送信道上通过单个传输流被复用并传输。在可替换的实施例中，多个视频流被复用到单个视 频流中，该视频流具有识别该视频流内各个分块的附加信息。各个分块根据第一相对时序 在视频流内被混洗，从而不同分块的对应帧有策略地在不同时间被发送以辅助错误隐藏。在本实施例中，通过将不重叠连续2X2矩阵映射到帧60上来逻辑地分块视频帧 60，其中来自每个2X2矩阵的每个像素被指派到各自的分块，即栅格。例如矩阵左上的第 一组像素包括像素00、01、10和11，像素00被指派到第一分块V0。像素01被分配到第二 分块VI。像素10被分配到第三分块V2。像素11被分配到第四分块V3。注意，这些不同分 块V0-V3表示通过各个流S0-S3发送的数据。因此，分块VO被从像素00开始每隔一行并每隔一个像素地指派，即，VO被指派像 素mn，其中m和η是偶整数。Vl被指派像素mw，其中m是偶整数，w是奇整数。V2被指派 像素qn，其中q是奇整数，η是偶整数。类似地，V3被指派像素qw，其中q和w都是奇整数。 从而，每个2X2矩阵包括四个像素，这四个像素的每一个都被指派到四个不同栅格中的一 个。注意，图2中，标为VO的像素表示第0个栅格化帧(LVO)，标为Vl的像素表示第一个栅 格化帧(LVl)，标为V2的像素表示第2个栅格化帧(LM)，标为V3的像素表示第3个栅格 化帧(LV3)。当提到视频信号帧的集合时，标为VO-Vl的像素表示包括帧集合的视频信号的 分块或栅格，这样的栅格通过对应的视频数据流S0-S3发送，以下作更充分的讨论。图3a是显示了时移视频流S0-S3的传输的第一示例性时序图70，其中时移视频 流S0-S3各自对应一个由图1所示通信系统10所处理的视频分块V0-V3的压缩版本。间 隔TL是数据丢失发生的示例。时序图70包括水平时间轴72。在可替换的实施例中，水平 轴72上的TL或任何间隔可以表示例如当S0-S3分别对应的部分被复用在传输流中的一间 隔期间时，S0-S3被复用的部分的间隔。在一个实施例中，S0-S3的对应部分可以被复用在 视频流中的一间隔期间。在图3a中，间隔可以作为贯穿S0-S3的垂直带被感知。对于携带 了 S0-S3的复用部分的流，特定间隔可以在流的对应位置上并具有对应的宽度。特定间隔 可以具有对应起始时间和对应的持续时间。在一个实施例中，一特定间隔包含来自每个流 S0-S3的至多一个提供部分，并且特定间隔中的每个各自的提供部分来自至多一个压缩图 片。在一个实施例中，可以在一间隔期间提供一视频流(例如SO)的一压缩图片的一 部分，同时从其余流(例如Sl-S;3)提供一个或多个部分，其中这一个或多个提供部分中的 每个提供部分对应于(1)至多一个压缩图片，以及0)S1-S3中的至多一个流。在第一间 隔上同时提供的四个压缩图片，或它们各自对应的提供部分，可以被各自关联于输入视频 信号的不同时间或显示时间(即，四个图片是不对应或不关联的图片，这是因为它们不是 起源于输入视频信号的相同图片的)。在第二间隔上提供的两个或多个压缩图片，或它们各 自对应的提供部分，可以是相应的或关联的图片(即，由于它们源自输入视频信号的相同 图片，因此是对应的或关联的图片)。基于每个视频流S0-S3的时间渐进在图3a中标记各个视频段(tO-伪)。根据输入 至图1发送器12的视频信号图片的连续段的时间渐进来标记视频段。给定段如tl，表示对 应压缩视频帧，即，源自输入至图1的系统10的输入视频信号帧的相同段的已处理的抽取 视频帧。如前所述，视频段包括视频流S0-S3的每一个中的nf个连续压缩视频帧。注意， 对应的压缩段，或每个段中的对应图片，具有共同的显示或输出时间。在图3a中，一组对应的视频段被tk的所有情况描述，其中k是整数。标签tk按每个视频流的时间渐进划分与 时间间隔对应的段，tk的每种情况表示视频段的对应一组nf个压缩视频帧，其中nf可具 有等于或大于1的值。例如，视频流S0-S3的时间渐进中标为tl的时间间隔属于对应的视 频段，每个段具有nf个压缩视频帧。在本实施例中，如图3a所示，每个视频流S0-S3具有相对于其他视频流S0-S3的 时移。在该实施例中，段t0-t5约为两秒长，并且连续的段对于彼此有偏置或偏斜，例如约 为200毫秒，这个值对应于图1的FEC模块沈采用的FEC保护窗。参考图1和图2，如果图2所示的帧60发生在输入至图1的发送器12的输入视频 信号的对应图片的某时间间隔t3内，则帧60被认为是发生在那组关联于t3时间间隔的对 应视频段，或此处视频的t3段或t3段内。然而，参考图3a，对应于该组t3对应段的V0-V3 栅格被时移或延迟地发送，如图3a中t3的交错。在一个实施例中，连续的t3段之间的确 切延迟略小于t3，约为t3减去200毫秒的FEC保护间隔窗。延迟可以根据段t3中的帧数 量nf，使得延迟表示帧发送间隔的整数数量，其中帧发送间隔表示用于发送单个帧的时间。在可被描述为图3a中垂直带的跨越了四个段(即t0_t3)的间隔的发送时间间隔 内，发送时间跨越了四个段(即t0-t!3)，四个(ρ = 4)非对应的段(其中非对应段被指派指 派了不同的标签，即t0-t3)，一个是t3段，可以在可替换的实施例中被复用到单个传输流， 然后被发送器12发送，而不是经由多个复合流发送。发送器12可以在特定间隔上提供来 自流SO的单个图片的一部分，同时提供来自剩余流S1-S3中一个的的单个图片的对应段。 发送器12可以在间隔上提供S0-S3的复用部分，使得从而提供来自流S0-S3的每一个的至 多一个部分，且使得间隔中的每个提供部分都来自至多一个压缩图片。在给定帧被认为完整之前，图1的接收器14将等待从数据流S0-S3接收t3段。对 于给定帧在用于每个数据流S0-S3的所有t3段被接收到之前，图1的LCALCl 44可以插值 以估计尚未到达的像素信息。在初始延迟期之后，随后的帧将已经到达以用于下一帧，使得随后的帧的显示或 输出不需要延迟补偿。这被称为流水线效应，其中连续视频段被连续发送。注意，各个视频 段t0-t3被流水线式地且并行地发送。注意，在用于不同数据流S0-S3的段t0-t3的连续 发送期间发生了重叠。视频数据流S0-S3被认为是互相相对有时移的，这是因为用于不同数据流S0-S3 的不同视频段t0-t3是在不同的时间(即以偏移的时间)而不是相同时间被发送的。图北是显示了来自对应于图3a的段t2的一组视频帧0 …沖+w) 73的视频数据 的示例性发送时序的第二示例性时序图71。在本示例中，该组视频帧73包括w个帧，包括 第k个帧(Pk)和第(k+w)个帧(沖+w)。注意，在本示例中，w个帧等同于2秒的帧。然而， 注意，不同大小的段可被使用。例如，在其中W= 1的可替换实施例中，图3a的每个段t(l··· t5表示被需要用于发送一个帧的数据的时间间隔。总体上，此处讨论的实施例中，图3a的 段t0-t5的时间宽度被选择以对应于整数个帧。初始输入的这组视频帧73被分块为栅格，包括第0组栅格化帧(LV0(kl··· LVO (k+w)) 75，第一组栅格化帧(LVl (k)... LVl (k+w)) 77，第 二组栅格化帧(LV2 (k)... LV2 (k+w)) 79，以及第三组栅格化帧(LV3 (k)…LV3 (k+w)) 81。栅格化帧LVO…LV3也被称为 抽取或下采样帧，并且包括分别标为V0-V3…的像素。栅格化帧LVO…LV3在有策略地交错的时间间隔内被分别通过数据流S0-S3发送。可替换地，数据流S0-S3被复用到单个传输 流，单个传输流可包括附加信息，如音频同步信息，隐藏字幕信息等。对于视频流的每个抽 取或子流版本，可以包括隐藏字幕信息，尽管有冗余。本领域技术人员容易地确定针对给定 应用实现传输流的具体细节。出于显示的目的，图北中的段对应于图3a的t2段被显示。因此，一个示例实施例包括通过不同数据流经由有选择地交错的时间间隔(段) 发送一个或多个视频帧的不同栅格，其中通过从帧的每个矩阵中选择一个像素来选择每个 栅格化帧。换句话说，视频帧被分块成为栅格化帧，每个栅格化帧被指派到不同数据流，然 后不同栅格化帧的发送被选择性地在时间上交错。交错可以基于给定发送介质的特性被选 择，例如发送介质所倾向的突发错误的类型和持续时间。图4示出了图2示例性视频帧的示图，其示出针对对应于第一视频段tl的图3a 的数据丢失间隔TL的一个示例性数据丢失模式80。参考图3和4，出于显示的目的，帧60被假设为在图3的数据丢失间隔TL期间， 丢失了发生在视频段tl中的第0个数据流SO和第一数据流Sl的部分。注意，对于视频段 tl，仅来自数据流SO和Sl的数据是丢失的，即，发生在数据丢失间隔TL内。从而，帧60在 可大于500毫秒且在本示例中约为2秒的相对大的数据丢失间隔TL期间，仅丢失像素的一 部分。用于丢失像素的成分值可被插值或以其他方式估计，从而避免了这样大的数据丢失 间隔可能发生的黑屏效应。如图4所示，对于视频段tl在大数据丢失间隔TL期间，分别标为VO和Vl并对应 于数据流SO和Sl的像素的像素信息丢失。丢失模式80包括丢失像素的水平带82。图5示出了根据图2所示的视频分块进行分块的第二示例性视频帧90，并且显示 了针对段t2的图3a的数据丢失间隔TL的第二示例性数据丢失模式100。参考图3和图5，第二示例性视频帧90表示关联于第二视频段t2的视频帧，其显 示了在图3所示的数据丢失间隔TL期间丢失的数据流Sl和S2的部分。注意，出于当前示 例的目的，在图3中，视频段t2在数据丢失间隔TL期间在流Sl和S2中发生，并且流Sl和 S2的对应部分(标为Vl和V2的像素)被认为丢失了。因此，在图5中关联于数据流Sl和S2的像素被显示为缺失的，形成了丢失像素的 对角带102。图6示出了根据图2所示的视频分块进行分块的第三示例性视频帧110，并且显示 了针对第三视频段t3的图3a的数据丢失间隔TL的第三示例性数据丢失模式120。参考图3和6，对应于数据丢失间隔TL的数据丢失影响了第二数据流S2和第三数 据流S3的第三视频段t3。因此，第三数据丢失模式120包括对应于标为V2和V3的像素的 缺失或破坏的像素的水平带112，标为V2和V3的像素对应于数据流S2和S3。注意，图1的接收器14、30被适应于有选择地结合视频数据流S0-S3并同步或在 时间上对齐流，以使每个数据流的各个段t0-t5在时间上近似一致从而为显示或输出做准 备。例如，在由接收器14、30进行处理之后，数据流S0-S3的t2段成分可以互相近似一致， 从而辅助重建和显示与标识为t2的段或时间间隔相关联的一个或多个视频帧。注意，对应于图3a的数据丢失间隔TL的视频数据丢失分布于五个间隔或视频段 t0-t4上。在实施中五个间隔可以表示五个帧，其中每个间隔t0-t4被分配一个帧。五个间 隔或帧包括图4-6的用于视频段tl-t3的帧60、90、110。
尽管图3中示出了六个视频段t0_t5，实施例并不限于此。例如，数据流S0-S3可 以被分块为多于或少于六个段。而且段t0-t5可以被混洗(shuffle)使得段以与图3所示 的不同顺序或时序出现。注意，发生在连续时间间隔或视频段t0_t3的损失以不同模式出现，从而辅助掩 饰丢失。例如，在预定时间间隔之后，数据丢失模式发生变化。如果如图4-6所示的丢失模 式被连续显示，作为结果的数据丢失可能比在所有时间间隔期间保留的单个数据丢失模式 更难感知。图7示出了由图1的系统10对第四视频帧130进行的第二示例性分块。第四视 频帧130被逻辑地分块成四个线性放置的相邻像素的组即矩阵，其中来自像素的1X4矩 阵的被标为V0-V3的每个像素被分别指派不同视频数据流S0-S3。第四视频帧130被认为 是逻辑地被分块成四像素的矩阵，因为实际上，系统10不需要真正地将帧分离或分块成矩 阵。而是，图1的系统10可以基于预定的方法学仅仅分配某些像素到不同数据流，无需如 图7所示以1X4矩阵物理地或电子地分组或分离像素。例如，像素00、01、02和03形成像素的第一矩阵，其中像素00被指派到数据流S0， 01到数据流Sl，02到数据流S2，03到数据流S3。像素分组模式，即矩阵模式，如图7所示 重复。总的来说，从视频帧130的每个其他列中的交替像素中选择用于数据流SO和S2的 像素。数据流Sl和S3的像素也是从每个其他列中的交替像素中选出的。该像素分组保证 了对于给定丢失间隔，例如图3的数据丢失间隔TL，对缺失两个数据流的任何帧，作为结果 的丢失像素将不会占据整个行或列。这可以确保数据丢失将比整个行或列的像素丢失时不 那么会被人眼察觉到。这基于这样的概念人感知对于沿水平或垂直线发生的数据丢失比 沿对角线发生的数据丢失更加敏感。参考图2、3a和7，将图7的帧130逻辑分块成1X4四像素相邻矩阵导致了不同像 素指派到不同数据流，这与如图2所示的分块的结果不同。因此，对于图3a的示例性的数 据丢失间隔TL的对应数据丢失模式与图4-6的对应数据丢失模式80、100、120不同。图8是示出了图7的示例性视频帧130的示图，其示出对应于第一视频段tl的图 3a的数据丢失间隔TL的第四示例性数据丢失模式140。参考图3和图8，图8的数据从第一视频段tl的数据流SO和Sl中丢失。因此，出 于显示的目的，对应于数据流SO和S 1的像素(标为VO和VI)在图8中标记为已经丢失 的数据。作为结果的丢失模式140包括二像素的交替组142，其形成所谓的水平偏置配对对 角线丢失。图9示出了根据图7所示的视频分块进行分块的示第五例性视频帧150，并且显示 了针对第二视频段t2的在图3a的数据丢失间隔TL中的第五示例性数据丢失模式。参考图3a和图9，数据在图3a的数据丢失间隔TL期间从对应于第二视频段t2的 数据流Sl和S2中丢失。这造成了第五数据丢失模式160，其包括数据流Sl和S2的缺失像 素。作为结果的丢失模式160包括丢失或受损像素(标为Vl和N2~)交替对162，其形成水 平偏置的配对对角线丢失。图10示出了根据图7所示的视频分块进行分块的第六示例性视频帧，并且显示了 针对第三视频段t3的图3a的数据丢失间隔TL的一个示例性数据丢失模式180。参考图3a和图10，数据在图3a的数据丢失间隔TL期间从对应于第三视频段t3的数据流S2和S3中丢失。这造成了第六数据丢失模式180，其包括像素182(标为V2和 V3)的水平偏置配对对角线丢失。图11示出了由图1的系统10针对第七视频帧190进行的第三示例性分块。第七 视频帧190被逻辑地分块成四像素的2X2像素组。组，即如图11和12所示标为V0-V3的 像素矩阵，除行的相邻对的矩阵具有一个像素的偏置之外，与图2所示的类似。图12是显示了时移视频流SO、Si’、S2’和S3的并行传输和一个示例性的数据丢 失间隔TL的第三示例性时序图，其中每个流S0、S1’、S2’和S3对应一个由图1的示例性通 信系统10中的视频的一个分块或栅格。第三示例性时序图200与图3a的第一示例性时序图70相似，除了图12的第一视 频数据流Si’被与图3的S2类似地分段(通过t0-t5的定位)，而图11的S2’被与图3的 Sl类似地分段以外。注意，给定的视频数据流的分段方式可以相对于其他视频数据流来限定。例如，对 于不同数据流S0，S1，，S2，和S3的视频段t0-t5可以以预定的时间关系被发送。图12中， 在相邻视频数据流中对应的视频段成分的出现之间约1800毫秒的时间偏置部分地描述了 这个时间关系。例如，数据流V2’的视频段成分t2始于相邻数据流Si’的视频段成分t2 开始之后约1800毫秒。图13示出了根据图11和图12所示的视频分块进行分块的第七示例性视频帧 190，并且显示了针对第一视频段tl的图12的数据丢失间隔TL的第八示例性数据丢失模 式 210。参考图12和图13，图12的数据从针对第一视频段tl的数据流SO和S2’中丢失。 这造成了第七示例性数据丢失模式210。第七示例性数据丢失模式210包括垂直像素交替 对212，其中行的交替对具有相对于行的相邻对偏置一个像素的交替丢失2X 1像素对。第 七示例性数据丢失模式210被认为是显示了垂直偏置配对对角线丢失，这是由于垂直2X 1 像素对成对角线地出现在第七示例性视频帧190上。图14示出了根据图11和图12所示的视频分块进行分块的第八示例性视频帧 220，并且显示了针对第二视频段t2的图12的数据丢失间隔TL的第八示例性数据丢失模 式 230。参考图12和图14，包括分别标为VI’和V2’的像素的数据流Si’和S2’在针对第 二视频段t2在图12的数据丢失间隔TL中经历数据丢失。因此，第八数据丢失模式230显 示了对应于数据流Si，和S2’的缺失或受损数据232。缺失或受损数据232显示了垂直偏 置配对对角线损失。图15示出了根据图11和图12所示的视频分块进行分块的第九示例性视频帧 240,并且显示了针对第三视频段t3的图12的数据丢失间隔TL的第九示例性数据丢失模 式 250。参考图12和图15，分别包括标为VI’和V3的像素的数据流Si’和S3在针对第三 视频段t3在图12的数据丢失间隔TL中经历数据丢失。这导致了第九数据丢失模式250， 其包括显示了垂直偏置配对对角线损失的缺失和受损垂直像素对252。图16是适用于图1的通信系统10的第一示例性方法沈0的流程图。方法260包 括第一步骤沈2，第一步骤262包括获取数据。
第二步骤264包括将数据分块为数据的可识别部分，也被称为分块或栅格。参考 图3a，示例性的数据的可识别部分可以包括数据流S0-S3以及伴随的段t0-t5。注意，在不 背离当前教导的范围的情况下，数据的可识别部分可以包括多于或少于4个数据流。第三步骤266包括选择性地相对于数据的一个或多个其他可识别部分偏移数据 的一个或多个可识别部分，并响应于此得到偏移的分块数据。图3a的数据流S0-S3表示数 据的偏移部分，其中段t0-t5是在不同数据流S0-S3中在不同时间发送的。出于当前讨论的目的，数据的第一部分相对于另一个数据部分的偏移可意味着调 整数据的第一或第二部分，使得当数据的部分被发送或发送时它们在相互之间不同的时间 被发送或发送，而不是如果它们没有被偏移的情况那样。例如，如果数据的第一部分和第二 部分被典型地近似同步发送使得这些部分的对应段(例如在图3a中被标识为t0_t5的段) 在时间上对齐，则数据的第一部分相对于数据的第二部分的偏移会导致这些对应段在不同 时间发送，例如这些段时间上没有对齐。第四步骤268包括发送偏移的和分块的数据。这些数据可以通过网络、无线通信 信道或通过其他介质被发送。图17是适用于图1的通信系统10的第二示例性方法沈0的流程图。第二示例性 方法沈0包括分块步骤272，分块步骤272包括将视频数据分块为对应于显示视频的不同栅 格或采样区域的多个部分。接下来的偏移步骤274包括在时间上有选择地相对于一个或多个其他分块偏移 一个或多个分块，并响应于此提供包括时移分块的一个或多个数据流。然后，FEC步骤276包括对一个或多个所述时移分块应用前向纠错。这导致了视 频数据的一个或多个时移分块以及用于实现前向纠错以在视频数据被发送时保护视频数 据的合并的冗余数据。接下来的发送步骤278包括已经通过分组交换网络或其他介质应用了前向纠错 的视频数据的一个或多个时移分块的发送。注意，方法260和270的各个步骤可以用其他步骤替换。另外，某些步骤可以与其 他步骤交换，并且可以包括额外的步骤或更少的步骤。例如，方法270可包括对该视频数据 应用抗混叠滤波，压缩该视频数据等。另外，可以包括接收步骤，其中发送的视频数据被接 收，接收的视频数据的未通过FEC处理修复的任何数据丢失可通过插值技术被隐藏。另外， 接收器可以订阅视频数据的所有可识别部分或其子集。而且，给定帧中的色度像素信息和 亮度像素信息可被分离并被分别处理。在不背离当前教导的范围的情况下，可以对图15和 图16的方法260和270作出其他修改。可替换的方法包括将对应于输入视频信号的初始数据分块为两个或多个数据流 或此处讨论的其他可识别分块或部分。然后每个数据流可被选择性地指派不同可伸缩视频 编码(SVC)增强层。可替换地，数据流的第一组可如此处讨论的被实现，数据流的第二组可 作为SVC增强层的一组被实现。尽管此处讨论的某些实施例主要讨论的是关于视频数据的处理和传输，但是实施 方式并不限于此。例如，在不背离当前教导的范围的情况下，其他类型的数据如音频数据、 文本或其他类型的数据可以根据本发明的教导被分块、偏移和发送。虽然此处讨论的各个实施例讨论的都是关于从对应于输入视频信号的单个初始数据流生成四个数据流，但是实施方式并不限于此。例如，某些实施例可以将对应于输入视 频信号的初始数据流分块为被并行发送的两个或多个数据流。可替换地，在不背离当前教 导的范围的情况下，对应于输入视频信号的初始数据流的某些部分可以被选择性的在单个 数据流而不是在分离的并行数据流中被重新布置和发送。而且，对应于输入视频信号本身 的初始数据流可以包括多个并行数据流而不是没有子流的单个数据流。尽管本发明的处理可被表示为单个实体，例如单机上的软件、指令或程序实现，但 是这样的软件、指令或程序可在多机上实现。也就是说，可以存在给定软件程序的多个例 子，单个程序可以在分布式处理环境中在两个或多个处理器上执行，单个程序的部分可以 在不同物理机上实现，等等。而且，两个不同的程序，例如FEC和LCALC程序，可以在单机中 或不同的机器中执行。单个程序可作为用于一个数据处理操作的FEC和用于不同数据处理 操作的LCALC被操作。尽管本发明讨论的是关于特定实施例的，但是这些实施例仅是发明示例性的实施 例而不是限制性的实施例。本发明的实施例可以在包括用户、装置、功能性系统或硬件和软 件的结合在内的任何两个处理或实体之间操作。例如，尽管分块在此处被描述为主要在视 频帧上操作，但是视频的其他部分、排列或组也可被实施分块。例如，图片组(GOPs)、图片、 帧或视频内容的其它层或部分可以被实施分块。本申请与同时申请的No.—/_，名称为“处理多栅格化视频帧的方法和系
统”(METHODS AND SYSTEMS FRO PROCESSING MULT I-LATTICED VIDEO STREAMS)的美国专
利申请和同时申请的No. —/_，名称为“处理损坏的和不完整的多栅格化视频
流” (PROCESSING OF IMPAIRED AND INCOMPLETE MULT I-LATTICEDVIEO STREAMS)的美国专 利申请相关，这两个申请的全部内容通过引用被并入。可使用任何适合的编程语言来实现由各个网络实体所采用的程序或其他指令。示 例性编程语言包括C，C++, JAVA，汇编语言等。可采用不同的编程技术，例如面向过程或面 向对象。例程可在单个处理装置或多处理器上执行。例程可在操作系统环境或作为容纳了 系统处理的所有或实质部分的独立例程进行操作。在此处的描述中，提供了很多具体细节，例如元件和/或方法的示例，来提供本发 明实施例的全面理解。然而相关领域的技术人员将清楚，不采用一个或多个具体细节，或采 用其他装置、系统、组件、方法、元件、材料、部件、和/或诸如此类，都能够实现发明的实施 例。在其他例子中，公知的结构、材料或操作没有在细节上被具体显示或描述，以避免使本 发明的实施例不明确。“处理器”或“处理”包括处理数据、信号或其他信息的任何人、硬件和/或软件系 统、机构或元件。处理器可以包括具有通用的中央处理单元、多处理单元、用于实现功能性 的专用电路的系统或其他系统。处理不限定地理位置或时间限制。例如，处理器可“实时” 地、“离线”地、“批处理模式”地实现其功能等。处理的部分可以在不同的时间和不同的地 点，被不同(或相同)的处理系统实现。计算机可以是与存储器通信的任何处理器。贯穿本说明书提及的“一个实现”的“一个实施例”、“一实施例”、“一具体实施例” 是指与实施例相联系地的所描述的特定特性、结构或特点被包含在本发明的至少一个实施 例中，没有必要而不一定包含在所有实施例中。因此，贯穿本说明书的各个地方中的短语 “在一个实施例中”，“在一实施例中”，“在一具体实施例中”不一定各自不需要指代同一个实施例。而且，本发明的任何具体实施例的特定特性、结构或特点可以以任何适合的方法被与 结合到一个或多个其他实施例相结合中。可以理解的是，根据当前的教导，此处描述和显示 的本发明实施例的其他变形和修改是可允许的，并被视为本发明的精神和范围的一部分。发明的实施例可以被全部或部分地通过使用编程的通用数字计算机、通过特定应 用的集成电路、可编程逻辑装置、现场可编程门阵列、光学的、化学的、生物的、量子的或纳 米工程系统或机构等来实现。总体而言，本发明的功能可以被现有技术的任何装置来获得。 可以使用分布式或网络系统、元件、和/或电路。数据的通信或传输可以是有线的、无线的 或通过任何其他装置。应领会的是，图画/图形中描述的一个或多个元件也能以更分离或更集成的方式 实现，或者在某些情况中不可操作。采用能甚至可以在某些情况中不可操作时、在根据特定 应用有用时被移除或提出。存储在计算机可读存储介质或装置中以允许计算系统实现任何 上述方法的程序或代码也在本发明的精神和范围之内。此外，除非另外特别说明，图画/图形中的任何单个箭头应该仅被视为是示例性 的，而不是限制性的。例如，指示一个方向的通信的单个路径上的箭头并不使沿着那个信号 路径的通信必须限定在那一个方向。而且，此处使用的术语“或”总体上表示“和/或”，除非另外特别说明。另外，术语 “包括”意味着“包括但不限定于”。应当认为本发明还指出了元件或步骤的组合，尽管不清 楚实施分离或结合的能力，但是术语还是可以被预见的。此处说明书和贯穿在权利要求中使用的“一”、“该”包括多个指代，除非上下文清 楚地指明。而且，除非上下文清楚地另外指明，如此处说明书和贯穿在权利要求中使用的， “在……中”的意思包括“在……中”和“在……上”。本发明所呈现的实施例的前面描述，包括摘要中的描述，并不意味着将本发明穷 尽或限制为此处公开的精确形式。发明的具体实施例和示例仅仅是出于示例的目的在此处 描述，在本发明的精神和范围内可进行各种等价的修改，如相关领域技术人员所认识和领 会的。如同所述，对本发明的这些修改可以根据本发明呈现的实施例的前面描述作出，并被 包括在本发明的精神和范围内。因此，虽然本发明的特定实施例在此处被描述，但是在前面的公开中可进行一定 范围的修改，各种变化和替换，并且，应领会的是，在不背离所阐述的本发明的范围和精神 的情况下，在一些情形中可以采用本发明实施例的一些特性而不相应地使用其它特征。因 此，对于本发明的实质性范围和精神，可以采用许多修改以适应特定的情形或材料。并不希 望发明被限制为下述权利要求的特定术语和/或作为用于实施本发明的预期的最好模式 而公开的特定实施例，而是本发明将包括落入附加的权利要求的范围内的任何和所有实施 例以及等同物。
权利要求
1.一种用于提供数字视频数据的方法，该方法包括选择视频信号的多个表示，其中所述多个表示的每一个表示包括各自的图片序列，其 中所述多个表示的每一个表示中的每个图片源自所述视频信号的各自的对应图片，其中所 述视频信号的所选多个表示的每一个表示中的连续图片的顺序对应于所述视频信号中的 连续图片的顺序；处理所述视频信号的所选多个表示；以及在视频流中提供所述视频信号的第一表示FROTVS的第一多个经过处理的图片的至少 一部分之后，提供所述视频信号的第二表示SROTVS的第一多个经过处理的图片。
2.根据权利要求1所述的方法，还包括在所述视频流中提供FROTVS的第二多个经过处理的图片的至少一部分之后，提供 SROTVS的第二多个经过处理的图片，其中，在来自SROTVS的第一多个经过处理的图片的最 后一个提供图片之后，提供SROTVS的第二多个经过处理的图片的第一提供图片。
3.根据权利要求2所述的方法，其中，在所述视频流中提供FROTVS和SROTVS的经过处 理的图片的顺序是根据来自FROTVS的每个连续提供的图片和来自SROTVS的每个连续提供 的图片分别源自所述视频信号的相同图片的。
4.根据权利要求3所述的方法，其中，所述视频流中FROTVS的第一多个经过处理的图 片的每一个连续提供的图片对应于所述视频信号的第一组连续图片中的各个图片，并且其 中，所述视频流中FROTVS的第二多个经过处理的图片的每一个连续提供的图片对应于所 述视频信号的第二组连续图片中的各个图片，并且其中，所述第二组的第一图片紧接在所 述视频信号的第一组连续图片的最后一个图片之后。
5.根据权利要求4所述的方法，其中在所述视频流中连续提供所述SROTVS的第一多个 经过处理的图片的图片的同时，提供所述FROTVS的第二多个经过处理的图片的连续提供 图片。
6.根据权利要求2所述的方法，其中所述视频信号的所选多个表示的每一个表示对应 于所述视频信号的各个抽取版本。
7.根据权利要求6所述的方法，其中所述视频信号的每个所述抽取版本对应于映射到 所述视频信号的每个图片的各个像素采样栅格。
8.根据权利要求7所述的方法，其中，在所述视频流中提供来自FROTVS的第一多个经 过处理的图片的最后一个提供图片之后，提供来自SROTVS的第一多个经过处理的图片的 第一提供图片。
9.根据权利要求8所述的方法，其中，在所述视频流中提供来自FROTVS的第二多个经 过处理的图片的第一图片的同时，提供来自SROTVS的第一多个经过处理的图片的第一提 供图片。
10.根据权利要求2所述的方法，其中在所述视频流中提供来自所述FROTVS的第二多 个经过处理的图片的第一提供图片之前，提供来自所述SROTVS的所述第一多个经过处理 的图片的第一提供图片。
11.根据权利要求10所述的方法，其中，在所述视频流中提供来自所述FROTVS的第一 多个经过处理的图片的图片的同时，提供来自SROTVS的第一多个经过处理的图片的第一 提供图片。
12.一种用于提供数字视频数据的方法，该方法包括将视频信号分块为所述视频信号的多个表示，其中所述视频信号包括连续图片，其中 每个表示分别对应于所述视频信号的一抽取版本，其中所述视频信号的每个连续图片被分 块为所述图片的多个抽取版本，其中所述视频信号的每个连续图片的多个抽取版本的每一 个抽取版本分别作为图片被指派给所述视频信号的对应表示ROTVS ；将所述视频信号的所述多个表示压缩为多个视频流，其中每个ROTVS被压缩为分别对 应的视频流，其中所述多个视频流包括第一视频流和第二视频流；以及在第一间隔期间提供所述多个视频流的多个部分，其中在第一时间间隔期间提供来自 第二视频流的第一压缩图片的至少一部分的同时，提供来自第一视频流的第一压缩图片的 至少一部分。
13.根据权利要求12所述的方法，其中在第一时间间隔期间提供所述多个视频流的多 个部分包括在第一间隔期间提供来自所述多个视频流的每一个视频流的至多一个部分，并 且其中在第一间隔期间的每个提供部分来自至多一个压缩图片。
14.根据权利要求13所述的方法，其中在第一间隔期间提供的多个视频流的多个部分 分别对应于源自所述视频信号的不同图片的压缩图片。
15.根据权利要求13所述的方法，其中来自第一视频流的第一压缩图片和来自第二视 频流的第一压缩图片源自所述视频信号的同一个图片。
16.根据权利要求14所述的方法，还包括在第二间隔期间提供所述多个视频流的多个部分，其中在第二时间间隔期间提供来 自第二视频流的第二压缩图片的至少一部分的同时，提供来自第一视频流的第二压缩图片 的至少一部分，其中在第二间隔期间提供来自所述多个视频流的每一个视频流的至多一部 分，其中在第二间隔期间的每个提供部分来自至多一个压缩图片，并且其中来自第一视频 流的第二压缩图片和来自第二视频流的第二压缩图片源自所述视频信号的同一个图片。
17.一种用于提供数字视频数据的系统，该系统包括视频分块模块，所述视频分块模块被配置为提供输入视频信号的每个连续图片的多个抽取版本；将所述输入视频信号的每个连续图片的所述多个抽取版本的每一个抽取版本作为一 个图片指派给分别对应的抽取视频信号；以及提供分别对应于所述输入视频信号多个抽取版本的多个抽取视频信号；编码器，所述编码器被配置为将所述多个抽取视频信号的每一个抽取视频信号压缩为独立于指派给其他抽取视频 信号的图片的对应视频流；以及提供分别对应于所述多个抽取视频流的多个视频流；以及发送器，所述发送器被配置为在多个间隔的每一个中提供来自所述多个视频流的每 一个视频流的一部分，其中所述多个间隔包括第一间隔和第二间隔，其中在所述多个间隔 的每一个中，来自所述多个视频流的每一个视频流的每个提供部分包括至少一个压缩图 片。
18.根据权利要求17所述的系统，其中所述发送器还被配置为在多个连续间隔的每 一个中提供对应于所述输入视频信号的第一多个连续图片的各个压缩图片组，其中提供的各个压缩图片组中的每一个压缩图片组对应于不同的视频流。
19.根据权利要求17所述的系统，其中所述发送器还被配置为在多个连续间隔的每一 个中提供来自所述多个视频流的每一个视频流的一连续部分。
20.根据权利要求19所述的系统，其中所述发送器还被配置为在第一时间间隔中提供源自所述输入视频信号的同一图片的不同抽取版本的两个压 缩图片，并且在第二时间间隔中提供源自所述输入视频信号的不同图片的抽取版本的压缩 图片。
全文摘要
本发明公开了一种辅助鲁棒数据传输的装置。在一个实施例中，装置包括第一机构，用于选择输入视频信号的多个栅格，处理多个抽取视频信号，以及根据第二相对时序对多个视频流的对应部分进行时移。第二机构将初始相对时序改变为第二相对时序。
文档编号H04N7/08GK102067592SQ200980123108
公开日2011年5月18日 申请日期2009年6月16日 优先权日2008年6月17日
发明者格雷戈里·圣菲尔德, 阿图罗·A·罗德里谷兹 申请人:思科技术公司