专利名称：用于有效的可伸缩流适配的系统和方法
技术领域：
本发明一般地涉及媒体编码、解码、存储和传输。更特别地，本发明涉及可伸缩媒 体编码、解码、存储和传输。
背景技术：
多媒体应用包括本地回放、流传输或随需(on-demand)、会话和广播/多播服务。 多媒体应用所涉及的技术例如包括媒体编码、存储和传输。媒体类型包括语音、音频、图像、 视频、图像和时间文本。已经针对不同的技术规定了不同的标准。视频编码标准包括ITU-T H. 261, IS0/IEC MPEG-I 视频、ITU-TH. 262 或 ISO/ IEC MPEG-2 视频、ITU-T H. 263、IS0/IEC MPEG-4 视频和 ITU-T H. 264(也称为 IS0/IEC MPEG-4AVC)。此外，还在开发新的视频编码标准。例如，正在进行可伸缩视频编码(SVC)标 准的开发。此标准将成为H. 264/AVC的可伸缩扩展。同样，正在进行中国视频编码标准的 开发。可伸缩视频编码可以提供可伸缩视频比特流。可伸缩视频比特流的一部分可以被 提取并解码，其具有劣化的回放视觉质量。可伸缩视频比特流包含非可伸缩基本层和一个 或多个增强层。增强层可以增强时间分辨率(即帧率)、空间分辨率或者仅仅是由较低层或 其部分表示的视频内容的质量。在有些情况下，增强层的数据可以在特定位置之后、甚至在 任意位置被截短。每个截短位置可以包括一些表示逐渐增强的视觉质量的附加数据。这种 可伸缩性被称为精细颗粒(粒度)可伸缩性(res)。与res相对，由不提供精细颗粒可伸缩 性的质量增强层提供的可伸缩性被称为粗颗粒可伸缩性(CGS)。当前草案SVC标准中的可伸缩层结构的特征在于三个变量，称为时间_级别 (temporal_level)、从属 _id(dependency_id)禾口质量 _ 级另lj (quality_level),这些变量 在比特流中用信号发送或者可以根据规范推导出。时间_级别用于指示时间可伸缩性或帧 率。包含具有较小时间_级别值的图像的层具有比包含具有较大时间_级别的图像的层更 小的帧率。从属_id用于指示层间编码的从属等级。在任何时间位置，具有较小从属_id 值的图像可以用于对具有较大从属_id值的图像编码的层间预测。质量_级别用于指示 res层的等级。在任何时间位置并且具有相同的从属」d值的情况下，具有质量_级别值等 于QL的res图像使用该res图像或具有质量_级别值等于QL-I的基本质量图像(也即当 QL-I = 0时为非res图像)来进行层间预测。图1示出了示例性可伸缩视频流的时间片段，显示了上述三个变量的值。应当注 意，时间值是相对的，也即，时间=0不一定是指比特流中按显示顺序排在第一的图像的时 间。图2示出了该示例的典型预测参考关系，其中实线箭头指示沿水平方向的帧间预测参 考关系，虚线空心箭头指示层间预测参考关系。(箭头)所指向的实例使用(箭头)另一方向的实例以用于预测参考。如此处所讨论的，层被定义为分别具有相同的时间_级别、从属_id和质量_级别 的值的图像的集合。为了解码和回放增强层，通常包括基本层的较低层也应为可用的，因此 较低层可以直接或间接地用于编码增强层中的层间预测。例如，在图1和图2中，(t，T，D， Q)等于(0，0，0，0)和(8，0，0，0)的图像属于基本层，它们可以独立于任何增强层而解码。 (t，T，D，Q)等于(4，1，0，0)的图像属于双倍于基本层的帧率的增强层；该层的解码需要存 在基本层图像。(t，T，D，Q)等于(0,0,0,1)和(8,0,0,1)的图像属于以TOS方式增强基本 层的质量和比特率的增强层；该层的解码也需要存在基本层图像。在H. 264/AVC标准中，如下定义了即时解码刷新(IDR)图像。所有片是I或者SI 片的编码图像使得解码进程在解码该IDR图像之后立即将所有参考图像标记为“未用于参 考”。在解码IDR图像之后，按解码顺序随后的所有编码图像可以在没有来自任何先于该 IDR图像解码的图像的内部预测的情况下被解码。每个编码视频序列的第一幅图像是IDR 图像。IDR图像的概念也运用在当前的草案SVC标准中，其中该定义适用于分别具有相 同的从属_1(1((1印611如11(^_1(1)和质量_级别(quality_level)值的图像。换句话说，IDR 图像是这样的编码图像，其中该IDR图像以及所有在同一层中(也即与IDR图像具有分别 相同的从属_id和质量_级别值)按解码顺序随后的编码图像的解码可以在没有来自任何 在同一层中按解码顺序先于该IDR图像解码的图像的帧间预测的情况下执行。IDR图像使 得解码进程在解码该IDR图像之后立即将同一层中所有参考图像标记为“未用于参考”。应 当注意，此处针对当前草案SVC标准上下文所使用的术语“在同一层中”是指解码图像具有 与IDR图像分别相同的从属_id和质量_级别值。要么所有具有相同的图像次序数值(即， 在同一时间位置)、但是不同cbpendencyjd或qualityjevel值的图像被编码为IDR图 像，要么特定图像次序数值的图像不被编码为IDR图像。换句话说，要么所有位于存取单元 (包括所有具有相同的图像次序数值的图像)的图像是IDR图像，要么存取单元中没有图像 是IDR图像。可用的媒体文件格式标准包括ISO文件格式(IS0/IEC14496-12)、MPEG-4文件 格式(IS0/IEC 14496-14)、AVC 文件格式(IS0/IEC 14496-15)以及 3GPP 文件格式(3GPP TS 26.244)。SVC 文件格式目前正由 IS0/IEC MPEG 开发，其可以在 MPEGN7477，“VM Study Text for Scalable Video Coding(SVC)FileFormat^Srd IS0/IEC MPEG meeting, Poznan, Poland, 2005年7月中找到，其全文在此通过参考结合弓I入。可伸缩编码相比于单层编码的一个优点在于在可伸缩编码的情况下，单个流可 以满足不同的质量、比特率、显示尺寸等的需求，而在单层编码的情况下，必须使用多个流。 使用多个流花费更多的存储空间，并且在联播中，需要更多的传输带宽。在流传输应用中， 当传输网络或接收方的能力相对于它们的早期状态发生改变时，例如传输带宽变化时，需 要流适配。网关和其他可知媒体(media-aware)网元(MANE)也可以执行流自适应。当可 伸缩编码文件在“本地”(即，文件驻留在与解码器相同的设备中或者驻留在通过快速链接 连接到解码设备的存储器中)播放时，如果解码器与某些其他处理共享计算资源，则可能 需要流适配。例如，如果在运行多进程操作系统的通用处理器上执行解码，则解码器可能在 某一时间能够使用整个计算功率并且解码所有的可伸缩层。然而，在另一时间，解码器可能只具有处理器的计算功率的子集以用于解码可用可伸缩层的子集。适配的流可以具有变化 的比特流、帧率和/或视频分辨率。在单层编码的情况下，流适配可以通过流切换或代码转 换来执行。在单个可伸缩流的情况下，流适配可以通过层切换来执行。在可伸缩编码中，从高到低的层切换可以在任何位置执行。然而，从低到高的层切 换则不同，因为对切换到的高层中的图像的解码通常需要同一层中存在解码顺序中一些先 前的图像。对于当前的草案SVC标准，从低到高的层切换可以在IDR存取单元(包括IDR图 像)中执行。然而，依靠IDR存取单元要么导致由于对IDR存取单元的频繁编码而降低的 编码效率，要么导致不即时的流适配。这两个问题都与终端用户的体验密切相关。理论上 还有可能利用SP/SI图像编码或渐进解码刷新技术来执行从低到高的层切换。不过，这些 技术都是针对单层编码设计的。因此，这些技术目前不可用于可伸缩编码。而且，即使将这 些技术扩展为可在可伸缩编码中使用之后，它们的应用也将导致额外的编码约束(以等同 于较低编码效率的形式)或者实现复杂性。因此需要支持在可伸缩视频编码中简单有效的从低到高的层切换。而且，还需要 支持在文件格式层简单有效的从低到高的层切换的信号发送，使得不需要解析和分析视频 比特流就能查找从低到高的层切换的位置，因为对流的解析和分析需要复杂的计算。
发明内容
本发明提供一种系统和方法，用于在文件格式层中信号发送从低到高的层切换点 以支持在流服务器和本地文件回放中的有效的可伸缩流切换。本发明还公开了一种系统和 方法，用于在视频比特流中信号发送从低到高的层切换点，例如，用于支持在可知媒体网元 中智能转发可伸缩层或者在流接收方中计算上的可伸缩解码。本发明支持针对可伸缩流适配的简单有效的从低到高的层切换。本发明使得不需 要流服务器对视频比特流进行大量地解析和分析，否则该解析和分析可能要求相当重的计 算和实现负担。本发明实际上可以用于任何可伸缩媒体应用。本发明的这些和其他优点和特征及其构造和操作方式，将在下面结合附图的详细 描述中变得很明显，其中下面描述的多个附图中相同的部件具有相同的附图标记。
图1示出了示例性可伸缩视频流的时间片段，显示了三个变量时间_级别、从属_ id和质量_级别的值；图2是针对图1所示的时间片段的典型的预测参考关系；图3是可以实现本发明的系统的纵览图；图4是可以体现本发明的原理的电子设备的透视图；图5是图4的电子设备的电路示意图；以及图6是可以应用本发明的可伸缩编码等级的通用多媒体数据流传输系统的图示。
具体实施例方式参考图6，描述了用于应用本发明的过程的典型的多媒体流传输系统。
多媒体数据流传输系统通常包括一个或多个多媒体源100，诸如视频照相机和麦 克风，或者存储在存储器载体中的视频图像或计算机图形文件。从不同多媒体源100获得 的原始数据在编码器102中组合成多媒体文件，该编码器也可以称为编辑单元。来自一个 或多个多媒体源100的原始数据首先使用包含在编码器102中的捕获装置104进行捕获， 该捕获装置通常可以实现为不同的接口卡、控制卡的功能的驱动软件或应用软件。例如，视 频数据可以使用视频捕获卡及相关的软件进行捕获。捕获装置104的输出通常是未压缩的 或者轻度压缩的数据流，例如当涉及视频捕获卡时，为YUV 4:2:0格式或动画-JPEG图像格 式的未压缩视频帧。编辑器106将不同的媒体流链接在一起以同步将要如所期望地同时重现的视频 流和音频流。编辑器106也可以对每个媒体流(诸如视频流)进行编辑，例如通过将帧率 减半或者降低空间分辨率。分离的媒体流在压缩器108中进行压缩，尽管这些媒体流已经 同步，但是在压缩器中每个媒体流使用适合于该媒体流的压缩器分别进行压缩。例如，YUV 4 2 0格式的视频帧可以使用ITU-T推荐H. 263或H. 264进行压缩。分离的、已同步的且已 压缩的媒体流通常在复用器110中交织，从编码器102获得的输出是单个、统一的比特流， 其包括多个媒体流的数据，并且可以称为多媒体文件。应当注意，多媒体文件的形成不一定 要求将多个媒体流复用为单个文件，不过流传输服务器可以就在发送这些媒体流之前，对 它们进行交织。多媒体文件被传送到流传输服务器112，因而流传输服务器能够将其作为实时流 传输进行执行或者以渐进式下载形式执行。在渐进式下载中，多媒体文件首先存储在服务 器112的存储器中，当需要时可以从该存储器取回多媒体文件以进行传输。在实时流传输 中，编辑器102向流传输服务器112发送连续的多媒体文件的媒体流，并且服务器112将流 直接转发给客户端114。作为另一选择，也可以这样执行实时流传输以使得多媒体文件存 储在服务器112可存取的存储装置中，当需要时可以从该存储装置驱动实时流传输以及启 动连续的多媒体文件的媒体流。在这种情况下，编辑器102不一定需要任何装置来控制流 传输。流传输服务器112依照客户端114的可用带宽或最大解码和回放速率，执行多媒体 数据的流量整形，流传输服务器112能够调整媒体流的比特速率，例如通过从传输中省去 B-帧或者通过调整可伸缩层的数量。进一步，流传输服务器112可以修改复用媒体流的报 头字段以减少其尺寸，并且将多媒体数据封装入适合于在所采用的通信网络中传输的数据 分组中。客户端114通常可以通过使用合适的控制协议来调整(至少在一定程度上)服务 器112的操作。客户端114至少能够以这种方式控制服务器112，即能够选择期望的传输至 客户端的多媒体文件，此外，客户端114通常能够停止和中断多媒体文件的传输。当客户端114正在接收多媒体文件时，该文件首先被提供给解复用器116，解复用 器116将包含在该多媒体文件中的媒体流分离。分离的、压缩的媒体流继而被提供给解压 缩器118，在解压缩器118中，每个分离的媒体流被适合于每个特定媒体流的解压缩器进行 解压缩。经解压缩和重构的媒体流提供给回放单元120，在回放单元处媒体流根据它们的同 步数据以正确的步调再现并提供给呈现装置124。实际的呈现装置124例如可以包含计算 机或移动台显示器和扬声器装置。客户端114通常也包括终端用户一般通过用户接口进行 控制的控制单元122，其通过上述控制协议控制服务器的操作，并且基于终端用户给出的指 令控制回放单元120的操作。
应当注意，多媒体文件从流传输服务器112到客户端114的传送通过通信网络进 行，传送路径通常包括多个通信网元。因此有可能至少某个网元能够至少部分地以与上面 结合流服务器描述的相同的方式、在客户端114的可用带宽或最大解码和回放速率方面执 行多媒体数据的流量整形。本发明提供一种系统和方法，用于在文件格式层中信号发送从低到高的层切换点 以支持在流传输服务器和本地文件回放中的有效的可伸缩流切换。本发明还公开了一种系 统和方法，用于在视频比特流中信号发送从低到高的层切换点，例如，用于支持在可知媒体 网元中智能转发可伸缩层或者在流接收方中计算上的可伸缩解码。在此描述本发明的多个示例性实现。不过，应当注意，这些实现的其他变形也是有 可能的，例如通过组合此处讨论的可选实施方式的子集。以文件格式信号发送从低到高的层切换点的第一实现包括将信号发送从低到高 的层切换点用作可伸缩信息的一种。在此实施方式中，针对每个层的信号发送从低到高的 层切换点定义新的盒子(box)。该盒子包含在包含每个可伸缩层的可伸缩信息的数据结构 中，例如在SVC文件格式的草案标准文本中定义的ScalableLayerEntryO结构。该盒子 定义如下盒子类型(Box Types) iIswp'容器(Container) :ScalableLayerEntry 强制 (Mandatory)否数量(Quantity) 0 或者 1该盒子为流内的各个层提供从低到高的层切换点的简明标记。按照采样号递增的 顺序严格排列表格。如果对于某个层不存在层切换点盒子，则对于该层没有额外的从低到 高的层切换点，除了在同步采样盒子中用信号发送的同步采样或者在阴影同步采样盒子中 用信号发送的阴影同步采样。class LayerSwitchingPointBox extends Box( ‘1swp‘ ) {unsigned int (32)entry_count ；inti, j ；for(i = 0 ;i < entry_count ；i++) {unsigned int(32)sample_number ；unsigned int(8)entry_count2 ；for = 0 ;j < entry_count2 ；j++)signed int (16)delta_layer_id ；}}在此示例中，“entry_COunt”给出了后面表格中条目的数量。“samplejumber”给 出了此类采样的采样号，该采样的针对当前层的从低到高的层切换点的信息在后面表格中 用信号发送。“entry_C0Unt2”给出了后面表格中条目的数量。“delta_layer_id”指定了在采样号等于samplejumber的当前采样处，流可以从 当前层切换到的较高层，或者可以从其切换到当前层的较低层。等于或大于零的值指示在 当前采样处，该流可以从当前层切换到层标识符等于(layerld+deltajayerjd+l)的较 高层。小于零的值指示在当前采样处，该流可以从层标识符等于(layerld+delta_layer_ id)的较低层切换到当前层。每个层的IayerId从包含每个可伸缩层的可伸缩信息的数据 结构中找到。
以文件格式信号发送从低到高的层切换点的第二实现包括在专用盒子中信号发 送所有层的从低到高的层切换点。该盒子定义如下。盒子类型(Box Types) =iIswp'容器 (Container)(采样表格盒子)(‘stbl，)强制(Mandatory)否数量(Quantity) :0 或者 1该盒子为流中的所有层提供从低到高的层切换点的简明标记。按照采样号递增的 顺序严格排列表格。如果不存在层切换点盒子，则没有额外的从低到高的层切换点，除了在 同步采样盒子中用信号发送的同步采样或者在阴影同步采样盒子中用信号发送的阴影同 步采样。class LayerSwitchingPointBox extends Box( ’1swp’ ) {unsigned int (32)entry_count ；inti，j，k;for(i = 0 ;i < entry_count ；i++) {unsigned int(32)sample_number ；unsigned int(8)entry_count2 ；for (i = 0 ； j < entry_count2 ； j++) {unsigned int(8)layer_id ；unsigned int(8)entry_count3 ；for (k = 0 ;k < entry_count3 ；k++)signed int(16)delta_layer_id ；}
}
}在此实施方式中，“entry_Coimt”给出了后面表格中条目的数量。“Sample_ number”给出了此类采样的采样号，该采样的从低到高的层切换点的信息在后面表格中用 信号发送。“entry_C0Unt2”给出了后面表格中条目的数量。“ layer_id”给出了从低到高 的层切换点的信息在后面表格中用信号发送的层的层标识符。“entry_C0Unt3”给出了后面 表格中条目的数量。“delta_layer_id”指定了在采样号等于samplejumber的当前采样处，流可以 从当前层切换到的较高层，或者可以从其切换到当前层的较低层。不小于零的值指示在 当前采样处，该流可以从当前层切换到层标识符等于(layer_id+delta_layer_id+l)的 较高层。小于零的值指示在当前采样处，该流可以从较低层切换到层标识符等于(layer_ id+delta_layer_id)的当前层。在本发明的此特定实施方式中，也有可能将smaple_ number的循环放入layer_id的循环内，代替当前的将sample_nmber循环放入layer_id的 循环内。以文件格式信号发送从低到高的层切换点的第三实现包括使用信号发送轨道 (track)切换点。此实施方式还可以与上述任何其他实施方式同时使用。此实施方式应用 在这样的情形中，其中可伸缩层的可独立解码组合通常通过使用参考而被组合以形成独立 轨道。在ISO基本媒体文件格式中，媒体数据由一组网络独立的轨道表示，其中线索轨道 (hint track)包含网络相关的传输封装信息并且将媒体采样或其部分与传输分组相关联(通过从线索轨道到媒体轨道的参考)。提取器轨道包含对媒体轨道的参考，使得针对SVC 存取单元的编码图像的子集形成提取器轨道中的样本。因此，每个提取器轨道将代表不同 的可伸缩层子集，并且每个提取器轨道在不解码同一媒体轨道的其他提取器轨道的情况下 将是可确定的。在此特定实现中，可以标识线索轨道之间或者提取器轨道之间的切换点。包含或 引用可伸缩层的充分子集的轨道通过轨道参考容器盒中的轨道参考类型‘tswf’链接到此 轨道，其中可伸缩层支持切换到该轨道中至少一个指示的切换点采样。此轨道包含可伸缩 层的充分子集所针对的轨道通过轨道参考容器盒中的轨道参考类型‘tswt’链接到此轨道， 其中可伸缩层支持切换到那些轨道中至少一个指示的切换点采样。盒子类型(Box Type) ‘tswd，容器(Container) =Sample Table Box(‘stbl，)(采样表格盒子)强制(Mandatory) 否数量(Quantity) 0或者正好1该盒子提供线索轨道之间或者提取器轨道之间从低到高的层切换点的简明标记。 按照采样数目递增的顺序严格排列表格。如果不存在轨道切换点盒子，则没有额外的从低 到高的层切换点，除了在同步采样盒子中用信号发送的同步采样或者在阴影同步采样盒子 中用信号发送的阴影同步采样。class TrackSwitchingPointBox extends Box( 'tswp' ) {unsigned int (32)entry_count ；int i, j ；for(i = 0 ;i < entry_count ；i++) {unsigned int(32)sample_number ；unsigned int(8)entry_count2 ；for (j = 0 ;j < entry_count2 ；j++)unsigned int(32)src_track_id ；unsigned int (8)entry_count3 ；for (j = 0 ;j < entry_count3 ；j++)unsigned int(32)dest_track_id ；}} 在此情形中，“ entry_COunt ”给出了后面表格中条目的数量。“ samp 1 e_number，，给 出切换点采样的采样数量。“entry_C0Unt2”给出了后面表格中条目的数量。“src_track_ id”指示包含流可以从其切换至包含在当前轨道中的层的较低层的轨道的轨道标识符。 “entry_Coimt3”给出了后面表格中条目的数量。“desk_track_id”指示包含流可以从包含 在当前轨道的层切换到的更高层的轨道的轨道标识符。 应当注意，也有可能使用可选的语法定义。例如，可以省略entry_COunt3及针对 desk_traCk_id值的相关循环。而且，如果在‘tswf’轨道参考中只指示了一个轨道，则针对 src_track_id值的循环就不是必需的。也可以独立地使用TrackSwitchingPointBox语法 而不需要轨道参考‘tswf’和/或‘tswt’。而且，可以重新使用在使用第一或第二可选方案 的媒体轨道中用信号发送的消息，以获得在线索或提取器轨道中从低到高的层切换点，其 中针对每个线索或提取器轨道用信号发送层标识符，例如在轨道报头中或采样条目中。
下面讨论用于在比特流中信号发送从低到高的层切换点的可选方法。第一个此类 可选方案包括使用新的网络提取层(NAL)单元类型，以指示包含该NAL单元类型的已编码 片的图像是增强层即时解码刷新(EIDR)图像。EIDR图像是这样的已编码图像，该EIDR图 像以及在同一层中(也即具有与该EIDR图像分别相同的temporal_level、d印endency_id 和qUality_level值)按解码顺序随后的所有已编码图像的解码可以在没有来自任何在同 一层中按解码顺序先于该EIDR图像的图像的帧间预测的情况下执行。EIDR图像使得解码 进程在解码该EIDR图像之后立即将同一层中所有参考图像标记为“未用于参考”。EIDR图 像不会使temporal_level、d印endency_id禾口 quality_level全部等于零。应当注意,此处 针对此可选方案上下文所使用的“在同一层中”是指解码图像具有与EIDR图像分别相同的 temporal_level、cbpendency_id和quality_level值。应当注意，该在同一层中的概念相 比于最近草案SVC标准的差别在于此处考虑了 temporal_level。通过将temporal_level 考虑在内，就能支持从具有较低帧率的层到具有较高帧率的层的从低到高的层切换。而且， EIDR图像的编码效率提高了，这是因为具有较高temporaljevel值的参考图像自动从参 考图像列表中删除，使得节省了一些参考图像列表重排序命令或者参考图像的索引值变得 更小，从而提高了熵编码的编码效率。因为可伸缩编码的特性使得较低层不能依靠较高层，因此EIDR图像不能从位于 同一层以及更高层的图像进行预测，不过其仍然能够从来自较低层的图像进行预测，包括 时间上较低的层。这样就支持在EIDR图像的位置处从下一个较低层到包含该EIDR图像的 层的层切换。例如，新的NAL单元类型可以如下表1所示定义。值22用作该新的NAL单元 类型，并且NAL单元类型20的含义从“可伸缩扩展中非IDR图像的已编码片”变为“可伸缩 扩展中非IDR图像和非EIDR图像的已编码片”。表 1nal—unit—typeNAL单元内容和RBSP语法结构C0未指定1非IDR图像的已编码片 slice_layer_without_partitioning_rbsp()2,3,42已编码片数椐部分A slice_data_partition_a_layer_rbsp()23已编码片数据部分B slice_data_partition_b_layer_rbsp()34已编码片数据部分C slice_data_partition_c_layer_rbsp()45IDR图像的已编码片 slice_layer_without__partitioning_rbsp()2,36补充增强信息(SEI) sei—rbsp()57序列^lt集合 seq_parameter_set_rbsp()08图像械集合 pic_parameter_set_rbsp()19存取单元分界符 access_unit—delimiter—rbsp()610序列结束 end—of一 seq_rbsp()权利要求
一种将图像序列编码为存取单元序列的方法，所述方法包括将所述图像序列的第一图像编码为所述存取单元序列的第一存取单元，所述第一存取单元包括使用帧间预测编码的第一编码图像和其中所有码片是I码片或SI码片的第二编码图像，将可从在解码顺序中所述第一存取单元之前的存取单元解码的至少一个已解码参考图像标记为用于参考，以及指示所述第二编码图像以使得所述至少一个已解码参考图像被标记为未用于参考。
2.根据权利要求1所述的方法，包括发送针对所述编码图像的编码层结构，其中所述第二编码图像根据所述编码层结构增 强所述第一编码图像的空间分辨率或质量。
3.根据权利要求1或2所述的方法，进一步包括指示所述第二编码图像以使得所有标记为用于参考的已解码参考图像被标记为未用 于参考。
4.根据权利要求1到3中任意一项所述的方法，进一步包括针对所述第二编码图像生成至少一个网络抽象层(NAL)单元的NAL单元报头，从而包 括所述指示。
5.一种将存取单元序列解码为已解码图像序列的方法，所述存取单元序列包括第一存 取单元，所述第一存取单元包括使用帧间预测编码的第一编码图像和其中所有码片是I码 片或SI码片的第二编码图像，所述方法包括将在解码顺序中所述第一存取单元之前的至少一个存取单元解码为至少一个已解码 参考图像，将所述至少一个已解码参考图像标记为用于参考，将包括所述第二编码图像的所述第一存取单元解码为第一已解码参考图像，对与所述第二编码图像相关联的指示进行解码，以及作为对所述指示的解码的响应，将所述至少一个已解码参考图像标记为未用于参考。
6.一种用于将图像序列编码为存取单元序列的电子设备，所述电子设备包括处理器；以及存储器单元，其可操作地连接至所述处理器并且包括计算机程序产品，所述计算机程 序产品包括用于将所述图像序列的第一图像编码为所述存取单元序列的第一存取单元的计算机 代码，所述第一存取单元包括使用帧间预测编码的第一编码图像和其中所有码片是I码片 或SI码片的第二编码图像，用于将可从在解码顺序中所述第一存取单元之前的存取单元解码的至少一个已解码 参考图像标记为用于参考的计算机代码，以及用于指示所述第二编码图像以使得所述至少一个已解码参考图像被标记为未用于参 考的计算机代码。
7.根据权利要求6所述的电子设备，进一步包括用于发送针对所述编码图像的编码层结构的计算机代码，其中所述第二编码图像根据 所述编码层结构增强所述第一编码图像的空间分辨率或质量。
8.根据权利要求6或7所述的电子设备，进一步包括用于指示所述第二编码图像以使得所有标记为用于参考的已解码参考图像被标记为 未用于参考的计算机代码。
9.根据权利要求6到8中任意一项所述的电子设备，进一步包括用于针对所述第二编码图像生成至少一个网络抽象层(NAL)单元的NAL单元报头从而 包括所述指示的计算机代码。
10.一种用于将存取单元序列解码为已解码图像序列的电子设备，所述存取单元序列 包括第一存取单元，所述第一存取单元包括使用帧间预测编码的第一编码图像和其中所有 码片是I码片或SI码片的第二编码图像，所述电子设备包括处理器；以及存储器单元，其可操作地连接至所述处理器并且包括计算机程序产品，所述计算机程 序产品包括用于将在解码顺序中所述第一存取单元之前的至少一个存取单元解码为至少一个已 解码参考图像的计算机代码，用于将所述至少一个已解码参考图像标记为用于参考的计算机代码， 用于将包括所述第二编码图像的所述第一存取单元解码为第一已解码参考图像的计 算机代码，用于对与所述第二编码图像相关联的指示进行解码的计算机代码，以及 用于作为对所述指示的解码的响应，将所述至少一个已解码参考图像标记为未用于参 考的计算机代码。
11.一种将图像序列编码为存取单元序列的方法，其中所述存取单元序列内的存取单元第一子序列处于第一时间级别上， 所述存取单元序列内的存取单元第二子序列处于第二时间级别上， 所述存取单元第一子序列是独立于所述存取单元第二子序列可解码的， 所述存取单元第二子序列取决于所述存取单元第一子序列，所述方法包括 对从所述第一时间级别到所述第二时间级别的切换点的指示进行编码，所述切换点的 所述指示指示出所述存取单元第二子序列可从所述切换点开始解码，而无需对在解码顺序 中所述切换点之前的所述存取单元第二子序列中的存取单元进行解码。
12.—种将存取单元序列封装到至少一个文件中的方法，其中 所述存取单元序列内的存取单元第一子序列处于第一时间级别上， 所述存取单元序列内的存取单元第二子序列处于第二时间级别上，所述存取单元第一子序列是独立于所述存取单元第二子序列可解码的， 所述存取单元第二子序列取决于所述存取单元第一子序列，所述方法包括 将从所述第一时间级别到所述第二时间级别的切换点的指示封装到所述至少一个文 件中，所述切换点的所述指示指示出所述存取单元第二子序列可从所述切换点开始解码， 而无需对在解码顺序中所述切换点之前的所述存取单元第二子序列中的存取单元进行解 码。
13.根据权利要求11或12所述的方法，进一步包括定义补充增强信息(SEI)消息，其中包括所述切换点的所述指示。
14.一种用于将图像序列编码为存取单元序列的电子设备，其中 所述存取单元序列内的存取单元第一子序列处于第一时间级别上， 所述存取单元序列内的存取单元第二子序列处于第二时间级别上，所述存取单元第一子序列是独立于所述存取单元第二子序列可解码的， 所述存取单元第二子序列取决于所述存取单元第一子序列，所述电子设备包括 处理器；以及存储器单元，其可操作地连接至所述处理器并且包括计算机程序产品，所述计算机程 序产品包括用于对从所述第一时间级别到所述第二时间级别的切换点的指示进行编码的计算机 代码，所述切换点的所述指示指示出所述存取单元第二子序列可从所述切换点开始解码， 而无需对在解码顺序中所述切换点之前的所述存取单元第二子序列中的存取单元进行解 码。
15.一种用于将存取单元序列封装到至少一个文件中的电子设备，其中 所述存取单元序列内的存取单元第一子序列处于第一时间级别上， 所述存取单元序列内的存取单元第二子序列处于第二时间级别上，所述存取单元第一子序列是独立于所述存取单元第二子序列可解码的， 所述存取单元第二子序列取决于所述存取单元第一子序列，所述电子设备包括 处理器；以及存储器单元，其可操作地连接至所述处理器并且包括计算机程序产品，所述计算机程 序产品包括用于将从所述第一时间级别到所述第二时间级别的切换点的指示封装到所述至少一 个文件中的计算机代码，所述切换点的所述指示指示出所述存取单元第二子序列可从所述 切换点开始解码，而无需对在解码顺序中所述切换点之前的所述存取单元第二子序列中的 存取单元进行解码。
16.一种用于支持视频比特流中的从低到高的层切换的流式传输系统单元，包括第一单元，用于接收包括存取单元序列的所述视频比特流，其中所述存取单元序列内 的存取单元第一子序列处于第一时间级别上，所述存取单元序列内的存取单元第二子序列 处于第二时间级别上，所述存取单元第一子序列是独立于所述存取单元第二子序列可解码 的，所述存取单元第二子序列取决于所述存取单元第一子序列，第二单元，用于将从所述第一时间级别到所述第二时间级别的切换点的指示标识到至 少一个文件中，所述切换点的所述指示指示出所述存取单元第二子序列可从所述切换点开 始解码，而无需对在解码顺序中所述切换点之前的所述存取单元第二子序列中的存取单元 进行解码；以及第三单元，用于在从低到高的层切换点处从可伸缩层的子集的传输切换到可伸缩层的 更大子集的传输。
全文摘要
一种系统和方法，用于在文件格式层中信令从低到高的层切换点，以支持在流服务器和本地文件回放中的有效的可伸缩流切换。本发明还提供一种系统和方法，用于在视频比特流中信令从低到高的层切换点，例如，用以支持在可知媒体网元中的智能转发可伸缩层或者在流接收方的计算上的可伸缩解码。
文档编号H04N7/26GK101998123SQ20101058608
公开日2011年3月30日 申请日期2006年10月11日 优先权日2005年10月11日
发明者M·安尼克塞拉, Y-K·王 申请人:诺基亚公司