发信号通知用于多路复用视频分量的数据的制作方法

专利名称：发信号通知用于多路复用视频分量的数据的制作方法
技术领域：
本发明涉及经编码视频数据的存储及输送。
背景技术：
数字视频能力可并入到广泛范围的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。数字视频装置实施视频压缩技术(例如，由MPEG-2、MPEG-4、ITU-T H. 263或ITU-T H. 264/MPEG-4第10部分高级视频译码(AVC)定义的标准及这些标准的扩展中所描述的视频压缩技术)，以较有效地发射及接收数字视频信息。视频压缩技术执行空间预测及/或时间预测，以减少或移除视频序列中所固有的冗余。对于基于块的视频译码来说，可将视频帧或切片分割为多个宏块。可进一步分割每一宏块。使用相对于相邻宏块的空间预测来编码经帧内译码(I)帧或切片中的宏块。经帧间译码(P或B)帧或切片中的宏块可使用相对于同一帧或切片中的相邻宏块的空间预测或相对于其它参考帧中的宏块的时间预测。在视频数据已被编码之后，可将视频数据包化以供发射或存储。可遵照多种标准中的任一者(例如，国际标准化 组织(ISO)基础媒体文件格式及其扩展(例如，AVC))将视频数据组合成视频文件。一直在努力开发出基于H. 264/AVC的新视频译码标准。一个此类标准为可缩放视频译码(SVC)标准，其为H.264/AVC的可缩放扩展。另一标准为多视图视频译码(MVC)，其已变成H. 264/AVC的多视图扩展。MVC的联合草案描述于JVT-AB204的“关于多视图视频译码的联合草案 8. O (Joint Draft8. Oon Multiview Video Coding) ”(2008 年 7 月在德国汉诺威举办的第28届JVT会议)中，此文献可从http://wftp3.1tu.1nt/av-arch/jvt-site/2008_07_Hannover/JVT-AB204. zip 获得。AVC 标准的版本描述于 JVT-AD007的“对ITU-T Rec. H. 264 | IS0/IEC14496-10高级视频译码的编者修正草案-为ITU-TSG16AAP 同意做准备(以综合形式)(Editors’draft revision to ITU-T Rec. Η. 264 | ISO/IEC14496-10Advanced Video Coding-1n preparation for ITU-T SG16AAP Consent(inintegrated form)) ”(2009年2月在瑞士日内瓦举办的第30届JVT会议)中，此文献可从http://wftp3.1tu.1nt/av-arch/jvt-site/2009_01_Geneva/JVT-AD007. zip 获得。本文献将SVC及MVC整合到AVC规范中
发明内容
大体来说，本发明描述用于(例如)经由网络串流协议(例如，超文本传送协议(HTTP)串流)来输送视频数据的技术。在一些情况下，视频内容可包括音频及视频数据的多个可能组合。举例来说，所述内容可具有多个可能的音频轨道(例如，呈例如英语、西班牙语及法语等不同语言)及多个可能的视频轨道(例如，用不同译码参数来编码，例如各种位速率、各种帧速率及/或其它各种特性)。这些轨道可被称作分量，例如，音频分量及视频分量。分量的每一组合可形成多媒体内容的唯一呈现，且可作为服务而递送到客户端。本发明的技术允许服务器在单一数据结构中发信号通知各种表示或多媒体分量的特性。以此方式，客户端装置可检索所述数据结构且选择所述表示中的一者以向服务器进行请求(例如，根据串流网络协议)。在一个实例中，一种发送经封装视频数据的方法包括将视频内容的多个表示的分量的特性发送到客户端装置，其中所述特性包含帧速率、简档指示符、层级指示符、所述分量之间的相依性及3D表示的目标输出视图的数目中的至少一者；在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求；及响应于所述请求而将所述所请求分量发送到所述客户端装置。在另一实例中，一种用于发送经封装视频数据的设备包括处理器，其经配置以确定视频内容的多个表示的分量的特性，其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者；及一个或一个以上接口，其经配置以将所述特性发送到客户端装置，在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求，且响应于所述请求而将所述所请求分量发送到所述客户端装置。在另一实例中，一种用于发送经封装视频数据的设备包括用于将视频内容的多个表示的分量的特性发送到客户端装置的装置，其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者；用于在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求的装置；及用于响应于所述请求而将所述所请求分量发送到所述客户端装置的装置。在另一实例中，一种计算机程序产品包括计算机可读存储媒体，所述计算机可读存储媒体包含在执行 时致使用于发送经封装视频数据的源装置的处理器进行以下操作的指令将视频内容的多个表示的分量的特性发送到客户端装置，其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者；在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求；及响应于所述请求而将所述所请求分量发送到所述客户端装置。在另一实例中，一种接收经封装视频数据的方法包括向源装置请求视频内容的多个表示的分量的特性，其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者；基于所述特性来选择所述分量中的一者或一者以上；请求所述选定分量的样本；及在已接收所述样本之后解码并呈现所述样本。在另一实例中，一种用于接收经封装视频数据的设备包括一个或一个以上接口，其经配置以向源装置请求视频内容的多个表示的分量的特性，其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者；及处理器，其经配置以基于所述特性来选择所述分量中的一者或一者以上，且致使所述一个或一个以上接口将对所述选定分量的样本的请求提交到所述源装置。
在另一实例中，一种用于接收经封装视频数据的设备包括用于向源装置请求视频内容的多个表示的分量的特性的装置，其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者；用于基于所述特性来选择所述分量中的一者或一者以上的装置；用于请求所述选定分量的样本的装置；及用于在已接收所述样本之后解码并呈现所述样本的装置。在另一实例中，一种计算机程序产品包括计算机可读存储媒体，所述计算机可读存储媒体包含致使用于接收经封装视频数据的装置的处理器进行以下操作的指令向源装置请求视频内容的多个表示的分量的特性，其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者；基于所述特性来选择所述分量中的一者或一者以上；请求所述选定分量的样本；及在已接收所述样本之后解码并呈现所述样本。一个或一个以上实例的细节陈述于附图及以下描述中。其它特征、目的及优点将从所述描述及图式以及从权利要求书显而易见。


图1为说明音频/视频(A/V)源装置将音频及视频数据传送到A/V目的地装置的实例系统的框图。图2为说明适合用于图1中所展示的A/V源装置中的实例封装单元的组件的框图。图3为说明可用于图1的系统中的实例分量映射盒及实例分量布置盒的概念图。图4为说明用于多路复用图1的系统中的实例视频分量及实例音频分量的实例时序间隔的概念图。图5为说明用于将分 量映射盒及分量布置盒从服务器提供到客户端的实例方法的流程图。
具体实施例方式大体来说，本发明描述用于输送视频内容的技术。本发明的技术包括使用例如超文本传送协议(HTTP)串流等串流协议来输送视频内容。尽管出于说明的目的而描述HTTP，但本发明中所呈现的技术可供其它类型的串流使用。视频内容可封装于特定文件格式(例如，ISO基础媒体文件格式或其扩展)的视频文件中。还可用MPEG-2输送流来封装视频内容。内容服务器可提供多媒体服务，所述多媒体服务包括不同类型的媒体数据(例如，音频及视频)及每一类型的各种数据集合(例如，不同语言(例如，英语、西班牙语及德语音频)及/或视频的不同编码类型(例如，MPEG-2、MPEG-4、H. 264/AVC或H. 265))。本发明的技术可尤其对发信号通知可如何组合及多路复用各种类型及每一类型的数据集合为有用的。本发明将场景的相关多媒体数据的集合称作“内容”，其可含有多个视频及/或音频内容分量。术语“内容分量”或(简单地)“分量”指代单一类型的媒体，例如，视频或音频数据。数据的分量可指代数据的轨道、子轨道，或轨道或子轨道的集合。大体来说，“轨道”可对应于相关经编码图片样本的序列，而子轨道可对应于轨道的经编码样本的子集。作为实例，内容分量可对应于视频轨道、音频轨道或电影字幕。HTTP串流服务器可将内容分量的集合作为对客户端的服务而递送到客户端。
服务可对应于从可用于所述内容的所有视频内容分量选择一个视频内容分量及从可用于所述内容的所有音频内容分量选择一个音频内容分量。举例来说，作为存储于HTTP服务器中的内容，足球比赛节目可具有多个视频内容分量(例如，具有不同位速率(512kbps或IMbps)或具有不同巾贞速率)及多个音频分量(例如，英语、西班牙语或中文)。因此，提供到客户端的服务可对应于选择一个视频分量及一个音频分量，例如，伴随有512kbps视频的西班牙语音频。还可将视频及音频分量的组合称作内容的表示。作为实例，在HTTP串流中，客户端装置产生呈HTTP获取请求或部分获取请求的形式的对数据的一个或一个以上请求。HTTP获取请求指定文件的统一资源定位符(URL)或统一资源名称(URN)。HTTP部分获取请求指定文件的URL或URN，以及文件的待检索的字节范围。HTTP串流服务器可通过输出(例如，发送)所请求URL或URN处的文件或在HTTP部分获取请求的情况下输出所述文件的所请求字节范围来对HTTP获取请求作出响应。为了使客户端适当地产生HTTP获取及部分获取请求，服务器可将关于对应于内容分量的文件的URL及/或URN的信息以及所述分量的特性提供到客户端，使得客户端可选择所要内容分量且适当地产生对所述分量的HTTP获取及/或部分获取请求。本发明的技术包括发信号通知内容分量的特性，例如，发信号通知各种内容分量的数据的位置。以此方式，客户端装置可选择内容的表示且产生对各种类型的内容分量的组合的请求。举例来说，根据以上实例，用户可选择观看伴随有西班牙语音频的512kbps视频。观看者的客户端装置可提交对这两个分量的请求。也就是说，客户端装置可使用来自服务器的发信号通知的数据来确定512kbps视频及西班牙语音频的数据的位置，且接着产生对这些内容分量所对应的数据的请求。响应于所述请求，服务器可将这两个分量作为服务递送到客户端装置。ISO基础媒体文件格式经设计以含有呈灵活、可扩展的格式的表示的时控媒体信息，所述时控媒体信息促进媒体的互换、管理、编辑及表示。ISO基础媒体文件格式(ISO/IEC14496-12:2004)在MPEG-4第12部分中指定，MPEG-4第12部分定义针对基于时间的媒体文件的一般结构。ISO基础媒体文件格式用作所述系列中的例如以下各项等其它文件格式的基础经定义以支持 H. 264/MPEG-4AVC视频压缩的AVC文件格式(IS0/IEC14496-15)、3GPP文件格式、SVC文件格式及MVC文件格式。3GPP文件格式及MVC文件格式为AVC文件格式的扩展。ISO基础媒体文件格式含有用于媒体数据的时控序列(例如，音频视觉表示)的时序、结构及媒体信息。所述文件结构可为面向对象的。可极其简单地将文件分解成基本对象且对象的结构由其类型暗示。遵照ISO基础媒体文件格式(及其扩展)的文件可形成为一连串对象，称作“盒”。呈ISO基础媒体文件格式的数据可含于盒中，使得所述文件内不需要含有其它数据，且文件内不需要在盒之外的数据。此包括特定文件格式所需的任何初始签名。“盒”可为通过唯一类型识别符及长度定义的面向对象的构造块。通常，表示含于一个文件中，且媒体表示为自含式的。电影容器(电影盒)可含有媒体的元数据，且视频及音频帧可含于媒体数据容器中且可在其它文件中。根据本发明的技术，服务器可提供发信号通知各种内容分量的特性的分量映射盒。所述分量映射盒可对应于可存储于与存储各种内容分量的经编码样本的文件分离的文件中的数据结构。所述分量映射盒可发信号通知内容分量的特性，常规地，并不针对视频数据而在存储于实际上包括经译码视频样本的文件外部的数据结构中发信号通知所述特性。还可在信息列表文件或HTTP串流的媒体呈现描述中发信号通知此数据结构(如在分量映射盒中)。所述特性可包括(例如)帧速率、简档指示符、层级指示符，及分量之间的相依性。通过分量映射盒发信号通知的特性还可包括3D视频的三维特性，例如视图的数目及视图(例如，形成立体对的两个视图)之间的关系。除了针对内容分量常规地发信号通知的特性(例如，所述内容分量的位速率及分辨率)以外，分量映射盒还可发信号通知这些特性。所述分量映射盒还可提供唯一地识别内容的服务的服务识别符(例如，Content_id值)。所述服务的每一分量可与所述服务识别符相关联。源装置 可经配置以为视频内容提供分量映射盒，而不管所述内容如何被封装。也就是说，源装置可将分量映射盒提供到客户端装置，而不管视频内容是否根据以下格式来封装高级视频译码(AVC)文件格式、可缩放视频译码(SVC)文件格式、多视图视频译码(MVC)文件格式、第三代合作伙伴计划(3GPP)文件格式或其它文件格式。分量映射盒可发信号通知特定内容的内容分量的特性。在一些实例中，每一分量可对应于文件的视频或音频轨道、一连串小文件中的轨道、轨道片段、轨道的组合(例如，在SVC或MVC中)，或轨道的子集。大体来说，分量映射盒可与其所描述的视频数据分离地存储。在一些实例中，分量映射盒可包括于单独文件中或包括作为包括内容分量的一个电影文件(例如，mp4或3GP文件)或支持本发明中所描述的功能性的其它文件的部分。分量映射盒的位置可通过封装文件类型而变化。此外，可将分量映射盒扩展到ISO基础媒体文件格式或其扩展中的一者或一者以上。还可在信息列表文件或HTTP串流的媒体呈现描述中发信号通知此数据结构(如在分量映射盒中)。默认地，分量映射盒可适用于相关联内容的整个持续时间。然而，在一些情况下，分量映射盒可仅应用于内容的特定时序间隔。在这些情况下，服务器可提供多个分量映射盒，且针对每一者发信号通知所述分量映射盒所对应的时序间隔。在一些实例中，当服务器提供多个分量映射盒时，服务器可以静态模式来配置，在所述静态模式中，所述分量映射盒以时序间隔次序连续地布置于同一文件中。在一些实例中，服务器可以动态模式来配置，在所述动态模式中，所述分量映射盒可提供于单独文件中及/或提供于彼此不连续位置中。所述动态模式可提供实况串流的优点，而静态模式可提供关于在较大时间范围中进行搜寻的优点。本发明还提供分量布置盒，所述分量布置盒可包括于每一文件内以发信号通知所述文件的轨道与各种分量之间的关系。举例来说，在包括两个或两个以上轨道的数据的文件中的分量布置盒可发信号通知所述文件中的轨道的轨道识别符与对应内容分量的分量识别符之间的关系。以此方式，客户端装置可首先从服务器装置检索分量映射盒。客户端装置可接着基于由分量映射盒发信号通知的特性来选择表示的一个或一个以上分量。接着，客户端装置可从存储由分量映射盒所描述的分量的文件检索分量布置盒。通过使用可包括段信息(例如，特定分量的片段的字节范围)的分量映射盒，客户端可确定选定分量的片段存储于文件中何处。基于此确定，客户端可提交对选定分量所对应的轨道或子轨道的片段的请求(例如，HTTP获取或部分获取请求)。
以此方式，替代在分量映射盒中发信号通知关于每一文件或每一轨道如何与内容分量相关联的信息，可将此信息存储于与相应文件相关联的分量布置盒中。分量映射盒可发信号通知内容的所有分量的分量识别符(例如，component_id值)，而分量布置盒可发信号通知存储于对应于分量布置盒的文件内的分量的component_id值与相关联于所述component_id值的content_id值之间的关系。在一些情况下,分量映射盒还可存储段信息。另外，分量映射盒可包括指示分量映射盒是否包括段信息的旗标。客户端装置可经配置以假定如果分量映射盒不包括段信息，则所述表示的媒体数据含于相依表示中。服务器可将唯一 component_id值指派给每一类型的媒体,从而确保component_id值对于同一服务中的任何视频或音频分量来说为唯一的。特定类型的分量可为可彼此切换的。也就是说，客户端可(例如)响应于变化的网络条件或其它因素而在各种视频分量之间切换。客户端不需要请求每一可用类型的分量。举例来说，客户端可省略请求包括隐藏式辅助字幕分量的内容的辅助字幕。此外，在一些情况下，可请求同一媒体类型的多个分量以(例如)支持3D视频或画中画。服务器可提供额外发信号通知以支持例如画中画等特定功能性。举例来说，服务器可提供指示分量是否包括画中画数据的描述的旗标。如果所述旗标指示所述分量包括画中画数据，则分量映射盒可提供某一表示的识别符，所述表示将连同当前表示一起展示以形成画中画显示。一个表示可对应于大图片，而另一表示可对应于与所述大图片重叠的较小图片。如上文所提，服务器可在包括对应于一个或一个以上分量的经编码样本的每一文件中提供分量布置盒。分量布置盒可提供于文件的标头数据中。分量布置盒可指示包括于文件中的分量及所述分量如何存储(例如，作为文件内的轨道)。分量布置盒可提供分量识别符值与文件中的对应轨道的轨道识别符值之间的映射。分量映射盒还可发信号通知内容分量之间的相依性，其中所述发信号通知的相依性可包括针对存取单元内部的 内容分量的解码次序的与当前内容分量的相依性次序。关于当前表示的相依性的发信号通知的信息可包括相依于当前表示的表示及/或当前表示所相依于的表示中的任一者或两者。还可在时间维度上在内容分量之间存在相依性。然而，简单地指示每一视频分量的temporaljd值可能并不足够，因为在完全独立的替代视频位流中的时间子层未必具有彼此的帧速率的映射。举例来说，一个视频分量可具有24fps的中贞速率及等于O的temporal_id,且可具有12fps的子层(假定两个时间层)，而另一视频分量可具有30fps的巾贞速率连同等于O的temporal_id,且可具有7. 5fps的子层(假定三个时间层)。服务器可因此在发信号通知两个视频分量的相依性时指示时间层的差。大体来说，分量的发信号通知的特性可包括(例如)平均位速率、最大位速率(例如，在一秒内)、分辨率、帧速率、对其它分量的相依性及/或保留扩展(例如，针对多视图视频)，所述扩展可包括以输出为目标的视图的数目及那些视图的识别符。还可发信号通知关于形成内容分量的一连串媒体片段的信息。每一媒体片段的发信号通知的信息可包括媒体片段的字节偏移、所述媒体片段中的第一样本的解码时间、所述片段中的随机存取点以及所述随机存取点的解码时间及表示时间，及/或用以指示所述片段是否属于内容分量的新段(且因此属于不同URL)的旗标。在一些情况下，音频数据的片段在时间上并不与视频数据的片段对准。本发明提供用于基于特定时间间隔来多路复用多个内容分量的技术。分量映射盒可提供所支持的多路复用间隔的列表，或多路复用间隔的范围。可将所述多路复用间隔指明为T，且所述多路复用间隔可表示经多路复用音频及视频数据的时间长度。假设待请求的下一时间间隔为[η*τ，(η+1)*Τ]。客户端装置可确定每一内容分量中是否存在具有开始时间t使得(n*T)〈=t〈=((n+l)*T)的某片段。如果存在所述片段，则客户端装置可请求那个片段。可在当前多路复用间隔n*T之前请求在η*Τ之前开始的片段，而可在稍后多路复用间隔处请求在间隔(η+1)*Τ之后开始的片段。以此方式，仍可多路复用不具有彼此对准或与所请求多路复用间隔对准的片段边界的内容分量。此外，多路复用间隔可在服务期间改变，而不阻止内容分量的多路复用。客户端装置可经配置以通过改变多路复用间隔而适应变化的网络条件。举例来说，当带宽变得相对较为可用时，客户端装置可增大多路复用间隔。另一方面，当带宽变得相对较不可用时，客户端装置可减小多路复用间隔。客户端装置可进一步经配置以基于某一时序间隔及瞬时位速率来请求经多路复用片段。客户端装置可基于片段中的字节的数目及片段的持续时间来计算瞬时位速率。在一些实例中，服务器可将同一分量识别符指派给两个连续的媒体表示(例如，具有顺序时序信息的两个视频文件)以支持时间拼接。如上文所提，在一些情况下，表示可包括存储于不同文件中的内容分量。因此，客户端装置可能需要提交检索内容的特定时间间隔的数据的多个获取或部分获取请求。也就是说，客户端可能需要提交涉及存储所述表示的内容分量的各种文件的多个获取或部分获取请求。当需要多个请求来获得待在某一时间间隔中多路复用的数据时，客户端装置可管线递送所述请求以确保在当前时间间隔中的所要媒体片段数据之间不接收另一时间间隔中的数据。以此方式，可在网络串流上下文(例如，HTTP串流)中支持具有多个文件中的分量的媒体内容。也就是说，所述媒体内容的表示可包括一个文件中的一个分量及单独文件中的另一分量。服务器可在单一数据结构(例如，分量映射盒)中发信号通知不同文件中的分量的特性。此情况可 使得客户端能够请求任何目标内容分量或请求目标内容分量的任何持续时间。类似于本发明的分量映射盒及分量布置盒的数据结构的使用还可提供其它优点。举例来说，不同分量中的两个媒体轨道可在相应分量内具有相同轨道识别符(track_id)值。然而，如上文所提，分量映射盒可涉及使用与轨道识别符值不同的分量识别符的单独分量。因为每一文件可包括将分量识别符映射到轨道识别符的分量布置盒，所以分量映射盒可涉及使用独立于轨道识别符值的分量识别符的分量。分量布置盒还可提供用于(例如)在内容递送网络(CDN)服务器存储对应于许多不同内容的多个文件时指定哪一文件对应于哪一内容的有效机制。此外，本发明的技术可支持具有不同网络缓冲器大小的客户端。也就是说，一些客户端可(例如)归因于网络条件、客户端能力及其类似者而需要大小与其它客户端不同的缓冲器。因此，在一些情况下，可能需要以不同时间间隔多路复用特定表示的多种类型的分量。本发明提供以下技术使服务器发信号通知不同的可能多路复用时间间隔，且因此(例如)根据使用HTTP的客户端与服务器之间的来回时间来考虑所请求数据的大小的变化并因此考虑发射的性能。
此外,在一些情况下,一个文件中的内容分量可相依于一个或一个以上其它文件中的若干其它内容分量。此相依性可发生于存取单元内。作为实例，视频内容分量可对应于相依于通用接口格式(CIF)层及四分之一通用接口格式(QCIF)层的CIF SVC增强层。CIF层及QCIF层两者可在一个文件中，而4CIF增强层可在另一文件中。本发明的技术可确保客户端能够适当地请求CIF、QCIF及4CIF层的数据，使得客户端的解码器基于相依性以适当解码次序接收来自这些层的样本。在一些实例中，可使用动态服务器来动态地建立一起多路复用内容分量的文件。举例来说，动态服务器可支持遵循通用网关接口(CGI)服务以一起多路复用分量且使得当前时间间隔的数据为动态文件的连续部分的方法。CGI描述于可在http://t00ls.1etf.org/html/rfc3875处获得的意见请求3875中。通过使用例如CGI等服务,服务器可针对内容的表示动态地产生包括各种内容分量的组合的文件。表示(运动序列)可含于若干文件中。时序及成帧(位置及大小)信息大体上在ISO基础媒体文件中，且辅助文件可实质上使用任何格式。此表示可在含有所述表示的系统的“本地”，或可经由网络或其它流递送机制来提供。所述文件可具有逻辑结构、时间结构及物理结构，且这些结构不需要耦合。文件的逻辑结构可为电影或视频剪辑(可能包括视·频数据及音频数据两者)的，其又含有一组时间并行的轨道。文件的时间结构可使得轨道含有按时间的样本的序列，且那些序列通过任选的编辑列表而映射到整个电影的时间线中。文件的物理结构可将逻辑、时间及结构分解所需的数据与媒体数据样本自身分离。此结构信息可集中于电影盒中，可能在时间上由电影片段盒扩展。所述电影盒可加注样本的逻辑及时序关系，且还可含有到其所处位置的指针。那些指针可指向同一文件中或另一文件中(例如，通过URL参考)。每一媒体流可含于专门用于那个媒体类型(音频、视频等)的轨道中，且可进一步通过样本项目来参数化。所述样本项目可含有确切媒体类型(解码流所需的解码器的类型)的“名称”及那个所需解码器的任何参数化。所述名称还可采取四字符码(例如，“moov”或“trak”)的形式。存在不仅用于MPEG-4媒体而且用于使用此文件格式系列的其它组织所使用的媒体类型的经定义的样本项目格式。对元数据的支持大体上采取两种形式。首先，可将时控元数据存储于适当轨道中，且在需要时与其所描述的媒体数据同步。其次，可存在对附接到电影或个别轨道的非时控元数据的一般支持。所述结构支持为一般的，且允许元数据资源以与媒体数据(即，经译码视频图片)的存储类似的方式存储于所述文件中的别处或存储于另一文件中。另外，可为这些资源指定名称且可保护这些资源。术语“渐进式下载”用以描述通常使用HTTP协议的数字媒体文件从服务器到客户端的传送。当由计算机起始时，所述计算机可在下载完成之前开始重放媒体。串流媒体与渐进式下载之间的一个差别在于，正存取数字媒体的最终用户装置如何接收并存储数字媒体数据。能够进行渐进式下载重放的媒体播放器依赖于位于文件的标头中的元数据为完整的且在数字媒体文件是从网络服务器下载时依赖于数字媒体文件的本地缓冲。在指定量的经缓冲数据变得可为本地重放装置所用时，所述装置可开始播放所述媒体。此指定量的经缓冲数据可通过编码器设定中的内容的制作者嵌入到文件中，且可通过客户端计算机的媒体播放器所强加的额外缓冲器设定来加强。
在渐进式下载或HTTP串流中，替代提供包括所有媒体数据(包括视频及音频样本)的单一电影盒(moov盒)，支持电影片段(moof)含有除了所述电影盒中所含有的那些样本以外的额外样本。通常，电影片段含有在某一时间段内的样本。通过使用所述电影片段，客户端可快速地搜寻所要时间。电影片段可含有文件的连续字节，使得根据串流协议(例如，HTTP串流)，客户端可发出检索电影片段的部分获取请求。关于作为实例的3GPP，支持3GPP文件的HTTP/TCP/IP输送以进行下载及渐进式下载。此外，使用HTTP进行视频串流可提供一些优点，且基于HTTP的视频串流服务正变得风行。HTTP串流可提供某些优点，包括可使用现有因特网组件及协议，使得不需要作出新的努力来开发用于经由网络输送视频数据的新技术。其它输送协议(例如，实时协议(RTP)有效负载格式)需要中间网络装置(例如，中间盒)知晓媒体格式及发信号通知上下文。而且，HTTP串流可为客户端驱动的，此可避免控制问题。使用HTTP在实施HTTP1.1的网络服务器处还未必需要新的硬件或软件实施方案。HTTP串流还提供TCP易用性及防火墙穿越。在HTTP串流中，媒体表示可为客户端可存取的数据的结构化集合。所述客户端可请求并下载媒体数据信息以向用户呈现串流服务。服务由客户端的用户体验为电影的表示，所述电影的表示由客户端从由服务器递送的内容分量解码并再现。在HTTP串流中，替代响应于一个请求而接收完整内容，客户端可请求内容分量的段。以此方式，HTTP串流可提供内容的更灵活递送。段可包括可通过一个URL请求的连续电影片段的集合。举例来说，段可为可含有视频及音频的整个小文件。作为另一实例，段可对应于可含有一个视频轨道片段及一个音频轨道片段的一个电影片段。作为又一实例，段可对应于若干电影片段，所述若干电影片段中的任一者或全部可具有一个视频片段及一个音频片段，且所述电影片段可在解码时间上为连续的。还被称作内容散布网络的内容递送网络(CDN)可包括含有数据的复本的计算机的系统，所述计算机放置于网络中的各点处以便使用于由客户端贯穿网络而存取数据的带宽最大化。与所有客户端存取同一中央服务器相反，客户端可存取客户端附近的数据的复本，此可避免个别服务器附近的瓶颈。内容类型可包括网络对象、可下载对象(媒体文件、软件、文档及其类似者)、应用程序、实时媒体流及因特网递送的其它组件(DNS、路由及数据库查询)。存在仅依赖于HTTP协议的许多成功⑶N，更具体来说，基于HTTP1.1的原始服务器、代理及高速缓冲存储器。在HTTP串流中，频繁使用的操作包括获取及部分获取。获取操作检索与给定统一资源定位符(URL)或统一资源名称(URN)相关联的整个文件。部分获取操作接收字节范围作为输入参数且检索文件的对应于所接收到的字节范围的连续数目个字节。因此，可提供电影片段以进行HTTP串流，因为部分获取操作可取得一个或一个以上个别电影片段。电影片段可含有来自不同轨道的若干轨道片段。在HTTP串流的上下文中，段可作为对获取请求或部分获取请求的响应而递送(在HTTP1.1中)。在⑶N中，例如代理及高速缓冲存储器等计算装置可响应于请求而存储段。因此，如果所述段由另一客户端(或同一客 户端)请求，且所述客户端具有经由此代理装置的路径，则所述代理装置可将段的本地复本递送到客户端，而不再次从原始服务器检索所述段。在HTTP串流中，如果代理装置支持HTTP1. 1，则作为对请求的响应，字节范围可在存储于代理装置的高速缓冲存储器中时进行组合，或在用作对请求的响应的本地复本时提取。每一内容分量可包括连续片段的部分，其中的每一者可通过由客户端装置所发送的HTTP获取或部分获取来请求。内容分量的此片段可被称作媒体片段。在HTTP串流中可存在一个以上媒体表示，以支持各种位速率及各种装置，以及适应各种用户偏好。表示的描述可描述于媒体呈现描述(MPD)数据结构中，所述媒体呈现描述(MPD)数据结构可对应于分量映射盒(如由服务器产生且发送到客户端)。也就是说，如在本发明中所描述，常规MH)数据结构可包括对应于分量映射盒的数据。在其它实例中，除了在本发明中关于分量映射盒所描述的数据以外，分量映射盒还可进一步包括类似于MPD数据结构的数据。所描述的表示可包括含于一个或一个以上电影文件中的内容分量。如果使用静态内容服务器，则服务器可存储电影文件。如果支持动态内容服务器，则服务器可响应于所接收到的请求而产生动态文件(内容)。尽管动态内容可由服务器在运作中产生，但其对计算装置(例如，代理及高速缓冲存储器)为透明的。因此，还可高速缓存响应于对动态内容服务器的请求而提供的段。动态内容服务器可具有更复杂的实施方案且在服务器侧处的存储可能为次最佳的或在内容的递送期间的高速缓存可能为次有效的。另外，本发明还包括用于在MPD中发信号通知特定表示(例如，分量的组合)是否为完整操作点的技术。也就是说，服务器可在MPD中提供旗标以向客户端指示表示是否可被选择作为完整视频操作点。操作点可对应于MVC子位流，即，包含在某一时间层级处的视图的子集且自身表示有效位流的MVC位流的子集。操作点可表示某一时间及视图可缩放性层级且仅含有用以表示在某一时间层级处的视图的某一子集的有效位流所需的NAL单元。操作点可通过视图的子集的视图识别符值及视图的子集的最高时间识别符来描述。MPD还可描述多媒体内容的个别表示。举例来说，对于每一表示，MH)可发信号通知表示识别符、默认属性表示识别符、表示的简档及层级指示符、表示的帧速率、相依性群组识别符及时间识别符。所述表示识别符可提供多媒体内容的相关联表示的唯一识别符。所述默认属性表示识别符可提供具有将用作当前表示的默认属性的属性的表示的识别符，所述属性可包括以下各项中的任一者或全部简档及层级指示符、带宽、宽度、高度、帧速率、相依性群组识别符、时 间识别符及/或3D视频的帧封装类型。所述帧速率识别符可指定对应表示的视频分量的帧速率。所述相依性群组识别符可指定相依性群组，对应表示被指派给所述群组。相依性群组中的具有一个时间识别符值的表示可相依于同一相依性群组中的具有较低时间识别符值的表示。对于3D视频表示(例如，对应于多视图视频)来说，分量映射盒可描述供输出的目标视图的数目。也就是说，分量映射盒可包括表示用于表示的目标输出视图的数目的值。在一些实例中，分量映射盒可提供单一视图的深度信息连同所述单一视图的经译码样本，使得客户端装置可从所述单一视图及所述深度信息构造第二视图。可存在旗标以指示所述表示为视图加深度表示。在一些实例中，多个视图可含于所述表示中，每一视图与深度信息相关联。以此方式，所述视图中的每一者可用作用于建立立体视图对的基础，从而针对所述表示的所述视图中的每一者产生两个视图。因此，尽管多个视图可含于所述表示中，但所述视图中的两者未必形成立体视图对。在一些实例中，可包括旗标以指示表示是否仅为相依表示，相依表示自身不可形成对应多媒体内容的有效表示。图1为说明其中音频/视频(A/V)源装置20将音频及视频数据输送到A/V目的地装置40的实例系统10的框图。图1的系统10可对应于视频电话会议系统、服务器/客户端系统、广播台/接收器系统，或其中将视频数据从源装置(例如，A/V源装置20)发送到目的地装置(例如，A/V目的地装置40)的任何其它系统。在一些实例中，A/V源装置20及A/V目的地装置40可执行双向信息交换。也就是说，A/V源装置20及A/V目的地装置40可能够进行以下两者编码及解码(以及发射及接收)音频及视频数据。在一些实例中，音频编码器26可包含语音编码器，还被称作声码器。在图1的实例中，A/V源装置20包含音频源22及视频源24。举例来说，音频源22可包含麦克风，所述麦克风产生表示待由音频编码器26编码的所俘获音频数据的电信号。或者，音频源22可包含存储先前记录的音频数据的存储媒体、例如计算机化合成器等音频数据产生器，或任何其它音频数据源。视频源24可包含产生待由视频编码器28编码的视频数据的摄像机、编码有先前记录的视频数据的存储媒体、视频数据产生单元或任何其它视频数据源。原始音频及视频数据可包含模拟或数字数据。在通过音频编码器26及/或视频编码器28编码之前，模拟数据可经数字化。在讲话参与者正在讲话时，音频源22可获得来自讲话参与者的音频数据，且视频源24可同时获得所述讲话参与者的视频数据。在其它实例中，音频源22可包含包括所存储的音频数据的计算机可读存储媒体，且视频源24可包含包括所存储的视频数据的计算机可读存储媒体。以此方式，本发明中所描述的技术可应用于实况、串流、实时音频及视频数据或应用于经存档、预先记录的音频及视频数据。此外，所述技术可应用于计算机产生的音频及视频数据。对应于视频帧的音频帧大体上为含有与在视频帧内所含有的由视频源24所俘获的视频数据同时地由音频源22所俘获的音频数据的音频帧。举例来说，当讲话参与者大体上通过讲话而产生音频数据时，音频源22俘获音频数据，且视频源24同时(即，在音频源22正俘获音频数据的同时)俘获讲话参与者的视频数据。因此，音频帧可在时间上对应于一个或一个以上特定视频帧。因此，音频帧对应于视频帧大体上对应于同时俘获到音频数据及视频数据且音频帧及视频帧分别包含音频数据及同时俘获到的视频数据的情形。在一些实例 中，音频编码器26可将表示记录每一经编码音频帧的音频数据的时间的时戳编码于所述经编码音频帧中，且类似地，视频编码器28可将表示记录每一经编码视频帧的视频数据的时间的时戳编码于所述经编码视频帧中。在这些实例中，音频帧对应于视频帧可包含音频帧包含一个时戳且视频帧包含同一时戳。A/V源装置20可包括内部时钟，音频编码器26及/或视频编码器28可从所述内部时钟产生时戳，或音频源22及视频源24可使用所述内部时钟来使音频及视频数据分别与时戳相关联。在一些实例中，音频源22可将对应于记录音频数据的时间的数据发送到音频编码器26，且视频源24可将对应于记录视频数据的时间的数据发送到视频编码器28。在一些实例中，音频编码器26可将序列识别符编码于经编码音频数据中以指示经编码音频数据的相对时间排序但不必指示记录音频数据的绝对时间，且类似地，视频编码器28也可使用序列识别符来指示经编码视频数据的相对时间排序。类似地，在一些实例中，序列识别符可经映射或以其它方式与时戳相关。本发明的技术大体上是针对经编码多媒体(例如，音频及视频)数据的输送，以及经输送的多媒体数据的接收以及后续解译及解码。明确地说，封装单元30可产生多媒体内容的分量映射盒，以及对应于所述多媒体内容的每一文件的分量布置盒。在一些实例中，处理器可执行对应于封装单元30的指令。也就是说，用以执行归封装单元30所有的功能性的指令可存储于计算机可读媒体上且由处理器执行。在其它实例中，其它处理电路也可经配置以执行归封装单元30所有的功能。可与内容的分量(例如，音频分量、视频分量或其它分量)分尚地存储分量映射盒。因此，目的地装置40可请求多媒体内容的分量映射盒。目的地装置40可使用分量映射盒来基于用户的偏好、网络条件、目的地装置40的解码及再现能力或其它因素确定待请求的分量以执行内容的重放。A/V源装置20可将“服务”提供到A/V目的地装置40。服务大体上对应于一个或一个以上音频及视频内容分量的组合，其中所述音频及视频内容分量为完整内容的可用内容分量的子集。一个服务可对应于具有两个视图的立体视频，而另一服务可对应于四个视图，且又一服务可对应于八个视图。大体来说，服务对应于源装置20提供可用内容分量的组合(即，子集)。内容分量的组合还被称作内容的表示。封装单元30从音频编码器26及视频编码器28接收经编码样本且从所述经编码样本形成对应网络抽象层(NAL)单元，所述网络抽象层(NAL)单元可采取包化基本流(PES)包的形式。在H.264/AVC(高级视频译码)的实例中，经译码视频段组织成NAL单元，此提供“网络易用”视频表示寻址应用，例如视频电话、存储、广播或串流。NAL单元可分类为视频译码层(VCL) NAL单元及非VCL NAL单元。VCL单元可含有来自核心压缩引擎的数据，且可包括块、宏块及/或切片层级数据。其它NAL单元可为非VCL NAL单元。在一些实例中，一个时间实例中的经译码图片(通常呈现为主要经译码图片)可含于存取单元中，所述存取单元可包括一个或一个以上NAL单元。根据本发明的技术，封装单元30可构造描述内容分量的特性的分量映射盒。封装单元30还可构造一个或一个以上视频文件的分量布置盒。封装单元30可使每一分量布置盒与对应视频文件相关联，且可 使分量映射盒与视频文件集合相关联。以此方式，分量布置盒与视频文件之间可存在1:1对应性，且分量映射盒与视频文件之间可存在1:N对应性。如上文所提，分量映射盒可描述为内容所共有的分量的特性。举例来说，所述内容可包括音频分量、视频分量及例如隐藏式辅助字幕等其它分量。某一类型的分量中的每一者可为可彼此切换的。举例来说，两个视频分量可为可切换的，因为可检索来自两个分量中的任一者的数据而不阻碍内容的重放。各种分量可以各种方式以及以各种质量来编码。举例来说，各种视频分量可以各种帧速率、位速率、使用不同编码器(例如，对应于不同编解码器)来编码，以各种文件类型(例如，H. 264/AVC或MPEG-2输送流(TS))来封装，或以其它方式而彼此不同。然而，例如，视频分量的选择大体上独立于音频分量的选择。通过分量映射盒发信号通知的分量的特性可包括平均位速率、最大位速率(例如，在分量的一秒的重放时间内)、分辨率、帧速率、对其它分量的相依性，及/或各种文件类型(例如，多视图视频)的扩展(例如，以输出为目标的视图的数目及所述视图中的每一者的识别符)。可充当服务器(例如，HTTP服务器)的源装置20可存储同一内容的多个表示供调适。一些表示可含有多个内容分量。所述分量可存储于源装置20的存储装置(例如，一个或一个以上硬盘驱动器)上的不同文件中，且因此，表示可包括来自不同文件的数据。通过发信号通知各种分量的特性，封装单元30可向目的地装置40提供选择每一可切换分量的一者以再现及重放对应内容的能力。也就是说，目的地装置40可从源装置20检索特定内容的分量映射盒，选择所述内容的对应于所述内容的特定表示的分量，接着从源装置20检索选定分量的数据(例如，根据串流协议(例如，HTTP串流))。目的地装置40可基于网络条件(例如，可用带宽)及分量的特性选择表示。此外，目的地装置40可使用由源装置20发信号通知的数据来适应变化的网络条件。也就是说，因为同一类型的分量可彼此切换，所以当网络条件改变时，目的地装置40可选择更适合于新近确定的网络条件的特定类型的不同分量。封装单元30将分量识别符值指派给多媒体内容的每一分量。所述分量识别符值对于所述分量为唯一的，而与类型无关。也就是说，例如，不应存在具有同一分量识别符的音频分量及视频分量。分量识别符还未必与个别文件内的轨道识别符有关。举例来说，内容可具有各自存储于不同文件中的两个视频分量。所述文件中的每一者可使用同一轨道识别符来识别视频分量，因为局限于特定文件的识别符对于那个文件的范围(并非在外部)为特定的。然而，因为本发明的技术涉及提供可驻留于多个文件内的分量的特性，所以本发明提议唯一地指派未必与轨道识别符有关的分量识别符。分量映射盒还可针对文件中的每一分量/轨道指示如何存储片段，例如，片段在何处开始、所述片段是否包括随机存取点(且所述随机存取点是瞬时解码刷新(IDR)图片还是开放解码刷新(ODR)图片)、到每一片段的开始的字节偏移、每一片段中的第一样本的解码时间、随机存取点的解码及呈现时间，及用以指示特定片段是否属于新段的旗标。每一段可为可独立检索的。举例来说，封装单元30可存储分量的每一段，使得可使用唯一统一资源定位符(URL)或统一资源名称(URN)来检索每一段。此外，封装单元30可在 所述文件中的每一者中提供分量布置盒，分量布置盒提供内容的分量识别符与对应文件内的轨道识别符之间的映射。封装单元30还可发信号通知同一类型的分量之间的相依性。举例来说，某些分量可相依于同一类型的其它分量来正确解码。作为一个实例，在可缩放视频译码(SVC)中，基础层可对应于一个分量，且所述基础层的增强层可对应于另一分量。作为另一实例，在多视图视频译码(MVC)中，一个视图可对应于一个分量，且同一场景的另一视图可对应于另一分量。作为又一实例，一个分量的样本可相对于另一分量的样本来编码。举例来说，在MVC中，可存在对应于使得能够进行视图间预测的不同视图的分量。以此方式，目的地装置40可确定分量之间的相依性，且除了所要分量以外，还检索相依于父代分量的分量的父代分量，以便适当地解码及/或再现所述分量。封装单元30可进一步发信号通知相依性的排序及/或分量的解码次序，使得目的地装置40可以适当次序请求分量的数据。此外，封装单元30可发信号通知具有相依性的分量之间的时间层差，使得目的地装置40可适当地对准分量的样本以供解码及/或再现。举例来说，一个视频分量可具有巾贞速率24及等于O的temporal_id、12fps的子层,而另一视频分量可具有巾贞速率30 及等于 O 的 temporal_id、7. 5fps 的子层。封装单元30可发信号通知用以形成表示的分量的组合的各种可能多路复用间隔。以此方式，目的地装置40可选择所述可能多路复用间隔中的一者，以便在足够时间段内请求各种分量的数据，从而允许在正解码及显示所述分量的先前段时检索分量的即将到来的段的数据。也就是说，目的地装置40可预先足够提前地请求分量的数据使得不存在中断的重放(假定无网络条件的即刻改变)，但不会预先提前地过多而使得缓冲器溢出。如果存在网络条件的改变，则目的地装置40可选择不同多路复用间隔而非完全地切换分量，以确保在等待更多后续数据的发射时检索足量的数据以供解码及再现。封装单元30可基于明确地发信号通知的间隔或间隔范围而发信号通知多路复用间隔，且可在分量映射盒内发信号通知这些多路复用间隔。在一些实例中，源装置20可接收指定多个字节范围的请求。也就是说，目的地装置40可在一个请求中指定多个字节范围以实现文件内的各种分量的多路复用。目的地装置40可在分量处于多个文件中时发送多个请求，所述多个请求中的任一者或全部可指定一个或一个以上字节范围。作为实例，目的地装置40可将多个HTTP获取或部分获取请求提交到多个URL或URN，其中所述部分获取请求中的任一者或全部可指定请求的URL或URN内的多个字节范围。源装置20可通过将所请求数据提供到目的地装置40而进行响应。在一些实例中，源装置20可(例如)通过以下操作而支持动态多路复用实施通用网关接口(CGI)以一起多路复用表示的分量从而动态地形成文件，源装置20可接着将所述文件提供到目的地装置40。封装单元30还可指定分量映射盒所对应的内容的持续时间。默认地，目的地装置40可经配置以确定当无持续时间经发信号通知时，分量映射盒应用于整个内容。然而，在发信号通知持续时间的情况下，目的地装置40可经配置以请求内容的多个分量映射盒，每一分量映射盒对应于内容的不同持续时间。封装单元30可连续地将所述分量映射盒存储在一起，或将其存储于单独位置中。在一些情况下，可将分量的各种部分(例如，段)存储于单独文件(例如，URL或URN可检索数据结构)中。在这些情况下，同一分量识别符可用以识别每一文件中的分量，例如在文件的分量布置盒内。所述文件可具有顺序时序信息，即，指示文件中的一者紧跟在另一文件之后的时序信息。目的地装置40可基于某一时序间隔及瞬时位速率来产生对经多路复用片段的请求。目的地装置40可基于分量的片段中的字节的数目来计算瞬时位速率。如同多数视频 译码标准一样，H. 264/AVC定义无错误位流的语法、语义及解码过程，其中的任一者遵照某一简档或层级。H. 264/AVC不指定编码器，但编码器的任务为保证所产生的位流对于解码器来说为符合标准的。在视频译码标准的上下文中，“简档”对应于算法、特征或工具及施加于算法、特征或工具的约束的子集。如由H. 264标准所定义，例如，“简档”为由H. 264标准指定的整个位流语法的子集。“层级”对应于解码器资源消耗的限制，例如与图片的分辨率、位速率及宏块(MB)处理速率有关的解码器存储器及计算。可用pr0file_idC (简档指示符)值发信号通知简档，而可用Ievelidc (层级指示符)值发信号通知层级。举例来说，H. 264标准认识到，在由给定简档的语法强加的边界内，仍有可能需要编码器及解码器的性能的大变化，此视位流中的语法元素所采取的值(例如，经解码图片的指定大小)而定。H. 264标准进一步认识到，在许多应用中，实施能够处理特定简档内的语法的所有假设使用的解码器既不实用也不经济。因此，H. 264标准将“层级”定义为强加于位流中的语法元素的值的约束的指定集合。这些约束可为对各值的简单限制。或者，这些约束可采取对各值的算术组合(例如，图片宽度乘以图片高度乘以每秒经解码的图片的数目)的约束的形式。H. 264标准进一步提供，个别实施方案可针对每一所支持简档支持不同层级。遵照简档的解码器通常支持所述简档中定义的所有特征。举例来说，作为译码特征，B图片译码在H. 264/AVC的基线简档中未受到支持，但在H. 264/AVC的其它简档中受到支持。遵照层级的解码器应能够解码不需要超出所述层级中定义的限制的资源的任何位流。简档及层级的定义可有助于可解译性。举例来说，在视频发射期间，可针对整个发射会话来协商一对简档及层级定义并实现一致。更具体来说，在H. 264/AVC中，层级可定义(例如)对以下各项的限制需要加以处理的宏块的数目、经解码图片缓冲器(DPB)大小、经译码图片缓冲器(CPB)大小、垂直运动向量范围、每两个连续MB的运动向量的最大数目，及B块是否可具有少于8X8个像素的子宏块分割区。以此方式，解码器可确定所述解码器是否能够适当地解码所述位流。媒体表示可包括媒体表示描述(MPD)，其可含有不同替代表示(例如，具有不同质量的视频服务)的描述，且所述描述可包括(例如)编解码器信息、简档值及层级值。目的地装置40可检索媒体表示的MPD以确定如何存取各种表示的电影片段。电影片段可位于视频文件的电影片段盒(moof盒)中。视频压缩标准(例如，ITU-TH. 261、H. 262、H. 263、MPEG-U MPEG-2 及 H. 264/MPEG-4第10部分)利用运动补偿时间预测来减少时间冗余。编码器使用来自一些先前经编码图片(本文中还被称作帧)的运动补偿预测以根据运动向量来预测当前经译码图片。在典型视频译码中，存在三种主要图片类型。所述三种主要图片类型为经帧内译码图片(“I图片”或“I帧”)、预测图片(“P图片”或“P帧”)及双向预测图片(“B图片”或“B帧”)。P图片仅使用在时间次序上在当前图片之前的参考图片。在B图片中，可从一个或两个参考图片来预测所述B图片的每一块。这些参考图片在时间次序上可位于当前图片之前或之后。根据H. 264译码标准，作为实例，B图片使用先前经译码参考图片的两个列表，即列表O及列表I。这两个列表可各自含有在时间次序上的过去及/或未来的经译码图片。可按以下若干方式中的一者来 预测B图片中的块从列表O参考图片的运动补偿预测、从列表I参考图片的运动补偿预测，或从列表O参考图片及列表I参考图片两者的组合的运动补偿预测。为了得到列表O参考图片及列表I参考图片两者的组合，分别从列表O参考图片及列表I参考图片获得两个运动补偿参考区域。可使用其组合来预测当前块。ITU-T H. 264标准支持各种块大小的帧内预测(例如，对于明度分量的16乘16、8乘8或4乘4，以及对于色度分量的8X8)以及各种块大小的帧间预测(例如,对于明度分量的16X16、16X8、8X16、8X8、8X4、4X8及4X4，以及对于色度分量的对应经缩放大小)。在本发明中，“NXN”与“N乘N”可互换使用以指代就垂直及水平维度来说的块的像素尺寸，例如，16X16个像素或16乘16个像素。大体来说，16X16块将在垂直方向上具有16个像素(y=16)且在水平方向上具有16个像素(x=16)。同样，NXN块大体上在垂直方向上具有N个像素且在水平方向上具有N个像素，其中N表示非负整数值。可将块中的像素排列成行及列。块在水平及垂直维度上可具有不同数目个像素。也就是说，块可包括NXM个像素，其中N未必等于M。小于16乘16的块大小可被称作16乘16宏块的分割区。视频块可包含像素域中的像素数据的块，或变换域中的变换系数的块，例如，在应用如下变换之后，例如离散余弦变换(DCT)、整数变换、小波变换，或针对残余视频块数据的概念上类似的变换，所述残余视频块数据表示经译码视频块与预测性视频块之间的像素差。在一些情况下，视频块可包含变换域中的经量化变换系数的块。较小视频块可提供较好分辨率，且可用于包括高细节等级的视频帧的位置。大体来说，可将宏块及各种分割区(有时被称作子块)视为视频块。另外，可将切片视为多个视频块，例如宏块及/或子块。每一切片可为视频帧的可独立解码单元。或者，帧自身可为可解码单元，或帧的其它部分可被定义为可解码单元。术语“经译码单元”或“译码单元”可指代视频帧的任何可独立解码单元，例如整个帧、帧的切片、还称作序列的图片群组(GOP)，或根据适用的译码技术定义的另一可独立解码单元。术语“宏块”指代用于根据包含16X 16个像素的二维像素阵列编码图片及/或视频数据的数据结构。每一像素包含色度分量及明度分量。因此，宏块可界定四个明度块(各自包含8X8个像素的二维阵列)、两个色度块(各自包含16X16个像素的二维阵列)及标头，所述标头包含语法信息，例如经译码块模式(CBP)、编码模式(例如，帧内(I)或帧间(P或B)编码模式)、经帧内编码块的分割区的分割区大小(例如，16 X 16、16 X 8、8 X 16、8 X 8、8X4、4X8或4X4)，或经帧间编码宏块的一个或一个以上运动向量。视频编码器28、视频解码器48、音频编码器26、音频解码器46、封装单元30及解封装单元38在适当时各自可实施为多种合适处理电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器28及视频解码器48中的每一者可包括于一个或一个以上编码器或解码器中，其中的任一者可集成为组合式视频编码器/解码器(编解码器)的部分。同样，音频编码器26及音频解码器46中的每一者可包括于一个或一个以上编码器或解码器中，其中的任一者可集成为组合式编解码器的部分。包括视频编码器28、视频解码器48、音频编码器26、音频解码器46、封装单元30及/或解封装单元38的设备可包含一个或一个以上集成电路、微处理器及/或无线通信装置(例如，蜂窝式电话)的任何组合。在封装单元30已 基于接收到的数据组合视频文件之后，封装单元30将所述视频文件传递到输出接口 32以供输出。在一些实例中，封装单元30可在本地存储所述视频文件或经由输出接口 32将所述视频文件发送到远程服务器，而非直接将所述视频文件发送到目的地装置40。举例来说，输出接口 32可包含发射器、收发器、用于将数据写入到计算机可读媒体的装置(例如光盘驱动器、磁性媒体驱动器(例如，软盘驱动器))、通用串行总线(USB)端口、网络接口或其它输出接口。输出接口 32将所述视频文件输出到计算机可读媒体34，例如发射信号、磁性媒体、光学媒体、存储器、快闪驱动器或其它计算机可读媒体。输出接口 32可实施HTTP1.1以响应HTTP获取及部分获取请求。以此方式，源装置20可充当HTTP串流服务器。最终，输入接口 36从计算机可读媒体34检索数据。输入接口 36可包含(例如)光盘驱动器、磁性媒体驱动器、USB端口、接收器、收发器或其它计算机可读媒体接口。输入接口 36可将数据提供到解封装单元38。解封装单元38可解封装视频文件的元素以检索经编码数据且将所述经编码数据发送到音频解码器46或视频解码器48，此取决于所述经编码数据是音频分量的部分还是视频分量的部分。音频解码器46解码经编码音频数据且将所述经解码音频数据发送到音频输出42，而视频解码器48解码经编码视频数据且将所述经解码视频数据(其可包括多个视图)发送到视频输出44。图2为说明实例封装单元30的组件的框图。在图2的实例中，封装单元30包括视频输入接口 80、音频输入接口 82、文件建立单元60及视频文件输出接口 84。在此实例中，文件建立单元60包括分量组合单元62、分量映射盒构造器64及分量布置(arr’ t)盒构造器66。视频输入接口 80及音频输入接口 82分别接收经编码视频及音频数据。当数据经编码时，视频输入接口 80及音频输入接口 82可接收经编码视频及音频数据，或可从计算机可读媒体检索经编码视频及音频数据。在接收到经编码视频及音频数据后，视频输入接口80及音频输入接口 82即刻将经编码视频及音频数据传递到文件建立单元60用于组合到视频文件中。文件建立单元60可对应于控制单元，所述控制单元包括经配置以执行归其所有的功能及程序的硬件、软件及/或固件。所述控制单元可进一步执行大体上归封装单元30所有的功能。对于文件建立单元60是以软件及/或固件体现的实例来说，封装单元30可包括计算机可读媒体，其包含用于与文件建立单元60 (以及分量组合单元62、分量映射盒构造器64及分量布置盒构造器66)相关联的一个或一个以上处理器的指令；及用以执行所述指令的处理单元。文件建立单元60的子单元(在此实例中为分量组合单元62、分量映射盒构造器64及分量布置盒构造器66)中的每一者可实施为个别硬件单元及/或软件模块，且可在功能上集成或进一步分离成额外子单元。文件建立单元60可对应于任何合适处理单元或处理电路，例如一个或一个以上微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其任何组合。文件建立单元60可进一步包括非暂时性计算机可读媒体，其存储用于分量组合单元62、分量映射盒构造器64及分量布置盒构造器66中的任一者或全部的指令；以及用于执行所述指令的处理器。大体来说，文件建立单元60可建立包括所接收到的音频及视频数据的一个或一个以上视频文件。分量组合单元62可从所接收到的经编码视频及音频样本产生内容的分量。所述分量可对应于若干段，所述若干段中的每一者可包括一个或一个以上视频片段。所述段中的每一者可为可由客户端装置(例如，目的地装置40)独立检索的。举例来说，文件建立单元60可将唯一 URL或URN指派给包括段的文件。分量组合单元62可大体上确保属于同一分量的经编码样本与那个分量组合在一起。分量组合单元62还可将唯一分量识别符指派给内容的每一分量。文件建立单元60可包括文件中的一个以上分量的数据，且一个分量可横跨多个文件。文件建立单元60可将分量的数据存储为视频文件内的轨道。分量映射盒构造器64可根据本发明的技术产生多媒体内容的分量映射盒。举例来说，分量映射盒可发信号通知所述内容的分量的特性。这些特性可包括分量的平均位速率、分量的最大位速率、分量的分辨率及帧速率(假定所述分量为视频分量)、对其它分量的相依性，或其它特性。当发信号通知相依性时，分量映射盒构造器64还可指定具有相依关系的分量之间的时间层差。分量映射盒还可发信号通知潜在多路复用间隔的集合或可用于所述分量的多路复用间隔的范围。在一些 实例中，文件建立单元60可将分量映射盒存储于与包括内容的经译码样本的所有其它文件分离的文件中。在其它实例中，文件建立单元60可将分量映射盒包括于视频文件中的一者的标头中。默认地，分量映射盒应用于整个内容。然而，当分量映射盒仅应用于所述内容的一部分时，分量映射盒构造器64可发信号通知所述分量映射盒所应用于的内容的持续时间。分量映射盒构造器64可接着在静态模式或动态模式中产生内容的多个分量映射盒。在静态模式中，分量映射盒构造器64以对应于分量映射盒所对应的内容的持续时间的次序将所有分量映射盒分组在一起。在动态模式中，分量映射盒构造器64可将每一分量映射盒置于不同位置(例如，不同文件)中。分量映射盒还可发信号通知媒体片段是否属于分量的新段。因为分量的每一段包括分量识别符，所以可识别属于同一分量的段，即使在所述段存储于单独文件中时也是如此。分量映射盒可进一步发信号通知在包括分量的经编码样本的文件内的所述分量的部分的时序信息。因此，必然支持时间拼接。举例来说，客户端装置(例如，目的地装置40)可确定两个相异文件包括同一分量的数据及所述两个文件的时间排序。分量布置盒构造器66可针对由文件建立单元60所产生的每一文件产生分量布置盒。大体来说，分量布置盒构造器66可识别哪些分量包括于所述文件内，以及分量识别符与所述文件的轨道识别符之间的对应性。以此方式，分量布置盒可提供内容的分量识别符与文件的轨道识别符之间的映射。轨道识别符可对应于所述文件的具有在所述映射中所指定的分量的经编码样本的轨道。
·
分量布置盒还可指示如何将每一分量的片段存储于文件中。举例来说，分量布置盒构造器66可指定文件中的分量的片段的字节范围、到特定片段的字节偏移、媒体片段中的第一样本的解码时间、随机存取点是否存在于所述片段中，及(如果存在)所述随机存取点的解码及呈现时间以及所述随机存取点是IDR图片还是ODR图片。在文件建立单元60已产生文件之后，文件输出接口 84可输出所述文件。在一些实例中，文件输出接口 84可将文件存储到计算机可读存储媒体(例如，硬盘)。在一些实例中，文件输出接口 84可经由输出接口 32(图1)将文件发送到经配置以充当服务器(例如，实施HTTP1.1的HTTP串流服务器)的另一装置。在一些实例中，文件输出接口 84可将文件存储到本地存储媒体，使得输出接口 32可响应于(例如)HTTP串流请求而将文件提供到客户端装置(例如，目的地装置40)。图3为说明实例分量映射盒100及分量布置盒152A的概念图。在此实例中，分量映射盒100包括视频分量110及音频分量140。应注意，分量映射盒100自身包括视频分量110及音频分量140的发信号通知的特性。如关于图2所提，分量映射盒100及分量布置盒152可由文件建立单元60 (例如，分别由分量映射盒构造器64及分量布置盒构造器66)产生。以此方式，封装单元30可发信号通知多媒体内容的特性及包括所述多媒体内容的数据的文件。举例来说，视频分量110包括分量112的发信号通知的特性，且音频分量140包括分量142的发信号通知的特性。如在此实例中所展示，分量112A包括分量特性114A。在此实例中，分量特性114A包括位速率信息116、分辨率信息118、帧速率信息120、编解码器信息122、简档及层级信息124、相依性信息126、段信息128、多路复用间隔信息130及3D视频信息132。位速率信息116可包括分量112A的平均位速率及最大位速率中的任一者或两者。位速率信息116还可包括指示是否发信号通知平均及/或最大位速率信息的旗标。举例来说，位速率信息116可包括平均位速率旗标及最大位速率旗标,其中所述平均位速率旗标指示是否针对分量112A发信号通知平均位速率，且最大位速率旗标指示是否针对分量112A发信号通知最大位速率。位速率信息116还可包括指示分量112A的平均位速率的平均位速率值。同样，位速率信息116可包括指示在某一时间段内(例如，在一秒的间隔内)的最大位速率值的最大位速率值。分辨率信息118可(例如)依据图片的像素宽度及像素高度来描述分量112A的分辨率。在一些情况下，可能未针对分量112A来明确地发信号通知分辨率信息118。举例来说，分量特性114A可包括默认特性旗标，其指示具有索引i的分量是否具有与同一内容的具有索引i_l的分量相同的特性。当所述旗标指示所述特性相同时，不需要发信号通知所述特性。所述默认特性可对应于可用特性(例如，分辨率、帧速率、编解码器信息、简档信息及层级信息)的子集，或可通过分量映射盒(例如，分量映射盒100)发信号通知的特性的其它组合。在一些实例中，对于每一潜在分量，包括指示所述分量的对应特性是否与先前分量相同的个别旗标。在一些实例中，如上文所描述，可将帧速率信息120指明为默认特性。或者，帧速率信息120可指定分量112A的帧速率。可以视频分量的每256秒的帧数来指定帧速率。如上文所描述，还可将编解码器信息122指明为默认特性。或者，编解码器信息122可指定用以编码分量112A的编码器。类似地，可将简档及层级信息124指明为默认特性或明确地指定(例如)为简档指示符(profile_idc)及层级指示符(level_idc)值。相依性信息126可指示分量112A是否相依于分量110中的其它分量。如果相依于其它分量，则相依性信息126可包括指示分量112A的时间识别符及分量112A的时间识别符与分量112A所相依于的分量的时间识别符之间的差的信息。段信息128描述分量112A的段。所述段可存储于文件(例如，文件150)中。在图3的实例中，分量112A的段的数 据可存储于文件150A中，具体来说可存储于视频轨道158中，如下文更详细描述。在一些情况下，分量112A的段可存储于多个文件中。每一段可对应于一个或一个以上片段。对于每一片段来说，段信息128可发信号通知以下各项所述片段是否包括随机存取点、所述随机存取点的类型(例如，IDR或0DR)、所述片段是否对应于新文件(例如，新段)、到所述片段的开始的字节偏移、所述片段的第一样本的时序信息(例如，解码及/或显示时间)、到下一片段的字节偏移、到所述随机存取点(如果存在)的字节偏移，及当在ODR RAP处开始流时跳过解码的样本的数目。多路复用间隔信息130可指定分量112A的多路复用间隔的集合或范围。当分量112A待用以(例如)通过同时或几乎同时显示场景的两个或两个以上略微不同的视图而产生三维效果时，可包括3D视频信息132。3D视频信息132可包括以下各项待显示的视图的数目、对应于所述视图的分量的识别符、特定基础视频分量的3D表示的开始时间的开始时间、所述3D表示的持续时间、目标分辨率(例如，当最终显示时所述3D表示的目标宽度及目标高度)、定位信息(例如，在显示窗口中的水平偏移及垂直偏移)、指示用于呈现的经解码视频分量的层的窗口层，及透明因数。大体来说，较低窗口层值可指示相关联视频分量将较早再现且可由具有较高层值的视频分量覆盖。透明度信息可与窗口层级信息组合。当所述分量与具有较低窗口层值的另一分量组合时，可用值[透明度]/255对另一分量中的每一像素进行加权，且可用值(255-[透明度])/255对当前分量中的经共置像素进行加权。
图3说明分量112、142与包括分量112、142的数据的各种文件150之间的对应性。在此实例中，文件150A包括呈视频轨道158的形式的视频分量112A的经编码样本及呈音频轨道160的形式的音频分量142A的经编码样本。文件150A还包括分量布置盒152A。如此实例中进一步说明，分量布置盒152A包括分量到视频轨道映射154及分量到音频轨道映射156。分量到视频轨道映射154指示分量112A的分量识别符映射到文件150A的视频轨道158。类似地，分量到音频轨道映射156指示分量142A的分量识别符映射到文件150A的音频轨道160。在此实例中，分量112B对应于文件150B的视频轨道162，且分量142B对应于文件150C的音频轨道164。因此，分量布置盒152B可包括分量112B与视频轨道162之间的映射，而分量布置盒152C可包括分量142B与音频轨道164之间的映射。以此方式，客户端装置可检索分量映射盒100及分量布置盒152以确定待请求哪些分量，及如何从文件150存取分量的经编码数据。以下伪码为用于分量映射盒的数据结构的一个实例实施方案。
权利要求
1.一种发送经封装视频数据的方法，所述方法包含 将视频内容的多个表示的分量的特性发送到客户端装置，其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者； 在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求；及响应于所述请求而将所述所请求分量发送到所述客户端装置。
2.根据权利要求1所述的方法，其中所述分量中的至少两者存储于分离的文件中，且其中发送所述特性包含发送包含所述分量中的所述至少两者中的每一者的特性的数据结构。
3.根据权利要求1所述的方法，其进一步包含 将所述分量的所述特性存储于文件中，所述文件与存储所述分量的经编码样本的一个或一个以上文件分离， 其中发送所述特性包含 接收对存储所述特性的所述文件的第一请求；及 响应于所述第一请求而独立于存储所述经编码样本的所述一个或一个以上文件发送所述文件，且 其中对所述视频分量中的所述至少一者的所述请求包含第二不同请求。
4.根据权利要求1所述的方法，其进一步包含 将所述分量中的每一者的所述特性存储于单一数据结构中，其中所述数据结构与所述分量分离； 将识别符指派给所述数据结构，所述识别符使所述数据结构与包含所述多个表示的多媒体内容相关联；及 将唯一识别符指派给所述多媒体内容的所述表示， 其中发送所述特性包含发送所述数据结构。
5.根据权利要求1所述的方法，其中发送所述特性进一步包含发送所述分量的分量识别符值，其中所述分量识别符值中的至少一者不同于对应于所述分量识别符值中的所述至少一者的所述分量的轨道识别符值。
6.根据权利要求5所述的方法，其进一步包含发送指示所述分量的分量识别符值与一个或一个以上文件中的所述分量的轨道识别符值之间的对应性的信息，所述一个或一个以上文件存储所述分量的经编码样本。
7.根据权利要求6所述的方法，其进一步包含针对所述一个或一个以上文件的所述分量中的每一者发送指示以下各项的信息到所述分量内的片段的字节偏移、所述片段中的第一样本的解码时间、所述片段中的随机存取点，及所述片段是否属于所述分量的新段的指示。
8.根据权利要求1所述的方法，其中发送所述特性包含发送指示一组所述分量可彼此切换的信息，且其中所述请求指定所述组分量中的至少一者。
9.根据权利要求1所述的方法，其中发送所述特性包含发送指示以下各项的信息所述分量之间的所述相依性，及针对存取单元中的所述分量的解码次序的所述分量之间的所述相依性的排序。
10.根据权利要求1所述的方法，其中发送所述特性包含发送指示以下各项的信息所述分量之间的所述相依性，及第一分量与相依于所述第一分量的第二分量之间的时间层差。
11.根据权利要求1所述的方法，其中发送所述特性包含发送指示所述多个表示中的一者或一者以上的供输出的目标视图的数目的信息。
12.根据权利要求1所述的方法，其中发送所述特性包含发送指示所述分量中的两者或两者以上的组合的可能多路复用间隔的信息，且其中所述请求指定所述分量中的所述两者或两者以上中的任一者的具有在所述多路复用间隔中的共同一者内的解码时间的片段。
13.根据权利要求1所述的方法，其中所述特性包含第一组特性，且其中发送所述特性包含发送指示所述第一组特性所对应的所述分量的第一持续时间的信息，所述方法进一步包含发送所述分量的第二组特性及所述第二组特性所对应的所述分量的第二持续时间。
14.一种用于发送经封装视频数据的设备，所述设备包含 处理器，其经配置以确定视频内容的多个表示的分量的特性，其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者；及 一个或一个以上接口，其经配置以将所述特性发送到客户端装置，在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求，且响应于所述请求而将所述所请求分量发送到所述客户端装置。
15.根据权利要求14所述的设备，其中所述特性进一步包含所述分量的分量识别符值，其中所述分量识别符值中的至少一者不同于对应于所述分量识别符值中的所述至少一者的所述分量的轨道识别符值，且其中所述特性包含指示所述分量的分量识别符值与一个或一个以上文件中的所述分量的轨道识别符值之间的对应性的信息，所述一个或一个以上文件存储所述分量的经编码样本。
16.根据权利要求15所述的设备，其中针对所述一个或一个以上文件的所述分量中的每一者，所述特性进一步包含指示以下各项的信息到所述分量内的片段的字节偏移、所述片段中的第一样本的解码时间、所述片段中的随机存取点，及所述片段是否属于所述分量的新段的指示。
17.根据权利要求14所述的设备，其中所述特性包含指示以下各项的信息所述分量之间的所述相依性，及针对存取单元中的所述分量的解码次序的所述分量之间的所述相依性的排序。
18.根据权利要求14所述的设备，其中所述特性包含指示以下各项的信息所述分量之间的所述相依性，及第一分量与相依于所述第一分量的第二分量之间的时间层差。
19.根据权利要求14所述的设备，其中所述特性包含指示所述多个表示中的一者或一者以上的供输出的目标视图的数目的信息。
20.根据权利要求14所述的设备，其中所述特性包含指示所述分量中的两者或两者以上的组合的可能多路复用间隔的信息，且其中所述请求指定所述分量中的所述两者或两者以上中的任一者的具有在所述多路复用间隔中的共同一者内的解码时间的片段。
21.根据权利要求14所述的设备，其中所述特性包含第一组特性，且其中所述一个或一个以上接口经配置以发送指示所述第一组特性所对应的所述分量的第一持续时间的信息，且其中所述处理器进一步经配置以产生所述分量的第二组特性及所述第二组特性所对应的所述分量的第二持续时间，且其中所述一个或一个以上接口经配置以发送所述第二组特性。
22.根据权利要求14所述的设备，其中所述设备包含以下各项中的至少一者 集成电路； 微处理器；及 无线通信装置，其包括所述处理器。
23.一种用于发送经封装视频数据的设备，所述设备包含 用于将视频内容的多个表示的分量的特性发送到客户端装置的装置，其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者； 用于在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求的装置；及 用于响应于所述请求而将所述所请求分量发送到所述客户端装置的装置。
24.根据权利要求23所述的设备，其中用于发送所述特性的装置进一步包含 用于发送所述分量的分量识别符值的装置，其中所述分量识别符值中的至少一者不同于对应于所述分量识别符值中的所述至少一者的所述分量的轨道识别符值； 用于发送指示所述分量的分量识别符值与一个或一个以上文件中的所述分量的轨道识别符值之间的对应性的信息的装置，所述一个或一个以上文件存储所述分量的经编码样本；及 用于针对所述一个或一个以上文件的所述分量中的每一者发送指示以下各项的信息的装置到所述分量内的片段的字节偏移、所述片段中的第一样本的解码时间、所述片段中的随机存取点，及所述片段是否属于所述分量的新段的指示。
25.根据权利要求23所述的设备，其中所述用于发送所述特性的装置包含用于发送指示以下各项的信息的装置所述分量之间的所述相依性，及针对存取单元中的所述分量的解码次序的所述分量之间的所述相依性的排序。
26.根据权利要求23所述的设备，其中所述用于发送所述特性的装置包含用于发送指示以下各项的信息的装置所述分量之间的所述相依性，及第一分量与相依于所述第一分量的第二分量之间的时间层差。
27.根据权利要求23所述的设备，其中所述用于发送所述特性的装置包含用于发送指示所述分量中的两者或两者以上的组合的可能多路复用间隔的信息的装置，且其中所述请求指定所述分量中的所述两者或两者以上中的任一者的具有在所述多路复用间隔中的共同一者内的解码时间的片段。
28.根据权利要求23所述的设备，其中所述特性包含第一组特性，且其中所述用于发送所述特性的装置包含用于发送指示所述第一组特性所对应的所述分量的第一持续时间的信息的装置，所述设备进一步包含用于发送所述分量的第二组特性及所述第二组特性所对应的所述分量的第二持续时间的装置。
29.一种计算机程序产品，其包含上面存储有指令的计算机可读存储媒体，所述指令在执行时致使用于发送经编码视频数据的源装置的处理器 将视频内容的多个表示的分量的特性发送到客户端装置，其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者； 在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求；及响应于所述请求而将所述所请求分量发送到所述客户端装置。
30.根据权利要求29所述的计算机程序产品，其中所述致使所述处理器发送所述特性的指令进一步包含致使所述处理器进行以下操作的指令 发送所述分量的分量识别符值，其中所述分量识别符值中的至少一者不同于对应于所述分量识别符值中的所述至少一者的所述分量的轨道识别符值； 发送指示所述分量的分量识别符值与一个或一个以上文件中的所述分量的轨道识别符值之间的对应性的信息，所述一个或一个以上文件存储所述分量的经编码样本；及 针对所述一个或一个以上文件的所述分量中的每一者发送指示以下各项的信息到所述分量内的片段的字节偏移、所述片段中的第一样本的解码时间、所述片段中的随机存取点，及所述片段是否属于所述分量的新段的指示。
31.根据权利要求29所述的计算机程序产品，其中所述致使所述处理器发送所述特性的指令包含致使所述处理器发送指示以下各项的信息的指令所述分量之间的所述相依性、针对存取单元中的所述分量的解码次序的所述分量之间的所述相依性的排序，及第一分量与相依于所述第一分量的第二分量之间的时间层差。
32.根据权利要求29所述的计算机程序产品，其中所述致使所述处理器发送所述特性的指令包含致使所述处理器发送指示所述多个表示中的一者或一者以上的供输出的目标视图的数目的信息的指令。
33.根据权利要求29所述的计算机程序产品，其中所述致使所述处理器发送所述特性的指令包含致使所述处理器发送指示所述分量中的两者或两者以上的组合的可能多路复用间隔的信息的指令，且其中所述请求指定所述分量中的所述两者或两者以上中的任一者的具有在所述多路复用间隔中的共同一者内的解码时间的片段。
34.根据权利要求29所述的计算机程序产品，其中所述特性包含第一组特性，且其中发送所述特性包含致使所述处理器发送指示所述第一组特性所对应的所述分量的第一持续时间的信息的指令，进一步包含发送所述分量的第二组特性及所述第二组特性所对应的所述分量的第二持续时间。
35.一种接收经封装视频数据的方法，所述方法包含 向源装置请求视频内容的多个表示的分量的特性，其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者； 基于所述特性来选择所述分量中的一者或一者以上； 请求所述选定分量的样本；及 在已接收所述样本之后解码并呈现所述样本。
36.根据权利要求35所述的方法，其进一步包含 接收指示所述选定分量的分量识别符值与一个或一个以上文件中的所述分量的轨道识别符值之间的对应性的信息，所述一个或一个以上文件存储所述分量的经编码样本；及 接收指示以下各项的信息到所述选定分量中的每一者内的片段的字节偏移、所述片段中的第一样本的解码时间、所述片段中的随机存取点，及所述片段是否属于所述相应分量的新段的指示； 其中请求所述样本包含基于所述字节偏移、所述解码时间、所述随机存取点及所述片段是否属于新段的所述指示来请求来自所述一个或一个以上文件的对应于所述轨道识别符值的轨道的样本，所述轨道识别符值对应于所述选定分量的所述分量识别符值。
37.根据权利要求35所述的方法，其进一步包含 接收指示所述选定分量中的至少一者相依于另一分量的信息；及 请求所述选定分量中的所述一者所相依于的所述分量的样本。
38.根据权利要求35所述的方法，其中请求所述选定分量的所述样本包含 确定下一多路复用间隔； 确定所述选定分量中具有开始于所述下一多路复用间隔中的片段的分量；及 请求来自所述选定分量中的所述经确定分量的开始于所述下一多路复用间隔中的所述片段。
39.根据权利要求35所述的方法，其中所述特性包含第一组特性，所述方法进一步包含 接收指示所述第一组特性所对应的所述分量的第一持续时间的信息； 请求对应于第二组特性所对应的所述分量的第二持续时间的所述分量的所述第二组特性；及基于所述第二组特性来请求来自对应于所述第二持续时间的所述分量的样本。
40.一种用于接收经封装视频数据的设备，所述设备包含 一个或一个以上接口，其经配置以向源装置请求视频内容的多个表示的分量的特性，其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者；及 处理器，其经配置以基于所述特性来选择所述分量中的一者或一者以上，且致使所述一个或一个以上接口将对所述选定分量的样本的请求提交到所述源装置。
41.根据权利要求40所述的设备，其中所述处理器经配置以接收指示所述选定分量的分量识别符值与一个或一个以上文件中的所述分量的轨道识别符值之间的对应性的信息，所述一个或一个以上文件存储所述分量的经编码样本；接收指示以下各项的信息到所述选定分量中的每一者内的片段的字节偏移、所述片段中的第一样本的解码时间、所述片段中的随机存取点，及所述片段是否属于所述相应分量的新段的指示；且基于所述字节偏移、所述解码时间、所述随机存取点及所述片段是否属于新段的所述指示来构造对来自所述一个或一个以上文件的对应于所述轨道识别符值的轨道的所述样本的所述请求，所述轨道识别符值对应于所述选定分量的所述分量识别符值。
42.根据权利要求40所述的设备，其中所述处理器经配置以接收指示所述选定分量中的至少一者相依于另一分量的信息，且请求所述选定分量中的所述一者所相依于的所述分量的样本。
43.根据权利要求40所述的设备，其中为了产生对所述选定分量的所述样本的所述请求，所述处理器经配置以确定下一多路复用间隔，确定所述选定分量中具有开始于所述下一多路复用间隔中的片段的分量，且请求来自所述选定分量中的所述经确定分量的开始于所述下一多路复用间隔中的所述片段。
44.根据权利要求40所述的设备，其中所述特性包含第一组特性，且其中所述处理器经配置以接收指示所述第一组特性所对应的所述分量的第一持续时间的信息，请求对应于第二组特性所对应的所述分量的第二持续时间的所述分量的所述第二组特性，且基于所述第二组特性来请求来自对应于所述第二持续时间的所述分量的样本。
45.一种用于接收经封装视频数据的设备，所述设备包含 用于向源装置请求视频内容的多个表示的分量的特性的装置，其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者； 用于基于所述特性来选择所述分量中的一者或一者以上的装置； 用于请求所述选定分量的样本的装置；及 用于在已接收所述样本之后解码并呈现所述样本的装置。
46.根据权利要求45所述的设备，其进一步包含 用于接收指示所述选定分量的分量识别符值与一个或一个以上文件中的所述分量的轨道识别符值之间的对应性的信息的装置，所述一个或一个以上文件存储所述分量的经编码样本 '及 用于接收指示以下各项的信息的装置到所述选定分量中的每一者内的片段的字节偏移、所述片段中的第一样本的解码时间、所述片段中的随机存取点，及所述片段是否属于所述相应分量的新段的指示； 其中所述用于请求所述样本的装置包含用于基于所述字节偏移、所述解码时间、所述随机存取点及所述片段是否属于新段的所述指示来请求来自所述一个或一个以上文件的对应于所述轨道识别符值的轨道的样本的装置，所述轨道识别符值对应于所述选定分量的所述分量识别符值。
47.根据权利要求45所述的设备，其进一步包含 用于接收指示所述选定分量中的至少一者相依于另一分量的信息的装置；及 用于请求所述选定分量中的所述一者所相依于的所述分量的样本的装置。
48.根据权利要求45所述的设备，其中所述用于请求所述选定分量的所述样本的装置包含 用于确定下一多路复用间隔的装置； 用于确定所述选定分量中具有开始于所述下一多路复用间隔中的片段的分量的装置；及 用于请求来自所述选定分量中的所述经确定分量的开始于所述下一多路复用间隔中的所述片段的装置。
49.根据权利要求45所述的设备，其中所述特性包含第一组特性，所述设备进一步包含 用于接收指示所述第一组特性所对应的所述分量的第一持续时间的信息的装置；用于请求对应于第二组特性所对应的所述分量的第二持续时间的所述分量的所述第二组特性的装置；及 用于基于所述第二组特性来请求来自对应于所述第二持续时间的所述分量的样本的装置。
50.一种计算机程序产品，其包含上面存储有指令的计算机可读存储媒体，所述指令在执行时致使用于接收经封装视频数据的装置的处理器 向源装置请求视频内容的多个表示的分量的特性，其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者；基于所述特性来选择所述分量中的一者或一者以上； 请求所述选定分量的样本；及 在已接收所述样本之后解码并呈现所述样本。
51.根据权利要求50所述的计算机程序产品，其进一步包含致使所述处理器进行以下操作的指令 接收指示所述选定分量的分量识别符值与一个或一个以上文件中的所述分量的轨道识别符值之间的对应性的信息，所述一个或一个以上文件存储所述分量的经编码样本；及 接收指示以下各项的信息到所述选定分量中的每一者内的片段的字节偏移、所述片段中的第一样本的解码时间、所述片段中的随机存取点，及所述片段是否属于所述相应分量的新段的指示； 其中所述致使所述处理器请求所述样本的指令包含致使所述处理器进行以下操作的指令基于所述字节偏移、所述解码时间、所述随机存取点及所述片段是否属于新段的所述指示来请求来自所述一个或一个以上文件的对应于所述轨道识别符值的轨道的样本，所述轨道识别符值对应于所述选定分量的所述分量识别符值。
52.根据权利要求50所述的计算机程序产品，其进一步包含致使所述处理器进行以下操作的指令 接收指示所述选定分量中的至少一者相依于另一分量的信息；及 请求所述选定分量中的所述一者所相依于的所述分量的样本。
53.根据权利要求50所述的计算机程序产品，其中所述致使所述处理器请求所述选定分量的所述样本的指令包含致使所述处理器进行以下操作的指令 确定下一多路复用间隔； 确定所述选定分量中具有开始于所述下一多路复用间隔中的片段的分量；及 请求来自所述选定分量中的所述经确定分量的开始于所述下一多路复用间隔中的所述片段。
54.根据权利要求50所述的计算机程序产品，其中所述特性包含第一组特性，所述计算机程序产品进一步包含致使所述处理器进行以下操作的指令 接收指示所述第一组特性所对应的所述分量的第一持续时间的信息； 请求对应于第二组特性所对应的所述分量的第二持续时间的所述分量的所述第二组特性；及 基于所述第二组特性来请求来自对应于所述第二持续时间的所述分量的样本。
全文摘要
服务器可将描述音频分量及视频分量的特性的信息与所述音频分量及视频分量自身的经编码样本分离地提供到客户端。所述客户端可使用所述信息来选择分量，且接着例如根据串流网络协议来请求所述选定分量。在一个实例中，一种用于发送经封装视频数据的设备包括处理器，其经配置以确定视频内容的多个表示的分量的特性，其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者；及一个或一个以上接口，其经配置以将所述特性发送到客户端装置，在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求，且响应于所述请求而将所述所请求分量发送到所述客户端装置。
文档编号H04N7/46GK103069799SQ201180038542
公开日2013年4月24日 申请日期2011年7月15日 优先权日2010年7月15日
发明者陈盈, 马尔塔·卡切维奇, 王永 申请人:高通股份有限公司