技术领域
本公开涉及用于经由互联网发送/接收媒体内容的方法和装置。
背景技术:
目前,诸如地面、有线、卫星和数字多媒体广播(DMB)的大多数数字广播利用MPEG-2传输流(TS)来对AV内容进行流处理(stream)。
另外,根据互联网近来的快速发展,已经开始利用互联网协议(IP)网络作为主传输网络来提供内容的多媒体服务。诸如立体3D视频广播、超高清(UHD)广播、多视点3D视频广播和全息广播的数字广播正朝着需要传输越来越多的数据量的方向演进。
然而,具有188字节的固定长度分组的MPEG-2 TS可能无法利用IP网络发送分辨率高于现有HDTV的分辨率的内容。
技术实现要素:
技术课题
实施方式提供了一种用于根据网络状态利用有效流处理来发送/接收媒体内容的方法和装置。
解决技术课题的手段
在一个实施方式中,提供了一种经由互联网发送媒体内容的方法。该方法包括以下步骤:利用多个表示(representation)配置所述媒体内容;将所配置的表示划分为多个片段;使所述片段中的子片段对齐;以及发送所述多个表示中的一个,其中,所述子片段对齐以使得所述多个表示当中的第一表示中的第k子片段的最早呈现时间能够大于第二表示中的第k-1子片段的最晚呈现时间。
在另一实施方式中,提供了一种经由互联网接收媒体内容的方法。该方法包括以下步骤:接收包括所述媒体内容的多个表示当中的第一表示;将所接收到的第一表示切换至第二表示;以及播放所接收到的第一表示,其中,所述表示被划分为多个片段并被接收;并且所述片段中的子片段对齐以使得第一表示和第二表示中的一个中的第k子片段的最早呈现时间能够大于另一表示中的第k-1子片段的最晚呈现时间。
在另一实施方式中,提供了一种用于经由互联网发送媒体内容的装置。该装置包括:媒体编码器,其利用多个表示配置所述媒体内容;分割器,其将所配置的表示分割为多个片段,其中,所述片段中的子片段对齐以使得所述多个表示当中的第一表示中的第k子片段的最早呈现时间大于第二表示中的第k-1子片段的最晚呈现时间。
在另一实施方式中,提供了一种用于经由互联网接收媒体内容的装置。该装置包括:接收单元,其接收包括所述媒体内容的多个表示中的一个;以及控制单元,其切换所接收到的表示,其中,所述表示被划分为多个片段并被接收,并且所述片段中的子片段对齐以使得所述多个表示当中的第一表示中的第k子片段的最早呈现时间能够大于第二表示中的第k-1子片段的最晚呈现时间。
在附图以及下面的描述中阐述了一个或更多个实施方式的细节。其它特征将根据描述和附图以及权利要求书而变得明显。
发明效果
根据本发明的实施方式,当以片段为单位发送/接收利用具有不同比特速率的多个表示配置的媒体内容时,可通过使片段中的子片段与表示的呈现时间同步地对齐来防止在比特流切换期间发生的数据的丢失或重复接收。
另外,接收媒体内容的客户机可容易地在包括表示访问点(RAP)的任意子片段中切换表示,而无需附加的搜索或解析。
因此,即使比特流由于网络状态的改变而切换,也可无缝地播放媒体内容。
附图说明
图1是示出根据本发明的实施方式的内容收发系统的配置的框图。
图2是示出MEPG-2 TS的结构的示图。
图3是示出根据本发明的实施方式的媒体内容发送方法的流程图。
图4是示出根据本发明的实施方式的包括媒体内容的表示的配置的示图。
图5是示出根据本发明的实施方式的子片段的配置的示图。
图6和图7是示出根据本发明的实施方式的确定子片段中的RAP的位置的方法的示图。
图8和图9是示出根据本发明的实施方式的将子片段对齐的方法的示图。
图10和图11是示出根据本发明的实施方式的切换表示的方法的示图。
图12和图13是示出根据本发明的第一实施方式的提供关于媒体内容的元数据的片段索引盒的配置的示图。
图14和图15是示出根据本发明的第二实施方式的片段索引盒的配置的示图。
图16是示出根据本发明的实施方式的媒体内容接收装置的配置的框图。
图17是示出根据本发明的实施方式的媒体内容接收方法的流程图。
图18是示出根据本发明的第一实施方式的IPTV接收器的配置的框图。
图19是示出根据本发明的第二实施方式的IPTV接收器的配置的框图。
具体实施方式
以下将参照图1至图19描述用于经由互联网发送/接收媒体内容的方法和装置。
以下将省略对熟知功能或配置的详细描述,以免不必要地使本发明的主题变得模糊。此外,下面描述的术语考虑本发明的功能而定义,并且根据用户、操作者的意图或习惯而变化。因此,可基于本说明书的整个内容来确定所述定义。
根据本发明的实施方式的发送装置和接收装置可利用基于互联网协议(IP)的发送系统来发送/接收媒体内容。例如,可由网络服务器通过传输控制协议(TCP)和超文本传输协议(HTTP)来对媒体内容进行流处理。
发送装置可从内容提供商接收内容,然后可转换并发送所接收到的内容,或者将其存储在媒体数据库(DB)中。
例如,从内容提供商提供的媒体内容可为MPEG-2 TS格式或ISO基本媒体文件格式。发送装置可将媒体内容转换为易于进行基于IP的分发(delivery)的格式,然后可经由诸如互联网的网络发送转换的媒体内容,或者可将其存储在媒体DB中。
此外,接收装置可利用基于IP的发送系统从发送装置接收媒体内容,然后可转换并播放所接收到的媒体内容,或者可将其存储在本地存储器中。
例如,接收装置可将从发送装置接收到的媒体内容转换为MPEG-2 TS格式或ISO基本媒体文件格式,然后可处理并播放该媒体内容,或者可将该媒体内容存储在本地存储介质中。
另外,由于使用HTTP的基于IP的开放互联网环境不能确保QoS,所以用于根据网络业务向接收装置发送数据的带宽动态地变化。因而,可能很难获得发送内容文件所必需的稳定且固定的带宽。
例如,当用户在家庭PC系统中安装或使用软件进行频繁的网络传输时,由于网络业务的增加,可能无法获得稳定且固定的带宽。为了解决这种问题,提出了由互联网网关向特定软件分配带宽的方法,但是该方法至今未广泛使用。
此外,即使在接收装置中确保了固定的带宽,但是由于在开放互联网环境中操作的互联网服务器(即,发送装置)经由不同的网络发送服务,仍可能难以保证QoS。
例如,当经由特定服务提供商运营的不同网络提供诸如YouTube的服务时,随着在传输处理期间网络设置或业务量增加,内容可能被延迟、丢弃或重发。
有关QoS确保的问题可能是使得在开放互联网环境下提供内容服务的内容提供商感觉困难的重要因素。
此外,为了解决内容传输的困难,提供了一种自适应流处理方法,该方法利用M3U格式的播放列表文件根据网络带宽适当地发送/接收内容。
自适应流处理方法针对一个内容创建具有不同比特速率的内容文件,并通过根据接收装置的带宽选择比特速率来请求传输。由于在开放互联网环境中通常利用HTTP协议来发送内容,所以自适应流处理方法也被称为HTTP自适应流处理。
图1是示出根据本发明的实施方式的内容收发系统的配置的框图,并示出用于自适应流处理的系统的结构的一个示例。
参照图1,用于自适应流处理的系统可包括服务器10、分发服务器20和客户机30。
当服务器10将音频/视频(AV)数据作为原始数据传送给媒体编码器11时,媒体编码器51将传送来的AV数据转换为MPEG-2 TS的流文件格式。
此外,流分割器12可将从媒体编码器11输出的MPEG-2 TS流文件划分为多个片段。
例如,流分割器12可将一个文件或实时的MPEG-2 TS流文件划分为大小可播放大约10秒的片段,然后可将它们存储在分发服务器20中。
客户机30可通过HTTP协议请求存储在分发服务器20中的划分的文件,然后可接收并播放它们。
此外,具有不同比特速率的MPEG-2 TS文件片段可存储在分发服务器20中,为此,分发服务器20中可存在存储各自按照特定比特速率编码的MPEG-2 TS文件片段的多个网络服务器21。
例如,按照大约20kbps的比特速率编码的MPEG-2 TS文件片段和按照大约500kbps的比特速率编码的MPEG-2 TS文件片段可以利用不同的文件名存储在分发服务器20中。
因此,当接受区域的带宽减小时,客户机30可请求按照大约20kbp的比特速率编码的文件,并将其播放大约10秒。然后,客户机30可在大约10秒的呈现时间过去之前再次周期性地检查带宽。
就这一点,当带宽增加至能够传送大容量高质量文件的程度时,客户机30可请求发送按照大约500kbps的比特速率编码的文件。
因此,客户机30可根据网络带宽自适应且交替地接收按照大约20kbps和大约500kbps的比特速率编码的内容,然后可将其播放。另外,当带宽较差时,图像质量可能变差,但仍可继续显示图像。
为了使用HTTP协议进行自适应流处理,媒体内容可包括多个表示。多个表示中的每一个中的媒体内容可具有不同的比特速率、分辨率、语言或编解码器。
媒体内容可包括诸如音频、视频或定时文本的媒体组件,所述表示可以是至少一个媒体组件的结构化集合。
在这种情况下,客户机30可向服务器20请求具有不同比特速率的多个表示中的一个,并可接收该表示。
此外,为了使客户机30访问片段并向用户提供流服务,除了片段数据之外,服务器10可提供包括客户机30所请求的元数据的媒体呈现描述(MPD)。
客户机30可利用MPD中的元素选择多个表示中的一个,并可请求发送该表示。
所述表示被划分成多个片段,可通过HTTP 1.1(RFC 2616)所定义的HTTP GET或HTTP部分GET方法响应于客户机30的请求发送片段或部分片段。
另外,如果可进行比特流切换,则客户机30可在媒体呈现期间基于更新的信息将接收到的表示切换为另一表示。
在这种情况下,客户机30可从播放先前表示的时间开始接收新的表示,并可播放该新的表示。
另外,片段可包括多个子片段,子片段可指在片段级别索引的最小单位。
参照图2,MPEG-2 TS可包括具有188字节的固定比特速率的多个MPEG-2 TS分组,子片段可包括连续的MPEG-2 TS分组。
例如,一个样本是包括具有相同分组标识符(PID)值的至少一个MPEG-2 TS分组的访问单元,片段被定义为按照解码顺序的连续访问单元的一个索引集。
此外,为了对ISO基本媒体文件格式进行流处理,可使用“分片文件(fragmented file)”结构。
例如,分片文件将媒体轨道物理上划分为多个分片,各个分片包括电影分片(moof)盒和媒体数据(mdat)盒。
moof盒之后的mdat盒包括分片媒体数据,组合的moof-mdat对可构成一个分片。
在这种情况下,子片段可被定义为至少一个连续电影分片的自包含集合,因此,可包括至少一个moof盒及其对应的mdat盒。
根据本发明的实施方式,当MPEG-2 TS或ISO基本媒体文件格式中的媒体内容由多个表示构成,并以片段为单位发送时,服务器10可使片段中的子片段对齐,以便在客户机30中有效地执行比特流切换。
此外,上面示出了通过HTTP将MPEG-2 TS或ISO基本媒体文件格式中的媒体内容发送至互联网的情况,但是本发明不限于此。根据本发明的实施方式的内容收发方法和装置可应用于各种格式的媒体内容。
以下将参照图3至图11更详细地描述通过将子片段对齐来发送媒体内容的方法。
图3是示出根据本发明的实施方式的媒体内容发送方法的流程图。将省略所示的发送方法当中的与参照图1至图2描述的方法相同的方法。
参照图3,在操作S100中发送装置利用多个表示配置媒体内容,并在操作S110中将所配置的表示分为多个片段。
例如,所述多个表示可根据发送的媒体内容的比特速率、分辨率、语言和编解码器中的至少一个不同地配置,各个表示可划分为多个片段以便利用HTTP协议进行发送。
参照图4,发送装置可利用具有不同比特速率的表示A和表示B配置媒体内容,表示A和表示B可形成一个组。所述组除了表示A和B之外还可包括其它表示。
此外,表示A和B中存在关于所有子片段的索引信息,客户机30可使用所述索引信息来通过部分HTTP GET方法随机访问片段的子片段。
例如,各个子片段可包括片段索引,或者可存在用于提供关于子片段的索引的索引片段。
将参照图12至图15详细描述提供关于子片段的索引信息的方法。
另外,关于子片段200,可定义子片段200的最早呈现时间TE和子片段200的最晚呈现时间TL。
参照图5,子片段200可包括诸如视频和音频的两个媒体组件,其中一个媒体组件(例如,视频)可被指定为参考流。
即,参考流可指媒体组件当中的主要媒体组件的一组连续样本。
在这种情况下,子片段200的最早呈现时间TE可被定义为参考流中的已有任意样本的最早呈现时间,因此,可以是视频样本当中的最早样本201的呈现时间。
另外,子片段200的最晚呈现时间TL可以是参考流中的最晚样本204的呈现时间。
另外,样本204可指子片段200(或片段)的流中的访问单元。
图4所示的子片段可具有不同大小或不同持续时间的媒体内容。
另外,尽管如图4所示,片段的最晚呈现时间TL位于连续子片段的边界处,其可略微在子片段之间的边界的前面。
即,关于表示A,第k子片段的最晚呈现时间TL可略微在与第k子片段和第k+1子片段之间的边界对应的时间的前面。
参照图6,片段包括至少一个表示访问点(RAP),RAP可被包括在子片段中。
客户机30可仅利用子片段中的信息从RAP所对应的位置向前播放,RAP可包括字节索引ILRAP和呈现时间TRAP。
呈现时间TRAP可指允许呈现时间大于或等于TRAP的所有访问单元正确地执行解码的最快呈现时间。
此外,当请求从表示A至表示B的比特流切换时,客户机30从表示B搜索最靠近当前呈现时间的呈现时间处的RAP,然后播放表示A直至第k子片段210中的RAP 211为止,并在所搜索到的RAP 211之后播放表示B。
尽管子片段不包括RAP或者如图6所示包括一个RAP,但是其可包括至少两个RAP。在这种情况下,图6中的RAP可指子片段中的RAP当中的最快RAP。
参照图7,子片段中的第一RAP的呈现时间TRAP可对应于对应子片段的最快呈现时间TE。
因而,针对包括RAP的所有片段(contatins_RAP=1),使得子片段中的第一RAP的呈现时间TRAP能够是对应子片段的最快呈现。因此,客户机30可在具有连续索引的连续子片段之间的任意边界处切换表示。
例如,如图7所示,在请求比特流切换之后,客户机30可在第k-1子片段220和第k子片段210之间的边界或第k子片段210和第k+1子片段230之间的边界当中的期望的任意位置切换表示。
以下,如参照图7所述,假设子片段中的第一RAP的呈现时间TRAP对应于对应子片段的最快呈现时间TE。
在操作S120中,发送装置使片段中的子片段对齐。
在操作S120中,服务器10可使片段中的子片段对齐,以便防止在比特流切换期间提供给客户机30的数据的重复接收或丢失。
参照图8(a),表示A的第k子片段200的最快呈现时间TE可能小于表示B的第k-1子片段230的最晚呈现时间TL。
在这种情况下,当请求从表示A至表示B的比特流切换时,客户机30在表示B的第k-1子片段220和第k子片段210之间的边界处执行切换,然后播放表示B。
此外,由于客户机30在切换之前已经接收到表示A的第k子片段210,所以第k子片段200的一部分可能被冗余地提供给客户机30。
例如,冗余数据可能是第k子片段200的参考流中具有快的表示时间的一些样本。
因此,为了不在切换处理期间向客户机30提供冗余数据,表示A的第k子片段200的最快呈现时间TE需要大于表示B的第k-1子片段230的最晚呈现时间TL。
参照图8(b),表示B的第k子片段210的最快呈现时间TE可能小于表示A的第k-1子片段240的最晚呈现时间TL。
在这种情况下,当请求从表示A至表示B的比特流切换时,客户机30在表示B的第k-1子片段220和第k子片段210之间的边界处执行切换,因此,第k-1子片段240的一部分可能没有被提供给客户机30,并且可能丢失。
例如,丢失的数据可能是第k-1子片段240的参考流中的具有晚的表示时间的一些样本。
因此,为了防止在切换处理期间丢失数据,表示B的第k子片段210的最快呈现时间TE需要大于表示A的第k-1子片段240的最晚呈现时间TL。
即,为了防止比特流切换处理期间的冗余数据或丢失数据,子片段可对齐以使得表示A和B中的一个中的第k子片段200的最快呈现时间TE能够大于另一表示中的第k-1子片段230的最晚呈现时间TL。
如图9所示,表示A和B中的具有不同索引的两个子片段可对齐以不交叠。
如上所述,第一子片段和第二子片段不交叠可指,针对一个媒体组件的所有媒体流,第一子片段的最快呈现时间TE小于第二子片段的最晚呈现时间TL,或者第一子片段的最晚呈现时间TL小于第二子片段的最快呈现时间TE。
根据子片段对齐方法,当表示A和B中的子片段如图9所示对齐时,即使客户机30切换至表示B中的包括RAP的任意子片段,也可防止冗余数据或丢失数据。
当子片段如图9所示对齐时,即使请求从表示B切换至表示A,提供给客户机30的数据也不会冗余和丢失。
参照图10,当请求从表示A切换至表示B时,客户机30从表示B搜索位于当前呈现时间之后的RAP,并在第k-1子片段220和第k子片段210之间的边界或第k子片段210和第k+1子片段230之间的边界的任意点处切换表示。
此外,如图11所示,由于表示B的第k-1子片段220不包括RAP,所以客户机30可在第k-1子片段220之后包括RAP的子片段的边界B1和B2当中的任意边界处切换表示。
当子片段如上所述对齐时,在操作S130中发送装置发送多个表示中的一个。
例如,客户机30可利用从服务器10提供的MPD选择媒体内容的比特速率、分辨率、语言或编解码器不同的多个表示中的一个,然后可利用HTTP 1.1(RFC 2616)定义的HTTP GET或HTTP部分GET方法请求与所选择的表示对应的片段或部分片段。
此外,MPD可包括指示是否对表示执行比特流切换的比特流切换标志以及指示子片段是否对齐的子片段对齐标志。
当MPD中的比特流切换标志为“真”时,客户机30可执行比特流切换操作。
另外,当MPD中的子片段对齐标志为“真”时,子片段如图9至图11所示对齐,因此,客户机30通过连续子片段在任意边界处切换表示,而不会有冗余和丢失数据。
根据本发明的实施方式,存在关于所有子片段的索引信息;子片段中的第一RAP的呈现时间TRAP是对应子片段的最快呈现时间TE;并且多个表示当中的任意第一表示中的第k子片段对齐以大于任意第二表示中的第k-1子片段的最晚呈现时间TL。因此,可防止比特流切换期间发生丢失数据或冗余接收。
此外,接收媒体内容的客户机可容易地在包括RAP的任意子片段中切换表示,而无需另外搜索解析,因此,即使由于网络状态的改变而切换比特流,也可无缝地播放媒体内容。
此外,为了将MPEG-2 TS媒体划分为片段以便于发送,如传输协议所要求的,可根据参考节目元素(这指参考流)粗略划分MPEG-2 TS媒体。片段之间的边界可根据MPEG-2 TS分组来对齐。
关于针对MPEG-2 TS媒体传送的元数据,节目中的一个节目元素被选择作为参考,可在片段中传送参考节目元素的播放单元(PU)的最快呈现时间。
另外,针对各个子片段,传送对应子片段的数据偏移和最快呈现时间戳PTS,可选择性地传送随机访问点的呈现时间以及是否发生PTS不连续。
另外,当客户机30使基于PTS-PCR的时间轴与媒体呈现时间轴同步时,可使用随机访问点的呈现时间以及是否发生PTS不连续。
可基于普通ISO基本媒体文件格式数据类型利用二进制格式表达元数据,该元数据可具有与用于HTTP动态自适应流处理(DASH)的“sidx”盒类似的结构。
除了“sidx”盒的功能之外,元数据的格式可使得客户机30能够使基于MPEG-2 PTS-PCR的时间轴与媒体呈现时间轴同步。
这可通过在子片段中传送PU的最快PTS来实现,另外,可传送关于MPEG-2 PTS时间轴中的不连续的信息。
图12和图13是示出根据本发明的第一实施方式的提供关于媒体内容的元数据的片段索引盒的配置的示图。
参照图12,元数据可包括MPEG-2片段索引(“m2si”)盒。m2si盒可提供与一个片段中的子片段不同的m2si盒的索引。
索引可直接指代子片段,或者可指代片段索引,所述片段索引指代子片段。片段索引可被指定为类、菊花链或另一格式,以便在相同片段或子片段中传送关于另一m2si盒的时间和字节偏移。
片段中的参考节目元素的最快呈现时间可被记录在片段索引中。
参考类型指示对应参考与子片段或M2si盒有关,偏移指示从对应盒中索引的第一子片段的第一字节到参考实体的第一字节的距离(以字节为单位)。
提供索引中记录的第一子片段的最快呈现时间(针对参考节目元素),片段索引可为通过对应索引记录的各个子片段提供一个条目。
针对各个子片段,提供子片段持续时间,可通过将先前子片段的子片段持续时间与第一子片段的最快呈现时间相加来计算子片段的最快呈现时间。
子片段的最快呈现时间可指对应子片段的参考节目元素中的任意PU的呈现时标上的最快呈现时间。
选择性地,参考节目元素的最快PTS可与指示子片段是否以PTS不连续开始的标志一起传送。
另外,片段索引盒可包括随机访问点。
参照图13所示的m2si盒的句法结构,可利用下面的值将标志定义为24比特整数。
timescale-present指示对应盒中是否存在媒体呈现时间的时标,其标志值可为“0x000001”。
timescale是用于呈现的时标,当一个媒体呈现中提供一次以上的timescale时,其值对于整个呈现而言可以是相同的。
reference-PID提供发送参考节目元素的MPEG-2 TS分组的PID。
program_element_count指示下一循环中索引的节目元素的数量,可设置为1或更大。
referenc_count指示第二循环中索引的元素的数量,可设置为1或更大。
PID指示发送提供presentation_time的节目元素的MPEG-2 TS分组的PID,对应循环中的一个PID与reference_PID相同。
earlist_presentation_time指示由PID标识的节目元素中的PU的最快呈现时间。
当reference_type被设置为“0”时,参考表示子片段,当reference_typee被设置为“1”时,参考表示m2si盒。
discontinuity可设置为“1”,以指示对应子片段以PTS不连续开始。
contains_PTS可设置为“1”,以指示在对应子片段中传送参考节目元素的第一PU的PTS。
contains_RAP可设置为“1”,以指示参考的子片段中的参考节目元素包括随机访问点(RAP)。
reference_offset指示从对应盒中索引的第一子片段的第一字节至通过对应循环的迭代参考的子片段的第一字节的距离(以字节为单位)。
当参考表示m2si盒时,subsegment_duration传送对应盒中的subsegment_duration字段之和,另外,当参考表示子片段时,传送下一子片段中的参考节目元素的任意PU的最快呈现时间与参考的子片段中的参考节目元素的任意PU的最快呈现时间之差。所述持续时间可表示为用信号通知的时标。
PTS指示对应子片段中的参考节目元素的最快MPEG-2 TS PTS。
当contains_RAP被设置为“1”时,RAP_delta_time为参考节目元素的earlist_presentation_time提供RAP的呈现时间偏移。此外,当contains_RAP为“0”时,RAP_delta_time维持为值“0”。
此外,当contains_PTS为“1”时,PTS提供对应子片段中的参考节目元素的最快PTS。
具有上述配置的元数据可通过各种方法传送至客户机30。
例如,以二进制格式表示的元数据可附接到MPEG-2 TS的前面作为片段的头。所述盒可位于索引的子片段的第一字节之前,在这种情况下,数据偏移可包括元数据盒的大小。
另外,当参照子片段时,子片段的第一字节可被解释为索引子片段的元数据盒的第一字节。
以XML或二进制格式表达的元数据可作为附加文件传送至客户机30,该元数据可以是HTTP资源或者针对客户机30进行带外提供。
在这种情况下,作为关于HTTP的附加资源提供元数据,客户机30使用HTTP URL来获得对应资源。因此,该元数据可作为与媒体片段的URL信息类似的机制从MPD提供。
然而,一组元数据盒可归类为一个文件。因此,存储介质的开销可减少,可方便传送,另外,不同的片段大小可以是自适应的。
为此,在给定表示的片段级别,可能需要基于超片段的附加索引机制来索引一组盒。
图14和图15是示出根据本发明的第二实施方式的片段索引盒的配置(即,超片段索引盒的配置)的示图。
参照图14,MPEG-2超片段索引盒(mp2s)可为表示中的至少一个片段提供一组MPEG-2片段索引盒(m2si)的索引。
参照图15所示的mp2s盒的句法结构,reference_count指示通过对应循环索引的片段的数量。
segment_index是片段列表生成所使用的片段的唯一片段索引。
m2si_count指示由当前segment_index标识的一个片段中的MPEG-2片段索引盒(m2si)的数量。
offset指示从通过对应循环索引的第一MPEG-2片段索引盒(m2si)的第一字节到索引的片段的第一MPEG-2片段索引盒(m2si)的第一字节的距离(以字节为单位)。
根据本发明的实施方式的媒体内容发送装置可执行参照图1至图15描述的服务器的多个操作中的至少一些,为此,该媒体内容发送装置可包括利用多个表示配置媒体内容的媒体编码器11以及将所配置的表示划分为多个片段的分割器12。
以下,将参照图16至图17描述根据本发明的实施方式的用于接收媒体内容的装置和方法。
接收装置300可执行参照图1至图15描述的客户机30的操作。
另外,由于接收装置300所接收到的媒体内容的配置(例如,表示、片段和子片段的配置)可与参照图3至图11描述的配置相同,所以将省略其详细描述。
图16是示出根据本发明的实施方式的媒体内容接收装置的配置的框图。接收装置300包括网络接口单元310、解码单元320和同步单元330。
参照图16,接收装置300的网络接口单元310(例如,HTTP接口)可接收媒体文件以及同步信息,解码单元320可解码并输出所接收到的媒体文件。
此外,同步单元330利用同步信息中的媒体呈现时间使解码的媒体文件与媒体呈现时间轴同步。
例如,网络接口单元310可接收配置与参照图6至图13所述的配置相同的同步信息以及MPET-2TS。
解码单元320可包括用于对MPEG-2 TS进行解码的第二解码器322,第二解码器322可以是普通MPEG-2 TS解码器。
第二解码器322可从网络接口单元310接收MPEG-2 TS并可将其解码,然后可输出解码的PU及其PTS。
此外,同步单元330可标识具有通过所接收到的同步信息提供的呈现时间的PU。为此,网络接口单元310可恢复具有提供的呈现时间的PU的PTS,并可将其传送给同步单元330,或者可能需要从发送装置100提供对应PU的PTS以及呈现时间。
为了恢复PTS,可使用基本流时间恢复。
另外,解码单元320还可包括第一解码器321,以将通过网络接口单元310接收到的其它媒体解码,第一解码器321可以是用于对另一种格式的媒体(例如,3GPP文件格式)进行解码的解码器,或者是与第二解码器322相同的MPEG-2 TS解码器。
同步单元330可利用从发送装置100传送来的解码信息(例如,PU的媒体呈现时间)使从第二解码器322输出的基于MPEG-2 TS的媒体与从第一解码器321输出的其它媒体同步。
此外,接收装置300可同时播放通过同步单元330同步的基于MPEG-2 TS的媒体以及所述其它媒体。
图17是示出根据本发明的实施方式的媒体内容接收方法的流程图。将省略图示的接收方法当中的与参照图1至图16所述的方法相同的方法。
参照图17,发送装置300在操作S400中接收包括媒体内容的多个表示,并在操作S420中播放所接收到的表示。
例如,发送装置300的网络接口单元310中的接收单元(未示出)可利用HTTP 1.1(RFC 2616)所定义的HTTP GET或HTTP部分GET方法来请求将片段或部分片段发送给发送装置。
另外,网络接口单元310中的控制单元(未示出)可利用从发送装置接收到的MPD来从媒体内容的比特速率、分辨率、语言或编解码器不同的多个表示当中选择要接收的表示。
在播放所接收到的表示的同时,控制单元在操作S410中确认是否要求比特流切换。
当要求比特流切换时,控制单元在操作S430中将所接收到的表示切换至新的表示。
发送装置300中的控制单元切换表示的方法可与参照图3至图11所述的客户机300的切换操作相同。
参照图1至图17描述的接收和处理媒体内容的方法可由IPTV接收器执行。
以下将参照图18和图19描述根据本发明的实施方式的IPTV接收器的配置。
图18是示出根据本发明的实施方式的IPTV接收器的配置的框图。
IPTV接收器可包括附加调谐器以接收地面广播、有线广播和卫星广播。然而,为了方便描述,将主要描述接收利用IP网络提供的IPTV服务的配置。
此外,ITF表示开放IPTV终端功能,可指由提供IPTV服务所必需的功能模块组成的接收器。
IPTV接收器可包括网络接口501、TCP/IP管理器502、服务传送管理器504、PVR管理器505、解复用器(Demux)508、数据解码器507、音频/视频解码器512、A/V显示和OSD模块515、应用管理器513和514、SI和元数据DB 511、服务发现管理器509、服务控制管理器503、元数据管理器510和内容DB 506。
参照图18,网络接口501从网络接收分组,并向网络发送分组。即,网络接口501经由网络从服务提供商接收服务和媒体内容。
TCP/IP管理器502针对由IPTV接收器接收的分组以及从IPTV接收器发送的分组参与从源至目的地的分组传送。另外,TCP/IP管理器502将接收到的分组分类以使其对应于适当的协议,并通过服务传送管理器504、服务发现管理器509、服务控制管理器503和元数据管理器510输出分类的分组。
服务传送管理器504控制接收到的服务数据。例如,在控制实时流数据的同时,服务传送管理器504可使用RTP/RTCP。
当利用RTP发送实时流数据时,根据服务管理器514的控制,服务传送管理器504根据RTP解析接收到的数据分组以将它们发送给解复用器508或将它们存储在内容DB 506中。另外,服务传送管理器504利用RTCP将网络接收信息反馈给提供服务的服务器。
解复用器508将所接收到的分组解复用为音频、视频和节目特定信息(PSI)数据,并将它们分别发送给音频/视频解码器512和数据解码器507。
数据解码器507将诸如PSI的服务信息解码。即,数据解码器507接收由解复用器508解复用的PSI部分、节目和服务信息协议(PSIP)部分或DVB-服务信息(SI)部分,然后将其解码。
另外,数据解码器507将所接收到的部分解码并创建关于服务信息的数据库,并且还将关于服务信息的数据库存储在SI和元数据DB 511中。
音频/视频解码器512将从解复用器508接收到的视频和音频数据解码。由音频/视频解码器512解码的视频和音频数据通过A/V显示和OSD模块515提供给用户。
应用管理器管理IPTV接收器的总体状态,提供用户界面,并管理其它管理器。为此,应用管理器包括用户界面管理器513和服务管理器514。
用户界面管理器513通过屏幕显示(OSD)为用户提供图形用户界面,并在接收到来自用户的键输入之后根据输入执行接收器的操作。例如,当从用户接收到与频道选择有关的键输入时,用户界面管理器513将该键输入信号发送给服务管理器514。
服务管理器514控制与服务有关的管理器,例如服务传送管理器504、服务发现管理器509、服务控制管理器503和元数据管理器510。
另外,服务管理器514创建频道映射,并根据从用户界面管理器513接收到的键输入来利用该频道映射选择频道。另外,服务管理器514从数据解码器507接收关于频道的服务信息,并将所选择的频道的音频/视频PID设置到解复用器508。
服务发现管理器509提供选择提供服务的服务提供商所必需的信息。当从服务管理器514接收到关于频道选择的信号时,服务发现管理器509利用该信息发现服务。
服务控制管理器503负责服务选择和控制。例如,当用户选择诸如实时广播服务的已有广播方法时,服务控制管理器503使用IGMP或RTSP。当用户选择视频点播(VOD)服务时,服务控制管理器503利用RTSP选择并控制服务。
RTSP可提供关于实时流处理的技巧模式(trick mode)。另外,服务控制管理器503可利用IP多媒体子系统(IMS)和会话发起协议(SIP)通过IMC网关初始化并管理会话。上述协议仅是一个示例,可根据实施方式而变化。
元数据管理器510管理与服务有关的元数据,并将所述元数据存储在SI和元数据DB 511中。
SI和元数据DB 511存储由数据解码器507解码的系统信息、元数据管理器510所管理的元数据以及由服务发现管理器509提供的选择服务提供商所必需的信息。另外,SI和元数据DB 511可存储系统的设置数据。
SI和元数据DB 511和内容DB 506可利用非易失性RAM(NVRAM)或闪存来实现,并且还可利用相同存储区域上逻辑分离的两个区域来实现。
作为用于记录和播放实时流内容的模块,PVR管理器505收集关于记录的内容的元数据,并且还生成要提供给用户的附加信息,例如缩略图或索引。
IPTV接收器中的控制单元的功能可划分成诸如TCP/IP管理器502、服务传送管理器504、PVR管理器505、应用管理器513和514、服务发现管理器509、服务控制管理器503和元数据管理器510的多个模块并由它们实现。
例如,TCP/IP管理器502控制网络接口501通过利用目标分组信息过滤SD&S信息来仅向服务器请求有效载荷或与特定分组(例如,IPTV接收器所订制的分组)对应的片段,并接收它。
此外,TCP/IP管理器502利用目标分组信息过滤以多播方法接收到的SD&S信息,并使得数据解码器507能够仅解析并处理有效载荷或与特定分组对应的片段。
图19是示出根据本发明的另一实施方式的IPTV接收器的配置的框图。IPTV接收器的配置用功能框来表示。图19中的实线箭头对应于数据路径,虚线箭头对应于控制信号路径。
作为使得ITF能够在物理级别连接至IP网络的接口,有线调制解调器、DSL调制解调器等601通过对经由物理介质发送来的信号进行解调来恢复数字信号。
以太网NIC 602将通过物理接口接收到的信号恢复成IP数据,IP网络栈607根据IP协议栈处理各层。
此外,XML解析器609解析所接收到的IP数据当中的XML文档,文件处理器608处理所接收到的IP数据当中的通过FLUTE发送的文件格式的数据。
SI处理器611处理所接收到的文件格式的数据中的与IPTV服务信息对应的部分并将其存储在存储器612中,并且还处理所接收到的文件格式的数据中的与IPTV EPG信息对应的部分并将其存储在存储器612中。
存储器612存储各种数据,例如SI和EPG。
SI解码器613从存储器612接收SI数据,并分析它们以获得频道映射信息。EPG解码器614分析存储在存储器612中的EPG数据,并恢复EPG配置所必需的信息。
ITF操作控制器615是控制频道改变或诸如EPG显示的ITF操作的主控制器。
频道服务管理器616根据用户输入执行诸如频道改变的操作。应用管理器617根据用户输入执行诸如EPG显示的应用服务。
MPEG-2解复用器603从所接收到的IP数据报提取MPEG-2传输流数据,并根据PID将它们传送给对应模块。
另外,MPEG-2 PSI/PSIP解析器604从MPEG-2传输流提取A/V数据的PID或包括节目元素的访问信息的PSI/PSIP数据,并将它们解析。
此外,A/V解码器605将输入的音频和视频数据解码,并将它们传送至显示模块606,显示模块606输出解码的A/V数据或应用。
本发明还可实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是能够存储稍后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储以及载波(诸如通过互联网的数据传输)。
计算机可读记录介质还可分布于联网的计算机系统上,使得计算机可读代码以分布式方式存储和执行。另外,用于实现本发明的功能程序、代码和代码段可由本发明所属技术领域的程序员容易地解释。
尽管已参照其多个示意性实施例描述了实施方式,但是应该理解,本领域技术人员可想到将落入本公开的原理的精神和范围内的许多其它改型和实施方式。更具体地讲,可对本公开、附图和所附权利要求书的范围内的主题组合的组成部分和/或布置方式进行各种变型和改型。除了组成部分和/或布置方式方面的变型和改型之外,对于本领域技术人员而言,另选的使用也将是明显的。