向多个客户端传送多媒体数据的方法、系统和网络的制作方法
【专利摘要】为了通过网络(102)，把多媒体数据传送给多个客户端(104a、104b)，其中所述多媒体数据是按不同多媒体码率的多种格式保存的，根据多媒体数据的效用信息，所述效用信息描述多媒体质量和多媒体码率之间的关系，并且根据网络(102)的状况，为多个客户端(104a、104b)中的每个客户端，确定所述多媒体数据的可用多媒体码率。响应传送具有所需多媒体码率的多媒体数据的客户端请求(114)，按照为请求客户端(104a、104b)确定的可用多媒体码率，选择被请求的多媒体数据的格式，并把所选格式的多媒体数据传送给请求客户端(104a、104b)。
【专利说明】向多个客户端传送多媒体数据的方法、系统和网络
【技术领域】
[0001]本发明涉及通过网络，向多个客户端提供多媒体数据的领域，更具体地，涉及向多个客户端传送多媒体数据的方法、系统和网络。本发明的实施例涉及从提供视频数据的服务器，通过无线或有线网络，向多个客户端提供视频数据的途径。
【背景技术】
[0002]对有线或无线网络中，从保持多媒体内容的服务器到多个客户端设备的可靠并且高效的富多媒体内容分发的需求不断增长。例如，在无线网络中，移动设备的增强能力和无线网络的改进能力已导致移动视频消费的巨大增长。最近，对于移动多媒体流式传输，已使基于HTTP的动态自适应流式传输(DASH，也称为MPEG-DASH或3GP_DASH(参见参考文献
[I])标准化。这种途径重新使用广泛部署的基于TCP(传输控制协议)的HTTP(超文本传输协议)(渐进式下载)的网络基础结构，并提供与标准HTTP协议兼容的完整的流式传输构架，包括媒体表现、传输和动态码率自适应。
[0003]对最佳的媒体分发来说，经网络从服务器到客户端设备的内容的传送仍然是主要的瓶颈。例如，对最佳的移动媒体分发来说，无线链路仍然是瓶颈，如在参考文献[2]中所述。在无线网络的情况下，移动运营商面临在多个客户端之间分配稀缺的网络资源，同时使用户的体验质量(QoE)达到最大的问题。在有线网络中，网络流量会是最佳媒体分发的问题。
[0004]图1是通过核心网络102，例如移动网络的核心网络，从视频服务器100向视频客户端104a和104b提供视频数据的环境的示意表示。如图1中所示,每个视频客户端经相应的无线信道108a和108b，连接到基站(eNB) 106。和视频服务器100 —样，基站106连接到核心网络102。在核心网络102内，设置流量管理单元110和流量工程单元112，其中流量管理单元110包括例如QoE优化器。流量管理单元110从基站106分别接收与基站106和视频客户端104a及104b之间的两个无线信道108a和108b的长期平均质量有关的信息。此外，流量管理单元110从视频服务器接收多媒体内容的效用信息。该信息可包括关于保存在服务器100中的视频格式的不同表现的率失真信息。
[0005]为了通过核心网络102，从视频服务器100(参见图1)向客户端提供视频内容，一种已知的途径是所谓的RTP/UDP-流式传输途径(RTP=实时传输协议，UDP=用户数据报协议)。图2表示服务器100和客户端104a之间的这种流式传输途径的示意图。客户端向视频服务器100发送对特定视频流的请求114，视频服务器通过UDP，提供具有视频码率的分组流，如在116所示。来自视频服务器100的数据经核心网络102传送，并通过流量工程单元112，当把来自视频服务器的数据传送给客户端时，所述流量工程单元112提供码率整形机制，例如通过应用适当的转码算法，或者借助内容感知分组丢弃。对于传统的RTP/RTSP流式传输，提出了通过无线网络的基于QoE的资源分配，如在参考文献[3]中所述。不过，这种途径代价高，并且伴随有由借助例如转码或内容感知分组丢弃的必要的网络中内容适配引起的开销。[0006]于是，现有技术中的另一种已知途径是利用例如DASH协议(DASH= “HTTP的动态自适应流式传输”)的所谓“自适应HTTP流式传输”，它通过以多个码率编码相同的内容，提供固有的自适应性。图3表示按照DASH视频格式，提供视频内容的例子。图3是保存在例如图1的服务器100中的DASH视频格式的例子。按照这种格式，在服务器上保存许多小文件，每个小文件以一定的质量包含视频的某一时段。更具体地，在图3中，以3种不同的质量，即质量1、质量2和质量3保存视频内容。对于每种质量，表示了 3个片段，每个片段具有例如2秒的长度。质量最高的片段的视频码率为1.5Mbps，文件大小为3Mb。对于最低的质量来说,视频码率为0.5Mbps，文件大小为1Mb，居中的质量(质量2)具有IMbps的视频码率，文件大小为2Mb。
[0007]图4表示利用DASH协议的流式传输技术的例子。同样表示了服务器100和客户端104a，服务器按照图3中所示的格式，保持多媒体内容或视频内容。在多媒体流式传输处理开始时，DASH客户端104a通过向服务器100发送AlHTTP请求，所述AlHTTP请求包含期望的多媒体流的媒体呈现描述(MPD)的URL，向服务器请求所述MPD。服务器100返回包括所述MPD的A2HTTP响应。MPD包含可在服务器100得到的多媒体格式的描述，包括不同片段的URL和多媒体格式。为了以所需多媒体格式下载片段，DASH客户端104a向服务器100发送Bla-BNa HTTP请求，其中HTTP请求包括以期望的质量，保存在服务器100上的多媒体片段的URL。服务器100把Blb-BNb被请求视频片段文件传送给客户端。所述请求是作为HTTP请求传送的，所述片段是作为HTTP响应传送的。HTTP在TCP之上运行，如在116所示。可选的是，和RTP/UDP流式传输途径中一样，在DASH会话中，同样可以进行流量工程112，以便在把数据从服务器传送给客户端时，提供码率整形机制。
[0008]关于图3和图4说明的上述途径是不利的，因为当两个或者更多的客户端在共用链路上竞争资源时，会表现出不一致并且不公平的行为，如在参考文献[4]中概述的那样。实际上，在参考文献[5]中，断定为了确保良好的流式传输性能，TCP带宽应两倍于多媒体码率。由于例如在有限的无线频谱中，这种过度供给行不通，因此还需要考虑适合于个体用户状况和媒体特性的资源管理策略。
[0009]DASH协议定义了自适应HTTP流式传输的呈现和分段格式(参见图3)，但是控制策略不是该标准的一部分。为了提高在自适应HTTP视频分发方面的用户感受，提出了不同的码率适配途径，例如如在参考文献[6]和[7]中所述。不过，这些途径往往优化单个用户的自适应HTTP流式传输，而未进一步考虑对共用网络资源的其他DASH用户的影响。事实上，迄今为止，一直很少研究多路存取DASH流式传输问题。一直主要从端对端服务器-客户端角度，研究自适应HTTP媒体分发，而网络，例如移动网络一直被视为黑箱(参见参考文献[2]和[8])。在关于多用户HTTP流式传输的少数出版物中，参考文献[9]考虑了在最后一跳的无线链路，适配HTTP/TCP视频传输的公平调度器(RR)。在参考文献[10]中，考虑了对多个客户端之间的自适应HTTP视频分发的网络管理。不过，所需码率是根据所有用户的可用带宽估计量，由网络确定的(例如，参见图4)。参考文献[11]表明家庭网关中的简单带宽整形策略能够改善竞争客户端之间的自适应HTTP体验。
【发明内容】
[0010]按照实施例，提供一种通过网络，把多媒体数据从多媒体数据的来源传送给多个客户端的方法，其中所述多媒体数据是按不同多媒体码率的多种格式保存的，所述方法包括以下步骤:根据多媒体数据的效用信息，所述效用信息描述多媒体质量和多媒体码率之间的关系，并且根据网络的状况，由设置在网络中，并接收效用信息和关于网络状况的信息的优化器，为连接到基站或者连接到网络的多个客户端中的每个客户端，确定所述多媒体数据的可用多媒体码率，所述可用多媒体码率指示在所述网络状况的条件下，可在多媒体数据的来源获得，并且列举在效用信息中的多媒体格式中的哪种多媒体格式可被提供给相应的客户端；和响应传送具有所需多媒体码率的多媒体数据的客户端请求，按照优化器为请求客户端确定的可用多媒体码率，选择被请求的多媒体数据的格式，并把所选格式的多媒体数据传送给请求客户端。
[0011]另一个实施例提供一种具有保存在机器可读介质上的指令的非临时性计算机程序产品，当在计算机上运行时，所述指令执行通过网络，把多媒体数据从多媒体数据的来源传送给多个客户端的上述方法。
[0012]另一个实施例提供一种通过网络，向多个客户端传送多媒体数据的系统，其中多媒体数据是按不同多媒体码率的多种格式保存的，系统被配置成按照通过网络，把多媒体数据从多媒体数据的来源传送给多个客户端的上述方法工作。
[0013]按照另一个实施例，提供一种把多媒体数据传送给多个客户端的网络，所述多媒体数据是按不同多媒体码率的多种格式保存的，所述网络可具有:优化器，所述优化器被配置成根据多媒体数据的效用信息，并根据网络的状况，为多个客户端中的每个客户端确定多媒体数据的可用多媒体码率，所述效用信息描述多媒体质量和多媒体码率之间的关系；代理服务器，所述代理服务器被配置成接收传送具有所需多媒体码率的多媒体数据的客户端请求，和来自优化器的可用多媒体码率，从按其保存被请求的多媒体数据的多个不同的多媒体码率中，选择最好地匹配可用多媒体码率之一的一个多媒体码率，根据可用多媒体码率中的一个所选多媒体码率，修改所述请求，并把修改后的请求传送给保存多媒体数据的服务器，以使服务器把所选格式的多媒体数据传送给请求客户端。
[0014]本发明的实施例提供一种通过网络，向多个客户端传送多媒体数据的方法，其中多媒体数据是按不同多媒体码率的多种格式保存的，所述方法包括:
[0015]根据多媒体数据的效用信息，所述效用信息描述多媒体质量和多媒体码率之间的关系，并且根据网络的状况，为多个客户端中的每个客户端，确定所述多媒体数据的可用多媒体码率；和
[0016]响应传送具有所需多媒体码率的多媒体数据的客户端请求，按照为请求客户端确定的可用多媒体码率，选择被请求的多媒体数据的格式，并把所选格式的多媒体数据传送给请求客户端。
[0017]按照实施例，所述方法还包括根据所述请求，确定所需多媒体码率，其中选择和传送步骤包括从按其保存被请求的多媒体数据的多个不同的多媒体码率中，选择最好地匹配可用多媒体码率之一的一个多媒体码率。
[0018]按照实施例，可以设置优化器和代理服务器，其中
[0019]优化器接收效用信息和关于网络状况的信息，确定可用的多媒体码率，并把可用的多媒体码率提供给代理服务器，代理服务器通过解析保存多媒体数据的来源和客户端之间的可用格式的初始交换，学习可用格式，并且在流式传输处理期间，代理服务器接收所述请求，选择所述格式，解析所述请求，根据选择的格式修改所述请求，然后把修改后的请求传送给保存多媒体数据的来源，或者
[0020]其中优化器从代理服务器接收可用格式的列表，效用信息和关于网络状况的信息，确定可用多媒体码率，选择格式，并把选择的格式提供给代理服务器，代理服务器通过解析保存多媒体数据的来源和客户端之间的可用格式的初始交换，学习可用格式，并把格式的列表转发给优化器，在流式传输处理期间，代理服务器接收所述请求，解析所述请求，根据接收的所选择的格式修改所述请求，然后把修改后的请求传送给保存多媒体数据的来源。
[0021]修改所述请求可包括根据可用多媒体码率中的一个所选多媒体码率，重写所述请求。传送多媒体数据的请求可包括定位符,例如URL，所述定位符与按所需多媒体码率编码的多媒体数据相关，在这种情况下，修改所述请求可包括改变所述定位符，以匹配与保持按可用多媒体码率之一编码的多媒体数据的文件相关的定位符。代理服务器可设置在网络上，或者设置在一些或者所有的客户端上，其中在代理服务器被设置在一个或多个客户端上的情况下，用信号把可用多媒体码率通知在客户端上的代理服务器。
[0022]按照另外的实施例，所述请求和可用多媒体码率被传送给多媒体数据的来源，其中所述来源按照接收的可用多媒体码率之一，选择多媒体数据的格式，并传送所选格式的被请求多媒体数据。
[0023]按照另外的实施例，所述方法还包括根据选择的多媒体码率，分配用于把被请求的多媒体数据通过网络传送给请求客户端的带宽。
[0024]按照另外的实施例，在传输会话期间，反复确定可用的多媒体码率，以便考虑到网络状况的变化。
[0025]按照另外的实施例，多媒体数据包括多个片段，每个片段包含媒体数据的某一时段，其中所述请求识别要传送给客户端的片段。
[0026]按照另外的实施例，网络是有线网络或者无线网络，其中网络状况包括网络的拥塞状态或者网络中的无线环境。
[0027]按照另外的实施例，按照DASH协议提供多媒体数据，并按照HTTP把多媒体数据传
送给客户端。
[0028]按照另外的实施例，多媒体数据包括视频数据。
[0029]按照另外的实施例，效用信息包括各个多媒体格式的率失真信息。
[0030]按照另外的实施例，在传输会话期间，客户端按照预定准则，选择不同的所需多媒体码率。所述预定准则可包括在客户端的可用资源，和在客户端的缓冲区状态。
[0031]按照另外的实施例，客户端识别请求中的变化，并在为未来的请求确定所需多媒体速率时，把所述变化考虑在内。
[0032]按照实施例，为多个客户端中的每个客户端,确定所述多媒体数据的可用多媒体码率包括根据多媒体数据的效用信息，所述效用信息描述多媒体质量和多媒体码率之间的关系，并且根据网络的状况，由设置在网络中并接收效用信息和关于网络状况的信息的优化器，为通过连接到基站或者连接到网络而共享公共网络资源的多个客户端中的每个客户端，一起确定所述多媒体数据的可用多媒体码率，所述可用多媒体码率指示在所述网络状况的条件下，可在多媒体数据的来源获得，并且列举在效用信息中的多媒体格式中的哪种多媒体格式可被提供给相应的客户端。
[0033]本发明的实施例提供一种包含保存在机器可读介质上的指令的非临时性计算机程序产品，当在计算机上运行时，所述指令执行按照本发明的实施例的方法。
[0034]本发明的实施例提供一种通过网络，把多媒体数据传送给多个客户端的系统，其中多媒体数据是按不同多媒体码率的多种格式保存的，所述系统被配置成按照本发明的实施例工作。
[0035]本发明的实施例提供一种把多媒体数据传送给多个客户端的网络,其中多媒体数据是按不同多媒体码率的多种格式保存的，所述网络包括:
[0036]优化器，所述优化器被配置成根据多媒体数据的效用信息，并根据网络的状况，为多个客户端中的每个客户端确定多媒体数据的可用多媒体码率，所述效用信息描述多媒体质量和多媒体码率之间的关系；和
[0037]代理服务器，所述代理服务器被配置成接收传送具有所需多媒体码率的多媒体数据的客户端请求，和来自优化器的可用多媒体码率，从按其保存被请求的多媒体数据的多个不同的多媒体码率中，选择最好地匹配可用多媒体码率之一的一个多媒体码率，根据可用多媒体码率中的一个所选多媒体码率，修改所述请求，并把修改后的请求传送给保存多媒体数据的服务器，以使服务器把所选格式的多媒体数据传送给请求客户端。
[0038]本申请的发明人详细研究了上面提及的现有途径，发现所有这些现有途径都考虑了多个参数，然而，现有途径都没有利用媒体内容信息。基于所述发现，本发明的实施例提供一种按照实施例，通过在无线或有线网络中，利用HTTP的动态自适应流式传输(DASH)，改善用户满意度的新机制。按照实施例，DASH代理服务器被用于增强DASH客户端的体验质量，并且与其码率适配逻辑不是本地实现在DASH客户端中，就是实现在DASH服务器中的传统DASH途径不同，本发明的实施例提供负责截取客户端请求，并根据QoE优化器的输入，重写客户端请求的DASH代理服务器。
[0039]从而，本发明的实施例提供一种用于DASH的QoE驱动的资源分配，它优化对有线或无线网络中的多个客户端的自适应HTTP媒体分发。通过在DASH代理服务器中重写客户端请求，网络强制执行对优化资源的应用层码率适配，以致本发明的实施例通过重写客户端请求，考虑了使网络资源适应于用户感受质量和自适应HTTP流式传输的益处。
[0040]本发明的实施例是有利的，因为它们改善了网络中的用户感受质量，提高了无线网络中的无线资源利用效率，改善了用户满意度，避免了消费者抱怨，并且与现有的QoE媒体分发构架兼容。
【专利附图】
【附图说明】
[0041]下面参考附图，说明本发明的实施例，其中:
[0042]图1是表示把来自视频服务器的视频数据经核心网络，提供给视频客户端的环境的不意图；
[0043]图2表示服务器和客户端之间的RTP/UDP流式传输方法的示意图；
[0044]图3表示当保存在例如图1的服务器中时的DASH视频格式的例子；
[0045]图4表不利用DASH协议的流式传输技术的例子；
[0046]图5是本发明的从服务器向DASH客户端提供或传送多媒体内容的实施例的示意图；
[0047]图6表示描述在无线移动网络的环境下，本发明的其它实施例的示意图；
[0048]图7表示更详细地说明关于图6提及的各种途径的示意图，其中图7(a)是按照实施例的主动代理途径的方框图，图7(b)是按照另一个实施例的主动代理途径的方框图，而图7(c)是按照实施例的主动服务器途径的方框图；
[0049]图8表不总结模拟参数的表格；
[0050]图9是对35次模拟运行求平均值得到的不同途径的平均意见得分(MOS)的图表；
[0051]图10表示对35次模拟求平均值得到的4种方案各自的性能；
[0052]图11表示向QoE优化器提供效用信息的实施例，其中图11(a)表示其中从数据库获得效用信息的实施例，图11(b)表示其中效用信息包含在MPD中的实施例，而图11(c)表示其中从服务器获得效用信息的实施例。
【具体实施方式】
[0053]按照实施例，提供QoE驱动的多路存取DASH，所述QoE驱动的多路存取DASH优化对有线或无线网络中的多个客户端的自适应HTTP媒体分发。依据定义，自适应HTTP流式传输功能是半分散的，即，(a)客户端负责估计流式传输数据速率，并作出分段决策，(b)QoE优化器进行总体资源分配。
[0054]本发明的实施例说明一种途径，所述途径考虑通过重写客户端请求，使网络资源适应于在自适应HTTP流式传输方面的用户感受质量的益处。与适应于吞吐量变化的关于单一 DASH流的码率适配方案不同，按照本发明的实施例的QoE驱动的多用户码率适配途径直接考虑在流内容表现出不同的率失真特性的条件下，对用户体验质量的影响。本发明的实施例通过考虑到用户感受质量，允许优化有限的网络资源的使用。此外，能够防止由无线信道状况的动态变化引起的服务质量的剧烈变化。
[0055]图5表示本发明的从服务器100向DASH客户端104提供或传送多媒体内容的实施例的示意图。客户端104经无线信道108连接到基站106，基站106和DASH服务器100通过核心网络102连接。按照本发明的实施例，流量管理单元110包括为了为每个客户端找出最佳的多媒体码率而设置的QoE优化器111。信息被转发给流量工程单元112，流量工程单元112包括为了重写客户端请求，并把被请求的MPD发送给QoE优化器110而设置的DASH代理服务器120。流量工程单元112还包括为了限制从服务器向客户端发送多媒体数据的带宽而设置的码率整形器。QoE优化器111从基站接收与基站106和DASH客户端之间的信道108相关的信息，QoE优化器111从代理服务器120接收MPD，QoE优化器111从DASH服务器100接收效用信息，例如，关于保存在DSAH服务器100中的不同表现或格式的率失真信息。提供给流量管理单元110的信道信息描述网络的状况，当被保存在服务器100 (另外参见图3)之时，效用信息描述多媒体质量(如视频质量)和多媒体码率(例如视频码率)之间的关系，例如率失真。根据该信息，QoE优化器111为可连接到基站106，或者连接到核心网络102的多个客户端104中的每个客户端，确定适用于多媒体数据的多媒体码率，即，确定在所述网络状况下，可在服务器获得的并且列举在MH)中的多媒体格式(参见图3)中的哪种多媒体格式可被提供给相应的客户端104a和104b。该信息，即，确定的多媒体格式被提供给流量工程单元112，并被DASH代理服务器120使用。[0056]例如，考虑DASH客户端104a发出包括所期望质量的特定视频片段的请求114的情况，所述请求114经基站106，从DASH客户端104a被转发给流量工程单元112，并被提供给DASH-代理服务器120。DASH-代理服务器评估请求114，并根据所述请求，确定被请求片段的多媒体码率。在确定所需多媒体码率不对应于QoE优化器111关于DASH客户端104a确定的多媒体码率的情况下，DASH代理服务器通过用确定的多媒体码率代替原始多媒体码率，重写请求114，并把修改后的请求114’转发给服务器100。根据包含在修改后的请求中的信息，服务器100把具有确定的多媒体码率的片段提供给客户端，如在116所示。
[0057]例如，考虑图5中的情形，并且假定鉴于信道信息和效用信息，QoE优化器111确定客户端104a的多媒体码率为IMbps (参见图3)，而客户端104b的多媒体码率为0.5Mbps (参见图3)，另外假定DASH客户端114发出对具有1.5Mbps的多媒体码率的片段的请求，本发明的实施例如下工作。在DASH代理服务器114，对具有1.5Mbps多媒体码率的片段的请求被接收，并确定该码率不同于由QoE优化器111使之与客户端104a关联的码率(该码率为IMbps)。于是，代理服务器重写客户端请求，从而生成修改的请求114’，以致被请求片段的多媒体码率现在仅仅为1Mbps。假定请求114包括对具有质量I (视频码率1.5Mbps)的片段I的请求，但是鉴于修改后的请求114’，DASH服务器将通过路径116，向客户端104a转发只具有质量2 (IMbps)的片段I。
[0058]在请求114中指示的多媒体码率小于确定的多媒体码率的情况下，修改的请求114’可包括比原始多媒体码率高的多媒体码率。
[0059]在图5中，表示了具有两个DASH客户端的无线环境，不过，按照本发明的实施例的上述途径显然也适用于具有不止两个客户端的环境。另外注意，该途径并不局限于无线网络，相反，该途径也可用在有线网络中，在有线网络中，可向直接连接到网络(经有线链路)的多个客户端请求视频内容，并且提供给QoE优化器111的信息可包括和网络状况有关的信息，例如，与DASH服务器和DASH客户端之间的一条或多条可能路径有关的信息，例如路径上，对所有DASH视频流来说的可用总带宽，以致根据这些状况，确定对每个DASH客户端来说的最佳多媒体码率，随后代理服务器120按照上述方式，利用确定的最佳多媒体码率。
[0060]与常规途径相比，上面关于图5说明的本发明的实施例允许更快的应用层码率(视频质量)适配，和允许按照网络状况，更直接地控制视频质量。
[0061]注意，上述途径可被反复进行，例如在传输会话期间被反复进行，以考虑到网络状况的变化，以致可根据网络中的不断变化的状况，适配或改变由QoE优化器111提供给代理服务器120的视频码率。例如，在会话开始时，只有低视频码率适用于DASH客户端104，不过，在传输会话期间，客户端和基站之间的信道会改善，从而该客户端的总的可用码率可增大。当可用码率变化时，视频码率被增大，以致以提高的质量向客户端提供视频片段。
[0062]图5描述其中DASH-代理服务器120是流量工程单元112的一部分的实施例，不过，本发明并不局限于这样的实施例。相反，每个DASH客户端104a、104b都可具备实现DASH代理服务器120的功能的单元，在这种情况下，会利用信号把QoE优化器111确定的视频码率从QoE优化器111通知给相应的DASH客户端，以致响应客户端请求，能够在客户端本身容易地产生修改后的请求。按照实施例，客户端实现一种如下算法:使他可以识别他发出的请求中的各种变化，以及哪些变化是由代理服务器120在核心网络120中产生的。当为未来的请求确定所请求的视频格式时，DASH客户端把这些变化考虑在内。按照实施例，在DASH客户端中实现的算法识别从DASH服务器100接收的视频格式，判定在所请求的格式和接收的格式之间是否存在差异，并根据该信息，确定发生于它的变化将把借助从服务器100接收的片段用信号通知的新格式用于未来的请求。在其它实施例中，代理服务器可被配置成用信号向作出请求的客户端通知变化后的视频码率。
[0063]图6表示描述在无线移动网络的环境下，本发明的其它实施例的示意图。关于图5已说明的实体具有相同的附图标记。在图6中，示意地表示了 LTE核心网络102, LTE核心网络102包括向DASH客户端104a和104b提供无线连接的基站106。DASH服务器100连接到LTE核心网络102，LTE核心网络102包括上面关于图5说明的QoE优化器111，以及上面说明的代理服务器120。按照本发明的另一个实施例，不设置代理服务器，而是把QoE优化器111确定的码率提供给DASH服务器，所述DASH服务器根据接收的各个客户端的码率信息，并根据经核心网络102接收的请求114，进行码率适配，如在方框122所示，以便根据适配的码率提供视频内容。
[0064]在图6中描述的情形下，多个移动客户端104a、104b通过LTE核心网络102，同时向下游传送不同的DASH内容。在DASH服务器100，确定每个内容的效用信息，并添加到媒体呈现描述(MPD)中。例如，可在表现的初始化片段中，或者对于每个片段，在MH)的表现内，用信号通知效用信息，按照实施例，效用信息提供保存在DASH服务器100中的视频内容的不同格式或表现(参见图3)的率失真信息。在移动网络中，QoE优化器111收集包括效用信息的MPD，和关于不同DASH客户端的信道信息，并确定最佳的多媒体码率。按照第一实施例(参见图5)，通过设置代理服务器120，使用主动网络途径，所述代理服务器120解析客户端HTTP请求114，并根据匹配QoE优化结果的MPD，修改多媒体或视频码率。按照关于图6说明的第二实施例，即，主动服务器途径，DASH服务器100按照从QoE优化器111接收的反馈，主动使多媒体或视频码率适合于请求客户端。
[0065]按照实施例，例如上面关于图5和图6说明的实施例，在网络102中设置优化器111，优化器111接收效用信息和关于网络状况的信息。优化器为通过连接到基站106，或者连接到网络102，共享公共网络资源的多个客户端104a、104b中的每个客户端，一起确定多媒体数据的可用多媒体码率。
[0066]对这两个实施例来说，可以设置带宽整形器124(参见图6)，以致根据确定的多媒体速率，能够限制用于通过网络把多媒体数据传送给请求客户端的带宽，并且能够分配必需的资源。
[0067]图7表示更详细地说明关于图6提及的各种途径的示意图，其中图7(a)是按照实施例的主动代理途径的方框图，图7(b)是按照另一个实施例的主动代理途径的方框图，而图7(c)是按照实施例的主动服务器途径的方框图。关于图5和图6已说明的实体具有相同的附图标记。
[0068]图7 (a)表示通过核心网络(未示出)，连接到服务器100的DASH客户端104a，所述核心网络包括上面关于图5说明的代理服务器120和QoE优化器111。在多媒体流式传输处理开始时，DASH客户端104a通过向服务器100发送HTTP请求114a，向服务器请求期望的多媒体流的媒体呈现描述(MPD)。请求114a包括MH)的URL。服务器100通过代理服务器120，向客户端104a返回包括被请求的MPD的HTTP响应116a。所述MPD可包含可在服务器100获得的多媒体格式的描述，包括不同片段的URL和多媒体格式。QoE优化器111可从代理服务器120接收包括效用信息的MPD。在流式传输开始时及流式传输期间，QoE优化器定期从另一个网络部件(未示出)接收关于网络状况的信息，例如，从移动网络中的eNB,接收关于信道状况的信息。根据该信息，效用信息，并且如果存在可用的多媒体格式，QoE优化器定期确定可用的多媒体码率，并将其提供给代理服务器120。代理服务器120通过解析保存多媒体数据的服务器100和客户端104a之间的可用格式的初始交换，学习可用格式。QoE优化器111还可把关于可能的带宽限制的信息提供给资源整形器124( —种带宽整形器)，以便在把数据从服务器100传送给客户端104a时，提供码率整形机制，如上关于图4所述。在流式传输期间，为了以所需多媒体格式下载片段，DASH客户端104a向服务器100发送请求114b，其中HTTP请求包括以期望的质量，保存在服务器100上的多媒体片段的URL。代理服务器120接收来自客户端104a的请求114b，并按照从优化器获得的可用多媒体码率的最新信息，选择格式。代理服务器120解析请求114b，在需要时，根据选择的格式修改所述请求，并把修改的请求114b或者未修改的请求114b'传送给服务器100。作为响应，服务器100把包括被请求片段的HTTP响应116b经代理服务器120，传送给客户端104ao
[0069]图7(b)表示通过核心网络(未示出)，连接到服务器100的DASH客户端104a，所述核心网络包括上面关于图5说明的代理服务器120和QoE优化器111。图7 (b)是一种与关于图7(a)说明的途径类似的途径，除了按照本实施例，QoE优化器111接收上述信息，确定可用的多媒体码率，选择格式，并把选择的格式提供给代理服务器120之外。代理服务器120接收请求114a,解析所述请求,通过重写所述请求,修改该请求，以指示选择的格式(接收自QoE优化器111)，并把修改后的请求114b传送给服务器100。
[0070]图7(c)表示通过核心网络(未示出)，直接连接到服务器100的DASH客户端104a，所述核心网络包括上面关于图5说明的QoE优化器111。在多媒体流式传输处理开始时，DASH客户端104a通过把HTTP请求114a发送给服务器100，向服务器请求期望的多媒体流的媒体呈现描述(MPD)。请求114a包括MPD的URL。服务器100向客户端104a返回包括被请求的MPD的HTTP响应116a。所述MPD包含可在服务器100得到的多媒体格式的描述，包括不同片段的URL和多媒体格式。QoE优化器111收集效用信息和关于网络状况的信息，并确定提供给服务器100的可用多媒体码率。QoE优化器111还可把关于可能的带宽限制的信息提供给资源整形器124 ( —种带宽整形器)，以便在把数据从服务器100传送给客户端104a时，提供码率整形机制，如上关于图4所述。在流式传输期间，为了以所需多媒体格式下载片段，DASH客户端104a向服务器100发送请求114b，其中HTTP请求包括以期望的质量，保存在服务器100上的多媒体片段的URL。作为响应，服务器100向客户端104a发送包括被请求的片段的HTTP响应116b，其中服务器100使多媒体格式适合于客户端104a，还按照从QoE优化器111接收的反馈，限制数据传输速率。
[0071]下面，将比较按照本发明的实施例的途径和纯被动途径及不进行任何适配的途径。更具体地，将比较主动网络途径(图5中所示的第一实施例)、主动服务器途径(图6中所示的第二实施例)和被动途径。在被动途径中，客户端测量由带宽整形器按照QoE优化的结果而分配的可用带宽，并把带宽测量结果用于确定和请求具有适当码率的多媒体格式。还将给出与常规的DASH流式传输途径的比较，在常规的DASH流式传输途径中，流式传输速率和可用资源分别由客户端和LTE调度器确定。将关于LTE系统的下行链路，比较刚刚提及的4种方案，并将考虑请求编码成11种表现的不同DASH内容的8个客户端。在这些模拟中，将使用Microsoft平滑流式传输客户端(参见参考文献[4])，图8表示总结模拟参数的表格。
[0072]图9表示对35次模拟运行求平均值得到的不同途径的平均意见得分(MOS)的图表。从20秒到60秒，测量所有用户的MOS。QoE-服务器途径(第二实施例)表现出最佳的性能，因为所有用户都以最佳速度进行流式传输。与QoE-服务器途径相比，QoE-代理途径(第二实施例)的MOS降低，因为只有离散的一组码率可用。这两种途径对应于其中利用QoE优化器111确定每个客户端的多媒体格式和对应的传输速率的主动优化。与未优化的DASH优化(non-opt)相比,被动流式传输改善了感受的视频质量。另外与主动途径相t匕，被动方案的MOS也降低，因为客户端对吞吐量变化反应迟缓，并且并不总是收敛到最佳的表现水平。对QoE被动方案和未优化方案来说，多媒体格式只由客户端决定。与未优化方案相比，就MOS来说，QoE-被动方案、QoE-代理方案和QoE-服务器方案分别使平均用户满意度提高了 0.2,0.36和0.57。
[0073]图10表示对35次模拟求平均值得到的4种方案各自的性能。可以看出对需求较低的用户，未优化方案可提供良好的性能，但是对需求更高的用户，比如公共汽车、海岸和港口用户则表现欠佳。同时，基于QoE的方案在用户之间分配资源，以致使总的用户满意度达到最大。这导致需求高的用户的感受视频质量的显著增加，同时保持对需求较低的视频的 M0S。
[0074]在具有请求视频内容的客户端的无线网络的环境中，说明了本发明的以上实施例。不过注意，本发明同样适用于有线环境，即，通过网络的相应线路，连接到服务器的客户端。如上所述，随后根据有线网络中的具体状况，确定适合于相应客户端的码率。另外，本发明并不局限于视频内容，相反，本发明适用于要从服务器传送给客户端的所有种类的多媒体数据，并且多媒体数据可包括视频数据、图像数据、音频数据等等。
[0075]此外注意，上面说明的实施例把优化器和代理服务器表示成网络的独立实体。按照其它实施例，优化器和代理服务器可用公共实体实现，例如，实现优化器和代理服务器两者的功能的公共计算机或服务器。
[0076]图11表示向QoE优化器提供效用信息的实施例。图11 (a)表示其中从数据库获得效用信息的实施例。图11(b)表示其中效用信息包含在MPD中的实施例。图11(c)表示其中从服务器获得效用信息的实施例。
[0077]图11 (a)是示意表示服务器110、客户端104a、代理服务器120和QoE优化器111的方框图。另外，图中表示了保持效用信息的数据库126。按照本实施例，客户端104a通过向服务器发送包含期望的多媒体流的媒体呈现描述(MPD)的URL的HTTP请求，向服务器请求所述MPD。服务器100返回MPD，所述MH)包含可在服务器得到的多媒体格式，例如视频名称的描述，包括不同片段的URL和多媒体格式。代理服务器120接收MPD，得出视频名称，并将其转发给优化器111。根据接收的视频名称，优化器111查询数据库126，接收客户端104a请求的视频的效用信息。
[0078]按照图11 (b)的实施例，响应来自客户端104a的请求，服务器可查询数据库126，取回所请求的MPD的效用信息。服务器100修改MPD，以包括所述效用信息。修改后的MPD随后通过代理服务器120，被发送给客户端100和QoE优化器111。[0079]按照图11(c)的实施例，响应来自客户端104a的请求，服务器100可查询数据库126，取回所请求的MH)的效用信息。服务器100把效用信息直接转发给优化器。在上面说明的所有实施例中，可把效用信息保存在数据库126中，并依据存在于MH)中的多媒体内容的名称或URL，访问所述效用信息。
[0080]尽管关于设备说明了一些方面，不过显然这些方面也代表对应方法的说明，其中块或装置对应于方法步骤，或者方法步骤的特征。类似地，关于方法步骤说明的方面也代表对应设备的对应块或零件或特征的说明。
[0081]取决于某些实现要求，本发明的实施例可用硬件或软件实现。可以利用保存有电可读控制信号的数字存储介质，比如软盘、DVD、CD、R0M、PR0M、EPR0M、EEPR0M或闪速存储器，完成所述实现，所述电可读控制信号与(或者能够与)可编程计算机系统协作，以致实现相应方法。
[0082]按照本发明的一些实施例包含非临时性数据载体，所述非临时性数据载体具有能够与可编程计算机系统协作，以致实现这里说明的方法之一的电可读控制信号。
[0083]通常，本发明的实施例可被实现成具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，所述程序代码能够实现所述方法之一。例如，程序代码可保存在机器可读载体上。
[0084]其它实施例包含保存在机器可读载体上的，实现这里说明的方法之一的计算机程序。
[0085]换句话说，于是，本发明的方法的一个实施例是具有程序代码的计算机程序，当所述计算机程序在计算机上运行时，所述程序代码实现这里说明的方法之一。
[0086]于是，本发明的方法的另一个实施例是一种数据载体(或者数字存储介质，或者计算机可读介质)，所述数据载体包含记录在上面的，用于实现这里说明的方法之一的计算机程序。
[0087]于是，本发明的方法的另一个实施例是代表用于实现这里说明的方法之一的计算机程序的数据流或信号序列。例如，所述数据流或信号序列可被配置成经数据通信连接，例如经因特网传送。
[0088]另一个实施例包含配置成或者适合于实现这里说明的方法之一的处理装置，例如计算机，或者可编程逻辑器件。
[0089]另一个实施例包含装有实现这里说明的方法之一的计算机程序的计算机。
[0090]在一些实施例中，可以使用可编程逻辑器件(例如，现场可编程门阵列)来实现这里说明的方法的一些或所有功能。在一些实施例中，现场可编程门阵列可以与微处理器协作，以实现这里说明的方法之一。通常，所述方法最好用任意硬件设备实现。
[0091]上述实施例只是本发明的原理的举例说明。显然对本领域的技术人员来说，这里说明的安排和细节的各种修改和变化是显而易见的。于是，本发明仅由以下权利要求的范围限定，而不受利用这里的实施例的说明和解释给出的具体细节限定。
[0092]参考文献
[0093][1]T.Stockhammer.Dynamic adaptive streaming over http-standards anddesign principles.Proc.MMSys2011, San Jose, California, USA，Feb.2011.[0094][2]K.Ma，R.Bartos，S.Bhatia，and R.Nair.Mobile video delivery with http.IEEE Communications Magazine，49 (4)，166:175，April201L
[0095][3] S.ThakoIsri，S.Khan，E.Steinbach，and W.Kellerer.QoE-drivencross-layer optimization for high speed downlink packet access.Journal of Communications, 4 (9)，669:680，Oct.2009.[0096][4] S.Akhshabij A.C.Begenj and C.Dovrolis.An experimental evaluation ofrate-adaptation algorithms in adaptive streaming over http.Proc.MMSys2011, SanJose, California, USA，Feb.2011.[0097][5] B.Wang, J.Kurosej P.Shenoyj and D.Towsley.Multimedia streamingvia TCP:An analytic performance study.ACM Trans.Multimedia Comput.Commun.App1.，May2008.[0098][6]L.D.Ciccoj S.Mascoloj and V.Palmisan0.Feedback control for adaptivelive video streaming.Proc.MMsys2011, San Jose, California, USA, Feb.2011.[0099][7]D.Haveyj R.Chertovj and K.Almeroth.Receiver driven rate adaptationfor wireless multimedia applications.Proc.MMSys 2012，Chapel Hill,NorthCarolina, USA, Feb.2012.[0100][8] A.Begenj T.Akgulj and M.Baugher.Watching video over the web:Part2:Applications，standardization，and open issues.1EEE Internet Computing，15(3)，59:63，May-June2011.[0101][9]W.Pu, Z.Zouj and C.W.Chen.New TCP video streaming proxy design forlast-hop wireless networks.Proc.1EEE ICIP2011, Brussels, Belgium, Sept.2011.[0102][10]K.Ma and R.Bartos.Http live streaming bandwidth management usingintelligent segment selection.Proc.1EEE Globecom2011, Texas, USA, Dec.2011.[0103][11] R.HOUDAILLE and S.GOUACHE.Shaping http adaptive streams for abetter user experience.Proc.MMSys2012, Chapel Hill, North Carolina, USA, Feb.2012.[0104][12] 3GPP TR36.942.Evo Ived Universal Terrestrial RadioAccess (E-UTRA);Radio Frequency(RF)system scenarios.Jan.2011.[0105][13]S.ThakoIsri，W.Kellerer,and E.Steinbach.QoE-Based Cross-LayerOptimization of Wireless Video with Unperceivable Temporal Video QualityFluctuation.1EEE International Conference on Communications (ICC), June2011.
【权利要求】
1.一种通过网络(102)把多媒体数据从多媒体数据的来源(100)传送给多个客户端(104a、104b)的方法，其中所述多媒体数据是按不同多媒体码率的多种格式保存的，所述方法包括: 根据多媒体数据的效用信息，并且根据网络(102)的状况，由设置在网络(102)中并接收效用信息和关于网络状况的信息的优化器(111)，为连接到基站(106)或者连接到网络(102)的多个客户端(104a、104b)中的每个客户端，确定所述多媒体数据的可用多媒体码率，所述效用信息描述多媒体质量和多媒体码率之间的关系，所述可用多媒体码率指示在所述网络状况的条件下能够在多媒体数据的来源(100)获得并且被列举在效用信息中的多媒体格式中的哪种多媒体格式能够被提供给相应的客户端(104a、104b);和 响应于传送具有所需多媒体码率的多媒体数据的客户端请求(114)，根据优化器(111)为请求客户端(104a、104b)确定的可用多媒体码率，选择被请求的多媒体数据的格式并把所选格式的多媒体数据传送给请求客户端(104a、104b)。
2.按照权利要求1所述的方法，其中所述方法还包括根据所述请求(114)确定所需多媒体码率，并且其中选择和传送步骤包括从按其保存被请求的多媒体数据的多个不同的多媒体码率中选择最好地匹配可用多媒体码率之一的一个多媒体码率。
3.按照权利要求2所述的方法，其中网络(102)包括代理服务器(120)， 其中优化器(111)把可用多媒体码率提供给代理服务器(120)，并且代理服务器(120)接收请求(114)，选择格式，解析请求(114)，根据选择的格式修改请求(114)，并把修改后的请求(114’)传送给多媒体数据的来源(100)，或者 其中优化器(111)还选择格式，并把选择的格式提供给代理服务器(120)，并且代理服务器(120)接收请求(114)，解析请求(114)，根据接收的所选格式修改请求(114)，并把修改后的请求(114’)传送给多媒体数据的来源(100)。
4.按照权利要求3所述的方法，其中传送多媒体数据的请求(114)包括定位符，例如URL，所述定位符与按所需多媒体码率编码的多媒体数据相关，并且其中修改请求(114)包括改变所述定位符，以匹配与按可用多媒体码率之一编码的多媒体数据相关的定位符。
5.按照权利要求3所述的方法，其中代理服务器(120)被设置在网络(102)上，或者被设置在一些或者所有的客户端(104a、104b)上，其中，在代理服务器被设置在一个或多个客户端(104a、104b)上的情况下，用信号把可用多媒体码率通知客户端(104a、104b)上的代理服务器。
6.按照权利要求1所述的方法,其中请求(114)和可用多媒体码率被传送给多媒体数据的来源(100)，并且其中来源(100)根据所接收的可用多媒体码率之一选择多媒体数据的格式，并传送所选格式的被请求多媒体数据。
7.按照权利要求1所述的方法，还包括根据选择的多媒体码率分配用于把被请求的多媒体数据通过网络(102)传送给请求客户端(104a、104b)的带宽。
8.按照权利要求1所述的方法，其中在传输会话期间，反复确定可用多媒体码率，以便考虑到网络(102)的状况的变化，并且其中多媒体数据包括多个片段，每个片段包含媒体数据的某一时段，并且其中请求(114)识别要传送给客户端(104a、104b)的片段。
9.按照权利要求1所述的方法，其中网络(102)是有线网络或者无线网络，并且其中网络状况包括网络(102)的拥塞状态或者网络(102)中的无线状况。
10.按照权利要求1所述的方法,其中根据DASH协议提供多媒体数据，并根据HTTP把多媒体数据传送给客户端(104a、104b)，其中，在传输会话期间，客户端(104a、104b)根据预定准则选择不同的所需多媒体码率，其中，在传输会话期间，客户端(104a、104b)根据预定准则选择不同的所需多媒体码率。
11.按照权利要求1所述的方法，其中客户端(104a、104b)识别请求(114)的变化，并在为未来的请求(114)确定所需多媒体码率时把所述变化考虑在内。
12.一种包含保存在机器可读介质上的指令的非临时性计算机程序产品，当在计算机上运行时，所述指令执行按照权利要求1-11之一所述的方法。
13.—种通过网络(102)向多个客户端(104a、104b)传送多媒体数据的系统，其中多媒体数据是按不同多媒体码率的多种格式保存的，所述系统被配置成按照权利要求1-11之一所述的方法工作。
14.一种把多媒体数据传送给多个客户端(104a、104b)的网络，其中所述多媒体数据是按不同多媒体码率的多种格式保存的，所述网络(102)包括: 优化器，所述优化器被配置成根据多媒体数据的效用信息，并根据网络(102)的状况，为多个客户端(104a、104b)中的每个客户端确定多媒体数据的可用多媒体码率，所述效用信息描述多媒体质量和多媒体码率之间的关系；和 代理服务器(120)，代理服务器(120)被配置成接收传送具有所需多媒体码率的多媒体数据的客户端(104a、104b)请求(114)，和来自优化器的可用多媒体码率，从按其保存被请求的多媒体数据的多个不同的多媒体码率中选择最好地匹配可用多媒体码率之一的一个多媒体码率，根据可用多媒体码率中的一个所选多媒体码率修改请求(114)，并把修改后的请求(114’)传送给保存多媒体数据的服务器(100)，以使服务器(100)把所选格式的多媒体数据传送给请求客户端(104a、104b)。
15.按照权利要求14所述的网络(102)，还包括码率整形器，所述码率整形器被配置成把从服务器(100)向客户端(104a、104b)发送多媒体数据片段的带宽限制成优化器用信号通知的带宽。
【文档编号】H04N21/234GK103581701SQ201310340452
【公开日】2014年2月12日 申请日期:2013年8月7日 优先权日:2012年8月7日
【发明者】M·施哈达, D·斯塔勒, W·凯勒尔, E·斯坦贝克, A·艾尔埃塞莉, D·施罗德 申请人:株式会社Ntt都科摩