专利名称：降低在流式会话期间传输信道差错所造成的影响的制作方法
技术领域：
本发明涉及经由传输信道从流式服务器到流式客户机的流式传输媒体。
背景技术：
多媒体流式传输是基于会话的单向服务，可以包括一个或更多媒体组件，诸如经由可以通过有线/或无线网络实现的传输信道从专门流式服务器(下称服务器)向流式客户机设备(下称客户机)近实时地流式或其它方式传输的文本、语音、音频、视频、图形。典型地，大量客户机能够通过网络访问所述服务器。该服务器能够响应客户机所提的请求。
服务器的一个任务是发送想要的媒体流到客户机。典型地，在所述服务器需要用于‘未加工’媒体内容(或数据)的存储空间是巨大的。为了方便在通常可用的传输信道诸如低比特率调制解调器或无线连接上有吸引力的多媒体流式服务，在发送(流式传输)所述媒体内容到客户机之前对其进行压缩。当接收该媒体时，客户机解压缩并利用小的延迟或完全没有延迟来重放媒体。这意味着在开始重放媒体之前不必整个下载媒体。因此，客户机不需要存储整个媒体内容。可以预先记录要发送的媒体内容，或者替换地，在媒体事件发生(诸如音乐会)期间能够发送媒体到一个或更多客户机作为现场传输(或现场广播)。流式服务的一些实例如下·音频流式传输(例如，为客户机提供流式传输音频重放)·具有音频和视频组件(新闻评论、音乐视频、电影预告片等等)的流式传输·具有同时可视显示包括以预先规定顺序显示的静止图像、文本和/或图形动画和/或视频剪辑的音频流式传输。
随着本领域技术的迅猛发展，网络变得更有效。但是，同时，网络中的业务条件正变得更加不定。吞吐比特率可以基本上在时间甚至在一个和同一流式会话期间发生变化。为了以最适当的方式使用网络资源并且改善服务质量(QoS)和用户体验，已经引入了称为(比特)速率适配的概念。这意味着，例如如果在多媒体流式会话期间网络条件发生变化，从而由于某种原因诸如拥塞可用的带宽(即吞吐比特率)也发生变化，能够适配服务器的发送比特率以满足所述新网络条件。实际上，这可能意味着服务器切换到发送比特率低于(或高于)先前发送流的比特率的流。以这种方式改变媒体流的比特率能够防止客户机缓冲器上溢或下溢，因此改善了所体验的质量。有关比特率适配通常参考文献Tdoc S4(03)0024，“End-to-end bit rate adaptation forPSS”，3GPP TSG-SA WG4 Meeting#25，2003年1月20-24日，旧金山，CA，美国(由Ericsson发起)。
尽管通常接受比特率适配在可用网络带宽变化的情况下对于适配流式传输媒体非常地适合，但是并不认为它是用于经受传输差错的系统或在流式会话期间在传输信道上传输差错情形发生变化的系统的理想方法。
关于传输差错(或传输期间的差错)，通常识别以下差错类别比特差错和分组差错。比特差错典型由物理信道的缺陷诸如无线电干扰所引起。另一方面，分组差错典型由分组交换网络中的各种元件的限制所引起。例如，分组路由器可能变得拥塞，即它可能接收过多的分组并且不能输出它们，即以相同的速率将其转发到下一网络元件。在这种情况下，它的缓冲器上溢，结果丢失了一个或更多分组。例如对于当前的因特网和无线网络这种情形是有可能的，其中网络缓冲器具有有限的容量。
在下文中，参考文献Yao Wang等人的“Error Resilient VideoCoding Techniques”，IEEE信号处理杂志，17卷，no.4，第61-82页，2000年7月。根据该文献，在刚才描述的情形中，无差错传送数据分组仅仅能够通过机制诸如自动重复请求(ARQ)允许重新发送丢失的(或损坏的)分组而实现。但是，这种重发可以导致对于一定的实时应用所不可接受的延迟。广播应用由于网络泛溢考虑完全地防止使用重发算法。根据Wang等人的文献，所以重要的是设计能够使压缩的比特流从传输差错恢复的媒体编码/解码方案。
Wang等人还阐述了差错控制对于压缩的视频流尤为重要，因为使用典型的编码方法诸如预测编码和可变长度编码(VLC)使发送的流对于传输差错非常敏感。在接收机一侧的单个不正确恢复的采样可能导致在已接收图像(或帧)和/或后续图像(或帧)中的接下来采样的差错。同理，单个比特差错可导致解码器失同步，从而甚至后续正确接收的比特也将变得无用。
已经开发了许多差错恢复编码技术(差错恢复技术)为压缩的视频和音频比特流提供差错恢复。
正如Wang等人有关视频流的解释，一种使压缩比特流从传输差错恢复的可能性是在所述流中添加(或留)冗余，从而才有可能检测和纠正差错。服务器典型具有执行信源编码和信道编码的编码器。在信源或信道编码器中能够添加冗余。Wang等人还阐述了即使当由于传输差错而丢失采样或采样块时，位于客户机的解码器能够试图通过使用时空相邻采样间的固有相关，基于周围的采样估计所述采样或采样块。这种技术已知为差错隐藏技术。如编码器在编码处理中没有完全消除信号中的冗余，这些技术是有可能的。为了限制差错传播的影响，编码器能够周期性地重启预测处理。编码器的这种故意缺陷的结果是传输差错可能仅仅影响帧的一部分，然后能够通过能够内插法估计该部分。
如前述所描述的，Wang等人涉及用于视频流式传输的差错恢复技术。对于用于音频流的差错恢复技术，通常参考文献Colin Perkins等人的“A Survey of Packet Loss Recovery Techniques for StreamingAudio”，IEEE Trans.Network，12卷，第505-515页，1998年。
但是，应该注意的是，仅差错恢复技术存在并未单独给例如在流式会话期间在传输信道上的差错特征发生变化的情形带来一种解决方案。
发明内容
本发明的一个目的是处理在流式传输期间传输差错变化的情形。
根据本发明的第一方面，提供了一种经由传输信道从流式服务器向流式客户机流式传输媒体的方法，其中该方法包括通过应用差错恢复适配给所述流式传输媒体，降低由传输信道差错变化所造成的影响。
术语媒体被认为是指视频或音频或另一种媒体，诸如静止图像、图形、文本、语音或其任何组合即多媒体。
在本发明的实施例中，执行差错恢复适配，以便借助于预先定义的差错恢复等级，提高或降低(要发送到客户机的)流内容的差错恢复特性。在实施例中，根据媒体内容或流所能够容许的目标最高(或最大)数据丢失速率，为该媒体内容或流定义差错恢复等级(或值)。使具有不同差错恢复等级并通过不同差错恢复技术(参考在“背景技术”部分中已经介绍的Wang等人的文献)产生的一组预先产生的流对于所述流式服务器是可用的。通过在适当的切换点将发送的流切换到具有不同差错恢复等级的流，可以执行差错恢复适配。借此，有可能对改变网络条件作出反应。如果传输信道上的传输差错情况变得恶化，可能提高发送流式传输媒体的差错恢复等级。另一方面，如果传输信道上的传输差错情况变得较好，可能降低差错恢复等级。通过这种方式，应该相对地提高了用户体验。
本发明的实施例在差错恢复适配中使用代码转换。当使用代码转换时，不需要具有多重预先产生的流，但是在(或接近)实际流式传输时，可以通过适当的方法编码(代码转换)媒体内容。
根据本发明的第二方面，提供的一种客户机设备包括接收装置，用于接收经由传输信道从流式服务器发送到客户机设备的流式传输媒体；
检测装置，用于检测传输信道差错；以及发送装置，用于传输差错恢复适配请求到所述流式服务器。
该客户机设备可以是蜂窝网络的移动台或固定终端。
根据本发明的第三方面，提供的一种流式服务器包括发送装置，用于经由传输信道发送流式传输媒体到流式客户机；以及适配装置，用于通过应用差错恢复适配给所述流式传输媒体，降低由传输信道差错变化而造成的影响。
根据本发明的第四方面，提供了一种包括流式服务器、传输信道和流式客户机的系统，其中该系统包括传送装置，用于经由所述传输信道从所述流式服务器传送流式传输媒体到所述流式客户机；和适配装置，用于通过应用差错恢复适配给所述流式传输媒体，降低由传输信道差错变化而造成的影响。
根据本发明第五方面，提供了一种可在客户机设备中执行的计算机程序产品，该计算机程序产品包括用于控制接收经由传输信道从流式服务器发送到客户机设备的流式传输媒体的程序代码；用于检测传输信道差错的程序代码；和用于控制向所述流式服务器传输差错恢复适配请求的程序代码。
根据本发明的第六方面，提供了一种可在流式服务器中执行的计算机程序产品，该计算机程序产品包括用于控制经由传输信道发送流式传输媒体到流式客户机的程序代码；和用于控制应用于所述流式传输媒体的差错恢复适配的程序代码。
从属权利要求包含本发明的优选的实施例。涉及本发明特定方面的从属权利要求中所包含的主题还可应用于本发明的其他方面。
现在将参考附图通过实例的方式描述本发明的实施例，其中图1示出了用于流式服务的通信系统；图2示出了根据本发明实施例的媒体信息方框；图3示出了根据本发明的实施例用于流式传输媒体的系统；图4示例了根据本发明实施例的流式服务器；图5示出了图4的流式服务器的另一个例子；图6示例了根据本发明实施例的流式客户机设备；以及图7示出了图6的流式客户机设备的另一个例子。
具体实施例方式
图1示出了根据本发明实施例的通信系统。该系统包括与IP(网际协议)网络104耦合的流式服务器111。IP网络104可以例如是因特网或服务提供运营商的内联网(内联网属于运营者的域)。IP网络104与移动通信网络的核心网103耦合。这种耦合可以经由Gi接口而实现。所述移动通信网络可以例如是‘第2.5代’GPRS或EGPRS网络，或第三代或未来代蜂窝移动通信网络。该移动通信网络还包括耦合至核心网103的无线电接入网(RAN)102。无线电接入网络102为移动客户机设备101提供通过空中接口接入到所述移动通信网络。通过电路交换方式(例如，电路交换数据呼叫)或分组交换方式(例如，GPRS(通用分组无线业务))可以提供上述的接入。因此，可以使用这些技术在空中接口部分上传送媒体流分组。
应该注意到空中接口的存在不是必须的。在流式服务器111和流式客户机101之间提供传输信道(或通道)的网络可以由固定网诸如固定IP网络组成。但是，通常认为在包含移动网络的环境中的传输差错和差错变化比在固定“非移动”网络环境中是更严重的问题。
典型的流式传输过程可以包括以下的基本步骤-在流式服务器111中产生并存储所述流式传输媒体内容。该内容能够以标准文件格式诸如基于ISO(国际标准化组织)基本媒体文件格式(ISO/IEC 14496-12|15444-12(国际电工技术委员会))的文件格式、MP4文件格式(ISO/IEC14496-14)、AVC(高级视频编解码)文件格式(ISO/IEC 14496-15)、或以3GPP文件格式(3GPP TS26.244(第三代伙伴计划))存储。
-使所述流式会话或表示描述对于客户机101是可获得的。例如，这能够通过RTSP URL(实时流式传输协议，IETF RFC 2326，统一资源定位符)或SDP文件(会话描述协议，IETF RFC 2327)予以实现。
-客户机101向服务器111请求(借助RTSP DESCRIBE方法)会话描述。对于服务器111可以实现能力交换以知道客户机设备101的能力和/或用户的首选项。在3GPP分组交换流式服务的能力交换中，可使用W3C(万维网联盟)资源描述框架(RDF)模式规范、W3CCC/PP结构与词汇、以及WAP UAProf规范。
-服务器111利用会话描述文件(SDP)响应于客户机101。
-客户机101发送RTSP SETUP消息到服务器111以设置流式会话的流式传输媒体组件。每个媒体组件存在单独的RTSP SETUP请求(例如，一个请求用于音频和一个请求用于该会话的视频媒体组件)。服务器111响应于该SETUP消息。
-客户机101发送RTSP PLAY消息，以开始媒体数据传送(即，流传送媒体)。服务器11开始传送被请求的媒体到客户机101。
-在重放期间，客户机101可以决定暂停该重放和发送RTSPPAUSE请求到服务器111。服务器111停止到客户机101的媒体数据传送。客户机101能够使用RTSP PLAY方法恢复重放。
-如果完成所述重放或者如果客户机101发出RTSPTEARDOWN请求，则服务器111结束该会话。
例如，通过在TCP/IP(传输控制协议)上使用RTSP、在UDP/IP(用户数据报协议)上使用RTSP、或在TCP/IP上使用HTTP(超文本传输协议，IETF RFC 2616)可以实现会话控制数据的传输。例如，通过在UDP/IP上使用RTP(实时传输协议，IETF RFC 1889和1890)或者在RTSP消息内部进行交织(即RTP/TCP/IP)可以实现实际的媒体数据(或内容)的传输。
根据本发明的实施例，在媒体(或多媒体)流式传输中支持差错恢复适配。为此定义了一组差错恢复等级。一旦服务器111和客户机101都知道它们的含义，则能够使用这些等级来控制流式媒体传输。
在本实施例中，根据目标的最高数据丢失率定义差错恢复的等级。定义的八个差错恢复等级如下差错恢复等级 目标的最高数据丢失率00％(无差错)11％22％34％48％516％632％或更高7未规定。
例如，差错恢复等级3指示具有该差错恢复等级的媒体流能够容忍传输信道中最高(或最大)4％数据丢失率，而不会造成接收媒体(例如，图像)质量的显著失真。而具有差错恢复等级0的媒体流指示在编码算法下使用最高的压缩比率。
根据实施例，对于服务器111可获得一组预先记录的媒体流。每一个流意图利用不同数量的差错恢复。例如如上所述通过添加冗余进行编码。例如，第一流可以具有差错恢复等级0，第二流具有差错恢复等级2，第三流具有差错恢复等级4以及第四流具有差错恢复等级5。在建立的流式会话期间，服务器111可以适配(或调整)其发送，以便发送最佳适合于传输信道的主要差错条件的比特流。如果初始发送的流是所述第二流(具有差错恢复等级2)并且差错条件例如改变成最差，服务器111则能够切换到发送具有较大差错恢复等级的另一流。这种切换在适当的切换点完成。在本实施例中，服务器111能够例如切换到发送所述第三流(具有差错恢复等级4)。用户将有可能体验媒体质量的小的恶化，这是因为具有较高差错恢复等级的流与具有较低差错恢复等级的流相比具有稍微较差的比特质量。但是，与如果所述服务器已继续发送原始发送的流相比较，对于用户体验来说所述媒体质量中的小恶化更为适合。在这种情况下，在最坏情形中由于提高的数据丢失(或分组丢失)率可能完全地破坏了所述媒体的质量。
在以上示意性的实施例中，定义了差错恢复的八个等级。但是应该注意到，恢复等级的数量取决于所述实现，所以可以定义比八个等级或多或少的等级。
媒体内容典型地以特定的标准文件格式存储在服务器111。根据本发明的实施例，以该文件格式存储可获得流的差错恢复值(或等级)。通过这种方式，服务器111将知道每一流的差错恢复值，并且可以根据主要的网络差错条件和可用媒体内容的差错恢复等级，通过选择正确的流执行差错恢复适配。
关于文件格式，当前应用ISO基本媒体文件格式于MPEG-4音频、可视和AVC、运动JPEG2000格式。为了支持基于具有不同差错恢复等级的相同媒体序列的多重编码的恢复适配，可以修改ISO基本媒体文件格式成包括为该媒体内容指示差错恢复等级的属性。替换地，如果使用MP4格式或AVC格式，能够修改这些格式成支持所述恢复适配。对于其他媒体类型，诸如H.263视频，AMR语音(自适应多速率)或MPEG-4AAC音频格式，能够以其他文件格式例如3GPP文件格式进行适当的修改。
以下示意性的实施例示例了ISO基本媒体文件格式的修改。应该注意到其他方式的修改也是可能的。
在本实施例中，提出了称为媒体恢复信息方框的新方框用于传达具体媒体内容(或表示)的恢复等级。方框的定义可如下方框类型‘rinf’容器媒体信息方框(‘minf’)必备否数量零或1
该语法可以是aligned(8)class MediaResilienceInformationBoxextends Fullbox(‘rinf’，version＝0，flags){template unsigned int(8)resiliencelevel＝7；}示意性方框的语义如下。“version”是规定方框版本的整数。“flag”是具有标记位的24位整数(目前全部为零)。“resiliencelevel”规定媒体内容(或媒体表示)的差错恢复等级。在使用八个差错恢复等级定义的实施例中，“resiliencelevel”值的范围从0到7，包括在如差错恢复等级的前述定义中。如果该方框不可获得，所述媒体内容的默认差错恢复等级是7，它所指的是未规定差错恢复等级。
参考图2，该图示例了媒体恢复信息方框20，它具有标题21和8位的语法单元22(“恢复等级”)。
有关可能文件格式例如3GPP文件格式的修改，对于基本的这些文件格式有可能的是如在前述所修改的ISO基本媒体文件格式。还应该注意到其他方式也是可能的。
根据本发明的实施例，在服务器111和客户机101之间信号发送有关差错恢复等级的信息。在本实施例中，服务器111在流式会话建立期间可以让客户机101知道哪些恢复替换是可获得的。在该会话建立之后，即在已建立会话期间，客户机101可以向服务器111请求想要的差错恢复等级。
以下是示出了在服务器111和客户机101之间信号传输差错恢复信息的示意性实施例。在本实施例中，SDP表示用于会话建立的网络协议。应该注意的是，替换地，可以使用另一种协议。在本实施例中，提出用新属性线(a-线)传送在会话建立阶段所述SDP会话描述中的差错恢复信息。该SDP会话描述从服务器111发送到客户机101。属性线的格式可以如下a＝resiliencel1，l2，...，ln其中l1指示默认的差错恢复等级(例如，等级1)以及l2，...，ln指示服务器111所支持的其他替换(例如，等级2，3，4和6)。
刚描述的实施例建议能够交换服务器能力。这与3GPP分组交换流式服务(3GPP TS 26.234)中能力交换的当前规范相反，所述服务仅仅支持客户机设备能力和/或用户首选项的交换。但是，认为对于例如以下原因交换服务器能力是有利的，即如果客户机101知道服务器111不支持恢复适配，然后它能够避免向服务器111发送无用的差错恢复适配请求。
以下是示出了在服务器111和客户机101之间信号传输差错恢复信息的另一个示意性实施例。该实施例涉及在已建立的流式会话期间的流式会话控制。在该实施例中，RTSP表示用于流式会话控制的网络协议。应该注意到可以替换地使用其他协议。
定义并提出称为“恢复(Resilience)”的新RTSP标题。该标题的格式可以如下Resilience＝“Resilience”“”1*DIGIT，+，-客户机101能够例如借助RTSP OPTIONS，PAUSE，SET_PARAMETER或PLAY请求，在正在进行的流式会话期间使用该标题以向服务器111请求想要的差错恢复等级，而服务器111例如在它响应于所述的RTSP请求而发送的响应中能够使用它来通知客户机101所述正在发送媒体的差错恢复等级。替换地或另外，客户机101能够例如借助RTSP OPTIONS，PAUSE，SET_PARAMETER或PLAY请求，仅简单地使用该标题来请求服务器提高或降低所述差错恢复等级。
例如具有值0的标题，诸如Resilience0将会指示请求对于无差错条件发送，但是具有“+”符号的标题，诸如Resilience+将会指示请求开始发送具有较高差错恢复等级的流。
客户机101还可以在一系列恢复等级递增或递减消息之后，从服务器111查询RTSP GET_PARAMETER请求正使用的当前恢复等级，例如以检验最后的恢复等级。
在以上描述中已经结合示出流式传输过程基本步骤的实施例描述了有关流式传输初始化的动作。在以下实施例中，将从差错恢复适配的角度更严密地描述所述流式会话初始化。
基本上，假设服务器111具有不同的可获得的差错恢复等级的替换。在这种情况下，理解所述替换的客户机101能够选择一种要开始的替换。例如，使用所提出的SDP属性也能够获得该替换。使用例如提出的RTSP标题能够进行初始选择。基本的初始化步骤如下-客户机101从服务器111请求(借助RTSP DESCRIBE方法)或检索(借助HTTP方法)会话描述。可以执行能力交换以交换客户机设备的能力和/或用户首选项以及服务器能力。通过能力交换，客户机101可以得知服务器111支持差错恢复适配。
-服务器111通过应用所提出的SPD属性利用所述会话描述SDP响应或传送该SDP，它包含可获得的差错恢复等级。
-客户机101从所给出的替换中选择最适当的差错恢复等级。
-借助RTSP SETUP方法建立媒体流。所选择的替换通过使用所提出的RTSP标题以信号传输到服务器111。
-请求网络资源。如果保留资源，可能的得到保证(最大)的传输差错率应该对应于所选择的差错恢复等级替换。
-客户机101利用RTSP PLAY请求开始媒体传送。在发送PLAY请求时，客户机101可以选择使用另一个差错恢复等级而不是利用SETUP消息所选择的一个差错恢复等级开始重放。如果例如不能够保证适当的传输差错率，在应用所提出的RTSP标题的这种阶段中能够请求新的替换差错恢复等级。
以下示意性的实施例示出了在已建立的流式会话期间的差错恢复适配动作。换言之，存在已建立的流式会话，但是在所述会话网络条件改变期间，借此导致了传输差错率(或数据丢失率)的提高或降低。
这些示意性实施例中的第一实施例是基于服务器的适配的实例。在这种情形中，只有服务器111判定是否以及何时完成差错恢复适配。该判定基于它在客户机101所发送RTCP(RTP控制协议)接收机报告中接收的信息。RTCP是RTP的必要部分以及使用它来产生和流式传输有关的反馈和统计信息。其中，RTCP报告指示有关在传输信道上的差错和分组丢失的用以支持适配判定的重要信息。根据本实施例的动作的典型过程如下-由于网络变化提高所述传输差错率。
-客户机101周期性地向服务器111发送RTCP接收机报告。如果报告示出了网络条件(例如，高速的分段丢失信息的指示)中的显著变化，服务器111得出有必要适配到另一个恢复等级的结论。但是，应该注意到恰好在所述差错率已经改变之后的一个报告出现的统计中可能不能足够清楚地看到差错率的提高。所以，在得出结论即需要适配之前，在所述改变之后服务器111可能需要接收不止一个报告。
-服务器111判定改变到较高的差错恢复等级替换。发出新的差错恢复等级。通过使用所提出的RTSP标题可以通知客户机111该新的差错恢复等级。差错恢复等级适配可以例如基于多重编码或代码转换。如果它基于多重编码，这意味着所述服务器从发送第一预先产生(或预先编码)的流切换到发送满足该新的差错恢复等级的第二预先产生的流。如果它基于代码转换，这意味着在发送它之前简单地代码转换媒体内容(因此，典型地在服务器一侧上只存储一个编码流)。
-由于提高的差错恢复，也相对地提高了客户机一侧的媒体质量。
第二示意性实施例展现了这样一种情形，其中客户机101和服务器111合作判定是否以及何时需要差错恢复适配。根据该实施例的动作的典型过程如下-由于网络变化提高传输差错率。
-客户机101基于其自己的测量(使用相同的测量产生RTCP报告)检测传输差错率提高。
-客户机101向服务器111使用所提出的RTSP标题发送请求以适配到较高的恢复等级媒体流替换。
-服务器111确认并利用所请求的较高差错恢复等级开始发送流。而且在这里，所述差错恢复适配可以例如基于多重编码或代码转换。
-客户机101开始接收所述新的流。
-服务器111可以通过查看接下来的RTCP报告验证所述判定是正确的。
根据所述实现，可以安排服务器111具有接受或拒绝客户机请求的最终能力。在这种情形下，如果服务器不能找到适当的差错恢复适配，它可以拒绝客户机所提出的差错恢复适配请求。
图3示出了根据本发明的实施例用于流式传输媒体的系统。该系统包括服务器111和客户机101。服务器111经由网络121提供的传输信道(或通道)向客户机101发送流式传输媒体(发送数据)。网络121可以是单个网络或如图1所示的不同网络的组合。客户机101经由网络121所提供的信令信道(或路由)发送信令数据给服务器111。其中，该信令数据可以包括用于适配差错恢复等级的请求，如上所述。服务器111还经由网络121所提供的信令信道发送信令数据给客户机101。如上所述，这种信令数据可以包括有关正在发送媒体流的差错恢复等级的信息。
所述系统包括编码所接收的媒体信号(在这里是视频信号)媒体编码器113(在这里是视频编码器)。所述编码通过计算机程序114控制。所述媒体编码器的输出是压缩的比特流，然后将其传送到存储该流的单元112。单元112可以实现为流式服务器111的一部分。如上所述，能够提前(利用多重编码方法)产生具有不同差错恢复等级的一组流(流1到n)。流式服务器111然后选择一个流进行发送。可以通过多次运行媒体编码器113并且将输出的多重流存储在单元112中产生该组流。替换地，如果使用代码转换，通过包括代码转换器的单元112执行该代码转换。
图4示例了根据本发明实施例的流式服务器111。服务器111包括流选择器块118、打包器块116和信道编码器块117。流选择器118根据与差错恢复等级相关的条件选择可获得流中的一个流。打包器116基于该选择的流产生分组。关于视频流，典型地在一个分组中传送最多一个视频帧，而关于音频流，一个分组典型地可以包括不止一个音频帧。信道编码器117对所述分组执行信道编码以产生实际的发送数据。
图5示出了服务器111的另一个例子。服务器111包括处理单元151、第一存储器153、网络接口155、以及第二存储器152。第一存储器153、网络接口155和第二存储器152耦合至处理单元151。
处理单元151根据第一存储器153中存储的计算机软件154控制服务器111的操作，诸如控制图4的流选择器118、打包器116和信道编码器117。它控制处理从客户机101所接收的差错恢复适配请求以及经由网络接口350发送第二存储器(盘)152中存储的适当的视频和/或音频流到客户机101。
软件154包括实现协议栈的程序代码，该协议栈包括必要的协议层诸如例如，RTP层、RTSP层、SDP层、TCP或UDP层、IP层。较低的协议层可以通过硬件和软件的组合而实现。
图6示例了根据本发明实施例的流式客户机设备101。客户机101包括信道解码器块107、拆包器块106、媒体解码器块103和用户接口109。信道解码器107对接收的发送数据包执行信道解码。拆包器106解包该接收的分组。在经由用户接口109显示给用户之前，在解码器103中解码所产生的流。
图7示出了客户机设备101的另一个例子。在本实施例中，客户机101是蜂窝无线电电话网络的移动台。但是，替换地，该客户机可以是固定终端。
客户机101包括处理单元171、射频(RF)部件175、以及用户接口(UI)109。射频部件175和用户接口109耦合至处理单元171。用户接口109典型地包括显示器、扬声器和键盘(未示出)，借助于这些部件用户能够使用客户机设备101。
处理单元171包括处理器(未示出)、存储器173和在存储器173中所存储的计算机软件174。该处理器根据所述软件控制客户机设备101的操作，诸如经由射频部件175从服务器111接收流式传输媒体以及发送请求到服务器111，在用户接口109上显示该接收的流式传输媒体。处理单元151还根据软件154控制图6的信道解码器107、拆包器106和媒体解码器103的操作。
软件174包括实现协议栈的程序代码，该协议栈包括必要的协议层诸如例如，RTP层、RTSP层、SDP层、TCP或UDP层、IP层。较低的协议层可以通过硬件和软件的组合而实现。
客户机101经由射频部件175向服务器发送的RTCP报告还基于例如经由应用编程接口(API，未示出)从协议栈得到的信息通过软件产生。
本发明的实施例提供了用于流式服务中差错恢复适配的方式。利用如在本发明实施例中所提出的差错恢复适配，所述流式服务能够适配于由于网络条件改变而引起的网络传输差错率的变化，因此能够期望相对较好的服务质量和用户体验。定义差错恢复等级能够为流式会话控制目的而有效地以信号通知差错恢复能力。
本发明的实施例可以用于现场馈送流，其中在所述流式服务器实时地编码现场视频和/和现场音频信号并将它发送到客户机设备。所述实施例还可以应用于流式广播传输。在这些情况下，可以基于报告诸如从一个或更多客户机所接收的RTCP报告执行差错恢复适配。
已经描述了本发明的特定实现和实施例。对于本领域的普通技术人员所显而易见的是，本发明并不限制于上述公开的实施例细节，它能够使用等效的方式在其他实施例中实现而不背离本发明的特征。本发明的范围仅通过附属权利要求书进行限定。
权利要求
1.一种经由传输信道从流式服务器向流式客户机流式传输媒体的方法，其中该方法包括通过应用差错恢复适配给所述流式传输媒体，降低由传输信道差错变化所造成的影响。
2.根据权利要求1所述的方法，其中所述差错恢复适配包括使用一组预定义的差错恢复等级来控制流式传输媒体传送。
3.根据权利要求2所述的方法，其中根据作为目标的最高数据丢失率或分组丢失率定义所述差错恢复等级。
4.根据权利要求1所述的方法，其中将传输信道差错变化作为在客户机一侧所体验的数据丢失率或分组丢失率的改变来通知。
5.根据权利要求1所述的方法，其中所述方法包括当通知传输信道条件的改变时，从所述流式客户机向所述流式服务器传输差错恢复适配请求；在所述流式服务器接收该请求；根据该请求通过所述流式服务器适配所述流式传输媒体的差错恢复等级。
6.根据权利要求5所述的方法，其中所述请求是以下之一具体差错恢复等级请求、差错恢复等级提高请求、差错恢复等级降低请求。
7.根据权利要求1所述的方法，其中所述流式服务器从所述客户机接收指示传输信道差错的报告，诸如RTCP报告(RTP控制协议(实时流式传输协议))，并且其中所述服务器基于一个或更多的所述报告对差错恢复适配作出判定。
8.根据权利要求1所述的方法，其中在所述流式客户机和流式服务器之间建立的正在进行的流式会话期间执行差错恢复适配。
9.根据权利要求1所述的方法，其中位于所述流式服务器的媒体流与指示差错恢复等级的差错恢复值相关联。
10.根据权利要求9所述的方法，其中以存储有所述媒体流的文件格式存储所述差错恢复值。
11.根据权利要求1所述的方法，其中通过将所述流式服务器从发送具有第一差错恢复等级的第一预先产生流切换到发送具有第二差错恢复等级的第二预先产生流来执行差错恢复适配，所述第二差错恢复等级不同于所述第一差错恢复等级。
12.根据权利要求1所述的方法，其中通过代码转换方法执行差错恢复适配，该代码转换方法包括代码转换具有第一差错恢复等级的媒体流，以形成具有不同于所述第一等级的差错恢复等级的媒体流。
13.根据权利要求1所述的方法，其中在所述流式服务器和所述流式客户机之间传送差错恢复信息。
14.根据权利要求13所述的方法，其中在流式会话建立中，将有关可获得的不同差错恢复等级替换的信息传送到所述客户机。
15.根据权利要求1所述的方法，其中所述传输信道至少部分地经由移动通信网络实现。
16.根据权利要求15所述的方法，其中所述流式服务器具有与基于IP的网络的IP(网际协议)连接，该基于IP的网络被配置成与所述移动通信网络相耦合。
17.根据权利要求1所述的方法，其中要流式传输的所述媒体包括以下至少之一视频内容、音频内容、静止图像、图形、文本和语音。
18.一种客户机设备，包括接收装置，用于接收经由传输信道从流式服务器发送到该客户机设备的流式传输媒体；检测装置，用于检测传输信道差错；以及发送装置，用于传输差错恢复适配请求到所述流式服务器。
19.根据权利要求18所述的客户机设备，其中该客户机设备是蜂窝网络的移动台。
20.一种流式服务器，包括发送装置，用于经由传输信道发送流式传输媒体到流式客户机；以及适配装置，用于通过应用差错恢复适配给所述流式传输媒体，降低由传输信道差错变化而造成的影响。
21.一种包括流式服务器、传输信道和流式客户机的系统，其中该系统包括传送装置，用于经由所述传输信道从所述流式服务器传送流式传输媒体到所述流式客户机；和适配装置，用于通过应用差错恢复适配给所述流式传输媒体，降低由传输信道差错变化而造成的影响。
22.一种可在客户机设备中执行的计算机程序产品，该计算机程序产品包括用于控制接收经由传输信道从流式服务器发送到客户机设备的流式传输媒体的程序代码；用于检测传输信道差错的程序代码；和用于控制向所述流式服务器传输差错恢复适配请求的程序代码。
23.一种可在流式服务器中执行的计算机程序产品，该计算机程序产品包括用于控制经由传输信道发送流式传输媒体到流式客户机的程序代码；和用于控制应用于所述流式传输媒体的差错恢复适配的程序代码。
全文摘要
本发明涉及一种经由传输信道(121)从流式服务器(111)向流式客户机(101)流式传送媒体的方法，其中该方法包括通过应用差错恢复适配给所述流式传输媒体，降低由传输信道差错变化所造成的影响。所述差错恢复适配可以包括在正在进行的流式会话期间通过例如使用一组预定义的差错恢复等级，提高或降低流式传输内容的差错恢复特性。
文档编号H04L1/00GK1833391SQ200480017394
公开日2006年9月13日 申请日期2004年6月29日 优先权日2003年7月1日
发明者王业奎, 艾莫尔·B.·艾克苏 申请人:诺基亚公司