专利名称：多种无线网络融合环境中的多媒体会话服务质量管理方法
技术领域：
本发明涉及多媒体通信技术领域，尤其涉及一种由多种接入技术组成的无线网络融合环境中的多媒体会话服务质量(Quality of Service，QoS)管理方法。
背景技术：
随着因特网技术的不断进步，基于经典的IP网络，以数字电视、因特网电话、视频会议、远程教学等为代表的多媒体通信经历着迅猛的发展。特别是在移动通信和多媒体技术日新月异的今天，各种无线网络接入技术(如WLAN、GPRS和WCDMA等)和多种音视频编码方案为用户提供了极大的选择空间，使用户能够真正实现随时随地的多媒体通信。
目前主流的移动互联网技术大多基于多种无线网络技术的融合。原因在于其中的一部分技术为无线局域网(WLAN)，能提供高带宽但覆盖范围小，如IEEE802.11b网络接入点提供的带宽约为11Mbps，但覆盖半径不到100米；另一部分技术则为无线广域网(WWAN)，提供低带宽但覆盖范围大，如CDMA网络的蜂窝结构几乎可以提供无处不在的网络覆盖，但带宽通常很难稳定在200Kbps以上。若能充分利用二者的长处，在无线局域网可用时就尽量使用无线局域网，否则使用无线广域网，这样就能最大限度地保证多媒体通信的服务质量。
切换(handoff)是指移动设备与一个无线网络断开连接转而接入到另一个无线网络的过程，这是多网融合中的一个关键问题。若切换发生在同种网络之间(如WLAN与WLAN)，称为水平切换。这种切换通常不会影响带宽。但若发生在WLAN和WWAN之间，则称为垂直切换。这种切换通常则会导致带宽的剧烈变化。通常多媒体通信对带宽要求较高，如视频编码动辄产生数百Kbps的数据率，这种切换会极大影响多媒体通信的服务质量。由于视频质量与数据率有直接关系，而数据率和编码率又有直接的关系。若在网络带宽减小时不能及时降低音视频编码率，将会导致通信接收方数据包丢失率升高，出现语音停顿、视频画面出现“马赛克”甚至停滞等恶劣效果。另一方面，若在网络带宽增大时不能及时提高音视频数据率，将不能充分利用带宽来改善多媒体通信质量。
无线网络的另一个特点是容易受建筑、电子设备等外界因素的干扰，带宽波动较大，误码率高。在无切换的情况下，若此时将音视频数据率保持不变，也可能导致多媒体通信服务质量因带宽的不断变化而下降。
RTP的设计目的是提供一种多媒体通信的标准。音频或视频数据被加上RTP协议包头，再被封装为UDP数据包进行传输。RTCP则提供了一种能实时地对进行中的音视频通信进行监控的方案，即在另一个端口进行监听，使音视频的发送方能及时地获知接收方的统计信息，如数据包丢失率、延迟、抖动等。这些信息可以很好地反映当前音视频接收和网络状况。
SIP的基础构架包括SIP服务器、注册服务器、安装有SIP协议栈的移动终端等，是一种适用于在未来移动互联网环境中发起和建立多媒体通信的协议。在SIP中，INVITE消息用于建立会话，BYE消息用于结束会话，MESSAGE消息用于传输实时消息。SIP消息是面向连接的，当该消息在传输过程中丢失时SIP协议栈会启动超时重传。
发明内容
本发明的目的是克服现有技术的不足，提供一种在多种接入技术并存的无线混合网络中，实时、自动地管理已建立的多媒体会话服务质量的方法。
为实现上述发明目的，本发明提供的多种网络融合环境中的多媒体会话服务质量管理方法包括用户II正在向用户I进行单向的多媒体会话，其中，用户II为数据发送方，用户I为数据接收方，当用户I的终端决定切换时(如链路层检测到更适合的网络可用)，执行以下步骤用户II正在向用户I进行单向的多媒体会话，其中，用户II为数据发送方，用户I为数据接收方，当用户I的终端决定切换时，执行以下步骤A1)用户I判断即将切换进入的目标网络类型；A2)用户I向用户II发送一个切换通知信令，该切换通知信令中记录了所述目标网络类型；A3)用户II接收用户I在步骤A2)中发送的切换通知信令，然后根据该信令中的目标网络类型调节本地音/视频编码率；A4)步骤A3)结束后，用户II向用户I发回一个切换确认信令；A5)用户I在步骤A2)结束后等待用户II发来的切换确认信令，当接收到所述切换确认信令时，立即执行切换。
上述技术方案中，所述用户I的终端是移动终端，所述切换是垂直切换。
上述技术方案中，还包括设置超时时长和定时器，在所述步骤A2)中，用户I发送切换通知信令的同时定时器开始计时；所述步骤A5)中，当用户I接收到所述切换确认信令时，关闭所述定时器；当定时器计时达到所述超时时长，且用户I仍未接收到所述切换确认信令，则立即执行切换。
上述技术方案中，所述切换通知信令和切换确认信令均采用SIP协议的MESSAGE消息格式。
上述技术方案中，所述步骤A3)中，根据切换通知信令中的目标网络类型调节本地音/视频编码率的方法如下当本次切换的目标网络类型是WLAN，则立即提高本地音视频的编码率以适应WLAN的高带宽；若是WWAN，则立即降低本地音视频的编码率以适应WWAN的低带宽。
上述技术方案中，所述定时器的超时时长为3秒。
上述技术方案中，在会话成功建立后，用户II在向用户I正常发送音视频数据的过程中，执行以下步骤B1)每隔一定时长，用户I计算出上一次计算时间至当前时间内接收到数据包的丢失率(以下简称“丢包率”)和延时抖动(jitter)；B2)用户I将步骤B1)中获得的丢包率和延迟抖动数据以RTCP协议数据包的形式发送到用户II；B3)用户II接收到步骤B2)中的RTCP数据包后，解析出其中的丢包率和延迟抖动字段；B4)用户II根据步骤B3)中的丢包率和延迟抖动判断当前网络状况；B4.1)若丢包率小于阈值ThresF(预先设定)并且延迟抖动小于阈值ThresJ(预先设定)，则将音视频编码率调高Delta(预先设定)，转到步骤B1)；否则转到步骤B4.2)；B4.2)若丢包率小于阈值ThresF并且延迟抖动大于ThresJ，则维持当前音视频编码率不变，转到步骤B1，否则转到步骤B4.3)；B4.3)若丢包率大于阈值ThresF并且延迟抖动小于ThresJ，则将音视频编码率调低Delta，转到步骤B1，否则转到步骤B4.4)；B4.4)将音视频编码率调低2×Delta，转到步骤B1)。
上述技术方案中，所述步骤B1)中，所述丢包率是用从上一次发送RTCP包到当前时间丢失的数据包数目与该段时间内接受到的数据包的序号最大差值的比值。
上述技术方案中，所述步骤B2)中，用户I需要首先将步骤B1)中计算出的丢包率填写到RTCP数据包中；所述步骤B3)中，用户II需要从RTCP数据包解析出其中的丢包率字段。
上述技术方案中，所述步骤B1)中，所述一定时长为5秒钟。
本发明具有如下技术效果本发明利用SIP面向连接的特性，在垂直切换之前就通知音视频的发送方作好准备。避免了移动终端在切换过程中多媒体通信服务质量受到影响。本发明使用丢包率和延迟抖动作为依据，判断当前网络状况，并据此对音视频编码率作相应调整。比起只用一个参数(如仅用丢包率)的判断方法更精确。本发明的方法特别适用于采用会话初始协议SIP作为多媒体会话建立机制和采用实时传输协议RTP/实时传输控制协议RTCP进行音视频数据传输的多媒体通信系统。
图1是一种典型的由WLAN和WWAN组成的无线网络融合环境示意2是通信接收方从WLAN切换到WWAN过程中的信令交互和双方行为示意3是通信接收方从WWAN切换到WLAN过程中的信令交互和双方行为示意4是无切换时服务质量动态调整的流程图具体实施方式
实施例1本实施例提供一种在多种接入技术并存的无线混合网络中，实时、自动地管理已建立的多媒体会话服务质量的方法。本实施例应用于采用会话初始协议SIP(Session Initialization Protocol)作为多媒体会话建立机制，采用实时传输协议RTP(Real-time Transport Protocol)/实时传输控制协议RTCP(Real-time Transport Control Protocol)进行音视频数据传输和监控的多媒体通信系统。
本实施例中需要的环境如图1所示。用户I接入某种无线网络(这里假设是WLAN)，两个无线网络分别与SIP服务器相连。各种网络实体之间的连线中，实线表示正在连接的链路，虚线表示可能会切换到的链路。
本实施例中，当多媒体会话正在进行时出现垂直切换的情况下，管理该会话在切换过程中的服务质量。假设用户II正在向用户I进行单向的多媒体会话，即用户II为发送视频/语音数据的发送方，用户I为接收方。当用户I的移动终端决定垂直切换时(如链路层检测到更适合的网络可用)，如图2、3所示，执行以下步骤
A1)用户I判断即将切换进入的目标网络类型(如无线局域网WLAN、无线广域网WWAN，并记录此数据；A2)用户I向用户II发送一个切换通知信令(HANDOFF_WLAN或HANDOFF_WWAN)；该切换通知信令采用SIP协议的MESSAGE消息格式，其中记录了本次切换的目标网络类型；并且，用户I在发送切换通知信令的同时，启动一定时器。值得注意的是，本实施例应用于基于SIP的多媒体通信软件，由于SIP协议具有面向连接的特点，使用SIP MESSAGE消息来作信令很方便。除此之外，本发明还可以使用其它连接来传递这些信令，但要求必须是面向连接(例如TCP)且延迟较小。
A3)用户II接收用户I在步骤A2)中发送的切换通知信令，然后根据该信令中的目标网络类型调节本地音/视频编码率。
若本次切换的目标网络类型是WWAN(如图2的情况)，则立即降低本地音视频的编码率以适应WWAN的低带宽；若是WLAN(如图3的情况)，则立即提高本地音视频的编码率以适应WLAN的高带宽(编码率的调整方式由具体的网络环境和音视频编码格式决定)；A4)步骤A3)结束后，用户II向用户I发回一个切换确认信令(HANDOFF_ACK)，该切换确认信令采用SIP协议的MESSAGE消息格式；A5)用户I在A2)结束后接收MESSAGE消息并对其进行解析，若该消息是步骤A4)中的切换确认信令，则立即执行切换，关闭定时器；否则，则认为是普通的MESSAGE消息，不做任何动作。
A6)当用户I的定时器达到超时时长，立即执行切换。本实施例中，超时时长为3秒。用户I等待步骤A5中的切换确认信令超时3秒以上，这可能是由网络拥塞、服务器没有及时处理或切换通知信令、切换确认信令的延迟造成的。但通常切换必须很快进行，因此不再等待该信令，直接执行切换。(本步骤在图2和3中均未示出。)本实施例的步骤A3)中，一种根据目标网络类型调节编码率的方法如表1所示，该表示出了发生切换后音视频编码率调整策略。
表1
表1中设置的bit rate(比特率)或quality(图像质量因子)的值是根据通常编程接口中的定义来确定的，会直接影响实际比特率，但数值上并不等于实际比特率。另外，如果音频bit rate和视频bit rate的值相等，并不代表占用带宽相等。通常quality的取值范围在0到1之间，bit rate的取值范围为5000到1000000之间。
由于不同编程接口对影响编码率的参数的定义可能不同，这里仅以Sun公司推出的Java媒体框架(Java Media Framework，JMF)作为示例。表1中设置的bit rate或quality的值会直接影响实际比特率，但数值上并不等于实际比特率。另外，如果音频bit rate和视频bit rate的值相等，并不代表占用带宽相等。在JMF中，quality的取值范围在0到1之间，bit rate的取值范围为5000到1000000之间。
本实施例还包括多媒体会话正在进行的通常情况下(即没有切换事件出现)，管理该会话的服务质量的方法用户II正在向用户I进行单向的多媒体会话，即用户II为发送视频/语音数据的发送方，用户I为接收方。如图4所示，在会话成功建立后，用户II在向用户I发送音视频数据的过程中，执行以下过程B1)每隔5秒钟，用户I计算出上一次计算时间至当前时间内接收到数据包的丢失率(以下简称“丢包率”)和延时抖动(jitter)；本实施例中，用户I的RTCP协议栈用从上一次发送RTCP包开始到当前这一段时间间隔内丢失的数据包数目除以这段时间内接受到的数据包的序号最大差值，即可计算出丢包率；用户I的丢包率和延迟抖动均可由其RTCP协议栈根据互联网工程任务组(IETF)的RFC3550文档中提出的方法进行计算。
B2)用户I将步骤B1)中获得的丢包率和延迟抖动数据以RTCP协议数据包的形式发送到用户II；本步骤中，用户I需要首先将步骤B1)中计算出的丢包率填写到RTCP数据包中；B3)用户II接收到步骤B2)中的RTCP数据包后，解析出其中的丢包率和延迟抖动字段；本步骤中，用户II需要从RTCP数据包解析出其中的丢包率字段，从而获知用户I最近的数据包到达情况；B4)用户II根据步骤B3)中的丢包率和延迟抖动判断当前网络状况；B4.1)若丢包率小于阈值ThresF(预先设定)并且延迟抖动小于阈值ThresJ(预先设定)，则将音视频编码率调高Delta(预先设定)，转到步骤B1)；否则转到步骤B4.2)；B4.2)若丢包率小于阈值ThresF并且延迟抖动大于ThresJ，则维持当前音视频编码率不变，转到步骤B1，否则转到步骤B4.3)；B4.3)若丢包率大于阈值ThresF并且延迟抖动小于ThresJ，则将音视频编码率调低Delta，转到步骤B1，否则转到步骤B4.4)；B4.4)将音视频编码率调低2×Delta，转到步骤B1)。
所述步骤B4)、B4.1)、B4.2)、B4.3)、B4.4)中，用户II使用所述的丢包率和延迟抖动两个参数作为判断依据，分别与预先设定的阈值ThresF和ThresJ相比较，以确定网络状况，并对音视频编码率作出相应调整。如表2所示，该表示出了通常情况下音视频编码率的实时调整策略。
表2
所述方法中使用的丢包率判断阈值ThresF、延迟抖动判断阈值ThresJ和调整步长Delta参数都可由通讯软件开发者自行设定。其中建议阈值ThresF为10％，阈值ThresJ在使用音频的情况下可设为50毫秒，否则可适当增大。步长Delta可根据具体编码格式确定，如对于视频H.263，其比特率参数范围为5000～1000000，可将Delta设置为1000。一般来说，步长越大，调节速度越快，但可能造成很难稳定，即视频处于反复大幅度调节状态。而步长越小，调节越精细，更容易进入稳定状态，但调节周期可能较长。
本发明利用SIP面向连接的特性，在垂直切换之前就通知音视频的发送方作好准备。避免了移动终端在切换过程中多媒体通信服务质量受到影响。
同时，本发明使用丢包率和延迟抖动作为依据，判断当前网络状况，并据此对音视频编码率作相应调整。比起只用一个参数(如仅用丢包率)的判断方法更精确。例如某些时候会出现丢包率低但延迟抖动高的情况，同样是属于网络状况较差的表现。若此时只用丢包率进行判断，会得到有偏差的判决结果。
为了能够更直观地介绍本发明，以下给出一个具体应用实例，并结合附图进行具体描述。
本发明中需要的环境如图1所示。用户I接入某种无线网络(这里假设是WLAN)，两个无线网络分别与SIP服务器相连。各种网络实体之间的连线中，实线表示正在连接的链路，虚线表示可能会切换到的链路。用户I和用户II使用SIP的INVITE消息发起多媒体会话，会话方式是用户II向用户I发送音视频数据。
成功建立会话后，顺利通信过程中，用户I决定从所在的WLAN无线网络切换到WWAN无线网络。用户I向用户II发出切换通知信令，并在该信令中指出是切换到WWAN网络。用户II在接收到该信令后获知用户I将切换到WWAN网络，即网络带宽会减小，于是降低音视频编码率，然后发回一个切换确认信令。用户I接收到该信令后立即执行切换。信令交互和双方行为的流程如图2所示。
另外一种情况是通信过程中用户I决定从WWAN无线网络切换到WLAN无线网络。用户I向用户II发出切换通知信令，并在该信令中指出是切换到WLAN网络。用户II在接收到该信令后获知用户I将切换到WLAN网络，即网络带宽会增大，于是提高音视频编码率，然后发回一个切换确认信令。用户I接收到该信令后立即执行切换。信令交互和双方行为的流程如图3所示。
在无切换的环境下，作为音视频数据的发送端，用户II(发送端)不断监听用户I(接收端)发来的RTCP数据包，并根据此数据包中的丢包率和延迟抖动来分析网络状况，并对音视频编码率作出相应调节，实现对服务质量的实时管理。详细的处理流程如图4所示。
权利要求
1.一种多种网络融合环境中的多媒体会话服务质量管理方法，包括用户II正在向用户I进行单向的多媒体会话，其中，用户II为数据发送方，用户I为数据接收方，当用户I的终端决定切换时，执行以下步骤A1)用户I判断即将切换进入的目标网络类型；A2)用户I向用户II发送一个切换通知信令，该切换通知信令中记录了所述目标网络类型；A3)用户II接收用户I在步骤A2)中发送的切换通知信令，然后根据该信令中的目标网络类型调节本地音/视频编码率；A4)步骤A3)结束后，用户II向用户I发回一个切换确认信令；A5)用户I在步骤A2)结束后等待用户II发来的切换确认信令，当接收到所述切换确认信令时，立即执行切换。
2.按权利要求1所述的多种网络融合环境中的多媒体会话服务质量管理方法，其特征在于，所述用户I的终端是移动终端，所述切换是垂直切换。
3.按权利要求1或2所述的多种网络融合环境中的多媒体会话服务质量管理方法，其特征在于，还包括设置超时时长和定时器，在所述步骤A2)中，用户I发送切换通知信令的同时定时器开始计时；所述步骤A5)中，当用户I接收到所述切换确认信令时，关闭所述定时器；当定时器计时达到所述超时时长，且用户I仍未接收到所述切换确认信令，则立即执行切换。
4.按权利要求3所述的多种网络融合环境中的多媒体会话服务质量管理方法，其特征在于，所述切换通知信令和切换确认信令均采用SIP协议的MESSAGE消息格式。
5.按权利要求3所述的多种网络融合环境中的多媒体会话服务质量管理方法，其特征在于，所述步骤A3)中，根据所述目标网络类型调节本地音/视频编码率的方法如下当本次切换的目标网络类型是WLAN，则立即提高本地音视频的编码率以适应WLAN的高带宽；若是WWAN，则立即降低本地音视频的编码率以适应WWAN的低带宽。
6.按权利要求3所述的多种网络融合环境中的多媒体会话服务质量管理方法，其特征在于，所述超时时长为3秒。
7.按权利要求1所述的多种网络融合环境中的多媒体会话服务质量管理方法，其特征在于，在会话成功建立后，用户II在向用户I正常发送音视频数据的过程中，还执行以下步骤B1)每隔一定时长，用户I计算出上一次计算时间至当前时间内接收到数据包的丢失率和延时抖动；B2)用户I将步骤B1)中获得的丢包率和延迟抖动数据以RTCP协议数据包的形式发送到用户II；B3)用户II接收到步骤B2)中的RTCP数据包后，解析出其中的丢包率和延迟抖动字段；B4)用户II根据步骤B3)中的丢包率和延迟抖动判断当前网络状况；B4.1)若丢包率小于预先设定的阈值ThresF并且延迟抖动小于预先设定的阈值ThresJ，则将音视频编码率调高Delta，转到步骤B1)；否则转到步骤B4.2)；B4.2)若丢包率小于阈值ThresF并且延迟抖动大于ThresJ，则维持当前音视频编码率不变，转到步骤B1，否则转到步骤B4.3)；B4.3)若丢包率大于阈值ThresF并且延迟抖动小于ThresJ，则将音视频编码率调低Delta，转到步骤B1，否则转到步骤B4.4)；B4.4)将音视频编码率调低2×Delta，转到步骤B1)。
8.按权利要求7所述的多种网络融合环境中的多媒体会话服务质量管理方法，其特征在于，所述步骤B1)中，所述丢包率是用从上一次发送RTCP包到当前时间丢失的数据包数目与该段时间内接受到的数据包的序号最大差值的比值。
9.按权利要求7所述的多种网络融合环境中的多媒体会话服务质量管理方法，其特征在于，所述步骤B2)中，用户I需要首先将步骤B1)中计算出的丢包率填写到RTCP数据包中；所述步骤B3)中，用户II需要从RTCP数据包解析出其中的丢包率字段。
10.按权利要求9所述的多种网络融合环境中的多媒体会话服务质量管理方法，其特征在于，所述步骤B1)中，所述一定时长为5秒钟。
全文摘要
本发明涉及多种无线网络融合环境中的多媒体会话服务质量管理方法，包括用户II正在向用户I进行单向的多媒体会话，当用户I的终端决定切换时，执行以下步骤A1)用户I判断即将切换进入的目标网络类型；A2)用户I向用户II发送一个切换通知信令，该切换通知信令中记录了所述目标网络类型；A3)用户II接收用户I在步骤A2)中发送的切换通知信令，然后根据该信令中的目标网络类型调节本地音/视频编码率；A4)步骤A3)结束后，用户II向用户I发回一个切换确认信令；A5)用户I在步骤A2)结束后等待用户II发来的切换确认信令，当接收到所述切换确认信令时，立即执行切换。本发明的方法能够有效地提高多媒体通信服务质量。
文档编号H04W28/18GK101035365SQ20071006510
公开日2007年9月12日 申请日期2007年4月3日 优先权日2007年4月3日
发明者吉勋, 周安福, 刘敏, 徐刚, 舒童 申请人:中国科学院计算技术研究所