基于在线学习的视频流业务码率自适应方法
【专利摘要】本发明公开了一种基于在线学习的视频流业务码率自适应方法。本发明首先建立无线视频流业务系统框架，以可伸缩视频编码作为源端编码方式，生成可供选择的不同码率层次；然后建立效用函数，以折扣总MOS值表征QoE，作为码率自适应机制的优化目标；建立行动值函数空间，采用一种在线学习算法进行迭代运算，通过每个周期终端反馈的即时MOS值与丢包率信息更新行动值函数空间与置信度分布函数，并据此选择合适的视频码率进行传输。本发明以QoE作为视频流码率自适应的优化目标，通过在线学习算法迭代逼近码率调整的最优解，能有效缓解链路拥塞，提高用户QoE，且计算复杂度较低。
【专利说明】
基于在线学习的视频流业务码率自适应方法
技术领域
[0001] 本发明属于无线通信技术领域，具体涉及一种基于在线学习算法的视频流业务码 率自适应方法。
【背景技术】
[0002] 随着移动视频服务的高速发展，网络资源正面临着极大的挑战。视频流业务在传 输时，受无线网络中各种不稳定因素的影响，可能造成瓶颈链路的拥塞，从而导致用户观看 视频体验质量(Quality of Experience，QoE)的下降。因此，如何有效地对无线视频流传输 过程进行控制与优化，对提升Q〇E而言格外关键。
[0003] 目前，在无线视频流传输控制领域，已经积累了 一些研究成果，包括拥塞控制、码 率自适应算法等。传统的无线视频流传输控制的目标主要着眼于QoS指标(如时延、吞吐量、 丢包率)的优化，但是QoS仅体现网络的性能，无法直接反映用户的真实感受，即使网络传输 部分的QoS指标表现良好，用户的实际体验可能依然很糟糕。因为相比于网络，终端用户更 关注视频流业务所带来的主观感受，而这与视频内容特征、缓冲区参数设置、环境等非网络 因素密切相关。因此，如何从用户角度出发，通过视频流传输控制方法实现用户体验质量的 提升仍然处于探索阶段。
【发明内容】
[0004] 本发明的目的是针对现有无线网络视频流传输控制方案的不足，提出一种基于在 线学习的视频流业务码率自适应方法。
[0005] 本发明采用可伸缩视频编码作为源端编码方式，使用平均意见得分（Mean Opinion Score，M0S)对用户的QoE进行量化，并以长时折扣总M0S值作为系统的效用函数， 根据每个周期的终端反馈信息，通过在线学习算法自适应地调整视频流码率，从而有效缓 解链路拥塞，提高用户QoE。
[0006] 本发明方法的具体步骤为：
[0007] 步骤一、建立无线视频流业务系统框架;具体为：
[0008] 无线网络中存在多个用户，用户标记为ne{l，2，···}，每个用户包含一个发送节点 和一个接收节点，以此建立端到端流媒体连接。源端采用可伸缩视频编码方式编码视频，每 段视频生成Μ个不同层次的码率，^ = ^(.馬，_,^)1，其中乂为可选视频码率的集合，1?1， R2, ...，RM分别对应不同的可选码率;无线网络中存在部分瓶颈链路，当瓶颈链路发生过载， 会导致拥塞丢包，降低用户QoE(用户观看视频体验质量）；以T个往返时延（round-trip time，RTT)作为码率调整周期，周期标记为ke {1，2，…}。源端根据每个周期从终端用户η传 回的丢包率与即时QoE反馈值了解当前网络的拥塞状态和用户的体验质量;其中每个周期 的即时QoE反馈值由量化的M0S(平均意见得分)值表征，M0S的评估采用成熟的现有技术，如 专利号为201510501626.5、发明名称为"基于支持向量机的无线视频流业务QoE评估方法" 中国专利的方法;根据以上信息，源端调整发送的视频流码率，以缓解链路拥塞，实现提高 用户QoE的目的。
[0009]步骤二、建立效用函数，确定码率自适应机制的优化目标；以折扣总M0S值作为系 统的效用函数，计算公式关
，其中γ为折扣因子，〇彡γ彡1，<和 ?=0 ' ' 分别表示用户η在第k个周期的码率和丢包率，\ Y
\ 表示当码 率为#和丢包率为^时，用户η在第k个周期的M0S反馈值;网络中用户η的目标是通过在每 个周期选择最优的码率，使自己的效用函数Ikt大化。
[0010] 步骤三、通过在线学习算法的迭代计算，对无线视频流业务进行自适应码率调整； 源端首先建立行动值函i
I丢包率状态的取值 进行量化，映射为从〇到1的以当离散值，即Z = + ；[，其中s为所有可选丢包 率状态的集合，PIP2，. ..，pL分别对应各自不同的丢包率区间；行动值函数的状态空间为
[0011]
[0012]在线学习算法的具体过程为：
[0013 ]第1步、对所有的码率rn、丢包率Pn，初始化Q (rn，Pn) = 〇;对所有的丢包率Pn，初始化 丢包率的置信度函娄
[0014]
[0015] 第2步、初始化rn与pn，随机选取（e 乂，e ?S;初始化M0Sn=0;开始视频传输；
[0016] 第3步、赋值= ;;，=凡，其中/f胃和/?；^分别表示上一个周期的码率 和丢包率；
[0017] 第4步、以α-ε )的概率，选择码率= arg max ?·Κr?，凡K (? )，否则，随机选择 ^ η 码率& εΛ进行传输，其中0〈ε〈1;
[0018] 第5步、更新行动值函数：
[0019]
其中ak为 学习速率因子，需满足〇彡ak$l
[0020] 第6步、获得终端反馈的本周期的M0Sn值与去包率pn;
[0021] 第7步、根据每个周期结束时统计的丢包率?"，更新置信度分布函数13"(?")，/?,, ecS: 设Pn取值属于巧区间，/为丢包率状态的L档离散值中的区间序号，为f序号对应的丢包率 区间，上一个周期所有丢包率区间的置信度分布夕
X. 1为丢包率状态的L档离散值中除f外的区间序号，其中用分数表示为 Υ? 用分数表示为则更新后的置信度分布为： Η
[0022]
[0023] 这里巧e0' =丨…，丨表示当加取值属于巧区间时，如果对应的 上一周期的丢包率置信度分布，可以表示成分数的形式，即
X/、g分别为正整数，且满足5，对应相应分数形式的分子和分母，则更新后的置信 度分布为：
[0024] 同理，对于其他的丢包率区间Pi，1 = 1，2，... L，/ τ /即非&的区间，如果对应的上 一周期的丢包率置信度分布，
ι〈Υι，则更新后的置信度分布为：
[0025] 第8步、如果视频传输结束，则算法结束;如果视频传输未结束，则重复上述第3步 至第7步的过程。
[0026] 本发明是基于在线学习的视频流业务码率自适应方法，与现有的码率自适应方法 相比，其优点体现在：
[0027] 1、现有的视频流业务码率自适应方法大多仅以提升QoS参数(如时延、吞吐量、丢 包率)作为优化目标，但QoS仅体现网络的性能，无法直接反映用户的真实感受;而本发明以 长时折扣总M0S值作为码率自适应的目标，从多个历史周期的码率调节与M0S反馈对应规律 中进行学习，不断更新码率调整策略，做出最优决策，能更有效地提升用户的实际Q〇E;
[0028] 2、传统的视频流业务码率自适应方法大多在每个时隙对视频流码率进行调整切 换，这样会导致码率的频繁波动，影响用户QoE。而本发明以T个RTT时长作为一个周期，在每 个周期开始时选择合适的码率，周期结束时更新置信分布每个周期内码率和置信 分布保持不变，这样避免了因码率频繁调整引起吞吐量波动从而导致的用户Q〇E下降。
[0029] 3、与采用贝尔曼动态规划方程求取码率调整最优解的方法相比，本发明采用在线 学习算法，能在状态转移概率不可知的情况下，通过每个周期的迭代运算逐渐逼近码率调 整的最优解，计算复杂度较低。
【附图说明】
[0030] 图1为基于在线学习的视频流业务码率自适应方法的系统结构图。
【具体实施方式】
[0031] 以下结合附图并举实施例对本发明做进一步详细说明。
[0032] 如图1所示，本实例基于HTTP的无线视频流业务，视频序列经可伸缩视频编码与无 线网络的传输，最后到达用户终端缓冲区进行播放，每个周期源端会根据终端反馈的丢包 率与M0S值，调整发送的视频码率。
[0033]本实例具体通过以下步骤实现：
[0034] 步骤一、建立无线视频流业务系统框架;具体为：
[0035] 无线网络中存在多个用户，用户标记为ne{l，2，···}，每个用户包含一个发送节点 和一个接收节点，以此建立端到端流媒体连接;采用可伸缩视频编码作为源端编码方式，每 段视频生成18个不同层次的码率
其中4为可选视频码率的集合，心， R2, ...，R18分别对应18个可选码率;无线网络中存在部分瓶颈链路，当瓶颈链路发生过载， 会导致拥塞丢包，降低用户Q〇E;以20个RTT作为码率调整周期，源端根据每个周期从终端用 户η传回的丢包率与即时Q〇E反馈值了解当前网络的拥塞状态和用户的体验质量;其中每个 周期的即时Q〇E反馈值由量化的M0S值表征，M0S的评估采用发明专利"基于支持向量机的无 线视频流业务Q〇E评估方法"中所述模型，专利号为201510501626.5;根据以上信息，源端调 整发送的视频流码率，以缓解链路拥塞，实现提高用户Q〇E的目的。
[0036]步骤二、建立效用函数，确定码率自适应机制的优化目标；以折扣总M0S值作为系 统的效用函数，计算公式：
1，其中γ为折扣因子，取γ=〇.?，<和 分别表示用户η在第k个周期的码率和丢包率
表示当码 率为<和丢包率为￥时，用户η在第k个周期的M0S反馈值;网络中用户η的目标是通过在每 个周期选择最优的码率，使自己的效用函数Ikt大化。
[0037] 步骤三、通过在线学习算法的迭代计算，对无线视频流业务进行自适应码率调整； 源端首先建立行动值函I」
；将丢包率状态的取值 进行量化，映射为从0到1的5档离散值，则丨/^巧丨，其中为所有可选 丢包率状态的集合，？1，？2，？3，？4，？5分别对应各自不同的丢包率区间，？1￡[0,0.01]，？ 2￡ (0.01，0.03]，p3e (0.03,0.07]，P4e (0.07,0. l]，p5e (0.1,1];行动值函数的状态空间为
[0038]
[0039] 在线学习算法的具体过程为：
[0040] (1)对所有的码率rn、丢包率?"，初始化Q(rn，p n) = 0;对所有的丢包率?"，初始化置 信度函数
[0041 ] (2)初始化rgpn，随机选取?； G ^e S ;初始化M0Sn=0;开始视频传输；
[0042] (3)M
n，其中^广和及广分别表示上一个周期的码率和 丢包率；；
[0043] (4)以（l-ε )的概率，选择码_
，否则，随机选择码 率& ej进行传输，其中ε=〇.〇5;
[0044] (5)更新行动值函数：
[0045]
实中<^为
1 、 学习速率因子，取％ =了，可满足〇<ak<] K .…. .…
[0046] (6)获得终端反馈的本周期的M0Sn值与丢包率pn;
[0047] (7)根据每个周期结束时统计的丢包率pn，更新置信度分布函数以?")，見e5 :;例 如，若第二个周期结束时的丢包率统计结果落在P3区间，则更新
其中巧e 5且X乒3，以此类推。 L-J V。顽传输结束，则算法结束；如果视频传输未结束，则重复上述（3)至（7) 的过程。
【主权项】
1. 基于在线学习的视频流业务码率自适应方法，其特征在于：该方法采用可伸缩视频 编码作为源端编码方式，使用MOS对用户的QoE进行量化，并以折扣总MOS值作为系统的效用 函数，根据每个周期的终端反馈信息，通过在线学习算法自适应地调整视频流码率； 所述的MOS为平均意见得分，所述的QoE为用户观看视频体验质量； 该方法的具体步骤是： 步骤一、建立无线视频流业务系统框架;具体为： 无线网络中存在多个用户，用户标记为ne {1，2，···}，每个用户包含一个发送节点和一 个接收节点，以此建立端到端流媒体连接;源端采用可伸缩视频编码方式编码视频，每段视 频生成M个不同层次的码率，J = M1J2,.，其中4为可选视频码率的集合，R1, R2,...，RM分别对应不同的可选码率;无线网络中存在部分瓶颈链路，当瓶颈链路发生过载， 会导致拥塞丢包，降低用户QoE;以T个往返时延作为码率调整周期，周期标记为ke {1， 2,…源端根据每个周期从终端用户η传回的丢包率与即时QoE反馈值了解当前网络的拥 塞状态和用户的体验质量;其中每个周期的即时QoE反馈值由量化的MOS值表征;根据以上 信息，源端调整发送的视频流码率； 步骤二、建立效用函数，确定码率自适应机制的优化目标；以折扣总MOS值作为系统的 效用函数，，其中γ为折扣因子，〇彡γ彡1，<和义分 别表示用户η在第k个周期的码率和丢包率，<#，;^ = #05；(/;\尸；^，表示当码率为 #和丢包率为P；；时，用户η在第k个周期的MOS反馈值；网络中用户η的目标是通过在每个周 期选择最优的码率，使自己的效用函数Ikt大化； 步骤三、通过在线学习算法的迭代计算，对无线视频流业务进行自适应码率调整;源端 首先建立行动值函数，< e Λ = 丨，将丢包率状态的取值ρ丨进行 量化，映射为从〇到1的以当离散值，即/?；； = 其中S为所有可选丢包率状 态的集合，P1J2,...，PL分别对应各自不同的丢包率区间；行动值函数的状态空间为：2. 如权利要求1所述的基于在线学习的视频流业务码率自适应方法，其特征在于，步骤 三所述的在线学习算法的具体过程为： 第1步、对所有的码率rn、丢包率pn，初始化Q (rn，pn) = 0;对所有的丢包率?"，初始化丢包 率的置信度函数第2步、初始化rn与pn，随机选取匕.，_及M e_<S;初始化用户η的平均意见得分MOSn = 〇;开始视频传输；第3步、赋值r厂' =r"，尸广=凡，其中r/m'和凡厂分别表示上一个周期的码率和丢 包率； 第4步、以（l-ε )的概率 ，否则，随机选择码率 G e 乂进行传输，其中〇〈ε〈?; 第5步、更新行动值函数：其中Ctk为学习 速率因子，需满足OSakSl第6步、获得终端反馈的本周期的MOSn值与丢包率ρη; 第7步、根据每个周期结束时统计的丢包率?"，更新置信度分布函数匕(?")e cS :设加 取值属于4区间，?为丢包率状态的L档离散值中的区间序号，巧为f序号对应的丢包率区间，上 一个周期所有丢包率区间的置信度分布为，1为丢 包率状态的L档离散值中除f外的区间序号，分数表示为，则更新后的置信度分布为：第8步、如果视频传输结束，则算法结束;如果视频传输未结束，则重复上述第3步至第7 步的过程。
【文档编号】H04N21/24GK105933329SQ201610409956
【公开日】2016年9月7日
【申请日】2016年6月12日
【发明人】陈惠芳, 谢磊, 谢贯楠, 钱力言
【申请人】浙江大学