一种环境感知的HTTP自适应流媒体QoE优化方法与流程

本发明属于多媒体云计算领域，具体涉及一种环境感知的http自适应流媒体qoe优化方法。

背景技术：

随着移动互联网技术的发展，特别是移动智能终端的普及和性能提升，带来了移动视频服务的流行，使得视频业务的流量在网络服务中占的比重越来越大。其中http自适应流媒体技术(has)由于其高穿透性、高扩展性以及动态自适应的特点成为视频服务技术研究的热点，而且qoe概念的提出也从用户对设备、网络、系统、应用或业务的质量和性能的主观感受出发，针对视频服务提出了更加有效的衡量指标。此外，视频终端的流行使得用户观看视频的场景呈现多样化的趋势，如何根据应用环境为用户提供更好的服务体验也成为移动应用领域研究的焦点。检索到的以下几篇与本发明相关的属于流媒体qoe优化的专利，它们分别是：

1.中国专利201510783366.5，一种自适应码率视频直播的qoe监控和优化方法；

2.中国专利201610298248.x，动态自适应视频流媒体的分布式缓存放置方法；

在上述专利1中提出了一种自适应码率视频直播的qoe监控和优化方法。该方法基于has直播系统，服务器持续不断监听客户端码率变化情况，根据客户端码率发生变化相对应的改变切片时间时。其中切片的时间长度应该在[min，max]范围内，其中min表示预设的最短时间，max表示预设的最长时间。对比现有技术，本发明编码器和切片工具能够将直播流切分成可变时长的片段(vts)，切片长度会作为波动的加载速率的反馈而改变，这样有效避免了因频繁的码率切换而造成的延迟卡顿，提高了用户对视频业务的体验质量(qoe)。

在上述专利2中提供了一种用于动态自适应视频流媒体的分布式缓存放置方法，所述方法结合主服务器处的动态自适应流媒体编码技术将各视频编码为多个不同码率的版本，同时兼顾了各不同视频内容之间码率失真性能的差异、边缘服务器的缓存容量限制、不同用户的网络连接情况以及视频点播概率分布，采用分布式的缓存优化放置方法确定各边缘服务器所需缓存的视频版本子集，最终实现用户通过边缘服务器下载观看视频整体质量的最大化。本发明提高了边缘服务器缓存视频内容的利用率，减轻了主服务器处的视频流媒体服务负载，为用户提供更佳的视频服务质量。

现有的专利发明中对自适应视频流媒体的调整都是基于对码率、失真性的差异进行视频质量的调整，均没有考虑到场景感知这一因素。

技术实现要素：

本发明的目的在于克服上述不足，提供一种环境感知的http自适应流媒体qoe优化方法，加入场景感知的因素以优化用户的视频体验质量。

为了达到上述目的，本发明包括以下步骤：

步骤一，通过移动端应用收集视频的环境数据，环境数据为移动端的加速度数据和声音数据；

步骤二，将加速度数据和声音数据代入环境函数，计算环境数据对应的环境下卡顿对用户体验的影响程度值；

步骤三，根据视频观看过程中记录的码率请求相关信息，计算流畅度对用户体验的贡献值；根据卡顿对用户体验的影响程度值计算卡顿对用户体验的贡献值；

步骤四，根据卡顿对用户体验的贡献值和流畅度对用户体验的贡献值计算基于环境感知的qoe值；

步骤五，根据基于环境感知的qoe值调整has算法中的缓冲区阈值；

步骤六，将调整后的缓冲区阈值代入原有has算法中进行码率选择，完成优化。

步骤二中，环境函数的计算方法如下：

根据收集到视频的第i个三轴加速度标准差最小值accc(i)和环境噪音值voic(i)，计算加速度的相关参数：

其中，acc^av和voi^av表示当前采集数据中的最后一组数据计算得到的加速度相关值和环境噪音值，acc^av和voi^av分别表示前10个加速度相关值和环境噪音的平均值，系数μ和γ取值代表影响度，0≤μ,γ≤1；

第k个时间分片内，环境函数如下所示：

其中，g(acc,voi)为环境数据对应的环境下卡顿对用户体验的影响程度值，acc为三轴加速度标准差最小值，voi为环境噪音值。

步骤三中，流畅度对用户体验的贡献值和卡顿对用户体验的贡献值的计算方法如下：

将视频文件切分为n个块，在服务器端，每个块都有m种码率版本，对应级别索引为m；将时间线切分成连续且不重叠的时间片，时间片的索引为k∈{1,2,…,m}，则用变量am(tk)表示时间片k是否请求新的视频文件：

流畅度对用户体验的贡献值描述为：

卡顿对用户体验的贡献值描述为：

其中，kn表示下载最后一个视频块n时对应的时间片索引；vm为对每一种视频码率取对数的值；tk为第k个时间片的开始时刻；tend表示视频观看完毕的时刻；tstall表示卡顿时长。

步骤四中，基于环境感知的qoe值的计算方法为λ为影响因子。

λ＝0.2～0.7。

与现有技术相比，本发明通过移动端手机视频的环境数据，再通过环境数据计算流畅度对用户体验的贡献值和卡顿对用户体验的贡献值，最后根据环境数据计算流畅度对用户体验的贡献值和卡顿对用户体验的贡献值计算本视频基于环境感知的qoe值，本方法主要考虑了环境因素对于视频的影响，设计了基于人在不同环境对视频的不同倾向的环境参数，并利用该环境参数所构成的qoe模型来指导请求视频的算法，也有化了双阈值算法和bola算法，从而提高观看视频的用户体验。本发明通过调整has算法中的缓冲区阈值，并将调整后的缓冲区阈值代入原有has算法中进行码率选择，最终通过实验证明，在动态且嘈杂的环境中，卡顿对qoe的影响程度明显增高，基于环境感知的优化算法可以在适当减弱平均码率的前提下明显降低卡顿的发生次数和时长，着重提高了此种环境下的流畅度；而在静态且安静的环境下，着重提高了视频的清晰度，从而更有效的提高用户体验，更好的为用户进行了服务。

附图说明

图1为本发明中流媒体qoe模型建立方法的流程图；

图2为本发明中流媒体qoe优化方法的流程图。

具体实施方式

下面结合附图对本发明作进一步说明。

参见图1，本发明包括以下步骤：

步骤一，首先通过移动端应用收集、处理、分析环境数据，并根据加速度及声音数据对环境进行分类；本发明的环境感知数据主要是依赖于加速度传感器及声音传感器。传感器数据采集及文件保存过程如下：从学生开始观看视频时，程序会启动一个新线程来采集传感器数据，通过androidsdk中相应的api获取手机上的传感器类型，启动传感器采集线程的同时开始监听传感器事件并将数据写入文件保存在手机sd卡上。线程每隔0.05秒采集一次，即采集频率为20hz。播放结束时，立即停止传感器数据采集线程并将数据写入文件。根据从服务器上下载的网络教育学院使用的skyclassandroid移动学习客户端传感器数据，从39949个文件中选出有效文件共28558个。在场景感知的研究中，经常使用的统计学特征主要有六种：平均值、中值、标准偏差、峰态、偏度、4分位点范围，本发明通过对这些特征值的分析计算，进行环境分类。

步骤二，设计环境感知的移动视频qoe模型，模型中包含环境因素、卡顿、平均码率，其中环境因素主要调整卡顿对qoe的影响程度。具体如下：

第一步，根据动态自适应算法的工作模式，视频从服务器端下载视频文件并在客户端播放，服务器端的视频文件会被切分成码率不同的块，用户观看视频时将持续向服务器请求最合适码率版本的视频文件。在本文的模型中，视频文件被切分为n个块，每个视频块的时间长度均为p秒；在服务器端，每个块都有m种码率版本，对应级别索引为m。用户体验与平均码率存在对数关系，因此对每一种视频码率取对数之后为vm来表示此种码率对用户体验的贡献，其中m∈{1,2,…，m}且大小满足v1≥v2≥…≥vm。

第二步，将时间线切分成连续且不重叠的时间片，每个时间片的长度不等，索引为k∈{1,2,…,m}，第k个时间片从tk时刻开始，长度为tk＝tk+1-tk秒，tk是大小由实际网络状况决定的随机变量。假设t1＝0。在每个时间片的开始根据控制算法决定是否请求新的视频文件，如果是，就根据自适应算法结果向服务器请求对应码率的视频块并立即开始下载，在第k个时间片中，下载时间为tk秒；如果不请求新的文件，则此时间片长度为固定间隔δ秒。我们为每个时间片k定义如下变量来表示是否请求新的视频文件：

根据定义可知，对所有的时间片k，一定满足当不请求新的视频文件时，满足让kn表示下载最后一个视频块n时对应的时间片索引，tend表示视频观看完毕的时刻。则在视频观看过程中，平均码率即流畅度对用户体验qoe值的贡献可以用如下公式来描述。

卡顿即流畅度对用户体验的影响可以用卡顿时间来描述，根据之前的分析，不同环境下用户对清晰度的敏感程度不同，且流畅度对用户体验的影响程度受环境因素的影响，因此需要定义环境参数，根据传感器收集处理后得到的数据，第i个三轴加速度标准差最小值表示为accc(i)，环境噪音值为voic(i)，则加速度相关参数计算方法如下列公式所示，环境噪音参数计算如下公式所示。

其中acc^av和voi^av表示当前采集数据中的最后一组数据计算得到的加速度相关值和环境噪音值，acc^av和voi^av分别表示前10个加速度相关值和环境噪音的平均值，系数μ和取值代表影响度，γ(0≤μ,γ≤1)，系数值越大，表示近期数据的影响程度更大；否则，就说明历史数据的影响程度更大。

据此，定义第k个时间分片内，环境函数对卡顿的影响程度函数如下公式所示。

由公式可以看出，在动态且嘈杂的环境下，理论上卡顿对qoe的影响程度更大，因此在模型上应该增加卡顿时长对整体qoe值的惩罚度；在静态且安静的情况下，理论上用户对清晰度会非常敏感，相对而言就应该减轻卡顿对于整体qoe的影响，从而增加清晰度的影响程度；在其余情况下，理论上假设清晰度和流畅度对用户体验的影响程度相当。根据得到的环境函数，可以得到不同环境下卡顿对用户体验qoe值的贡献公式如下。

式中，tstall表示卡顿时长。综上所述，考虑码率、卡顿及用户看环境对用户体验的影响，基于环境感知的qoe模型可以构建如下：

其中，和分别如前文所示，参数λ表示其他会影响qoe的因素，比如视频内容等。本发明对于λ取值不做过多讨论，设置为0.5。

第三步，接下来将通过志愿者在不同的场景下观看视频并根据清晰度和流畅度打分(mos)，通过打分结果与模型拟合的方式来确定最终的qoe模型。观看视频过程所用的视频源来自标准的dash测试数据集，存储在阿里云服务器端。志愿者在不同的环境下用android设备观看同一视频源，客户端使用的动态自适应算法相同，本文中使用的自适应播放器为pc端开源项目dash.js。本文将此开源项目迁移至移动端，开发移动自适应点播系统，然后让志愿者在移动端观看视频后，针对视频的流畅度和清晰度根据自己的主观感受打分(mos)，并将用户在观看视频过程中向服务器请求视频文件的时间、请求的码率、缓冲区状态、用户观看视频过程中的传感器信息以及打分值全部保存在手机的存储空间上。实验设定打分范围为0-5之间，可保留一位小数，用户根据自己当下的感受填写。

环境感知qoe模型中环境函数结果为：

步骤三，使用志愿者观看视频后进行mos打分，并与无环境因素的qoe模型对比的方式，验证提出的环境感知qoe模型的有效性和正确性，具体如下。

为了验证上文提出的qoe模型，本文依然采取志愿者打分的方式，对模型进行验证，志愿者在特定的不同环境下(主要区分动静态及环境噪音)观看相同服务器端的相同内容的视频，以流畅度和清晰度为主要因素，根据自己的主观感受进行打分；然后将收集的平均码率、卡顿时长以及环境数据按照下面叙述的过程计算出qoe值，并与不考虑环境因素的qoe模型计算出的值以及实际打分值进行比较，综合对比分析，改进效果明显。

基于环境感知的qoe值计算过程如下：

第一步，根据移动终端收集的数据分别计算环境相关参数，并代入以下公式得到对应环境下卡顿对用户体验的影响程度值；

第二步，通过观看视频过程中记录的码率请求相关信息，根据以下公式计算清晰度对用户体验的贡献值；

第三步，通过以下公式和卡顿数据计算流畅度对用户体验的贡献值；

第四步，将前三步的计算结果带入以下公式，得出基于环境感知的qoe值。

参见图2，环境感知qoe模型驱动的has优化方法如下：

根据加速度传感器及声音传感器值判断环境类型，并根据qoe模型计算出影响has偏向性的环境函数结果。一般has算法的过程可描述如下：

服务器端存储同一个视频内容的多种不同码率版本的视频文件或者视频流，在起始阶段，自适应策略会选择一个初始码率(一般选择最低码率)向服务器请求资源源，一段时间后，根据之前下载的历史数据对网络状况进行估测，根据估测的带宽向服务器端请求下一个切片最适合的码率版本。但是由于网络状况的多变性，对于网络状况的估测准确性难以得到有效提升，因此又引入缓冲区状态共同决定码率版本的选择，以此优化自适应算法。由于缓冲区内视频可播放时长较短时，保守选择视频码率即可保证视频的流畅度，而缓冲区接近满时，积极地选择速率高的视频可保证清晰度。因此缓冲区阈值的选择直接决定了码率选择的偏向性，本专利根据环境状态对缓冲区阈值进行调整，即将环境因素加入自适应策略中，设计基于环境的has优化算法。服务器端存放同一个视频内容的多种不同码率版本的视频切片，客户端的自适应码率选择算法的输入除了通常has算法的带宽预测和缓冲区状态外，本文加入环境因素作为输入，共同决定码率级别的选择，然后通过控制和调度策略向服务器请求响应码率版本的切片。

根据加速度传感器及声音传感器值判断环境类型，并通过如下计算环境函数g(acc,voi)。

步骤四，根据环境函数结果调整具体has算法中的缓冲区阈值，使has策略在不同的环境下具有不同的偏向性；

步骤五，将新得到的缓冲区阈值代入原有has算法中进行码率选择，得出基于环境感知的has优化算法，做出最利于当前环境下用户qoe的选择。