专利名称：模拟用户行为的WAP业务用户感知体验QoE评测方法
技术领域：
本发明涉及一种对无线应用协议WAP (Wireless Application Protocol)业务的用户体验感知QoE (Quality of Experience)的测评方法,确切地说,涉及一种使用客观方法模拟用户行为的WAP业务用户感知体验QoE的评测方法，属于移动通信网络业务质量评估的技术领域。
背景技术：
随着通信网络技术的飞速发展，移动通信网络中的WAP应用越来越广泛，例如WAP网页的浏览、上传、下载与流媒体等等。时至今日，WAP应用已经成为移动网络中的主流应用之一。对于WAP业务质量好与坏的评价，用户和网络运营商有着不同的理解因为用户更关心实际感受到的WAP业务质量，具体参数包括页面的打开速度，页面是否能够完全打开，下载速度如何，也就是用户体验感知QoE的相关参数，然而网络运营商更注重网络侧的网元设备的服务质量QoS (Quality of Service)。显然，由于网络侧的性能参数并没有直接与用户体验感知相互关联，传统业务质量好坏的评测是基于网络侧的QoS参数(例如网络时延、抖动等)，因此，其不能反映用户使用业务时的真实感知。这种情况下，业务运营商和网络运营商都无法根据用户的业务使用的真实体验来对网络参数进行实时调整，以改进业务质量和提升用户感知。所以，对于网络运营商来说，还需要建立一套真实、精准的WAP业务的用户体验质量客观评测方案，用于评测其业务性能及用户的感知体验情况，进而根据评测结果优化网络性能，以提高服务质量。随着网络运营商对用户感知体验情况的日益重视，现在已经出现一些WAP业务质量评测方法的现有技术，下面介绍其具体状况有些业内公司提出了对WAP业务用户质量评测的解决方案。例如，文献《WAP业务性能分析模型及用户感知评级体系研究》(刊于《邮电设计技术》，2010，01)介绍了 WAP业务性能优化方法及用户感知的评价体系，并对WAP业务应用过程中返回原因值进行了归类。文献《基于3G移动业务的用户体验映射体系研究》(刊于《移动通信》，2011年第3 4期)提出了两种QoS到QoE的映射体系及映射方法，其中一种是基于权重的QoS到QoE的映射，方法简单，但是应用环境较为单一，若场景或应用发生变化，结果很可能不够准确。另一种是QoS到QoE映射的智能模型，需要以大量的数据和经验值作为基础，准确度完全依赖于使用的映射方法，适应性不好。国内科研院所也对WAP业务质量评价有所研究。文献《WAP业务用户行为模型分析》(刊于《信息与电脑》，2009年第9期)，通过数据采集得到WAP用户的行为模型，与现有已知曲线吻合较好，成功建立了 WAP业务的用户使用习惯模型。但是，其考虑的应用种类单一，实用性不强，有待进一步分析。另一文献《实现移动产品运行质量端到端量化分析的方法》(刊于《移动业务》，2011年第9期)对移动产品运行质量分析，通过关键质量指标的开发及分解、产品健康度量化取值两个阶段建立质量评估模型。然而，该方法中健康度量化仅通过简单的线性函数拟合，与实际的用户感知不太一致。
通过以上分析可以看出，目前的现有技术大多存在缺陷，或者仅考虑QoS参数，或者其应用范围不广，或者其模型较为简单，因此需要提出一种新的WAP业务的用户体验质量评测方法。
发明内容
有鉴于此，本发明的目的是提供一种模拟用户行为的WAP业务用户感知体验QoE评测方法，本发明是针对目前基于网络QoS参数的评测方法无法真实反映用户体验的缺陷，采用一种客观方法模拟并评测用户使用WAP业务的感知体验情况，分别从接入性、保持性和完整性三方面建立关键体验指标KEI(KeyExperience Indicator),并对这些指标进行综合分析，最终得到类似于国际标准平均意见值MOS (Mean Opinion Score)的5分制WAP业务QoE值。为了达到上述发明目的，本发明提供了一种模拟用户行为的WAP业务用业户感知体验QoE评测方法，其特征在于先设置一套分别包括网页浏览、文件上传和文件下载三种应用的WAP业务各自的业务接入、业务保持和业务完整三方面体验性能参数所组成的QoE 测评指标体系，然后，利用测试终端模拟用户使用WAP业务的整个过程，分别采集与计算WAP业务的关键性能指标KPI (KeyPerformance Indicator),进而计算其相应的业务关键质量指标KQI (Key QualityIndicator),并利用心理模型对KQI进行综合运算而获得相应的WAP业务关键体验指标KEI (Key Experience Indicator),然后对这些KEI指标进行综合分析，获得等效于国际标准平均意见分值MOS (Mean Opinion Score)的5分制WAP业务QoE 值。所述WAP业务QoE测评指标体系中的网页浏览、文件上传和文件下载三种应用的WAP业务各自的业务接入、业务保持和业务完整三方面体验性能参数完全相同，其中业务接入性能参数设有3项取决于接入通用分组无线业务GPRS时长的接入时延，取决于GPRS附着Attach结束状态和分组数据协议PDP激活结束状态的接通率，以及取决于域名解析DNS响应率的请求成功率；业务保持性能参数设有5项取决于承载网络是否在线的在线率，取决于服务响应率的传输完成率，平均传输速率，取决于速率标准差的速率稳定度和取决于信号电平标准差的信号稳定度；业务完整性能参数设有I项；取决于传输文件完整率的信息完好率。所述方法包括下述步骤(I)测试终端采集和计算多次WAP业务每种应用的关键性能指标KPI参数，且每次模拟用户接入WAP业务后，多次使用WAP的网页浏览、文件上传或文件下载的三种应用过程;(2)根据WAP业务QoE测评指标体系中的WAP业务三种应用中各自分别采集的关 键性能指标KPI,逐步计算其业务关键质量指标KQI和利用心理|吴型对KQI进彳了综合运算，从而获得相应的关键体验指标KEI，最终获得模拟用户多次使用WAP业务的QoE值；(3)在不同时间和/或不同地点分别执行步骤(2)的操作后，对获得的多次WAP业务的不同QoE值进行分析与统计，获得在设定时间和/或设定地区的WAP业务用户感知体验的质量状况。所述步骤(I)中，测试终端采集和计算的WAP业务三种应用的关键性能指标KPI包括下述各个参数接入通用分组无线业务GPRS(General Packet Radio Service)时长为接入GPRS的结束时间与开始时间的差值，单位为秒(s)；GPRS附着(Attach)结束状态所述附着是根据移动终端的签约数据，系统确定是否允许移动终端在当前请求的区域中进行数据业务访问；若允许，即为附着成功，标明测试终端已经连接到GPRS，其数值为1，否则为0 ;分组数据协议F1DP (Packet Data Protocol)激活结束状态所述激活是终端在传送数据前向系统服务器申请IP地址资源和隧道标志，建立用户分组传输路由的过程；申请成功的数值为1，申请失败的数值为0 ;域名解析DNS响应率为DNS解析状态与TCP连接状态交集中数值为I的次数与测试次数的比值； 承载网络状态为通信网络是否处于连接状态，网络在线时的数值为1，网络掉线时的数值为0 ;服务响应率为页面显示或文件上传/下载完成状态的数值为I的次数与测试次数的比值，页面成功打开或文件上传/下载完成时其数值为1，否则为0 ;平均传输速率为测试时间段内传输速率的均值，即显示页面的字节长度或上传/下载文件的字节长度与传输时长的比值，单位为KB/秒；速率标准差为测试时间段内速率的均方差，单位为KB/秒；"[目号电平标准差为测试时间段内"[目号电平的均方差，单位为dBm；传输文件完整率为衡量网页显示或文件上传/下载是否完整的指标，其数值为传输完成时的文件字节长度与完整文件的字节长度的比值。所述步骤(2)进一步包括下列操作内容(21)利用测试终端采集到的WAP业务三种应用中的KPI分别计算其对应的各个KQI的下述测试参数接入时延为接入GPRS时长；接通率为Attach状态与PDP激活状态的交集值为I的个数与其交集值不为_1的个数之比，其交集值的数值范围为{_1、0、1}，其中，“-I”表示未发生接通行为，即Attach或PDP激活行为未发生，“0”表示Attach状态与PDP状态中至少有一个为0，“ I ”表示两个状态值均为I ;请求成功率为DNS状态与TCP连接状态交集值为I的个数与其交集值不为_1的个数之比，其交集值的数值范围为{_1、0、1}，其中，“-I ”表示未发生请求行为，即DNS或TCP连接行为未发生，“0”表示DNS状态与TCP连接状态中至少有一个为0，“ I”表示两个状态值均为I ;在线率为承载网络状态数值为I的个数与测试总次数的比值；传输完成率为页面显示或文件上传/下载状态数值为I的个数与其数值不为-I的个数之比，其状态数值的范围为{-1、0、1}，其中，“-I”表示未发生传输行为，“0”表示页面显示或文件上传/下载失败，“I”表示页面显示或文件上传/下载成功；平均速率为平均传输速率；速率稳定度为传输速率的标准差系数，用于表示单位平均传输速率的偏离度；苴计算公式为-速率稳定度=速率标准差
一 TT舁A A1刀.L 1 L /t/又平均传输速率，信号稳定度为信号电平标准差系数，用于表示单位信号电平均值的偏离度；其
、1检八n信号电平标准差
计算:公式力:fa7稳疋度=信号电平均值，信息完好率即传输文件的完整率，为传输完成时的文件字长与完整文件字节长度之比；在一次接入、多次应用时，其数值为每次应用的信息完好率的均值；(22)先将KQI指标分为两类实测指标参数值越大、用户的感知体验性能越好的正向指标和实测指标参数值越大、用户的感知体验性能越差的反向指标；其中正向指标包括接通状态、请求成功率、在线状态、传输完成率、平均速率和信号完好率，反向指标包括 接入时延、速率稳定度和信号稳定度；再将每项KQI指标与其期望值相比较，并按照满意度映射函数计算每个KQI的满意度值KQImqs、即等效于其取值区间为
的MOS数值；(23)利用每个KQI的满意度值KQImqs和层次分析法AHP (AnalyticHierarchyProcess),按照公式KEI= E JQImqs, i计算其KEI ;式中，系数《 i是由下标i区分的网页浏览、文件上传和文件下载三种应用的各自性能参数的各个KQI的权重，％均是利用AHP方法构造各个KQI相对重要性关系判断矩阵，再计算该判断矩阵的最大特征值与其对应的特征向量，并对该特征值进行一致性检验，且在满足一致性检验后，对该特征向量进行归一化处理后得到的特征向量，即各个KQI对应的权重％ ;计算得到的KEI的取值区间为
；(24)按照下述公式加权计算用户使用WAP各业务的QoE值QoE= E WjKEIj=Gj接入性KEI接人性+ 保持性KEI保持性+ 完整性KEI完整性；该步骤的操作与步骤(23)相同，也是利用AHP
方法先构造KEI关系判断矩阵，再计算该判断矩阵的最大特征值与其对应的特征向量，最后分别得到业务接入、业务保持和业务完整的三个性能参数的权重；但是，当任意一个KEI数值为0时，则其对应的QoE即为O。所述期望值是根据人的主观体验、并由评估者对于不同类型业务应用进行差异化设置的数值；所述满意度映射函数是根据人的主观体验模型，即取决于各项KQI实测值与其期望值之比而确定的下述两种S型分段曲线函数式
0，KOL=O正向指标满意度映射函数式为'KQhtm= 1 +二厚，肌￡(0，励%);
5.AT；/,,. >100%
-W TO
0,KQlur > 200%反向指标满意度映射函数式为K0IXU)S= ; 5h 2_Kan , KQL G (100%,200%);式
I + QC
5,KQLo < 100%
中，系数a取决于初始值，且a > 0 ;系数b决定S型曲线变化率；变量KQIst为KQI实测值与其期望值之比；其中正向指标满意度映射函数式表示当KQI值低于期望值而高于设定数值时，对人的主观体验性能影响小；当KQI值降低到该设定数值后仍继续下降，人的主观体验性能急剧下降；当KQI值继续降低到另一设定数值后再继续下降，人的主观体验性能变化平稳；反向指标满意度映射函数公式表示当KQI值高于期望值而低于设定数值时，对人的主观体验性能影响小；当KQI值高于该设定数值后仍继续增高，人的主观体验性能急剧下降；当KQI值继续增高到另一设定数值后再继续增高，人的主观体验性能变化平稳。本发明模拟用户行为的WAP业务用户感知体验QoE的评测方法的优点是该测评方法选用的参数标准客观、实用，操作步骤简单、容易实现；且该测评方法不需改变现有的移动通信网络的组成架构，只需用户使用测试终端在任意时间和/或任意地点进行WAP业务不同应用的评测，就可采集到所需的各种测评数据，再根据这些测评参数逐步计算KPI、KQI、KEI和QoE，就可以模拟用户行为得到最终用户相对客观、公正的的体验质量、测评结果。而且，本发明的全部操作过程完全模拟用户使用WAP业务的全部操作步骤，贴近业务的全部使用过程，包括一次接入网络，多次使用不同应用的各种过程。因此，本发明能够实时评测用户业务的感知体验水平，方便运营商据此对现网实现优化。总之，本发明方法的操作步骤简单、实用、计算复杂度低，还易于集成，且其应用广泛，具有较好的推广价值和应用前
旦
o
图I是本发明模拟用户行为的WAP业务用业户感知体验QoE评测方法操作步骤流程图。图2是本发明方法中的WAP业务评测指标体系架构图。图3 (A)、(B)分别是本发明方法实施例中的KQI实测数值与其期望值之比值的正向KQI满意度值和反向KQI满意度值的变化趋势示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明作进一步的详细描述。本发明是一种模拟用户行为的WAP业务用业户感知体验QoE评测方法先设置一套分别包括网页浏览、文件上传和文件下载三种应用的WAP业务各自的业务接入、业务保持和业务完整三方面体验性能参数所组成的QoE测评指标体系，然后，利用测试终端模拟用户使用WAP业务的整个过程，分别采集与计算WAP业务的关键性能指标KPI，进而计算其相应的业务关键质量指标KQI，并利用心理模型对KQI进行综合运算而获得相应的WAP业务关键体验指标KEI，然后对这些KEI指标进行综合分析，获得等效于国际标准平均意见分值MOS的5分制WAP业务QoE值。下面参见图I和图2，以WAP浏览为主要应用，同时也附带有WAP文件上传和WAP文件下载为实施例，说明本发明方法的三个具体操作步骤(需要说明的是=WAP文件上传和WAP文件下载的体验质量评测与WAP浏览基本相同，其区别只是略有差异的个别测试参数，其操作步骤完全相同)步骤I :测试终端采集和计算用户一次WAP业务(包括多次使用)的KPI参数首先新建WAP网页浏览测试任务，设置下述模拟用户浏览WAP网页行为的测试条件和参数:WAP连接超时的设定时长为30s, web url地址(实施例为http://wap, sina. com,或者也可浏览其他网页)，本次接入访问url的次数3次，每次访问url的间隔时间30s、访问url的超时时间为30s、WAP断开连接的超时设定时长为30s、终端选择等，然后，存储并执行测试任务，终端完成3次WAP浏览为主的KPI测试数据的采集，如下表I所示。
权利要求
1.一种模拟用户行为的WAP业务用业户感知体验QoE评测方法，其特征在于先设置一套分别包括网页浏览、文件上传和文件下载三种应用的WAP业务各自的业务接入、业务保持和业务完整三方面体验性能參数所组成的QoE测评指标体系，然后，利用测试终端模拟用户使用WAP业务的整个过程，分别采集与计算WAP业务的关键性能指标KPI(Key Performance Indicator),进而计算其相应的业务关键质量指标KQI (Key QualityIndicator)，并利用心理模型对KQI进行综合运算而获得相应的WAP业务关键体验指标KEI(Key ExperienceIndicator),然后对这些KEI指标进行综合分析,获得等效于国际标准平均意见分值MOS (Mean Opinion Score)的5分制WAP业务QoE值。
2.根据权利要求I所述的评测方法，其特征在于所述WAP业务QoE测评指标体系中的网页浏览、文件上传和文件下载三种应用的WAP业务各自的业务接入、业务保持和业务完整三方面体验性能參数完全相同，其中业务接入性能參数设有3项取决于接入通用分组无线业务GPRS时长的接入时延，取决于GPRS附着Attach结束状态和分组数据协议I3DP激活结束状态的接通率，以及取决于域名解析DNS响应率的请求成功率；业务保持性能參数设有5项取决于承载网络是否在线的在线率，取决于服务响应率的传输完成率，平均传输速率，取决于速率标准差的速率稳定度和取决于彳目号电平标准差的彳目号稳定度；业务完整性能參数设有I项取决于传输文件完整率的信息完好率。
3.根据权利要求2所述的方法，其特征在于所述方法包括下述步骤 (1)测试终端采集和计算多次WAP业务每种应用的关键性能指标KPI參数，且每次模拟用户接入WAP业务后，多次使用WAP的网页浏览、文件上传或文件下载的三种应用过程； (2)根据WAP业务QoE测评指标体系中的WAP业务三种应用中各自分别采集的关键性能指标KPI，逐步计算其业务关键质量指标KQI和利用心理模型对KQI进行综合运算，从而获得相应的关键体验指标KEI，最终获得模拟用户多次使用WAP业务的QoE值； (3)在不同时间和/或不同地点分别执行步骤(2)的操作后，对获得的多次WAP业务的不同QoE值进行分析与统计，获得在设定时间和/或设定地区的WAP业务用户感知体验的质量状况。
4.根据权利要求3所述的方法，其特征在于所述步骤(I)中，测试终端采集和计算的WAP业务三种应用的关键性能指标KPI包括下述各个參数 接入通用分组无线业务GPRS时长为接入GPRS的结束时间与开始时间的差值，単位为秒(S)； GPRS附着(Attach)结束状态所述附着是根据移动终端的签约数据，系统确定是否允许移动終端在当前请求的区域中进行数据业务访问；若允许，即为附着成功，标明测试终端已经连接到GPRS，其数值为1，否则为O ; 分组数据协议PDP激活结束状态所述激活是终端在传送数据前向系统服务器申请IP地址资源和隧道标志，建立用户分组传输路由的过程；申请成功的数值为1，申请失败的数值为O ; 域名解析DNS响应率为DNS解析状态与TCP连接状态交集中数值为I的次数与测试次数的比值； 承载网络状态为通信网络是否处于连接状态，网络在线时的数值为1，网络掉线时的数值为O ;服务响应率为页面显示或文件上传/下载完成状态的数值为I的次数与测试次数的比值，页面成功打开或文件上传/下载完成时，其数值为1，否则为O ; 平均传输速率为测试时间段内传输速率的均值，即显示页面的字节长度或上传/下载文件的字节长度与传输时长的比值，単位为KB/秒； 速率标准差为测试时间段内速率的均方差，单位为KB/秒； 信号电平标准差为测试时间段内信号电平的均方差，单位为dBm ； 传输文件完整率为衡量网页显示或文件上传/下载是否完整的指标，其数值为传输完成时的文件字节长度与完整文件的字节长度的比值。
5.根据权利要求3所述的方法，其特征在于所述步骤(2)进ー步包括下列操作内容 (21)利用测试终端采集到的WAP业务三种应用中的KPI分别计算其对应的各个KQI的下述测试參数 接入时延为接入GPRS时长； 接通率为Attach状态与PDP激活状态的交集值为I的个数与其交集值不为-I的个数之比，其交集值的数值范围为{_1、0、1}，其中，“-1”表示未发生接通行为，即Attach或PDP激活行为未发生，“O”表示Attach状态与PDP状态中至少有ー个为O，“I”表示两个状态值均为I ; 请求成功率为DNS状态与TCP连接状态交集值为I的个数与其交集值不为-I的个数之比，其交集值的数值范围为{_1、0、1}，其中，“-1”表示未发生请求行为，即DNS或TCP连接行为未发生，“O”表示DNS状态与TCP连接状态中至少有ー个为O，“I”表示两个状态值均为I ; 在线率为承载网络状态数值为I的个数与测试总次数的比值； 传输完成率为页面显示或文件上传/下载状态数值为I的个数与其数值不为-I的个数之比，其状态数值的范围为{-1、0、1}，其中，“-1”表示未发生传输行为，“O”表示页面显示或文件上传/下载失败，“I”表示页面显示或文件上传/下载成功； 平均速率为平均传输速率； 速率稳定度为传输速率的标准差系数，用于表示単位平均传输速率的偏离度；其计算公式为請臟 信号稳定度为信号电平标准差系数，用于表示単位信号电平均值的偏离度；其计算ハ+1信号电平标准差·么、式力疋反=信号电平均值， 信息完好率即传输文件的完整率，为传输完成时的文件字长与完整文件字节长度之比；在一次接入、多次应用时，其数值为每次应用的信息完好率的均值； (22)先将KQI指标分为两类实测指标參数值越大、用户的感知体验性能越好的正向指标和实测指标參数值越大、用户的感知体验性能越差的反向指标；其中正向指标包括接通状态、请求成功率、在线状态、传输完成率、平均速率和信号完好率，反向指标包括接入时延、速率稳定度和信号稳定度； 再将每项KQI指标与其期望值进行比较，并按照满意度映射函数计算每个KQI的满意度值KQImqs、即等效于其取值区间为[O，5]的MOS数值；(23)利用每个KQI的满意度值KQIhb和层次分析法AHP，按照公式KEI=Σ ω计算其KEI ;式中，系数Oi.由下标i区分的网页浏览、文件上传和文件下载三种应用的各自性能參数的各个KQI的权重，ω i均是利用AHP方法构造各项KQI相对重要性关系判断矩阵，再计算该判断矩阵的最大特征值与其对应的特征向量，并对该特征值进行一致性检验，且在满足一致性检验后，对该特征向量进行归一化处理后得到的特征向量，即各KQI对应的权重Qi ;该KEI的取值区间为
； (24)按照下述公式加权计算用户使用WAP各业务的QoE值 QoE= Σ ω jKEIj= ω接入性KEI接入性+ ω保持性KEI保持性+ ω完整性KEI完整性；该步骤的操作与步骤(23)相同，也是利用AHP方法先构造KEI关系判断矩阵，再计算该判断矩阵的最大特征值与其对应的特征向量，最后分别得到业务接入、业务保持和业务完整的三个性能參数的权重；但是，当任意ー个KEI数值为O时，则其对应的QoE即为O。
6.根据权利要求5所述的方法，其特征在于所述期望值是根据人的主观体验、并由评估者对于不同类型业务应用进行差异化设置的数值；所述满意度映射函数是根据人的主观体验模型，即取决于各项KQI实测值与其期望值之比而确定的下述两种S型分段曲线函数式 正向指标满意度映射函数式为:
全文摘要
一种模拟用户行为的WAP业务用户感知体验QoE评测方法，是先设置一套分别包括网页浏览、文件上传和文件下载三种应用的WAP业务各自的业务接入、业务保持和业务完整三方面体验性能参数所组成的QoE测评指标体系，然后，利用测试终端模拟用户使用WAP业务的整个过程，分别采集与计算WAP业务的关键性能指标KPI，进而计算其相应的业务关键质量指标KQI，并利用心理模型对KQI进行综合运算，获得相应WAP业务关键体验指标KEI，获得等效于国际标准平均意见分值MOS的5分制WAP业务QoE值。本发明选用的测评参数标准客观、实用，操作步骤简单、计算复杂度低、容易实现和易于集成；能够模拟用户行为得到相对客观、公正的用户体验感知质量。
文档编号H04W24/06GK102685791SQ20121016051
公开日2012年9月19日 申请日期2012年5月22日 优先权日2012年5月22日
发明者亓玉娇, 刘勇, 叶艳柯, 周小毛, 孟欣欣, 徐静涛, 李湘平, 杜海清, 王永峰, 胡文, 许克辉 申请人:北京东方文骏软件科技有限责任公司, 北京邮电大学