基于QUIC的加密网页流量的体验质量指标监控方法与流程

基于quic的加密网页流量的体验质量指标监控方法
技术领域
1.本发明主要涉及到网络通信技术领域，特指一种基于quic的加密网页流量的体验质量指标监控方法。


背景技术：

2.由于安全和隐私方面考虑，互联网流量加密正在迅速增加，70％的互联网流量已经加密。虽然加密工作主要集中在应用层(例如，tls)，但是最近也有从业者尝试集中在传输层(例如，quic，quick udp internet connection)部署端到端加密。假设加密趋势会继续下去，也许在未来会进一步加速。
3.网页内容提供商可以直接获取在浏览器上测量的体验质量指标，体验质量缺陷可能是由于网页内容提供者过载的服务器或者网络运营商在网络拥塞情况下的各种问题造成的。为了减轻由于网络问题造成的体验质量损失，网络运营商需要能够测量和监控体验质量指标。网络运营商可以通过对应用层报头信息进行dpi(deep packet inspection)来实现这一点。然而，网页内容提供商越来越多地部署端到端加密技术，使得网络运营商无法用dpi来监控体验质量指标，因此网络运营商现在只需要从他们可见的信息，实时推断正在进行的加密网页流量的体验质量指标。
4.端到端加密对安全和隐私至关重要，但它从根本上限制了网络运营商的体验质量和网络管理的范围。随着网页使用的普及，现在大部分互联网流量都是由网页访问构成的，网络运营商采用多种严格的网络管理机制来满足现代网页访问应用程序的体验质量要求。具体来说，由于持牌无线电频谱是一项昂贵而稀缺的资源，流动网络营办商采用基于深度分组检查(dpi)的网络管理技术来优化带宽，并有效地在用户之间共享无线电频谱。然而，加密技术打破了目前网络运营商用于监控和优化体验质量的网络管理机制，有从业者之前试图通过各种启发式的基于机器学习的方法来解决加密流量的体验质量监控问题。
5.加密网页体验质量监控的研究存在两个关键的局限性：首先，现有将加密网页体验质量监控视为一次性的事后推理问题，需要更细粒度的实时体验质量监控，以适应动态资源分配。但是，实时网页体验质量推理会检测和减轻体验质量损伤，因为它们影响用户体验。其次，之前的工作只考虑了通过https加密视频流的体验质量监控，然而，使用新的加密传输协议，比如基于udp的quic协议，正在成为传输网页数据流的流行协议。
6.一个加密网页流量可以由一个或多个连续的或并行的流组成(由源地址、目的地址、源端口、目的端口和传输协议类型唯一的5元组标识)，因此只需要收集网络的报文头信息就行了。但是，由于使用了端到端加密协议(如https或者quic)，应用程序报文头信息是不可访问的。对于每个流量，网络运营商都能够存储数据包信息在移动时间窗口10秒钟，每5秒轮班一次，时间窗和移位的确切持续时间是任意选择的，如果需要更改，窗口发生移位时，数据只为最后一个保留前一个时间窗口5秒钟。


技术实现要素：

7.本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、易操作和实现、实时性好、适用范围广的基于quic的加密网页流量的体验质量指标监控方法。
8.为解决上述技术问题，本发明采用以下技术方案：
9.一种基于quic的加密网页流量的体验质量指标监控方法，其流程包括：
10.步骤s1：训练阶段；利用网页访问中的包轨迹，提取每个包的特征，训练机器学习模型；
11.步骤s2：测试阶段；利用训练好的机器学习模型，从测试网页的数据包跟踪中提取特征集，进行测试来得到体验质量的度量。
12.作为本发明的进一步改进：所述步骤s1的流程包括：
13.步骤s101、访问一组网页，并记录其在网络中的包轨迹，以及网页直接访问浏览器获得的实况网页体验质量指标；
14.步骤s102、对于每个包的跟踪，从网络层和传输层报头中提取一组全面的特征；
15.步骤s103、给定在不同网络条件下访问足够多的网页，针对不同的体验指标训练监督的机器学习模型，完成训练阶段。
16.作为本发明的进一步改进：所述网络层特征来自ip报头中的信息，所述传输层特征来自udp报头中的信息；
17.作为本发明的进一步改进：每个所述网络层特征和传输层特征分别用于上游和下游流量。
18.作为本发明的进一步改进：所述网络层特征包括包到达间隔时间和包大小。
19.作为本发明的进一步改进：从包跟踪中提取的特征还分为基于窗口的特征和基于包的特征；所述基于窗口的特征是通过聚合在时间窗口内到达的所有数据包的信息来计算的，所述基于包的特征通过分析单个包来计算的，然后汇总统计数据。
20.作为本发明的进一步改进：所述基于包的特征包括如平均值、中值、最大值、最小值、标准差、峰度和偏度中的一个或多个。
21.作为本发明的进一步改进：所述基于窗口的特征，在第一个时间窗口中，只提取一次访问延迟特征；对于其余每个时间窗口，以连续的方式提取网页质量的特征。
22.作为本发明的进一步改进：所述传输层特征包括每个包的重传和通告的接收窗口，rtt仅对上行流量使用报文序列号及其对应的确认进行计算，忽略重传报文。
23.作为本发明的进一步改进：运行中的起始字节和结束字节对应于起始和结束时违背确认的字节数，结束当前时间窗口。
24.与现有技术相比，本发明的优点就在于：
25.本发明的基于quic的加密网页流量的体验质量指标监控方法，原理简单、易操作和实现，实时性好、监控精度高，本发明为一种基于机器学习的方法来监控加密网页流量的体验质量指标的方法，它利用网络层和运输层的标记信息作为特征来训练机器学习分类器，从而推断出网页加载的体验质量指标，根据本发明提出的方法，可以实时检测和应对加密网页的体验质量缺陷。
附图说明
26.图1是本发明方法的流程示意图。
27.图2是本发明在具体应用实例中从包跟踪中提取的网络层和传输层特征表。
28.图3是本发明在具体应用实例中推断quic上网页的访问延迟的决策树模型示意图。
具体实施方式
29.以下将结合说明书附图和具体实施例对本发明做进一步详细说明。
30.如图1所示，本发明基于quic的加密网页流量的体验质量指标监控方法，是一种基于机器学习的加密网页体验质量监控方法，其流程包括：
31.步骤s1：训练阶段；利用网页访问中的包轨迹，提取每个包的特征，训练机器学习模型；
32.步骤s2：测试阶段；利用训练好的机器学习模型，从测试网页的数据包跟踪中提取特征集，进行测试来得到体验质量的度量。
33.在具体应用实例中，所述步骤s1的流程包括：
34.步骤s101、访问一组网页，并记录其在网络中的包轨迹，以及网页直接访问浏览器获得的实况网页体验质量指标；
35.步骤s102、对于每个包的跟踪，从网络层和传输层报头中提取一组全面的特征；
36.步骤s103、给定在不同网络条件下访问足够多的网页，针对不同的体验指标训练监督的机器学习模型，完成训练阶段。
37.在具体应用实例中，本发明可以根据实际需要，使用推断的体验质量指标来检测和减轻使用不同网络管理技术的体验质量损害。
38.参见图2，在具体应用实例中，进一步，所述机器学习模型中的训练特征是从包跟踪中提取的网络层特征和传输层特征。
39.所述网络层特征来自ip报头中的信息，所述传输层特征来自udp报头中的信息，上述每个特征分别用于上游和下游流量。
40.所述网络层特征包括包到达间隔时间和包大小(以每个包的字节数表示)。需要注意的是：网络层特性不考虑由于丢包导致的重传。
41.参见图2，在具体应用实例中，本发明从包跟踪中提取的特征可以进一步分为基于窗口的特征和基于包的特征。所述基于窗口的特征是通过聚合在时间窗口内到达的所有数据包的信息来计算的，所述基于包的特征通过分析单个包来计算的，然后汇总统计数据。即，对于基于包的特征，计算汇总统计数据，如平均值、中值、最大值、最小值、标准差、峰度和偏度。在第一个时间窗口中，只提取一次访问延迟特征；相比之下，对于每个时间窗口，以连续的方式提取网页质量的特征。例如，由于10秒的时间窗在5秒轮班中运行，这些特征分别派生为每个时间窗的前一半和后一半。总的来说，在实例中需要提取109个特性来推断网页访问质量事件的体验质量指标和226个特性来推断网页加载延迟事件的体验质量指标。
42.其中，在图2中：
43.(*)计算统计数据被用作个体特征：平均值，最小值，最大值，中值，标准差，偏度，峰度。
44.(**)考虑0、1、2和》2的重传比率。
45.(***)仅用于实时请求网页体验质量推断。
46.(****)只针对上游流量。
47.在具体应用实例中，所述网络层特征的窗口功能包括计数、字节计数和吞吐量。其中，获取空闲时间的流程为：首先将时间窗口划分为100毫秒的箱子，并通过将到达时间舍入到100毫秒来将包分配给箱子，空的100毫秒容器(没有数据包)的数量构成空闲时间。
48.在具体应用实例中，所述传输层特征包括每个包的重传和通告的接收窗口，rtt(round trip time)仅对上行流量使用报文序列号及其对应的确认进行计算，忽略重传报文。
49.在具体应用实例中，运行中的起始字节和结束字节对应于起始和结束时违背确认的字节数，结束当前时间窗口。
50.在具体应用实例中，在步骤s2中，推断加密网页流量的体验质量指标使用网络层特征和传输层特征，其中：
51.网络层特征的集合，值使用ip包头信息，许多这些特性与不同的体验质量指标有显著的相关性，把加密网页访问最长为k秒的会话标记为已访问，其余为未访问，得出已经访问的网页在前k秒内从服务器上下载的中位数和没有访问的网页的字节量的关系。
52.传输层特性对于网页传输质量来说，高质量的时间窗，再次期望更少的未确认字节，后一半时间窗口的下游最小动态字节数中，90％的高质量时间窗口在每秒的某个时间点与大约80％的低质量窗口相比有零字节和更多的未确认字节导致的频繁重传，80％的高质量时间窗每个下游数据包的平均重传为零，只有40％的低质量窗口每个下游包的平均重传为零。
53.本发明使用基于决策树的机器学习分类算法，在类似的问题中优于其他分类算法，使用c4.5决策树算法的j48实现训练机器学习分类器和adaboost集成元分类减少错误分类的方法，更方便进行加密网页流量的体验质量指标监控。
54.如图3所示，显示了一个经过修剪的决策树模型，该决策树模型被训练来推断基于quic协议传输的网页流量的访问延迟，判断数据upstreampacket等是通过如图1所示的训练阶段得出的值，使用10％的置信因子对决策树进行剪枝，叶子节点上的实例数限制为至少100个，与未修剪的决策树相比，修剪后的决策树模型的准确率会降低.
55.从决策树的根节点可以看出，没有启动会话的上游报文更少，较高的下游平均数据包到达间隔时间也表示未启动会话。
56.使用基于机器学习的方法，通过本发明的网络层特征和传输层的特性，利用quic协议传输的数据训练有监督的决策树模型，用于加密网页的体验质量指标的实时推理。
57.以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。