一种基于图神经网络的网络稀疏化测量方法及系统与流程

本发明涉及网络稀疏化测量的，尤其涉及一种基于图神经网络的网络稀疏化测量方法及系统。

背景技术：

1、近年来，对分布式系统的需求不断增加。越来越多对延迟敏感的应用的出现，如vr、ar和自动驾驶等，已经导致服务提供商越来越倾向于将服务进行密集和分布式部署。边缘云，作为一种新兴的边缘计算模式，允许密集和分布式的服务部署，正吸引着人们的注意力。面对这样的分布式边缘云系统，服务提供者需要知道所有的端到端网络服务质量(qos)，以做出适当的资源安排和请求。此外，当分布式系统发生故障时，全面而准确的端到端服务质量可以更好地帮助服务提供者估计受影响的用户数量并解决故障问题。

2、然而，服务的密集部署给网络qos的监测带来了巨大挑战。例如，对于一个有n个节点的边缘云系统，进行一次全量的端到端qos检测需要进行n2级别的测量，这给系统带来了难以承受的，巨大的负担。即使不考虑这些负担，网络错误，数据传输延迟等，也会给全量的qos带来较强的稀疏性。因此，本发明旨在通过数据补全算法，将真实测得的，稀疏的端到端qos补齐。通过这种方式，我们可以降低测量的复杂度，提高测量效率，增强对网络qo s的把控。

3、现有的网络服务质量补齐算法大多是基于数学进行的矩阵补齐算法，无法应对边缘云数据的复杂多变性。同时具有以下的缺点：

4、(1)未考虑边缘云服务质量的复杂多变性，通过数学方式对矩阵进行分解，然后进行补全，这种方式在过滤掉部分异常数据的同时，也会让数据中的有用特征减弱，影响预测准确度。

5、(2)未考虑已有学习到的模式对于未来数据补全的作用。现有的vr、ar自动驾驶等应用对网络服务提出了较高的实时性要求。这要求网络服务提供商对于网络服务质量也能进行实时的感知。基于数学的方式在每次补全的时候都重新进行训练和推理，无法将已有的学习到的补全模式应用到新的数据的推理上。

6、(3)未考虑时空关系对于服务质量数据推理的帮助。网络服务质量数据具有较强的时空关联性。特别两服务器间的端到端延迟，与两服务器间的物理距离具有较强的相关性。传统数学方式无法有效利用节点间的时空关联性，从而影响推理的精确度和推理的计算效率。

技术实现思路

1、针对上述问题，本发明的目的在于提供一种基于图神经网络的网络稀疏化测量方法及系统，用于解决以上背景技术中提到的问题。

2、本发明的上述发明目的是通过以下技术方案得以实现的：

3、一种基于图神经网络的网络稀疏化测量方法，包括以下步骤：

4、s1：对端到端网络服务质量数据进行稀疏化采样；

5、s2：基于所述稀疏化采样的数据，建立网络服务质量预测模型并训练；

6、s3：采用持续学习函数的方式，将历史学习到的时空网络服务质量信息用于未来时刻的学习和推理。

7、进一步地，所述端到端网络服务质量数据包括端到端延迟数据、端到端带宽数据和端到端丢包率在内的数据。

8、进一步地，在步骤s1中，对所述端到端网络服务质量数据进行所述稀疏化采样，具体为：

9、s11：制定网络稀疏化测量计划，对于包含n个网络节点，包含n2条端到端路径的分布式系统，在全部的所述端到端路径中，根据采样率α来随机采样，其中所述随机采样采用伯努利采样的方式进行采样；

10、s12：执行所述网络稀疏化测量计划，并将所述网络稀疏化测量计划的采样结果保存到中心节点上。

11、进一步地，在步骤s2中，建立网络服务质量预测模型并训练，具体为：

12、s21：将所述端到端路径的延迟矩阵，构建为图结构数据；

13、s22：基于图神经网络的特征编码器，采用基于消息传递的多层编码层对所述图结构数据表现出来的特征进行编码；

14、s23：采用基于多层感知器的延迟预测器，将步骤s22中所述图结构数据编码后生成的隐含特征恢复成完整的网络服务质量预测矩阵；

15、s24：采用梯度下降方法，进行反复训练优化，对误差进行最小化。

16、进一步地，在步骤s21中，将所述端到端路径的延迟矩阵，构建为所述图结构数据，具体为：

17、包含n个所述网络节点的所述分布式系统，构建的所述图结构数据为g(v，e)，其中v＝{v1，v2，...vn}是所有n个所述网络节点的集合，eij∈e代表网络节点i到网络节点j的网络服务质量。

18、进一步地，在步骤s22中，基于图神经网络的特征编码器，采用基于消息传递的多层编码层对所述图结构数据表现出来的特征进行编码，具体为：

19、对于任意u∈v，通过聚合的方式将u的邻居网络节点之间的网络服务质量信息嵌入到u的表示中，聚合公式为：

20、

21、其中，aggl为聚合函数，σ为非线性函数sigmod，concat代表两向量拼接，l为层序号，v为待编码的节点，为第l层的用于编码的可学习的参数，为节点u在第l层中节点的x的特征表示，为节点u到节点v的服务质量在第l-1层的特征表示；

22、聚合完毕后，将当前层聚合得到的与前一层的v表示的信息结合，共同得到当前层的输出表达式为：

23、

24、其中，为第l层的用于聚合的可学习的参数矩阵，为l-1层输出，当当前层为第一层时使用v的特征x来初始化h0；

25、定义层间残差，将所述层间残差注入到第l层的输出yl中，具体为将前一层的信息，以1-λ的比例输入到当前层：

26、

27、其中，为前一层的输出；

28、定义初始残差，用于弥补多层图卷积编码导致的梯度消失和梯度爆炸，表达式为：

29、

30、其中，x0为所有节点初始的特征，β为采用frobenius范数确定的自适应的缩放比例；

31、

32、其中，hl为第l层的所有节点特征拼接成的特征矩阵，x0为所有节点初始的特征矩阵；

33、最终将所述层间残差和所述初始输出叠加到图神经网络的输出上进行输出，表达式为：

34、

35、此时，完成了对于第l层的所述图结构数据表现出来的特征进行编码。

36、进一步地，在步骤s23中，采用基于多层感知器的延迟预测器，将步骤s22中所述图结构数据编码后生成的隐含特征恢复成完整的网络服务质量预测矩阵，具体为：

37、在步骤s2中，对于任意一个网络节点v，都生成了隐含特征

38、采用基于多层感知器的解码成来重构服务质量矩阵，将高维度隐含表示的服务质量矩阵进行还原，表达式为：

39、

40、其中，为最终模型的服务质量预测输出，t为当前的时刻，w为用于输出的可学习的参数矩阵，t为矩阵的转置操作，b为偏置系数矩阵。

41、进一步地，在步骤s24中，采用梯度下降方法，对误差进行最小化，具体为：

42、使用均方差来描述预测值与真实值之间的差异，表达式为：

43、

44、其中，l为预测值与真实值之间的误差，为预测的服务质量，at为真实的服务质量；

45、在求得的误差的基础上，使用梯度下降方式进行反复训练优化，在训练过程中，使用adam优化器来对学习率进行动态调整，直到两次优化之间的误差变化小于预设阈值为止。

46、进一步地，在步骤s3中，采用持续学习函数的方式，将历史学习到的时空网络服务质量信息用于未来时刻的学习和推理，具体为：

47、f′n+1＝g(f0，f1，...，fn)

48、其中，g为持续学习函数，输入为历史模型f0，f1...fn，输出为n+1时刻的初始模型f′n+1，在第n+1时刻先用f′n+1初始化模型，并在初始化的基础上进行训练。

49、一种用于执行如上述的基于图神经网络的网络稀疏化测量方法的基于图神经网络的网络稀疏化测量系统，包括：

50、稀疏数据采集模块，用于对端到端网络服务质量数据进行稀疏化采样

51、模型建立和训练模块，用于基于所述稀疏化采样的数据，建立网络服务质量预测模型并训练；

52、持续学习模块，用于采用持续学习函数的方式，将历史学习到的时空网络服务质量信息用于未来时刻的学习和推理。

53、一种计算机设备，包括存储器和一个或多个处理器，所述存储器中存储有计算机代码，所述计算机代码被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上述的方法。

54、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如上述的方法被执行。

55、与现有技术相比，本发明包括以下至少一种有益效果是：

56、(1)充分挖掘边缘云网络服务质量的时空关联性，利用网络服务质量间的时空关联性对全量网络端到端服务质量矩阵进行补全。

57、(2)解决传统算法在过滤掉异常数据的同时，将部分有用数据过滤掉的问题，能够应对复杂多变的网络服务质量数据。

58、(3)解决传统算法在补全时无法进行持续推理的问题。本专利能够将现有的，历史的数据模式应用到新的数据推理上，削减训练导致的计算开销，使得整套框架能够进行快速的，持续稳定的推理。