一种边缘应用健康度的监测方法和监测系统与流程

本发明涉及电数字数据处理，具体涉及一种边缘应用健康度的监测方法和监测系统。

背景技术：

1、随着物联网、人工智能、工业自动化等技术领域的快速发展，边缘计算和云边协同已进入到各个领域。边缘计算使得计算和数据存储更加接近于数据产生源头，从而实现对数据的实时处理，同时减少对云平台的依赖性。根据gartner预测，2025年超过75％的数据将在边缘侧进行分析、处理与储存。

2、边缘计算的快速发展，使得部署在边缘侧的边缘应用数量随之增加，然而面对迅速扩增的边缘应用还缺少一套科学合理的应用健康状况评估体系，无法对边缘侧应用进行科学运维管理。边缘应用出现问题时无法及时、准确地发现应用潜在的问题，这可成为阻碍边缘应用快速、健康发展的绊脚石。

3、当前针对边缘应用的运维管理，主要还是基于传统运维，而传统运维存在如下缺陷：传统运维主要是直接对单个指标进行监控，只能反映各指标数据是否在正常范围内，同时监控静态阈值的配置方式工作量庞大，且容易出现误告警现象。并且仅对指标数据波动趋势以及告警情况分析，难以评估应用整体运行情况，还需要对多维度多指标进行综合分析，进而评定应用的整体健康度。

4、目前应用健康度通常基于单一的指标评价体系，对于规模较大、结构复杂、功能繁多、故障模态多样的复杂边缘应用不具有普适性。对某一应用适用的健康度评估体系通常不适用于其他应用，这对应用健康度模型的实际应用与推广带来了极大的阻碍。

5、另一种健康度监测的方法为：基于复杂庞大的深度学习模型。该方法需要消耗大量的计算资源和存储资源，同时过于复杂的模型计算一次耗时过长，不满足边缘应用场景以及运维场景对实时性的高要求。

6、因此目前对于边缘应用的健康度评估的方法还不够完善，存在过于依赖人工、误告和漏告频繁，不适用于复杂系统，难以实现自适应业务变化，以及不适用于边缘设备等问题。

技术实现思路

1、针对现有技术中存在的上述技术问题，本发明提供一种边缘应用健康度的监测方法和监测系统，从复杂的监测数据中筛选建模指标，基于建模指标，训练健康度评估模型，降低计算成本、提高健康度分析的普适性。

2、本发明公开了一种边缘应用健康度的监测方法，包括以下步骤：获得健康评估模型；通过健康评估模型对边缘应用的监测数据进行分析，获得边缘应用的健康度；其中，健康评估模型的训练方法包括：获取数据集，所述数据集包括多个指标的监测数据及其健康度；基于时间序列度量距离的方法，获得指标与健康度的距离；根据所述距离，从所述指标中筛选建模指标；根据所述建模指标和数据集，获得训练集；基于机器学习的方法，对训练集进行训练，获得健康评估模型。

3、优选的，时间序列度量距离的方法包括基于形态距离的方法，

4、基于形态距离的方法包括以下步骤：

5、对数据集的监测数据进行预处理；

6、根据预处理后的监测数据，计算所述指标与健康度的互相关距离：

7、对互相关距离从大到小排序，取前k个指标作为建模指标，其中，k为自然数；即最大的k个指标作为建模指标。

8、优选的，互相关距离的计算方式为：

9、

10、

11、sbd(ti,h)＝1-ncc(ti,h)                   (3)

12、其中，ti表示为第i个指标的监测序列，tj表示为监测序列的第j个值，h表示为健康度序列，hj表示为健康度序列的第j个健康度值，s表示为相位偏差，ccs(ti,h)表示为互相关系数，ncc(ti,h)为标准化互相关系数，sbd(ti,h)为互相关距离。

13、优选的，所述预处理包括：数据清洗和数据变换，所述数据清洗包括缺失值处理和离群点检测；

14、缺失值处理包括：取滑动窗口的平均值插补缺失值；

15、离群点检测包括：采用3-sigma算法计算阈值；将超出阈值的数据作为缺失值；

16、数据变换包括数据的归一化。

17、优选的，所述机器学习的方法包括概率神经网络，

18、概率神经网络包括输入层、模式层、求和层和输出层；

19、输入层接收来自训练样本的特征量，并把这些特征量转递给模式层；

20、求和层用于将各个类的模式层单元连接起来，将属于所述类的概率进行累计计算；

21、输出层根据求和层输出值的大小，输出得分最高的类。

22、优选的，输入层和模式层通过高斯函数连接：

23、

24、其中，φ(x)为高斯函数，n为特征的个数，σ表示平滑参数，x为样本输入向量，xij表示第i个神经元的第j个数据；

25、累计计算的计算公式如下：

26、

27、其中，acci为第i类的数据，k为第i类是对应的神经元个数，φ(ij)为模式层中第i组第j个神经元的输出值。

28、优选的，根据所述健康度和预设的健康度区间，获得边缘应用的健康度评价；

29、根据健康度评价，生成健康报告或健康告警。

30、优选的，所述边缘应用为容器化应用，通过代理容器采集应用实例的监测数据；

31、所述健康评估模型部署在k8s集群中；

32、云边协同的方法包括：

33、边缘端接收由云端下发的健康评估模型，并根据健康评估模型和采集到的监测数据，计算边缘应用的健康度评分；

34、根据健康度和健康度阈值，获得边缘应用的健康状态；

35、若边缘应用的健康状态为正常，向云端上传时间戳和健康度评分；

36、若边缘应用的健康状态为异常，对建模指标进行异常检测，获得异常的建模指标；并向云端上传健康度评分和异常建模指标；

37、各边缘端对数据进行存储和聚合，云端定期利用聚合的数据进行健康评估模型的重训练。

38、本发明还提供一种用于实现上述监测方法的监测系统，包括：监测模块和评估模块，所述监测模块用于获得边缘应用的监测数据；所述评估模块用于通过健康评估模型对边缘应用的监测数据进行分析，获得边缘应用的健康度。

39、优选的，所述监测系统还包括指标选取模块、训练模块、告警模块、数据聚合模块和应用健康存储模块，

40、所述指标选取模块用于基于时间序列度量距离的方法，获得指标与健康度的距离；根据所述距离，从所述指标中筛选建模指标；

41、所述训练模块用于基于机器学习的方法，对训练集进行训练，获得健康评估模型；

42、所述告警模块用于根据所述健康度和预设的健康度区间，获得边缘应用的健康度评价；并根据健康度评价，生成健康报告或健康告警；

43、数据聚合模块用于对监测数据进行聚合；

44、应用健康存储模块用于存储边缘应用的健康度数据。

45、与现有技术相比，本发明的有益效果为：利用指标与健康度的距离，筛选建模指标，利于减少健康评估模型训练的计算量和健康分析的计算量；提高健康度评估的普适性；健康评估模型易于训练、收敛速度快；实现对海量监测数据的高效利用，可及时感知边缘应用存在的健康隐患，减少人工运维成本，有效提高边缘应用异常风险的识别能力。