一种运维监控阈值推荐的方法及系统与流程

1.本发明涉及网络运维技术领域，尤其涉及一种运维监控阈值推荐的方法及系统。


背景技术：

2.系统及业务等需要监控，而监控需要配置监控参数，设置的参数可能涉及上百上千条，如果要人工根据数据情况进行各种判断，造成人力成本高到无法承担。如果监控的阈值设置不当，则容易导致大量无效告警混在其中，如果要对所有的告警进行是否有效识别，造成人力成本高到无法承担。传统阈值推荐技术需要获取系统、业务等具体数值，对具体数值进行异常检测，而这些需要大量的存储媒介和分析算力，且可能需要获取大量的客户敏感信息或需要嵌入到原机器或系统本身，造成资源浪费，信息泄露甚至影响原有机器或系统等的稳定性。同时，传统阈值推荐技术无法对自身进行优化，即非智能化，仅仅是规则切分，也存在大量的人为主观性在其中。
3.因此，现有技术存在缺陷，需要改进。


技术实现要素：

4.本发明的目的是克服现有技术的不足，提供一种运维监控阈值推荐的方法及系统。
5.本发明的技术方案如下：提供一种运维监控阈值推荐的方法，包括如下步骤：
6.步骤1：获取对应系统或业务的告警信息；
7.步骤2：对数据进行处理；
8.步骤3：基于完成处理的告警信息，利用推断算法，获取已发生值的优胜值，即优化目标，并基于获取的最佳优胜值的阈值进行推荐；
9.步骤4：基于推断算法推荐的阈值进行验证，如果效果达标，则推荐到后端，并投入使用。
10.进一步地，所述步骤3中的推断算法的具体步骤为：
11.步骤a.1：输入：
12.训练集d＝{(x1，y1)，(x2，y2)，
……
，(xm，ym)}；
13.属性集a＝{a1，a2,
……
，ad}；
14.预设阈值c；
15.优胜值公式t；
16.分叉效果存储集u；
17.步骤a.2：构建函数firstordermultiforktree(d，a，c)；
18.步骤a.3：生成结点node；
19.步骤a.4：如果训练集d中样本y
*
完全相同，则结点node由预设阈值c赋值类叶节点，将预设阈值c和结果b存入分叉效果存储集u，返回原始阈值；
20.步骤a.5：如果或训练集d中的样本与属性集a上的取值相同，则将结点node
标记为任意d
*
，利用优胜值公式t计算训练集d，得到结果b
*
，训练集d和结果b存入分叉效果存储集u，返回整个属性集a和训练集d；
21.步骤a.6：属性集a中的属性a
*
由训练集d中的x
*
组成，以训练集d的值作为属性分类；
22.步骤a.7：执行对每个a
*
的值即为a
v*
的循环指令；
23.步骤a.8：结点node标记叶结点，由a
*
赋值，令dv表示在a
*
的边界内；
24.步骤a.9：如果dv≤1，则跳过循环；
25.步骤a.10：如果dv＞1，则用优胜值公式t计算训练集dv得到结果b
*
，将属性值a
*
和结果b
*
存入分叉效果存储集u；
26.步骤a.11：输出分叉效果存储集u。
27.本发明还提供一种运维监控阈值推荐的系统，用于实现上述的运维监控阈值推荐的方法，包括：告警源接收存储模块、数据查询处理模块、自研算法训练优化模块、推荐阈值验证模块以及后端接收应用模块，各模块之间进行相互的连接通信，其中：
28.告警源接收存储模块，用于获取系统或业务等的告警信息，并存储到对应的数据库媒介中；
29.数据查询处理模块，用于从数据库中查询获取相关历史告警数据后，进行加工处理；
30.自研算法训练优化模块，用于通过所述训练数据对所述推断算法进行训练和预测，当结果满足后，推荐相应的阈值；
31.推荐阈值验证模块，用于将所述推荐阈值进行验证，验证其各个方面的效果，基于自身情况确定相关权重，验证完成后输出最佳的阈值；
32.后端接收应用模块，将最佳阈值应用到对应的系统或业务上。
33.采用上述方案，本发明提供一种运维监控阈值推荐的方法及系统，解决监控阈值的依据问题，从而关联解决无效告警，目前相比人工配置阈值，本发明提供的方法的降噪率达到89％，精确率91％，压缩率达到75％。采用本发明可解决需要承载过量数据的问题，仅从告警信息层压缩告警信息，不需要对具体系统或业务的运行数据进行抓取或监控。一定程度上解决传统技术导致的安全问题，仅获取告警信息层的信息，不需要内嵌到原有系统或设备中，同时也不需要获取运行的具体数据。
附图说明
34.图1为运维监控阈值推荐方法的流程示意图。
35.图2为推断算法的算法流程示意图。
36.图3为运维监控阈值推荐系统的流程示意图。
具体实施方式
37.以下结合附图和具体实施例，对本发明进行详细说明。
38.请参阅图1，本发明提供一种运维监控阈值推荐的方法，包括如下步骤：
39.步骤1：获取对应系统或业务的告警信息。仅需要获取告警信息即可，无需获取具体的运行数据，在一定程度上减少了存储的媒介，也能更加直接地获取到有效信息。
40.步骤2：对数据进行处理。一般告警信息都是以json格式发送，其中包含大量文本和数值，需要进行一定的提取操作，以供推断算法进行训练和预测。
41.步骤3：基于完成处理的告警信息，利用推断算法，获取已发生值的优胜值，即优化目标，并基于获取的最佳优胜值的阈值进行推荐。算法不局限于应用在某个媒介上，可能是多个分布式媒介或系统等。请参阅图2，推断算法的具体步骤为：
42.步骤a.1：输入：
43.训练集d＝{(x1，y1)，(x2，y2)，
……
，(xm，ym)}；
44.属性集a＝{a1，a2,
……
，ad}；
45.预设阈值c；
46.优胜值公式t；
47.分叉效果存储集u。
48.其中：
49.训练集d：告警抽取的数据，x可能有多个，y表示是否为有效告警；
50.属性集a：由训练集d中的x组成，以真实数值作为结点和属性分类；
51.预设阈值c：表示监控设置的原始阈值；
52.优胜值公式t：表示计算某个结点分类后的dv的结果，其中利用y标签计算，当前实施例公式为召回率+无效告警精确率+(1-误判的有效告警最大耗时比)+有效告警精确率+正判的有效告警最大耗时比的均值，优胜值公式可根据实际情况定义。
53.分叉效果存储集u：一个字典，用来存储优胜值和对应的切割d。
54.步骤a.2：构建函数firstordermultiforktree(d，a，c)；
55.步骤a.3：生成结点node；
56.步骤a.4：如果训练集d中样本y
*
完全相同，则结点node由预设阈值c赋值类叶节点，将预设阈值c和结果b存入分叉效果存储集u，返回原始阈值；
57.步骤a.5：如果或训练集d中的样本与属性集a上的取值相同，则将结点node标记为任意d
*
，利用优胜值公式t计算训练集d，得到结果b
*
，训练集d和结果b存入分叉效果存储集u，返回整个属性集a和训练集d；
58.步骤a.6：属性集a中的属性a
*
由训练集d中的x
*
组成，以训练集d的值作为属性分类；
59.步骤a.7：执行对每个a
*
的值即为a
v*
的循环指令；
60.步骤a.8：结点node标记叶结点，由a
*
赋值，令dv表示在a
*
的边界内；
61.步骤a.9：如果dv≤1，则跳过循环；
62.步骤a.10：如果dv＞1，则用优胜值公式t计算训练集dv得到结果b
*
，将属性值a
*
和结果b
*
存入分叉效果存储集u；
63.步骤a.11：输出分叉效果存储集u。
64.步骤4：基于推断算法推荐的阈值进行验证，如果效果达标，则推荐到后端，并投入使用。
65.本发明利用告警数据作为训练集，并区分有效告警和无效告警，以供算法进行训练及预测，由此减少存储媒介、网络损耗等情况，同时有效防止数据泄露，并解决传统技术中利用大量技术人员或专家的主观性的问题。
66.利用推断算法对数据进行有效的训练和预测，并可根据实时的降噪率、压缩率、精确率等作为目标进行优化，使得在运用过程中的正确率逐步提高，形成越用越准确的情况，从传统技术的认为判别走向智能化。
67.对不同系统、业务等不同的告警信息进行自适应模型迭代训练，可针对不同对象使用，提高本方法的使用范围。
68.请参阅图3，本发明还提供一种运维监控阈值推荐的系统，用于实现上述的运维监控阈值推荐的方法，包括：告警源接收存储模块、数据查询处理模块、自研算法训练优化模块、推荐阈值验证模块以及后端接收应用模块，各模块之间进行相互的连接通信，其中：
69.告警源接收存储模块，用于获取系统或业务等的告警信息，并存储到对应的数据库媒介中。
70.数据查询处理模块，用于从数据库中查询获取相关历史告警数据后，进行加工处理，如提取数据中的文本和数值等，具体数值为用户设置的阈值，及利用阈值加工的部分数据，具体文本为告警信息文本，主要用于区分系统和业务等。
71.自研算法训练优化模块，用于通过所述训练数据对所述推断算法进行训练和预测，当结果满足后，推荐相应的阈值。
72.推荐阈值验证模块，用于将所述推荐阈值进行验证，验证其各个方面的效果，如降噪率、压缩率和误判率等，基于自身情况确定相关权重，验证完成后输出最佳的阈值。
73.后端接收应用模块，将最佳阈值应用到对应的系统或业务上，可采用自动覆盖形式，也可采用人工审核自填的形式。
74.综上所述，本发明提供一种运维监控阈值推荐的方法及系统，解决监控阈值的依据问题，从而关联解决无效告警，目前相比人工配置阈值，本发明提供的方法的降噪率达到89％，精确率91％，压缩率达到75％。采用本发明可解决需要承载过量数据的问题，仅从告警信息层压缩告警信息，不需要对具体系统或业务的运行数据进行抓取或监控。一定程度上解决传统技术导致的安全问题，仅获取告警信息层的信息，不需要内嵌到原有系统或设备中，同时也不需要获取运行的具体数据。
75.以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。