基于置信度的报警方法、装置、电子设备及介质与流程

本公开属于计算机，特别涉及一种基于置信度的报警方法、装置、电子设备及介质。

背景技术：

1、随着互联网技术的发展，监控系统作为互联网系统中不可或缺的一环，该系统通过采集数据判断当前系统是否存在问题，并在出现问题的时候及时通知相关人员进行处理。

2、目前，主流报警方法可归类为两类：基于阈值的报警方法、基于模型的报警方法。在实际业务中，基于终端设备实现的网络质量监控系统，采用基于阈值的报警策略，能从区域、运营商、域名等维度发起报警。基于阈值的报警方法，举例来说，当对一个域名进行监控管理时，会按照一定的时间周期采集该域名从设备端上报的成功率、错误量等指标，并将这些指标与人为设定的报警阈值进行比较。当真实值大于或者小于阈值时，即认为当前时间点的域名发生了异常。发生异常的原因有很多，可能是网络故障，也可能是服务器故障。通过及时抛出报警通知人工介入，能够尽可能快地定位并解决问题，避免造成较大损失。基于模型的报警方法指的是通过机器学习或者深度学习训练得到报警模型，由模型来判断当前系统是否处于异常状态。此类方法通常需要大量的离线历史数据，并且需要在数据中对异常点进行标注。在整理好数据后，利用机器学习或者深度学习方法训练一个二分类模型。将当前系统的状态数据作为输入，模型即可输出判断结果。该方法的模型分析的是原始数据，相比于前一种基于阈值的报警方法，信息损耗较小，能够准确识别正常与异常情况。

3、经研究发现，现有技术中，报警质量受限因素多，报警不够准确，跟进流程较为繁琐。

技术实现思路

1、为了至少解决上述技术问题，本公开提供了一种基于置信度的报警方法、装置、设备及可读存储介质。

2、根据本公开第一方面，提供了一种基于置信度的报警方法，包括：

3、获取报警元数据，根据所述报警元数据分别从线上数据源和线下数据源拉取数据；

4、以所述线上数据源或所述线下数据源的指标值为基准，查找匹配的字符串作为匹配后的结果；

5、对所述匹配后的结果进行数据样本的正态分布计算，得到统计学分析结果，对所述数据样本之间的向量余弦距离计算余弦距离计算结果，以及将待进行时序相似度计算的当天数据和历史数据分别转换成序列，得到时序相似度计算结果；

6、对所述统计学分析结果、余弦距离计算结果以及时序相似度计算结果进行加权求和计算，生成置信度计算结果。

7、进一步的，所述获取报警元数据，根据报警元数据分别从线上数据源和线下数据源拉取数据，包括：

8、从报警信息中获取国家、运营商、域名和时间戳，作为报警元数据，根据所述报警元数据分别从线上数据源和线下数据源拉取数据；

9、分别从所述线上数据源、所述线下数据源中获取存在偏差的指标值。

10、进一步的，所述获取报警元数据，根据报警元数据分别从线上数据源和线下数据源拉取数据，包括：

11、获取到报警元数据，以报警发生前预设时段作为时间窗口，分别从各线上数据源获取报警地区在预设时间范围内的监控数据。

12、进一步的，所述以报警发生前预设时段作为时间窗口，分别从各线上数据源获取报警地区在预设时间范围内的监控数据，包括：

13、以报警发生前预设时刻到报警发生的时刻作为时间窗口，从每个线上数据源获取报警地区的地区当天数据及地区历史数据。

14、进一步的，所述以所述线上数据源或所述线下数据源的指标值为基准，采用编辑距离算法查找匹配的字符串作为匹配后的结果，包括：

15、以所述线上数据源或所述线下数据源的指标值为基准，以第一预设字符作为分割符，分别对线上数据源、线下数据源进行分割，获取与第一预设字符之前的第一个单词相同，并且与基准之间的距离小于等于基准字符串长度的字符串，按照距离由小到大原则，选取离基准距离最小的若干个候选字符串，作为对匹配后的结果。

16、进一步的，所述对匹配后的结果进行元数据聚集性分析，生成聚集性分析结果，包括：

17、对匹配后的结果按照报警元数据各元素类别进行各维度统计，生成聚集性分析结果。

18、进一步的，所述对匹配后的结果按照报警元数据各元素类别进行各维度统计，生成聚集性分析结果，包括：

19、采用对数函数log作为聚集性分析的函数，进行聚集性分析，

20、

21、其中，i表示第i个维度，i为自然数，数据点总数为这个维度上的数据点总数，类别为这个维度上数据的种类数量。

22、进一步的，所述对所述匹配后的结果进行数据样本的正态分布计算，得到统计学分析结果，对所述数据样本之间的向量余弦距离计算余弦距离计算结果，以及将待进行时序相似度计算的当天数据和历史数据分别转换成序列，得到时序相似度计算结果，包括：

23、对地区当天数据进行统计学分析，计算最后一个样本与其他样本的统计学分析结果，得到地区当天数据统计学分析结果，对最后一个样本与其他样本计算余弦距离，得到余弦距离计算结果；

24、对地区历史数据进行统计学分析，得到统计学分析结果，并对比地区当天数据的各样本点，对地区当天数据中每个样本与地区历史数据中各样本，计算余弦距离，得到余弦距离计算结果；

25、基于动态时间规整算法，对地区当天数据和地区历史数据的走势进行时序相似度计算，得到时序相似度计算结果；

26、对当天数据进行统计学分析，计算最后一个样本与其他样本的统计学分析结果，对最后一个样本和其他样本计算余弦距离，得到余弦距离计算结果；

27、对历史数据进行统计学分析，得到统计学分析结果，并对比当天数据的各样本点，对当天数据中每个样本与历史数据中各样本的计算余弦距离，得到余弦距离计算结果；

28、基于动态时间规整算法，对当天数据和历史数据的走势进行时许相似度计算，得到时序相似度计算结果。

29、进一步的，所述进行统计学分析包括，令目标样本构成一个正态分布，并求出该正态分布均值和标准差，计算目标样本取值与该均值的距离，获取目标样本取值与该正态分布均值的距离大于等于预设倍数的标准差的维度，作为异常点。

30、进一步的，所述计算余弦距离，包括：

31、余弦距离计算公式为：

32、

33、其中，向量a＝[a1,a2,a3,…,an]，向量b＝[b1,b2,b3,…,bn]，向量a和b分别为进行余弦距离计算的两个样本，向量中的元素为样本的各项指标值，cosinedistance为余弦距离计算结果，a为当天数据组成的样本，b为历史数据组成的样本，n为自然数。

34、进一步的，所述时序相似度计算，包括：

35、将待进行时序相似度计算的当天数据和历史数据分别转换成序列，记做序列a和b；

36、初始化二维dp数组，dp[i][j]用于表示a[0:i+1]和b[0:j+1]的距离，将dp数组所有元素初始化为0；

37、依据dp数组语义初始化边界情况：dp[0...i][0]和dp[0][0...j]

38、按照如下状态转移方程更新每个dp数组的值，cosdistance即为余弦距离计算函数：

39、dp[i][j]＝cosdistance(a[i]-b[j])+math.min(dp[i-1][j-1],dp[i-1][j],dp[i][j-1])

40、得到dp[-1][-1]，所述dp[-1][-1]为dp数组最后一个元素，该元素即为序列a与序列b的时序相似度计算结果。

41、进一步的，所述根据得到的统计学分析结果、余弦距离计算结果以及时序相似度计算结果，进行加权求和计算，生成置信度计算结果，包括：

42、采用如下公式计算置信度，

43、置信度＝(1+b3)(a1+singlepoint*a2+singlepoint*b1+singlepoint*b2)；

44、其中，singlepoint为自定义的单个异常点的分值，a1为地区当天数据统计学分析结果，a2为地区历史数据余弦距离计算结果，b1为当天统计学分析结果，b2为历史数据余弦距离计算结果，b3为经过走势相似度分析得到的时序相似度计算结果。

45、根据本公开第二方面，一种基于置信度的报警装置，包括：

46、获取模块，用于获取报警元数据，根据所述报警元数据分别从线上数据源和线下数据源拉取数据；

47、匹配模块，用于以所述线上数据源或所述线下数据源的指标值为基准，查找匹配的字符串作为匹配后的结果；

48、计算模块，用于对所述匹配后的结果进行数据样本的正态分布计算，得到统计学分析结果，对所述数据样本之间的向量余弦距离计算余弦距离计算结果，以及将待进行时序相似度计算的当天数据和历史数据分别转换成序列，得到时序相似度计算结果；

49、置信度模块，用于对所述统计学分析结果、余弦距离计算结果以及时序相似度计算结果进行加权求和计算，生成置信度计算结果。

50、进一步的，所述装置还包括：

51、聚集性分析模块，用于对匹配后的结果进行元数据聚集性分析，生成聚集性分析结果。

52、根据本公开第三方面，一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，

53、所述处理器执行所述程序时实现本公开第一方面任一项所述方法的步骤。

54、根据本公开第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有程序，所述程序被执行时，能够实现如本公开第一方面任一项所述的方法。

55、本公开的有益效果：采用线上数据源和线下数据源进行计算的方式，大大提高了发现平台问题的能力，而且能够快速扩展到多方数据，减少了报警排查的工作量，减少人工参与，节约人力成本。采用计算置信度的方式，对单一报警的可信度进行衡量，即报警为线上问题的置信度，能够及时发现报警的真实原因，避免报警不准确的情形发生。本公开技术方案能够针对地区历史数据以及历史数据进行计算排查，可以在不同业务环境下自适应监控，能够依照历史数据自动判断运转情况，及时发现异常。自适应不同环境，具有良好的可解释性，以便后续对方案的维护、修正。

56、在另一层面上，本公开提出了一套完整的置信度计算流程，并结合基于阈值的报警方法，设计了一套全新的框架。该框架同时接入了线上数据与线下数据，并支持水平快速扩展至多方数据。多方数据相互佐证，提高可靠性。通过分析多方数据之间的统计学分布信息以及时序数据相似程度，自适应地判断当前时刻是否处于异常状态。该方案无需离线学习，实现了在线实时计算。结合多方数据计算报警置信度，避免了单一数据的局限性；将计算流程应用于化服务质量监控；基于编辑距离的化场景下的字符串数据对齐方案；采用本方案所设计的架构，很好地解决了上述报警方案中所面临的所有核心问题，并具备了良好的通用性，可以快速复用到其他领域。