告警阈值的确定方法、装置、设备及计算机存储介质与流程

1.本技术属于互联网技术领域，尤其涉及一种告警阈值的确定方法、装置、设备及计算机存储介质。


背景技术：

2.目前，随着互联网技术的发展，互联网业务急剧增多，电子设备资产越来越庞大，在数据中心进行运维时，为了获得准确的数据，往往需要分别对不同的数据指标进行阈值的设置，实现自动化预警的目的。
3.现有的极限阈值的设置方法是由运维人员基于技术和经验进行设置的，耗费人力资源的同时，效率较低且准确率较低。


技术实现要素：

4.本技术实施例提供一种告警阈值的确定方法、装置、设备及计算机存储介质，能够对数据进行分类后分别计算得到各类指标的基限值，提高了指标设置的效率和准确率。
5.第一方面，本技术实施例提供一种告警阈值的确定方法，方法包括：获取数据中心的时序指标数据；根据分类模型确定时序指标数据中的周期性指标数据，分类模型由历史指标数据训练得到；计算周期性指标数据的t分布的置信区间，置信区间用于表征周期性指标数据分布概率满足预设阈值的范围；根据置信区间确定周期性指标数据的告警阈值，告警阈值包括上限阈值和下限阈值。
6.第二方面，本技术实施例提供了一种告警阈值的确定装置，装置包括：获取模块，用于获取数据中心的时序指标数据；确定模块，用于根据分类模型确定时序指标数据中的周期性指标数据，分类模型由历史指标数据训练得到；计算模块，用于计算周期性指标数据的t分布的置信区间，置信区间用于表征周期性指标数据分布概率满足预设阈值的范围；确定模块，还用于根据置信区间确定周期性指标数据的告警阈值，告警阈值包括上限阈值和下限阈值。
7.第三方面，本技术实施例提供了一种告警阈值的确定设备，设备包括：处理器，以及存储有计算机程序指令的存储器；处理器读取并执行计算机程序指令，以实现第一方面的告警阈值的确定方法。
8.第四方面，本技术实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面的告警阈值的确定方法。
9.第五方面，本技术实施例提供了一种计算机程序产品，计算机程序产品中的指令
由电子设备的处理器执行时，使得电子设备执行第一方面的告警阈值的确定方法。
10.本技术实施例的告警阈值的确定方法、装置、设备及计算机存储介质，能够利用训练好的分类模型确定时序指标数据中的周期性指标数据，并进一步计算周期性指标数据的置信区间，确定数据的告警阈值，提高了告警阈值的设置效率。
附图说明
11.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
12.图1是本技术实施例提供的一种告警阈值的确定方法的流程示意图；图2是本技术实施例提供的另一种告警阈值的确定方法的流程示意图；图3是本技术实施例提供的又一种告警阈值的确定方法的流程示意图；图4是本技术实施例提供的一种对时序指标数据进行阈值计算的算法流程图；图5是本技术实施例提供的一种告警阈值的确定装置的结构示意图；图6是本技术实施例提供的一种告警阈值的确定设备的结构示意图。
具体实施方式
13.下面将详细描述本技术的各个方面的特征和示例性实施例，为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本技术进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本技术，而不是限定本技术。对于本领域技术人员来说，本技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本技术的示例来提供对本技术更好的理解。
14.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
15.随着互联网技术的急速发展，电子设备资产日益增加，在数据中心的运维领域，通过人为设定资产告警阈值的方法会耗费大量人力，且难以对指标数据在不同时段进行动态配置，同时也对运维人员提出了一定的技术要求。
16.为了解决现有技术问题，本技术实施例提供了一种告警阈值的确定方法、装置、设备及计算机存储介质。下面首先对本技术实施例所提供的告警阈值的确定方法进行介绍。
17.图1示出了本技术一个实施例提供的告警阈值的确定方法的流程示意图。如图1所示，该方法可以包括以下步骤：s110、获取数据中心的时序指标数据。
18.获取预设时间段内数据中心的时序指标数据。其中，时序指标数据包括中央处理器（central processing unit，cpu）空闲率、内存使用率、网络带宽等等；预设时间段可以
设置，对此不作限定。
19.s120、根据分类模型确定时序指标数据中的周期性指标数据，分类模型由历史指标数据训练得到。
20.根据分类模型确定在预设时间段内呈周期性分布，且数据误差小于预设误差值时，确定该指标数据为周期性指标数据。其中，利用历史时序指标数据训练卷积神经网络（convolutional neural networks，cnn）得到分类模型。具体地，获取数据中心的历史时序指标数据，历史时序指标数据包括周期性指标数据和非周期性指标数据。将历史时序指标数据随机划分为训练样本和测试样本，利用训练样本训练神经网络得到初始模型，利用测试样本对初始模型进行验证，得到分类模型。
21.在一种示例中，当预设时间段为当前时间的近一周时间时，分类模型基于当前时刻数据，前一天中同一时刻的前后5分钟内的数据和上周同一时刻的前后5分钟内的数据进行计算， 当前一天中同一时刻的前后5分钟内的数据的均值和上周同一时刻的前后5分钟内的数据的均值均小于预设误差率时，确定该指标数据为周期性指标数据，周期为一天。其中，误差率设置为5%，可以根据需求进行修改，对此不作限定。
22.s130、计算周期性指标数据的t分布的置信区间，置信区间用于表征周期性指标数据分布概率满足预设阈值的范围。
23.计算目标时间段内周期性指标数据的标准差，基于计算的标准差计算目标时间段内数据的t分布的置信区间h。其中，置信区间表征周期性指标数据分布概率满足预设阈值的范围。具体地，可以根据置信区间确定周期性指标的告警阈值。
24.在一些实施例中，置信区间可以用于表示周期性指标数据的波动范围，即阈值范围，例如，通过计算得到的当前时间点的指标数据为4，计算得到的置信区间为3，则当前时间点的实际指标数据的阈值下限为1，上限为7，即阈值范围为（1，7）。
25.s140、根据置信区间确定周期性指标数据的告警阈值，周期性指标数据的告警阈值包括上限阈值和下限阈值。
26.基于当前时刻近第一预设时间段内的数据，通过加权移动平均算法计算当前时刻的指标数据x，利用置信区间h和指标数据x确定告警阈值的上限阈值为x-h，下限阈值为x+h。
27.在一些实施例中，基于预设权重和预设的移动跨期对周期性指标数据进行移动加权，得到当前时间点的预测的指标数据。例如，预设的移动跨期为3，预设的权重分别为0.5、0.3和0.2，当前时间点的前三个时间点的数据分别为2，3，4，则通过加权移动平均算法得到当前时间点的预测的指标数据x=(2
×
0.5+3
×
0.3+4
×
0.2)/(0.5+0.3+0.2)=2.7。其中，预设权重可以设置，预设的移动跨期可以根据经验设置，对此不作限定。
28.本技术实施例提供的告警阈值的确定方法，能够利用训练好的分类模型确定时序指标数据中的周期性指标数据，并进一步计算周期性指标数据的置信区间，确定数据的告警阈值，提高了告警阈值的设置效率。
29.在一些实施例中，如图2所示，根据分类模型确定时序指标数据中的周期性指标数据之前，方法还包括：步骤s150、计算时序指标数据的标准分数，标准分数用于表征时序指标数据的在预设取值范围内的分布位置；步骤s160、利用降维算法对时序指标数据的标准分数进行降维处理。计算时序指标数据标准分数z-score分数，确定时序指标数据的分布情
况，即时序指标数据相较于平均值的偏离水平。再利用分段聚合近似（piecewiseaggregateapproximation，paa）算法对时序指标数据的标准分数进行降维处理，具体地，将预设时间段内时序指标数据按照预设时间长度或按照预设时间段数量划分为多个子时间段，分别计算每个子时间段的均值作为该子时间段的值，降维处理后的数据量为划分的子时间段数量。例如，对于给定长度为m的时序指标数据的标准分数的序列为q=q1，q2，
…
，qm进行降维处理，预设时间段数量为w，则该降维过程为压缩比k=m/w的降维过程。得到降维后的数据序列为。其中，预设时间长度可以设置，对此不作限定。
30.在一些实施例中，计算时序指标数据的标准分数，包括：计算时序指标数据的一阶差分，得到目标结果；根据目标结果计算时序指标数据的标准分数。对时序指标数据进行一阶差分计算，得到目标结果，计算结果的平均值μ和标准差σ，并进一步计算标准分数z，计算公式如下：在一些实施例中，如图3所示，利用降维算法对时序指标数据的标准分数进行降维处理之前，方法还包括：步骤s170、利用线性拟合方式对时序指标数据中的缺失值进行处理。按照五分钟粒度对时序指标数据进行统计，对于数据缺失的时段，利用线性拟合的方式进行数据填补。其中，时间粒度可以修改，对此不作限定。
31.在一些实施例中，根据置信区间确定周期性指标数据的告警阈值，包括：获取目标时间段内的周期性指标数据；根据目标时间段内的周期性指标数据确定当前时间点的指标数据；根据置信区间和当前时间点的指标数据确定周期性指标数据的告警阈值。基于加权移动平均算法和目标时间段内的周期性指标数据计算得到当前时间点的指标数据，确定当前时间点的指标数据与置信区间h的和作为周期性指标数据的告警阈值上限，当前时间点的指标数据与置信区间h的差作为周期性指标数据的告警阈值下限。
32.在一种示例中，获取目标时间段内的周期性指标数据，目标时间段为前一天与当前时刻相同的时刻前后3小时、上周同一时刻前后3小时和当前时刻近1.5小时（不含当前点）。根据目标时间段内的数据利用加权移动平均算法计算当前时刻的数据值。计算上述时间段内数据的标准差，并进一步计算t分布的置信区间，基于该置信区间和当前时刻数据值确定周期性指标数据的告警阈值。
33.在一些实施例中，方法还包括：s180、根据分类模型确定时序指标数据中的平稳性指标数据，平稳性指标数据为满足预设阈值条件的数据；s190、确定平稳性指标中的最大值和最小值为平稳性指标数据的告警阈值。在进行模型训练时，非周期性指标数据包括平稳性指标数据。根据分类模型，确定前一天内75%的数据相同或前一天内指标数据的标准差除以指标数据的均值小于5%或计算时序指标数据的肯戴尔（kendall）秩相关系数时，显著程度大于0.05的指标数据为平稳指标数据。确定前一天与当前时刻相同的时刻前后3小时的数据的最大值和最小值为平稳性指标数据的告警阈值。
34.在一些实施例中，方法还包括：根据分类模型确定时序指标数据中的无规律指标数据，无规律指标数据为周期性指标数据和平稳性指标数据以外的数据；根据无规律指标数据计算无规律指标数据的变化率；根据无规律指标数据和无规律指标数据的变化率确定无规律指标数据的告警阈值。在进行模型训练时，非周期性指标数据还包括无规律指标数据。根据分类模型确定时序指标数据中除周期性指标数据和平稳性指标数据之外的数据为无规律指标数据。计算前一天中与当前时刻相同的时刻前后3小时内数据变化率的最大值β，根据β确定告警阈值上限阈值为1.25βz，下限阈值为0.75βz。其中，z为下一点的数据值。
35.在一些实施例中，对时序指标数据进行阈值计算的算法流程如图4所示，对获取的指标实时数据利用指标分类模型进行分类，得到指标实时数据分类结果。对指标实时数据所属类别进行判断，根据指标实时数据的类别，进行周期性指标数据的阈值计算或平稳性指标数据的阈值计算或无规律性指标数据的阈值计算。其中，指标分类模型是基于指标历史数据训练得到的。具体地，对获取的指标历史数据进行一阶差分计算，并对一阶差分计算的结果进行标准分数的计算。通过线性拟合的方式对缺失数据进行填补。利用paa算法对填补后的数据进行降维处理。降维处理后的数据划分为训练样本和测试样本，利用训练样本和测试样本训练神经网络得到指标分类模型。
36.本技术实施例提供的告警阈值的确定方法，利用训练好的分类模型划分时序指标数据中的周期性指标数据、平稳性指标数据和无规律指标数据，并基于不同的数据类型计算指标数据的告警阈值，在利用分类模型对数据进行分类前，通过计算标准分数，能够提升分类模型在不同指标上的适应能力，对指标数据的降维处理可以减少模型的计算量，提高了分类效率，基于本技术实施例提供的告警阈值的确定方法提高了告警阈值的设置效率及准确性。
37.图5是本技术实施例提供的一种告警阈值的确定装置500结构示意图。如图5所示，该装置可以包括获取模块510、确定模块520和计算模块530。
38.获取模块510，用于获取数据中心的时序指标数据，时序指标数据包括时序指标数据；确定模块520，用于根据分类模型确定时序指标数据中的周期性指标数据，分类模型由历史指标数据训练得到；计算模块530，用于计算周期性指标数据的t分布的置信区间，置信区间用于表征周期性指标数据分布概率满足预设阈值的范围；确定模块520，还用于根据置信区间确定周期性指标数据的告警阈值，周期性指标数据的告警阈值包括上限阈值和下限阈值。
39.本技术实施例提供的告警阈值的确定装置，能够利用训练好的分类模型确定时序指标数据中的周期性指标数据，并进一步计算周期性指标数据的置信区间，确定数据的告警阈值，提高了告警阈值的设置效率。
40.在一些实施例中，装置还包括：计算模块530，还用于计算时序指标数据的标准分数，标准分数用于表征时序指标数据的在预设取值范围内的分布位置；处理模块，用于利用降维算法对时序指标数据的标准分数进行降维处理。
41.在一些实施例中，计算模块530，用于计算时序指标数据的标准分数，包括：计算模块530，用于计算时序指标数据的一阶差分，得到目标结果；计算模块530，还用于根据目标
结果计算时序指标数据的标准分数。
42.在一些实施例中，装置还包括：处理模块，还用于利用线性拟合方式对时序指标数据中的缺失值进行处理。
43.在一些实施例中，确定模块520，用于根据置信区间确定周期性指标数据的告警阈值，包括：获取模块510，还用于获取目标时间段内的周期性指标数据；确定模块520，还用于根据目标时间段内的周期性指标数据确定当前时间点的指标数据；确定模块520，还用于根据置信区间和当前时间点的指标数据确定周期性指标数据的告警阈值。
44.在一些实施例中，装置还包括：确定模块520，还用于根据分类模型确定时序指标数据中的平稳性指标数据，平稳性指标数据为满足预设阈值条件的数据；确定模块520，还用于确定平稳性指标中的最大值和最小值为平稳性指标数据的告警阈值，平稳性指标数据的告警阈值包括上限阈值和下限阈值。
45.在一些实施例中，装置还包括：确定模块520，还用于根据分类模型确定时序指标数据中的无规律指标数据，无规律指标数据为周期性指标数据和平稳性指标数据以外的数据；计算模块530，还用于根据无规律指标数据计算无规律指标数据的变化率；确定模块520，还用于根据无规律指标数据和无规律指标数据的变化率确定无规律指标数据的告警阈值，无规律指标数据的告警阈值包括上限阈值和下限阈值。
46.本技术实施例提供的告警阈值的确定装置，能够利用训练好的分类模型划分时序指标数据中的周期性指标数据、平稳性指标数据和无规律指标数据，并基于不同的数据类型计算指标数据的告警阈值，在利用分类模型对数据进行分类前，通过计算标准分数，能够提升分类模型在不同指标上的适应能力，对指标数据的降维处理可以减少模型的计算量，提高了分类效率，基于本技术实施例提供的告警阈值的确定装置提高了告警阈值的设置效率及准确性。
47.图5所示装置中的各个模块/单元具有实现图1中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。
48.图6示出了本技术实施例提供的告警阈值的确定设备的硬件结构示意图。
49.告警阈值的确定设备可以包括处理器601以及存储有计算机程序指令的存储器602。
50.具体地，上述处理器601可以包括中央处理器（central processing unit，cpu），或者特定集成电路（application specific integrated circuit ，asic），或者可以被配置成实施本技术实施例的一个或多个集成电路。
51.存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器602可包括硬盘驱动器（hard disk drive，hdd）、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线（universal serial bus，usb）驱动器或者两个或更多个以上这些的组合。在一个实例中，存储器602可以包括可移除或不可移除(或固定)的介质，或者存储器602是非易失性固态存储器。存储器602可在综合网关容灾设备的内部或外部。
52.在一个实例中，存储器602可包括只读存储器（rom），随机存取存储器（ram），磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器602包括一个或多个编码有包括计算机可执行指令的软件的有形（非暂态）计算机可读存储介质（例如，存储器设备），并且当该软件被执行（例如，由一个或多个
处理器）时，其可操作来执行参考根据本技术的一方面的方法所描述的操作。
53.处理器601通过读取并执行存储器602中存储的计算机程序指令，以实现图1所示实施例中的方法/步骤s110至s140，并达到图1所示实例执行其方法/步骤达到的相应技术效果，为简洁描述在此不再赘述。
54.在一个示例中，告警阈值的确定设备还可包括通信接口603和总线610。其中，如图6所示，处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
55.通信接口603，主要用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。
56.总线610包括硬件、软件或两者，将告警阈值的确定设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口（accelerated graphics port，agp）或其他图形总线、增强工业标准架构（extended industry standard architecture，eisa）总线、前端总线（front side bus，fsb）、超传输（hyper transport，ht）互连、工业标准架构（industry standard architecture，isa）总线、无限带宽互连、低引脚数（lpc）总线、存储器总线、微信道架构（mca）总线、外围组件互连（pci）总线、pci-express（pci-x）总线、串行高级技术附件（sata）总线、视频电子标准协会局部（vlb）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线610可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
57.该告警阈值的确定设备可以基于分类模型和获取的时序指标数据执行本技术实施例中的告警阈值的确定方法，从而实现结合图1描述的告警阈值的确定方法。
58.另外，结合上述实施例中的告警阈值的确定方法，本技术实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种告警阈值的确定方法。
59.本技术实施例提供一种计算机程序产品，计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行上述实施例中的任意一种告警阈值的确定方法。
60.需要明确的是，本技术并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本技术的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本技术的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
61.以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（application specific integrated circuit，asic）、适当的固件、插件、功能卡等等。当以软件方式实现时，本技术的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom（erom）、软盘、cd-rom、光盘、硬盘、光纤介质、射频（radio frequency，rf）链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
62.还需要说明的是，本技术中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本技术不局限于上述步骤的顺序，也就是说，可以按照实施例中
提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
63.上面参考根据本技术的实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本技术的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
64.以上所述，仅为本技术的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。