一种智能运维异常检测模型的训练方法及系统与流程

1.本发明涉及机器学习技术领域，具体涉及一种智能运维异常检测模型的训练方法及系统。


背景技术：

2.在智能运维系统中，异常检测旨在通过算法发现关键性能指标(key performance indicator,kpi)时间序列数据中的异常波动，是后续告警、根因分析、自动处理的基础。实际场景中，异常类型多样、kpi类型多样，给异常检测带来了很大的挑战。根据异常点背离状况，有点异常、趋势异常、周期异常。单点数值跳跃，远大于前一时刻的值，称为点异常。一系列点数值变化，背离历史趋势(周期)，成为趋势异常(周期异常)。虽然异常类别多样，单点异常是其中最重要的一类。数值跳跃表现为数据点的陡升陡降，往往是瞬时变化，当前值远大于前一时刻的值，是一种常见的异常。常用的检测此类异常的方法有3σ、z-score、iforest、tukey箱型图等。
3.现有方法假定数据服从正态分布(如3σ、z-score)，但实际数据往往并非如此，要么来源于经验判断(如tukey箱型图、iforest)，缺乏可解释性。且此类检测往往是实时数据与历史数据的比较判断，缺乏对未来值的预测,存在不能有效检测异常的问题。


技术实现要素：

4.因此，本发明提供的一种智能运维异常检测模型的训练方法及系统，克服了现有技术中不能有效检测异常的缺陷。
5.为达到上述目的，本发明提供如下技术方案：
6.第一方面，本发明实施例提供一种智能运维异常检测模型的训练方法，包括：
7.收集kpi数据，将原始数据转换为预设间隔的时间序列；
8.基于霍克斯过程，利用kpi数据的时间序列，建立预测模型；
9.初始化预测模型条件强度函数的各项参数，通过预设算法求解模型的各项参数；
10.基于预设数据集、求解后模型的各项参数，计算损失函数，当损失函数小于预设数值时，完成智能运维异常检测模型的训练。
11.可选地，基于随机打乱的数据顺序，并根据检测窗口尺寸估算方法将数据分成多个数据集。
12.可选地，通过以下公式计算霍克斯过程的条件强度函数：
[0013][0014]
其中，λk(t)表示当前事件k的发生强度，μk≥0表示自激过程的基础强度，α
ik
≥0表示历史事件i对当前事件k的激励程度；δ为历史事件激励的时间衰减系数；t为当前事件k发生的时间；ti为历史事件i发生的时间。
[0015]
可选地，基于预设数据集、求解后模型的各项参数，计算损失函数包括：随机选择一个数据集，将该数据集带入目标函数的各项参数的梯度公式中，根据公式计算各项参数
的梯度，计算损失函数。
[0016]
可选地，通过以下公式计算损失函数：
[0017][0018]
式中，θ为各种参数的集合，t表示总时间。
[0019]
可选地，所述预设算法包括：最小窗口梯度下降算法。
[0020]
第二方面，本发明实施例提供一种智能运维异常检测模型的训练系统，包括：
[0021]
数据预处理模块，用于收集kpi数据，将原始数据转换为预设间隔的时间序列；
[0022]
预测模型建立模块，用于基于霍克斯过程，利用kpi数据的时间序列，建立预测模型；
[0023]
参数初始化模块，用于初始化预测模型条件强度函数的各项参数，通过预设算法求解模型的各项参数；
[0024]
迭代建模模块，用于基于预设数据集、求解后模型的各项参数，计算损失函数，当损失函数小于预设数值时，完成智能运维异常检测模型的训练。
[0025]
第三方面，本发明实施例提供一种终端，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明实施例第一方面所述的智能运维异常检测模型的训练方法。
[0026]
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明实施例第一方面所述的智能运维异常检测模型的训练方法。
[0027]
本发明技术方案，具有如下优点：
[0028]
本发明提供的智能运维异常检测模型的训练方法及系统，本发明利用霍克斯模型对每个kpi建模，通过对原始数据进行预处理、条件强度函数及其参数初始化、参数求解算法，检测窗口尺寸估算的方法，有效检测智能运维的异常。
附图说明
[0029]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]
图1为本发明实施例提供的一种智能运维异常检测模型的训练方法的一个具体示例的流程图；
[0031]
图2为本发明实施例提供的一种智能运维异常检测模型的训练系统的模块组成图；
[0032]
图3为本发明实施例提供的一种终端一个具体示例的组成图。
具体实施方式
[0033]
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0034]
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0035]
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0036]
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
[0037]
实施例1
[0038]
本发明实施例提供的一种智能运维异常检测模型的训练方法，是一种单值异常检测方法，如图1所示，包括如下步骤：
[0039]
步骤s1：收集kpi数据，将原始数据转换为预设间隔的时间序列。
[0040]
在本发明实施例中，收集kpi数据，将原始数据处理为预设间隔的时间序列，预设的间隔在此不作限制，根据实际情况进行响应的选取。
[0041]
步骤s2：基于霍克斯过程，利用kpi数据的时间序列，建立预测模型。
[0042]
在本发明实施例中，霍克斯过程是一种点过程，是一种特殊的线性自激模型，利用霍克斯过程过去的事件会影响未来事件发生的概率，过去事件的激励是正的、可加的并随时间衰减的，将霍克斯过程引入到单值异常检测中，通过以下公式计算霍克斯过程的条件强度函数：
[0043][0044]
其中，λk(t)表示当前事件k的发生强度，μk≥0表示自激过程的基础强度，α
ik
≥0表示历史事件i对当前事件k的激励程度；δ为历史事件激励的时间衰减系数；t为当前事件k发生的时间；ti为历史事件i发生的时间。
[0045]
步骤s3：初始化预测模型条件强度函数的各项参数，通过预设算法求解模型的各项参数。
[0046]
在本发明实施例中，预设算法包括：最小窗口梯度下降算法，仅以此举例，不以此为限，在实际应用中根据实际需求选择相应的预设算法。
[0047]
步骤s4：基于预设数据集、求解后模型的各项参数，计算损失函数，当损失函数小于预设数值时，完成智能运维异常检测模型的训练。
[0048]
在本发明实施例中，基于随机打乱的数据顺序，并根据检测窗口尺寸估算方法将
数据分成多个数据集。基于预设数据集、求解后模型的各项参数，计算损失函数，其中，随机从预设数据集中选择一个数据集，将该数据集带入目标函数的各项参数的梯度公式中，根据公式计算各项参数的梯度，计算损失函数。
[0049]
在本发明实施例中，通过以下公式计算损失函数：
[0050][0051]
式中，θ为各种参数的集合，t表示总时间。
[0052]
在本发明实施例中，当损失函数小于预设数值时，完成智能运维异常检测模型的训练。预设数值在此不作限制，根据实际情况进行响应的选取。还可以根据参数梯度和学习率更新参数，根据模型评估指标评估当前模型性能，如果模型性能不符合预期，选择新的数据集迭代训练模型，直到模型性能达到预期，预期标准在此不作限制，根据实际情况进行响应的选取。
[0053]
本发明实施例中提供的智能运维异常检测模型的训练方法，是一种单值异常检测方法，其中，首先，假定kpi时间序列数据符合霍克斯过程，通过对原始数据进行预处理、条件强度函数及其参数初始化、参数求解算法，检测窗口尺寸估算的方法，有效检测智能运维的异常。
[0054]
实施例2
[0055]
本发明实施例提供一种智能运维异常检测模型的训练系统，如图2所示，包括：
[0056]
数据预处理模块1，用于收集kpi数据，将原始数据转换为预设间隔的时间序列；此模块执行实施例1中的步骤s1所描述的方法，在此不再赘述。
[0057]
预测模型建立模块2，用于基于霍克斯过程，利用kpi数据的时间序列，建立预测模型；此模块执行实施例1中的步骤s2所描述的方法，在此不再赘述。
[0058]
参数初始化模块3，用于初始化预测模型条件强度函数的各项参数，通过预设算法求解模型的各项参数；此模块执行实施例1中的步骤s3所描述的方法，在此不再赘述。
[0059]
迭代建模模块4，用于基于预设数据集、求解后模型的各项参数，计算损失函数，当损失函数小于预设数值时，完成智能运维异常检测模型的训练；此模块执行实施例1中的步骤s4所描述的方法，在此不再赘述。
[0060]
本发明实施例提供一种智能运维异常检测模型的训练系统，通过数据预处理模块收集kpi数据，将原始数据转换为预设间隔的时间序列，基于霍克斯过程，通过预测模型建立模块利用kpi数据的时间序列，建立预测模型，通过参数初始化模块，将初始化预测模型条件强度函数的各项参数，通过预设算法求解模型的各项参数，基于预设数据集、求解后模型的各项参数，利用迭代建模模块计算损失函数，当损失函数小于预设数值时，完成智能运维异常检测模型的训练，有效检测智能运维的异常。
[0061]
实施例3
[0062]
本发明实施例提供一种终端，如图3所示，包括：至少一个处理器401，例如cpu(central processing unit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(display)、键盘(keyboard)，可选通信接口403还可以包括标准的有线接口、无
线接口。存储器404可以是高速ram存储器(randomaccess memory，易挥发性随机存取存储器)，也可以是非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1中的智能运维异常检测模型的训练方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行实施例1中的智能运维异常检测模型的训练方法。其中，通信总线402可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：ram)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：hdd)或固降硬盘(英文：solid-state drive，缩写：ssd)；存储器404还可以包括上述种类的存储器的组合。其中，处理器401可以是中央处理器(英文：central processing unit，缩写：cpu)，网络处理器(英文：network processor，缩写：np)或者cpu和np的组合。
[0063]
其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：ram)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flashmemory)，硬盘(英文：hard disk drive，缩写：hdd)或固态硬盘(英文：solid-state drive，缩写：ssd)；存储器404还可以包括上述种类的存储器的组合。
[0064]
其中，处理器401可以是中央处理器(英文：central processing unit，缩写：cpu)，网络处理器(英文：network processor，缩写：np)或者cpu和np的组合。
[0065]
其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：asic)，可编程逻辑器件(英文：programmable logic device，缩写：pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：cpld)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：fpga)，通用阵列逻辑(英文：generic array logic,缩写：gal)或其任意组合。
[0066]
可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本技术执行实施例1中的智能运维异常检测模型的训练方法。
[0067]
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行实施例1中的智能运维异常检测模型的训练方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flashmemory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
[0068]
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或
变动仍处于本发明创造的保护范围之中。