一种基于动态基线的主机监控报警系统及方法与流程

本发明涉及信息技术领域，具体涉及一种基于动态基线的主机监控报警系统及方法。

背景技术：

随着大数据、云计算等技术的发展，我国信息化水平越来越高。随着信息化水平的提高，机房中的服务器、存储设备等硬件数量也日益增长，如何使设备平稳运行，降低故障发生频率，使主机能够高效快捷的为企业及政府单位服务成了一个亟需解决的问题。

现在技术有大多采用静态基线的方式来做设备运行状态的报警阈值。大多数情况下基线是通过分析设备的运行情况而统计出的固定参考值，理论上这个值是无法改变的，只能通过人为的去调整它。

因为基线是静态不变的，但是实际工作中的计算机使用情况大多数是与人的活动情况挂钩的，比如上午刚开工时，计算机资源的使用率可能是个不断攀升的曲线；中午午休时，计算机可能会部分资源处于闲置的状态。那么如果使用传统的方式固定阈值的基线来进行告警管理是明显不合适的；现有技术的告警阈值需手工设置，缺乏智能化变更；监控对象流量特征各不相同，阈值设置难度大；监控对象众多，维护人员工作量大。

技术实现要素：

本发明是为解决现有技术中的问题而提出的，其目的在于，提供一种基于动态基线的主机监控报警系统及方法，解决了传统基线值固定不变的问题，同时为了降低误报的情况发生，在报警判断时增加了二次判断的机制。

一种基于动态基线的主机监控报警系统，包括：基线生成模块和报警模块，

所述基线生成模块包括数据预处理单元和通过数据预处理单元生成动态基线模型，以及通过数据预处理单元与动态基线模型对比生成二次判断模型；

所述报警模块包括第一判断单元和第二判断单元，所述第一判断单元将待检测数据输入到动态基线模型中，若待检测数据位于第一超出范围或第二超出范围，则认为该数据非法，并输出报警信息，否则进入第二判断单元，所述第二判断单元根据待检测数据连续超过上基线或下基线的次数，若当前次数连续超过上基线或下基线的次数的最大值，则更新二次判断模型并输出报警信息，否则只更新二次判断模型。

优选的是，所述第一判断单元还包括根据动态基线模型的正常范围，判断待检测数据是否合法，合法则把当前数据输入到二次判断模型并更新该模型。

优选的是，所述数据预处理单元为按照时间先后顺序，根据采集频率和数据周期进行分组。

优选的是，所述动态基线模型包括将分组后的每一组数据聚为三类，提取每一组聚类后的中心值，并把每一组的中心值由小到大排序，取每一组的中心值的最大值和最小值分别作为上基线和下基线，取每一组数据的最大值和最小值分别作为上容忍线和下容忍线，获得动态基线模型。

优选的是，所述二次判断模型将分组后的每一个数据分别与上基线、下基线、上容忍线和下容忍线进行比较，若位于第一容忍范围或第二容忍范围则记为1，否则记为0；统计每一组数据连续位于第一容忍范围或第二容忍范围的次数，同时保存每一组的最后一个数据是否连续超过上基线、下基线的情况，生成二次判断模型。

优选的是，所述正常范围是指位于上基线和下基线之间的数据；所述第一超出范围为大于上容忍线，所述第二超出范围为小于下容忍线。

优选的是，所述基线生成模块还包括数据清洗单元，所述数据清洗单元设有删除空数据及无效数据项、异常数据处理项和去重处理项。

优选的是，所述第一容忍范围为大于上基线但不大于上容忍线，所述第二容忍范围为小于下基线但不小于下容忍线。

一种基于动态基线的主机监控报警方法，包括以下步骤：

第一步，清洗设备中的历史数据；

第二步，预处理清洗后的数据，按照时间先后顺序，根据采集频率及数据周期进行分组；

第三步，生成动态基线模型，根据分组将每一组数据聚为三类，提取每一组聚类后的中心值，并把每一组的中心值由小到大排序，取每一组的中心值的最大值和最小值分别作为上基线和下基线，取每一组数据的最大值和最小值分别作为上容忍线和下容忍线，得到动态基线模型；

第四步，生成二次判断模型，将分组后的每一个数据分别与上基线、下基线、上容忍线和下容忍线进行比较，若位于第一容忍范围或第二容忍范围则记为1，否则记为0；统计每一组数据连续位于第一容忍范围或第二容忍范围的次数，同时保存每一组的最后一个数据是否连续超过上基线、下基线的情况，生成二次判断模型；

第五步，待检测数据报警，将待检测数据输入到动态基线模型中，根据动态基线模型的正常范围，判断待检测数据是否合法，合法则把当前数据输入到二次判断模型并更新该模型，若待检测数据位于第一超出范围或第二超出范围，则认为该数据非法，并输出报警信息，否则进入第二判断单元，所述第二判断单元根据待检测数据连续超过上基线或下基线的次数，若当前次数连续超过上基线或下基线的次数的最大值，则更新二次判断模型并输出报警信息，否则只更新二次判断模型。

本发明的一种基于动态基线的主机监控报警系统及方法，通过建立动态基线模型、二次判断模型以及输出报警信息，解决了传统基线值固定不变的问题，可以更好的适应实际应用，同时可以减少工作人员的维护压力，降低了误报的情况发生。

附图说明

图1为基于动态基线的主机监控报警系统流程图。

图2为基于动态基线的主机监控报警方法流程图。

图3为动态基线模型图。

具体实施方式

以下将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

kmeans聚类算法：是指输入聚类个数k，以及包含n个数据对象的数据库，输出满足方差最小标准k个聚类的一种算法。k-means算法接受输入量k；然后将n个数据对象划分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小；聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”(引力中心)来进行计算的。

本发明的实施方式，参见图1，一种基于动态基线的主机监控报警系统，包括：基线生成模块和报警模块，

所述基线生成模块包括数据预处理单元和通过数据预处理单元生成动态基线模型，以及通过数据预处理单元与动态基线模型对比生成二次判断模型；

所述报警模块包括第一判断单元和第二判断单元，所述第一判断单元根据动态基线模型的正常范围，正常范围是指位于上基线和下基线之间的数据，判断待检测数据是否合法，合法则把当前数据输入到二次判断模型并更新该模型，若待检测数据位于第一超出范围或第二超出范围，所述第一超出范围为大于上容忍线，所述第二超出范围为小于下容忍线，则认为该数据非法，并输出报警信息，否则进入第二判断单元，所述第二判断单元根据待检测数据连续超过上基线或下基线的次数，若当前次数连续超过上基线或下基线的次数的最大值，则更新二次判断模型并输出报警信息，否则只更新二次判断模型。

所述数据预处理单元为按照时间先后顺序，根据采集频率和数据周期进行分组。

所述动态基线模型包括将分组后的每一组数据聚为三类，提取每一组聚类后的中心值，并把每一组的中心值由小到大排序，取每一组的中心值的最大值和最小值分别作为上基线和下基线，取每一组数据的最大值和最小值分别作为上容忍线和下容忍线，获得动态基线模型。

所述二次判断模型将分组后的每一个数据分别与上基线、下基线、上容忍线和下容忍线进行比较，若位于第一容忍范围或第二容忍范围则记为1，否则记为0；统计每一组数据连续位于第一容忍范围或第二容忍范围的次数，同时保存每一组的最后一个数据是否连续超过上基线、下基线的情况，生成二次判断模型，所述第一容忍范围为大于上基线但不大于上容忍线，所述第二容忍范围为小于下基线但不小于下容忍线。

所述基线生成模块还包括数据清洗单元，所述数据清洗单元设有删除空数据及无效数据项、异常数据处理项和去重处理项。

本发明的使用方法，参见图2和图3，一种基于动态基线的主机监控报警方法，主要包括动态基线模型的创建和报警：

(1)动态基线模型生成：

步骤一：数据清洗单元，对设备的历史数据进行清洗处理：删除空数据及无效数据；异常数据处理；去重处理。

步骤二：数据预处理单元，将时间格式化、按照时间先后顺序排序，根据采集频率及数据周期进行分组操作。

步骤三：使用步骤二按照数据采集频率分组处理之后的数据生成动态基线模型：

a.使用kmeans聚类算法把每一组数据聚为三类；

b.提取a中每一组聚类后的中心值，则第n组的中心值记为centersn；

c.对b中每一组的中心值分别从小到大排序,假设排序后第n组的中心值

centersn为[c1，c2，c3]，c1＜c2＜c3；

d.分别取c中每组中心值得最大值与最小值组成上基线及下基线，

假设cn3表示第n组的最大值，cn1表示第n组的最小值，

则组成的基线如下：

e.分别取每一组数据的最大值及最小值，记为上容忍基线与下容忍基线(第n组最大最小值分别记为maxn，minn)，最终生成的基线模型如下:

步骤四：生成二次判断模型，具体算法如下：

a.分别使用步骤二中分组之后的每一个数据与步骤三中生成的基线做比较，如果超过上基线但不大于上容忍线或者低于下基线但不小于下容忍线则记为+1，否则变为0；

b.分别统计每一组中连续超过上基线但不大于上容忍线或者低于下基线但不小于下容忍线的最大或最小次数，同时保存每组最后一个数据是否连续超过上基线或下基线的情况，最终生成的模型如下：

步骤五：保存模型。

(2)数据报警流程：

步骤一：加载(1)中训练好的动态基线模型。

步骤二：把需要检测的数据先放到动态基线模型中进行判断，如果数据为在上基线与下基线之间则认为数据合法，则执行步骤四；如果数据超过上容忍线或者低于下容忍线则认为数据非法执行步骤五；否则执行步骤三。

步骤三：使用(1)中二次判断模型进行判断，当前数据结合其前一个数据是否超过上下基线情况，计算出当前数据是否连续超过上基线或者低于下基线的次数，如果当前次数超过上下基线连续次数的最大值则执行步骤四与步骤五，否则执行步骤四。

步骤四：把当前数据放到(1)的模型中对模型进行更新。

步骤五：输出报警信息。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。