一种业务监控系统的阀值设置、异常检测系统及方法与流程

文档序号:16060986发布日期:2018-11-24 12:10阅读:1364来源:国知局

本发明涉及互联网业务系统监控领域,具体涉及一种业务监控系统的阀值设置、异常检测系统及方法。

背景技术

当前,传统业务从线下逐步转移到互联网线上,对于业务系统的运维监控提出了非常高的要求,一方面是给业务系统运维的时间窗口越来越小,甚至是“无感知运维”,另一方面,关键重要业务将对重大故障“零容忍”。

现有的业务监控阀值的配置基本靠工程师经验设置固定阀值,或者一些简单的历史正常数据均值作为阀值设置基准,这种阀值设置方法不仅严重依赖运维工程师的经验,而且还无法解决业务系统指标周期性波动阀值设置无效、恒定阀值无法有效告警、告警误报漏报等问题。

另外现有的业务监控系统大部分都是没有指标历史数据采集模块,只通过设置固定的阀值或阀值区间来作为业务指标的监控,日常运维的业务数据往往会出现一些环比前一天或历史数据均值的明显异常、持续偏离和随时间周期漂移的指标数据等问题,通过现有的固定阀值或固定阀值区间会让业务监控系统不能准确的发现和捕获业务系统问题,阀值或阀值区间设置小了,业务高峰期会产生大量误报事件和误报告警,阀值或阀值区间设置大了,业务系统会漏掉很多异常指标和告警;少部分监控产品会采集被监控对象的历史数据,通过数据计算取正常历史数据的平均值,然后乘以波动系数等一系列通用的数据计算方法设置业务监控的阀值,其设置方法太过笼统,仍存在较大缺陷。



技术实现要素:

针对上述现有技术中的不足与缺陷,本申请提供一种智能的业务监控系统的阀值设置、异常检测系统,同时也提供了一种基于业务监控系统的阀值设置、异常检测系统的阀值设置、异常检测方法,其阀值设置灵活、精准,带有阀值异常检测及报警功能,其技术方案如下;

一种业务监控系统的阀值设置、异常检测系统,包括:

指标数据模块,用于获取被监控指标项的指标数据;

阀值模型设置模块,用于根据指标数据模块获取的指标项的指标数据,采用特定算法设置成相应的阀值模型;

实际指标数据采集模块,用于采集被监控指标项的实时指标数据,并将实时指标数据发送到异常检测模块;

异常检测模块,用于检测实时输入的指标数据,是否符合设置的阀值模型;

告警模块,用于当实时输入的指标数据不符合阀值模型时发出报警。

进一步地,所述指标数据模块包括历史指标数据模块和真实指标数据模块,其对应用于获取历史指标数据和真实指标数据。

一种业务监控系统的阀值设置、异常检测方法,包括:

s1、获取被监控指标项的指标数据;

s2、判断被监控指标项的指标数据是否保存有历史指标数据;

s3、在s1和s2的基础上,阀值模型设置模块对被监控的不同指标项设置成不同的阀值模型;

s4、实际指标数据采集模块采集实时指标数据,根据指标数据的类别进行分类并将实时指标数据发送到异常检测模块;

s5、异常检测模块接收不同类型的实时指标数据进行判断,若符合阀值模型直接结束当前指标项指标数据的检测,若不符合阀值模型,标记为数据异常,并发出报警。

进一步地,步骤s1中的指标数据包括历史指标数据和真实指标数据。

进一步地,所述步骤s3具体包括:

s30、若被监控的指标项的指标数据有历史指标数据,则进行步骤s31判断历史指标数据是否有周期性,否则进行步骤s33;

s31、若历史指标数据有周期性,进行步骤s310,否则进行步骤s32;

s310、若历史指标数据周期性为普通周期性,则阀值模型设置模块设置该指标项阀值模型为周期性动态阀值,并采用动态的时间窗口阀值设定法检测该指标项指标数据的异常;若历史指标数据周期性不是普通周期性,则阀值模型设置模块设置该指标项阀值模型为指数平滑,并增加季节性和趋势线周期检测进行周期性判断,采用三次指数平滑法结合历史指标数据设置动态指数平滑阀值;

s32、若历史指标数据不具有周期性,则采用恒定阀值设置法进行阀值设定;

s33、阀值模型设置模块设置该指标项阀值模型为局部平滑,异常检测模块通过接受来自实际指标数据采集模块采集的实时指标数据并与局部平滑后数据进行对比,若有较大差距,标记为数据异常并发出报警;若正常直接结束当前指标项指标数据的检测。

进一步地,所述恒定阀值设置法具体为基于历史指标数据均值统计和设定上下阈值区间、近似正态分布。

依据上述技术方案,本发明通过设置指标数据模块,可依据指标项情况获取被监控指标项的历史指标数据或真实指标数据,并根据历史指标数据是否有周期性及周期性类型,采用动态的时间窗口阀值设定法、三次指数平滑法、恒定阀值设置法等进行阀值设定,同时对阀值可进行异常检测、报警,相比于靠工程师经验设置固定阀值,或者一些简单的正常历史指标数据均值作为阀值设置基准,其阀值设置灵活、精准。

附图说明

下面通过具体实施方式结合附图对本发明作进一步详细说明。

图1为本发明的结构框图;

图2为本发明的方法流程图。

其中,1、指标数据模块;10、历史指标数据模块;11、真实指标数据模块;2、阀值模型设置模块;3、实际指标数据采集模块;4、异常检测模块;5、告警模块。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

如图1所示,一种业务监控系统的阀值设置、异常检测系统,包括:

指标数据模块1,用于获取被监控指标项的指标数据;

阀值模型设置模块2,用于根据指标数据模块1获取的指标项的指标数据,采用特定算法设置成相应的阀值模型;

实际指标数据采集模块3,用于采集被监控指标项的实时指标数据,并将实时指标数据发送到异常检测模块4;

异常检测模块4,用于检测实时输入的指标数据,是否符合设置的阀值模型;

告警模块5,用于当实时输入的指标数据不符合阀值模型时发出报警。

进一步地,所述指标数据模块1包括历史指标数据模块10和真实指标数据模块11,其对应用于获取历史指标数据和真实指标数据。

如图2所示,一种业务监控系统的阀值设置、异常检测方法,包括:

s1、获取被监控指标项的指标数据;

s2、判断被监控指标项的指标数据是否保存有历史指标数据;

s3、在s1和s2的基础上,阀值模型设置模块2对被监控的不同指标项设置成不同的阀值模型;

s4、实际指标数据采集模块3采集实时指标数据,根据指标数据的类别进行分类并将实时指标数据发送到异常检测模块4;

s5、异常检测模块4接收不同类型的实时指标数据进行判断,若符合阀值模型直接结束当前指标项指标数据的检测,若不符合阀值模型,标记为数据异常,并发出报警。

进一步地,步骤s1中的指标数据包括历史指标数据和真实指标数据。

进一步地,所述步骤s3具体包括:

s30、若被监控的指标项的指标数据有历史指标数据,则进行步骤s31判断历史指标数据是否有周期性,否则进行步骤s33;

s31、若历史指标数据有周期性,进行步骤s310,否则进行步骤s32;

s310、若历史指标数据周期性为普通周期性,则阀值模型设置模块2设置该指标项阀值模型为周期性动态阀值,并采用动态的时间窗口阀值设定法检测该指标项指标数据的异常;若历史指标数据周期性不是普通周期性,则阀值模型设置模块2设置该指标项阀值模型为指数平滑,并增加季节性和趋势线周期检测进行周期性判断,采用三次指数平滑法结合历史指标数据设置动态指数平滑阀值;

s32、若历史指标数据不具有周期性,则采用恒定阀值设置法进行阀值设定;

s33、阀值模型设置模块2设置该指标项阀值模型为局部平滑,异常检测模块4通过接受来自实际指标数据采集模块3采集的实时指标数据并与局部平滑后数据进行对比,若有较大差距,标记为数据异常并发出报警;若正常直接结束当前指标项指标数据的检测。

进一步地,所述恒定阀值设置法具体为基于历史指标数据均值统计和设定上下阈值区间、近似正态分布。

其中步骤s310的具体内容为:

如果历史指标数据周期性是普通周期性,例如每天的指标数据波动近似,设置阀值模型为周期性动态阀值,周期性动态阀值设置采用动态的时间窗口阀值设定法来处理周期性数据的异常判断,如果不是普通周期性,周期性判断中会增加季节性和趋势线周期检测,例如分工作日、周末、传统假期、双11等时间出现的不同数据特征,设置阀值模型为指数平滑,通过对历史指标数据进行分析,采用三次指数平滑法来设置动态指数平滑阀值。

以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1