数据监控方法及装置的制作方法

文档序号:7886788阅读:160来源:国知局

专利名称::数据监控方法及装置的制作方法
技术领域
:本申请涉及网络
技术领域
,特别是涉及一种应用于电子商务中的数据监控方法及装置。
背景技术
:电子商务是指在全球各地广泛的商业贸易活动中,在因特网开放的网络环境下,基于浏览器/服务器应用方式,买卖双方不谋面地进行各种商贸活动,实现消费者的网上购物、商户之间的网上交易和在线电子支付以及各种商务活动、交易活动、金融活动和相关的综合服务活动的一种新型的商业运营模式。目前,电子商务的应用在世界范围内正以惊人的速度普及与发展。随着电子商务的普及与发展,人们对参与商业活动的人或者企业的交易数据越来越关注,真实可靠的交易数据可以帮助商业交易的双方互相了解,并有助于降低商业交易的风险。为此,对电子商务进行监控的监控系统应运而生。现有的电子商务监控系统在进行监控时,大多数利用阀值也就是固定值进行告警,比如CPU、Load等超过多少就告警,日志中异常数目超过多少个就告警等。但是,对于交易网站的PV(PageViews,页面浏览量)、UV(UniqueVisitor,访问某个站点或点击某条新闻的不同IP地址的人数)、交易笔数、金额等业务级别数据,其数据所绘线的走势是跟人的活动有关系的。无论使用全天的最大值或者最小值进行固定值告警,都是不适合的。例如,系统出故障时,数据会跌,但是不一定会跌出波谷或波峰值,此时告警会漏报,一分钟X万的损失,企业承受不起,用户流失是更可怕的;再如,晚间有人耍信誉或者爬数据,会造成数据线的走高,但是因为不超过波峰值,问题不会被发现,除非人工24小时盯屏,发现数据走势不正常,然后再手动触发告警。另外,固定值只适应某时间段的告警配置,特定时间比如I年后,业务变化,此时,该固定值可能不再具有意义,而需要重新进行修改等。可见,目前的电子商务监控系统监控方式单一,对于规律和/或突发事件的考虑都是不足的,不能在发生突发事件,或数据规律发生改变时进行有效地监控。因此,需要本领域技术人员迫切解决的一个技术问题就是:如何顺应电子商务发展,灵活地对电子商务系统的数据进行监控,即使在发生突发事件,或者数据规律发生改变时,也能对电子商务进行有效地监控。
发明内容本申请提供一种数据监控方法及装置,以解决电子商务系统的数据监控问题。为了解决上述问题,本申请公开了一种数据监控方法,包括:根据电子商务系统的待监控数据的类型,选择告警策略中的一个或多个,所述告警策略包括:固定值告警策略、基线告警策略、和波动告警策略,其中,所述固定值告警策略用于在所述待监控数据超过设定的阀值时进行告警,所述基线告警策略用于在所述待监控数据与设定的基线上的数据相比较,超过设定的范围时进行告警,所述波动告警策略用于在所述待监控数据与设定的数据相比较,超过设定的范围时进行告警;根据选择的所述告警策略,对所述待监控数据进行监控。优选地,在所述根据电子商务系统的待监控数据的类型,选择告警策略中的一个或多个的步骤之前,还包括:根据设定时间内的所述电子商务系统的往期数据生成基线;根据所述生成的基线,设置所述基线告警策略。优选地,所述根据设定时间内的所述电子商务系统的往期数据生成基线的步骤包括:获取设定时间内的所述往期数据;按照设定规则对获取的所述往期数据进行分组,计算每个组的组内平均值和组内标准差;使用所述每个组的所述组内平均值和所述组内标准差,按照设定规则对该组内的数据进行过滤,获得该组的组内保留数据;对所述每个组的所述组内保留数据求平均,获得该组的初始基线值;对所有的所述初始基线值进行平滑,根据平滑后的所述初始基线值生成所述基线。优选地,所述根据平滑后的所述初始基线值生成所述基线的步骤包括:将平滑后的所述初始基线值按照设定的基线增长率进行拉高,使用拉高后的所述初始基线值生成所述基线。优选地,在所述根据电子商务系统的待监控数据的类型,选择告警策略中的一个或多个的步骤之前,还包括:判断所述待监控数据发生数据波动幅度突变的可能性的大小,根据判断结果设置所述波动告警策略的参数,所述参数包括所述待监控数据超过所述设定的数据的范围,和所述待监控数据超过所述设定的数据的范围的次数。优选地,所述根据电子商务系统的待监控数据的类型,选择告警策略中的一个或多个的步骤包括:若所述待监控数据为业务级别数据,则选择所述基线告警策略和/或所述波动告警策略,并且,设定所述波动告警策略中的所述待监控数据超过所述设定的数据的范围的次数为单次;其中,所述业务数据包括网站PV、网站UV、交易笔数和交易金额;若所述待监控数据为系统级别数据,则选择所述固定值告警策略和/或所述波动告警策略,并且,设定所述固定值告警策略和/或所述波动告警策略中的所述待监控数据超过所述设定的数据的范围的次数为多次;其中,所述系统级别数据包括CPU数据、内存数据、负载数据和网络流量数据。为了解决上述问题,本申请还公开了一种数据监控装置,包括:选择模块,用于根据电子商务系统的待监控数据的类型,选择告警策略中的一个或多个,所述告警策略包括:固定值告警策略、基线告警策略、和波动告警策略,其中,所述固定值告警策略用于在所述待监控数据超过设定的阀值时进行告警,所述基线告警策略用于在所述待监控数据与设定的基线上的数据相比较,超过设定的范围时进行告警,所述波动告警策略用于在所述待监控数据与设定的数据相比较,超过设定的范围时进行告警;监控模块,用于根据选择的所述告警策略,对所述待监控数据进行监控。优选地,数据监控装置还包括:基线生成模块,用于在所述选择模块根据所述电子商务系统的待监控数据的类型,选择告警策略中的一个或多个之前,根据设定时间内的所述电子商务系统的往期数据生成基线;第一策略设置模块,用于根据所述生成的基线,设置所述基线告警策略。优选地,所述基线生成模块包括:获取模块,用于获取设定时间内的所述往期数据;计算模块,用于按照设定规则对获取的所述往期数据进行分组,计算每个组的组内平均值和组内标准差;过滤模块,用于使用所述每个组的所述组内平均值和所述组内标准差,按照设定规则对该组内的数据进行过滤,获得该组的组内保留数据;平均模块,用于对所述每个组的所述组内保留数据求平均,获得该组的初始基线值;平滑生成模块,用于对所有的所述初始基线值进行平滑,根据平滑后的所述初始基线值生成所述基线。优选地,所述平滑生成模块包括:平滑模块,用于对所有的所述初始基线值进行平滑;拉高模块,用于将平滑后的所述初始基线值按照设定的基线增长率进行拉高,使用拉高后的所述初始基线值生成所述基线。与现有技术相比,本申请具有以下优点:本申请通过为不同的电子商务系统的数据选择不同的告警策略,实现了根据电子商务系统的数据的特性,对电子商务系统的数据进行灵活地监控。例如,对于PV、UV、交易笔数、金额等业务级别数据,使用固定值告警无法进行有效监控,则可以采用其它告警策略进行监控,如基线告警策略或波动告警策略等;并且,在选择告警策略的基础上,对于如CPU、网络负载、网络流量等允许瞬间突变的数据,还可以先配置告警策略中的参数,如将参数配置为待监控数据超过告警标准一定次数后再告警等,然后使用配置后的告警策略。可见,通过本申请,有效避免了现有电子商务采用固定值告警方式单一,不能在发生突发事件,或数据规律发生改变时对数据进行有效监控的问题,达到了灵活地对电子商务系统的数据进行监控,即使在发生突发事件,或者数据规律发生改变时,也能对电子商务系统进行有效地监控的效果。图1是根据本申请实施例一的一种数据监控方法的步骤流程图;图2是根据本申请实施例二的一种数据监控方法的步骤流程图;图3是根据本申请实施例三的一种数据监控方法的步骤流程图;图4是图3所示实施例中的一种进行告警策略设置的示意图;图5是图3所示实施例中的一种针对节假日电子商务数据变化进行告警策略设置的不意图;图6是根据本申请实施例四的一种数据监控装置的结构框图。具体实施例方式为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。实施例一参照图1,其示出了根据本申请实施例一的一种数据监控方法的步骤流程图。本实施例的数据监控方法包括以下步骤:步骤S102:根据电子商务系统的待监控数据的类型,选择告警策略中的一个或多个。其中,告警策略包括:固定值告警策略、基线告警策略和波动告警策略。在上述告警策略中,固定值告警策略用于在待监控数据超过设定的阀值时进行告警;基线告警策略用于在待监控数据与设定的基线上的数据相比较,超过设定的范围时进行告警;波动告警策略用于在待监控数据与设定的数据相比较,超过设定的范围时进行告警。电子商务系统的数据类型可以遵循本领域的惯用定义,包括:业务级别数据(PV\uv\交易笔数\交易金额),系统级别数据(cpu\load(负载)\memory(内存)\traffic(网络流量)),基础服务级别(jboss-连接池_内存等指标\apache_吞吐量_相应时间等指标\tomcat-吞吐量_相应时间等指标\数据库-连接数_缓存命中率等指标),应用级别数据(异常数\接口调用次数\接口相应时间)等。当然,不限于此,本领域技术人员也可以根据实际情况,对电子商务系统的数据的类型进行自定义划分,如按照电子商务系统的数据的发展规律进行划分,或按照电子商务系统的数据的突发性(或称突变性)进行划分等,本申请对此不作限制。在选择告警策略时,可以对待监控数据选择一种或多种告警策略进行监控,如,在同一时间段选择多种告警策略,或者,在一个时间段选择一种告警策略,在另一时间段选择另一种告警策略中。在选择时,本领域技术人员可以根据实际情况灵活选择。步骤S104:根据选择的告警策略,对待监控数据进行监控。在选择好告警策略后,若待监控数据超过告警标准,则进行告警。也即,通过告警策略,实现了对电子商务系统的数据监控。通过本实施例,为不同的电子商务系统的数据选择不同的告警策略,实现了根据电子商务系统的数据的特性,对数据进行灵活地监控,有效避免了现有电子商务采用固定值告警方式单一,不能在发生突发事件,或数据规律发生改变时对电子商务系统的数据进行有效监控的问题,达到了灵活地对电子商务系统的数据进行监控,即使在发生突发事件,或者数据规律发生改变时,也能对电子商务进行有效地监控的效果。实施例二参照图2,其示出了根据本申请实施例二的一种数据监控方法的步骤流程图。本实施例的数据监控方法包括以下步骤:步骤S202:根据电子商务系统的目标数据,设置固定值告警策略。本步骤中,固定值告警策略可以采用现有的设置方式,包括设定最大阀值和最小阀值等。固定值告警策略通常适用于每天不同时间段超过阀值就能告警的监控指标,走势相对比较平缓跟用户关联不大的监控指标。比如:应用级别数据中的异常个数,基础服务级别数据中的数据库链接数\数据库缓存命中率,系统级别数据中的磁盘空间等数据的监控和告警。步骤S204:根据设定时间内的电子商务系统的往期数据生成基线,设置基线告警策略。基线是根据特定策略计算出来的一条基准线,将其与即时数据所绘线放在一起进行比较,可用于告警,趋势预测,异常情况即时分析等功能。目前,现有使用基线进行告警和即时问题判断的电子商务应用很少,而且这些少有的应用中,其基线准确率也是存在问题的。比如,基线的毛刺、基线的不平滑、基线的不准确、规律性(节假日)和非规律性事件(网络大范围中断、临时纪念日等)导致基线图产生参考问题。为将基线告警应用于电子商务,本实施例根据设定时间内的电子商务系统的往期数据生成基线。其基线算法的基本原理,就是对大量有一定规律的样本数据,使用标准差去掉偏离各时间点均值太大的毛刺数据,然后对均值使用前向、后向,循环每相邻Xi个点做yi次平均以达到平滑的效果。此时,数据点所绘线趋势和走势上基本跟未来数据相同,但因为N次平均线的高度被拉低了,还需要根据最近情况和历史情况算出一个增长率。根据增长率和平滑后的数据就可以绘制出未来特定时间段的基线。通过该种方式生成的基线,能够贴切地反映未来时间段的数据的可能变化情况,从而较好地对电子商务进行监控。常用的有最近3个月平均平滑基线、最近2个月平均平滑基线、最近I个月平均平滑基线。即,根据最近3个月的数据生成基线,根据最近2个月的数据生成基线,根据最近I个月的数据生成基线等。当然,如果数据足够多的话,也可以配置生产I年、半年的基线。除了上述基线生成方式,本领域技术人员在实际应用中,还可以采用其它适当的基线生成方式,如,求设定时间内的往期数据的平均值,然后根据该平均值过滤掉往期数据中不符合规定的数据,再根据过滤后的数据生成基线等,本申请对此不作限制。在基线生成后,可以设定当待监控数据超过基线一定范围(百分比或具体值等)时,即进行告警,形成基线告警策略。步骤S206:判断待监控数据发生数据波动幅度突变的可能性的大小,根据判断结果设置波动告警策略。设置波动告警策略包括设置波动告警策略的参数,其中,波动告警策略的参数包括待监控数据超过设定的数据的范围,和待监控数据超过设定的数据的范围的次数。波动是指本次值与设定次数的值相比较,得到的百分比偏离值。如,本次值与上次值的比较,所得百分比偏离值;或者,本次值与最近3次均值的比较,所得百分比偏离值等。现有的使用波动告警的监控系统中,没有考虑好数据瞬间态和数据绝对态的区另IJ。也即,某些数据的波动幅度会突然发生剧烈变化,而另一些数据则不会发生这样的变化。比如,在电子商务中,对于网站PV、UV、交易笔数、交易金额等业务级别数据,和CPU、Load(负载)、网络流量等允许瞬间态的系统级别数据是不同的。CPU、负载、网络流量等一次彪高,可能是某个应用启动X个线程在短暂时间内比如X秒内使用,此时不应该告警;而上述的业务数据,一次彪得很高或很低是立马需要告警的。因此,需要针对不同的数据,设置不同的波动告警策略。本实施例中,先判断待监控数据发生数据波动幅度突变的可能性的大小,即,先考虑数据瞬间态和数据绝对态,然后再根据判断结果设置波动告警策略。这种设置方式针对上述电子商务系统的数据的特性,设置不同的波动告警策略,即,对于交易型网站PV、UV、交易笔数、交易金额等业务级别数据的告警,使用本次值与上次值比较,一次超过阀值就告警;而对于CPU、Load、网络流量等允许瞬间态的数据,可以使用本次值与最近3次均值比较,一次超过就告警;或者本次值与上次值比较,连续多次,如2次探测出问题就告警。通过本实施例的波动告警策略设置方式,能够针对不同电子商务系统的数据的特性,使用不同的告警策略,避免了非适当报警,能够更为有效地对电子商务进行监控。实际上,包括固定值告警、波动告警、基线告警都能适用于电子商务系统中的所有级别的数据,并且都可以自由设定发生多少次告警。优选地,pV\uv\交易金额\交易笔数,这几个业务级别的指标建议配置成波动为主基线为辅且确认次数为一次,而其他级别的数据则可以根据使用场景和环境,自由配置告警策略及确认次数。需要说明的是,步骤S202、步骤S204、和步骤S206的执行可以不分先后顺序。步骤S208:根据待监控数据的类型,选择固定值告警策略、基线告警策略、和波动告警策略中的一个或多个告警策略。配置告警策略时,按需选择配置基线告警策略、波动告警策略、固定值告警策略。这3种告警策略按需,可同时选择一个或多个配置,比如不同时间段选择用不同的告警方法;同一时间段同时配置几个告警方法,各方法同时满足或一个满足就告警(即或条件和与条件关系)。例如,对于业务数据PV、UV、交易数据等的监控,使用传统的固定值告警,不能解决波谷和波峰之间出现的问题,此时可使用波动告警或基线告警。但是,对于数据的平滑下降或上升问题,波动告警是不能解决,此时可选择基线告警。通过选择不同的告警方式,可以解决漏报、少报等问题。通过研究发现,实际使用中,波动告警能解决绝大多数的告警。尤其在有7*24小时值班盯屏的情况下,在配置告警策略时,对于业务数据可以使用波动告警为主,基线告警为辅的方案。步骤S210:根据选择的告警策略,对待监控数据进行监控。通过本实施例,对不同类型电子商务系统数据的特性,以及,电子商务系统数据的规律和突发事件的可能性进行了充分地考虑,进而设置了不同的告警策略,使得在进行电子商务监控时,可以使用固定值(阀值)告警、基线告警、波动告警三种告警方案,根据不同场景适当选择不同的告警策略,灵活有效地实现电子商务监控。例如,针对业务数据变化或者恶意使用者晚间爬数据的场景,可以采用比固定值告警更为合适的基线或者波动告警,不同时间段配上不同的阀值,比如夜里因为数据较小,允许偏离基线大些或者允许波动幅度大些,然后触发告警。通过本实施例,为监控告警系统提供了更准确的告警策略,防止误报,漏报;提供了更精确的趋势预测,为提前的决策提供依据;协助即时判断数据的异常情况。实施例三参照图3,其示出了根据本申请实施例三的一种数据监控方法的步骤流程图。本实施例的数据监控方法包括以下步骤:步骤S302:设置固定值告警策略。即,设定一个阀值,电子商务系统的待监控数据与该设定的阀值比较,在超过该阀值时进行告警。阀值的类型可以是数值型也可以是字符串,比较条件包括“=”、“!=”、“““““含有”、“不含有”等。步骤S304:设置波动告警策略。S卩,获取设定时间点或时间段的电子商务系统的往期数据,使待监控数据与获取的往期数据进行比较,超过一定范围时进行告警。本实施例中,设置的波动告警策略包括:待监控数据与前一个点比较、与前3个点的平均比较、与昨天同时间的点比较、与上周同时间的点比较等。可配置往上或往下波动范围,波动范围可配置为百分比幅度或具体值。步骤S306:设置基线告警策略。在生成基线告警策略中的基线时,可以通过定时任务从配置库中读取基线生成配置,根据设定时间内的往期数据生成基线。本实施例中,基线告警策略中的基线包括:3个月平均平滑基线、2个月平均平滑基线、I个月平均平滑基线。可配置高于或低于基线多少范围时进行告警,配置的值可为百分比或具体值。以基于最近3个月平均平滑基线生成未来24小时基线为例,其生成流程包括:步骤S3062:从最近三个月原始数据中取出与计算时刻起24小时内,具有相同的工作日+小时+分钟组合的所有数据,并对其按工作日+小时+分钟分组,组内求平均u及标准差&,得到中间临时表tmptable。需要说明的是,对于求基线的数据,在目标库中的存储需要有时间字段。本实施例中的数据是按照3分钟一个点保存,也就是说每条数据的分钟数都会是3的倍数,一小时存20个点,24小时存480个点。另外,基线生成时间建议放在数据波谷阶段。这种情形下可知,经组内求平均u及标准差&,得到的中间临时表tmptable中共有480条记录。当然,在实际应用中,本领域技术人员可以根据实际情况,采用其它适当的分组方式对往期数据进行分组,然后再计算每个组的组内平均值和组内标准差。步骤S3064:取出最近3个月数据,根据中间临时表中的标准差&和平均值u过滤掉具有相同工作日+小时+分钟条件数据中的异常数据,保留的数据的值\必须满足(u-&)<Xi<(u+1.5*&)。对于保留下来的值再按照工作日+小时+分钟分组,组内求出平均值即为初始基线值,本实施例中此时为480个点。在实际应用中,本领域技术人员可以根据实际情况,采用其它适当的规则过滤数据,得到保留下来的数据,进而进行分组求平均得到初始基线值,本申请对此不作限制。步骤S3066:对初始基线值,从前往后及从后往前各平滑3次:第一次正向、反向所有相邻的2个原始值求平均赋给第一个值;第二次正向、反向所有相邻的3个原始值求平均赋给第一个值;第三次正向、反向所有相邻的4个原始值求平均赋给第一个值。通过本步骤,可以得到走势和趋势明显且非常平滑的基线,但是基线的高度被拉低。需要说明的是,本步骤中对初始基线值进行平滑的方式仅为示例性说明,本领域技术人员在实际应用中,也可以采用其它任意适当的平滑方式对初始基线值进行平滑,本申请对此不作限制。步骤S3068:在计算时刻的今天及上周的今天共两天原始数据中(如果是O点跑基线生产程序,那么实际上只会有上周今天数据),取出今天中计算时刻当前工作日时分及之前到零点的所有数据,再取出上周今天计算时刻起之后的所有数据,串接起来就是完整24小时共480条数据,并求数据和latestSum,从平滑后数据中取出当前工作日共480条数据,并求数据和smoothSum。将latestSum/smoothSum的值作为未来24小时基线增长率。当然,不限于此,基线增长率也可以采用较为简单的方式设定,如本领域技术人员根据实际经验直接设定等,本申请对此不作限制。步骤S30610:使用基线增长率和平滑后的480个点绘制出未来24小时的基线。至此,基于最近3个月数据的最近3个月平均平滑基线绘制完成。然后,可以根据该基线,设置允许的基线浮动范围,生成基于最近3个月平均平滑基线的基线告警策略。需要说明的是,步骤S302、步骤S304和步骤S306的执行可以不分先后顺序。另夕卜,上述告警策略在设置时,可以按照事先配置好的规则进行设定,如在某个时间段对某种类型的数据,使用已配置了参数的某种告警策略,或者,也可以由人工根据实际情况需要,手动灵活设置。步骤S308:根据待监控数据的类型,选择告警策略。选择告警策略时,按需选择基线告警、波动告警、固定值告警。这3种告警方式按需配置,可同时选择一个或多个配置,比如不同时间段选择用不同的告警方法;同一时间段同时配置几个告警方法,各方法同时满足或一个满足就告警(即或条件和与条件关系)。配置时可按需选择一次或连续X次满足阀值条件,就促发告警。一种针对PV数据进行告警策略设置的示意图如图4所示。其中,“阀值类型”用于选择告警策略,以及该告警策略中的具体类型;“当前值”用于设置可接受的待监控数据的变动范围;“有效时间段”用于设置待监控的时间段;“轮询次数”用于设置可接受的待监控数据超过告警阀值的次数。从图4中可以看出,针对PV数据,同时设置了基线告警策略和波动告警策略。另外,需要针对节假日或突发事件设置解决方案。节假日或目标范围内的突发事件,会导致实际运行数据偏离基线比较严重,同时实际运行数值超大超小,也会导致波动告警及固定值告警的误报或漏报。为此,对于固定规律的节假日,可以预设基线下降调整,也可以不下降基线,而是对原有的阀值进行一个百分比叠加处理。比如原来配置的偏离基线30%告警,现在可以叠加达到50%才告警。而对于波动告警也可以叠加到波动幅度为50%告警。而对于数值型的固定值,也可以按需缩小百分比。而对于突发事件,比如搞网上促销、悼念活动导致上网人数激增、网络大范围瘫痪等,也可以按照上述节假日的方式,按时间段应急临时配置。一种针对节假日电子商务系统数据变化进行告警策略设置的示意图如图5所示。从图5中可以看出,该告警配置针对的是业务数据中的PV数据,为其设置了基线告警策略,并且,通过叠加比率对基线告警策略进行调整,以使其满足节假日电子商务监控需要。步骤S310:根据选择的告警策略,对待监控数据进行监控。通过本实施例,根据不同电子商务系统数据的特点,设置了不同的告警策略,实现了灵活有效地电子商务监控。本实施例的数据监控方法有效避免了现有电子商务采用固定值告警方式单一,不能在发生突发事件,或数据规律发生改变时对电子商务进行有效监控的问题,达到了灵活地对电子商务进行监控,即使在发生突发事件,或者数据规律发生改变时,也能对电子商务进行有效地监控的效果。实施例四参照图6,其示出了根据本申请实施例四的一种数据监控装置的结构框图。本实施例的数据监控装置包括:选择模块402,用于根据电子商务系统的待监控数据的类型,选择告警策略中的一个或多个,告警策略包括:固定值告警策略、基线告警策略、和波动告警策略,其中,固定值告警策略用于在待监控数据超过设定的阀值时进行告警,基线告警策略用于在待监控数据与设定的基线上的数据相比较,超过设定的范围时进行告警,波动告警策略用于在待监控数据与设定的数据相比较,超过设定的范围时进行告警;监控模块404,用于根据选择的告警策略,对待监控数据进行监控。优选地,本实施例的数据监控装置还包括:基线生成模块406,用于在选择模块402根据电子商务系统的待监控数据的类型,选择告警策略中的一个或多个之前,根据设定时间内的电子商务系统的往期数据生成基线;第一策略设置模块408,用于根据生成的基线,设置基线告警策略。优选地,基线生成模块406包括:获取模块4062,用于获取设定时间内的往期数据;计算模块4064,用于按照设定规则对获取的往期数据进行分组,计算每个组的组内平均值和组内标准差;过滤模块4066,用于使用每个组的组内平均值和组内标准差,按照设定规则对该组内的数据进行过滤,获得该组的组内保留数据;平均模块4068,用于对每个组的组内保留数据求平均,获得该组的初始基线值;平滑生成模块40610,用于对所有的初始基线值进行平滑,根据平滑后的初始基线值生成所述基线。优选地,平滑生成模块40610包括:平滑模块,用于对所有的初始基线值进行平滑;拉高模块,用于将平滑后的初始基线值按照设定的基线增长率进行拉高,使用拉高后的初始基线值生成基线。优选地,本实施例的数据监控装置还包括:判断模块410,用于在选择模块402根据电子商务系统的待监控数据的类型,选择告警策略中的一个或多个之前,判断待监控数据发生数据波动幅度突变的可能性的大小;第二策略设置模块412,用于根据判断模块410的判断结果设置波动告警策略的参数,所述参数包括待监控数据超过设定的数据的范围,和待监控数据超过设定的数据的范围的次数。优选地,若待监控数据为业务级别数据,则选择模块402为其选择基线告警策略和/或波动告警策略,并且,设定波动告警策略中的待监控数据超过设定的数据的范围的次数为单次;若待监控数据为系统级别数据,则选择固定值告警策略和/或波动告警策略,并且,设定固定值告警策略和/或波动告警策略中的待监控数据超过设定的数据的范围的次数为多次;其中,业务数据包括网站PV、网站UV、交易笔数和交易金额;系统级别数据包括CPU数据、内存数据、负载数据和网络流量数据。本实施例的数据监控装置用于实现前述多个方法实施例中相应的数据监控方法,并具有相应的方法实施例的有益效果,在此不再赘述。本申请的数据监控方案中设置了多个告警策略,针对不同的电子商务系统的数据类型可以灵活地选用不同的告警策略,从而实现电子商务的有效监控。并且,对电子商务系统的数据进行了瞬间态和非瞬间太的区分,从而能够更好地配置和选择相应的告警策略。通过本申请的数据监控方案,可以提高监控告警的准确度和即时性,帮助企业预测或即时发现问题。本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。以上对本申请所提供的一种数据监控方法和装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。权利要求1.一种数据监控方法,其特征在于,包括:根据电子商务系统的待监控数据的类型,选择告警策略中的一个或多个,所述告警策略包括:固定值告警策略、基线告警策略、和波动告警策略,其中,所述固定值告警策略用于在所述待监控数据超过设定的阀值时进行告警,所述基线告警策略用于在所述待监控数据与设定的基线上的数据相比较,超过设定的范围时进行告警,所述波动告警策略用于在所述待监控数据与设定的数据相比较,超过设定的范围时进行告警;根据选择的所述告警策略,对所述待监控数据进行监控。2.根据权利要求1所述的方法,其特征在于,在所述根据电子商务系统的待监控数据的类型,选择告警策略中的一个或多个的步骤之前,还包括:根据设定时间内的所述电子商务系统的往期数据生成基线;根据所述生成的基线,设置所述基线告警策略。3.根据权利要求2所述的方法,其特征在于,所述根据设定时间内的所述电子商务系统的往期数据生成基线的步骤包括:获取设定时间内的所述往期数据;按照设定规则对获取的所述往期数据进行分组,计算每个组的组内平均值和组内标准差;使用所述每个组的所述组内平均值和所述组内标准差,按照设定规则对该组内的数据进行过滤,获得该组的组内保留数据;对所述每个组的所述组内保留数据求平均,获得该组的初始基线值;对所有的所述初始基线值进行平滑,根据平滑后的所述初始基线值生成所述基线。4.根据权利要求3所述的方法,其特征在于,所述根据平滑后的所述初始基线值生成所述基线的步骤包括:将平滑后的所述初始基线值按照设定的基线增长率进行拉高,使用拉高后的所述初始基线值生成所述基线。5.根据权利要求1所述的方法,其特征在于,在所述根据电子商务系统的待监控数据的类型,选择告警策略中的一个或多个的步骤之前,还包括:判断所述待监控数据发生数据波动幅度突变的可能性的大小,根据判断结果设置所述波动告警策略的参数,所述参数包括所述待监控数据超过所述设定的数据的范围,和所述待监控数据超过所述设定的数据的范围的次数。6.根据权利要求1所述的方法,其特征在于,所述根据电子商务系统的待监控数据的类型,选择告警策略中的一个或多个的步骤包括:若所述待监控数据为业务级别数据,则选择所述基线告警策略和/或所述波动告警策略,并且,设定所述波动告警策略中的所述待监控数据超过所述设定的数据的范围的次数为单次;其中,所述业务数据包括网站PV、网站UV、交易笔数和交易金额;若所述待监控数据为系统级别数据,则选择所述固定值告警策略和/或所述波动告警策略,并且,设定所述固定值告警策略和/或所述波动告警策略中的所述待监控数据超过所述设定的数据的范围的次数为多次;其中,所述系统级别数据包括CPU数据、内存数据、负载数据和网络流量数据。7.一种数据监控装置,其特征在于,包括:选择模块,用于根据电子商务系统的待监控数据的类型,选择告警策略中的一个或多个,所述告警策略包括:固定值告警策略、基线告警策略、和波动告警策略,其中,所述固定值告警策略用于在所述待监控数据超过设定的阀值时进行告警,所述基线告警策略用于在所述待监控数据与设定的基线上的数据相比较,超过设定的范围时进行告警,所述波动告警策略用于在所述待监控数据与设定的数据相比较,超过设定的范围时进行告警;监控模块,用于根据选择的所述告警策略,对所述待监控数据进行监控。8.根据权利要求7所述的装置,其特征在于,还包括:基线生成模块,用于在所述选择模块根据所述电子商务系统的待监控数据的类型,选择告警策略中的一个或多个之前,根据设定时间内的所述电子商务系统的往期数据生成基线.第一策略设置模块,用于根据所述生成的基线,设置所述基线告警策略。9.根据权利要求8所述的装置,其特征在于,所述基线生成模块包括:获取模块,用于获取设定时间内的所述往期数据;计算模块,用于按照设定规则对获取的所述往期数据进行分组,计算每个组的组内平均值和组内标准差;过滤模块,用于使用所述每个组的所述组内平均值和所述组内标准差,按照设定规则对该组内的数据进行过滤,获得该组的组内保留数据;平均模块,用于对所述每个组的所述组内保留数据求平均,获得该组的初始基线值;平滑生成模块,用于对所有的所述初始基线值进行平滑,根据平滑后的所述初始基线值生成所述基线。10.根据权利要求9所述的装置,其特征在于,所述平滑生成模块包括:平滑模块,用于对所有的所述初始基线值进行平滑;拉高模块,用于将平滑后的所述初始基线值按照设定的基线增长率进行拉高,使用拉高后的所述初始基线值生成所述基线。全文摘要本申请提供了一种应用于电子商务中的数据监控方法及装置,其中,数据监控方法包括根据电子商务系统的待监控数据的类型,选择告警策略中的一个或多个,所述告警策略包括固定值告警策略、基线告警策略、和波动告警策略,其中,所述固定值告警策略用于在所述待监控数据超过设定的阀值时进行告警,所述基线告警策略用于在所述待监控数据与设定的基线上的数据相比较,超过设定的范围时进行告警,所述波动告警策略用于在所述待监控数据与设定的数据相比较,超过设定的范围时进行告警;根据选择的所述告警策略,对所述待监控数据进行监控。通过本申请,达到了灵活地对电子商务系统的数据进行监控的效果。文档编号H04L12/26GK103200039SQ20121000469公开日2013年7月10日申请日期2012年1月9日优先权日2012年1月9日发明者郭胜旺申请人:阿里巴巴集团控股有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1