数据监控系统、方法及服务器与流程

本发明涉及网络监控技术领域，尤其是涉及一种数据监控系统、方法及服务器。

背景技术：

现有技术中，监控数据异常的具体过程一般是接收到数据后，通过执行部分sql(structuredquerylanguage，结构化查询语言)模板，根据业务经验设定阈值，对于在阈值内部的被视为数据正常，否则就被视为数据异常，这种方式实现简单，而且因为sql的通用性，扩展性较好可以满足大部分用户需求。

但是随着业务发展，开始设定的阈值可能不能满足当前业务需求，这就需要相关人员对阈值重新评估。一般不同来源的数据需要设置的阈值也不近相同，这样给业务人员带来很大的麻烦，不便于用户的使用。

技术实现要素：

有鉴于此，本发明的目的在于提供一种数据监控系统、方法及服务器，以缓解上述的技术问题。

第一方面，本发明实施例提供了一种数据监控系统，其中，该系统包括：配置模块、执行模块以及规则模块；配置模块和执行模块均与规则模块连接；配置模块包括配置中心和规则数据库，配置中心用于接收用户输入的配置信息，并将配置信息存储在规则数据库，其中，配置信息包括待监控表的标识信息以及与待监控表对应的规则信息；执行模块包括执行引擎，执行引擎用于在监控到启动指令后触发规则模块，以调用存储在规则数据库中待监控表的标识信息和待监控表对应的规则信息；规则模块还用于提取与待监控表的标识信息相匹配的表数据，并利用规则信息判断表数据是否异常，以及，将判断结果发送至执行引擎。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，执行模块还包括定时单元；定时单元与执行引擎通信；定时单元用于按照预设的定时周期定时向执行引擎发送启动指令，以便于定时启动执行引擎。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，该系统还包括业务数据库；业务数据库与规则模块连接；业务数据库用于存储与待监控表的标识信息相匹配的表数据，以便于规则模块提取表数据对表数据进行数据异常判断。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，该系统还包括报警模块；报警模块与执行引擎连接；执行引擎还用于在判断结果为异常结果时触发报警模块推送报警信息至客户端。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，规则模块包括自定义规则单元；自定义规则单元用于存储规则模块中的自定义规则，其中，自定义规则为配置信息中包括的待监控表对应的规则信息。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，规则模块还包括规则生成单元；规则生成单元用于根据与待监控表的标识信息相匹配的历史表数据利用最小二乘法拟合生成规则信息；其中，规则信息用于生成当前表数据的预测值。

结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，规则模块还包括计算单元和判断单元；计算单元用于对当前表数据的真实值与预测值进行差值计算，以生成差值结果，并将差值结果发送至判断单元；判断单元用于判断差值结果是否超过预先设定的阈值范围，以生成判断结果，并将判断结果发送至执行引擎。

第二方面，本发明实施例还提供一种数据监控方法，其中，该方法应用于上述的数据监控系统，该系统包括：配置模块、执行模块以及规则模块；配置模块和执行模块均与规则模块连接；该方法包括：配置模块包括配置中心和规则数据库，配置中心接收用户输入的配置信息，并将配置信息存储在规则数据库，其中，配置信息包括待监控表的标识信息以及与待监控表对应的规则信息；执行模块包括执行引擎，执行引擎在监控到启动指令后触发规则模块，以调用存储在规则数据库中待监控表的标识信息和待监控表对应的规则信息；规则模块还提取与待监控表的标识信息相匹配的表数据，并利用规则信息判断表数据是否异常，以及，将判断结果发送至执行引擎。

第三方面，本发明实施例还提供一种服务器，其中，该服务器包括处理器和存储器；其中，存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述的方法步骤。

第四方面，本发明实施例还提供一种计算机存储介质，用于存储计算机程序指令，当计算机执行计算机程序指令时，执行上述的方法。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种数据监控系统、方法及服务器，能够在执行引擎监控到启动指令后，触发规则模块调用存储在规则数据库中待监控表的标识信息和待监控表对应的规则信息；以及，触发规则模块提取与待监控表的标识信息相匹配的表数据，并利用规则信息判断表数据是否异常，以及，将判断结果发送至执行引擎，可以无需人工调整数据监控阈值以实现对数据的自动监控，便于用户使用。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据监控系统的结构示意图；

图2为本发明实施例提供的另一种数据监控系统的结构示意图；

图3为本发明实施例提供的一种数据监控系统的处理流程图；

图4为本发明实施例提供的一种数据监控方法的流程图；

图5为本发明实施例提供的一种服务器的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着网络技术的发展，越来越多的客户都在考虑或采纳业务集群化的方案。然而业务系统集群化后，不仅增加运行维护的工作强度，而且会使系统变得更加繁杂。有效的系统和应用监控体系成为了解业务资源的使用状况，及时发现可能导致系统故障的隐患，实现系统运营保障的关键。

另一方面，借助于集中监控解决方案，用户能够正确和及时地了解系统的运行状态，发现影响整体系统运行的瓶颈，帮助系统开发人员进行必要的系统优化和配置变更，甚至为系统的升级和扩容提供依据。强有力的监控和诊断工具还可以帮助运行维护人员快速地分析出应用故障原因，把工作人员从繁杂重复的劳动中解放出来。

目前，监控数据异常的具体过程一般是接收到数据后，通过执行部分sql(structuredquerylanguage，结构化查询语言)模板，根据业务经验设定阈值，对于在阈值内部的被视为数据正常，否则就被视为数据异常，这种方式实现简单，而且因为sql的通用性，扩展性较好可以满足大部分用户需求。

但是随着业务发展，开始设定的阈值可能不能满足当前业务需求，这就需要相关人员对阈值重新评估。一般不同来源的数据需要设置的阈值也不近相同，这样给业务人员带来很大的麻烦，不便于用户的使用基于此，本发明实施例提供的一种数据监控系统、方法及服务器，可以缓解上述技术问题。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种数据监控系统进行详细介绍。

实施例一：

本发明实施例提供了一种数据监控系统，如图1所示的一种数据监控系统的结构示意图，该系统包括：配置模块102、执行模块104以及规则模块106；配置模块和执行模块均与规则模块连接；

具体地，配置模块102包括配置中心108和规则数据库110，配置中心用于接收用户输入的配置信息，并将配置信息存储在规则数据库，其中，配置信息包括待监控表的标识信息以及与待监控表对应的规则信息；执行模块104包括执行引擎112，执行引擎用于在监控到启动指令后触发规则模块，以调用存储在规则数据库中待监控表的标识信息和待监控表对应的规则信息；规则模块还用于提取与待监控表的标识信息相匹配的表数据，并利用规则信息判断表数据是否异常，以及，将判断结果发送至执行引擎。

在实际使用时，由于待监控表的类型以及用户的需求不同，因此，用户可以通过配置中心将能够识别出待监控表的标识信息以及与待监控表对应的自定义的规则信息或者利用最小二乘法拟合生成的规则信息存储在规则数据库中，当执行引擎接收到启动指令后，触发规则模块调用存储在规则数据库中待监控表的标识信息和待监控表对应的规则信息；以及，触发规则模块在业务数据库中提取与待监控表的标识信息相匹配的表数据，并利用规则信息判断表数据是否异常，以及，将判断结果发送至执行引擎，以实现对待监控表中的数据进行自动监控。

本发明实施例提供的一种数据监控系统，能够在执行引擎监控到启动指令后，触发规则模块调用存储在规则数据库中待监控表的标识信息和待监控表对应的规则信息；以及，触发规则模块提取与待监控表的标识信息相匹配的表数据，并利用规则信息判断表数据是否异常，以及，将判断结果发送至执行引擎，可以无需人工调整数据监控阈值以实现对数据的自动监控，便于用户使用。

在图1的基础上，图2示出了另一种数据监控系统的结构示意图，如图2所示，执行模块104还包括定时单元202；定时单元与执行引擎112通信；定时单元用于按照预设的定时周期定时向执行引擎发送启动指令，以便于定时启动执行引擎。具体实现时，定时单元按照预先人为设定的定时周期定时向执行引擎发送启动指令，使得执行引擎周期性的开启和关闭。

如图2所示，该系统还包括业务数据库204；业务数据库204与规则模块106连接；业务数据库用于存储与待监控表的标识信息相匹配的表数据，以便于规则模块提取表数据对表数据进行数据异常判断。并且，如图2所示，该系统还包括报警模块206；报警模块206与执行引擎112连接；执行引擎还用于在判断结果为异常结果时触发报警模块推送报警信息至客户端。

通常，用户可以将实际待监控表的表数据存储在业务数据库中使用，当执行引擎启动触发规则模块动作时，规则模块一方面到规则数据库中调用待监控表的标识信息和待监控表对应的规则信息，另一方面到业务数据库中提取与待监控表的标识信息相匹配的表数据，最后，将提取的与待监控表的标识信息相匹配的表数据利用上述自定义的规则信息或者利用最小二乘法拟合生成的规则信息判断表数据是否异常，并且，规则模块将判断结果返回至执行引擎，当表数据为正常时，则执行引擎不动作，当表数据为异常时，执行引擎触发报警模块推送报警信息至客户端，以提醒用户该待监控表的数据不符合当前用户的需求。

具体实现时，用户可以自定义判断待监控表的规则信息，其中，如图2所示，规则模块包括自定义规则单元208；自定义规则单元用于存储规则模块中的自定义规则，其中，自定义规则为配置信息中包括的待监控表对应的规则信息。

具体地，业务人员可以自定义自己的规则信息，例如，设置的自定义规则信息为表数据计算环比同比等，执行引擎执行规则完毕后，如果符合设置的规则信息，则认为数据正常，不需要做任何操作。如果不符合设置的规则信息，则认为数据异常，此时执行引擎会触发报警模块向相关负责人员发送报警。由相关人员进行二次确认数据是否异常。

如图2所示，规则模块还包括规则生成单元210；规则生成单元用于根据与待监控表的标识信息相匹配的历史表数据利用最小二乘法拟合生成规则信息；其中，规则信息用于生成当前表数据的预测值。

具体地，当没有自定义规则信息时，可以调用规则生成单元的规则信息进行异常数据的判断，其中，在本实施例中规则生成单元的规则信息为根据与所述待监控表的标识信息相匹配的历史表数据利用最小二乘法拟合生成所述规则信息，具体地，根据待监控表中的n-1天的数据利用最小二乘法拟合成一条增量数据与对应日期的直线y＝ax+b，其中，y表示增量数据，x表示日期，a、b为常数，在直线被拟合成之后，在依据平均绝对差算法，将前n-1天的表数据在对应直线的数据之上的做一个差值，将所有差值的绝对值取平均值，阈值的上限就以一个常数乘以平均值为准，同理，按照上面的方法将前n-1天的表数据和对应直线的数据之下的做一个差值，将所有差值的绝对值取平均值，阈值的下限就以一个常数乘以平均值为准，其中，上述阈值的上下限即为规则信息。

为了能够判断出数据是否异常，如图2所示，一般在规则模块还包括计算单元212和判断单元214；计算单元用于对当前表数据的真实值与预测值进行差值计算，以生成差值结果，并将差值结果发送至判断单元；判断单元用于判断差值结果是否超过预先设定的阈值范围，以生成判断结果，并将判断结果发送至执行引擎。

具体实现时，按照历史数据拟合好直线之后，当天的数据就可以预测出来了，将当天日期带入到直线ax+b中，得到当天的预测值y(预测，同时由于有当天的实际值y(实际)，因此，利用计算单元对当前表数据的真实值与预测值进行差值计算，以生成差值结果，并将差值结果发送至判断单元；判断单元根据差值结果以及从上述自定义规则单元或者规则生成单元获得的阈值上下限来判断当前表数据是否异常，如果该差值结果在上述阈值的上下限的范围内，则视为数据正常，否则，视为数据异常，这时执行引擎会触发报警模块向相关负责人员发送报警。

基于上述实施例，图3示出了一种数据监控系统的处理流程图，为了便于说明，图3中仅仅示出了配置中心、规则数据库、规则模块、业务数据库、执行引擎、定时单元和报警模块，以及各个结构之间在进行数据监控时的处理流程，如图3所示，数据监控系统的处理流程如下：

1、用户通过配置中心将待监控表的标识以及与该待监控表对应的自定义规则信息或者将默认的最小二乘法规则信息一并配置到规则数据库中；2、定时单元会按照预先设定的周期每隔一定时间启动一次，调用执行引擎，其中，执行引擎相当于各个组件的一个调度中心；3、当执行引擎被触发时它会调用规则模块；4、规则模块会遍历查询规则数据库并获取待监控表的标识以及具体的规则信息；5、由于业务数据即待监控表的数据全部存储在业务数据库中，当规则模块获取到待监控表的标识时，会到业务数据库中提取与待监测表的标识匹配的表数据，并根据规则信息去判断该表数据是否异常；6、规则模块并将判断结果返回给执行引擎；7、执行引擎在接收到判断结果后，根据结果去调用报警模块推送报警信息。

实施例二：

在上述实施例的基础上，本发明实施例还提供了一种数据监控方法，该方法应用于上述实施例提供的数据监控系统，该系统包括：配置模块、执行模块以及规则模块；配置模块和执行模块均与规则模块连接；如图4所示的一种数据监控方法的流程图，该方法包括以下步骤：

步骤s402，配置模块包括配置中心和规则数据库，配置中心接收用户输入的配置信息，并将配置信息存储在规则数据库，其中，配置信息包括待监控表的标识信息以及与待监控表对应的规则信息；

步骤s404，执行模块包括执行引擎，执行引擎在监控到启动指令后触发规则模块，以调用存储在规则数据库中待监控表的标识信息和待监控表对应的规则信息；

步骤s406，规则模块还提取与待监控表的标识信息相匹配的表数据，并利用规则信息判断表数据是否异常，以及，将判断结果发送至执行引擎。

本发明实施例提供的数据监控方法，与上述实施例提供的数据监控系统具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本发明实施例还提供了一种服务器，其中，该服务器包括存储器以及处理器，存储器用于存储支持处理器执行上述方法的程序，处理器被配置为用于执行存储器中存储的程序。

参见图5所示的一种服务器的结构框图，包括：处理器500，存储器501，总线502和通信接口503，所述处理器500、通信接口503和存储器501通过总线502连接；处理器500用于执行存储器501中存储的可执行模块，例如计算机程序。

其中，存储器501可能包含高速随机存取存储器(ram，randomaccessmemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口503(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线502可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器500可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器500中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器500可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现成可编程门阵列(field-programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501，处理器500读取存储器501中的信息，结合其硬件完成上述方法的步骤。

本发明实施例还提供了一种计算机存储介质，其中，用于存储计算机程序指令，当计算机执行计算机程序指令时，执行上述的方法。

本发明实施例所提供的数据监控系统、方法及服务器的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法和服务器的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。