数据监控系统及方法、存储介质、计算机设备与流程

本技术涉及计算机，尤其是涉及到一种数据监控系统及方法、存储介质、计算机设备。

背景技术：

1、随着大数据技术的发展，大数据平台建设越来越成熟，在此基础之上，企业将重心更多的放在更贴近业务发展的数据应用方面，因此，数据仓库作为数据应用赋能业务发展的基础能力也越来越受到重视。然而，随着数据体系建设的越来越丰富，随之而来的数据质量问题也越来越凸显，比如数据产生的及时性、准确性及完整性等。

2、随着平台的业务越来越多，平台可能会出现指标数据异常的情况，例如数据为空或者无数据乃至涨幅异常问题等，当出现异常问题时，由于不能准确定位数据端的哪个环节出了问题，需要安排巡检人员对应巡检各个业务和指标，一方面，找到数据异常后，还需要从数据端层层排查问题，耗费大量的排查时间，另一方面，巡检人员在巡检期间还可能存在视觉疲劳，导致巡检不到位的问题。

技术实现思路

1、有鉴于此，本技术提供了一种数据监控系统及方法、存储介质、计算机设备，通过计算数据涨幅度来自动巡检是否出现数据异常，以及在巡检出异常时，可以将发生异常的环节及检测周期及时通知数据端技术人员，能够定位异常来源，提高数据巡检效率。

2、根据本技术的一个方面，提供了一种数据监控系统，所述系统包括：

3、数据获取模块、异常检测模块及告警通知模块；

4、所述数据获取模块，用于获取业务数据归档流程中各归档环节的节点数据；

5、所述异常检测模块，用于根据同一归档环节在不同检测周期内归档的节点数据计算数据涨幅度，根据所述数据涨幅度检测归档环节是否发生数据归档异常；

6、所述告警通知模块，用于当发生数据归档异常时，根据发生数据归档异常的异常归档环节及异常检测周期生成异常报警信息，将所述异常报警信息发送至预设接收终端。

7、可选地，所述数据获取模块包括源数据获取单元、采集数据获取单元及归档数据获取单元，所述归档环节包括数据上传环节、数据采集环节及数据归档环节，所述节点数据包括日志源数据、分布式存储数据及归档数据；所述系统还包括：

8、源数据获取单元，用于获取数据上传环节中的日志源数据，其中，所述日志源数据由用户端上传至服务器；

9、采集数据获取单元，用于获取数据采集环节中的分布式存储数据，其中，所述分布式存储数据为日志源数据被采集预设分布式文件系统后，基于分布式文件系统的分布式文件存储规则存储得到；

10、归档数据获取单元，用于获取数据归档环节中的归档数据，其中，所述归档数据为分布式存储数据基于文件管理规则存入预设数据管理系统后得到。

11、可选地，所述系统还包括：

12、所述异常检测模块，还用于选取任一归档环节，根据所选归档环节对应的数据归档路径，判断当前检测周期内是否归档有节点数据，若无节点数据，则确认发生数据归档异常，若有节点数据，则根据节点数据的数据量大小与预设历史检测周期内归档的节点数据的数据量大小计算数据涨幅度，当所述数据涨幅度大于预设数据涨幅阈值时，确认发生数据归档异常。

13、可选地，所述系统还包括：

14、所述采集数据获取单元，还用于统计每一检测周期内归档的分布式存储数据条数；

15、所述异常检测模块，还用于判断节点数据是为否为分布式存储数据，若为分布式存储数据，则比对当前检测周期与预设检测周期内各自统计的分布式存储数据条数，当分布式存储数据条数不一致时，确认发生数据归档异常，当分布式存储数据条数一致时，根据节点数据的数据量大小与预设历史检测周期内归档的节点数据的数据量大小计算数据涨幅度。

16、可选地，所述归档环节还包括数据分析环节，所述数据获取模块还包括结果数据获取单元，所述节点数据还包括结果表数据，所述系统还包括：

17、结果数据获取单元，用于获取数据分析环节中的结果表数据，其中，所述结果表数据为所述归档数据通过数据分析后基于数据管理后台得到；

18、所述异常检测模块，还用于若结果表数据对应的分析结果值为零或空，则确认发生数据归档异常，若分析结果值为非零或非空，则根据当前检测周期内归档的结果表数据的分析结果值与预设历史检测周期内归档的结果表数据的分析结果值计算指标增值度，当所述指标增值度大于预设指标增幅阈值时，确认发生数据归档异常。

19、可选地，所述系统还包括：

20、所述异常检测模块，还用于根据预设恢复时间间隔判断是否开启自动恢复功能；

21、所述自动恢复模块，用于当开启自动恢复功能时，对发生数据归档异常的归档环节进行数据恢复；

22、所述告警通知模块，还用于当自动恢复模块数据恢复失败时，根据恢复失败的归档环节及检测周期生成数据恢复失败信息，并将所述数据恢复失败信息发送至预设接收终端。

23、可选地，所述系统还包括：

24、所述异常检测模块，还用于记录检测周期内的异常检测行为信息；

25、所述自动恢复模块，还用于记录数据恢复时的数据恢复行为信息；

26、所述告警通知模块，还用于记录发送的异常报警信息及数据恢复失败信息；

27、检测结果可视化模块，用于收集所述异常检测行为信息、所述数据恢复行为信息、所述异常报警信息及所述数据恢复失败信息，并根据所述异常检测行为信息、所述数据恢复行为信息、所述异常报警信息、所述数据恢复失败信息、所述归档环节及所述检测周期，生成可视化异常检测内容，将所述可视化异常检测内容展示于预设展示面板。

28、根据本技术的另一方面，提供了一种据监控方法，所述方法包括：

29、获取业务数据归档流程中各归档环节的节点数据；

30、根据同一归档环节在不同检测周期内归档的节点数据计算数据涨幅度，根据所述数据涨幅度检测归档环节是否发生数据归档异常；

31、当发生数据归档异常时，根据发生数据归档异常的异常归档环节及异常检测周期生成异常报警信息，将所述异常报警信息发送至预设接收终端。

32、可选地，所述归档环节包括数据上传环节、数据采集环节及数据归档环节，所述节点数据包括日志源数据、分布式存储数据及归档数据；所述获取业务数据归档流程中各归档环节的节点数据，包括：

33、获取数据上传环节中的日志源数据，其中，所述日志源数据由用户端上传至服务器；

34、获取数据采集环节中的分布式存储数据，其中，所述分布式存储数据为日志源数据被采集预设分布式文件系统后，基于分布式文件系统的分布式文件存储规则存储得到；

35、获取数据归档环节中的归档数据，其中，所述归档数据为分布式存储数据基于文件管理规则存入预设数据管理系统后得到。

36、可选地，所述根据同一归档环节在不同检测周期内归档的节点数据计算数据涨幅度，根据所述数据涨幅度检测归档环节是否发生数据归档异常，包括：

37、选取任一归档环节，根据所选归档环节对应的数据归档路径，判断当前检测周期内是否归档有节点数据，若无节点数据，则确认发生数据归档异常，若有节点数据，则根据节点数据的数据量大小与预设历史检测周期内归档的节点数据的数据量大小计算数据涨幅度，当所述数据涨幅度大于预设数据涨幅阈值时，确认发生数据归档异常。

38、可选地，所述获取数据采集环节中的分布式存储数据之后，所述方法还包括：

39、统计每一检测周期内归档的分布式存储数据条数；

40、相应地，所述根据节点数据的数据量大小与预设历史检测周期内归档的节点数据的数据量大小计算数据涨幅度，包括：

41、判断节点数据是为否为分布式存储数据，若为分布式存储数据，则比对当前检测周期与预设检测周期内各自统计的分布式存储数据条数，当分布式存储数据条数不一致时，确认发生数据归档异常，当分布式存储数据条数一致时，根据节点数据的数据量大小与预设历史检测周期内归档的节点数据的数据量大小计算数据涨幅度。

42、可选地，所述归档环节还包括数据分析环节，所述节点数据还包括结果表数据，所述方法还包括：

43、获取数据分析环节中的结果表数据，其中，所述结果表数据为所述归档数据通过数据分析后基于数据管理后台得到；

44、若结果表数据对应的分析结果值为零或空，则确认发生数据归档异常，若分析结果值为非零或非空，则根据当前检测周期内归档的结果表数据的分析结果值与预设历史检测周期内归档的结果表数据的分析结果值计算指标增值度，当所述指标增值度大于预设指标增幅阈值时，确认发生数据归档异常。

45、可选地，所述方法还包括：

46、根据预设恢复时间间隔判断是否开启自动恢复功能；

47、当开启自动恢复功能时，对发生数据归档异常的归档环节进行数据恢复；

48、当自动恢复模块数据恢复失败时，根据恢复失败的归档环节及检测周期生成数据恢复失败信息，并将所述数据恢复失败信息发送至预设接收终端。

49、可选地，所述方法还包括：

50、记录检测周期内的异常检测行为信息、数据恢复时的数据恢复行为信息、发送的异常报警信息及数据恢复失败信息；

51、收集所述异常检测行为信息、所述数据恢复行为信息、所述异常报警信息及所述数据恢复失败信息，并根据所述异常检测行为信息、所述数据恢复行为信息、所述异常报警信息、所述数据恢复失败信息、所述归档环节及所述检测周期，生成可视化异常检测内容，将所述可视化异常检测内容展示于预设展示面板。

52、依据本技术又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述数据监控方法。

53、依据本技术再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据监控方法。

54、借由上述技术方案，本技术提供的一种数据监控系统及方法、存储介质、计算机设备，数据监控系统包括：数据获取模块、异常检测模块及告警通知模块；数据获取模块，用于获取业务数据归档流程中各归档环节的节点数据；异常检测模块，用于根据同一归档环节在不同检测周期内归档的节点数据计算数据涨幅度，根据数据涨幅度检测归档环节是否发生数据归档异常；告警通知模块，用于当发生数据归档异常时，根据发生数据归档异常的异常归档环节及异常检测周期生成异常报警信息，将异常报警信息发送至预设接收终端。通过计算数据涨幅度巡检是否出现数据异常，以及在巡检出异常时，可以将发生异常的环节及检测周期及时通知数据端技术人员，能够定位异常来源，提高数据巡检效率。

55、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。