一种数据监控系统、方法、设备及存储介质与流程

本发明涉及互联网，尤其涉及一种数据监控系统、方法、设备及存储介质。

背景技术：

1、目前，各大公司均设置有数据仓库，为保护数据仓库中数据的安全性，通常会将数据仓库与第三方系统进行网络隔离，通过ftp(file transfer protocol，文件传输协议)服务器作为中介进行数据传输。

2、由于数据仓库或第三方系统放入ftp服务器中的数据是否存在异常，都需要人工查询文件大小才能判断，从而耗费大量人力成本以及无法保证数据的时效性。

技术实现思路

1、本发明提供了一种数据监控系统、方法、设备及存储介质，以解决人为监控发送到ftp服务器中的数据是否存在异常的问题，保证了数据监控的时效性和准确率。

2、根据本发明的一方面，提供了一种数据监控系统，该系统包括：数据登记层、数据计算层和数据监控预警层；

3、其中，所述数据登记层，用于基于待处理业务数据对应的业务主题，确定数据登记列表，并将所述数据登记列表发送给所述数据计算层；

4、所述数据计算层，用于针对所述数据登记列表中的每个业务主题，基于与当前业务主题对应的业务监控周期，对与所述当前业务主题对应的当前待处理业务数据执行数据量监控操作，得到监控数据量差值；

5、所述数据监控预警层，用于如果所述监控数据量差值不满足预设差值范围，则基于所述当前业务主题，执行预警操作。

6、根据本发明的另一方面，提供了一种数据监控方法，该方法包括：

7、基于待处理业务数据对应的业务主题，确定数据登记列表；

8、针对所述数据登记列表中的每个业务主题，基于与当前业务主题对应的业务监控周期，对与所述当前业务主题对应的当前待处理业务数据执行数据量监控操作，得到监控数据量差值；

9、如果所述监控数据量差值不满足预设差值范围，则基于所述当前业务主题，执行预警操作。

10、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

11、至少一个处理器；以及

12、与所述至少一个处理器通信连接的存储器；其中，

13、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据监控方法。

14、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据监控方法。

15、本发明实施例的技术方案，通过数据登记层登记待处理业务数据对应的业务主题，数据计算层针对数据登记列表中的每个业务主题，基于与当前业务主题对应的业务监控周期，对与当前业务主题对应的当前待处理业务数据执行数据量监控操作，得到监控数据量差值，数据监控预警层在检测到监控数据量差值不满足预设差值范围时，基于当前业务主题，执行预警操作，解决了人为监控发送到ftp服务器中的数据是否存在异常的问题，保证了数据监控的时效性和准确率。

16、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种数据监控系统，其特征在于，包括：数据登记层、数据计算层和数据监控预警层；

2.根据权利要求1所述的系统，其特征在于，所述数据计算层，具体用于：

3.根据权利要求1所述的系统，其特征在于，所述数据登记列表中还包含与至少一个业务主题分别对应的至少一个业务分类信息、与各业务分类信息分别对应的数据库名称以及业务数据表名称，所述当前待处理业务数据包含与至少一个业务分类信息分别对应的当前业务数据表，相应的，所述数据计算层，还用于：

4.根据权利要求3所述的系统，其特征在于，所述数据计算层，具体用于：

5.根据权利要求4所述的系统，其特征在于，所述系统还包括数据展示层，用于如果所述当前业务数据表的监控数据量差值不满足预设差值范围，则将第一监控标识作为所述当前业务数据表对应的监控属性添加到所述数据登记列表中；

6.根据权利要求3所述的系统，其特征在于，所述系统还包括数据集市层，用于响应于接收到数据仓库发送的待处理业务数据，基于所述待处理业务数据对应的业务主题，将所述待处理业务数据存储到目标数据库中，并将所述目标数据库的数据库名称添加到所述数据登记列表中。

7.根据权利要求1所述的系统，其特征在于，所述系统还包括数据执行层，用于基于预设主题周期列表，确定与所述数据登记列表中至少一个业务主题分别对应的业务监控周期，并将各所述业务监控周期发送给所述数据计算层；其中，所述预设主题周期列表包含至少一个业务主题以及与各业务主题分别对应的业务监控周期。

8.一种数据监控方法，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求8中任一项所述的数据监控方法。

技术总结
本发明公开了一种数据监控系统、方法、设备及存储介质，该系统包括：数据登记层、数据计算层和数据监控预警层，其中，数据登记层，用于基于待处理业务数据对应的业务主题，确定数据登记列表，并将数据登记列表发送给数据计算层；数据计算层，用于针对数据登记列表中的每个业务主题，基于与当前业务主题对应的业务监控周期，对与当前业务主题对应的当前待处理业务数据执行数据量监控操作，得到监控数据量差值；数据监控预警层，用于如果监控数据量差值不满足预设差值范围，则基于当前业务主题，执行预警操作。本发明实施例解决了需要人为监控数据量的问题，保证了数据监控的时效性和准确率。

技术研发人员：余辉
受保护的技术使用者：深圳市酷开网络科技股份有限公司
技术研发日：
技术公布日：2024/1/15