电网数据分析系统、方法电子设备及存储介质与流程

本申请涉及数据分析，尤其涉及一种电网数据分析系统、方法电子设备及存储介质。

背景技术：

1、随着云计算、大数据技术的发展和国网公司数字化转型的要求，外网移动办公、移动作业信息化程度越来越高，用户在应用使用过程中会产生海量用户行为日志。在相关技术中，为了充分挖掘数据价值，提升电网的运营能力，通过对用户行为日志进行数据分析，但现有的数据分析架构开发成本大、资源消耗高且无法满足五级组织架构统计分析需求，在面对海量用户行为日志时，现有的数据分析架构分析速度较慢。

技术实现思路

1、有鉴于此，本申请的目的在于提出一种电网数据分析系统、方法电子设备及存储介质，以解决现有的数据分析架构开发成本大、资源消耗高且无法满足五级组织架构统计分析需求，在面对海量用户行为日志时，现有的数据分析架构分析速度较慢的问题。

2、基于上述目的，本申请提供了一种电网数据分析系统，包括：

3、数据采集模块，用于采集电网日志数据；

4、数据转储模块，用于根据所述电网日志数据和所述电网日志数据的类型，构建消息队列；

5、数据分析处理模块，用于获取所述消息队列中的分类数据，对所述分类数据进行汇总，得到汇总数据；

6、数据查询模块，用于接收用户端的查询请求，根据所述查询请求中的查询条件和所述汇总数据，确定目标汇总数据，将所述目标汇总数据反馈至用户端。

7、进一步地，所述根据所述电网日志数据和所述电网日志数据的类型，构建消息队列，包括：

8、根据所述电网日志数据的类型，确定消息队列的数量；

9、根据所述电网日志数据的类型和所述消息队列的数量，构建多个消息队列；其中，不同的所述消息队列的类型不同；

10、将所述电网日志数据存储至对应类型的消息队列中。

11、进一步地，所述数据分析处理模块为数据库doris。

12、进一步地，所述数据分析处理模块，包括：

13、原始数据单元，用于存储所述消息队列中的分类数据；

14、明细数据单元，用于存储所述汇总数据；

15、数据服务单元，用于存储所述目标汇总数据。

16、进一步地，所述获取所述消息队列中的分类数据，包括：

17、根据所述消息队列的数量，利用预设导入工具构建读取任务；

18、根据所述读取任务，读取所述消息队列中的分类数据。

19、进一步地，所述对所述分类数据进行汇总，得到汇总数据，包括：

20、利用预设调度工具提供的调度条件，按照所述调度条件的等级由高到低的顺序依次选取调度条件，并根据所述调度条件对所述分类数据进行汇总，得到所述汇总数据。

21、进一步地，所述根据所述查询请求中的查询条件和汇总数据，确定目标汇总数据，包括：

22、根据所述查询条件对所述汇总数据进行筛选，得到所述目标汇总数据。

23、基于同一发明构思，本申请还提供了一种电网数据分析方法，包括：

24、采集电网日志数据；

25、根据所述电网日志数据和所述电网日志数据的类型，构建消息队列；

26、获取所述消息队列中的分类数据，对所述分类数据进行汇总，得到汇总数据；

27、接收用户端的查询请求，根据所述查询请求中的查询条件和所述汇总数据，确定目标汇总数据，将所述目标汇总数据反馈至用户端。

28、基于同一发明构思，本申请还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上所述的方法。

29、基于同一发明构思，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上所述的方法。

30、从上面所述可以看出，本申请提供的一种电网数据分析系统、方法电子设备及存储介质，所述电网数据分析系统包括：数据采集模块，用于采集电网日志数据；数据转储模块，用于根据电网日志数据和电网日志数据的类型，构建消息队列；这样，根据电网日志数据的类型构建的消息队列可以包括多种类型，实现了对电网日志数据进行了分类，以便于后续进行分析时，根据电网日志数据的类型进行快速分析。数据分析处理模块，用于获取消息队列中的分类数据，对所述分类数据进行汇总，得到汇总数据。数据分析处理模块通过获取数据转储模块构建的多个消息队列中的分类数据，对分类数据进行汇总时，可以根据不同类型的数据进行查找，提高汇总速度。数据查询模块，用于接收用户端的查询请求，根据查询请求中的查询条件和汇总数据，确定目标汇总数据，将目标汇总数据反馈至用户端，数据查询模块在接收到用户端的查询请求，可以直接根据查询条件对汇总数据进行查询，并将查询到的目标汇总数据反馈至用户端，提高了查询速度，避免了接收到查询请求后需要在大量的日志数据中查找并计算，导致查询速度较慢的问题；且通过数据分析模块提前对日志数据进行汇总，可以节省资源消耗，可以满足五级组织架构统计分析需求。

技术特征：

1.一种电网数据分析系统，其特征在于，包括：

2.根据权利要求1所述的电网数据分析系统，其特征在于，所述根据所述电网日志数据和所述电网日志数据的类型，构建消息队列，包括：

3.根据权利要求1所述的电网数据分析系统，其特征在于，所述数据分析处理模块为数据库doris。

4.根据权利要求1所述的电网数据分析系统，其特征在于，所述数据分析处理模块，包括：

5.根据权利要求1所述的电网数据分析系统，其特征在于，所述获取所述消息队列中的分类数据，包括：

6.根据权利要求1所述的电网数据分析系统，其特征在于，所述对所述分类数据进行汇总，得到汇总数据，包括：

7.根据权利要求1所述的电网数据分析系统，其特征在于，所述根据所述查询请求中的查询条件和汇总数据，确定目标汇总数据，包括：

8.一种电网数据分析方法，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求8所述的方法。

10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，其特征在于，所述计算机指令用于使计算机执行权利要求8所述的方法。

技术总结
本申请提供一种电网数据分析系统、方法电子设备及存储介质，数据采集模块采集电网日志数据；数据转储模块根据电网日志数据和电网日志数据的类型，构建消息队列；这样，根据电网日志数据的类型构建的消息队列可以包括多种类型，实现了对电网日志数据进行了分类；数据分析处理模块获取消息队列中的分类数据，并进行汇总，得到汇总数据；通过获取分类数据，对分类数据进行汇总时，可以根据不同类型的数据进行查找，提高汇总速度。数据查询模块接收用户端的查询请求，根据查询请求中的查询条件和汇总数据，确定目标汇总数据，并反馈至用户端，在接收到用户端的查询请求，直接根据查询条件对汇总数据进行查询，并反馈至用户端，提高了查询速度。

技术研发人员：孟雨,刘泽三,李晓珍,高胜杰,赵庆华,张茜,王子恒,李兆隆,李继成,曹洪雨
受保护的技术使用者：国网信息通信产业集团有限公司
技术研发日：
技术公布日：2024/9/2