一种数据汇总集成优化方法及系统与流程

本发明涉及数据处理，尤其涉及一种数据汇总集成优化方法及系统。

背景技术：

1、随着数据分析基础支撑平台的建设落地，在持续推动业务、技术的深度融合趋势下，电网企业内部涌现了大量数据分析与可视化看板的需求场景，力求通过挖掘各业务域应用系统的分布数据，实现生产运营活动的科学分析与决策，这也给数据供给链路提出了更高的要求。大多数情况下，业务人员可直接通过数据中台获取数据并执行数据分析运算逻辑，但当遇到一些本地个性化数据的分析场景时，已有数据供给平台暂无法完全满足业务需求，具体原因如下：第一方面，此类个性化场景所需数据来源于各单位自建系统，尚未接入至数据中台，无法直接获取和分析数据；第二方面，部分数据虽来源于已接入系统，但其通常由多个原始表加工后输出到前端界面，数据查询条件与计算逻辑复杂；第三方面，除直连业务系统获取线上数据外，部分个性化看板场景还需要线下数据，具体为获取计算机办公终端中人工填报形成的报表，并将其输出到可视化看板中。针对此类个性化数据分析场景，业务人员通常会使用rpa等自动化技术，从业务系统前端页面自动获取所需数据，包括指标、明细数据等，并以常用办公文件格式存储在多个计算机终端文件系统中，由于协作需求，各种数据文件需要统一查看管理。

2、然而，对于线下数据的读取汇总与集中管理目前无同时支持后期扩展并适用于更多场景的方法，往往局限于某种特定的文件存储格式；且由于终端数据存储形式多样，倘若直接以原始数据传输将不利于接口设计与数据交换，且数据更新无法精细化到字段级别；目前大多应用系统均基于http协议，且已有大量的开源http开发框架，但是对于此应用来说均有些过于庞大，使用起来也较为繁琐。

3、因此需要一种能够实现适用不同场景下的通用型数据读取、封装、传输、更新的数据汇总方法.

技术实现思路

1、鉴于上述现有存在的问题，提出了本发明。

2、因此，本发明提供了一种数据汇总集成优化方法及系统解决目前读取汇总与集中管理方式难以支持后期扩展并适用于更多场景，数据更新无法精细化到字段级别，数据传输过程较为繁琐的问题。

3、为解决上述技术问题，本发明提供如下技术方案：

4、第一方面，本发明提供了一种数据汇总集成优化方法，包括：

5、设定服务端元配置信息，以第一格式存储；

6、在服务端构建数据库文件，遍历读取所有元配置信息，在数据库文件中建立相应数据结构，得到第一数据库；

7、客户端读取本地表数据，以所述第一格式进行封装，并打包为报文；

8、服务端接收所述报文，基于所述第一格式进行监听框架的运行，以解析报文得到字段信息；

9、基于不同的字段信息对所述第一数据库进行更改，以得到更新后的第二数据库；

10、响应于推送命令，服务端将所述第二数据库的数据推送至远端数据库，依据所述元配置信息在远端数据库构建数据库文件，以构建或更新远端数据库；

11、基于所述第二数据库进行数据导出与下载。

12、作为本发明所述的数据汇总集成优化方法的一种优选方案，其中：所述元配置信息由表配置构成，每个表包括多个配置，每个配置信息能够根据实际业务需求进行动态调整。

13、作为本发明所述的数据汇总集成优化方法的一种优选方案，其中：所述封装包括：表名称对应于本地表名称进行封装；

14、字典列表对应于本地表数据，以键值对进行封装；

15、主键清单对应于本地表的表头字典进行封装；

16、查询条件以键值对表示多个字段的筛选条件，根据数据更新方式进行设置；

17、根据不同的数据更新方式对字典列表进行不同的封装操作。

18、作为本发明所述的数据汇总集成优化方法的一种优选方案，其中：服务端接收所述报文，基于所述第一格式进行监听框架的运行，以解析报文得到字段信息，包括：

19、按照http报文格式依次解析请求方法、url、请求头和请求体；

20、通过请求头中的content-length值，获取请求体的长度，用于读取封装后的格式字符串；

21、基于得到的字符串，解析所述五个字段的信息；

22、依据数据更新方式信息，调用相应程序对数据进行更新维护。

23、作为本发明所述的数据汇总集成优化方法的一种优选方案，其中：所述第一格式包括五个字段为：表名称、数据更新方式、字典列表、主键清单和查询条件。

24、作为本发明所述的数据汇总集成优化方法的一种优选方案，其中：所述第一格式为json格式。

25、作为本发明所述的数据汇总集成优化方法的一种优选方案，其中：所述数据更新维护包括：数据新增、数据查询、数据更新以及数据删除。

26、第二方面，本发明提供了一种数据汇总集成优化系统，包括：

27、配置模块，用于设定服务端元配置信息，以第一格式存储；

28、构建模块，用于在服务端构建数据库文件，遍历读取所有元配置信息，在数据库文件中建立相应数据结构，得到第一数据库；

29、封装模块，用于客户端读取本地表数据，以所述第一格式进行封装，并打包为报文；

30、解析模块，用于服务端接收所述报文，基于所述第一格式进行监听框架的运行，以解析报文得到字段信息；

31、第一更新模块，用于基于不同的字段信息对所述第一数据库进行更改，以得到更新后的第二数据库；

32、第二更新模块，用于响应于推送命令，服务端将所述第二数据库的数据推送至远端数据库，依据所述元配置信息在远端数据库构建数据库文件，以构建或更新远端数据库；

33、下载模块，用于基于所述第二数据库进行数据导出与下载。

34、第三方面，本发明提供了一种计算设备，包括：

35、存储器和处理器；

36、所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现数据汇总集成优化方法的步骤。

37、第四方面，本发明提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现所述数据汇总集成优化方法的步骤。

38、与现有技术相比，本发明的有益效果：本发明通过元配置信息定义数据库、表、字段结构，当需求调整时仅需修改配置文件，无需调整代码，具备高度的可扩展性、易操作性；通过研发轻量级http框架，实现了报文接收、解析、处理过程，可以将不同计算机上的结构化数据采集并传输到服务端汇集，实现数据跨平台、跨系统集成；传输格式一致，可与其他自动化程序集成，也可以手动设定计划任务执行客户端程序，可广泛适用于各种数据管理场景，为大数据分析提供底层技术支撑，相比于其他类似应用占用性能资源更小，部署实施更快捷。

技术特征：

1.一种数据汇总集成优化方法，其特征在于，包括：

2.如权利要求1所述的数据汇总集成优化方法，其特征在于，所述元配置信息由表配置构成，每个表包括多个配置，每个配置信息能够根据实际业务需求进行动态调整。

3.如权利要求2所述的数据汇总集成优化方法，其特征在于，所述封装包括：表名称对应于本地表名称进行封装；

4.如权利要求3所述的数据汇总集成优化方法，其特征在于，服务端接收所述报文，基于所述第一格式进行监听框架的运行，以解析报文得到字段信息，包括：

5.如权利要求4所述的数据汇总集成优化方法，其特征在于，所述第一格式包括五个字段为：表名称、数据更新方式、字典列表、主键清单和查询条件。

6.如权利要求1或5所述的数据汇总集成优化方法，其特征在于，所述第一格式为json格式。

7.如权利要求6所述的数据汇总集成优化方法，其特征在于，所述数据更新维护包括：数据新增、数据查询、数据更新以及数据删除。

8.一种应用如权利要求1-7任一所述的数据汇总集成优化方法的系统，其特征在于，包括：

9.一种电子设备，包括：

10.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至7任意一项所述数据汇总集成优化方法的步骤。

技术总结
本发明公开了一种数据汇总集成优化方法及系统，方法包括：设定服务端元配置信息，以第一格式存储；在服务端构建数据库文件，遍历所有元配置信息，建立相应数据结构，得到第一数据库；客户端读取本地表数据，以第一格式进行封装，并打包为报文；服务端接收报文，基于第一格式进行监听框架的运行，以解析报文得到字段信息；基于不同字段信息对第一数据库进行更改，以得到第二数据库；响应于推送命令，服务端将第二数据库的数据推送至远端数据库，依据元配置信息构建或更新远端数据库；通过元配置信息无需调整代码，具备高度的可扩展性；可实现数据跨平台、跨系统集成；传输格式一致，可广泛适用于各种数据管理场景，占用性能资源更小。

技术研发人员：罗梦杰,张文龙,陈鹏,刘姜钧泰,秦丞,贺渝镔,唐宇凡,田昊
受保护的技术使用者：云南电网有限责任公司昆明供电局
技术研发日：
技术公布日：2025/3/31