一种日志采集分析运行管理方法、装置及存储介质与流程

本发明涉及一种日志采集分析运行管理方法、装置及存储介质，属于信息平台。

背景技术：

1、为保障数据中台现有监测指标的时效性、稳定性、准确性及后续监测范围的可扩展性，需要获取数据中台现有组件及任务运行情况产生的日志输出，围绕中台数据处理全链路流程，实现数据中台全链路运行情况日志统一归集。但是随着企业规模和业务需求的快速增长，传统的“烟囱式”研发模式已无法适应技术与业务结合的快速变化，难以敏捷响应企业多个层面的需求，因此大多数企业均向微服务架构转变。这就导致日志存储于多个不同的服务器上，使得日志数据收集与分析更加困难。

技术实现思路

1、本发明的目的在于克服现有技术中的不足，提供一种日志采集分析运行管理方法、装置及存储介质，能够解决日志数据收集与分析困难的技术问题。

2、为达到上述目的，本发明是采用下述技术方案实现的：

3、第一方面，本发明提供了一种日志采集分析运行管理方法，包括：

4、通过离线采集和在线采集从预配置的数据源处获取日志数据；

5、对离线采集和在线采集的日志数据进行整合并导入es数据库；

6、对es数据库中的日志数据进行一致性校验，若校验通过，则将es数据库中的日志数据迁移至rds数据库；若校验未通过，则重复上述步骤；

7、对rds中的日志数据进行备份、清洗以及转换，将清洗和转换后的日志数据下发至终端侧。

8、优选的，所述通过离线采集获取日志数据包括：

9、通过在服务器本地部署agent日志收集器，对服务器进行日志数据采集。

10、优选的，所述通过在线采集获取日志数据包括：

11、采用restful接口方式对服务器进行日志数据采集。

12、优选的，所述离线采集采用全量采集，所述在线采集采用增量采集。

13、优选的，所述对离线采集和在线采集的日志数据进行整合包括：

14、获取日志数据的生成日期，按生成日期对日志数据进行分区；

15、将处于同一分区的离线采集和在线采集的日志数据进行合并。

16、优选的，所述对es数据库中的日志数据进行一致性校验包括：

17、获取es数据库中的日志数据的数据条目数和采集条目数；

18、若数据条目数和采集条目数一致，则校验通过；

19、若数据条目数和采集条目数不一致，则校验未通过。

20、优选的，所述rds中的日志数据的清洗和转换包括：

21、过滤rds中的日志数据中的预设字段；

22、将过滤预设字段后日志数据的字段类型转换为预设类型。

23、第二方面，本发明提供了一种日志采集分析运行管理装置，所述装置包括：

24、数据采集模块，用于通过离线采集和在线采集从预配置的数据源处获取日志数据；

25、整合导入模块，用于对离线采集和在线采集的日志数据进行整合并导入es数据库；

26、数据校验模块，用于对es数据库中的日志数据进行一致性校验，若校验通过，则将es数据库中的日志数据迁移至rds数据库；若校验未通过，则重复上述步骤；

27、数据下发模块，用于对rds中的日志数据进行备份、清洗以及转换，将清洗和转换后的日志数据下发至终端侧。

28、第三方面，本发明提供了一种日志采集分析运行管理装置，包括处理器及存储介质；

29、所述存储介质用于存储指令；

30、所述处理器用于根据所述指令进行操作以执行根据上述方法的步骤。

31、第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

32、与现有技术相比，本发明所达到的有益效果：

33、本发明提供的一种日志采集分析运行管理方法、装置及存储介质，采样离线采集和在线采集获取日志数据，通过es对数据进行校核，通过rds对数据进行加工下发；实现数据中台全链路运行情况日志统一归集，构建数据中台统一的日志中心，解决日志数据收集与分析困难的技术问题。

技术特征：

1.一种日志采集分析运行管理方法，其特征在于，包括：

2.根据权利要求1所述的一种日志采集分析运行管理方法，其特征在于，所述通过离线采集获取日志数据包括：

3.根据权利要求1所述的一种日志采集分析运行管理方法，其特征在于，所述通过在线采集获取日志数据包括：

4.根据权利要求1所述的一种日志采集分析运行管理方法，其特征在于，所述离线采集采用全量采集，所述在线采集采用增量采集。

5.根据权利要求1所述的一种日志采集分析运行管理方法，其特征在于，所述对离线采集和在线采集的日志数据进行整合包括：

6.根据权利要求1所述的一种日志采集分析运行管理方法，其特征在于，所述对es数据库中的日志数据进行一致性校验包括：

7.根据权利要求1所述的一种日志采集分析运行管理方法，其特征在于，所述rds中的日志数据的清洗和转换包括：

8.一种日志采集分析运行管理装置，其特征在于，所述装置包括：

9.一种日志采集分析运行管理装置，其特征在于，包括处理器及存储介质；

10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。

技术总结
本发明公开了一种日志采集分析运行管理方法、装置及存储介质，其方法包括：通过离线采集和在线采集从预配置的数据源处获取日志数据；对离线采集和在线采集的日志数据进行整合并导入ES数据库；对ES数据库中的日志数据进行一致性校验，若校验通过，则将ES数据库中的日志数据迁移至RDS数据库；若校验未通过，则重复上述步骤；对RDS中的日志数据进行备份、清洗以及转换，将清洗和转换后的日志数据下发至终端侧；本发明能够解决日志数据收集与分析困难的技术问题。

技术研发人员：仇东配,梁明,李重阳,戴昌亮,陈俣
受保护的技术使用者：国电南瑞科技股份有限公司
技术研发日：
技术公布日：2024/1/12