基于clickhouse的日志数据导出方法及相关设备与流程

本申请涉及数据运维，尤其涉及一种基于clickhouse的日志数据导出方法及相关设备，其中，相关设备包括基于clickhouse的日志数据导出装置、电子设备及存储介质。

背景技术：

1、随着计算机技术的发展，大数据在数字医疗、金融科技等领域应用越来越广泛，如利用大数据进行日志管理、数据分析等。以数字医疗为例，数字医疗平台在为用户提供疾病辅助诊断、健康管理、远程会诊等功能过程中，产生日志数据，利用大数据可以对数字医疗平台中的日志数据进行管理。其中，日志可以记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹，而日志导出是日志管理系统工作中的不可缺少的一环。

2、目前许多日志系统都把日志存储在elasticsearch或hdfs中，当用户检索到所需的日志后，需要将库中的日志数据导出成日志原文件那样的有序的log格式的文件的时候，因elasticsearh和hdfs中数据的无序性，日志导出往往会变得复杂繁琐且容器出错，从而导致日志导出的效率不高。

技术实现思路

1、鉴于以上内容，有必要提出一种基于clickhouse的日志数据导出方法及相关设备，以解决如何提高日志数据的导出效率这一技术问题，其中，相关设备包括基于clickhouse的日志数据导出装置、电子设备及存储介质。

2、本申请提供一种基于clickhouse的日志数据导出方法，所述方法包括：

3、配置日志参数以生成日志导出请求；

4、基于所述日志导出请求查询日志数据库以获取第一日志数据集；

5、过滤所述第一日志数据集中的异常日志获得第二日志数据集；

6、按照主键大小对所述第二日志数据集中的日志数据进行排序获得第三日志数据集；

7、对所述第三日志数据集进行数据格式统一后保存至预设云盘的归档日志空间内；

8、依据客户端的web页面统计所述归档日志空间内的日志数据并进行展示以便于用户导出所需的日志数据。

9、在一些实施例中，所述配置日志参数以生成日志导出请求包括：

10、依据预设方式在客户端的web页面配置日志参数，所述日志参数包括时间参数和关键字参数；

11、基于所述日志参数检索日志数据库，当检索到符合所述日志参数要求的日志时，基于所述日志参数生成日志导出请求；

12、发送所述日志导出请求至日志管理系统的服务端。

13、在一些实施例中，所述基于所述日志导出请求查询日志数据库以获取第一日志数据集包括：

14、接收所述日志导出请求并进行解析获得所述日志导出请求中包含的客户端主机名和日志参数；

15、依据预设接口建立所述客户端和所述日志数据库之间的连接；

16、基于所述客户端主机名和所述日志参数构建sql查询语句；

17、基于所述sql查询语句查询日志数据库获得第一日志数据集。

18、在一些实施例中，所述过滤所述第一日志数据集中的异常日志获得第二日志数据集包括：

19、判断所述第一日志数据集中是否携带有预设的异常日志标识；

20、当所述第一日志数据集中携带有预设的异常日志标识时，将携带有异常日志标识的日志数据作为异常日志进行滤除；

21、将滤除异常日志的第一日志数据集作为第二日志数据集。

22、在一些实施例中，所述按照主键大小对所述第二日志数据集中的日志数据进行排序获得第三日志数据集，包括：

23、合并所述第二日志数据集中日志数据的入库时间戳和偏移量作为所述日志数据的主键；

24、按照所述主键由小到大的顺序对所述第二日志数据集中的日志数据进行排序；

25、依据排序结果依次缓存所述第二日志数据集中的日志数据获得第三日志数据集。

26、在一些实施例中，所述对所述第三日志数据集进行数据格式统一后保存至预设云盘的归档日志空间内，包括：

27、依据预设的数据转换标准将所述第三日志数据集中的日志数据转换为统一的数据格式获得标准日志数据集；

28、依据日志压缩工具压缩所述标准日志数据集获得压缩日志数据集；

29、将所述压缩日志数据集以http的方式上传至预设云盘的归档日志空间内。

30、在一些实施例中，所述依据客户端的web页面统计所述归档日志空间内的日志数据并进行展示以便于用户导出所需的日志数据，包括：

31、依据客户端的web页面解压缩所述归档日志空间内的压缩日志数据集获得所述标准日志数据集；

32、依据预设规则统计所述标准日志数据集中的日志数据获得统计结果；

33、对所述统计结果进行可视化展示以便于用户导出所需的日志数据。

34、本申请实施例还提供一种基于clickhouse的日志数据导出装置，所述装置包括生成模块、查询模块、过滤模块、排序模块、保存模块以及导出模块：

35、所述生成模块，用于配置日志参数以生成日志导出请求；

36、所述查询模块，用于基于所述日志导出请求查询日志数据库以获取第一日志数据集；

37、所述过滤模块，用于过滤所述第一日志数据集中的异常日志获得第二日志数据集；

38、所述排序模块，用于按照主键大小对所述第二日志数据集中的日志数据进行排序获得第三日志数据集；

39、所述保存模块，用于对所述第三日志数据集进行数据格式统一后保存至预设云盘的归档日志空间内；

40、所述导出模块，用于依据客户端的web页面统计所述归档日志空间内的日志数据并进行展示以便于用户导出所需的日志数据。

41、本申请实施例还提供一种电子设备，所述电子设备包括：

42、存储器，存储至少一个指令；

43、处理器，执行所述存储器中存储的指令以实现所述的基于clickhouse的日志数据导出方法。

44、本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述的基于clickhouse的日志数据导出方法。

45、本申请通过对日志数据的排序和筛选，克服了传统方式导出日志数据的无序繁琐性，能够更简单高效的将clickhouse中的日志数据快速完整的导出

技术特征：

1.一种基于clickhouse的日志数据导出方法，其特征在于，所述方法包括：

2.如权利要求1所述的基于clickhouse的日志数据导出方法，其特征在于，所述配置日志参数以生成日志导出请求包括：

3.如权利要求1所述的基于clickhouse的日志数据导出方法，其特征在于，所述基于所述日志导出请求查询日志数据库以获取第一日志数据集包括：

4.如权利要求1所述的基于clickhouse的日志数据导出方法，其特征在于，所述过滤所述第一日志数据集中的异常日志获得第二日志数据集包括：

5.如权利要求1所述的基于clickhouse的日志数据导出方法，其特征在于，所述按照主键大小对所述第二日志数据集中的日志数据进行排序获得第三日志数据集，包括：

6.如权利要求1所述的基于clickhouse的日志数据导出方法，其特征在于，所述对所述第三日志数据集进行数据格式统一后保存至预设云盘的归档日志空间内，包括：

7.如权利要求6所述的基于clickhouse的日志数据导出方法，其特征在于，所述依据客户端的web页面统计所述归档日志空间内的日志数据并进行展示以便于用户导出所需的日志数据，包括：

8.一种基于clickhouse的日志数据导出装置，其特征在于，所述装置包括生成模块、查询模块、过滤模块、排序模块、保存模块以及导出模块：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于clickhouse的日志数据导出方法。

技术总结
本申请涉及数据运维技术领域，提出一种基于clickhouse的日志数据导出方法及相关设备，所述方法包括：配置日志参数以生成日志导出请求；基于日志导出请求查询日志数据库以获取第一日志数据集；过滤第一日志数据集中的异常日志获得第二日志数据集；按照主键大小对第二日志数据集中的日志数据进行排序获得第三日志数据集；对第三日志数据集进行数据格式统一后保存至预设云盘的归档日志空间内；依据客户端的web页面统计归档日志空间内的日志数据并进行展示。本申请通过对日志数据的排序和筛选，克服了传统方式导出日志数据的无序繁琐性，能够更简单高效的将clickhouse中的日志数据快速完整的导出。

技术研发人员：冯洋
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15