数据处理方法、装置、电子设备及存储介质与流程

本公开涉及计算机，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术：

1、随着计算机技术和互联网技术的发展，各种应用程序受到广泛使用，应用程序的日志管理也愈发重要。

2、相关技术中，开发人员需要编写大量代码进行数据埋点，从而将日志数据进行收集。收集后的日志数据可以可视化展示。在每次进行可视化展示时，都需要开发人员手动调取可视化展示所需的日志数据。

3、相关技术中，管理日志数据的人工成本高，日志数据的管理效率较低。

技术实现思路

1、本公开提供一种数据处理方法、装置、电子设备及存储介质，以至少解决相关技术中管理日志数据的人工成本高，日志数据的管理效率较低的问题。本公开的技术方案如下：

2、根据本公开实施例的第一方面，提供一种数据处理方法，包括：

3、获取日志管理配置信息，所述日志管理配置信息包括目标日志数据对应的属性信息；

4、基于所述属性信息，从日志数据集中获取所述目标日志数据；

5、根据所述目标日志数据，展示日志管理信息。

6、在一些可能的设计中，所述获取日志管理配置信息，包括：

7、显示日志管理配置页面；

8、响应于所述日志管理配置页面触发的配置操作，获取所述属性信息；

9、基于所述属性信息生成所述日志管理配置信息。

10、在一些可能的设计中，所述基于所述属性信息，从日志数据集中获取所述目标日志数据，包括：

11、生成所述属性信息对应的数据查询指令；

12、对所述日志数据集执行所述数据查询指令，得到所述目标日志数据。

13、在一些可能的设计中，所述方法还包括：

14、获取数据日志记录对应的日志数据；

15、根据预设的数据处理规则对所述日志数据进行数据处理，得到所述日志数据集。

16、在一些可能的设计中，所述数据日志记录包括业务日志记录，所述获取数据日志记录对应的日志数据，包括：

17、响应于主线程触发的所述业务日志记录对应的上传指令，创建子线程；

18、基于所述子线程确定所述业务日志记录与空间占用阈值之间的判断结果，并将所述判断结果发送至主线程；

19、在所述判断结果指示所述业务日志记录对应的空间占用量超过所述空间占用阈值的情况下，切割上传所述业务日志记录对应的业务日志数据，所述日志数据包括所述业务日志数据；

20、在所述判断结果指示所述空间占用量未超过所述第一空间占用阈值的情况下，上传所述业务日志数据。

21、在一些可能的设计中，所述数据日志记录包括至少两种类型的服务日志记录，所述获取数据日志记录对应的日志数据，包括：

22、采集所述至少两种类型的服务日志记录；

23、对所述至少两种类型的服务日志记录中的数据进行格式化处理，得到目标格式的服务日志数据，所述日志数据包括所述服务日志数据。

24、在一些可能的设计中，所述数据处理规则包括数据长度阈值和预设字符类型，所述根据预设的数据处理规则对所述日志数据进行数据处理，得到所述日志数据集，包括：

25、在所述日志数据中查询数据长度超过所述数据长度阈值的目标数据项以及所述预设字符类型对应的目标字符串；

26、在查询到所述目标数据项的情况下，对所述目标数据项进行分段切割处理，得到分段后的数据；

27、在查询到所述目标字符串的情况下，对所述目标字符串进行清洗处理，得到清洗后的字符串；

28、在所述日志数据集中存储所述分段后的数据和所述清洗后的字符串。

29、在一些可能的设计中，所述根据所述目标日志数据，展示日志管理信息包括：

30、对所述目标日志数据进行分析处理，得到至少一种指标数据，所述至少一种指标数据表征目标应用服务的运行情况；

31、展示所述至少一种指标数据，所述日志管理信息包括所述至少一种指标数据。

32、根据本公开实施例的第二方面，提供一种数据处理装置，包括：

33、配置信息获取模块，被配置为执行获取日志管理配置信息，所述日志管理配置信息包括目标日志数据对应的属性信息；

34、日志数据获取模块，被配置为执行基于所述属性信息，从日志数据集中获取所述目标日志数据；

35、管理信息展示模块，被配置为执行根据所述目标日志数据，展示日志管理信息。

36、在一些可能的设计中，所述配置信息获取模块包括：

37、页面显示单元，被配置为执行显示日志管理配置页面；

38、属性信息获取单元，被配置为执行响应于所述日志管理配置页面触发的配置操作，获取所述属性信息；

39、配置信息生成单元，被配置为执行基于所述属性信息生成所述日志管理配置信息。

40、在一些可能的设计中，所述日志数据获取模块包括：

41、查询指令生成单元，被配置为执行生成所述属性信息对应的数据查询指令；

42、日志数据查询单元，被配置为执行对所述日志数据集执行所述数据查询指令，得到所述目标日志数据。

43、在一些可能的设计中，所述装置还包括：

44、日志数据采集模块，被配置为执行获取数据日志记录对应的日志数据；

45、日志数据整理模块，被配置为执行根据预设的数据处理规则对所述日志数据进行数据处理，得到所述日志数据集。

46、在一些可能的设计中，所述数据日志记录包括业务日志记录，所述日志数据采集模块，包括：

47、子线程创建单元，被配置为执行响应于主线程触发的所述业务日志记录对应的上传指令，创建子线程；

48、判断结果确定单元，被配置为执行基于所述子线程确定所述业务日志记录与空间占用阈值之间的判断结果，并将所述判断结果发送至主线程；

49、日志数据上传单元，被配置为执行在所述判断结果指示所述业务日志记录对应的空间占用量超过所述空间占用阈值的情况下，切割上传所述业务日志记录对应的业务日志数据，所述日志数据包括所述业务日志数据；

50、所述日志数据上传单元，还被配置为执行在所述判断结果指示所述空间占用量未超过所述第一空间占用阈值的情况下，上传所述业务日志数据。

51、在一些可能的设计中，所述数据日志记录包括至少两种类型的服务日志记录，所述日志数据采集模块还包括：

52、服务日志采集单元，被配置为执行采集所述至少两种类型的服务日志记录；

53、服务日志格式化单元，被配置为执行对所述至少两种类型的服务日志记录中的数据进行格式化处理，得到目标格式的服务日志数据，所述日志数据包括所述服务日志数据。

54、在一些可能的设计中，所述数据处理规则包括数据长度阈值和预设字符类型，所述日志数据整理模块，包括：

55、数据查询单元，被配置为执行在所述日志数据中查询数据长度超过所述数据长度阈值的目标数据项以及所述预设字符类型对应的目标字符串；

56、数据分段单元，被配置为执行在查询到所述目标数据项的情况下，对所述目标数据项进行分段切割处理，得到分段后的数据；

57、数据清洗单元，被配置为执行在查询到所述目标字符串的情况下，对所述目标字符串进行清洗处理，得到清洗后的字符串；

58、数据存储单元，被配置为执行在所述日志数据集中存储所述分段后的数据和所述清洗后的字符串。

59、在一些可能的设计中，所述管理信息展示模块包括：

60、指标数据确定单元，被配置为执行对所述目标日志数据进行分析处理，得到至少一种指标数据，所述至少一种指标数据表征目标应用服务的运行情况；

61、指标数据展示单元，被配置为执行展示所述至少一种指标数据，所述日志管理信息包括所述至少一种指标数据。

62、根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的数据处理方法。

63、根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面中任一项所述的数据处理方法。

64、根据本公开实施例的第五方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例的第一方面中任一项所述的数据处理方法。

65、本公开的实施例提供的技术方案至少带来以下有益效果：

66、通过获取日志管理配置信息中配置的目标日志数据对应的属性信息，可以自动从目标日志数据集中获取目标日志数据，降低了人工成本，有效提升了日志数据的获取效率；根据自动获取的目标日志数据可以自动地可视化展示日志管理信息，有效提升了日志数据的展示效率，整体上提升了日志数据的管理效率。

67、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。