日志处理方法、装置、电子设备及存储介质与流程

本公开涉及数据处理领域，具体地，涉及一种日志处理方法、装置、电子设备及存储介质。

背景技术：

1、随着互联网技术的蓬勃发展，用于记载日期、时间、使用者及动作等相关操作的描述的日志依然是至关重要的工具，但是在进行计算机操作时，经常会出现复杂冗长的数据，从而导致日志数据过大。而过大的日志会给日志存储服务器带来性能问题，从而影响日志的查询。

技术实现思路

1、为克服相关技术中存在的问题，本公开提供一种日志处理方法、装置、电子设备及存储介质。

2、根据本公开实施例的第一方面，提供一种日志处理方法，应用于终端，所述方法包括：

3、响应于第一业务生成请求日志，获取所述请求日志的响应数据；

4、当所述响应数据的数据量大于设定阈值时，生成与所述响应数据映射的响应id，所述响应数据和所述响应id的映射关系记录于映射日志；

5、将所述响应id替代所述响应数据写入普通日志；

6、将所述普通日志写入普通日志文件，以及将所述映射日志写入大日志文件；其中数据量大于数据量阈值的为大日志，数据量小于所述数据量阈值的为普通日志。

7、可选地，所述方法还包括：

8、当所述响应数据小于所述设定阈值时，将所述响应数据写入所述普通日志后将所述普通日志写入所述普通日志文件。

9、根据本公开实施例的第二方面，提供一种日志处理方法，应用于服务器，所述方法包括：

10、获取普通日志文件和大日志文件；

11、当所述大日志文件中存在更新时，发送映射日志消息至第一数据库，所述映射日志消息中包含所述大日志文件中的更新的映射日志，以将所述更新的映射日志存入所述第一数据库；

12、发送普通日志消息至第二数据库，所述普通日志消息中包含所述普通日志文件中的普通日志，以将所述普通日志存入所述第二数据库；

13、其中，在第一业务的请求日志的响应数据小于设定阈值时，所述响应数据被写入所述普通日志中，在所述响应数据大于所述设定阈值时，所述响应数据对应的响应id替代所述响应数据写入所述普通日志，所述映射日志用于记录第一业务的请求日志的响应数据与响应id的映射关系。

14、可选地，所述方法还包括：

15、当所述大日志文件中不存在更新时，发送普通日志消息至第二数据库，以将所述普通日志消息存入所述第二数据库。

16、可选地，所述方法还包括：

17、响应于通过可视化平台对第一日志进行展示的指令，确定所述第一日志中包含是否包含响应数据，所述第一日志为所述第二数据库中的任一普通日志；

18、在所述第一日志中包含响应id的情况下，从所述第一数据库中的映射日志中获取与所述第一日志中的响应id对应的响应数据；

19、将所述对应的响应数据替换所述第一日志中的响应id后，展示所述第一日志。

20、可选地，所述方法还包括：

21、在所述第一日志中包含响应数据的情况下，展示所述第一日志。

22、可选地，所述普通日志文件和所述大日志文件是通过filebeat采集器获取的，所述普通日志消息和所述映射日志消息为kafka消息，所述第一数据库为es数据库，所述第二数据库为mongodb数据库，所述第一数据库和所述第二数据库通过logstash监听所述普通日志消息和所述映射日志消息，所述可视化平台为kibana。

23、根据本公开实施例的第三方面，提供一种日志处理装置，应用于终端，所述装置包括：

24、数据获取模块，用于响应于第一业务生成请求日志，获取所述请求日志的响应数据；

25、生成模块，用于当所述响应数据的数据量大于设定阈值时，生成与所述响应数据映射的响应id，所述响应数据和所述响应id的映射关系记录于映射日志；

26、第一写入模块，用于将所述响应id替代所述响应数据写入普通日志；

27、第二写入模块，用于将所述普通日志写入普通日志文件，以及将所述映射日志写入大日志文件；其中数据量大于数据量阈值的为大日志，数据量小于所述数据量阈值的为普通日志。

28、根据本公开实施例的第四方面，提供一种日志处理装置，应用于服务器，所述装置包括：

29、文件获取模块，用于获取普通日志文件和大日志文件；

30、第一发送模块，用于当所述大日志文件中存在更新时，发送映射日志消息至第一数据库，所述映射日志消息中包含所述大日志文件中的更新的映射日志，以将所述更新的映射日志存入所述第一数据库；

31、第二发送模块，用于发送普通日志消息至第二数据库，所述普通日志消息中包含所述普通日志文件中的普通日志，以将所述普通日志存入所述第二数据库；

32、其中，在第一业务的请求日志的响应数据小于设定阈值时，所述响应数据被写入所述普通日志中，在所述响应数据大于所述设定阈值时，所述响应数据对应的响应id替代所述响应数据写入所述普通日志，所述映射日志用于记录第一业务的请求日志的响应数据与响应id的映射关系。

33、根据本公开实施例的第五方面，提供一种日志处理装置，包括：处理器；用于存储处理器可执行指令的存储器；

34、其中，所述处理器被配置为：执行所述可执行指令以实现上述第一方面中的任一实施方式所述的日志处理方法的步骤。

35、根据本公开实施例的第六方面，提供一种日志处理装置，包括：处理器；用于存储处理器可执行指令的存储器；

36、其中，所述处理器被配置为：执行所述可执行指令以实现上述第二方面中的任一实施方式所述的日志处理方法的步骤。

37、根据本公开实施例的第七方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，所述程序指令被处理器执行时实现本公开第一方面所述的日志处理方法的步骤。

38、根据本公开实施例的第八方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，所述程序指令被处理器执行时实现本公开第二方面所述的日志处理方法的步骤。

39、本公开的实施例提供的技术方案可以包括以下有益效果：

40、在上述技术方案中，响应于第一业务生成请求日志，获取请求日志的响应数据；当响应数据的数据量大于设定阈值时，生成与该响应数据映射的响应id，该响应数据和响应id的映射关系记录于映射日志；将该响应id替代响应数据写入普通日志；将普通日志写入普通日志文件，以及将映射日志写入大日志文件；其中数据量大于数据量阈值的为大日志，数据量小于数据量阈值的为普通日志。通过上述技术方案，当响应数据的数据量大于设定阈值时，利用和响应数据映射的响应id代替响应数据记录于日志中，一定程度上改善了日志中数据过大导致的存储问题，以及日志数据过大引发的日志查询困难的问题。

41、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种日志处理方法，其特征在于，应用于终端，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.一种日志处理方法，其特征在于，应用于服务器，所述方法包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求5或6所述的方法，其特征在于，所述普通日志文件和所述大日志文件是通过filebeat采集器获取的，所述普通日志消息和所述映射日志消息为kafka消息，所述第一数据库为es数据库，所述第二数据库为mongodb数据库，所述第一数据库和所述第二数据库通过logstash监听所述普通日志消息和所述映射日志消息，所述可视化平台为kibana。

8.一种日志处理装置，其特征在于，应用于终端，所述装置包括：

9.一种日志处理装置，其特征在于，应用于服务器，所述装置包括：

10.一种电子设备，其特征在于，包括：

11.一种电子设备，其特征在于，包括：

12.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1～2中任一项所述的日志处理方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求3～7中任一项所述的日志处理方法的步骤。

技术总结
本公开涉及一种日志处理方法、装置、电子设备及存储介质，涉及数据处理领域，该方法包括：响应于第一业务生成请求日志，获取请求日志的响应数据；当响应数据的数据量大于设定阈值时，生成与该响应数据映射的响应ID，该响应数据和响应ID的映射关系记录于映射日志；将该响应ID替代响应数据写入普通日志；将普通日志写入普通日志文件，以及将映射日志写入大日志文件；其中数据量大于数据量阈值的为大日志，数据量小于数据量阈值的为普通日志。能够一定程度上改善日志中数据过大导致的存储问题，以及日志数据过大引发的日志查询困难的问题。

技术研发人员：邢斐,刘晓建
受保护的技术使用者：北京开拓鸿业高科技有限公司
技术研发日：
技术公布日：2024/1/14