数据处理方法、系统、装置、设备及计算机可读存储介质与流程

本申请涉及数据处理技术，尤其涉及一种数据处理方法、系统、装置、设备及计算机可读存储介质。

背景技术：

1、在互联网业务中，随着微服务的深入，线上服务越来越多，排查问题日益复杂。为了最大程度保证线上系统稳定，以及在出现故障时能够协助用户对故障进行快速的定位，监控服务在其中起着非常重要的作用。

2、目前，线上服务的监控日志首先要存储至磁盘，然后通过监控平台的客户端采集到日志之后，推送到消息中间件，之后还要经过流式引擎进行聚合运算，将聚合运算结果写入数据库，最后才能对外展示。相关技术中的监控平台需要部署和维护大量的中间件、服务器，不仅成本高，并且传输链路复杂，整个过程中任何一个环节时延增大，都会降低监控平台的实时性。

技术实现思路

1、本申请实施例提供一种数据处理方法、系统、装置、设备及计算机可读存储介质，能够提升数据监控的实时性，及时排查出隐患问题，提升网络系统的稳定性。

2、本申请实施例的技术方案是这样实现的：

3、本申请实施例提供一种数据处理方法，所述方法包括：

4、接收多个第二服务器发送的第一监控数据，所述第一监控数据包括应用名、业务标识、时间戳、指标类型和指标数值，所述第一监控数据是所述第二服务器对待处理监控数据进行预处理得到的，所述第一监控数据的接收时刻与所述待处理监控数据的采集时刻之间的时间差小于或者等于第一时长阈值；

5、确定所述第一监控数据缓存至第一缓存空间的第一缓存时长；

6、在所述第一缓存时长超过第二时长阈值的情况下，基于所述应用名、所述业务标识、所述时间戳和所述指标类型，确定所述业务标识对应的第二监控数据；

7、将所述第二监控数据发送至内存数据库。

8、本申请实施例提供一种数据处理方法，包括：

9、实时采集待监控对象的待处理监控数据，所述待处理监控数据包括应用名、业务标识、时间戳、指标类型和指标数值；

10、确定所述待处理监控数据缓存至第二缓存空间的第二缓存时长；

11、在所述第二缓存时长超过第三时长阈值的情况下，基于所述应用名、所述业务标识、所述时间戳和所述指标类型，确定所述指标类型对应的预处理的第一监控数据；

12、将所述预处理的第一监控数据发送至第一服务器。

13、本申请实施例提供一种数据处理系统，所述系统包括：

14、第二服务器，用于实时采集并缓存多条待处理监控数据；确定所述待处理监控数据缓存至第二缓存空间的第二缓存时长；在所述第二缓存时长超过第三时长阈值的情况下，基于所述应用名、所述业务标识、所述时间戳和所述指标类型，确定所述指标类型对应的预处理的第一监控数据，并将所述预处理的第一监控数据发送至第一服务器；

15、所述第一服务器，用于确定所述第一监控数据缓存至第一缓存空间的第一缓存时长；在所述第一缓存时长超过第二时长阈值的情况下，基于所述应用名、所述业务标识、所述时间戳和所述指标类型，确定所述业务标识对应的第二监控数据，并将所述第二监控数据发送至内存数据库；

16、所述内存数据库，用于存储所述第二监控数据。

17、本申请实施例提供一种数据处理装置，所述装置包括：

18、第一接收模块，用于接收多个第二服务器发送的预处理的第一监控数据，所述第一监控数据包括应用名、业务标识、时间戳、指标类型和指标数值，所述第一监控数据的接收时刻与待处理监控数据的采集时刻之间的时间差小于第一时长阈值，所述第一监控数据是所述第二服务器对所述待处理监控数据进行预处理得到的；

19、第一确定模块，用于确定所述第一监控数据缓存至第一缓存空间的第一缓存时长；

20、第二确定模块，用于在所述第一缓存时长超过第二时长阈值的情况下，基于所述应用名、所述业务标识、所述时间戳和所述指标类型，确定所述业务标识对应的第二监控数据；

21、第一发送模块，用于将所述第二监控数据发送至内存数据库。

22、本申请实施例提供一种数据处理装置，包括：

23、采集模块，用于实时采集待监控对象的待处理监控数据，所述待处理监控数据包括应用名、业务标识、时间戳、指标类型和指标数值；

24、第三确定模块，用于确定所述待处理监控数据缓存至第二缓存空间的第二缓存时长；

25、第四确定模块，用于在所述第二缓存时长超过第三时长阈值的情况下，基于所述应用名、所述业务标识、所述时间戳和所述指标类型，确定所述指标类型对应的预处理的第一监控数据；

26、第二发送模块，用于将所述预处理的第一监控数据发送至第一服务器。

27、本申请实施例提供一种计算机设备，包括：

28、存储器，用于存储计算机可执行指令；

29、处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本申请实施例提供的数据处理方法。

30、本申请实施例提供一种计算机可读存储介质，存储有计算机可执行指令，用于引起被处理器执行时，实现本申请实施例提供的数据处理方法。

31、本申请实施例提供一种计算机程序产品，包括计算机程序或计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时，实现本申请实施例提供的数据处理方法。

32、本申请实施例具有以下有益效果：

33、在本申请实施例中，第一服务器接收多个第二服务器发送的第一监控数据，其中第一监控数据是所述第二服务器对待处理监控数据进行预处理得到的，并且第一监控数据的接收时刻与待处理监控数据的采集时刻之间的时间差小于第一时长阈值，如此能够保证第一服务器接收到的第一监控数据的实时性，并且第一服务器在接收到第一监控数据之后是缓存至第一缓存空间的，而无需落盘存储，能够缩短存储延迟，降低存储成本；当第一监控数据缓存至第一缓存空间的第一缓存时长超过第一时长阈值的情况下，确定业务标识对应的第二监控数据，并将第二监控数据发送至内存数据库，如此在数据处理过程中，数据均存储在内存中，仅需维护内存数据库这一中间件，能够缩短数据传输链路，从而实现低延迟、高实时性、低存储成本的目的，并且由于缩短和简化了数据传输链路，因此能够降低维护成本，还能够及时排查出隐患问题，从而提升网络系统的稳定性。

技术特征：

1.一种数据处理方法，其特征在于，应用于第一服务器，所述方法包括：

2.根据权利要求1中所述的方法，其特征在于，所述基于所应用名、所述业务标识、所述时间戳和所述指标类型，确定所述业务标识对应的第二监控数据，包括：

3.根据权利要求1中所述的方法，其特征在于，所述将所述第二监控数据发送至内存数据库之前，所述方法还包括：

4.根据权利要求3中所述的方法，其特征在于，所述第一阻塞队列包括默认队列以及系统队列，所述将所述第二监控数据转存至第一阻塞队列，包括：

5.一种数据处理方法，其特征在于，应用于第二服务器，所述方法包括：

6.根据权利要求5中所述的方法，其特征在于，所述基于所述应用名、所述业务标识、所述时间戳和所述指标类型，确定所述指标类型对应的预处理的第一监控数据，包括：

7.根据权利要求5中所述的方法，其特征在于，所述将所述预处理的第一监控数据发送至第一服务器之前，所述方法还包括：

8.一种数据处理系统，其特征在于，所述系统包括：

9.根据权利要求8中所述的系统，其特征在于，所述系统还包括：

10.根据权利要求8或者9中所述的系统，其特征在于，所述内存数据库还用于：

11.一种数据处理装置，其特征在于，所述装置包括：

12.一种数据处理装置，其特征在于，所述装置包括：

13.一种计算机设备，其特征在于，所述设备包括：

14.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令被处理器执行时实现权利要求1至4任一项所述的数据处理方法，或者5至7任一项所述的数据处理方法。

技术总结
本申请提供了一种数据处理方法、系统、装置、设备及计算机存储介质；方法包括：接收多个第二服务器发送的预处理的第一监控数据，第一监控数据包括应用名、业务标识、时间戳、指标类型和指标数值，第一监控数据的接收时刻与待处理监控数据的采集时刻之间的时间差小于第一时长阈值，第一监控数据是所述第二服务器对所述待处理监控数据进行预处理得到的；确定第一监控数据缓存至第一缓存空间的第一缓存时长；在第一缓存时长超过第二时长阈值的情况下，基于应用名、业务标识、时间戳和指标类型，确定业务标识对应的第二监控数据；将第二监控数据发送至内存数据库。通过本申请，能够提升数据监控的实时性。

技术研发人员：孙立杰,杜晓宇,曾琳铖曦,蒋宁,吴海英
受保护的技术使用者：马上消费金融股份有限公司
技术研发日：
技术公布日：2024/5/6