一种数据处理方法、装置、计算机设备及可读存储介质与流程

本申请涉及计算机，尤其涉及一种数据处理方法、装置、计算机设备及可读存储介质。

背景技术：

1、在实时流计算系统中，当流计算遇到数据量突增时，即数据上报流量增大时，流处理计算引擎会面临处理不过来的问题。例如使用kafka作为消息队列，会出现数据堆积，flink(数据流执行引擎)消费出现反压的现象，此时需要将flink和kafka的并行度进行扩充，以提高实时数据处理的能力。

2、然而，目前的一些解决方案中并行度调整的量级比较笼统，可能会造成资源浪费或者资源不够的情况，并且通常是通过停止数据流的处理来重新分配资源，实现并行度的扩充或缩减，而这可能会导致数据处理延迟或数据丢失的问题。为此，有必要设计一种不仅能够合适地调整并行度，并且保证数据处理质量的方案。

技术实现思路

1、本申请实施例提供一种数据处理方法、装置、计算机设备及可读存储介质，可以通过对数据处理过程中的故障进行实时地检测与监控，使得并行度得到合理地调整，同时避免停止流数据处理引擎来实现并行度的弹性伸缩，保证了数据处理的无损性和实时性。

2、本申请实施例一方面提供了一种数据处理方法，包括：

3、获取第一流数据处理引擎在处理消息中间件存储的数据时的状态信息；

4、若状态信息满足并行度调整条件，则根据状态信息确定目标并行度；

5、根据目标并行度调整消息中间件的并行度，并根据目标并行度确定第二流数据处理引擎，第二流数据处理引擎用于处理并行度调整后的消息中间件存储的数据。

6、本申请实施例一方面提供了一种数据处理装置，包括：

7、获取模块，用于获取第一流数据处理引擎在处理消息中间件存储的数据时的状态信息；

8、确定模块，用于若状态信息满足并行度调整条件，则根据状态信息确定目标并行度；

9、确定模块，还用于根据目标并行度调整消息中间件的并行度，并根据目标并行度确定第二流数据处理引擎，第二流数据处理引擎用于处理并行度调整后的消息中间件存储的数据。

10、本申请实施例一方面提供了一种计算机设备，包括：处理器、存储器以及网络接口；处理器与存储器、网络接口相连，其中，网络接口用于提供网络通信功能，存储器用于存储程序代码，处理器用于调用程序代码，以执行本申请实施例中的数据处理方法。

11、本申请实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，执行本申请实施例中的数据处理方法。

12、相应的，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例中一方面提供的数据处理方法。

13、在本申请实施例中，通过第一流数据处理引擎针对消息中间件存储的数据处理时的状态信息来确定目标并行度，可以按需获取并行度，使得并行度和具体的数据处理需求相匹配，避免浪费资源。另外，根据目标并行度确定新的流数据处理引擎，即第二流数据处理引擎，该第二流数据处理引擎用于及时处理并行度调整后的消息中间件的数据，可以在第一流数据处理引擎不停止的情况下同时处理消息中间件中的数据，使得数据处理不延迟、不丢失，进而提高数据处理的实时性和准确性。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述状态信息包括数据消费的滞后量，所述若所述状态信息满足并行度调整条件，则根据所述状态信息确定目标并行度之前，所述方法还包括：

3.如权利要求1所述的方法，其特征在于，所述状态信息包括数据消费的滞后量，所述若所述状态信息满足并行度调整条件，则根据所述状态信息确定目标并行度之前，所述方法还包括：

4.如权利要求1～3中任一项所述的方法，其特征在于，所述状态信息包括数据消费的滞后量，所述根据所述状态信息确定目标并行度，包括：

5.如权利要求1～3中任一项所述的方法，其特征在于，所述根据所述目标并行度确定第二流数据处理引擎，包括：

6.如权利要求5所述的方法，其特征在于，所述第二流数据处理引擎包括接收单元、计算单元以及入库单元，所述在所述第二流数据处理引擎中启动与所述目标并行度匹配的一个或多个数据处理线程，包括：

7.如权利要求1所述的方法，其特征在于，所述根据所述目标并行度调整所述消息中间件的并行度，并根据所述目标并行度确定第二流数据处理引擎之后，所述方法还包括：

8.一种数据处理装置，其特征在于，包括：

9.一种计算机设备，其特征在于，包括：处理器、存储器以及网络接口；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行权利要求1-7任一项所述的数据处理方法。

技术总结
本申请实施例公开了一种数据处理方法、装置、计算机设备及可读存储介质，该数据处理方法包括：获取第一流数据处理引擎在处理消息中间件存储的数据时的状态信息；若状态信息满足并行度调整条件，则根据状态信息确定目标并行度；根据目标并行度调整消息中间件的并行度，并根据目标并行度确定第二流数据处理引擎，第二流数据处理引擎用于处理并行度调整后的消息中间件存储的数据。通过本申请实施例，可以通过对数据处理过程中的故障进行实时地检测与监控，使得并行度得到合理地调整，同时避免停止流数据处理引擎来实现并行度的弹性伸缩，保证了数据处理的无损性和实时性。

技术研发人员：郑祥云
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/13