数据分区方法、装置、设备及计算机可读存储介质与流程

本申请涉及数据处理，尤其涉及一种数据分区方法、装置、设备及计算机可读存储介质。

背景技术：

1、随着互联网技术的高速发展以及大数据时代的来临，互联网每天同步的数据量能够达到千亿级别，数据的同步时效性以及数据处理任务的稳定性都面临着更高的挑战。因此，如果没有合适的资源自动计算支持，将会导致任务处理稳定性降低，甚至导致任务失败。

2、由于数据量是动态变化的，因此需要结合多种参数来对数据分区数量进行调节，尤其是在数据量突然增加时，如果不能对数据资源进行动态处理，将会导致内存溢出并造成资源的浪费。

技术实现思路

1、本申请实施例提供一种数据分区方法、装置、设备、计算机可读存储介质以及计算机程序产品，能够对数据资源进行动态调节，提升数据处理过程的稳定性。

2、本申请实施例的技术方案是这样实现的：

3、本申请实施例提供一种数据分区方法，所述方法包括：

4、获取数据处理架构中静态数据的平均数据大小，并获取所述数据处理架构中动态数据的总条数，所述静态数据为所述数据处理架构已接收数据，所述动态数据为所述数据处理架构持续接收数据，所述数据处理架构包括多个初始分区，所述初始分区的数量根据所述静态数据确定，每个分区用于处理接收到的数据；

5、基于所述平均数据大小以及所述动态数据的总条数，确定所述数据处理架构的期望分片数量；

6、获取所述数据处理架构的初始分区数量，响应于所述期望分片数量与所述初始分区数量不匹配，则对所述数据处理架构进行重分区。

7、本申请实施例提供一种数据分区装置，包括：

8、获取模块，用于获取数据处理架构中静态数据的平均数据大小，并获取所述数据处理架构中动态数据的总条数，还用于获取所述数据处理架构的初始分区数量；

9、计算模块，用于基于所述平均数据大小以及所述动态数据的总条数，确定所述数据处理架构的期望分片数量；

10、分区模块，用于响应于所述期望分片数量与所述初始分区数量不匹配，则对所述数据处理架构进行重分区。

11、本申请实施例提供一种数据分区设备，包括：

12、存储器，用于存储可执行指令；

13、处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的数据分区方法。

14、本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的数据分区方法。

15、本申请实施例具有以下有益效果：

16、基于平均数据大小以及动态数据的总条数，确定数据处理架构的期望分片数量，然后响应于期望分片数量与初始分区数量不匹配，则对数据处理架构进行重分区，相较于相关技术中使用数据架构初始分片策略，并在数据处理失败时人为调整数据分区数量而言，本申请实施例是对数据资源进行动态调节，提升了数据处理执行过程的稳定性。

技术特征：

1.一种数据分区方法，其特征在于，包括：

2.根据权利要求1所述方法，其特征在于，所述基于所述平均数据大小以及所述动态数据的总条数，确定所述数据处理架构的期望分片数量，包括：

3.根据权利要求2所述方法，其特征在于，所述基于所述平均数据大小，确定所述数据处理架构的每个分片所能容纳的分片数据总条数，包括：

4.根据权利要求2所述方法，其特征在于，所述基于所述动态数据的总条数以及所述分片数据总条数，确定所述数据处理架构的期望分片数量，包括：

5.根据权利要求1所述方法，其特征在于，所述响应于所述期望分片数量与所述初始分区数量不匹配，则对所述数据处理架构进行重分区，包括：

6.根据权利要求5所述方法，其特征在于，所述响应于所述扩展因子大于所述扩展因子阈值，对所述数据处理架构进行重分区，包括：

7.根据权利要求5所述方法，其特征在于，所述方法还包括：

8.根据权利要求7所述方法，其特征在于，所述基于所述第一性能、所述第二性能，更新所述第一扩展因子阈值，包括：

9.一种数据分区设备，其特征在于，所述数据分区设备包括：

10.一种计算机可读存储介质，存储有计算机可执行指令或者计算机程序，其特征在于，所述计算机可执行指令或者计算机程序被处理器执行时实现权利要求1至8任一项所述的数据分区方法。

技术总结
本申请提供了一种数据分区方法、装置、设备及计算机可读存储介质；方法包括：获取数据处理架构中静态数据的平均数据大小，并获取数据处理架构中动态数据的总条数，所述静态数据为所述数据处理架构已接收数据，所述动态数据为所述数据处理架构持续接收数据，所述数据处理架构包括多个初始分区，所述初始分区的数量根据所述静态数据确定，每个分区用于处理接收到的数据；基于平均数据大小以及动态数据的总条数，确定数据处理架构的期望分片数量；获取数据处理架构的初始分区数量；响应于期望分片数量与初始分区数量不匹配，则对数据处理架构进行重分区。通过本申请，能够实现对数据资源的动态调节，从而提升了数据处理过程的稳定性。

技术研发人员：扶剑
受保护的技术使用者：马上消费金融股份有限公司
技术研发日：
技术公布日：2024/5/6