一种数据处理方法、装置及电子设备与流程

本申请涉及数据库，尤其涉及一种数据处理方法、装置及电子设备。

背景技术：

1、在数据库技术领域，通常会根据实际需求，将一个数据库中的数据拆分存储至多个数据库中，以分散单个数据库的设备负载，提高数据库中的数据的可靠性。在一些应用场景中，存在将数据由当前所处的数据库迁移至目标数据库，以对原数据库进行扩容的需求。但是，现有的数据传输服务工具仅支持数据库的整体迁移，这导致若目标数据库容量无法支持存储整体迁移的数据库的数据时，容易出现数据迁移失败。

技术实现思路

1、有鉴于此，本申请实施例提供了一种数据处理方法、装置及电子设备，以提高数据迁移成功率。

2、第一方面，本申请实施例提供了一种数据处理方法，其中，所述方法包括：

3、获取源数据的第一数据特征标识及目标数目，其中，所述数据特征标识用于表征所述源数据在源对象中所处的数据分区，所述目标数目用于表征所述源数据迁移至的目标对象的数目，所述目标数目根据所述源数据的数据量预先确定得到；

4、基于所述第一数据特征标识为目标数据特征标识及所述目标数目，构建数据筛选条件；

5、将所述源对象中满足同一数据筛选条件的源数据迁移至同一目标对象中。

6、结合第一方面，在第二种可能的实施例中，所述源对象包括：数据库或数据表，所述目标对象包括：数据库或数据表。

7、结合第一方面，在第三种可能的实施例中，所述基于所述第一数据特征标识为目标数据特征标识及所述目标数目，构建数据筛选条件包括：

8、利用所述目标数据特征标识对所述目标数目取模，得到所述数据筛选条件；

9、所述将所述源对象中满足同一数据筛选条件的源数据迁移至同一目标对象中，包括：

10、将所述取模结果相同的源数据迁移至同一目标对象中。

11、结合第一方面，在第四种可能的实施例中，所述目标数目预先基于所述源数据的数据量与预期数据量确定得到。

12、结合第一方面的第二种至第四种可能的实施例，在第五种可能的实施例中，若各所述目标对象中存在访问量大于预设访问量阈值的目标对象，确定所述源数据的第二数据特征标识，其中，所述第二数据特征标识不为所述源数据的唯一性标识；

13、基于所述第二数据特征标识为目标数据特征标识及所述目标数目，构建数据筛选条件；

14、将所述源对象中满足同一数据筛选条件的源数据迁移至同一目标对象中。

15、第二方面，本申请实施例提供了一种数据处理装置，其中，所述装置包括：

16、获取模块，用于获取源数据的第一数据特征标识及目标数目，其中，所述数据特征标识用于表征所述源数据在源对象中所处的数据分区，所述目标数目用于表征所述源数据迁移至的目标对象的数目，所述目标数目根据所述源数据的数据量预先确定得到；

17、构建模块，用于基于所述第一数据特征标识为目标数据特征标识及所述目标数目，构建数据筛选条件；

18、数据迁移模块，用于将所述源对象中满足同一数据筛选条件的源数据迁移至同一目标对象中。

19、结合第二方面，在第二种可能的实施例中，所述源对象包括：数据库或数据表，所述目标对象包括：数据库或数据表，所述目标数目预先基于所述源数据的数据量与预期数据量确定得到。

20、结合第二方面，在第三种可能的实施例中，所述构建模块具体用于利用所述目标数据特征标识对所述目标数目取模，得到所述数据筛选条件；所述数据迁移模块具体用于将所述取模结果相同的源数据迁移至同一目标对象中。

21、结合第二方面的第二种至第三种可能的实施例，在第四种可能的实施例中，所述装置还包括：

22、确定模块，用于在所述满足同一数据筛选条件的源数据迁移至同一目标对象中之后，若各所述目标对象中存在访问量大于预设访问量阈值的目标对象，确定所述源数据的第二数据特征标识，其中，所述第二数据特征标识不为所述源数据的唯一性标识；

23、构建模块，还用于基于所述第二数据特征标识为目标数据特征标识及所述目标数目，构建数据筛选条件。

24、第三方面，本申请实施例提供的了一种电子设备，其中，包括：

25、处理器；以及

26、存储程序的存储器，

27、其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行第一方面所述的数据处理方法。

28、第四方面，本申请实施例提供了一种储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行第一方面所述的数据处理方法。

29、本申请有益的技术效果：

30、本申请实施例提供了一种数据处理方法、装置及电子设备，通过获取源数据的第一数据特征标识及目标数目，基于第一数据特征标识为目标数据特征标识以及目标对象的目标数目，构建数据筛选条件，将源对象中满足同一数据筛选条件的源数据迁移至同一目标对象中。

31、选用本申请实施例，因源数据的数据特征标识为数据在数据库中所处的分区，结合目标对象的数目是根据源数据的数据量预先确定得到的，如此，基于数据特征标识与目标数目构建得到的筛选条件，可将源对象中存储的数据再次进行划分，将满足同一筛选条件的源数据迁移至同一目标对象中。这样，即使一个目标对象的容量无法支持存储整个源对象中的所有源数据，也可实现源对象中的源数据打散后分别迁移至不同的目标对象中，有效保证源数据均能够顺利迁移至对应的目标对象中进行存储，有效提高了数据迁移成功率。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述源对象包括：数据库或数据表，所述目标对象包括：数据库或数据表。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一数据特征标识为目标数据特征标识及所述目标数目，构建数据筛选条件包括：

4.根据权利要求1所述的方法，其特征在于，所述目标数目预先基于所述源数据的数据量与预期数据量确定得到。

5.根据权利要求1-4任一所述的方法，其特征在于，在所述满足同一数据筛选条件的源数据迁移至同一目标对象中之后，所述方法还包括：

6.一种数据处理装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述源对象包括：数据库或数据表，所述目标对象包括：数据库或数据表，所述目标数目预先基于所述源数据的数据量与预期数据量确定得到。

8.根据权利要求6所述的装置，其特征在于，所述构建模块具体用于利用所述目标数据特征标识对所述目标数目取模，得到所述数据筛选条件；所述数据迁移模块具体用于将所述取模结果相同的源数据迁移至同一目标对象中。

9.根据权利要求6-8任一所述的装置，其特征在于，所述装置还包括：

10.一种电子设备，包括：

11.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-5中任一项所述的方法。

技术总结
本申请提供一种数据处理方法、装置及电子设备，其中，该方法通过获取源数据的第一数据特征标识及目标数目，基于数据特征标识以及目标对象的目标数目，构建数据筛选条件，将源对象中满足同一数据筛选条件的源数据移动至同一目标对象中。因源数据的数据特征标识为数据在数据库中所处的分区，目标对象的数目是根据源数据的数据量预先确定得到的，如此，基于数据特征标识与目标数目构建得到的筛选条件，可将源对象中存储的数据再次进行划分，将满足同一筛选条件的源数据移动至同一目标对象中。这样可实现源对象中的源数据打散后分别移动至不同的目标对象中，有效保证的源数据均能够顺利移动至对应的目标对象中进行存储，有效提高了数据迁移成功率。

技术研发人员：王朋,陈存利,骆维
受保护的技术使用者：度小满科技(北京)有限公司
技术研发日：
技术公布日：2024/1/13