数据迁移方法、装置、电子设备及存储介质与流程

本公开涉及通信，特别涉及一种数据迁移方法、装置、电子设备及存储介质。

背景技术：

1、随着互联网的迅速发展，需要存储的数据量呈指数级上升，适用于大数据存储的各类分布式存储系统应运而生。其中，分布式存储系统是将数据分散存储到多台独立的计算机存储设备上的存储系统。分布式存储系统包括至少一个存储节点，该至少一个存储节点中部署有客户端，以及一个或多个对象存储设备(object storage device，osd)模块。其中，每个osd模块可部署在一个存储节点上。关系型数据库是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库中的行和列被称为表，一组表组成了数据库。

2、在一些业务场景中，需要将原本存储在关系型数据库中的数据文件迁移至分布式存储系统中，但是，由于分布式存储系统与关系型数据库的数据存储方式不尽相同，因此，如何将原本存储在关系型数据库的数据文件迁移至分布式存储系统成为亟待解决的技术难题。

技术实现思路

1、本公开提供一种克服上述问题或者至少部分地解决上述问题的数据迁移方法、装置、电子设备及存储介质。

2、第一方面，本公开提供了一种数据迁移方法，包括：

3、根据待迁移的目标数据文件的文件描述信息，确定对应于所述目标数据文件的切分信息；

4、确定所述切分信息的信息类型，按照与所述信息类型相对应的信息切分方式，对所述目标数据文件进行切分处理，得到与任务并发数量相匹配的多个文件切片；

5、通过与所述任务并发数量相对应的多个迁移任务，分别获取并迁移所述多个文件切片的切片内容；其中，所述目标数据文件存储于关系型数据库，且每个迁移任务用于将对应文件切片中的切片内容迁移至分布式存储系统。

6、第二方面，本公开提供了一种数据迁移装置，包括：

7、确定单元，适于根据待迁移的目标数据文件的文件描述信息，确定对应于所述目标数据文件的切分信息；

8、处理单元，适于确定所述切分信息的信息类型，按照与所述信息类型相对应的信息切分方式，对所述目标数据文件进行切分处理，得到与任务并发数量相匹配的多个文件切片；

9、迁移单元，适于通过与所述任务并发数量相对应的多个迁移任务，分别获取并迁移多个文件切片的切片内容；

10、其中，所述目标数据文件存储于关系型数据库，且每个迁移任务用于将对应文件切片中的切片内容迁移至分布式存储系统。

11、第三方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的数据迁移方法。

12、第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现上述的数据迁移方法。

13、本公开所提供的实施例，能够根据待迁移的目标数据文件的文件描述信息，自动确定切分信息；并且，还能够根据切分信息的信息类型，确定与信息类型相对应的信息切分方式，从而对目标数据文件进行切分处理，得到多个文件切片，进而通过多个迁移任务迁移各个文件切片的切片内容。由此可见，在该方式中，一方面，能够根据待迁移的目标数据文件的文件描述信息自动确定切分信息；另一方面，能够根据切分信息的信息类型，自动确定与信息类型相对应的信息切分方式，从而实现对目标数据文件的切分处理。由于切分信息的类型多样，且各种类型的切分信息所对应的切分方式也可能各不相同，因此，通过分别针对不同类型的切分信息设置不同的信息切分方式，能够提升文件切分的准确性和效率，进而确保数据迁移过程的可靠性。

14、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种数据迁移方法，其特征在于，包括：

2.根据权利要求1所述的迁移方法，其特征在于，所述根据待迁移的目标数据文件的文件描述信息，确定对应于所述目标数据文件的切分信息，包括：

3.根据权利要求2所述的迁移方法，其特征在于，所述根据所述文件描述信息中记录的主键信息和/或时间信息，确定对应于所述目标数据文件的切分信息，包括：

4.根据权利要求3所述的迁移方法，其特征在于，所述基于所述主键信息所属主键类型确定对应于所述目标数据文件的切分信息，包括：

5.根据权利要求3所述的迁移方法，其特征在于，所述切分信息的信息类型包括以下中的至少一个：长整型类型、字符型类型以及时间类型；且所述信息切分方式包括以下中的至少一个：对应于长整型类型的第一切分方式、对应于字符型类型的第二切分方式、以及对应于时间类型的第三切分方式。

6.根据权利要求1-5任一所述的迁移方法，其特征在于，所述按照与所述信息类型相对应的信息切分方式，对所述目标数据文件进行切分处理，包括：

7.根据权利要求6所述的迁移方法，其特征在于，所述获取所述目标数据文件中与所述切分信息相对应的信息最大值以及信息最小值，包括：

8.根据权利要求7所述的迁移方法，其特征在于，所述对字符型类型的切分信息进行字符转换处理，得到与各个字符相对应的转换结果，包括：

9.根据权利要求6所述的迁移方法，其特征在于，所述按照所述切片预估数据量确定信息切分方式，包括：

10.根据权利要求9所述的迁移方法，其特征在于，所述根据i次循环中每次循环得到的调整后的划分方式，确定信息切分方式，包括：

11.根据权利要求9或10所述的迁移方法，其特征在于，所述根据各个预估切片的当前逻辑数据量，调整各个预估切片的划分方式，包括：

12.根据权利要求11所述的迁移方法，其特征在于，所述根据各个第一类切片的分布情况，调整各个预估切片的划分方式包括：将连续分布的至少两个第一类切片合并为一个调整后的预估切片；和/或，

13.根据权利要求1-4任一所述的迁移方法，其特征在于，所述根据待迁移的目标数据文件的文件描述信息，确定对应于所述目标数据文件的切分信息之前，所述方法还包括：

14.根据权利要求13所述的迁移方法，其特征在于，所述确定对应于所述目标数据文件的切分信息，包括：

15.一种数据迁移装置，其特征在于，包括：

16.一种电子设备，其特征在于，包括：

17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-14中任一项所述的数据迁移方法。

技术总结
本公开提供了一种数据迁移方法、装置、电子设备及存储介质，该方法包括：根据待迁移的目标数据文件的文件描述信息，确定对应于目标数据文件的切分信息；确定切分信息的信息类型，按照与信息类型相对应的信息切分方式，对目标数据文件进行切分处理，得到与任务并发数量相匹配的多个文件切片；通过与任务并发数量相对应的多个迁移任务，分别获取并迁移多个文件切片的切片内容；其中，目标数据文件存储于关系型数据库，且每个迁移任务用于将对应文件切片中的切片内容迁移至分布式存储系统。该方式通过分别针对不同类型的切分信息设置不同的信息切分方式，能够提升文件切分的准确性和效率，进而确保数据迁移过程的可靠性。

技术研发人员：王猛,郭剑霓,刘德华,蒋宁,吴海英
受保护的技术使用者：马上消费金融股份有限公司
技术研发日：
技术公布日：2024/1/15