数据迁移方法、装置、设备及计算机存储介质与流程

文档序号:21848078发布日期:2020-08-14 17:16阅读:来源:国知局

技术特征:

1.一种数据迁移方法,其特征在于,所述数据迁移方法应用于数据迁移系统,所述数据迁移系统包括原有集群和目标集群,所述原有集群包括主集群和备集群,所述数据迁移方法包括如下步骤:

将所述主集群中业务系统写入的数据实时复制到所述备集群,并基于所述备集群中的数据创建快照;

将所述快照迁移到所述目标集群,并对所述目标集群中的快照进行数据恢复,以获取快照数据,检测所述快照数据是否满足预设检测条件;

若不满足,则基于所述快照获取所述备集群中的增量数据,并将所述增量数据迁移至所述目标集群,检测所述目标集群中的增量数据是否完整;

若完整,则确定所述原有集群中的数据已完全迁移至所述目标集群。

2.如权利要求1所述的数据迁移方法,其特征在于,所述检测所述快照数据是否满足预设检测条件的步骤,包括:

获取所述备集群的存量数据,检测所述快照数据是否和所述存量数据匹配;

若所述快照数据和所述存量数据不匹配,则获取所述备集群中快照迁移前所在的历史文件,并获取所述目标集群中快照所在的线程文件,检测所述历史文件和所述现存文件是否匹配;

若所述历史文件和所述现存文件不匹配,则确定所述快照数据不满足预设检测条件。

3.如权利要求1所述的数据迁移方法,其特征在于,所述将所述快照迁移到所述目标集群,并对所述目标集群中的快照进行数据恢复的步骤,包括:

控制所述备集群中具有所述数据的表处于禁止状态,并根据输入的迁移指令将所述快照迁移至所述目标集群,将所述快照中的数据恢复至所述目标集群的工作目录,将具有所述快照中的数据的工作目录作为快照数据。

4.如权利要求1所述的数据迁移方法,其特征在于,所述检测所述目标集群中的增量数据是否完整的步骤,包括:

基于预设时间戳获取所述备集群的备集群数据,并获取所述目标集群的目标集群数据,校验所述备集群数据和所述目标集群数据之间的差异数据;

根据所述差异数据对所述备集群数据进行过滤,并检测所述过滤后的备集群数据是否和所述目标集群数据匹配;

若匹配,则确定所述目标集群中的增量数据完整。

5.如权利要求1所述的数据迁移方法,其特征在于,所述基于所述备集群中的数据创建快照的步骤,包括:

对所述备集群中的数据进行加锁,以获取加锁数据,将所述加锁数据刷盘到所述备集群中的hfile文件,并对具有所述加锁数据的hfile文件创建引用指针,根据所述引用指针创建快照。

6.如权利要求1所述的数据迁移方法,其特征在于,所述基于所述快照获取所述备集群中的增量数据的步骤,包括:

确定所述快照在所述备集群中所有数据的数据节点,根据所述数据节点对所述备集群中的所有数据进行回放,以获取所述备集群中的增量数据。

7.如权利要求1-6任一项所述的数据迁移方法,其特征在于,所述将所述主集群中业务系统写入的数据实时复制到所述备集群的步骤,包括:

将所述主集群中的表结构复制到所述备集群,并检测所述备集群接收的表结构中是否存在业务系统写入的数据;

若存在,则执行所述基于所述备集群中的数据创建快照的步骤;

若不存在,则对所述主集群中的复制机制进行修正,并输出未复制成功的提示信息。

8.一种数据迁移装置,其特征在于,所述数据迁移装置包括:

复制模块,用于将主集群中业务系统写入的数据实时复制到备集群,并基于所述备集群中的数据创建快照;

恢复模块,用于将所述快照迁移到目标集群,并对所述目标集群中的快照进行数据恢复,以获取快照数据,检测所述快照数据是否满足预设检测条件;

检测模块,用于若不满足,则基于所述快照获取所述备集群中的增量数据,并将所述增量数据迁移至所述目标集群,检测所述目标集群中的增量数据是否完整;

确定模块,用于若完整,则确定原有集群中的数据已完全迁移至所述目标集群。

9.一种数据迁移设备,其特征在于,所述数据迁移设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据迁移程序,所述数据迁移程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据迁移方法的步骤。

10.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有数据迁移程序,所述数据迁移程序被处理器执行时实现如权利要求1至7中任一项所述的数据迁移方法的步骤。


技术总结
本发明涉及金融科技(Fintech)技术领域,并公开了一种数据迁移方法,该方法包括:将所述主集群中业务系统写入的数据实时复制到所述备集群,并基于所述备集群中的数据创建快照;将所述快照迁移到所述目标集群,并对所述目标集群中的快照进行数据恢复,以获取快照数据,检测所述快照数据是否满足预设检测条件;若不满足,则基于所述快照获取所述备集群中的增量数据,并将所述增量数据迁移至所述目标集群,检测所述目标集群中的增量数据是否完整;若完整,则确定所述原有集群中的数据已完全迁移至所述目标集群。本发明还公开了一种数据迁移装置、设备和一种计算机存储介质。本发明实现了在业务不停服的同时,进行数据迁移。

技术研发人员:邹普
受保护的技术使用者:深圳前海微众银行股份有限公司
技术研发日:2020.04.30
技术公布日:2020.08.14
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1