数据库的数据同步方法、存储介质及设备与流程

本发明涉及数据库领域，特别是涉及一种数据库的数据同步方法、存储介质及设备。

背景技术：

1、在利用数据同步工具对数据库的数据进行实时同步的过程中，为了确保源端数据库与目标端数据库中数据的一致性，需要对源端和目标端数据库的数据进行比对校验，以确保在数据同步过程中没有丢失数据，并及时对差异数据进行修复。

2、现有技术中，数据同步与数据校验工作长时间并行执行，即在向目标端数据库同步数据的同时，也会校验目标端数据库中的已入库数据。然而数据实时同步过程中，数据一直处于变化状态，目标端数据库的数据同步工作可能会存在延迟，尤其在业务高峰期间。数据同步延迟就会导致数据校验结果不准确，以此进行差异数据修复后的数据会和数据同步产生的数据冲突。

技术实现思路

1、基于上述背景，本发明的目的是提供一种不会发生数据冲突的数据库的数据同步方法、存储介质及设备。

2、本发明的一个进一步目的是提高数据库同步的数据准确性以及同步效率。

3、特别地，本发明提供了一种数据库的数据同步方法，数据库的数据同步方法包括：

4、在从源端数据库向目标端数据库同步数据的过程中，获取数据校验触发事件；

5、暂停目标端数据库的数据入库；

6、分别获取源端数据库和目标端数据库的校验数据，并记录获取的源端数据库的校验数据的最新日志号，作为设置日志号；

7、根据源端数据库的校验数据，对目标端数据库的校验数据进行校验，以确定目标端数据库的校验数据中是否存在差异数据；

8、若是，对目标端数据库的差异数据进行修复；

9、根据设置日志号恢复目标端数据库的数据入库。

10、可选地，分别获取源端数据库和目标端数据库的校验数据的步骤包括：对源端数据库进行快照处理，以获取源端数据库的校验数据。

11、可选地，根据所述设置日志号恢复目标端数据库的数据入库的步骤包括：

12、目标端数据库获取增量数据；

13、比较增量数据的日志号与设置日志号；

14、将日志号大于设置日志号的增量数据进行入库。

15、可选地，在比较增量数据的日志号与设置日志号之后还包括：

16、直接跳过日志号小于或等于设置日志号的增量数据，并获取下一条增量数据。

17、可选地，获取数据校验触发事件的步骤包括：

18、获取预设的数据校验启动开关被操作发出的启动事件。

19、可选地，获取数据校验触发事件的步骤包括：

20、获取到达设定校验时间的启动事件。

21、可选地，对目标端数据库的差异数据进行修复的步骤包括：

22、根据校验结果获取源端数据库和目标端数据库的校验数据之间的差异数据；

23、根据差异数据对目标端数据库的已入库数据进行修复。

24、可选地，在暂停目标端数据库的数据入库的步骤之后还包括：

25、记录目标端数据库已入库数据的最新日志号，作为断点日志号；并且

26、差异数据包括：源端数据库的校验数据中日志号大于断点日志号的数据，以及目标端数据库的已入库数据中与源端数据库中数据不同的数据。

27、本发明还提供了一种机器可读存储介质，其上存储有机器可执行程序，机器可执行程序被处理器执行时实现上述任一种数据库的数据同步方法。

28、本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的机器可执行程序，并且处理器执行机器可执行程序时实现上述任一种数据库的数据同步方法。

29、本发明的数据库的数据同步方法，通过获取数据校验触发事件的方式触发数据校验。在数据校验的过程中，首先暂停目标端数据库的数据入库，然后获取源端数据库和目标端数据库的校验数据并进行校验。获取数据的同时记录源端数据库的校验数据的最新日志号(设置日志号)。完成校验后根据设置日志号恢复目标端数据库的数据入库。由于数据校验时目标端数据库的数据入库处于暂停状态，因此能够准确比对出差异数据，在对差异数据进行修复后再根据设置日志号恢复目标端数据库的数据入库，从而不会出现数据同步与数据校验工作并行执行时会发生的数据冲突问题。

30、进一步地，本发明的数据库的数据同步方法还可自动或受控地触发数据校验，并能够保证恢复目标端数据库的数据入库后的数据的一致性。

31、更进一步地，本发明的数据库的数据同步方法，通过校验保证了目标端数据的数据准确性，并且利用设置日志号，实现了对校验数据的快照，在恢复同步后，可以仅仅对日志号大于设置日志号的增量数据进行入库，减少校验对同步的影响，提高同步效率。

32、根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

技术特征：

1.一种数据库的数据同步方法，包括：

2.根据权利要求1所述的数据库的数据同步方法，其中所述分别获取所述源端数据库和所述目标端数据库的校验数据的步骤包括：

3.根据权利要求1所述的数据库的数据同步方法，其中所述根据所述设置日志号恢复所述目标端数据库的数据入库的步骤包括：

4.根据权利要求3所述的数据库的数据同步方法，在所述比较所述增量数据的日志号与所述设置日志号的步骤之后还包括：

5.根据权利要求1所述的数据库的数据同步方法，其中所述获取数据校验触发事件的步骤包括：

6.根据权利要求1所述的数据库的数据同步方法，其中所述获取数据校验触发事件的步骤包括：

7.根据权利要求1所述的数据库的数据同步方法，其中所述对所述目标端数据库的所述差异数据进行修复的步骤包括：

8.根据权利要求7所述的数据库的数据同步方法，其中在所述暂停所述目标端数据库的数据入库的步骤之后还包括：

9.一种机器可读存储介质，其上存储有机器可执行程序，所述机器可执行程序被处理器执行时实现根据权利要求1至8任一项所述的数据库的数据同步方法。

10.一种计算机设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的机器可执行程序，并且所述处理器执行所述机器可执行程序时实现根据权利要求1至8任一项所述的数据库的数据同步方法。

技术总结
本发明提供了一种数据库的数据同步方法、存储介质及设备。数据库的数据同步方法包括：获取数据校验触发事件，暂停目标端数据库的数据入库，分别获取源端数据库和目标端数据库的校验数据，并记录获取的源端数据库的校验数据的最新日志号，作为设置日志号。对目标端数据库的校验数据进行校验，以确定目标端数据库的校验数据中是否存在差异数据。若是，对目标端数据库的差异数据进行修复。根据设置日志号恢复目标端数据库的数据入库。数据校验时目标端数据库的数据入库处于暂停状态，因此能够准确比对出差异数据，在对差异数据修复后再根据设置日志号恢复目标端数据库的数据入库，就不会出现数据同步与数据校验工作并行执行时会发生的数据冲突问题。

技术研发人员：李艺鸿,王凯龙
受保护的技术使用者：北京人大金仓信息技术股份有限公司
技术研发日：
技术公布日：2024/3/27