一种数据同步的方法及装置与流程

本申请涉及数据库领域，特别是指一种数据同步的方法及装置。

背景技术：

1、在数据迁移过程中，或者在使用数据库的开发项目中，经常在不同数据库之间进行数据的同步传输，需要将源数据库中的数据传输到目标数据库中。

2、在现有技术中，通过接口文件传输数据，或者通过开发etl(是英文extract-transform-load的缩写，用来描述将数据从来源端经过抽取、转换、加载至目的端的过程)作业，并调度etl作业传输数据。但通过现有技术进行数据的同步，具有时效性差的缺点。

技术实现思路

1、有鉴于此，本申请提供了一种数据同步的方法及装置，从而达到提高数据同步的时效性的目的。

2、本申请提供的一种数据同步的方法是这样实现的：

3、根据配置参数，连接源数据库和目标数据库，配置参数用于获取源数据库的源数据和目标数据库的目标数据；

4、读取源数据库的日志信息，得到第一目标操作，日志信息指示源数据库的变更记录；

5、在目标数据库中重放第一目标操作。

6、可选地，读取源数据库的日志信息，得到第一目标操作后，还包括：

7、根据源数据库的日志信息，对第一目标操作进行过滤，得到第二目标操作；

8、则在目标数据库中重放第一目标操作，包括：

9、在目标数据库中重放第二目标操作。

10、可选地，第一目标操作包含多项操作，在目标数据库中重放第一目标操作，包括：

11、按照多项操作的时间顺序，在目标数据库中重放第一目标操作。

12、可选地，第一目标操作包含多项操作，在目标数据库中重放第一目标操作，包括：

13、对第一目标操作进行切分，得到多个子操作；

14、将多个子操作批量重放至目标数据库。

15、可选地，配置参数包括：

16、源配置参数和目标配置参数，源配置参数用于获取源数据库的源数据，目标配置参数用于获取目标数据库的目标数据。

17、可选地，源配置参数包括源数据库的驱动类名称、统一资源定位符、服务器互联网协议ip地址、监听端口和表格组件，目标配置参数包括目标数据库的驱动类名称、统一资源定位符、服务器ip地址、监听端口和表格组件。

18、可选地，在目标数据库中重放第一目标操作，包括：

19、若第一目标操作重放中断，则通过checkpoint从断点处继续将第一目标操作重放至目标数据库。

20、可选地，第一目标操作包括：

21、表结构变更操作、插入数据操作、删除数据操作和修改数据操作中的至少一项。

22、本申请还提供了一种数据同步的装置，包括：连接单元、读取单元和重放单元；

23、连接单元，用于根据配置参数，连接源数据库和目标数据库，配置参数用于获取源数据库的源数据和目标数据库的目标数据；

24、读取单元，用于读取源数据库的日志信息，得到第一目标操作，日志信息指示源数据库的变更记录；

25、重放单元，用于在目标数据库中重放第一目标操作。

26、本申请还提供了一种计算机设备，包括：处理器，处理器与存储器耦合，存储器中存储有至少一条计算机程序指令，至少一条计算机程序指令由处理器加载并执行，以使计算机设备实现数据同步的方法。

27、因此，本申请的有益效果是：提供了一种数据同步的方法及装置，采用根据配置参数，连接源数据库和目标数据库，配置参数用于获取源数据库的源数据和目标数据库的目标数据，读取源数据库的日志信息，得到第一目标操作，日志信息指示源数据库的变更记录，在目标数据库中重放第一目标操作的方法，通过预先设置的配置参数，可以自动采集源数据库的日志信息，由于源数据库的日志信息中记录了源数据库的变更记录，在目标数据库中重放第一目标操作即重放源数据库中的变更操作，从而提高了数据同步的时效性。

技术特征：

1.一种数据同步的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述读取所述源数据库的日志信息，得到第一目标操作后，还包括：

3.根据权利要求1所述的方法，其特征在于，所述第一目标操作包含多项操作，所述在所述目标数据库中重放所述第一目标操作，包括：

4.根据权利要求1所述的方法，其特征在于，所述第一目标操作包含多项操作，所述在所述目标数据库中重放所述第一目标操作，包括：

5.根据权利要求1所述的方法，其特征在于，所述配置参数包括：

6.根据权利要求5所述的方法，其特征在于，所述源配置参数包括所述源数据库的驱动类名称、统一资源定位符、服务器互联网协议ip地址、监听端口和表格组件，所述目标配置参数包括所述目标数据库的驱动类名称、统一资源定位符、服务器ip地址、监听端口和表格组件。

7.根据权利要求1所述的方法，其特征在于，所述在所述目标数据库中重放所述第一目标操作，包括：

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述第一目标操作包括：

9.一种数据同步的装置，其特征在于，所述装置包括：连接单元、读取单元和重放单元；

10.一种计算机设备，其特征在于，所述计算机设备包括：处理器，所述处理器与存储器耦合，所述存储器中存储有至少一条计算机程序指令，所述至少一条计算机程序指令由所述处理器加载并执行，以使所述计算机设备实现权利要求1-8中任一项所述的方法。

技术总结
本申请公开了一种数据同步的方法及装置，涉及数据库领域，在上述方法中，根据配置参数，连接源数据库和目标数据库，配置参数用于获取源数据库的源数据和目标数据库的目标数据，读取源数据库的日志信息，得到第一目标操作，日志信息指示源数据库的变更记录，在目标数据库中重放第一目标操作，通过预先设置的配置参数，可以自动采集源数据库的日志信息，由于源数据库的日志信息中记录了源数据库的变更记录，在目标数据库中重放第一目标操作即重放源数据库中的变更操作，从而提高了数据同步的时效性。

技术研发人员：陈国杰
受保护的技术使用者：中银金融科技有限公司
技术研发日：
技术公布日：2024/1/13