数据同步方法、装置、设备及计算机可读存储介质与流程

本申请属于大数据处理技术，尤其涉及一种数据同步方法、装置、设备及计算机可读存储介质。

背景技术：

1、数据是数据平台的核心，数据同步是构建大数据多中心方案的基础。如何提高多个大数据平台之间数据同步的及时性和可靠性，是构建多中心的大数据集群的关键之一。

2、通常，跨集群的数据同步均是基于大数据集群组件自带的数据复制机制来完成，数据由数据源写入到其中某个大数据集群对应的大数据平台，然后再通过该大数据集群内的数据同步流程分发到其他大数据集群对应的大数据平台。

3、这样，一方面，由于在将数据写入各个大数据平台时在写入时间上具有先后顺序，因此大数据平台之间数据不一致的时间较长；另一方面，由于在集群数据同步配置呈现多集群链式串联结构时，若数据同步链路中段的集群出现异常，则会影响后续其他大数据集群的数据同步进程，因此数据同步的可靠性较低。

技术实现思路

1、本申请实施例提供一种数据同步方法、装置、设备及计算机可读存储介质，能够缩短大数据平台之间数据不一致的时间，并提高数据同步的可靠性。

2、第一方面，本申请实施例提供一种数据同步方法，该方法包括：

3、将目标数据源中的目标数据同步至数据缓冲区；

4、触发多个大数据平台从所述数据缓冲区中并发读取所述目标数据，以使所述多个大数据平台对所述目标数据进行同步存储。

5、第二方面，本申请实施例提供了一种数据同步装置，该装置包括：

6、第一同步模块，用于将目标数据源中的目标数据同步至数据缓冲区；

7、第二同步模块，用于触发多个大数据平台从所述数据缓冲区中并发读取所述目标数据，以使所述多个大数据平台对所述目标数据进行同步存储。

8、第三方面，本申请实施例提供了一种电子设备，该电子设备包括：处理器以及存储有计算机程序指令的存储器；

9、处理器执行所述计算机程序指令时实现如第一方面的任一项实施例中所述的数据同步方法的步骤。

10、第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面的任一项实施例中所述的数据同步方法的步骤。

11、第五方面，本申请实施例提供了一种计算机程序产品，计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如第一方面的任一项实施例中所述的数据同步方法的步骤。

12、本申请实施例中的数据同步方法、装置、设备及计算机可读存储介质，通过将目标数据源中的目标数据同步至数据缓冲区，再触发多个大数据平台从该数据缓冲区中并发读取该目标数据，进而可以使该多个大数据平台对该目标数据进行同步存储。这样，由于各个大数据平台是同步写入该目标数据的，因此可以缩短大数据平台之间数据不一致的时间。另外，由于各个大数据平台是独立地从数据缓冲区中读取目标数据的，各个大数据平台的数据同步进程相互独立、互不影响，因此，即使其中某个大数据平台出现异常，也不会影响其他大数据平台的数据同步进程，从而可以提高数据同步的可靠性。

技术特征：

1.一种数据同步方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述数据缓冲区包括批量数据缓冲区；

3.根据权利要求2所述的方法，其特征在于，所述将所述目标数据源中的所述目标数据同步至所述批量数据缓冲区，包括：

4.根据权利要求2所述的方法，其特征在于，在将所述目标数据源中的所述目标数据同步至所述批量数据缓冲区之后，所述方法还包括：

5.根据权利要求2所述的方法，其特征在于，所述触发多个大数据平台从所述数据缓冲区中并发读取所述目标数据，包括：

6.根据权利要求2所述的方法，其特征在于，在触发多个大数据平台从所述数据缓冲区中并发读取所述目标数据之后，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，在通过任务调度器触发所述目标大数据平台执行所述文件转化任务之后，所述方法还包括：

8.根据权利要求1所述的方法，其特征在于，所述数据缓冲区包括流式数据缓冲区；

9.根据权利要求8所述的方法，其特征在于，所述触发多个大数据平台从所述数据缓冲区中并发读取所述目标数据，包括：

10.根据权利要求1所述的方法，其特征在于，在触发多个大数据平台从所述数据缓冲区中并发读取所述目标数据，以使所述多个大数据平台对所述目标数据进行同步存储之后，所述方法还包括：

11.根据权利要求10所述的方法，其特征在于，所述第一数据访问请求中包括用户认证信息；

12.根据权利要求10所述的方法，其特征在于，在向所述目标数据访问系统发送所述第一访问地址信息之后，所述方法还包括：

13.根据权利要求10或12所述的方法，其特征在于，所述平台选取参考因素包括查询路由策略、数据存储就绪情况和大数据平台健康情况中的至少一项。

14.一种数据同步装置，其特征在于，包括：

15.一种电子设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-13任意一项所述的数据同步方法的步骤。

技术总结
本申请公开了一种数据同步方法、装置、设备及计算机可读存储介质。该数据同步方法包括将目标数据源中的目标数据同步至数据缓冲区；触发多个大数据平台从数据缓冲区中并发读取目标数据，以使多个大数据平台对目标数据进行同步存储。根据本申请实施例，可以缩短大数据平台之间数据不一致的时间，并提高数据同步的可靠性。

技术研发人员：禹熹,王颖卓,郭俊宇,洪丁节,包涵,方旭
受保护的技术使用者：中国银联股份有限公司
技术研发日：
技术公布日：2024/3/12