数据同步方法及装置、计算机可读存储介质、电子设备与流程

本公开的实施方式涉及大数据，更具体地，本公开的实施方式涉及数据同步方法及装置、计算机存储介质和电子设备。

背景技术：

1、本部分旨在为权利要求中陈述的本公开的实施方式提供背景或上下文，此处的描述不因为包括在本部分中就承认是现有技术。

2、在大数据领域，数据在数仓中加工后需要同步至存储服务中，当前，离线数据同步主要通过datax(异构数据源离线同步工具)完成，离线任务是由调度服务启动，调度服务通常是多监控节点+多工作节点的高可用架构。每个监控节点和工作节点部署在一个单独的机器上，工作节点负责datax的具体的任务启动，在同步任务中，调度服务的工作节点会为每个同步任务启动一个datax进程。

技术实现思路

1、但是，现有技术会导致调度服务的工作节点的负载过高，由于同步任务和调度服务的工作进程位于同一个工作节点上，当启动大量同步任务时，工作节点负载过高，导致工作进程挂掉，甚至导致调度服务不可用，所有的离线任务出现故障；另一方面，无法对同步任务使用的资源进行管理和限制。

2、为此，非常需要一种改进的数据同步方法及装置、计算机可读存储介质和电子设备，以提供一种降低调度服务的工作节点的负载的数据同步方法。

3、在本上下文中，本公开的实施方式期望提供一种数据同步方法和装置、计算机可读存储介质和电子设备。

4、根据本公开的一个方面，提供一种数据同步方法，包括：

5、获取待同步数据，创建与所述待同步数据对应的同步任务；

6、确定进行调度服务的目标工作节点，在所述目标工作节点中启动任务提交进程，通过所述任务提交进程将所述同步任务提交至目标资源管理器；

7、通过所述目标工作节点，在所述目标资源管理器中启动所述同步任务，完成对所述待同步数据的同步。

8、在本公开的一种示例性实施例中，获取待同步数据，创建与所述待同步数据对应的同步任务，包括：

9、获取所述待同步数据的同步参数以及运行配置参数，将所述同步参数以及所述运行配置参数作为主程序参数；

10、添加数据同步依赖，基于所述数据同步依赖以及所述主程序参数，生成与所述同步数据对应的同步任务。

11、在本公开的一种示例性实施例中，在通过所述任务提交进程将所述同步任务提交至目标资源管理器时，所述方法包括：

12、获取所述主程序参数中包括的容器资源限制参数，通过所述容器资源限制参数在所述目标资源管理器中为所述同步任务申请资源；

13、获取所述目标资源管理器的目标提交空间，获取所述目标提交空间的任务资源限制参数，通过所述任务资源限制参数对所述同步任务的占用资源进行限制。

14、在本公开的一种示例性实施例中，在将所述同步任务提交至目标资源管理器之后，所述方法还包括：

15、控制所述任务提交进程退出。

16、在本公开的一种示例性实施例中，在所述目标资源管理器中启动所述同步任务之后，所述方法还包括：

17、获取所述目标资源管理器分配的与所述同步任务对应的唯一标识，对所述唯一标识进行存储；

18、在所述目标工作节点中启动监听线程，通过所述监听线程对所述目标资源管理器中的同步任务进行监听。

19、在本公开的一种示例性实施例中，通过所述监听线程对所述目标资源管理器中的同步任务进行监听，包括：

20、获取所述目标资源管理器中所述同步任务的同步状态，将所述同步状态同步至所述目标工作节点的内存中。

21、在本公开的一种示例性实施例中，所述方法还包括：

22、在所述目标工作节点故障时，选取代替工作节点；

23、通过所述代替工作节点，读取所述同步任务的唯一标识，并将所述唯一标识恢复至所述代替工作节点的内存中；

24、通过所述代替工作节点对所述同步任务进行监听。

25、根据本公开的一个方面，提供一种数据同步装置，包括：

26、同步任务创建模块，用于获取待同步数据，创建与所述待同步数据对应的同步任务；

27、任务容器化模块，用于确定进行调度服务的目标工作节点，在所述目标工作节点中启动任务提交进程，通过所述任务提交进程将所述同步任务提交至目标资源管理器；

28、数据同步模块，用于通过所述目标工作节点，在所述目标资源管理器中启动所述同步任务，完成对所述待同步数据的同步。

29、根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时上述的数据同步方法。

30、根据本公开的一个方面，提供一种电子设备，包括：

31、处理器；以及

32、存储器，用于存储所述处理器的可执行指令；

33、其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的数据同步方法。

34、根据本公开实施方式的数据同步方法，一方面，获取到待同步数据之后，创建与待同步数据对应的同步任务，确定目标工作节点，对于该同步任务在目标工作节点中启动任务提交进程，该任务提交进程只负责将同步任务提交至目标资源管理器，由目标资源管理器完成对待同步数据的同步，解决了相关技术中由工作节点中的datax来完成同步任务，导致负责调度服务的目标工作节点的负载过高的问题，降低了目标工作节点的负载；另一方面，将同步任务提交至目标资源管理器，通过该目标资源管理器可以对同步任务进行资源限制，解决了相关技术中资源不受管理的问题。

技术特征：

1.一种数据同步方法，其特征在于，包括：

2.根据权利要求1所述的数据同步方法，其特征在于，获取待同步数据，创建与所述待同步数据对应的同步任务，包括：

3.根据权利要求2所述的数据同步方法，其特征在于，在通过所述任务提交进程将所述同步任务提交至目标资源管理器时，所述方法包括：

4.根据权利要求1所述的数据同步方法，其特征在于，在将所述同步任务提交至目标资源管理器之后，所述方法还包括：

5.根据权利要求1所述的数据同步方法，其特征在于，在所述目标资源管理器中启动所述同步任务之后，所述方法还包括：

6.根据权利要求5所述的数据同步方法，其特征在于，通过所述监听线程对所述目标资源管理器中的同步任务进行监听，包括：

7.根据权利要求6所述的数据同步方法，其特征在于，所述方法还包括：

8.一种数据同步装置，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任一项所述的数据同步方法。

10.一种电子设备，其特征在于，包括：

技术总结
本公开的实施方式涉及大数据技术领域，更具体地，本公开的实施方式涉及数据同步方法及装置、计算机可读存储介质和电子设备。所述方法包括：获取待同步数据，创建与所述待同步数据对应的同步任务；确定进行调度服务的目标工作节点，在所述目标工作节点中启动任务提交进程，通过所述任务提交进程将所述同步任务提交至目标资源管理器；通过所述目标工作节点，在所述目标资源管理器中启动所述同步任务，完成对所述待同步数据的同步。本方法降低了目标工作节点的负载。

技术研发人员：杨凯
受保护的技术使用者：杭州网易再顾科技有限公司
技术研发日：
技术公布日：2024/1/16