一种支持虚机及容器部署的数据库同步方法及系统与流程

本发明涉及数据库同步，具体为一种支持虚机及容器部署的数据库同步方法及系统。

背景技术：

1、在信息化快速发展的今天，数据库同步作为保障数据一致性和可靠性的重要手段，被广泛应用于各类业务场景中。然而，传统的数据库同步工具部署方式通常依赖于特定的硬件环境或操作系统，导致部署过程繁琐、扩展性差，且难以适应快速变化的业务需求。

2、近年来，随着容器化和虚拟化技术的兴起，数据库同步工具的部署和管理方式发生了显著变化。容器化技术通过将应用程序及其依赖项打包为可移植的容器镜像，使得应用程序可以在任何支持容器技术的环境中快速部署和运行。虚拟化技术则通过创建虚拟的计算环境，提供了更高级别的资源隔离和灵活性。

3、nomad作为一款分布式、高可用性、数据中心感知的调度器，具有出色的调度算法、服务发现机制和动态扩展能力，非常适用于构建弹性、可扩展的分布式系统。然而，目前尚未有成熟的方案能够充分利用nomad的优势，实现数据库同步工具在虚机或容器环境中的高效部署和管理。

技术实现思路

1、本发明的目的在于提供一种支持虚机及容器部署的数据库同步方法及系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种支持虚机及容器部署的数据库同步方法，所述方法包括以下步骤：

3、架构设计，采用nomad作为核心调度器，负责数据库同步任务的调度与管理；

4、任务定义与配置，通过定义nomad任务规范，将数据库同步任务抽象为可配置的服务单元；

5、自动化部署与智能调度，利用nomad的自动化部署功能，根据任务配置自动创建并启动相应的容器或虚拟机实例；

6、服务发现与负载均衡，通过nomad的服务发现机制，自动注册和发现数据库同步服务实例；

7、监控与告警，实时监控数据库同步任务的执行状态、资源使用情况以及集群的健康状况；

8、安全性保障，通过隔离容器或虚拟机环境，降低不同任务之间的安全风险；通过网络层策略增强不同作业间的数据隔离。

9、优选的，架构设计的具体操作包括：

10、利用容器化或虚拟化技术封装数据库同步工具及其依赖环境，形成可移植的部署单元，通过nomad的客户端与服务器架构，实现任务的动态分配与集群资源的统一管理；

11、nomad支持多种类型的driver，通过这些driver在不同的平台上运行和调度任务，支持在docker容器中运行任务，支持在主机上直接运行二进制文件或脚本，支持运行java应用程序，选择最合适的部署方式来实现任务，不限定应用服务的实现和部署方式；

12、nomad集群包含一个server及1个或多个client主机，在整个集群内按照策略调度运行任务，在功能完成后退出。

13、优选的，任务定义与配置的具体操作包括：

14、任务配置包括同步策略、数据源信息、目标数据库信息、所需同步的库表、任务唯一标识关键参数，此配置记录入syncmgr任务，由syncmgr根据任务进度修改并行的reader/writer任务实例个数；除具体的配置参数外，所有的任务还需要配置任务的driver类型、资源限制；在配置确定后启动nomad作业，继而调度各任务的运行。

15、优选的，自动化部署与智能调度的具体操作包括：

16、通过nomad的调度算法，根据集群的资源使用情况和任务需求，智能地分配虚拟机或容器资源，确保同步任务的高效执行，nomad还支持任务的动态迁移和故障恢复，确保服务的持续可用性；nomad支持多种调度策略，包括最少使用、最佳位置和随机，帮助任务运行在集群的最佳节点上，从而优化资源利用和性能，设置reader在靠近源端数据库的主机上部署，设置writer在靠近目的端数据库的主机上部署，在同步库表结构及全量数据阶段启动多个reader及writer任务实例，以并发效率，最大限度使用资源。

17、优选的，服务发现与负载均衡的具体操作包括：

18、当有新任务加入或现有任务退出时，nomad将自动更新服务列表，并根据负载均衡策略将请求分发到合适的服务实例上，实现服务的自动扩展与故障转移；在任务运行不同阶段更改reader/writer配置为1个或多个实例，nomad会自动扩展或收缩实际运行的任务实例。

19、一种支持虚机及容器部署的数据库同步系统，所述系统由架构设计模块、任务配置模块、部署模块、服务发现模块、监控模块以及安全模块组成；

20、架构设计模块，采用nomad作为核心调度器，负责数据库同步任务的调度与管理；

21、任务配置模块，用于任务定义与配置，通过定义nomad任务规范，将数据库同步任务抽象为可配置的服务单元；

22、部署模块，用于自动化部署与智能调度，利用nomad的自动化部署功能，根据任务配置自动创建并启动相应的容器或虚拟机实例；

23、服务发现模块，用于服务发现与负载均衡，通过nomad的服务发现机制，自动注册和发现数据库同步服务实例；

24、监控模块，用于监控与告警，实时监控数据库同步任务的执行状态、资源使用情况以及集群的健康状况；

25、安全模块，用于安全性保障，通过隔离容器或虚拟机环境，降低不同任务之间的安全风险；通过网络层策略增强不同作业间的数据隔离。

26、优选的，所述架构设计模块，利用容器化或虚拟化技术封装数据库同步工具及其依赖环境，形成可移植的部署单元，通过nomad的客户端与服务器架构，实现任务的动态分配与集群资源的统一管理；

27、nomad支持多种类型的driver，通过这些driver在不同的平台上运行和调度任务，支持在docker容器中运行任务，支持在主机上直接运行二进制文件或脚本，支持运行java应用程序，选择最合适的部署方式来实现任务，不限定应用服务的实现和部署方式；

28、nomad集群包含一个server及1个或多个client主机，在整个集群内按照策略调度运行任务，在功能完成后退出。

29、优选的，所述任务配置模块，任务配置包括同步策略、数据源信息、目标数据库信息、所需同步的库表、任务唯一标识关键参数，此配置记录入syncmgr任务，由syncmgr根据任务进度修改并行的reader/writer任务实例个数；除具体的配置参数外，所有的任务还需要配置任务的driver类型、资源限制；在配置确定后启动nomad作业，继而调度各任务的运行。

30、优选的，所述部署模块，通过nomad的调度算法，根据集群的资源使用情况和任务需求，智能地分配虚拟机或容器资源，确保同步任务的高效执行，nomad还支持任务的动态迁移和故障恢复，确保服务的持续可用性；nomad支持多种调度策略，包括最少使用、最佳位置和随机，帮助任务运行在集群的最佳节点上，从而优化资源利用和性能，设置reader在靠近源端数据库的主机上部署，设置writer在靠近目的端数据库的主机上部署，在同步库表结构及全量数据阶段启动多个reader及writer任务实例，以并发效率，最大限度使用资源。

31、优选的，所述服务发现模块，当有新任务加入或现有任务退出时，nomad将自动更新服务列表，并根据负载均衡策略将请求分发到合适的服务实例上，实现服务的自动扩展与故障转移；在任务运行不同阶段更改reader/writer配置为1个或多个实例，nomad会自动扩展或收缩实际运行的任务实例。

32、与现有技术相比，本发明的有益效果是：

33、本发明提出的支持虚机及容器部署的数据库同步方法及系统，结合了nomad的分布式调度与容器化或虚拟化技术的优势，通过自动化部署、智能调度和弹性扩展等手段，实现数据库同步任务的高效、可靠执行。这是nomad对比于k8s的优势，不仅支持容器化应用，还支持其他类型的工作负载，这样更容易使用已有的应用系统，而不是必须在容器改造化后运行；而且nomad的架构相对轻量，适合于小规模部署和简单的场景。相对于k8s，nomad可以实现更灵活的部署方式以及更高的自定义程度。