数据传输方法、装置、计算机设备和存储介质与流程

本技术涉及金融科技领域，特别是涉及一种数据传输方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、在两种平台之间可以通过数据复制传输进行数据共享，例如，在源端的主机数据库和目标端的平台数据库之间传递经过数据库日志的解析sql语句。针对源端的主机数据库和目标端的平台数据库之间的数据链路，通常是采用双园区双活架构，基于接入两个独立的kafka集群，让下游应用根据实际情况选取一个kafka集群进行数据消费。

2、目前，在应急场景下，下游应用通常是采用切换kafka消费园区进行消费的方式，但由于下游消费者应用的个数众多，且各应用实施切换的能力不一致，业务影响范围、窗口也不一致，实际实施消费者园区切换的时效性不高，易造成业务影响。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提升应急场景下切换时效性的数据传输方法、装置、计算机设备、存储介质和计算机程序产品。

2、第一方面，本技术提供了一种数据传输方法，包括：

3、针对当前数据传输任务，确定数据源端与至少两个数据目标端之间的数据链路；所述至少两个数据目标端包括目标消费信息集群对应的主数据目标端、备用消费信息集群对应的备数据目标端，所述数据链路包括所述目标消费信息集群所处的主数据链路、所述备用消费信息集群所处的备数据链路，所述目标消费信息集群用于集中连接所述当前数据传输任务的下游消费者应用；

4、在检测到所述目标消费信息集群所处的主数据链路传输异常的情况下，切换所述目标消费信息集群连接至所述备数据链路，将所述备数据链路作为新的主数据链路；

5、采用所述新的主数据链路，恢复执行所述数据源端与所述主数据目标端之间的数据传输任务；所述数据传输任务用于在异构数据库之间进行数据复制传输。

6、在其中一个实施例中，所述方法还包括：

7、创建供所述下游消费者应用集中消费的所述目标消费信息集群、处于空闲连接状态的所述备用消费信息集群；

8、控制所述数据源端，分别向所述目标消费信息集群对应的主数据目标端、所述备用消费信息集群对应的备数据目标端传输相同的数据。

9、在其中一个实施例中，所述在检测到所述目标消费信息集群所处的主数据链路传输异常的情况下，切换所述目标消费信息集群连接至所述备数据链路，将所述备数据链路作为新的主数据链路，包括：

10、在检测到所述目标消费信息集群所处的主数据链路传输异常的情况下，停止所述主数据链路和所述备数据链路的数据发送；

11、切换所述目标消费信息集群连接至所述备数据链路，将所述备数据链路作为新的主数据链路。

12、在其中一个实施例中，所述采用所述新的主数据链路，恢复执行所述数据源端与所述主数据目标端之间的数据传输任务，包括：

13、重启所述新的主数据链路；

14、将数据发送时间点配置为检测到所述目标消费信息集群所处的主数据链路传输异常的时间点之前，恢复执行所述数据源端与所述主数据目标端之间的数据传输任务。

15、在其中一个实施例中，在所述停止所述主数据链路和所述备数据链路的数据发送的步骤之后，所述方法还包括：

16、控制所述主数据链路上的数据复制表停止复制处理；所述数据复制表为所述数据源端中待复制到下游的数据表的复制清单。

17、在其中一个实施例中，所述切换所述目标消费信息集群连接至所述备数据链路，将所述备数据链路作为新的主数据链路，包括：

18、调整所述备数据链路对应的数据目标端为所述主数据目标端；

19、调整所述目标消费信息集群所处的所述备数据链路为所述新的主数据链路。

20、第二方面，本技术还提供了一种数据传输装置，包括：

21、数据链路确定模块，用于针对当前数据传输任务，确定数据源端与至少两个数据目标端之间的数据链路；所述至少两个数据目标端包括目标消费信息集群对应的主数据目标端、备用消费信息集群对应的备数据目标端，所述数据链路包括所述目标消费信息集群所处的主数据链路、所述备用消费信息集群所处的备数据链路，所述目标消费信息集群用于集中连接所述当前数据传输任务的下游消费者应用；

22、数据链路切换模块，用于在检测到所述目标消费信息集群所处的主数据链路传输异常的情况下，切换所述目标消费信息集群连接至所述备数据链路，将所述备数据链路作为新的主数据链路；

23、数据传输恢复模块，用于采用所述新的主数据链路，恢复执行所述数据源端与所述主数据目标端之间的数据传输任务；所述数据传输任务用于在异构数据库之间进行数据复制传输。

24、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

25、针对当前数据传输任务，确定数据源端与至少两个数据目标端之间的数据链路；所述至少两个数据目标端包括目标消费信息集群对应的主数据目标端、备用消费信息集群对应的备数据目标端，所述数据链路包括所述目标消费信息集群所处的主数据链路、所述备用消费信息集群所处的备数据链路，所述目标消费信息集群用于集中连接所述当前数据传输任务的下游消费者应用；

26、在检测到所述目标消费信息集群所处的主数据链路传输异常的情况下，切换所述目标消费信息集群连接至所述备数据链路，将所述备数据链路作为新的主数据链路；

27、采用所述新的主数据链路，恢复执行所述数据源端与所述主数据目标端之间的数据传输任务；所述数据传输任务用于在异构数据库之间进行数据复制传输。

28、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

29、针对当前数据传输任务，确定数据源端与至少两个数据目标端之间的数据链路；所述至少两个数据目标端包括目标消费信息集群对应的主数据目标端、备用消费信息集群对应的备数据目标端，所述数据链路包括所述目标消费信息集群所处的主数据链路、所述备用消费信息集群所处的备数据链路，所述目标消费信息集群用于集中连接所述当前数据传输任务的下游消费者应用；

30、在检测到所述目标消费信息集群所处的主数据链路传输异常的情况下，切换所述目标消费信息集群连接至所述备数据链路，将所述备数据链路作为新的主数据链路；

31、采用所述新的主数据链路，恢复执行所述数据源端与所述主数据目标端之间的数据传输任务；所述数据传输任务用于在异构数据库之间进行数据复制传输。

32、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

33、针对当前数据传输任务，确定数据源端与至少两个数据目标端之间的数据链路；所述至少两个数据目标端包括目标消费信息集群对应的主数据目标端、备用消费信息集群对应的备数据目标端，所述数据链路包括所述目标消费信息集群所处的主数据链路、所述备用消费信息集群所处的备数据链路，所述目标消费信息集群用于集中连接所述当前数据传输任务的下游消费者应用；

34、在检测到所述目标消费信息集群所处的主数据链路传输异常的情况下，切换所述目标消费信息集群连接至所述备数据链路，将所述备数据链路作为新的主数据链路；

35、采用所述新的主数据链路，恢复执行所述数据源端与所述主数据目标端之间的数据传输任务；所述数据传输任务用于在异构数据库之间进行数据复制传输。

36、上述数据传输方法、装置、计算机设备、存储介质和计算机程序产品，通过针对当前数据传输任务，确定数据源端与至少两个数据目标端之间的数据链路，该至少两个数据目标端包括目标消费信息集群对应的主数据目标端、备用消费信息集群对应的备数据目标端，该数据链路包括目标消费信息集群所处的主数据链路、备用消费信息集群所处的备数据链路，该目标消费信息集群用于集中连接当前数据传输任务的下游消费者应用，然后在检测到目标消费信息集群所处的主数据链路传输异常的情况下，切换目标消费信息集群连接至备数据链路，将备数据链路作为新的主数据链路，进而采用新的主数据链路，恢复执行数据源端与主数据目标端之间的数据传输任务，该数据传输任务用于在异构数据库之间进行数据复制传输，实现了在数据链路传输异常时快速响应，基于对集中连接下游消费者应用的消费信息集群切换数据链路，无需下游消费者共同实施切换，能够及时启动应急处理，有助于快速恢复业务，提升了切换时效性。