基于新旧系统的数据处理方法、装置及存储介质与流程

本技术涉及大数据，尤其涉及一种基于新旧系统的数据处理方法、装置及存储介质。

背景技术：

1、随着互联网场景及支付业务持续快速增长，快捷支付业务量屡创新高，对旧系统安全提出严峻挑战，原有的集中式系统已不能满足业务的需求，因此，金融机构开始逐渐将集中式系统内的数据过渡到满足业务需求的分布式的平台系统中，以实现新旧系统切换。

2、现有新旧系统切换过程耗时较长，为了避免切换过程导致下游应用无法正常使用，主要通过数据湖的方式为下游应用提供数据支持，在数据湖内同时存在新系统的数据和旧系统的数据，以使下游应用通过数据湖同时加载新旧系统的数据，以避免因数据缺失导致交易报错等问题。

3、当新旧系统切换过程出现问题时，为了确保交易能够继续完成，通常会暂停新系统，并回切到旧系统。但由于新旧系统的表结构可能不同，回切后的新增的数据依旧以旧系统的格式保存，使得新系统数据很难追平旧系统数据，还可能因同一关联数据分别以新旧系统格式存储导致下游应用调用数据时发生混乱，增加新旧系统切换过程的复杂度。

技术实现思路

1、本技术提供一种基于新旧系统的数据处理方法、装置及存储介质，用以解决由于新旧系统的表结构可能不同，回切后的新增的数据依旧以旧系统的格式保存，使得新系统数据很难追平旧系统数据，还可能因同一关联数据分别以新旧系统格式存储导致下游应用调用数据时发生混乱，增加新旧系统切换过程的复杂度问题。

2、第一方面，本技术提供一种基于新旧系统的数据处理方法，包括：

3、在监测到新旧系统切换时，分别获取旧系统数据和新系统数据；

4、根据所述新系统数据中的表结构，在数据湖中构建空白数据表，并将获取的所述旧系统数据和新系统数据存储至所述空白数据表中，得到保鲜表；

5、将所述保鲜表下发至下游应用中，以使下游应用从所述保鲜表中获取旧系统数据和新系统数据。

6、在一种可能的设计中，所述根据所述新系统数据中的表结构，在数据湖中构建空白数据表，包括：

7、复制所述新系统数据中的表结构，得到新系统表结构副本；

8、将所述新系统表结构副本迁移至数据湖中，并根据所述新系统表结构副本，新建与所述新系统表结构副本属性相同的空白数据表。

9、在一种可能的设计中，所述将获取的所述旧系统数据和新系统数据存储至所述空白数据表中，得到保鲜表，包括：

10、复制所述旧系统数据和新系统数据，得到旧系统数据贴源表和新系统数据贴源表；

11、根据所述旧系统数据贴源表和预设新旧数据格式转换规则，将所述旧系统数据贴源表转换为中间表；其中，所述中间表的表结构与所述新系统数据中的表结构相同；

12、将所述新系统数据贴源表和所述中间表分别迁移至所述空白数据表中合并，得到保鲜表。

13、在一种可能的设计中，所述将所述新系统数据贴源表和所述中间表分别迁移至所述空白数据表中合并，得到保鲜表之后，所述方法还包括：

14、将所述中间表迁移至所述空白数据表之后，逐一判断所述新系统数据贴源表中的数据与已迁移的中间表中的数据是否一致；

15、若否，则将所述新系统数据贴源表中的数据迁移至所述空白数据表中，得到合并后的保鲜表。

16、在一种可能的设计中，还包括：

17、在监测到新旧系统处于回切过程时，获取更新的旧系统数据；

18、将所述更新的旧系统数据存储至所述保鲜表中；

19、将所述保鲜表下发至下游应用中，以使下游应用从所述保鲜表中获取更新的旧系统数据。

20、在一种可能的设计中，还包括：

21、在监测到新旧系统切换完成后，获取更新的新系统数据；

22、将所述更新的新系统数据存储至所述保鲜表中；

23、将所述保鲜表下发至下游应用中，以使下游应用从所述保鲜表中获取更新的新系统数据。

24、第二方面，本技术提供一种基于新旧系统的数据处理装置，包括：

25、获取模块，用于在监测到新旧系统切换时，分别获取旧系统数据和新系统数据。

26、处理模块，用于根据所述新系统数据中的表结构，在数据湖中构建空白数据表，并将获取的所述旧系统数据和新系统数据存储至所述空白数据表中，得到保鲜表。

27、发送模块，用于将所述保鲜表下发至下游应用中，以使下游应用以新系统数据中的表结构获取旧系统数据和新系统数据。

28、可选的，所述处理模块具体用于：

29、根据所述新系统数据中的表结构，在数据湖中构建空白数据表，包括：

30、复制所述新系统数据中的表结构，得到新系统表结构副本；

31、将所述新系统表结构副本迁移至数据湖中，并根据所述新系统表结构副本，新建与所述新系统表结构副本属性相同的空白数据表。

32、可选的，所述处理模块具体用于：

33、将获取的所述旧系统数据和新系统数据存储至所述空白数据表中，得到保鲜表，包括：

34、复制所述旧系统数据和新系统数据，得到旧系统数据贴源表和新系统数据贴源表；

35、根据所述旧系统数据贴源表和预设新旧数据格式转换规则，将所述旧系统数据贴源表转换为中间表；

36、其中，所述中间表的表结构与所述新系统数据中的表结构相同；

37、将所述新系统数据贴源表和所述中间表分别迁移至所述空白数据表中合并，得到保鲜表。

38、进一步的，所述处理模块具体用于：

39、将所述新系统数据贴源表和所述中间表分别迁移至所述空白数据表中合并，得到保鲜表，包括：

40、将所述中间表迁移至所述空白数据表；

41、逐一判断所述新系统数据贴源表中的数据与已迁移的中间表中的数据是否一致；

42、若否，则将所述新系统数据贴源表中的数据迁移至所述空白数据表中，得到合并后的保鲜表。

43、可选的，所述处理模块还可以用于：

44、在监测到新旧系统处于回切过程时，触发获取模块获取更新的旧系统数据；

45、将所述更新的旧系统数据存储至所述保鲜表中；

46、触发发送模块将所述保鲜表下发至下游应用中，以使下游应用从所述保鲜表中获取更新的旧系统数据。

47、可选的，所述处理模块还可以用于：

48、在监测到新旧系统切换完成后，触发获取模块获取更新的新系统数据；

49、将所述更新的新系统数据存储至所述保鲜表中；

50、触发发送模块将所述保鲜表下发至下游应用中，以使下游应用从所述保鲜表中获取更新的新系统数据。

51、第三方面，本技术提供一种服务器，包括：处理器，以及与所述处理器通信连接的存储器；

52、所述存储器存储计算机执行指令；

53、所述处理器执行所述存储器存储的计算机执行指令，以实现基于新旧系统的数据处理方法。

54、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现基于新旧系统的数据处理方法。

55、第五方面，本技术提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现基于新旧系统的数据处理方法。

56、本技术提供的基于新旧系统的数据处理方法、装置及存储介质，通过在监测到新旧系统切换时，分别获取旧系统数据和新系统数据；根据所述新系统数据中的表结构，在数据湖中构建空白数据表，并将获取的所述旧系统数据和新系统数据存储至所述空白数据表中，得到保鲜表；将所述保鲜表下发至下游应用中，以使下游应用从所述保鲜表中获取旧系统数据和新系统数据。相较于现有技术中由于新旧系统的表结构可能不同，回切后的新增的数据依旧以旧系统的格式保存，使得新系统数据很难追平旧系统数据，还可能因同一关联数据分别以新旧系统格式存储导致下游应用调用数据时发生混乱，增加新旧系统切换过程的复杂度的缺陷，本技术通过在数据湖中统一进行格式转换，降低每一下游应用的格式切换成本，并且新旧系统切换不会给下游应用带来影响，从而解决新旧系统切换过程中，下游应用获取的数据格式无法保持一致的问题，进而降低调用出错情况的发生。