基于重构系统的数据验证方法、装置、设备及存储介质与流程

本技术涉及数据处理，尤其涉及一种基于重构系统的数据验证方法、装置、设备及存储介质。

背景技术：

1、伴随着新技术体系的诞生、成熟，企业为了提升现有业务系统的性能、安全性和可扩展性，往往会基于新的平台或框架对其进行重构，例如将传统主机应用迁移至云端等，从而能够适应技术发展的需求。

2、在系统重构之后，为了确保系统功能逻辑一致，通常需要进行大量的测试工作，然而，仅依赖于系统测试而不进行充分的数据核对等辅助验证措施，可能导致在实际运行中暴露出由于测试不足而引发的系统缺陷。因此，重构系统尝试引入“数据验证”机制来提高验证质量，但由于数据验证过度依赖人工进行核对，导致效率低下且核对过程容易出错，特别是在数据量大时难以保证全面覆盖所有验证点，从而可能导致遗漏关键的验证环节。

3、因此，如何提高重构系统中数据验证的准确性，是目前亟需解决的一个问题。

4、上述内容仅用于辅助理解本技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本技术的主要目的在于提供一种基于重构系统的数据验证方法、装置、设备及存储介质，旨在解决如何提高重构系统中数据验证的准确性的技术问题。

2、为实现上述目的，本技术提出一种基于重构系统的数据验证方法，应用于第一业务系统，所述基于重构系统的数据验证方法包括：

3、获取第一业务系统中的第一业务数据表，从第二业务系统中获取与所述第一业务数据表匹配的第二业务数据表，其中，所述第一业务系统为重构后的业务系统，所述第二业务系统为重构前的业务系统；

4、确定所述第一业务数据表与所述第二业务数据表的共同表字段，根据各所述共同表字段的字段值确定所述第一业务数据表与所述第二业务数据表的对比结果；

5、根据所述对比结果确定各共同表字段中是否存在差异字段；

6、若不存在所述差异字段，则确定所述第一业务系统通过数据验证。

7、在一实施例中，所述从第二业务系统中获取与所述第一业务数据表匹配的第二业务数据表的步骤，包括：

8、向所述第二业务系统发送数据分段请求，其中，所述数据分段请求包括所述第一业务数据表以及数据分段规则，所述第二业务系统接收所述数据分段请求，依据所述数据分段请求中所述第一业务数据表确定与所述第一业务数据匹配的第二业务数据表，基于所述数据分段规则将所述第二业务数据表进行分段，确定多个分段数据，并根据每一分段数据中第一条数据条目的唯一索引生成索引列表，将所述索引列表发送至所述第一业务系统；

9、接收所述第二业务系统发送的索引列表，根据所述索引列表中的多个唯一索引生成多个数据获取请求，并将各所述数据获取请求发送至第二业务系统，其中，所述第二业务系统接收各数据获取请求，基于各所述数据获取请求以及所述数据获取请求对应的唯一索引获取各所述唯一索引对应的分段数据，将各所述分段数据发送至所述第一业务系统；

10、接收所述第二业务系统发送的多个分段数据，将各所述分段数据合并得到第二业务数据表。

11、在一实施例中，所述向所述第二业务系统发送数据分段请求的步骤，包括：

12、根据所述第一业务数据表确定每一分段数据的数据条目数量，将所述每一分段数据的数据条目数量作为数据分段规则；

13、根据所述数据分段规则以及所述第一业务数据生成数据分段请求；

14、将所述数据分段请求发送至所述第二业务系统，其中，所述第二业务系统接收所述数据分段请求，根据所述数据分段请求中第一业务数据表在所述第二业务系统中匹配目标数据表，并在所述目标数据表中筛选所述第一业务数据表中对应的数据条目，基于筛选出的所有数据条目确定第二业务数据表，并根据所述数据分段规则中的数据条目数量将所述第二业务数据表分割成多个分段数据，根据每一分段数据中第一条数据条目的唯一索引生成索引列表，将所述索引列表发送至所述第一业务系统。

15、在一实施例中，所述将各所述分段数据合并得到第二业务数据表的步骤之后，还包括：

16、识别所述第一业务数据表和所述第二业务数据表之间的表结构差异，其中，所述表结构差异包括字段名称差异和字段类型差异；

17、根据所述第一业务数据表的表结构，对存在表结构差异的第二业务数据表对应的字段名称和字段类型进行转换，并基于转换后的字段名称和字段类型更新所述第二业务数据表。

18、在一实施例中，所述将各所述分段数据合并得到第二业务数据表的步骤之后，还包括：

19、检测所述第二业务数据表的各字段中是否存在长字段，其中，所述长字段为包含复合信息或多个属性的字段；

20、若存在所述长字段，则确定所述长字段的字段内容，通过解析所述字段内容确定所述长字段的拆分规则；

21、根据所述拆分规则将所述长字段拆分为多个短字段，并对每个短字段进行命名，得到各短字段的字段名称；

22、在所述第二业务数据表中创建与所述短字段对应的多个新字段，并将各所述短字段的字段名称和字段内容填充到对应的新字段中；

23、根据所述新字段的字段名称和字段内容更新所述第二业务数据表。

24、在一实施例中，所述确定所述第一业务系统通过数据验证的步骤，还包括：

25、确定所述第一业务数据表和所述第二业务数据表中共同表字段的字段数量；

26、将所述第一业务数据表中各共同表字段对应的字段值作为第一字段值，将所述第二业务数据表中各共同表字段对应的字段值作为第二字段值；

27、获取预设对比时间内，各所述第一字段值和对应所述第二字段值对比一致的次数；

28、根据所述共同表字段的字段数量和所述预设对比时间内各第一字段值与对应第二字段值对比一致的次数确定是否满足系统切换条件；

29、若所述共同表字段的字段数量和所述预设对比时间内各第一字段值与对应第二字段值对比一致的次数相同，则确定满足系统切换条件，并确定所述第一业务系统通过数据验证。

30、在一实施例中，所述确定所述第一业务系统通过数据验证的步骤之后，还包括：

31、将指向所述第二业务系统的业务流量逐步切换到所述第一业务系统，直至所有业务流量指向所述第一业务系统；

32、逐步关闭所述第二业务系统的系统服务。

33、此外，为实现上述目的，本技术还提出一种基于重构系统的数据验证装置，所述基于重构系统的数据验证装置包括：

34、获取模块，用于获取第一业务系统中的第一业务数据表，从第二业务系统中获取与所述第一业务数据表匹配的第二业务数据表，其中，所述第一业务系统为重构后的业务系统，所述第二业务系统为重构前的业务系统；

35、对比模块，用于确定所述第一业务数据表与所述第二业务数据表的共同表字段，根据各所述共同表字段的字段值确定所述第一业务数据表与所述第二业务数据表的对比结果；

36、检验模块，用于根据所述对比结果确定各共同表字段中是否存在差异字段；

37、验证模块，用于若不存在所述差异字段，则确定所述第一业务系统通过数据验证。

38、此外，为实现上述目的，本技术还提出一种基于重构系统的数据验证设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的基于重构系统的数据验证方法的步骤。

39、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的基于重构系统的数据验证方法的步骤。

40、此外，为实现上述目的，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的基于重构系统的数据验证方法的步骤。

41、本技术提出了一种基于重构系统的数据验证方法，通过获取第一业务系统中的第一业务数据表，从第二业务系统中获取与第一业务数据表匹配的第二业务数据表，其中，第一业务系统为重构后的业务系统，第二业务系统为重构前的业务系统；确定第一业务数据表与第二业务数据表的共同表字段，根据各共同表字段的字段值确定第一业务数据表与第二业务数据表的对比结果；根据对比结果确定各共同表字段中是否存在差异字段；若不存在差异字段，则确定第一业务系统通过数据验证。本技术通过自动化的手段进行数据对比，确保重构后的业务系统与重构前的业务系统在数据层面的一致性，由于自动化手段能够快速处理大量数据，减少了验证所需的时间，相较于传统的人工核对方法，避免了人工核对中可能出现的人为错误，提高了数据验证的准确性。