数据校验方法、装置、计算机设备及存储介质与流程

文档序号:30099824发布日期:2022-05-18 12:12阅读:102来源:国知局
数据校验方法、装置、计算机设备及存储介质与流程

1.本技术涉及到数据处理领域,特别是涉及到一种数据校验方法、装置、计算机设备及存储介质。


背景技术:

2.数据校验占据测试工作组成的很大部分,目前不同系统之间每天会进行批量数据同步,且由于数据量巨大、数据结构复杂等因素,数据同步过程中会发生链路异常导致下游系统的数据经常缺失,目前方案是测试人员对每一次同步后的结果数据进行审核处理,需要耗费大量人力进行排查,效率低且质量也不能完全保障,导致数据同步时数据校验的效率低、准确性不高。


技术实现要素:

3.本技术的主要目的为提供一种数据校验方法、装置、计算机设备及存储介质,旨在解决数据同步过程中的数据校验效率低的问题。
4.为了实现上述发明目的,本技术提出一种数据校验方法,包括:
5.接收对数据校验的配置指令,根据所述配置指令生成数据校验的配置文件;所述配置文件中包含待校验的数据信息,所述待校验的数据信息包括待校验的表名称及表字段;
6.获取第一系统的第一数据文件,根据所述待校验的表名称及表字段从所述第一数据文件中提取第一表中的第一字段;
7.基于预配置的字段映射规则将所述第一字段映射为标准字段,并获取所述第一字段对应的第一数据;
8.获取第二系统中所述标准字段映射的第二字段及所述第二字段对应的第二数据;
9.调用校验规则对所述第一数据与所述第二数据进行比对,若所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据分别进行同步。
10.进一步地,所述获取第二系统中所述标准字段映射的第二字段及所述第二字段对应的第二数据,包括:
11.获取所述第二系统的第二数据文件;
12.从所述第二数据文件中获取第二表;
13.获取所述标准字段映射的待选字段;
14.根据所述待选字段在所述第二表进行匹配,获取所述第二表中与所述标准字段相映射的第二字段,并获取所述第二字段的第二数据。
15.进一步地,所述从所述第二数据文件中获取第二表,包括:
16.获取与所述第一表相匹配的目标表名称;
17.根据所述目标表名称从所述第二数据文件中获取第二表。
18.进一步地,所述调用校验规则对所述第一数据与所述第二数据进行比对,包括:
19.获取校验规则中与所述第一数据相关联的第三数据;
20.根据所述校验规则将所述第一数据与第三数据计算得到第一结果;
21.根据所述校验规则将所述第二数据与第三数据计算得到第二结果;
22.将所述第一结果与所述第二结果进行比对,以对所述第一数据与所述第二数据进行比对。
23.进一步地,所述基于预配置的字段映射规则将所述第一字段映射为标准字段,包括:
24.获取所述第一字段的分类类型;
25.根据所述分类类型从所述配置文件中匹配所述分类类型的字段映射规则,基于所述字段映射规则将所述第一字段映射至目标字段。
26.进一步地,,所述获取所述第一字段对应的第一数据,包括:
27.获取所述第一字段的待选第一数据;
28.获取所述第一字段的数据筛选规则;
29.基于所述数据筛选规则对所述待选第一数据进行筛选,得到筛选后的所述第一字段对应的第一数据。
30.进一步地,所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据分别进行同步,还包括:
31.将所述第一系统中的第一数据与第二系统中的第二数据分别进行同步,并获取所述第二系统进行数据同步后生成的第二目标文件;
32.计算所述第一数据文件的md5值,以及计算所述第二目标文件的md5值;
33.若所述第一数据文件的md5值与所述第二目标文件的md5值相同,确定所述第一系统中的第一数据与第二系统中的第二数据完成同步。
34.本技术还提供一种数据校验装置,包括:
35.数据配置模块,用于接收对数据校验的配置指令,根据所述配置指令生成数据校验的配置文件;所述配置文件中包含待校验的数据信息,所述待校验的数据信息包括待校验的表名称及表字段;
36.字段获取模块,用于获取第一系统的第一数据文件,根据所述待校验的表名称及表字段从所述第一数据文件中提取第一表中的第一字段;
37.数据获取模块,用于基于预配置的字段映射规则将所述第一字段映射为标准字段,并获取所述第一字段对应的第一数据;
38.同步系统模块,用于获取第二系统中所述标准字段映射的第二字段及所述第二字段对应的第二数据;
39.校验同步模块,用于调用校验规则对所述第一数据与所述第二数据进行比对,若所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据分别进行同步。
40.本技术还提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述数据校验方法的步骤。
41.本技术还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程
序被处理器执行时实现上述任一项所述数据校验方法的步骤。
42.本技术例提供了一种不同系统之间数据同步及数据校验的方法,首先接收对数据校验的配置指令,根据所述配置指令生成数据校验的配置文件;所述配置文件中包含待校验的数据信息,所述待校验的数据信息包括待校验的表名称及表字段,然后获取第一系统的第一数据文件,根据所述待校验的表名称及表字段从所述第一数据文件中提取第一表中的第一字段作为待检验的数据信息,再基于预配置的字段映射规则将所述第一字段映射为标准字段,并获取所述第一字段对应的第一数据,再获取第二系统中所述标准字段映射的第二字段及所述第二字段对应的第二数据,调用校验规则对所述第一数据与所述第二数据进行比对,若所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据的同步,通过不同系统间数据字段的映射以及映射后的数据字段的数据信息的比对、校验,所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据分别进行同步,即将第二系统中的第二数据写入到第二系统的数据库中,完成不同系统间数据同步过程时的数据校验效率,从而提高不同系统间数据同步的效率与准确性。
附图说明
43.图1为本技术数据校验方法的一实施例流程示意图;
44.图2为本技术数据校验装置的一实施例结构示意图;
45.图3为本技术计算机设备的一实施例结构示意框图。
46.本技术目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
47.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
48.参照图1,本技术实施例提供一种数据校验方法,包括步骤s10-s50,对于所述数据校验方法的各个步骤的详细阐述如下。
49.s10、接收对数据校验的配置指令,根据所述配置指令生成数据校验的配置文件;所述配置文件中包含待校验的数据信息,所述待校验的数据信息包括待校验的表名称及表字段。
50.本实施例应用于不同系统间的数据同步、校验场景中,不同的系统间每天需要进行大批量的数据同步,由于各个系统的数据是独立的,上游系统的数据需要逐步地同步至下游系统,本实施例通过制定数据配置的xls配置文件,利用python与xls配置文件结合的方式对数据进行校验后同步。首先制定数据校验的配置文件,即接收对数据校验的配置指令,根据所述配置指令生成数据校验的配置文件,所述配置指令中包含对需要校验数据的配置、每项数据的校验规则配置以及数据如何定位、获取的配置,即生成的所述配置文件中包含待校验的数据信息,所述待校验的数据信息包括待校验的表名称及表字段。
51.s20、获取第一系统的第一数据文件,根据所述待校验的表名称及表字段从所述第一数据文件中提取第一表中的第一字段。
52.本实施例中,在接收对数据校验的配置指令,根据所述配置指令生成数据校验的配置文件;所述配置文件中包含待校验的数据信息,所述待校验的数据信息包括待校验的表名称及表字段之后,取第一系统的第一数据文件,根据所述待校验的表名称及表字段从所述第一数据文件中提取第一表中的第一字段。在一种实施方式中,获取第一数据文件的类型,然后根据所述一数据文件的类型将所述第已数据文件转化为预设的标准类型如xml类型,再根据所述待校验的表名称及表字段从所述第一数据文件中提取第一表中的第一字段作为待检验的数据信息。
53.s30、基于预配置的字段映射规则将所述第一字段映射为标准字段,并获取所述第一字段对应的第一数据。
54.本实施例中,在获取第一系统的第一数据文件,根据所述待校验的表名称及表字段从所述第一数据文件中提取第一表中的第一字段之后,基于预配置的字段映射规则将所述第一字段映射为标准字段,具体的,所述预配置的字段映射规则也存储在所述配置文件中,由于不同系统中表征同一个信息可能采用了不同的字段进行表示,例如表示地址,系统1中使用add字段,系统2中使用address字段,但是该两个字段为表征同一个信息的字段,具有映射关系,基于表征同一个信息的不同字段的映射关系确定字段映射规则,然后基于预配置的字段映射规则将所述第一字段映射为标准字段,并获取所述第一字段对应的第一数据,即获取所述第一字段包含的数据。
55.s40、获取第二系统中所述标准字段映射的第二字段及所述第二字段对应的第二数据。
56.本实施例中,在基于预配置的字段映射规则将所述第一字段映射为标准字段,并获取所述第一字段对应的第一数据之后,对于需要进行数据同步的系统,定义为第二系统,在数据迁移至第二系统后,需要校验迁移后的第二系统中的数据是否与第一系统中的数据一致,即获取第二系统中所述标准字段映射的第二字段及所述第二字段对应的第二数据。
57.s50、调用校验规则对所述第一数据与所述第二数据进行比对,若所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据分别进行同步。
58.本实施例中,在得到第一系统中的第一字段对应的第一数据,以及获取第二系统中所述标准字段映射的第二字段及第二字段对应的第二数据之后,由于第一字段与第二字段是表征同一个信息的字段,因此在数据迁移同步的过程中,应该保证该字段对应的数据是一致的或者满足两个字段的其他要求,如将第一字段的第一数据加1后同步至第二字段的第二数据中,因此调用校验规则对所述第一数据与所述第二数据进行比对,若所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据分别进行同步。在一种实施方式中,将所述第一数据与所述第二数据分别代入所述校验规则的运算逻辑中,然后执行所述运算逻辑,若能使得所述运算逻辑成立,则确定所述第一数据与所述第二数据满足校验规则,此时将所述第一系统中的第一数据与第二系统中的第二数据分别进行同步,即将第二系统中的第二数据写入到第二系统的数据库中,完成系统间数据的同步,从而提高不同系统间数据同步的效率与准确性。
59.本实施例提供了一种不同系统之间数据同步及数据校验的方法,首先接收对数据校验的配置指令,根据所述配置指令生成数据校验的配置文件;所述配置文件中包含待校
验的数据信息,所述待校验的数据信息包括待校验的表名称及表字段,然后获取第一系统的第一数据文件,根据所述待校验的表名称及表字段从所述第一数据文件中提取第一表中的第一字段作为待检验的数据信息,再基于预配置的字段映射规则将所述第一字段映射为标准字段,并获取所述第一字段对应的第一数据,再获取第二系统中所述标准字段映射的第二字段及所述第二字段对应的第二数据,调用校验规则对所述第一数据与所述第二数据进行比对,若所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据的同步,通过不同系统间数据字段的映射以及映射后的数据字段的数据信息的比对、校验,所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据分别进行同步,即将第二系统中的第二数据写入到第二系统的数据库中,完成不同系统间数据同步过程时的数据校验效率,从而提高不同系统间数据同步的效率与准确性。
60.在一个实施例中,所述获取第二系统中所述标准字段映射的第二字段及所述第二字段对应的第二数据,包括:
61.获取所述第二系统的第二数据文件;
62.从所述第二数据文件中获取第二表;
63.获取所述标准字段映射的待选字段;
64.根据所述待选字段在所述第二表进行匹配,获取所述第二表中与所述标准字段相映射的第二字段,并获取所述第二字段的第二数据。
65.本实施例中,在获取第二系统中所述标准字段映射的第二字段及所述第二字段对应的第二数据的过程中,首先获取所述第二系统的第二数据文件,然后定位第二数据文件中的数据表,即从所述第二数据文件中获取第二表,再获取所述标准字段映射的待选字段,即获取第一字段映射的标准字段还包含了哪个字段,将该些字段定义为待选字段,然后根据所述待选字段在所述第二表进行匹配,获取所述第二表中与所述标准字段相映射的第二字段,并获取所述第二字段的第二数据,可以通过该方式自动地对每一个系统中存在相遇映射的字段的数据进行同步校验,从而提高数据同步的准确率。
66.在一个实施例中,所述从所述第二数据文件中获取第二表,包括:
67.获取与所述第一表相匹配的目标表名称;
68.根据所述目标表名称从所述第二数据文件中获取第二表。
69.本实施例中,在从所述第二数据文件中获取第二表的过程中,获取与所述第一表相匹配的目标表名称,即存储同一数据的表在不同系统之间的名称是不同的,例如在系统1中表1的名称为用户信息表,在系统2中表2的名称为用户表,表1与表2是表征同一数据的表,即表1的名称与表2的名称是相互映射的,可以通过获取表1的名称而确定与其相互映射的表2的名称,即获取与所述第一表相匹配的目标表名称,然后根据所述目标表名称从所述第二数据文件中获取第二表,从而准确地定位第二数据文件中的表,提高数据同步的准确率。
70.在一个实施例中,所述调用校验规则对所述第一数据与所述第二数据进行比对,包括:
71.获取校验规则中与所述第一数据相关联的第三数据;
72.根据所述校验规则将所述第一数据与第三数据计算得到第一结果;
73.根据所述校验规则将所述第二数据与第三数据计算得到第二结果;
74.将所述第一结果与所述第二结果进行比对,以对所述第一数据与所述第二数据进行比对。
75.本实施例中,在调用校验规则对所述第一数据与所述第二数据进行比对的过程中,由于部分数据之间存在关联关系,存在关联关系的数据需要保证数据本身是正确的,且还需保证每一项数据关联后仍然是正确的,因此,在对第一数据与第二数据进行校验的过程中,首先获取校验规则中与所述第一数据相关联的第三数据,然后根据所述校验规则将所述第一数据与第三数据计算得到第一结果,再根据所述校验规则将所述第二数据与第三数据计算得到第二结果,然后再将所述第一结果与所述第二结果进行比对,以对所述第一数据与所述第二数据进行比对,不仅比对第一数据与第二数据,还比对关联了第三数据后的第一数据与第二数据,只有在第一数据与第二数据正确且第一数据与第二数据分别第三数据关联后也正确,才确定第一数据与第二数据通过校验,从而提高数据同步后的校验准确率。
76.在一个实施例中,所述基于预配置的字段映射规则将所述第一字段映射为标准字段,包括:
77.获取所述第一字段的分类类型;
78.根据所述分类类型从所述配置文件中匹配所述分类类型的字段映射规则,基于所述字段映射规则将所述第一字段映射至目标字段。
79.本实施例中,在基于预配置的字段映射规则将所述第一字段映射为标准字段的过程中,获取所述第一字段的分类类型,不同的分类类型的映射规则不同,且所述映射规则写入在配置文件中,即根据所述分类类型从所述配置文件中匹配所述分类类型的字段映射规则,基于所述字段映射规则将所述第一字段映射至目标字段,从而提高字段映射的准确性。
80.在一个实施例中,所述获取所述第一字段对应的第一数据,包括:
81.获取所述第一字段的待选第一数据;
82.获取所述第一字段的数据筛选规则;
83.基于所述数据筛选规则对所述待选第一数据进行筛选,得到筛选后的所述第一字段对应的第一数据。
84.本实施例中,在获取所述第一字段对应的第一数据的过程中,还需要对所述第一数据进行筛选,具体的,获取所述第一字段的待选第一数据。将未经筛选的第一字段的数据定义为待选第一数据,然后获取所述第一字段的数据筛选规则,再基于所述数据筛选规则对所述待选第一数据进行筛选,得到筛选后的所述第一字段对应的第一数据,例如,对于第一待选数据不符合指定数据范围的数据进行剔除,或者对于第一待选数据中字符类型不符合规定的数据进行剔除。通过对不符合要求的数据进行筛选,从而减少数据比对时的数据量以及数据的复杂度,从而提高数据校验的效率。
85.在一个实施例中,所述若所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据分别进行同步,还包括:
86.将所述第一系统中的第一数据与第二系统中的第二数据分别进行同步,并获取所述第二系统进行数据同步后生成的第二目标文件;
87.计算所述第一数据文件的md5值,以及计算所述第二目标文件的md5值;
88.若所述第一数据文件的md5值与所述第二目标文件的md5值相同,确定所述第一系统中的第一数据与第二系统中的第二数据完成同步。
89.本实施例中,在判定所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据分别进行同步的过程中,还要对同步后的数据文件进行校验,只有当校验通过后的数据文件才确认数据完成同步,具体的,将所述第一系统中的第一数据与第二系统中的第二数据分别进行同步,并获取所述第二系统进行数据同步后生成的第二目标文件,然后计算所述第一数据文件的md5值,以及计算所述第二目标文件的md5值,若所述第一数据文件的md5值与所述第二目标文件的md5值相同,确定所述第一系统中的第一数据与第二系统中的第二数据完成同步,首先对每一项同步的数据进行比对,再对同步后的数据生成的文件进行比对,从而保证数据同步的正确性。
90.参照图2,本技术还提供一种数据校验装置,包括:
91.数据配置模块10,用于接收对数据校验的配置指令,根据所述配置指令生成数据校验的配置文件;所述配置文件中包含待校验的数据信息,所述待校验的数据信息包括待校验的表名称及表字段;
92.字段获取模块20,用于获取第一系统的第一数据文件,根据所述待校验的表名称及表字段从所述第一数据文件中提取第一表中的第一字段;
93.数据获取模块30,用于基于预配置的字段映射规则将所述第一字段映射为标准字段,并获取所述第一字段对应的第一数据;
94.同步系统模块40,用于获取第二系统中所述标准字段映射的第二字段及所述第二字段对应的第二数据;
95.校验同步模块50,用于调用校验规则对所述第一数据与所述第二数据进行比对,若所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据分别进行同步。
96.如上所述,可以理解地,本技术中提出的所述数据校验装置的各组成部分可以实现如上所述数据校验方法任一项的功能。
97.在一个实施例中,所述获取第二系统中所述标准字段映射的第二字段及所述第二字段对应的第二数据,包括:
98.获取所述第二系统的第二数据文件;
99.从所述第二数据文件中获取第二表;
100.获取所述标准字段映射的待选字段;
101.根据所述待选字段在所述第二表进行匹配,获取所述第二表中与所述标准字段相映射的第二字段,并获取所述第二字段的第二数据。
102.在一个实施例中,所述从所述第二数据文件中获取第二表,包括:
103.获取与所述第一表相匹配的目标表名称;
104.根据所述目标表名称从所述第二数据文件中获取第二表。
105.在一个实施例中,所述调用校验规则对所述第一数据与所述第二数据进行比对,包括:
106.获取校验规则中与所述第一数据相关联的第三数据;
107.根据所述校验规则将所述第一数据与第三数据计算得到第一结果;
108.根据所述校验规则将所述第二数据与第三数据计算得到第二结果;
109.将所述第一结果与所述第二结果进行比对,以对所述第一数据与所述第二数据进行比对。
110.在一个实施例中,所述基于预配置的字段映射规则将所述第一字段映射为标准字段,包括:
111.获取所述第一字段的分类类型;
112.根据所述分类类型从所述配置文件中匹配所述分类类型的字段映射规则,基于所述字段映射规则将所述第一字段映射至目标字段。
113.在一个实施例中,所述获取所述第一字段对应的第一数据,包括:
114.获取所述第一字段的待选第一数据;
115.获取所述第一字段的数据筛选规则;
116.基于所述数据筛选规则对所述待选第一数据进行筛选,得到筛选后的所述第一字段对应的第一数据。
117.在一个实施例中,所述若所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据分别进行同步,还包括:
118.将所述第一系统中的第一数据与第二系统中的第二数据分别进行同步,并获取所述第二系统进行数据同步后生成的第二目标文件;
119.计算所述第一数据文件的md5值,以及计算所述第二目标文件的md5值;
120.若所述第一数据文件的md5值与所述第二目标文件的md5值相同,确定所述第一系统中的第一数据与第二系统中的第二数据完成同步。
121.参照图3,本技术实施例中还提供一种计算机设备,该计算机设备可以是移动终端,其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和显示装置及输入装置。其中,该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机设备的输入装置用于接收用户的输入。该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括存储介质。该存储介质存储有操作系统、计算机程序和数据库。该计算机设备的数据库用于存放数据。该计算机程序被处理器执行时以实现一种数据校验方法。
122.上述处理器执行上述的数据校验方法,包括:接收对数据校验的配置指令,根据所述配置指令生成数据校验的配置文件;所述配置文件中包含待校验的数据信息,所述待校验的数据信息包括待校验的表名称及表字段;获取第一系统的第一数据文件,根据所述待校验的表名称及表字段从所述第一数据文件中提取第一表中的第一字段;基于预配置的字段映射规则将所述第一字段映射为标准字段,并获取所述第一字段对应的第一数据;获取第二系统中所述标准字段映射的第二字段及所述第二字段对应的第二数据;调用校验规则对所述第一数据与所述第二数据进行比对,若所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据的同步。
123.所述计算机设备提供了一种不同系统之间数据同步及数据校验的方法,首先接收对数据校验的配置指令,根据所述配置指令生成数据校验的配置文件;所述配置文件中包含待校验的数据信息,所述待校验的数据信息包括待校验的表名称及表字段,然后获取第一系统的第一数据文件,根据所述待校验的表名称及表字段从所述第一数据文件中提取第
一表中的第一字段作为待检验的数据信息,再基于预配置的字段映射规则将所述第一字段映射为标准字段,并获取所述第一字段对应的第一数据,再获取第二系统中所述标准字段映射的第二字段及所述第二字段对应的第二数据,调用校验规则对所述第一数据与所述第二数据进行比对,若所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据的同步,通过不同系统间数据字段的映射以及映射后的数据字段的数据信息的比对、校验,所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据的同步,即将第二系统中的第二数据写入到第二系统的数据库中,完成不同系统间数据同步过程时的数据校验效率,从而提高不同系统间数据同步的效率与准确性。
124.本技术一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被所述处理器执行时实现一种数据校验方法,包括步骤:接收对数据校验的配置指令,根据所述配置指令生成数据校验的配置文件;所述配置文件中包含待校验的数据信息,所述待校验的数据信息包括待校验的表名称及表字段;获取第一系统的第一数据文件,根据所述待校验的表名称及表字段从所述第一数据文件中提取第一表中的第一字段;基于预配置的字段映射规则将所述第一字段映射为标准字段,并获取所述第一字段对应的第一数据;获取第二系统中所述标准字段映射的第二字段及所述第二字段对应的第二数据;调用校验规则对所述第一数据与所述第二数据进行比对,若所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据的同步。
125.所述计算机可读存储介质提供了一种不同系统之间数据同步及数据校验的方法,首先接收对数据校验的配置指令,根据所述配置指令生成数据校验的配置文件;所述配置文件中包含待校验的数据信息,所述待校验的数据信息包括待校验的表名称及表字段,然后获取第一系统的第一数据文件,根据所述待校验的表名称及表字段从所述第一数据文件中提取第一表中的第一字段作为待检验的数据信息,再基于预配置的字段映射规则将所述第一字段映射为标准字段,并获取所述第一字段对应的第一数据,再获取第二系统中所述标准字段映射的第二字段及所述第二字段对应的第二数据,调用校验规则对所述第一数据与所述第二数据进行比对,若所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据的同步,通过不同系统间数据字段的映射以及映射后的数据字段的数据信息的比对、校验,所述第一数据与所述第二数据满足所述校验规则,将所述第一系统中的第一数据与第二系统中的第二数据的同步,即将第二系统中的第二数据写入到第二系统的数据库中,完成不同系统间数据同步过程时的数据校验效率,从而提高不同系统间数据同步的效率与准确性。
126.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。
127.本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。
128.非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、
动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
129.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
130.以上所述仅为本技术的优选实施例,并非因此限制本技术的专利范围。
131.凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本技术的专利保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1