数据质量校验方法、装置、电子设备及可读存储介质与流程

本技术涉及数据仓库，尤其涉及一种数据质量校验方法、装置、电子设备及可读存储介质。

背景技术：

1、随着科技的不断发展，为提高数据的交互性，数据仓库的应运而生，与此同时，作为互联网企业十分依赖的新型重要资产，数据质量的好坏也就直接关系到数据的精准度，这就使得对于数据质量的管控成为了不可或缺的一环。

2、目前，在数据质量管控过程中，在经过数据仓库加工的数据表中的数据进行应用时才会进行数据质量校验，而后对校验出的异常数据进行修复，但是，由于数据应用时会涉及到大规模数据，导致易出现影响决策准确性的情况，所以，当前进行数据质量管控的管控效果差。

技术实现思路

1、本技术的主要目的在于提供一种数据质量校验方法、装置、电子设备及可读存储介质，旨在解决现有技术中进行数据质量管控的管控效果差的技术问题。

2、为实现上述目的，本技术提供一种数据质量校验方法，所述数据质量校验方法包括：

3、在目标数据仓库的数据处理层获取待校验数据表；

4、根据所述数据处理层，确定所述待校验数据表的数据校验时间点，其中，所述数据校验时间点位于所述数据处理层的数据处理周期内；

5、在所述数据校验时间点对所述待校验数据表进行数据质量校验。

6、可选地，所述校验时间点为所述数据处理层对所述待校验数据表进行数据处理前的第一校验时间点，所述在所述数据校验时间点对所述待校验数据表进行数据质量校验的步骤包括：

7、在所述第一校验时间点获取所述待校验数据表的数据校验信息；

8、根据所述数据校验信息，对所述待校验数据表进行数据质量校验。

9、可选地，所述数据校验时间点为所述数据处理层对所述待校验数据表进行数据处理后的第二校验时间点，所述在所述数据校验时间点对所述待校验数据表进行数据质量校验的步骤包括：

10、根据所述数据标识信息，检测所述数据处理层对所述待校验数据表进行的数据处理是否存在异常；

11、若是，则校验得到所述待校验数据表数据质量异常的校验结果；

12、若否，则根据所述数据校验信息，对所述待校验数据表进行数据质量校验。

13、可选地，所述数据校验信息包括日波动数据量和日环比数据量，所述根据所述数据校验信息，对所述待校验数据表进行数据质量校验的步骤包括：

14、获取所述待校验数据表对应的历史数据表；

15、根据所述待校验数据表和所述历史数据表之间的数据量关系，对所述历史数据表进行数据表类型检测；

16、若检测到所述待校验数据表为第一类型数据表，则根据所述日波动数据量，对所述待校验数据表进行数据质量校验；

17、若检测到所述待校验数据表为第二类型数据表，则根据所述日环比数据量，对所述待校验数据表进行数据质量校验。

18、可选地，所述数据校验时间点为所述数据处理层生成所述待校验数据表对应的业务数据指标的第三校验时间点，所述在所述数据校验时间点对所述待校验数据表进行数据质量校验的步骤包括：

19、在所述第三校验时间点获取所述业务数据指标的数据指标值；

20、根据所述数据指标值和预设数据指标值之间的大小关系，对所述待校验数据表进行数据质量校验。

21、可选地，所述数据质量校验方法还包括：

22、在所述目标数据仓库对应的至少一个数据集市下的核心数据表均完成数据处理后，获取各所述数据集市共同对应的基础数据表集，其中，所述基础数据表集包括至少一个基础数据表；

23、对于任一所述基础数据表，为所述基础数据表匹配对应的数据质量校验规则，以及根据所述数据质量校验规则，对所述基础数据表进行数据质量校验；

24、在预设数据质量管控界面显示所述基础数据表集的数据质量校验结果。

25、可选地，所述为所述基础数据表匹配对应的数据质量校验规则的步骤包括：

26、根据所述基础数据表的字段标识，提取所述基础数据表的至少一个核心字段；

27、根据各所述核心字段和对应的字段权重，为所述基础数据表匹配预设校验规则模板；

28、将各所述核心字段插入所述预设校验规则模板，得到所述数据质量校验规则。

29、为实现上述目的，本技术还提供一种数据质量校验装置，所述数据质量校验装置包括：

30、获取模块，用于获取待校验数据表在所述目标数据仓库所处的数据处理层；

31、确定模块，用于根据所述数据处理层，确定所述待校验数据表的数据校验信息；

32、校验模块，用于根据所述数据校验信息，对所述待校验数据表进行数据质量校验。

33、可选地，所述数据校验时间点为所述数据处理层对所述待校验数据表进行数据处理前的第一校验时间点，所述校验模块还用于：

34、在所述第一校验时间点获取所述待校验数据表的数据校验信息；

35、根据所述数据校验信息，对所述待校验数据表进行数据质量校验。

36、可选地，所述数据校验时间点为所述数据处理层对所述待校验数据表进行数据处理后的第二校验时间点，所述校验模块还用于：

37、在所述第二校验时间点获取所述待校验数据表的数据标识信息和数据校验信息；

38、根据所述数据标识信息，检测所述数据处理层对所述待校验数据表进行的数据处理是否存在异常；

39、若是，则校验得到所述待校验数据表数据质量异常的校验结果；

40、若否，则根据所述数据校验信息，对所述待校验数据表进行数据质量校验。

41、可选地，所述数据校验信息包括日波动数据量和日环比数据量，所述校验模块还用于：

42、获取所述待校验数据表对应的历史数据表；

43、根据所述待校验数据表和所述历史数据表之间的数据量关系，对所述历史数据表进行数据表类型检测；

44、若检测到所述待校验数据表为第一类型数据表，则根据所述日波动数据量，对所述待校验数据表进行数据质量校验；

45、若检测到所述待校验数据表为第二类型数据表，则根据所述日环比数据量，对所述待校验数据表进行数据质量校验。

46、可选地，所述数据校验时间点为所述数据处理层生成所述待校验数据表对应的业务数据指标的第三校验时间点，所述校验模块还用于：

47、在所述第三校验时间点获取所述业务数据指标的数据指标值；

48、根据所述数据指标值和预设数据指标值之间的大小关系，对所述待校验数据表进行数据质量校验。

49、可选地，所述数据质量校验装置还用于：

50、在所述目标数据仓库对应的至少一个数据集市下的核心数据表均完成数据处理后，获取各所述数据集市共同对应的基础数据表集，其中，所述基础数据表集包括至少一个基础数据表；

51、对于任一所述基础数据表，为所述基础数据表匹配对应的数据质量校验规则，以及根据所述数据质量校验规则，对所述基础数据表进行数据质量校验；

52、在预设数据质量管控界面显示所述基础数据表集的数据质量校验结果。

53、可选地，所述数据质量校验装置还用于：

54、根据所述基础数据表的字段标识，提取所述基础数据表的至少一个核心字段；

55、根据各所述核心字段和对应的字段权重，为所述基础数据表匹配预设校验规则模板；

56、将各所述核心字段插入所述预设校验规则模板，得到所述数据质量校验规则。

57、本技术还提供一种电子设备，所述电子设备包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的数据质量校验方法的步骤。

58、本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有实现数据质量校验方法的程序，所述数据质量校验方法的程序被处理器执行时实现如上述的数据质量校验方法的步骤。

59、本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的数据质量校验方法的步骤。

60、本技术提供了一种数据质量校验方法、装置、电子设备及可读存储介质，也即，在目标数据仓库的数据处理层获取待校验数据表；根据所述数据处理层，确定所述待校验数据表的数据校验时间点，其中，所述数据校验时间点位于所述数据处理层的数据处理周期内；在所述数据校验时间点对所述待校验数据表进行数据质量校验。

61、本技术在进行待校验数据表的数据质量校验时，首先在目标数据仓库的数据处理层直接获取数据处理层中的待校验数据表，进而通过数据处理层确定待校验数据表的数据校验时间点，最终在位于数据处理层数据处理周期内的数据校验时间点对待校验数据表进行数据质量校验，由于数据校验时间点位于数据处理层的数据处理周期内，进而即可在数据处理层中对待校验数据表进行数据质量校验，即，实现了将待校验数据表中的数据在目标数据仓库中进行数据质量校验的目的。

62、由于数据校验时间点发生于数据处理层的数据处理周期内，进而对于待待校验数据表中的数据在数据处理层中即可实现数据质量校验，也即，实现了对于目标数据仓库的数据在应用前进行数据指标校验的目的，从而得以对应用数据是否存在数据质量异常进行预判。

63、基于此，本技术通过在数据处理层的数据处理周期内对待校验数据表进行数据质量校验，进而得以提前判定待校验数据表中的数据质量情况，即，实现了对于目标数据仓库的数据在应用前进行数据指标校验的目的。而非在数据表被使用时才能发现存在数据质量异常。所以，克服了由于数据应用时会涉及到大规模数据，导致易出现影响决策准确性的情况的技术缺陷，所以，提升了进行数据质量管控的管控效果。