数据质量的检测方法、装置、设备及介质与流程

本申请属于数据处理，尤其涉及一种数据质量的检测方法、装置、设备及介质。

背景技术：

1、多源同类系统是指在一个集团性企业或跨企业的合作形态体中，往往存在同样类型、同样功能的数据源系统，这些数据源系统往往遵循某种同样的规范和设计理念。但是，由于数据源系统实施队伍、规范要求、技术迭代等因素，在不同数据源系统的数据模型可能会产生较大差异，因此在对不同互联网系统产生的源数据做数据集中化、统一化管理时就需要将不同数据源系统的源数据转换成同一模式。但是在转换过程中会产生转换错误从而造成数据质量出现问题，因此需要对转换后的多源同类系统数据的数据质量进行检测。但是现有的检测方式依赖大量人工操作，因此造成检测效率低和检测不准确的问题。

技术实现思路

1、本申请实施例提供一种数据质量的检测方法、装置、设备及介质，能够对于数据质量进行自动化检测，提高数据质量的检测效率。

2、第一方面，本申请实施例提供一种数据质量的检测方法，包括：

3、获取数据源系统的多个待检测数据，每个待检测数据包括目标字段；

4、按照预设的对于目标字段的加工方式对数据源系统的待检测数据进行分类，得到目标类别的待检测数据，目标类别包括编码转换类和特征映射类中的至少一种；

5、采用与目标类别对应的检测方式对待检测数据进行检测，得到检测结果。

6、第二方面，本申请实施例提供一种数据质量的检测装置，包括：

7、获取模块，用于获取数据源系统的多个待检测数据，每个待检测数据包括目标字段；

8、分类模块，用于按照预设的对于目标字段的加工方式对数据源系统的待检测数据进行分类，得到目标类别的待检测数据，目标类别包括编码转换类和特征映射类中的至少一种；

9、检测模块，用于采用与目标类别对应的检测方式对待检测数据进行检测，得到检测结果。

10、第三方面，本申请实施例提供了一种电子设备，设备包括：

11、处理器以及存储有计算机程序指令的存储器；

12、处理器执行计算机程序指令时用于执行上述第一方面的数据质量的检测方法。

13、第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现上述第一方面的数据质量的检测方法。

14、本申请实施例通过获取数据源系统待检测数据，每个待检测数据包括目标字段，之后按照对于目标字段的加工方式将数据源系统的待检测数据进行分类，得到了不同类别的待检测数据，根据目标字段的加工方式进行分类可以适应不同数据源系统待检测数据的动态变化，从而可以自动化地实现数据的分类。在完成对于待检测数据的后，可以采用与不同类别对应的检测方式对数据源系统的待检测数据进行检测得到检测结果，从而实现无需人工操作对不同的数据源系统的待检测数据进行检测，提高了数据质量的检测效率。

技术特征：

1.一种数据质量的检测方法，其特征在于，包括：

2.根据权利要求1所述的数据质量的检测方法，其特征在于，所述采用与所述目标类别对应的检测方式对所述待检测数据进行检测，得到检测结果，包括：

3.根据权利要求2所述的数据质量的检测方法，其特征在于，所述对所述待检测数据的目标字段编码值进行检测，得到检测结果，包括：计算所述待检测数据的目标字段编码值的平均值；

4.根据权利要求1所述的数据质量的检测方法，其特征在于，所述采用与所述目标类别对应的检测方式对所述待检测数据进行检测，得到检测结果，包括：

5.根据权利要求3或4所述的数据质量的检测方法，其特征在于，还包括：

6.根据权利要求4所述的数据质量的检测方法，其特征在于，所述特征值包括：字段长度的概率密度、极值、独立值比率或空值率的至少一项。

7.根据权利要求5所述的数据质量的检测方法，其特征在于，还包括：

8.根据权利要求2所述的数据质量的检测方法，其特征在于，在所述计算所述待检测数据的目标字段编码值的平均值之前，所述方法还包括：

9.一种数据质量的检测装置，其特征在于，包括：

10.一种电子设备，其特征在于，所述设备包括：处理器，以及存储有计算机程序指令的存储器；

11.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1至8任意一项所述的数据质量的检测方法。

技术总结
本申请公开了一种数据质量的检测方法、装置、设备及介质，方法包括：获取数据源系统的多个待检测数据，每个待检测数据包括目标字段；按照预设的对于目标字段的加工方式对数据源系统的待检测数据进行分类，得到目标类别的待检测数据，目标类别包括编码转换类和特征映射类中的至少一种；采用与目标类别对应的检测方式对待检测数据进行检测，得到检测结果。本申请能够对于数据质量进行自动化检测，提高数据质量的检测效率。

技术研发人员：陈文,万姝蓓,彭少凯,郑晓,朱丹
受保护的技术使用者：中移信息技术有限公司
技术研发日：
技术公布日：2024/1/14