1.本技术属于数据质量评估领域，尤其涉及一种数据中台的数据质量评估方法、装置、电子设备及计算机可读存储介质。
背景技术：
：：2.数据质量，是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。3.在不同的业务场景中，数据消费者对数据质量的需要不尽相同，有些人主要关注数据的准确性和一致性，另外一些人则关注数据的实时性和相关性。因此，只要数据能满足使用目的，就可以说数据质量符合要求。4.如何强化对数据的完整性、规范性、一致性、准确性、唯一性和时效性的控制，逐步实现系统业务数据质量的提升，需要建立一套客观的评估机制。5.因此，如何对数据进行质量评估是本领域技术人员亟需解决的技术问题。技术实现要素：6.本技术实施例提供一种数据中台的数据质量评估方法、装置、电子设备及计算机可读存储介质，能够对数据进行质量评估。7.第一方面，本技术实施例提供一种数据中台的数据质量评估方法，包括：8.获取待质检评估数据及其对应的质检评估规则和权重；9.将待质检评估数据及其对应的质检评估规则和权重输入预设的质检评估模型，输出对应的数据质量评估结果；10.其中，质检评估模型包括预先配置的多个质检评估对象及其分别绑定的质检评估规则和权重。11.可选的，在获取待质检评估数据及其对应的质检评估规则和权重之前，方法还包括：12.获取数据质量问题信息；13.基于数据质量问题信息，确定多个质检评估对象；14.基于多个质检评估对象，分别设置对应的质检评估规则和权重；15.基于多个质检评估对象及其分别绑定的质检评估规则和权重，建立质检评估模型；16.其中，质检评估对象包括数据表，数据表包括不同数据类型的字段。17.可选的，方法还包括：18.变更任一质检评估对象对应的质检评估规则和权重。19.可选的，将待质检评估数据及其对应的质检评估规则和权重输入预设的质检评估模型，输出对应的数据质量评估结果，包括：20.将待质检评估数据及其对应的质检评估规则和权重输入预设的质检评估模型，输出对应的数据质量评估报告；21.其中，数据质量评估报告包括待质检评估数据的质量体系相关评分和趋势。22.第二方面，本技术实施例提供了一种数据中台的数据质量评估装置，包括：23.第一获取模块，用于获取待质检评估数据及其对应的质检评估规则和权重；24.质量评估结果输出模块，用于将待质检评估数据及其对应的质检评估规则和权重输入预设的质检评估模型，输出对应的数据质量评估结果；25.其中，质检评估模型包括预先配置的多个质检评估对象及其分别绑定的质检评估规则和权重。26.可选的，装置还包括：27.第二获取模块，用于获取数据质量问题信息；28.确定模块，用于基于数据质量问题信息，确定多个质检评估对象；29.设置模块，用于基于多个质检评估对象，分别设置对应的质检评估规则和权重；30.质检评估模型建立模块，用于基于多个质检评估对象及其分别绑定的质检评估规则和权重，建立质检评估模型；31.其中，质检评估对象包括数据表，数据表包括不同数据类型的字段。32.可选的，装置还包括：33.变更模块，用于变更任一质检评估对象对应的质检评估规则和权重。34.可选的，质量评估结果输出模块，用于将待质检评估数据及其对应的质检评估规则和权重输入预设的质检评估模型，输出对应的数据质量评估报告；35.其中，数据质量评估报告包括待质检评估数据的质量体系相关评分和趋势。36.第三方面，本技术实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；37.处理器执行计算机程序指令时实现如第一方面所示的数据中台的数据质量评估方法。38.第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面所示的数据中台的数据质量评估方法。39.本技术实施例的数据中台的数据质量评估方法、装置、电子设备及计算机可读存储介质，能够对数据进行质量评估。40.该数据中台的数据质量评估方法，获取待质检评估数据及其对应的质检评估规则和权重；将待质检评估数据及其对应的质检评估规则和权重输入预设的质检评估模型，输出对应的数据质量评估结果。41.由于该质检评估模型包括预先配置的多个质检评估对象及其分别绑定的质检评估规则和权重，故该数据中台的数据质量评估方法能够对数据进行质量评估，能够强化对数据的完整性、规范性、一致性、准确性、唯一性和时效性的控制，逐步实现系统业务数据质量的提升。附图说明42.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。43.图1是本技术一个实施例提供的数据中台的数据质量评估方法的流程示意图；44.图2是本技术一个实施例提供的创建质检对象的流程示意图；45.图3是本技术一个实施例提供的创建质检规则的流程示意图；46.图4是本技术一个实施例提供的创建质量模型的流程示意图；47.图5是本技术一个实施例提供的生成质量评估报告的流程示意图；48.图6是本技术一个实施例提供的生成质量评估报告的流程示意图；49.图7是本技术一个实施例提供的数据中台的数据质量评估装置的结构示意图；50.图8是本技术一个实施例提供的电子设备的结构示意图。具体实施方式51.下面将详细描述本技术的各个方面的特征和示例性实施例，为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本技术进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本技术，而不是限定本技术。对于本领域技术人员来说，本技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本技术的示例来提供对本技术更好的理解。52.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。53.数据质量，是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。54.在不同的业务场景中，数据消费者对数据质量的需要不尽相同，有些人主要关注数据的准确性和一致性，另外一些人则关注数据的实时性和相关性。因此，只要数据能满足使用目的，就可以说数据质量符合要求。55.如何强化对数据的完整性、规范性、一致性、准确性、唯一性和时效性的控制，逐步实现系统业务数据质量的提升，需要建立一套客观的评估机制。56.为了解决现有技术问题，本技术实施例提供了一种数据中台的数据质量评估方法、装置、设备及计算机可读存储介质。下面首先对本技术实施例所提供的数据中台的数据质量评估方法进行介绍。57.图1示出了本技术一个实施例提供的数据中台的数据质量评估方法的流程示意图。如图1所示，该数据中台的数据质量评估方法，包括：58.s101、获取待质检评估数据及其对应的质检评估规则和权重。59.s102、将待质检评估数据及其对应的质检评估规则和权重输入预设的质检评估模型，输出对应的数据质量评估结果。60.其中，质检评估模型包括预先配置的多个质检评估对象及其分别绑定的质检评估规则和权重。61.在一个实施例中，在获取待质检评估数据及其对应的质检评估规则和权重之前，方法还包括：62.获取数据质量问题信息；63.基于数据质量问题信息，确定多个质检评估对象；64.基于多个质检评估对象，分别设置对应的质检评估规则和权重；65.基于多个质检评估对象及其分别绑定的质检评估规则和权重，建立质检评估模型；66.其中，质检评估对象包括数据表，数据表包括不同数据类型的字段。67.该实施例为了能够对数据进行质量评估，进而强化对数据的完整性、规范性、一致性、准确性、唯一性和时效性的控制，故基于数据质量问题信息，确定多个质检评估对象，并分别设置对应的质检评估规则和权重，能够更加准确地建立满足上述需求的质检评估模型。68.在一个实施例中，方法还包括：69.变更任一质检评估对象对应的质检评估规则和权重。70.由于用户需求会不时变化，该实施例可以变更任一质检评估对象对应的质检评估规则和权重，后续可以更加准确地对数据质量进行评估。71.具体地，先是针对数据中的质量问题而定义需要进行质量监控的对象，也即质检评估对象，其是规则运行的落脚点，一般对应的是数据库中的一张数据表，该数据表包含字段，每个字段都有不同的数据类型，定义对象时会对每个字段自动匹配质检评估规则。72.然后，设置质检评估规则，建立质检评估模型。其中，质检评估规则是表字段质量评判的依据，表或者字段级别，库级暂不考虑。质检评估模型是质量报告的承载面，一个质检评估模型包含了多个质检评估对象，以及和质检评估对象绑定的多条质检评估规则和其在整个模型中的权重百分比。73.在一个实施例中，质检评估模型包括：74.oi为第i个监控对象的质量得分；75.wi为第i个监控对象的权重；76.rj监控对象中第j个监控规则的质量得分；77.wj监控对象中第j个监控规则的权重；78.cj符合质量要求的数据条数；79.sj质检的总数据条数；[0080][0081][0082][0083][0084]例如，[0085][0086][0087]质检评估模型s＝[正常行数/总行数*权重(规则1)+正常行数/总行数*权重(规则2)]*表权重(tablea)+[正常行数/总行数*权重(规则1)+正常行数/总行数*权重(规则2)]*表权重(tableb)+[正常行数/总行数*权重(规则1)+正常行数/总行数*权重(规则2)]*表权重(tablec)。[0088]该质检评估模型可以理解为：通过模型配置不同的质检评估对象，并对对象与规则设置不同的权重，最终运行得到相应的质检结果。[0089]图2是本技术一个实施例提供的创建质检对象的流程示意图，如图2所示，先创建质检对象分类，然后创建质检对象，最后设置质检规则。[0090]图3是本技术一个实施例提供的创建质检规则的流程示意图，如图3所示，先按步骤给质检对象新增质检规则，再设置规则状态为启用状态。[0091]图4是本技术一个实施例提供的创建质量模型的流程示意图，如图4所示，先创建质量模型，然后添加质检对象，设置质检规则，最后选择范围。[0092]在一个实施例中，将待质检评估数据及其对应的质检评估规则和权重输入预设的质检评估模型，输出对应的数据质量评估结果，包括：[0093]将待质检评估数据及其对应的质检评估规则和权重输入预设的质检评估模型，输出对应的数据质量评估报告；[0094]其中，数据质量评估报告包括待质检评估数据的质量体系相关评分和趋势。[0095]该实施例中的数据质量评估报告包括待质检评估数据的质量体系相关评分和趋势，可以更加直观地方便用户知悉数据质量。[0096]图5是本技术一个实施例提供的生成质量评估报告的流程示意图，质量评估报告是根据质量模型设定，生成的质量体系相关评分、趋势等测量数据的报告。如图5所示，先选中质量模型，然后为模型中的各质检对象设置权重，选择各质检对象中的质检规则并设置权重，最后点击运行。[0097]图6是本技术一个实施例提供的生成质量评估报告的流程示意图，如图6所示，先选中质量模型，然后选中模型下的任务(每个质量模型跑一次就会生成一个任务)，该次任务相关的报告信息即可展示出来。[0098]在该实施例中，针对数据中的质量问题而定义需要进行质量监控的对象，设置质量检查规则，建立质检评估模型，生成质量评估报告，强化对数据的完整性、规范性、一致性、准确性、唯一性和时效性的控制，逐步实现系统业务数据质量的提升。[0099]图7是本技术一个实施例提供的数据中台的数据质量评估装置的结构示意图，如图7所示，该数据中台的数据质量评估装置，包括：[0100]第一获取模块701，用于获取待质检评估数据及其对应的质检评估规则和权重；[0101]质量评估结果输出模块702，用于将待质检评估数据及其对应的质检评估规则和权重输入预设的质检评估模型，输出对应的数据质量评估结果；[0102]其中，质检评估模型包括预先配置的多个质检评估对象及其分别绑定的质检评估规则和权重。[0103]在一个实施例中，装置还包括：[0104]第二获取模块，用于获取数据质量问题信息；[0105]确定模块，用于基于数据质量问题信息，确定多个质检评估对象；[0106]设置模块，用于基于多个质检评估对象，分别设置对应的质检评估规则和权重；[0107]质检评估模型建立模块，用于基于多个质检评估对象及其分别绑定的质检评估规则和权重，建立质检评估模型；[0108]其中，质检评估对象包括数据表，数据表包括不同数据类型的字段。[0109]在一个实施例中，装置还包括：[0110]变更模块，用于变更任一质检评估对象对应的质检评估规则和权重。[0111]在一个实施例中，质量评估结果输出模块702，用于将待质检评估数据及其对应的质检评估规则和权重输入预设的质检评估模型，输出对应的数据质量评估报告；[0112]其中，数据质量评估报告包括待质检评估数据的质量体系相关评分和趋势。[0113]图7所示装置中的各个模块/单元具有实现图1中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。[0114]图8示出了本技术实施例提供的电子设备的结构示意图。[0115]电子设备可以包括处理器801以及存储有计算机程序指令的存储器802。[0116]具体地，上述处理器801可以包括中央处理器(cpu)，或者特定集成电路(applicationspecificintegratedcircuit，asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。[0117]存储器802可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器802可包括硬盘驱动器(harddiskdrive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universalserialbus，usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器802可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器802可在电子设备的内部或外部。在特定实施例中，存储器802可以是非易失性固态存储器。[0118]在一个实施例中，存储器802可以是只读存储器(readonlymemory，rom)。在一个实施例中，该rom可以是掩模编程的rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可改写rom(earom)或闪存或者两个或更多个以上这些的组合。[0119]处理器801通过读取并执行存储器802中存储的计算机程序指令，以实现上述实施例中的任意一种数据中台的数据质量评估方法。[0120]在一个示例中，电子设备还可包括通信接口803和总线810。其中，如图8所示，处理器801、存储器802、通信接口803通过总线810连接并完成相互间的通信。[0121]通信接口803，主要用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。[0122]总线810包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci-express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线810可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。[0123]另外，结合上述实施例中的数据中台的数据质量评估方法，本技术实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据中台的数据质量评估方法。[0124]需要明确的是，本技术并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本技术的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本技术的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。[0125]以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本技术的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。[0126]还需要说明的是，本技术中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本技术不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。[0127]上面参考根据本技术的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本技术的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。[0128]以上所述，仅为本技术的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本技术的保护范围并不局限于此，任何熟悉本
技术领域：
：的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。当前第1页12当前第1页12