数据资产生成方法、装置、电子设备与流程

文档序号:24806238发布日期:2021-04-23 16:50阅读:140来源:国知局
1.本申请一个或多个实施例涉及计算机应用
技术领域
:,尤其涉及数据资产生成方法、装置、电子设备及机器可读存储介质。
背景技术
::2.在企业向数字化转型的过程中,将数据作为资产进行管理已经成为共识。如今,各企业都依赖于自身拥有的数据资产以做出更明智和有效的决策,利用数据资产管理,提供更好的产品和服务,降低成本及风险控制。然而,由于数据往往错综复杂并且基于数据生成数据资产的效率较为低下,所以如何将数据快速高效地转化为对应的可信数据资产并进行有效管控,对提高数据资产的使用价值就显得尤为重要。技术实现要素:3.本申请提供一种数据资产生成方法,应用于数据资产管理平台,所述方法包括:4.从对接的数据治理平台获取数据治理后的数据表的表信息和与所述数据表对应的数据异常信息;5.基于所述数据异常信息和所述表信息,计算得到所述数据表的表质量信息;6.当所述表质量信息达到预设阈值时,向用户输出所述数据表,以使用户确定所述数据表是否为数据资产。7.可选的,所述表信息至少包括表名、表结构、表数据行数;所述数据异常信息至少包括数据异常治理规则类型、与数据异常治理规则类型对应的异常数据行数和异常字段数;8.所述基于所述数据异常信息和所述表信息,计算得到所述数据表的表质量信息,包括:9.基于与所述表名对应的所述表结构、所述表数据行数、所述异常数据行数和所述异常字段数,计算得到与各个数据异常治理规则类型分别对应的质量评分;10.基于与各个数据异常治理规则类型分别对应的预设权重系数和计算得到的质量评分进行加权计算得到最终总分,将得到的最终总分确定为所述数据表的表质量信息。11.可选的,所述基于与所述表名对应的所述表结构、所述表数据行数、所述异常数据行数和所述异常字段数,计算得到与各个数据异常治理规则类型分别对应的质量评分,包括:12.将所述异常数据行数和所述异常字段数的乘积,除以所述表数据行数与所述表结构的总字段数的乘积得到的商,按预设的百分制计算方法进行分值计算得到百分制得分;13.将得到的百分制得分,确定为与各个数据异常治理规则类型分别对应的质量评分。14.可选的,各个数据异常治理规则类型分别包括若干子规则类型;所述若干子规则类型分别对应异常数据行数和异常字段数;15.所述基于与所述表名对应的所述表结构、所述表数据行数、所述异常数据行数和所述异常字段数,计算得到与各个数据异常治理规则类型分别对应的质量评分,包括:16.将若干子规则类型分别对应的异常数据行数和异常字段数,按各个数据异常治理规则类型进行汇总,得汇总后的与各个数据异常治理规则类型分别对应的异常数据个数;17.基于与所述表名对应的所述表结构、所述表数据行数、汇总后的所述异常数据个数,计算得到与各个数据异常治理规则类型分别对应的质量评分。18.可选的,还包括:19.响应于用户触发的将所述数据表确定为数据资产的操作指令,将所述数据表作为数据资产保存在本地的数据库中。20.可选的,还包括:21.响应于用户触发的驳回所述数据表作为数据资产的操作指令且所述数据表的表质量信息未达到预设阈值时,将所述数据表返回至数据治理平台,以使数据治理平台重新进行数据治理。22.可选的,还包括:23.响应于用户触发的驳回所述数据表作为数据资产的操作指令且所述数据表的表信息不完整时,向用户输出所述数据表,以使用户补录所述数据表的表信息。24.本申请还提供一种数据资产生成装置,应用于数据资产管理平台,所述装置包括:25.获取模块,从对接的数据治理平台获取数据治理后的数据表的表信息和与所述数据表对应的数据异常信息;26.计算模块,基于所述数据异常信息和所述表信息,计算得到所述数据表的表质量信息;27.输出模块,当所述表质量信息达到预设阈值时,向用户输出所述数据表,以使用户确定所述数据表是否为数据资产。28.可选的,所述表信息至少包括表名、表结构、表数据行数;所述数据异常信息至少包括数据异常治理规则类型、与数据异常治理规则类型对应的异常数据行数和异常字段数;29.在基于所述数据异常信息和所述表信息,计算得到所述数据表的表质量信息的过程中,所述计算模块进一步:30.基于与所述表名对应的所述表结构、所述表数据行数、所述异常数据行数和所述异常字段数,计算得到与各个数据异常治理规则类型分别对应的质量评分;31.基于与各个数据异常治理规则类型分别对应的预设权重系数和计算得到的质量评分进行加权计算得到最终总分,将得到的最终总分确定为所述数据表的表质量信息。32.可选的,在基于与所述表名对应的所述表结构、所述表数据行数、所述异常数据行数和所述异常字段数,计算得到与各个数据异常治理规则类型分别对应的质量评分的过程中,所述计算模块进一步:33.将所述异常数据行数和所述异常字段数的乘积,除以所述表数据行数与所述表结构的总字段数的乘积得到的商,按预设的百分制计算方法进行分值计算得到百分制得分;34.将得到的百分制得分,确定为与各个数据异常治理规则类型分别对应的质量评分。35.可选的,各个数据异常治理规则类型分别包括若干子规则类型;所述若干子规则类型分别对应异常数据行数和异常字段数;36.在基于与所述表名对应的所述表结构、所述表数据行数、所述异常数据行数和所述异常字段数,计算得到与各个数据异常治理规则类型分别对应的质量评分的过程中,所述计算模块进一步:37.将若干子规则类型分别对应的异常数据行数和异常字段数,按各个数据异常治理规则类型进行汇总,得汇总后的与各个数据异常治理规则类型分别对应的异常数据个数;38.基于与所述表名对应的所述表结构、所述表数据行数、汇总后的所述异常数据个数,计算得到与各个数据异常治理规则类型分别对应的质量评分。39.可选的,所述装置还包括:40.保存模块,响应于用户触发的将所述数据表确定为数据资产的操作指令,将所述数据表作为数据资产保存在本地的数据库中。41.可选的,所述装置还包括:42.返回模块,响应于用户触发的驳回所述数据表作为数据资产的操作指令且所述数据表的表质量信息未达到预设阈值时,将所述数据表返回至数据治理平台,以使数据治理平台重新进行数据治理。43.可选的,所述装置还包括:44.补录模块,响应于用户触发的驳回所述数据表作为数据资产的操作指令且所述数据表的表信息不完整时,向用户输出所述数据表,以使用户补录所述数据表的表信息。45.本申请还提供一种电子设备,包括通信接口、处理器、存储器和总线,所述通信接口、所述处理器和所述存储器之间通过总线相互连接;46.所述存储器中存储机器可读指令,所述处理器通过调用所述机器可读指令,执行上述的方法。47.本申请还提供一种机器可读存储介质,所述机器可读存储介质存储有机器可读指令,所述机器可读指令在被处理器调用和执行时,执行上述的方法。48.通过以上实施例,从对接的数据治理平台获取数据治理后的数据表的表信息和与数据表对应的数据异常信息;基于数据异常信息和表信息,计算得到数据表的表质量信息;当表质量信息达到预设阈值时,向用户输出数据表,以使用户确定数据表是否为数据资产。一方面,将数据表确定为数据资产的过程流程化,提高了数据资产生成及管理效率。另一方面,通过计算数据表的表质量,并将符合目标质量标准的数据表生成为数据资产,提高了对数据资产的数据质量的管控。附图说明49.图1是一示例性实施例提供的一种数据资产生成方法的流程图;50.图2是一示例性实施例提供的一种电子设备的硬件结构图;51.图3是一示例性实施例提供的一种数据资产生成装置的框图。具体实施方式52.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。53.在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。54.应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。55.为了使本
技术领域
:的人员更好地理解本说明书实施例中的技术方案,下面先对本说明书实施例涉及的数据资产生成的相关技术,进行简要说明。56.通常,在将数据表转换为数据资产的现有技术方案中,需要人工记录哪些数据表可以作为数据资产并仅进行简单的分类管理,由于缺乏数据资产生成过程的管理系统,导致用户无法快速高效地进行数据资产进行流程化管理,另外,无法保证数据资产的数据质量。57.基于此,本申请旨在提出一种,快速高效地将数据表生成作为可信数据资产的技术方案。58.在实现时,数据资产管理平台从对接的数据治理平台获取数据治理后的数据表的表信息和与数据表对应的数据异常信息。59.进一步地,数据资产管理平台基于数据异常信息和表信息,计算得到数据表的表质量信息。60.进一步地,当表质量信息达到预设阈值时,数据资产数据资产管理平台向用户输出所述数据表,以使用户确定数据表是否为数据资产。61.在以上方案中,从对接的数据治理平台获取数据治理后的数据表的表信息和与数据表对应的数据异常信息;基于数据异常信息和表信息,计算得到数据表的表质量信息;当表质量信息达到预设阈值时,向用户输出数据表,以使用户确定数据表是否为数据资产。一方面,将数据表确定为数据资产的过程流程化,提高了数据资产生成及管理效率。另一方面,通过计算数据表的表质量,并将符合目标质量标准的数据表生成为数据资产,提高了对数据资产的数据质量的管控。62.下面通过具体实施例并结合具体的应用场景对本申请进行描述。63.请参见图1,图1是本申请一实施例提供的一种数据资产生成方法的流程图,上述方法应用于数据资产管理平台,上述方法执行以下步骤:64.步骤102、从对接的数据治理平台获取数据治理后的数据表的表信息和与上述数据表对应的数据异常信息。65.步骤104、基于上述数据异常信息和上述表信息,计算得到上述数据表的表质量信息。66.步骤106、当上述表质量信息达到预设阈值时,向用户输出上述数据表,以使用户确定上述数据表是否为数据资产。67.在本说明书中,上述数据治理平台,是指对原始的数据表进行数据加工及数据分析从而输出数据治理后的数据表的大数据平台。68.例如,在实际应用中,数据治理平台具体可以为基于hadoop、spark等架构的大数据平台。该数据治理平台针对原始的海量数据表可以进行etl数据处理及数据分析,输出数据治理后的数据表。69.在本说明书中,上述数据资产管理平台,可以包括与上述数据治理平台对接的、用于获取上述数据治理平台输出数据治理后的数据表,并对获取的数据治理后的数据表进行管理生成对应数据资产的、任何架构的数据资产管理平台。70.例如,在实际应用中,数据资产管理平台可以是分布式架构的数据资产管理平台,也可以是是集中式架构的数据资产管理平台。71.在本说明书中,上述表信息,是指数据治理后的上述数据表的表基本信息。72.在示出的一种实施方式中,上述表信息至少包括上述数据表的表名、表结构、表数据行数;其中,表结构至少包括上述数据表的表字段总数。73.例如,以数据表t1为例,t1的表结构包括20个字段,t1表保存有按该表结构的1万行数据,则t1的表信息具体包括表名(比如:table1)、t1表字段总数(20个字段)、表数据行数(1万行数据)。74.当然,在实际应用中,上述表信息还可以包括上述数据表的表描述、表数据大小等其它信息,该其它信息,在本说明书中不作具体限定。75.在本说明书中,上述数据资产管理平台从上述数据治理平台获取数据治理后的上述数据表的上述表信息。76.例如,在实际应用中,数据资产管理平台可以从数据治理平台分别获取数据治理后的1万个数据表分别对应的1万个表信息。77.在本说明书中,上述数据异常信息,是指上述数据表在上述数据治理平台数据治理过程中根据数据异常治理规则进行异常扫描得到的异常数据信息。78.在示出的一种实施方式中,上述数据异常信息至少包括数据异常治理规则类型、与数据异常治理规则类型对应的异常数据行数和异常字段数。79.例如,以前文示例的数据表t1为例,数据表t1在数据治理平台数据治理过程中根据数据异常治理规则包括4个数据异常治理规则:规则a、规则b、规则c、规则d;其中,根据规则a对数据表t1进行异常扫描得到的异常数据行数(2000行异常数据)和异常字段数(该2000行异常数据对应有10个异常字段),则与数据异常治理规则类型a对应的数据异常信息包括:异常数据行数为2000、异常字段数为10。同理,针对规则b、规则c和规则d分别对应的异常数据行数和异常字段数,与规则a对应的异常数据行数和异常字段数的情况类似,这里不再赘述。80.在本说明书中,在获取上述数据表的上述表信息的同时,上述数据资产管理平台还可以获取与上述数据表对应的上述数据异常信息。81.接着以上示例继续举例,在获取数据表t1的表信息的同时,数据资产管理平台还可以获取与数据表t1对应的4个数据异常治理规则(规则a、规则b、规则c、规则d)分别对应的数据异常信息。82.在本说明书中,上述数据资产管理平台基于上述数据表的表信息和上述数据异常信息,计算得到上述数据表的表质量信息。83.例如,以前文示例的数据表t1为例,数据资产管理平台基于数据表t1的表信息和的4个数据异常治理规则分别对应的数据异常信息,计算得到数据表t1的表质量信息。84.在示出的一种实施方式中,在基于上述数据异常信息和上述表信息计算得到上述数据表的表质量信息的过程中,上述数据资产管理平台基于与上述数据表的表信息中的表名对应的表结构和表数据行数,上述数据表对应的数据异常信息中的异常数据行数和异常字段数,计算得到与各个数据异常治理规则类型分别对应的质量评分。85.例如,以数据表t1为例,与数据表t1的表信息中的表名(table1)对应的表结构(该表结构的表字段总数为20)和表数据行数(1万行数据);与数据表t1对应的各个数据异常治理规则类型(规则a、规则b、规则c、规则d)分别对应数据异常信息中的异常数据行数和异常字段数(比如:规则a对应数据异常信息中的异常数据行数ed_a和异常字段数ef_a、规则b对应数据异常信息中的异常数据行数ed_b和异常字段数ef_b、规则c对应数据异常信息中的异常数据行数ed_c和异常字段数ef_c、规则d对应数据异常信息中的异常数据行数ed_d和异常字段数ef_d),数据资产管理平台基于数据表t1的表结构的表字段总数(表字段总数的值为20)和表数据行数(表数据行数为1万),数据表t1对应的数据异常信息中的异常数据行数(ed_a、ed_b、ed_c、ed_d)和异常字段数(ef_a、ef_b、ef_c、ef_d),计算得到与各个数据异常治理规则类型(规则a、规则b、规则c、规则d)分别对应的质量评分(规则a对应的质量评分为score_a、规则b对应的质量评分为score_b、规则c对应的质量评分为score_c、规则d对应的质量评分为score_d)。86.在本说明书中,在计算得到与各个数据异常治理规则类型分别对应的质量评分之后,上述数据资产管理平台基于与各个数据异常治理规则类型分别对应的预设权重系数和计算得到的质量评分进行加权计算得到最终总分,将得到的最终总分确定为上述数据表的表质量信息。87.接着以上示例继续举例,在数据资产管理平台中可以为与各个数据异常治理规则类型配置对应的权重系数,比如:规则a对应的预设权重系数wa=0.3,规则b对应的设权重系数wb=0.4,规则c对应的设权重系数wc=0.2,规则d对应的设权重系数wd=0.1;88.与各个数据异常治理规则类型分别对应的预设权重系数和计算得到的质量评分进行加权计算得到最终总分score_total可以基于以下公式计算得到:89.score_total=score_a*wa+score_b*wb+score_c*wc+score_d*wd90.以计算得到的质量评分为百分制评分为例,比如:规则a对应的质量评分score_a=90、规则b对应的质量评分score_b=80、规则c对应的质量评分score_c=70、规则d对应的质量评分score_d=60;91.将score_a、score_b、score_c、score_d、wa、wb、wc、wd的值分别代入至score_total的计算公式中得到score_total的值,如下所示:92.score_total=90*0.3+80*0.4+70*0.2+60*0.1=79(分)93.数据资产管理平台,将得到的最终总分(score_total为79分)确定为数据表t1的表质量信息。94.在本说明书中,为了方便理解和清楚描述与各个数据异常治理规则类型分别对应的质量评分是如何计算得到。请参见以下实施例的具体描述。95.在示出的一种实施方式中,基于与上述表名对应的上述表结构、上述表数据行数、上述异常数据行数和上述异常字段数计算得到与各个数据异常治理规则类型分别对应的质量评分的过程中,上述数据资产管理平台将上述异常数据行数和上述异常字段数的乘积,除以上述表数据行数与上述表结构的总字段数的乘积得到的商,按预设的百分制计算方法进行分值计算得到百分制得分,并将得到的百分制得分,确定为与各个数据异常治理规则类型分别对应的质量评分。96.例如,以规则a对应的质量评分score_a(score_a为百分制表示)的计算过程为例,数据资产管理平台将规则a对应的异常数据行数ed_a和异常字段数ef_a的乘积,除以数据表t1的表数据行数tl与表结构的总字段数tf的乘积得到的商,按预设的百分制计算方法进行分值计算得到百分制得分;其中,score_a基于以下公式计算得到:97.score_a=(1‑(ed_a*ef_a)/(tl*tf))*10098.比如:在ed_a=2000,ef_a=10,tl=10000,tf=20时,将ed_a、ef_a、tl、tf的值代入至计算score_a的公式中得到score_a的值,具体如下所示:99.score_a=(1‑(2000*10)/(10000*20))*100=90(分)100.数据资产管理平台并将得到的百分制得分score_a=90,确定为与数据异常治理规则a对应的质量评分。101.类似地,可以计算得到规则b对应的质量评分score_b、规则c对应的质量评分score_c、规则d对应的质量评分score_d,具体过程不再赘述。102.需要说明的是,在上述数据资产管理平台基于与上述数据表的表信息中的表名对应的表结构和表数据行数,上述数据表对应的数据异常信息中的异常数据行数和异常字段数,计算得到与各个数据异常治理规则类型分别对应的质量评分的过程中,以上示例仅以各个数据异常治理规则直接对应异常数据行数和异常字段数的情况进行示例。103.在示出一种实施方式中,各个上述数据异常治理规则类型可以分别包括若干子规则类型;上述若干子规则类型分别对应异常数据行数和异常字段数,在基于上述表名对应的上述表结构、上述表数据行数、上述异常数据行数和上述异常字段数计算得到与各个上述数据异常治理规则类型分别对应的质量评分的过程中,上述数据资产管理平台将若干子规则类型分别对应的异常数据行数和异常字段数,按各个数据异常治理规则类型进行汇总,得汇总后的与各个数据异常治理规则类型分别对应的异常数据个数;基于与上述表名对应的上述表结构、上述表数据行数、汇总后的上述异常数据个数,计算得到与各个数据异常治理规则类型分别对应的质量评分。104.例如,以数据异常治理规则类型包括规则a、规则b、规则c、规则d为例:105.规则a包括2个类型的子规则(a1子规则、a2子规则),a1子规则对应的异常数据行数为3000行和异常字段数为6个,a2子规则对应的异常数据行数为3000行和异常字段数为4个;106.规则b包括3个类型的子规则(b1子规则、b2子规则、b3子规则),b1子规则对应的异常数据行数为2000行和异常字段数为10个,b2子规则对应的异常数据行数为4000行和异常字段数为5个,b3子规则对应的异常数据行数为1000行和异常字段数为10个;107.规则c包括1个类型的子规则(c1子规则),c1子规则对应的异常数据行数为3000行和异常字段数为10个;108.规则d包括1个类型的子规则(d1子规则),d1子规则对应的异常数据行数为4000行和异常字段数为10个;109.针对规则a,数据资产管理平台将a1子规则、a2子规则分别对应的异常数据行数和异常字段数进行汇总得到与规则a对应的汇总后的异常数据个数;其中,规则a对应的汇总后的异常数据个数为a1子规则、a2子规则分别对应的异常数据个数之和;每个子规则(a1子规则、a2子规则)对应的异常数据个数为每个子规则对应的异常数据行数和异常字段数的乘积。也即,规则a对应的汇总后的异常数据个数=3000*6+3000*4=18000。110.针对规则b、c、d,与规则a的汇总后的异常数据个数的计算过程类似,具体过程这里不再赘述。具体计算结果如下:111.规则b对应的汇总后的异常数据个数=2000*10+4000*5+1000*10=50000112.规则c对应的汇总后的异常数据个数=3000*10=30000113.规则d对应的汇总后的异常数据个数=4000*10=40000114.在得到与各个数据异常治理规则类型分别对应的汇总后的异常数据个数en后,数据资产管理平台,进一步基于汇总后的异常数据个数,并结合数据表t1的表数据行数tl与表结构的总字段数tf,计算得到与各个数据异常治理规则类型分别对应的质量评分;其中,每个数据异常治理规则类型对应的质量评分的计算过程如下公式所示:115.每个数据异常治理规则对应的质量评分=(1‑en/(tl*tf))*100116.以包括子规则的规则a为例,该质量评分的计算公式与前文描述质量的计算公式类似,主要区别在于,将en替代了ed_a*ef_a。针对包括子规则的其它规则,计算过程类似,这里不再赘述。117.需要说明的是,在以上示例过程中,与各个数据异常治理规则类型分别对应的质量评分和基于各个质量评分进行加权计算得到最终总分都是以百分制进行示例,在实际应用中,也可以以其它分制形式(比如:5分制等)进行表示和计算。118.在本说明书中,在计算得到上述数据表的表质量信息后,上述数据资产管理平台对得到上述数据表的表质量信息进行监测,当上述表质量信息达到预设阈值时,向用户输出上述数据表,以使用户确定上述数据表是否为数据资产。119.例如,数据资产管理平台对得到数据表t1的表质量信息进行监测,当表质量信息达到预设阈值(比如:该预设阈值为60分)时,向用户输出数据表t1,以使用户将数据表t1确定作为数据资产或确定不作为数据资产。120.在实际应用中,该预设阈值可以是多个的分级阈值,比如:该预设阈值为60分表示数据表的数据质量达到基本要求,该预设阈值为80分表示数据表的数据质量达到良好。数据资产管理平台可以数据质量达到良好的数据表直接确定为数据资产。121.需要说明的是,通过计算数据表的表质量,并将符合目标质量标准的数据表生成为数据资产,提高了对数据资产的数据质量的管控,避免了人工筛选,提高了数据资产生成效率。122.在示出的一种实施方式中,上述数据资产管理平台响应于用户触发的将上述数据表确定为数据资产的操作指令,将上述数据表作为数据资产保存在本地的数据库中。123.例如,数据资产管理平台通过web界面或cli命令行等方式接收并响应于用户触发的将数据表t1确定为数据资产的操作指令,将数据表t1作为数据资产保存在本地的数据库中资产表中。124.在示出的另一种实施方式中,上述数据资产管理平台响应于用户触发的驳回上述数据表作为数据资产的操作指令且上述数据表的表质量信息未达到预设阈值时,将上述数据表返回至数据治理平台,以使数据治理平台重新进行数据治理。125.例如,当数据表t1的表质量信息未达到预设阈值(比如:未达到60分)时,如果数据资产管理平台通过web界面或cli命令行等方式接收到用户触发的用户触发的驳回数据表t1作为数据资产的操作指令,数据资产管理平台将数据表t1返回至对接数据治理平台,以使数据治理平台重新进行数据治理,数据资产管理平台可以重新获取数据治理平台重新进行数据治理后的数据表t1进行数据质量监测,向用户输出并可以最终由用户来确定是否将重新进行数据治理后的数据表t1最终确定为数据资产。126.在示出的一种实施方式中,上述数据资产管理平台响应于用户触发的驳回上述数据表作为数据资产的操作指令且上述数据表的表信息不完整时,向用户输出上述数据表,以使用户补录上述数据表的表信息。127.例如,当数据表t1的表质量信息已达到预设阈值(比如:未达到60分)时,当获取的数据表t1的表信息不完整(比如:数据表t1的表信息缺少诸如表所属的部门、来源业务系统、表所属业务分类、更新周期等需要新增的资产描述信息,该资产描述信息无法从数据治理平台获取),数据资产管理平台向用户输出数据表t1,以使用户通过数据资产管理平台提供的界面来补录数据表t1的缺少的表信息。128.需要说明的是,当用户通过上述数据资产管理平台驳回数据表作为数据资产时,上述数据资产管理平台还可以将被驳回的数据表保存在本地的数据库中资产驳回表中,方便用户进行跟踪和管理。129.在以上技术方案中,从对接的数据治理平台获取数据治理后的数据表的表信息和与数据表对应的数据异常信息;基于数据异常信息和表信息,计算得到数据表的表质量信息;当表质量信息达到预设阈值时,向用户输出数据表,以使用户确定数据表是否为数据资产。一方面,将数据表确定为数据资产的过程流程化,提高了数据资产生成及管理效率。另一方面,通过计算数据表的表质量,并将符合目标质量标准的数据表生成为数据资产,提高了对数据资产的数据质量的管控。130.与上述方法实施例相对应,本说明书还提供了一种数据资产生成装置的实施例。本说明书的数据资产生成装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图2所示,为本说明书的数据资产生成装置所在电子设备的一种硬件结构图,除了图2所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的电子设备通常根据该电子设备的实际功能,还可以包括其他硬件,对此不再赘述。131.图3是本说明书一示例性实施例示出的一种数据资产生成装置的框图。132.请参见图3,所述数据资产生成装置30可以应用于数据资产管理平台,所述装置包括:133.获取模块301,从对接的数据治理平台获取数据治理后的数据表的表信息和与所述数据表对应的数据异常信息;134.计算模块302,基于所述数据异常信息和所述表信息,计算得到所述数据表的表质量信息;135.输出模块303,当所述表质量信息达到预设阈值时,向用户输出所述数据表,以使用户确定所述数据表是否为数据资产。136.在本实施例中,所述表信息至少包括表名、表结构、表数据行数;所述数据异常信息至少包括数据异常治理规则类型、与数据异常治理规则类型对应的异常数据行数和异常字段数;137.在基于所述数据异常信息和所述表信息,计算得到所述数据表的表质量信息的过程中,所述计算模块302进一步:138.基于与所述表名对应的所述表结构、所述表数据行数、所述异常数据行数和所述异常字段数,计算得到与各个数据异常治理规则类型分别对应的质量评分;139.基于与各个数据异常治理规则类型分别对应的预设权重系数和计算得到的质量评分进行加权计算得到最终总分,将得到的最终总分确定为所述数据表的表质量信息。140.在本实施例中,在基于与所述表名对应的所述表结构、所述表数据行数、所述异常数据行数和所述异常字段数,计算得到与各个数据异常治理规则类型分别对应的质量评分的过程中,所述计算模块302进一步:141.将所述异常数据行数和所述异常字段数的乘积,除以所述表数据行数与所述表结构的总字段数的乘积得到的商,按预设的百分制计算方法进行分值计算得到百分制得分;142.将得到的百分制得分,确定为与各个数据异常治理规则类型分别对应的质量评分。143.在本实施例中,各个数据异常治理规则类型分别包括若干子规则类型;所述若干子规则类型分别对应异常数据行数和异常字段数;144.在基于与所述表名对应的所述表结构、所述表数据行数、所述异常数据行数和所述异常字段数,计算得到与各个数据异常治理规则类型分别对应的质量评分的过程中,所述计算模块302进一步:145.将若干子规则类型分别对应的异常数据行数和异常字段数,按各个数据异常治理规则类型进行汇总,得汇总后的与各个数据异常治理规则类型分别对应的异常数据个数;146.基于与所述表名对应的所述表结构、所述表数据行数、汇总后的所述异常数据个数,计算得到与各个数据异常治理规则类型分别对应的质量评分。147.在本实施例中,所述装置还包括:148.保存模块304(图3中未示出),响应于用户触发的将所述数据表确定为数据资产的操作指令,将所述数据表作为数据资产保存在本地的数据库中。149.在本实施例中,所述装置还包括:150.返回模块305(图3中未示出),响应于用户触发的驳回所述数据表作为数据资产的操作指令且所述数据表的表质量信息未达到预设阈值时,将所述数据表返回至数据治理平台,以使数据治理平台重新进行数据治理。151.在本实施例中,所述装置还包括:152.补录模块306(图3中未示出),响应于用户触发的驳回所述数据表作为数据资产的操作指令且所述数据表的表信息不完整时,向用户输出所述数据表,以使用户补录所述数据表的表信息。153.上述实施例阐明的装置、装置、模块或模块,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。154.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未公开的本
技术领域
:中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本说明书的真正范围和精神由下面的权利要求指出。155.应当理解的是,本说明书并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。156.以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。当前第1页1 2 3 当前第1页1 2 3 
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1