一种元数据分析处理方法及装置与流程

1.本发明涉及大数据分析处理技术领域，尤指一种元数据分析处理方法及装置。


背景技术：

2.随着企业的发展，每年收集和使用的数据快速增长，数据体量也随之增长。其中，元数据的形态也呈现多样化且不统一，多种数据源之间的采集、传播和共享遇到困难。元数据管理作为大数据治理的核心，是有效管理这些数据的基础和前提，在企业信息化建设中发挥着重要的作用。
3.元数据管理系统的建设难度比较大，但是在数据仓库项目的实施过程中，这个环节又是非常重要的。正确理解和妥善管理元数据并发挥其价值，构建稳定完善的元数据管理系统成为数据仓库管理的首要任务。
4.综上来看，亟需一种可以克服上述困难，能够协助企业稳定高效的管理元数据的技术方案。


技术实现要素：

5.为解决现有技术存在的问题，本发明提出了一种元数据分析处理方法及装置，能够协助企业稳定高效的管理元数据，满足不同业务需求的元数据分析处理服务。
6.在本发明实施例的第一方面，提出了一种元数据分析处理方法，该方法包括：
7.采集数据源中的元数据；
8.获取业务流程，根据所述业务流程声明元数据模型的粒度，根据所述粒度构建维度表及事实表；
9.以所述业务流程作为建模驱动，根据所述元数据、维度表及事实表建立元数据模型；
10.当获取到数据分析请求时，利用所述元数据模型进行数据分析，得到分析结果。
11.进一步的，采集数据源中的元数据，包括：
12.根据业务需求确定数据采集范围；
13.将数据源中处于数据采集范围的元数据卸载成数据文件，将所述数据文件加载至数据仓库。
14.进一步的，将数据源中处于数据采集范围的元数据卸载成数据文件，将所述数据文件加载至数据仓库，包括：
15.通过ftp工具或者利用mv命令将数据文件传输至指定存储服务器；
16.利用数据加载工具将存储服务器中的数据文件重新加载至数据仓库。
17.进一步的，利用数据加载工具将存储服务器中的数据文件重新加载至数据仓库，包括：
18.采用etl工具抽取数据文件，并对数据文件中的元数据进行数据清洗及数据转换，将转换后的元数据加载至数据仓库。
19.进一步的，所述数据仓库中存储的元数据包括数据源的元数据、数据仓库的元数据及手工录入的元数据中的一种或多种。
20.进一步的，获取业务流程，根据所述业务流程声明元数据模型的粒度，根据所述粒度构建维度表及事实表，包括：
21.根据所述业务需求选择业务流程；
22.根据所述业务流程声明元数据模型的粒度，从最细级别的粒度开始，分别构建粒度由细到粗的多个级别对应的维度表及事实表；
23.根据所述粒度设置维度表中的维度字段；
24.根据业务流程的度量设置事实表中的数据，其中，在同一事实表中的度量为相同粒度。
25.进一步的，所述元数据模型至少包括基础信息、事件管理及关系映射在内的第一级主题；其中，
26.在所述基础信息中至少包含个体对象的静态属性信息；
27.在所述事件管理中至少包含数据处理行为及数据仓库的操作行为在内的信息；
28.在所述关系映射中至少包含多个对象之间的连接关系、映射关系或转换关系在内的信息。
29.进一步的，在所述基础信息中至少包括数据结构、数据组织及度量逻辑在内的第二级主题；
30.其中，所述数据结构至少包含表结构、字段说明及字段类型；所述数据组织至少包含数据仓库存储数据的体系结构和模式；所述度量逻辑至少包含度量之间的逻辑运算关系；
31.在所述事件管理中至少包括操作记录、访问记录及etl过程在内的第二级主题；
32.其中，所述操作记录至少包含操作数据仓库的记录；所述访问记录至少包含访问数据者的信息及访问时间；所述etl过程至少包含数据清洗、数据转换的规则及过程；
33.在所述关系映射中至少包括血缘关系、数据分布及汇总规则在内的第二级主题；
34.其中，所述血缘关系至少包含数据之间、元数据之间、数据与元数据之间的血缘关系；数据分布至少包含数据仓库中数据分布情况；汇总规则至少包含数据仓库每一级数据的汇总规则。
35.进一步的，该方法包括：
36.定期对元数据模型进行检查，若元数据模型与数据源的元数据出现不一致，利用etl工具抽取元数据更新元数据模型。
37.进一步的，当获取到数据分析请求时，利用所述元数据模型进行数据分析，得到分析结果，包括：
38.利用所述元数据模型进行全链分析、冷热度分析、血缘分析和/或关联度分析。
39.进一步的，利用所述元数据模型进行全链分析，包括：
40.根据所述数据结构、数据组织及度量逻辑对全链数据的数据质量，数据标准及数据安全进行分析，得到全链分析结果。
41.进一步的，利用所述元数据模型进行冷热度分析，包括：
42.根据所述操作记录、访问记录及etl过程对数据的冷热度进行分析，得到冷热度分
析结果。
43.进一步的，利用所述元数据模型进行血缘分析，包括：
44.根据所述血缘关系、数据分布及汇总规则对请求分析的数据进行血缘追踪，以请求分析的数据为起点，追踪相关的元数据对象及所述相关的元数据对象的血缘关系，得到血缘分析结果；其中，血缘追踪包括逆向血缘追踪、正向血缘追踪和/或全链血缘追踪。
45.进一步的，利用所述元数据模型进行关联度分析，包括：
46.根据所述元数据模型分析数据与其它数据之间的关系及数据参与的处理过程，得到数据使用情况，根据所述数据使用情况得到关联度分析结果。
47.进一步的，该方法还包括：
48.根据所述元数据生成物理模型及etl程序脚本，依赖所述血缘关系自动管理etl过程。
49.在本发明实施例的第二方面，提出了一种元数据分析处理装置，该装置包括：
50.采集模块，用于采集数据源中的元数据；
51.构建模块，用于获取业务流程，根据所述业务流程声明元数据模型的粒度，根据所述粒度构建维度表及事实表；
52.建模模块，用于以所述业务流程作为建模驱动，根据所述元数据、维度表及事实表建立元数据模型；
53.分析模块，用于当获取到数据分析请求时，利用所述元数据模型进行数据分析，得到分析结果。
54.在本发明实施例的第三方面，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现元数据分析处理方法。
55.在本发明实施例的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现元数据分析处理方法。
56.本发明提出的元数据分析处理方法及装置通过采集元数据建立元数据模型，将企业分散在多个应用系统的元数据集中管理，为企业展现完整全面的数据结构关系，协助企业集中高效的管理数据资产，可以满足不同业务需求的元数据分析处理，并从分析结果中挖掘数据价值进而指导业务或产品创新，为企业生产赋能。
附图说明
57.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
58.图1是本发明一实施例的元数据分析处理方法流程示意图。
59.图2是本发明一具体实施例的采集元数据的详细流程示意图。
60.图3是本发明一具体实施例的卸数、采集、传输、加载的关系示意图。
61.图4是本发明一实施例的采集元数据的途径示意图。
62.图5是本发明一实施例的建立模型的详细流程示意图。
63.图6是本发明一实施例的元数据模型第一级主题的示意图。
64.图7是本发明一实施例的元数据模型两级主题的关系示意图。
65.图8是本发明一实施例的元数据分析处理装置架构示意图。
66.图9是本发明一实施例的分析模块的架构示意图。
67.图10是本发明另一实施例的元数据分析处理装置的架构示意图。
68.图11是本发明一实施例的计算机设备结构示意图。
具体实施方式
69.下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
70.本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
71.根据本发明的实施方式，提出了一种元数据分析处理方法及装置，涉及大数据分析处理技术领域。
72.在本发明实施例中，需要说明的术语有：
73.etl(extract-transform-load)用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
74.下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
75.图1是本发明一实施例的元数据分析处理方法流程示意图。如图1所示，该方法包括：
76.s101，采集数据源中的元数据；
77.s102，获取业务流程，根据所述业务流程声明元数据模型的粒度，根据所述粒度构建维度表及事实表；
78.s103，以所述业务流程作为建模驱动，根据所述元数据、维度表及事实表建立元数据模型；
79.s104，当获取到数据分析请求时，利用所述元数据模型进行数据分析，得到分析结果。
80.本发明通过采集元数据建立元数据模型，将企业分散在多个应用系统的元数据集中管理，为企业展现完整全面的数据结构关系，协助企业集中管理数据资产，统一监管业务的工作流、数据流及信息流，可以满足不同业务需求的元数据分析处理，并从分析结果中挖掘数据价值进而指导业务或产品创新，为企业生产赋能。
81.为了对上述元数据分析处理方法进行更为清楚的解释，下面结合每一步骤来进行详细说明。
82.参考图2，为本发明一具体实施例的采集元数据的详细流程示意图。如图2所示，采集数据源中的元数据的详细流程为：
83.s201，根据业务需求确定数据采集范围；
84.s202，将数据源中处于数据采集范围的元数据卸载成数据文件，将所述数据文件
加载至数据仓库。
85.企业一般都会有多个应用系统，如，各项业务的业务系统，oa办公系统等，该些系统每天都有大量的元数据产生，可以根据企业具体业务需求来确定元数据的采集范围。
86.在确定了数据采集范围后，使用etl工具把该些系统中的元数据入库，入库要对数据进行清洗和转换，保证数据可用。
87.元数据采集整合处理后统一存储于元数据仓库，实现元数据的统一管理；数据采集一般要分为三步，数据卸数，采集传输，数据加载。
88.具体的，参考图3，为本发明一具体实施例的卸数、采集、传输、加载的关系示意图。如图3所示，具体流程为：
89.s301，将数据源中处于数据采集范围的元数据卸载成数据文件。
90.其中，数据源可以是上游系统数据库，将需要的数据卸载成数据文件。
91.s302，通过ftp工具或者利用mv命令将数据文件传输至指定存储服务器；
92.ftp(file transfer protocol)是internet上用来传送文件的协议(文件传输协议)，利用ftp工具可以进行文件的上传(upload)或下载(download)等动作。
93.利用mv命令可以将文件从一个目录移到另一个目录中。
94.s303，利用数据加载工具将存储服务器中的数据文件重新加载至数据仓库。
95.在实际应用场景下，关于元数据的存储可以有两种方式，一种是使用单独的数据库做元数据管理，另一种是和业务数据存储到同一数据库，企业可以根据内外环境来选择。
96.在一具体实施例中，s303的具体流程为：
97.采用etl工具抽取数据文件，并对数据文件中的元数据进行数据清洗及数据转换，将转换后的元数据加载至数据仓库。etl工具可以以固定的周期抽取数据文件。
98.由于数据源的接入方式、数据规模、业务含义、数据集表、字段等可能发生变化，因此可以先进行数据探查；根据数据探查结果定义etl标准化处理的过程，数据探查结果可以包括字段的的空值情况、规范情况、值域情况、问题数据情况；
99.进而判断etl中是否已有符合需求的算子；若etl中没有符合需求的算子，则通过内置的工具算子和标量算子，定制符合需求的算子；若etl中有符合要求的算子，则通过定义etl标准化处理的过程，采用etl对数据进行数据清洗以及数据转换，并将所述数据清洗以及数据转换后的数据加载至数据仓库。
100.参考图4，为本发明一实施例的采集元数据的途径示意图。如图4所示，所述数据仓库中存储的元数据包括数据源的元数据、数据仓库的元数据及手工录入的元数据中的一种或多种。
101.具体的，外部数据源包含源报表元数据、etl工具元数据、报表工具元数据。
102.数据仓库的元数据包含物理模型元数据、事实表信息元数据。
103.手工录入的元数据包含mapping文档、任务配置、业务规则、业务术语等元数据。
104.在具体应用场景中，可以根据企业的业务需求来划定元数据采集范围。虽然从元数据的定义出发，只要能描述数据的数据都能作为元数据来管理，但是，企业有多个应用系统，元数据的数据量大且结构复杂，如果把所有元数据都作为管理对象那么将会造成元数据模型非常复杂和数据库资源的浪费，对此，本发明根据业务需求，采集能给企业带来帮助的元数据，元数据的类型可以包括数据业务元数据、数据运维元数据及数据管理元数据等。
105.下面结合s102及s103对建立模型的详细过程进行说明。
106.参考图5，为本发明一实施例的建立模型的详细流程示意图。如图5所示，具体流程为：
107.s501，根据所述业务需求选择业务流程。
108.首先，需要确认哪些业务流程是数据仓库应该覆盖的，业务选择非常重要，该步是建模的基础，后面所有的步骤都是基于此业务数据展开的。因此，建模的第一步是选择业务流程。
109.维度建模是紧贴业务的，所以必须以业务为根基进行建模。选择业务流程就是在整个业务流程中选取需要建模的业务，根据运营提供的需求及考虑以后的易扩展性等进行选择业务。
110.s502，根据所述业务流程声明元数据模型的粒度，从最细级别的粒度开始，分别构建粒度由细到粗的多个级别对应的维度表及事实表。
111.在确定了业务流程后，声明模型的粒度。这里的粒度用于确定事实中表示的内容。在选择维度和事实前必须声明粒度，因为每个候选维度或事实必须与定义的粒度保持一致。在一个事实所对应的所有维度设计中强制实行粒度一致性是保证数据仓库应用性能和易用性的关键。从给定的业务流程获取数据时，原始粒度是最低级别的粒度。建议从原始粒度数据开始设计，因为原始记录能够满足无法预期的用户查询。汇总后的数据粒度对优化查询性能很重要，但这样的粒度往往不能满足对细节数据的查询需求。不同的事实可以有不同的粒度，但同一事实中不能混用多种不同的粒度。模型建立完成后，还有可能因为获取新的信息，回到这步修改粒度级别。
112.s503，根据所述粒度设置维度表中的维度字段。
113.在声明粒度后，确认模型的维度。维度表是事实表的基础，说明事实表的数据是从哪里采集来的。维度表存储了某一维度的所有相关数据。
114.维度表是作为业务分析的入口和描述性标识，要确保维度表中不能出现重复数据，应使维度主键唯一。
115.s504，根据业务流程的度量设置事实表中的数据，其中，在同一事实表中的度量为相同粒度。
116.在确定维度表后，进一步确定事实表。通过识别数字化的度量，构成事实表的记录。事实表与企业的应用系统的业务用户密切相关，用户可以对事实表的访问获取数据仓库存储的数据。
117.在实际应用场景中，大部分事实表的度量都是数字类型的，以数量值表示，可累加，可计算，如成本、数量、金额等。事实表中的每行对应一个度量，每行中的数据是一个特定级别的细节数据，称为粒度。维度建模的核心原则之一是同一事实表中的所有度量必须具有相同的粒度，这样能确保不会出现重复计算度量的问题。
118.在同一事实表中，必须具有相同的粒度，同一事实表中不要混用多种不同的粒度，不同的粒度数据建立不同的事实表。并且从给定的业务流程获取数据时，建议从最细粒度开始设计，能够承受无法预期的用户查询。但是上卷汇总粒度对查询性能的提升很重要的，所以对于有明确需求的数据，建立针对需求的上卷汇总粒度，对需求不明朗的数据建立原子粒度。
119.s505，以所述业务流程作为建模驱动，根据所述元数据、维度表及事实表建立元数据模型。
120.在一具体实施例中，可以定期对元数据模型进行检查；其中，若元数据模型与数据源的元数据出现不一致，利用etl工具抽取元数据更新元数据模型；若数据源的数据结构发生变化，重新建立元数据模型。对此，可以确认元数据的更新频率。例如，如果需要进行长期的或大范围的数据分析，可能就不需要每天加载元数据，而是每周或每月加载一次。
121.元数据建模是一个迭代的过程，可以根据企业的业务情况和数据情况参照建模标准灵活应用，把底层复杂的数据转换成业务简单，完整有序的数据魔方。模型设计时需要考虑各个业务之间的关系，将业务数据与技术数据有效结合，形成业务定义和元数据识别的统一认识，让元数据具有跨部门、中性的特征，使模型可以表达和涵盖所有的业务，快速形成完整的元数据管理体系。
122.参考图6，为本发明一实施例的元数据模型第一级主题的示意图。如图6所示，所述元数据模型至少包括基础信息、事件管理及关系映射在内的第一级主题；其中，
123.在所述基础信息中至少包含个体对象的静态属性信息；例如，数据仓库结构的描述，数据表及字段的描述。
124.在所述事件管理中至少包含数据处理行为及数据仓库的操作行为在内的信息；例如，数据库的增、删、改等操作行为的信息。
125.在所述关系映射中至少包含多个对象之间的连接关系、映射关系或转换关系在内的信息。例如，应用系统与应用系统之间，模型与模型之间，表和表之间的映射关系、转换规则等信息。
126.为了更加细致的对业务数据进行划分，每一个主题进一步扩展出第二级主题。具体的，参考图7，为本发明一实施例的元数据模型两级主题的关系示意图。如图7所示，在所述基础信息中至少包括数据结构、数据组织及度量逻辑在内的第二级主题；
127.其中，所述数据结构至少包含表结构、字段说明及字段类型；所述数据组织至少包含数据仓库存储数据的体系结构和模式；所述度量逻辑至少包含度量之间的逻辑运算关系；
128.在所述事件管理中至少包括操作记录、访问记录及etl过程在内的第二级主题；
129.其中，所述操作记录至少包含操作数据仓库的记录；所述访问记录至少包含访问数据者的信息及访问时间；所述etl过程至少包含数据清洗、数据转换的规则及过程；
130.在所述关系映射中至少包括血缘关系、数据分布及汇总规则在内的第二级主题；
131.其中，所述血缘关系至少包含数据之间、元数据之间、数据与元数据之间的血缘关系；数据分布至少包含数据仓库中数据分布情况；汇总规则至少包含数据仓库每一级数据的汇总规则。
132.需要说明的是，每级主题下所包含具体信息仅为示例性举例，在实际应用中可以根据需要进行调整。
133.元数据模型的建立需要经过数据的积累、迭代，通过对分散、存储结构差异大的业务数据进行描述、定位、分类、归纳抽象出元数据模型，进而针对业务关系抽象出组合关系和依赖关系，建立元数据模型主题域，使元数据模型可以表达和涵盖多种业务。
134.下面结合s104，对数据分析的过程进行详细说明。
135.当获取到数据分析请求时，可以利用所述元数据模型进行全链分析、冷热度分析、血缘分析和/或关联度分析。
136.利用所述元数据模型进行全链分析的具体流程为：
137.根据所述数据结构、数据组织及度量逻辑对全链数据的数据质量，数据标准及数据安全进行分析，得到全链分析结果。
138.利用所述元数据模型进行冷热度分析的具体流程为：
139.根据所述操作记录、访问记录及etl过程对数据的冷热度进行分析，得到冷热度分析结果。
140.冷热度分析可以分析出哪些数据是企业常用数据，其价值在于让数据活跃程度可视化，让企业中的业务人员、管理人员都能够清晰的看到数据的活跃程度，以便更好的驾驭数据，从而为实现数据的自助式分析提供支撑。
141.利用所述元数据模型进行血缘分析的具体流程为：
142.根据所述血缘关系、数据分布及汇总规则对请求分析的数据进行血缘追踪，以请求分析的数据为起点，追踪相关的元数据对象及所述相关的元数据对象的血缘关系，得到血缘分析结果；其中，血缘追踪包括逆向血缘追踪、正向血缘追踪和/或全链血缘追踪。
143.血缘分析可以对数据处理过程进行全面追踪，例如，数据来自哪里，都经过哪些加工过程，找到与该数据所有相关元数据及该些相关元数据的血缘关系。
144.利用所述元数据模型进行关联度分析的具体流程为：
145.根据所述元数据模型分析数据与其它数据之间的关系及数据参与的处理过程，得到数据使用情况，根据所述数据使用情况得到关联度分析结果。
146.关联度分析可以分析数据和其它数据的关系以及它们的关系是怎样建立的。从某一实体关联的其它实体，以及该实体参与的处理过程两个角度来查看具体数据的使用情况，形成一张实体和所参与处理过程的网络，从而进一步了解该实体的重要程度，例如，表与etl程序、表与分析应用、表与其它表的关联情况等；关联度分析可以用来支撑需求变更的影响评估。
147.本发明将元数据应集中维护和管理，当需要分析某个业务、环节，或有业务或者某个环节发生变更时，可以利用元数据模型实时分析出其所影响的业务功能、企业应用系统、涉及人员、是否涉及监管等信息。通过元数据分析处理能够快速定位数据来源和加工处理过程，能够帮助数据分析人员快速定位数据问题。通过元数据血缘关系分析，可以理解不同数据指标间的关系，分析产生指标的数据源头波动情况带来的影响。
148.在一实施例中，利用元数据还可以实现etl自动化管理，具体方法为：
149.根据所述元数据生成物理模型及etl程序脚本，依赖所述血缘关系自动管理etl过程。
150.在实际应用场景下，基于元数据模型可以形成元数据之间的血缘关系、影响关系和关联关系，对元数据进行影响分析，同步检查，指标一致性分析，实体关联查询。
151.具体的，影响分析可以向下追溯元数据对象对下游的影响；同步检查可以检查源表到目标表的数据结构是否发生变更；通过指标一致性分析，可以定期分析指标定义是否和实际情况一致；在实体关联查询时，将事实表与维度表的代理键自动关联，查询实体之间的关联。
152.本发明可以建立一套成熟的元数据模型，使元数据管理统一化，在元数据模型中划分出多个主题，满足多种数据分析请求，支持全链分析、冷热度分析、血缘分析、关联度分析，协助企业集中高效的管理数据资产。
153.需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
154.在介绍了本发明示例性实施方式的方法之后，接下来，参考图8对本发明示例性实施方式的元数据分析处理装置进行介绍。
155.元数据分析处理装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”或者“单元”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
156.基于同一发明构思，本发明还提出了一种元数据分析处理装置，如图8所示，该装置包括：
157.采集模块810，用于采集数据源中的元数据；
158.构建模块820，用于获取业务流程，根据所述业务流程声明元数据模型的粒度，根据所述粒度构建维度表及事实表；
159.建模模块830，用于以所述业务流程作为建模驱动，根据所述元数据、维度表及事实表建立元数据模型；
160.分析模块840，用于当获取到数据分析请求时，利用所述元数据模型进行数据分析，得到分析结果。
161.应当注意，尽管在上文详细描述中提及了元数据分析处理装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
162.在一实施例中，采集模块810具体用于：根据业务需求确定数据采集范围；将数据源中处于数据采集范围的元数据卸载成数据文件，将所述数据文件加载至数据仓库。
163.具体的，可以通过ftp工具或者利用mv命令将数据文件传输至指定存储服务器；利用数据加载工具将存储服务器中的数据文件重新加载至数据仓库。
164.数据加载工具可以是etl工具，通过etl工具抽取数据文件，并对数据文件中的元数据进行数据清洗及数据转换，将转换后的元数据加载至数据仓库。
165.在一实施例中，所述数据仓库中存储的元数据包括数据源的元数据、数据仓库的元数据及手工录入的元数据中的一种或多种。
166.在一实施例中，构建模块820具体用于：根据所述业务需求选择业务流程；根据所述业务流程声明元数据模型的粒度，从最细级别的粒度开始，分别构建粒度由细到粗的多个级别对应的维度表及事实表；根据所述粒度设置维度表中的维度字段；根据业务流程的度量设置事实表中的数据，其中，在同一事实表中的度量为相同粒度。
167.在一实施例中，建模模块830建立的元数据模型的层次至少包含3个第一级主题及
9个第二级主题。
168.具体的，所述元数据模型至少包括基础信息、事件管理及关系映射在内的第一级主题；其中，
169.在所述基础信息中至少包含个体对象的静态属性信息；
170.在所述事件管理中至少包含数据处理行为及数据仓库的操作行为在内的信息；
171.在所述关系映射中至少包含多个对象之间的连接关系、映射关系或转换关系在内的信息。
172.对于第二级主题进行详细说明如下：
173.在所述基础信息中至少包括数据结构、数据组织及度量逻辑在内的第二级主题；
174.其中，所述数据结构至少包含表结构、字段说明及字段类型；所述数据组织至少包含数据仓库存储数据的体系结构和模式；所述度量逻辑至少包含度量之间的逻辑运算关系；
175.在所述事件管理中至少包括操作记录、访问记录及etl过程在内的第二级主题；
176.其中，所述操作记录至少包含操作数据仓库的记录；所述访问记录至少包含访问数据者的信息及访问时间；所述etl过程至少包含数据清洗、数据转换的规则及过程；
177.在所述关系映射中至少包括血缘关系、数据分布及汇总规则在内的第二级主题；
178.其中，所述血缘关系至少包含数据之间、元数据之间、数据与元数据之间的血缘关系；数据分布至少包含数据仓库中数据分布情况；汇总规则至少包含数据仓库每一级数据的汇总规则。
179.在一实施例中，分析模块840具体用于：利用所述元数据模型进行全链分析、冷热度分析、血缘分析和/或关联度分析。
180.参考图9，为本发明一实施例的分析模块的架构示意图。如图9所示，分析模块840包括：
181.全链分析单元841，用于根据所述数据结构、数据组织及度量逻辑对全链数据的数据质量，数据标准及数据安全进行分析，得到全链分析结果。
182.冷热度分析单元842，用于根据所述操作记录、访问记录及etl过程对数据的冷热度进行分析，得到冷热度分析结果。
183.血缘分析单元843，用于根据所述血缘关系、数据分布及汇总规则对请求分析的数据进行血缘追踪，以请求分析的数据为起点，追踪相关的元数据对象及所述相关的元数据对象的血缘关系，得到血缘分析结果；其中，血缘追踪包括逆向血缘追踪、正向血缘追踪和/或全链血缘追踪。
184.关联度分析单元844，用于根据所述元数据模型分析数据与其它数据之间的关系及数据参与的处理过程，得到数据使用情况，根据所述数据使用情况得到关联度分析结果。
185.参考图10，为本发明另一实施例的元数据分析处理装置的架构示意图。如图10所示，该装置还包括：
186.检查模块850，用于定期对元数据模型进行检查，若元数据模型与数据源的元数据出现不一致，利用etl工具抽取元数据更新元数据模型。
187.再参考图10，该系统还包括：
188.etl管理模块860，用于根据所述元数据生成物理模型及etl程序脚本，依赖所述血
缘关系自动管理etl过程。
189.基于前述发明构思，如图11所示，本发明还提出了一种计算机设备1100，包括存储器1110、处理器1120及存储在存储器1110上并可在处理器1120上运行的计算机程序1130，所述处理器1120执行所述计算机程序1130时实现前述元数据分析处理方法。
190.基于前述发明构思，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述元数据分析处理方法。
191.本发明提出的元数据分析处理方法及装置通过采集元数据建立元数据模型，将企业分散在多个应用系统的元数据集中管理，为企业展现完整全面的数据结构关系，协助企业集中高效的管理数据资产，可以满足不同业务需求的元数据分析处理，并从分析结果中挖掘数据价值进而指导业务或产品创新，为企业生产赋能。
192.本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
193.本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
194.这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
195.这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
196.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。