一种元数据的管理方法、装置、设备和计算机存储介质与流程

1.本发明涉及数据处理技术领域，特别是涉及一种元数据管理方法、装置、设备和计算机存储介质。


背景技术：

2.随着互联网技术的发展，大数据平台上的数据源的元数据呈爆炸式增长，由于不同数据源的元数据和数据结构不同，使得不同数据源的元数据往往以不同的数据存储结构单独存储在大数据平台上，使得不同元数据在大数据平台上的管理较为分散，不能实现对不同元数据的统一管理，增加了大数据平台上元数据的管理难度和管理成本。


技术实现要素：

3.基于此，本发明的目的在于，提供一种元数据的管理方法、装置、设备和计算机存储介质，其可以对不同的元数据进行统一管理，降低了元数据的管理成本和管理难度。
4.本发明所采用的技术方案内容具体如下：
5.一种元数据的管理方法，包括：
6.s1：获取多个数据源的元数据和访问日志，所述数据源包括计算引擎、查询引擎和数仓中的至少一种；
7.s2：利用所述访问日志确定多个所述元数据的访问角色和访问权限；
8.s3：根据多个所述元数据创建数据接口，并利用所述数据接口对多个所述元数据及其访问权限进行存储与管理。
9.进一步地，步骤s1中，获取多个数据源的元数据包括：
10.s11：获取每个所述数据源的多个元数据字段；
11.s12：针对每个所述数据源，利用多个所述元数据字段建立元数据表；
12.s13：利用多个所述元数据表建立元数据库，所述元数据库包括多个。
13.进一步地，步骤s2包括：
14.s21：利用所述访问日志确定所述元数据字段、所述元数据表和所述元数据库的访问角色；
15.s22：利用所述元数据字段、所述元数据表和所述元数据库的访问角色确定所述元数据字段、所述元数据表和所述元数据库的访问权限，所述访问权限包括访问方式，所述访问方式包括创建、删除、查询、授权、更新、获取中的至少一种。
16.进一步地，步骤s3中，所述数据接口包括依次级联的元数据字段接口、元数据表接口和元数据库接口，所述元数据字段接口用于对所述元数据字段及其访问权限进行存储和管理；所述元数据表接口用于对所述元数据表及其访问权限进行存储和管理；所述元数据库接口用于对所述元数据库及其访问权限进行存储和管理。
17.本发明还提供了一种元数据的管理装置，包括：
18.获取模块，用于获取多个数据源的元数据和访问日志，所述数据源包括计算引擎、
查询引擎和数仓中的至少一种；
19.确定模块，用于利用所述访问日志确定多个所述元数据的访问角色和访问权限；
20.管理模块，用于根据多个所述元数据创建数据接口，并利用所述数据接口对多个所述元数据进行存储与管理。
21.进一步地，所述获取模块包括元数据获取单元和访问日志获取单元，所述元数据获取单元包括多个元数据接口、多个元数据表创建单元和元数据库创建单元，所述访问日志获取单元用于获取多个所述数据源的访问日志；
22.所述元数据接口用于获取所述数据源的多个元数据字段，所述元数据表创建单元用于利用多个所述元数据字段创建元数据表，所述元数据库创建单元用于利用多个所述元数据表创建元数据库。
23.进一步地，所述确定模块包括角色认证单元和权限确定单元，所述角色认证单元根据所述访问日志单元获取的访问日志确定所述元数据字段、所述元数据表和所述元数据库的访问角色；所述权限确定单元根据所述元数据字段、所述元数据表和所述元数据库的访问角色确定元数据字段、所述元数据表和所述元数据库的访问权限。
24.进一步地，所述管理模块包括接口创建单元和管理单元，所述接口创建单元用于根据多个所述元数据创建数据接口，所述数据接口包括依次级联的元数据字段接口、元数据表接口和元数据库接口；
25.所述管理单元分别利用所述元数据字段接口、所述元数据表接口和所述元数据库接口分别对所述元数据字段及其访问权限、所述元数据表及其访问权限以及所述元数据库及其访问权限进行存储和管理。
26.本发明还提供了一种元数据管理设备，包括：
27.处理器；
28.存储器，用于存储由所述处理器执行的计算机程序；
29.其中，所述处理器执行所述计算机程序时实现本发明所述的元数据的管理方法。
30.本发明一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被执行时实现本发明所述的元数据的管理方法。
31.与现有技术相比，本发明的有益效果在于：
32.1、本发明公开的元数据的管理方法，其利用根据多个所述元数据创建的数据接口可以对多个所述元数据采用同一数据接口进行统一管理，降低了所述元数据的管理成本和管理难度；而且，其通过利用所述访问日志可以确定多个所述元数据的访问权限，实现不同所述元数据的访问权限隔离，提高了元数据访问的安全性。
33.2、本发明公开的元数据的管理方法，其元数据的访问权限包括元数据字段、元数据表和元数据库的访问权限，其可以实现对元数据更为细度的管理，进一步提高了元数据访问的安全性。
34.为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
35.图1为本发明一实施例中元数据的管理方法的流程图；
36.图2为本发明一实施例中元数据的管理装置的结构框图；
37.图3为数据接口的示意图；
38.其中，各附图的附图标记为：
39.1、获取模块；11、元数据获取单元；111、元数据接口；112、元数据表创建单元；113、元数据库创建单元；12、访问日志获取单元；2、确定模块；21、角色认证单元；22、权限确定单元；3、管理模块；31、接口创建单元；32、管理单元。
具体实施方式
40.应当明确，所描述的实施例仅仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术实施例保护的范围。
41.在本技术实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术实施例。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
42.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。在本技术的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
43.此外，在本技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
44.应当理解的是，本技术实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术实施例的范围仅由所附的权利要求来限制。
45.参照图1，本实施例提供了一种元数据的管理方法，包括：
46.s1：获取多个数据源的元数据和访问日志，所述数据源包括计算引擎、查询引擎和数仓中的至少一种。
47.在本实施例中，所述访问日志包括所述数据源的访问用户、访问结果等访问记录。
48.在本实施例中，获取多个数据源的元数据包括：(1)获取每个所述数据源的多个元数据字段；(2)针对每个所述数据源，利用多个所述元数据字段建立元数据表；(3)利用多个所述元数据表建立元数据库。
49.s2：利用所述访问日志确定多个所述元数据的访问角色和访问权限。
50.本发明公开的元数据的管理方法，其通过利用所述访问日志可以确定多个所述元数据的访问权限，可以实现不同所述元数据的访问权限隔离，提高了元数据访问的安全性。
51.在本实施例中，步骤s2包括：(1)利用所述访问日志确定所述元数据字段、所述元数据表和所述元数据库的访问角色；(2)利用所述元数据字段、所述元数据表和所述元数据库的访问角色确定所述元数据字段、所述元数据表和所述元数据库的访问权限，所述访问
权限包括访问方式，所述访问方式包括创建、删除、查询、授权、更新、获取中的至少一种。
52.本发明公开的元数据的管理方法，其元数据的访问权限包括元数据字段、元数据表和元数据库的访问权限，其可以对所述元数据实现元数据字段、元数据表和元数据库等多个层次的管理，实现了对所述元数据更为细度的管理，进一步提高了元数据访问的安全性。
53.s3：根据多个所述元数据创建数据接口，并利用所述数据接口对多个所述元数据及其访问权限进行存储与管理。
54.在本实施例中，参照图3，所述数据接口包括依次级联的元数据字段接口、元数据表接口和元数据库接口，所述元数据字段接口用于对所述元数据字段及其访问权限进行存储和管理；所述元数据表接口用于对所述元数据表及其访问权限进行存储和管理；所述元数据库接口用于对所述元数据库及其访问权限进行存储和管理。
55.在本实施例中，所述元数据字段接口对所述元数据字段的字段信息和字段访问权限信息进行管理，其中：所述字段信息包括该元数据字段的字段编号、包括该元数据字段所属的元数据表的编号、元数据字段的名称和相关描述信息等；所述字段访问权限信息包括元数据字段的字段编号、包括该元数据字段的元数据表的编号、元数据字段的名称和相关描述信息等。
56.在本实施例中，所述元数据表接口对所述元数据表的表信息、表参数信息、分区信息、分区键信息和表访问权限信息进行管理，其中：表信息包括该元数据表所在的元数据库的编号、该元数据表的编号、该元数据表的名称、该元数据表的创建时间、该元数据表的所有者以及该元数据表的类型等；表参数信息包括该元数据表所在元数据库的编号、该元数据表的编号、参数名称和参数的值；分区信息包括该元数据表的编号、该元数据表所在元数据库的编号、分区名称、分区的最后使用时间、分区的创建时间和分区的编号；分区键信息包括该分区键对应的分区编号和分区字段的值；表访问权限信息包括该分区对应的元数据表的编号和表访问权限。
57.在本实施例中，所述元数据库接口对所述元数据库的数据库信息、库访问权限信息、自定义函数信息和租户信息进行管理，其中：所述数据库信息包括数据库名称、数据库的保存路径、数据库的描述文本、数据库的创建者、数据库的创建时间、数据库的负责人名称、数据库的参数和属性的键值对、数据库的更新时间和数据库的编号；库访问权限信息包括数据库的编号、是否开启元数据的服务鉴权、授权人和授权类型；自定义函数信息包括数据库的编号、自定义函数的名称、自定义函数的创建时间、自定义函数的类型、负责人名称、自定义函数的资源、更新时间和创建人；租户信息包括数据库编号、租户编号、租户名称、创建时间和负责人名称等。
58.本发明公开的元数据的管理方法，其利用根据多个所述元数据创建的数据接口可以对多个所述元数据采用同一数据接口进行统一管理，降低了所述元数据的管理成本和管理难度。
59.基于本发明提供的元数据的管理方法，参照图2，本发明还提供了一种元数据的管理装置，包括：
60.获取模块1，用于获取多个数据源的元数据和访问日志，所述数据源包括计算引擎、查询引擎和数仓中的至少一种；
61.确定模块2，用于利用所述访问日志确定多个所述元数据的访问角色和访问权限；
62.管理模块3，用于根据多个所述元数据创建数据接口，并利用所述数据接口对多个所述元数据进行存储与管理。
63.在本实施例中，所述获取模块1包括元数据获取单元11和访问日志获取单元12，所述元数据获取单元11包括多个元数据接口111、多个元数据表创建单元112和元数据库创建单元113，所述访问日志获取单元12用于获取多个所述数据源的访问日志，具体地，所述元数据接口111与所述数据源是一一对应的，从而通过多个所述元数据接口111可以分别获取多个所述数据源的元数据字段；所述元数据表创建单元112与所述元数据接口111是一一对应的，所述元数据表创建单元112利用所述元数据接口111获取的多个元数据字段创建所述元数据表；所述元数据库创建单元113利用多个所述元数据表创建单元112创建的多个所述元数据表创建所述元数据库。
64.在本实施例中，所述确定模块2包括角色认证单元21和权限确定单元22，所述角色认证单元21根据所述访问日志单元获取的访问日志确定所述元数据字段、所述元数据表和所述元数据库的访问角色；所述权限确定单元22根据所述元数据字段、所述元数据表和所述元数据库的访问角色确定元数据字段、所述元数据表和所述元数据库的访问权限。
65.在本实施例中，所述管理模块3包括接口创建单元31和管理单元32，所述接口创建单元31用于根据多个所述元数据创建数据接口，所述数据接口包括依次级联的元数据字段接口、元数据表接口和元数据库接口；所述管理单元32分别利用所述元数据字段接口、所述元数据表接口和所述元数据库接口分别对所述元数据字段及其访问权限、所述元数据表及其访问权限以及所述元数据库及其访问权限进行存储和管理。
66.基于本实施例提供的元数据的管理方法，本实施例还提供了元数据的管理设备，所述元数据的管理设备可以是服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备，其包括：
67.处理器；
68.存储器，用于存储由所述处理器执行的计算机程序；
69.其中，所述处理器执行所述计算机程序时实现本实施例所述的元数据的管理方法。
70.基于本实施例提供的终端重复数据的确定方法，本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现本实施例所述的元数据的管理方法。
71.本技术可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
72.以上所述实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。