基于元数据的多源异构数据统一管理方法和系统与流程

文档序号:33320862发布日期:2023-03-03 20:31阅读:237来源:国知局
基于元数据的多源异构数据统一管理方法和系统与流程

1.本发明属于数据管理技术领域,具体涉及基于元数据的多源异构数据统一管理方法和系统。


背景技术:

2.目前常见的数据类别主要有关系型数据、文件型数据和消息型数据。其中,关系型数据是指通过关系型数据库进行管理,以二维逻辑表形式进行数据结构展示的数据;文件型数据是指以特定格式的文件对象,进行内容信息存储的方式。消息型数据是指通过mq/kafka等消息处理中间件进行生产、交换和使用的数据。目前对于上述三类异构数据的使用还未做到充分地融通,对于数据的加工和处理能力,通常仅停留在同一类别的数据内部,不同类别数据间的分析和比对等工作,通常依赖于人工进行。例如通过双方提前约定,以既定的关系型数据库中间表的形式,对数据内容进行传递,即无法适应业务需要的灵活扩展,数据使用效率低下。而对于文件型和关系型数据,无论是直接将文件对象存储于服务器既定的位置,抑或是借助主流的消息中间件,不对消息内容做本地存储,而直接进行消息对象的订阅或消费,都只是一种黑盒式管理,无法对数据管理对象的具体信息做到有效掌握。
3.因此,亟需提出一种能够对多源异构数据进行统一管理的方法来解决上述问题。


技术实现要素:

4.本发明的目的是提供基于元数据的多源异构数据统一管理方法和系统,用以解决现有技术中存在的多源异构数据的使用还未做到充分地融通,数据使用效率低下的技术问题。
5.为了实现上述目的,本发明采用以下技术方案:
6.第一方面提供基于元数据的多源异构数据统一管理方法,包括:
7.响应数据生产用户将多源异构数据的元数据进行上传的操作,对所述元数据进行接收、审核和验证,并在验证通过后将所述元数据转换至运行态;其中,所述元数据为数据生产用户基于预设的元数据定义规则对多源异构数据进行刻画所得到的数据,所述多源异构数据至少包括关系型数据、文件型数据或消息型数据;
8.为不同角色的用户配置相应的权限,以便各角色用户基于自身权限对数据目录进行相应的操作;其中,不同角色的用户包括数据生产用户、平台管理用户以及数据消费用户;
9.响应平台管理用户和/或数据生产用户对数据目录的编制操作,根据编制操作建立数据目录与数据对象的关联,形成分类分层的数据目录;其中,数据对象为实例化的元数据对象;
10.响应数据消费用户对数据目录的信息检索操作,向数据消费用户返回对应的数据属性信息和内容信息。
11.在一种可能的设计中,所述元数据包括新增数据和存量数据;
12.当元数据为新增数据时,在响应数据生产用户将多源异构数据的元数据进行上传的操作之前,所述方法还包括:接收数据生产用户的数据生产请求,生成数据需求单并关联对应的批次号;
13.当元数据据为存量数据时,在响应数据生产用户将多源异构数据的元数据进行上传的操作之前,所述方法还包括:
14.解析存量数据待刻画的基本信息和内容元素以形成刻画模板并发布。
15.在一种可能的设计中,所述预设的元数据定义规则至少基于类别、位置、内容和解析参数的维度对元数据进行定义;其中,对于解析参数的定义采用预定义方式,以对内容元素的扩展定义进行约束。
16.在一种可能的设计中,对所述元数据进行接收、审核和验证,并在验证通过后将所述元数据转换至运行态,包括:
17.对所述元数据进行接收,对元数据中定义的基本信息和内容元素的合规性和一致性进行审核,并在审核通过后进入版本发布验证;
18.将版本内的元数据利用版本号进行归档,并将元数据转换至运行态;其中,所述版本号至少包括一个批次号;
19.当元数据为存量数据时,在将版本内的元数据利用版本号进行归档之后,还包括:
20.更新元数据设计表和发布历史表。
21.在一种可能的设计中,为不同角色的用户配置相应的权限,以便各角色用户基于自身权限对数据目录进行相应的操作,包括:
22.为平台管理用户至少配置目录配置管理、目录分类、目录审核以及目录扩展审核的权限,以便平台管理用户基于自身权限进行数据目录规划、顶层目录创建和维护、数据目录审核和数据目录扩展审核;
23.为数据生产用户至少配置目录编制的权限,以便数据生产用户基于自身权限进行数据目录扩展编制;
24.为数据消费用户至少配置目录检索的权限,以便数据消费用户基于自身权限进行数据目录信息的查询。
25.在一种可能的设计中,数据生产用户基于预设的分类规则、分类简码以及目录编码规则对数据目录的结构和数据对象挂载进行扩展编制。
26.在一种可能的设计中,根据编制操作建立数据目录与数据对象的关联,包括:
27.获取数据生产用户刻画的数据目录下的数据对象的标签信息,根据标签信息建立数据目录与对应数据源下的数据对象下间的关联。
28.在一种可能的设计中,在形成分类分层的数据目录之后,所述方法还包括:
29.将编制完成的数据目录进行发布,并设置数据目录的开放方式、范围和时间。
30.在一种可能的设计中,响应数据消费用户对数据目录的信息检索操作,包括:
31.基于统一的查询视窗响应数据消费用户的信息检索操作,以供数据消费用户基于数据目录结构和数据对象进行信息查询。
32.第二方面提供基于元数据的多源异构数据统一管理系统,包括:
33.元数据发布模块,用于响应数据生产用户将多源异构数据的元数据进行上传的操作,对所述元数据进行接收、审核和验证,并在验证通过后将所述元数据转换至运行态;其
中,所述元数据为数据生产用户基于预设的元数据定义规则对多源异构数据进行刻画所得到的数据,所述多源异构数据至少包括关系型数据、文件型数据或消息型数据;
34.权限配置模块,用于为不同角色的用户配置相应的权限,以便各角色用户基于自身权限对数据目录进行相应的操作;其中,不同角色的用户包括数据生产用户、平台管理用户以及数据消费用户;
35.数据目录发布模块,用于响应平台管理用户和/或数据生产用户对数据目录的编制操作,根据编制操作建立数据目录与数据对象和数据源存储信息之间的关联,形成分类分层的数据目录;其中,数据对象为实例化的元数据对象;
36.数据查询模块,用于响应数据消费用户对数据目录的信息检索操作,向数据消费用户返回对应的数据属性信息和内容信息。
37.第三方面,本发明提供一种计算机设备,包括依次通信相连的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如第一方面任意一种可能的设计中所述的基于元数据的多源异构数据统一管理方法。
38.第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如第一方面任意一种可能的设计中所述的基于元数据的多源异构数据统一管理方法。
39.第五方面,本发明提供一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如第一方面任意一种可能的设计中所述的基于元数据的多源异构数据统一管理方法。
40.本发明相较于现有技术的有益效果是:
41.本发明基于预设的元数据定义规则,对多源异构数据进行统一的元数据刻画和管理,以适用于多种文件型和/或消息型数据源下的多种数据格式的业务数据;通过分别为新增数据和存量数据提供对应的元数据定义方式,进行数据特征的定义,以形成标准化的数据管理;基于元数据化和数据目录抽象封装方法形成分类分层的数据资产,实现数据的可视化管理,满足用户对于数据认知和数据查找的需求;将文件型或消息型数据进行标准元数据化管理后,再通过数据目录进行分类分层管理,能够形成企业清晰的数据资产,以供企业快速清晰获知数据资产的整体情况,为后续数据应用提供有力的数据支持。
附图说明
42.图1为本技术实施例中的基于元数据的多源异构数据统一管理方法的流程图;
43.图2为本技术实施例中的基于元数据的多源异构数据统一管理方法的逻辑示意图;
44.图3为本技术实施例中对新增数据进行元数据刻画的示意图;
45.图4为本技术实施例中对存量数据进行元数据刻画的逻辑示意图;
46.图5为本技术实施例中数据目录抽象与封装的流程示意图;
47.图6为本技术实施例中数据目录管理的流程示意图;
48.图7为本技术实施例中数据目录分类模型示意图。
具体实施方式
49.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍,显而易见地,下面关于附图结构的描述仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在此需要说明的是,对于这些实施例方式的说明用于帮助理解本发明,但并不构成对本发明的限定。
50.实施例
51.为了解决现有技术中存在的多源异构数据的使用还未做到充分地融通,数据使用效率低下的技术问题。本技术实施例提供基于元数据的多源异构数据统一管理方法,该方法通过基于预设的元数据定义规则,对多源异构数据进行统一的元数据刻画和管理,以适用于多种文件型和/或消息型数据源下的多种数据格式的业务数据;通过分别为新增数据和存量数据提供对应的元数据定义方式,进行数据特征的定义,以形成标准化的数据管理;基于元数据化和数据目录抽象封装方法形成分类分层的数据资产,实现数据的可视化管理,满足用户对于数据认知和数据查找的需求;将文件型或消息型数据进行标准元数据化管理后,再通过数据目录进行分类分层管理,能够形成企业清晰的数据资产,以供企业快速清晰获知数据资产的整体情况,为后续数据应用提供有力的数据支持。
52.以下通过具体实施例对本技术实施例中的基于元数据的多源异构数据统一管理方法进行详细说明。
53.如图1-图7所示,本技术实施例一方面提供基于元数据的多源异构数据统一管理方法,包括但不限于由步骤s1-s4实现:
54.步骤s1.响应数据生产用户将多源异构数据的元数据进行上传的操作,对所述元数据进行接收、审核和验证,并在验证通过后将所述元数据转换至运行态;其中,所述元数据为数据生产用户基于预设的元数据定义规则对多源异构数据进行刻画所得到的数据,所述多源异构数据至少包括关系型数据、文件型数据或消息型数据;
55.其中,需要说明的是,相较于传统对于元数据模型刻画通常采用被动离线式而缺乏灵活性的方式,本技术实施例基于应用场景和数据管理的实际选择,为数据生产用户提供多种方法,包括但不限于对新增数据进行正向刻画元数据,对存量数据进行反向刻画元数据的方法,来支持用户对纳管数据的主动式刻画管理。即通过多种模式来兼容纳管不同阶段系统的元数据刻画描述,以提高系统使用的灵活性。
56.优选的,所述预设的元数据定义规则至少基于类别、位置、内容和解析参数的维度对元数据进行定义;当然,可以理解的是,所述预设的元数据定义规则包含对于关系型元数据、文件型元数据以及消息型元数据的定义规则,但在实际应用该规则进行元数据刻画时,可仅使用其中一种或几种维度的组合来对元数据进行定义,此处不做限定;例如:对于关系型数据仅基于类别、位置和内容进行元数据定义;文件型数据基于类别、位置、内容和解析参数来对元数据进行定义,其中,仅在文件型数据是csv内容格式时运用到解析参数来对元数据进行定义;消息型数据同样也仅基于类别、位置、内容来对元数据进行定义。当然,可以理解的是,上述举例只是对所述预设的元数据定义规则的应用举例,并不构成对所述预设的元数据定义规则的范围的限定。
57.其中,对于解析参数的定义采用预定义方式,以对内容元素的扩展定义进行约束。
其中,类别维度主要用于描述数据对象的业务用途,即适用于何种业务场景或具体需要的数据;位置维度主要用于描述从何处获取该数据对象,定义诸如对象名称等信息;内容维度主要用于对数据对象包含具体信息的解释,帮助理解数据对象的内容元素的业务含义;解析维度主要用于对如何从目标类别中识别出内容的方法说明。更优选的,对于内容解析参数的管理,本技术实施例采用后台预配置的模式,即通过对不同格式的文件型数据或消息型数据分别适用的解析参数进行预定义,能够有效降低解析器的实现代价,使得参数解析过程更加灵活。
58.其中,需要说明的是,本技术实施例中的数据生产用户优选为对各类型的异构数据具有充分了解的人员,能够基于本技术实施例提供的元数据定义功能,对获取的异构数据进行有效的识别和解构,从而进行元数据刻画,进而完整清晰地描述出其包含地业务含义及解析参数等裁剪加工所必须要了解的信息。例如数据中包括的业务语义,包括但不限于内涵、属性名、值域、属性类型、对象类别和结构组成,又例如数据中包括的技术语义,包括但不限于存储位置、字段类型、长度、解析参数、编码方式和表达式等。
59.具体的,在步骤s1中,所述元数据包括新增数据和存量数据;
60.当元数据为新增数据时,在响应数据生产用户将多源异构数据的元数据进行上传的操作之前,所述方法还包括:接收数据生产用户的数据生产请求,生成数据需求单并关联对应的批次号;
61.其中,需要说明的是,针对新建应用的非关系型数据的元数据,即文件型数据和消息型数据的元数据刻画。通过接收数据生产用户的数据生产请求,通过接口规范需求书进行解析处理生成数据需求单,并在线生成批次号,将需求单和批次号进行关联,从而使得数据能够基于批次号进行追溯。
62.例如:对于内容格式为json的文件类数据,其元数据定义界面如图3所示。值得注意的是,在进行元数据刻画的过程中,为了保证对象格式在定义上的平衡,本技术实施例既根据it通用定义对格式细节进行定义,也跟随具体的业务场景,提供扩展性。例如对json格式的文件对象的内容的定义,除了采用json格式既有定义的标准数据格式外,还通过引入子元素的概念,以子元素类型来约束数组数据类型的录入范式,从而使得对数据类型进行解析时,依然能够严格依据json既有格式定义进行标准化处理,避免引入私有处理协议可能带来的兼容性问题。
63.如图4所示,当元数据为存量数据时,在响应数据生产用户将多源异构数据的元数据进行上传的操作之前,所述方法还包括:
64.解析存量数据待刻画的基本信息和内容元素以形成刻画模板并发布。
65.具体的,对于接入存量业务系统的非关系型数据的纳管,优选的需要降低其侵入性和管理成本。因此,本实施例采用主动采集导入方式,即运用正向设计时对纳管数据对象的分解方法从已有存量数据接口中解析格式化以形成刻画模板表格,则数据生产用户仅需对已设有各基本信息和各内容元素进行刻画,即可批量上传并导入到设计库,以降低其侵入性和管理成本。
66.在步骤s1中,对所述元数据进行接收、审核和验证,并在验证通过后将所述元数据转换至运行态,包括:
67.对所述元数据进行接收,对元数据中定义的基本信息和内容元素的合规性和一致
性进行审核,并在审核通过后进入版本发布验证;
68.将版本内的元数据利用版本号进行归档,并将元数据转换至运行态;其中,所述版本号至少包括一个批次号;
69.当元数据为存量数据时,在将版本内的元数据利用版本号进行归档之后,还包括:
70.更新元数据设计表和发布历史表。
71.具体的,当元数据为新增数据时,在对元数据刻画完成并上传后,系统会基于元数据的设计表生成对应的版本号,例如v1.0版本,值得注意的是,同一版本号下可能有多个批次号,即对应有多个批次下的设计表,组合为同一版本进行发布;当元数据为存量数据时,还需要对原本的元数据设计表进行更新,并将历史的设计表与当前设计表一并发布,例如v1.0版本的设计表和v2.0版本的设计表一并发布。
72.步骤s2.为不同角色的用户配置相应的权限,以便各角色用户基于自身权限对数据目录进行相应的操作;其中,不同角色的用户包括数据生产用户、平台管理用户以及数据消费用户;
73.在步骤s2中,为不同角色的用户配置相应的权限,以便各角色用户基于自身权限对数据目录进行相应的操作,包括:
74.为平台管理用户至少配置目录配置管理、目录分类、目录审核以及目录扩展审核的权限,以便平台管理用户基于自身权限进行数据目录规划、顶层目录创建和维护、数据目录审核和数据目录扩展审核;
75.为数据生产用户至少配置目录编制的权限,以便数据生产用户基于自身权限进行数据目录扩展编制;
76.为数据消费用户至少配置目录检索的权限,以便数据消费用户基于自身权限进行数据目录信息的查询。
77.具体的,本实施例基于联邦式原理提供数据目录的自主分类管理,具体如下:
78.如图5-6所示,根据生产、消费、管理的场景分配不同的角色,对不同用户开放不同的权限和功能。由目录管理员(即平台管理员)进行数据目录顶层设计,授权数据生产者专注于自身业务数据同时,可基于数据生产和消费需要,进行目录扩展管理及数据对象维护,实现基于保持租户间(数据生产者)业务系统相互独立的前提下,共同打造形成统一规范的数据目录达成彼此间的数据共享交互。
79.其中,需要说明的是,优选的,本实施例中的基于管理员和用户管理配置具有两级定义。数据目录管理采用平台管理员+分目管理员(租户管理员)+目录生产者(普通用户)的模式,提供目录管理员和数据生产者两级管理定义,根据管理职责和数据功用的不同,结合使用场景的不同,分别进行目录管控、目录编制、目录相关变更审核、目录查询消费。数据目录管理角色的职能划分具体如下表所示:
80.[0081][0082]
其中,目录管理员从全平台角度规划数据目录结构,进行顶层目录的创建和维护,并向分目录管理员授权目录节点扩展和编辑权限,把控扩展目录和分类申请及数据目录的开放控制。而作为数据生产者的租户,向管理员申请数据目录配置权限后,可基于目录管理员已经授权的数据目录分支进行子目录层级扩展,子目录的扩展将继承上级目录的归属。扩展目录经管理员审核通过后,可进行数据对象挂载或持续扩展。
[0083]
步骤s3.响应平台管理用户和/或数据生产用户对数据目录的编制操作,根据编制操作建立数据目录与数据对象的关联,形成分类分层的数据目录;其中,数据对象为实例化的元数据对象;
[0084]
其中,需要说明的是,作为数据目录的管理核心,数据目录由目录结构和数据对象构成,其中目录结构指根据数据目录管理需要而梳理的编目结构信息,数据对象指已被实例化的元数据对象,包含元数据对象的信息和对应的数据存储配置及相关的扩展描述信息。通过获取物理信息,进行逻辑定义、关联、分类,整合形成归一化的对象模型,即可根据需求编制划分到不同的分类归属中。
[0085]
优选的,数据生产用户基于预设的分类规则、分类简码以及目录编码规则对数据目录的结构和数据对象挂载进行扩展编制。
[0086]
如图7其中,需要说明的是,目录分类信息维护全局的分类规则、分类简码、目录编码规则,为构建数据框架视图、梳理数据的业务分类、编目生成提供规则依赖,是数据消费用户检索异构数据的第一视角。数据目录主要对接数据存储实体,组织整理各类数据源,按照业务角度对数据实体进行分类刻画,是数据对象挂载管理的规则依据。目录分类信息取自数据存储、元数据对象属性和用户自定义分类信息,由统一的目录管理人员进行刻画。数据目录管理通过指定分类,控制数据目录层级构成及编码形成规则。通过多维模型构建分类,形成分类标签。
[0087]
优选的,在步骤s3中,根据编制操作建立数据目录与数据对象的关联,包括:
[0088]
获取数据生产用户刻画的数据目录下的数据对象的标签信息,根据标签信息建立
数据目录与对应数据源下的数据对象下间的关联。
[0089]
其中,需要说明的是,多源异构数据进行目录化管理的核心环节是刻画定义数据对象,实现在元数据基础上关联数据源存储信息,通过标签完善相关业务属性、技术管属性、管理属性,形成一个可向数据消费用户提供原子数据服务能力的基础对象。其中,对于单体结构的数据对象,数据生产用户只需选择对应的元数据对象,根据元数据设计的类型结构信息关联对应的存储类型,通过指定具体存储源和切分规则即可快速完成数据对象的创建并一键发布到分类目录下。
[0090]
具体的,文件型元数据对象在挂载时明确的基础属性包含存储文件的服务器类型、链接地址、存储目录、存储策略、数据的更新周期类型、应生成时间点、数据生成到达的提醒方式。而消息型对象在挂载时明确的基础属性包含消息类型、数据源、消息主题topic,当非kafka对象时,可记录对应的tag分类。
[0091]
在步骤s3中,在形成分类分层的数据目录之后,所述方法还包括:
[0092]
将编制完成的数据目录进行发布,并设置数据目录的开放方式、范围和时间。
[0093]
优选的,在数据目录建立完成后,本实施例还对数据目录进行审核,更优选的,提供多级审核及平台自主审核机制。数据生产者只需元数据与存储信息关联,根据约定录入提交,系统后台将根据后续服务访问需要及安全策略要求自动校验配置信息的完整性和逻辑性,判断是否可发布成一个完整的数据对象;对象发布后,本实施例将验证对象和目录的层级归属权限,提供开放策略选择,确保开放范围符合目录归属层级的权限包含关系;数据目录和对象开放或注销环节中,通过提供关联引用分析和状态判断,提供操作限制和告警依据。通过不同环节的自主审批功能,保证管理员介入审核环节时不许干预配置的逻辑性、正确性、完整性等问题,可侧重于知情和外部策略的引入判断,简化了用户管理数据目录的操作。
[0094]
优选的,数据目录结构和数据对象构建发布后,经过开放设置和审核授权后,即可进入统一的服务管理环节,进行信息和数据内容的共享交互。其中,数据目录和数据对象的开放支持指定开放方式、范围和到期时间,其中开放方式和范围根据所属上级目录的开放状态可切换全局开放、限制不开放、部分开放到指定租户/角色/用户范围。具体的,由目录管理员在配置管理中,选择状态为已发布的节点,选择开放,则获取验证最近的上级目录节点开放方式、开放范围、到期时间。具体如下:
[0095]
1)若无上级节点,则默认初始化页面为全局开放、永不到期;
[0096]
2)上级已开放节点=全局开放,则初始化开放的可选范围为:
[0097]
a)开放方式仅可选择:部分开放、限制开放,
[0098]
b)可选租户/用户范围:平台全量租户/用户,
[0099]
c)限制到期时间的可选范围《=最近的上级目录节点的到期时间;
[0100]
3)上级已开放节点=部分开放/限制开放,则初始化开放的可选范围为:
[0101]
a)开放方式仅可保持对应选择选择:部分开放-部分开放/限制开放-限制开放,
[0102]
b)可选租户/用户范围:上级节点的已选范围,
[0103]
c)限制到期时间的可选范围≤最近的上级目录节点的到期时间。
[0104]
步骤s4.响应数据消费用户对数据目录的信息检索操作,向数据消费用户返回对应的数据属性信息和内容信息。
[0105]
在步骤s4中,响应数据消费用户对数据目录的信息检索操作,包括:
[0106]
基于统一的查询视窗响应数据消费用户的信息检索操作,以供数据消费用户基于数据目录结构和数据对象进行信息查询。
[0107]
具体的,本实施例通过向数据消费用葫芦提供全目录信息的查询、详情查阅、数据预览,并提供目标数据对象进行订阅服务等的快速使用入口。数据消费用户无需关注对象的存储路由访问细节,可通过数据对象详情,从整体角度,直接调阅元数据刻画的数据类别、内容结构、业务归属等基础属性,查看数据对象补充刻画的数据分类、物理存储、数据存储类型、业务标签等信息。
[0108]
基于上述公开的内容,本技术实施例基于预设的元数据定义规则,对多源异构数据进行统一的元数据刻画和管理,以适用于多种文件型和/或消息型数据源下的多种数据格式的业务数据;通过分别为新增数据和存量数据提供对应的元数据定义方式,进行数据特征的定义,以形成标准化的数据管理;基于元数据化和数据目录抽象封装方法形成分类分层的数据资产,实现数据的可视化管理,满足用户对于数据认知和数据查找的需求;将文件型或消息型数据进行标准元数据化管理后,再通过数据目录进行分类分层管理,能够形成企业清晰的数据资产,以供企业快速清晰获知数据资产的整体情况,为后续数据应用提供有力的数据支持。例如可量化展示资产的种类、数量、冷热度(使用情况)等,以便于企业管理者直观获悉自身资产的整体情况,为资本投资和运营决策提供科学数据依据;通过系统实现通用化的数据剪裁和加工处理能力,能够显著提高异构数据源数据之间的协同分析效率,以类似总线的角色,将企业内流通的多样性数据进行高效的汇聚,并根据需求场景进行数据间的对齐和统计分析,为企业的经营发展提供有力的数据支持。
[0109]
第二方面提供基于元数据的多源异构数据统一管理系统,包括:
[0110]
元数据发布模块,用于响应数据生产用户将多源异构数据的元数据进行上传的操作,对所述元数据进行接收、审核和验证,并在验证通过后将所述元数据转换至运行态;其中,所述元数据为数据生产用户基于预设的元数据定义规则对多源异构数据进行刻画所得到的数据,所述多源异构数据至少包括关系型数据、文件型数据或消息型数据;
[0111]
权限配置模块,用于为不同角色的用户配置相应的权限,以便各角色用户基于自身权限对数据目录进行相应的操作;其中,不同角色的用户包括数据生产用户、平台管理用户以及数据消费用户;
[0112]
数据目录发布模块,用于响应平台管理用户和/或数据生产用户对数据目录的编制操作,根据编制操作建立数据目录与数据对象和数据源存储信息之间的关联,形成分类分层的数据目录;其中,数据对象为实例化的元数据对象;
[0113]
数据查询模块,用于响应数据消费用户对数据目录的信息检索操作,向数据消费用户返回对应的数据属性信息和内容信息。
[0114]
第三方面,本发明提供一种计算机设备,包括依次通信相连的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如第一方面任意一种可能的设计中所述的方法。
[0115]
具体举例的,所述存储器可以但不限于包括随机存取存储器(random-access memory,ram)、只读存储器(read-only memory,rom)、闪存(flash memory)、先进先出存储器(first input first output,fifo)和/或先进后出存储器(first input last output,
filo)等等;所述处理器可以不限于采用型号为stm32f105系列的微处理器;所述收发器可以但不限于为wifi(无线保真)无线收发器、蓝牙无线收发器、gprs(general packet radio service,通用分组无线服务技术)无线收发器和/或zigbee(紫蜂协议,基于ieee802.15.4标准的低功耗局域网协议)无线收发器等。此外,所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
[0116]
本实施例第三方面提供的前述计算机设备的工作过程、工作细节和技术效果,可以参见如上第一方面或第一方面中任意一种可能设计所述的方法,于此不再赘述。
[0117]
第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如第一方面任意一种可能的设计中所述的方法。
[0118]
其中,所述计算机可读存储介质是指存储数据的载体,可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(memory stick)等,所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
[0119]
本实施例第四方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果,可以参见如上第一方面或第一方面中任意一种可能设计所述的方法,于此不再赘述。
[0120]
第五方面,本发明提供一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如第一方面任意一种可能的设计中所述的方法。
[0121]
本实施例第五方面提供的前述包含指令的计算机程序产品的工作过程、工作细节和技术效果,可以参见如上第一方面或第一方面中任意一种可能设计所述的方法,于此不再赘述。
[0122]
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1