一种元数据管理平台及元数据管理方法与流程

[0001]
本发明涉及数据管理领域，尤其涉及一种元数据管理平台及元数据管理方法。


背景技术：

[0002]
元数据是指描述其它数据的数据，是用来识别、追踪、评价数据资源的一种有效管理手段。元数据按用途分成技术元数据和业务元数据，业务元数据可以帮助用户理解数据的业务含义，能快速的把数据用起来，技术元数据可以帮助用户进行数据的管理和维护，可以衡量当前数据的质量以及数据最有效的访问方式。
[0003]
随着互联网时代的到来，大量的数据被产生，对数据的管理和维护提出了非常高的要求，而元数据的管理成为了重中之重。元数据能帮助企业迅速、便捷的盘点清自己的数据存放位置，快速查询和定位到需要的数据，并且能根据元数据之间的上下文关系追踪数据的历史和起源，帮助企业识别并减少冗余数据和流程，减少重复工作和对冗余、过期、不正确数据的使用，为企业的数据治理、数据应用、数据服务打好基础。因此如何在海量数据下，有效的管理元数据信息成为企业亟需要解决的一个问题。
[0004]
目前，企业对元数据的管理，主要是通过维护excel文件，通过人工梳理手段把元数据信息一条条的录入到excel文件里面，一旦数据量增加，人工成本会变的非常高、效率极低，而且对excel文件的维护也会变的越来越复杂。针对现有技术中存在的上述问题，目前尚未发现有效的解决方案。


技术实现要素：

[0005]
本发明要解决的技术问题，在于提供一种元数据管理平台及元数据管理方法，以解决现有企业元数据管理复杂低效的技术问题。
[0006]
为实现上述目的，本发明采用下述技术方案：第一方面，本发明提供一种元数据管理平台，所述平台包括：sql解析引擎，所述sql解析引擎用于拦截业务系统提交的sql语句并提取所述sql语句中的元数据信息，其中，所述元数据信息包括表信息、字段信息、注释信息和表上下文关系信息；数据库，所述数据库用于存储所述sql解析引擎提取的元数据信息；web前端，所述web前端通过http请求调用服务端的接口查询所述数据库中的元数据信息，并通过web页面的形式展示所述元数据信息；服务端，所述服务端包括控制层、业务层和数据库层，所述控制层用于接收所述web前端的http请求，所述业务层用于执行所述web前端的http请求执行业务逻辑，所述数据库层用于根据所述web前端的http请求查询所述数据库中的元数据信息。
[0007]
第二方面，本发明提供一种元数据管理方法，所述方法基于上述第一方面所述的元数据管理平台进行元数据管理，包括：sql解析引擎拦截业务系统提交的sql语句并提取所述sql语句中的元数据信息，其中，
所述元数据信息包括表信息、字段信息、注释信息和表上下文关系信息；数据库存储所述sql解析引擎提取的元数据信息；web前端通过http请求调用服务端的接口查询所述数据库中的元数据信息，并通过web页面的形式展示所述元数据信息；服务端接收所述web前端的http请求并查询所述数据库中的元数据信息，其中，所述服务端包括控制层、业务层和数据库层，所述控制层用于接收所述web前端的http请求，所述业务层用于执行所述web前端的http请求执行业务逻辑，所述数据库层用于根据所述web前端的http请求查询所述数据库中的元数据信息。
[0008]
本发明的有益效果是：本发明提供一种元数据管理平台及元数据管理方法，利用sql拦截解析机制，自动对业务系统提交的每个sql语句进行拦截并且进行元数据信息的提取，有效的提高了元数据采集的效率以及降低了维护成本和难度，并且提供了一个可视化的web前端进行元数据信息的管理和维护，大大的提高了企业管理元数据的效率，为企业节约了成本。
附图说明
[0009]
图1为本发明一个实施例提供的一种元数据管理平台的结构示意图；图2为本发明一个实施例提供的一种元数据管理平台的结构示意图；图3为本发明一个实施例提供的一种元数据管理方法的流程示意图。
具体实施方式
[0010]
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0011]
目前，企业对元数据的管理，主要是通过维护excel文件，通过人工梳理手段把元数据信息一条条的录入到excel文件里面，一旦数据量增加，人工成本会变的非常高、效率极低，而且对excel文件的维护也会变的越来越复杂。针对现有技术中存在的上述问题，目前尚未发现有效的解决方案。
[0012]
针对现在对元数据的日益重视，本发明实施例提供一种元数据管理平台及元数据管理方法。可以在日常企业的数据开发工作中自动采集数据的业务信息、技术信息、数据上下文关系，保存到关系型数据库中，并且提供了web可视化界面对这些元数据进行管理和维护，企业可以通过这个元数据管理平台轻松的进行元数据的检索、查看详情、分析数据上下文关系、控制数据访问权限等操作。本发明大大的降低了元数据的管理难度，通过自动化收集元数据信息的技术解放了人力成本，使企业可以更加关注于数据业务自身的开发，有效的提高企业生产力。
[0013]
以下结合附图，详细说明本发明中各实施例提供的技术方案。
[0014]
请参阅附图1，其示出了本发明一个实施例提供的一种元数据管理平台，所述平台包括：sql解析引擎101，所述sql解析引擎101用于拦截业务系统102提交的sql语句并提取所
述sql语句中的元数据信息，其中，所述元数据信息包括表信息、字段信息、注释信息和表上下文关系信息；可以理解，业务系统102可以是数据开发成员用于开发业务任务的系统，业务系统102也可以是用于接收其它业务开发系统数据的系统，总之，业务系统102将自身产生的数据信息或其它业务开发系统产生的元数据信息通过sql语句进行提交。为了能够实时采集业务系统102提交的元数据信息，sql解析引擎101拦截业务系统102提交的sql语句并提取所述sql语句中的元数据信息。
[0015]
数据库103，所述数据库103用于存储所述sql解析引擎101提取的元数据信息；web前端104，所述web前端104通过http请求调用服务端105的接口查询所述数据库103中的元数据信息，并通过web页面的形式展示所述元数据信息；服务端105，所述服务端105包括控制层1051、业务层1052和数据库层1053，所述控制层1051用于接收所述web前端104的http请求，所述业务层1052用于执行所述web前端104的http请求执行业务逻辑，所述数据库层1053用于根据所述web前端104的http请求查询所述数据库103中的元数据信息。
[0016]
在一个实施例中，所述sql解析引擎101接收业务系统102提交的sql语句并提取所述sql语句中的元数据信息包括：所述sql解析引擎101接收业务系统102提交的sql语句；所述sql解析引擎101对所述sql语句进行语义解析，提取所述sql语句中的元数据信息。
[0017]
在一个实施例中，所述数据库层还用于更新、删除、保存所述数据库中的元数据信息。
[0018]
在一个实施例中，如附图2所示，其示出了本发明一个实施例提供的一种元数据管理平台，所述平台还包括：执行集群106，所述sql解析引擎101拦截业务系统102提交的sql语句并提取所述sql语句中的元数据信息之后，所述sql解析引擎101将所述sql语句转发至所述执行集群106执行所述sql语句。
[0019]
请参阅附图3，其示出了本发明一个实施例提供的一种元数据管理方法，所述元数据管理方法基于上述实施例所述的元数据管理平台进行元数据管理，包括：s301,sql解析引擎拦截业务系统提交的sql语句并提取所述sql语句中的元数据信息；其中，所述元数据信息包括表信息、字段信息、注释信息和表上下文关系信息；s302,数据库存储所述sql解析引擎提取的元数据信息；s303,web前端通过http请求调用服务端的接口查询所述数据库中的元数据信息，并通过web页面的形式展示所述元数据信息；s304,服务端接收所述web前端的http请求并查询所述数据库中的元数据信息。
[0020]
针对步骤s304，所述服务端包括控制层、业务层和数据库层，所述控制层用于接收所述web前端的http请求，所述业务层用于执行所述web前端的http请求执行业务逻辑，所述数据库层用于根据所述web前端的http请求查询所述数据库中的元数据信息。
[0021]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的；同时，对于本领域的一
般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，这些均属于本发明的保护范围之内。