一种用于城市级数据中台的数据治理系统的制作方法

文档序号:23590172发布日期:2021-01-08 14:26阅读:来源:国知局

技术特征:

1.一种用于城市级数据中台的数据治理系统,其特征在于,用于对城市级数据中台的一数据资源中心存储的数据资源进行数据治理,包括:

数据标准管理平台,用于存储和管理预先制定的至少一数据管理规范和至少一质量管理规范;

元数据管理模块,连接所述数据标准管理平台,用于根据所述数据管理规范对所述数据资源关联的元数据进行管理;

数据质量管理模块,分别连接所述元数据管理模块和所述数据标准管理平台,用于根据所述质量管理规范生成数据质量管理标准,并根据所述数据质量管理标准对所述元数据的管理过程进行质量管控;

公共管理与门户模块,分别连接所述元数据管理模块、所述数据标准管理平台和所述数据质量管理模块,用于为所述元数据管理模块、所述数据标准管理平台和所述数据质量管理模块提供统一的用户权限管理支持和导航查询。

2.根据权利要求1所述的数据治理系统,其特征在于,所述元数据管理模块采用分层架构,所述分层架构由下至上包括:

采集层,用于采集各种所述元数据,并对各所述元数据进行初步的数据解析得到各所述元数据之间的元数据关系;

存储层,用于对所述采集层输入的各所述元数据进行集中存储,并对所述元数据关系进行存储;

应用层,用于对所述元数据及所述元数据关系进行分析及管理;

服务层,用于提供基于所述元数据的对外服务。

3.根据权利要求2所述的数据治理系统,其特征在于,所述采集层通过预先配置的采集适配器和/或预先生成的数据导入模块进行各所述元数据的采集。

4.根据权利要求2所述的数据治理系统,其特征在于,所述元数据包括:

分布式文件系统元数据、分布式数据仓库元数据、分布式nosql数据库元数据、数据检索组件元数据和实时流计算组件元数据中的一种或多种。

5.根据权利要求2所述的数据治理系统,其特征在于,所述应用层包括:

血缘分析单元,用于对各所述元数据进行血缘分析获取各所述元数据的数据来源;

影响分析单元,用于对各所述元数据发生变更时对其他系统和数据产生的影响进行分析。

数据重要性分析单元,用于从各所述元数据的被使用频率、被访问次数、暗数据判别结果来分析各所述元数据的重要性;

分析结果导出单元,分别连接所述血缘分析单元、所述影响分析单元和所述数据重要性分析单元,用于将各所述元数据的分析结果进行导出。

6.根据权利要求5所述的数据治理系统,其特征在于,所述应用层还包括元数据管理单元,用于对所述元数据进行元数据视图管理,和/或元数据维护,和/或元数据查询,和/或元数据导出,和/或元数据版本管理和/或元数据变更管理。

7.根据权利要求1所述的数据治理系统,其特征在于,所述数据质量管理模块包括:

标准映射单元,用于根据所述质量管理规范生成相应的约束或模板,供用户对数据质量规则、评分卡和知识库进行定制;

检核管理单元,用于供用户对计算生成的检核任务进行配置和调度管理;

数据质量报告数据库,用于根据所述检核任务对应的检核结果生成定制化的数据质量报告;

问题管理单元,连接所述数据质量报告数据库,用于根据所述数据质量报告进行数据质量问题的发现、报警和处理。

8.根据权利要求1所述的数据治理系统,其特征在于,所述公共管理与门户模块包括:

公共管理单元,用于提供用户管理、角色管理、权限管理、日志管理、数据库管理、安全管理和审计管理的服务,实现为所述元数据管理模块、所述数据标准管理平台和所述数据质量管理模块提供统一的用户权限管理支持。

9.根据权利要求8所述的数据治理系统,其特征在于,所述公共管理与门户模块还包括:

门户单元,用于提供查询检索、导航、通用功能和门户管理的服务,实现为所述元数据管理模块、所述数据标准管理平台和所述数据质量管理模块提供导航查询。


技术总结
本发明提供一种用于城市级数据中台的数据治理系统,涉及数据处理技术领域,包括:数据标准管理平台,用于存储和管理预先制定的至少一数据管理规范和至少一质量管理规范;元数据管理模块,用于根据数据管理规范对数据资源关联的元数据进行管理;数据质量管理模块,用于根据质量管理规范生成数据质量管理标准,并根据数据质量管理标准对元数据的管理过程进行质量管控;公共管理与门户模块,用于为元数据管理模块、数据标准管理模块和数据质量管理模块提供统一的用户权限管理支持和导航查询。本技术方案满足进行库表元数据的查看,数据之间血缘关系与影响的查看,以及数据之间依赖关系的分析,能更好地为城市级数据中台服务。

技术研发人员:陈正伟;辛帅;陈建华
受保护的技术使用者:云赛智联股份有限公司
技术研发日:2020.10.28
技术公布日:2021.01.08
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1