本发明涉及大数据技术领域,具体涉及一种基于大数据的数据管控系统。
背景技术
随着云计算、大数据、数据挖掘、arcgis等技术的发展,使得针对政府、企业等社会各界提出的越来越全面、精准、及时的信息需求成为了可能,大数据平台已建立面向整个大数据业务的数据仓科,整合了前台业务运营数据和后台管理数据,建立了面向大数据的管理分析应用,但是现有的大数据平台缺乏面向大数据运营管理的管件管控体系。
技术实现要素:
为了解决现有技术中存在的问题,本发明提供了一种基于大数据的数据管控系统。
本发明解决上述问题的技术方案为:一种基于大数据的数据管控系统,包括数据管控组织模块、评价与考核模块、管控流程模块以及管控平台;
所述数据管控组织模块包括数据管控主导模块以及数据管控参与模块,所述数据管控主导模块主要负责数据标准管理、数据质量管理。元数据管理和数据安全管理,所述数据管控参与模块主要包括数据产生模块、数据使用模块、数据拥有模块以及数据管理模块;
所述评价与考核模块包括数据标准管理模块,数据质量管理模块、元数据管理模块、数据安全管理模块;所述数据标准管理模块包括数据标准建立以及数据标准管理考核,所述数据标准建立根据数据分类、数据结构、关键业务对象、关键代码、数据维度和代码映射建立数据标准,所述数据标准管理考核包括定性考评和定量考评制定数据标准分析报告;所述数据质量管理模块包括数据质量要求和数据质量考评,所述数据质量要求根据业务规则、数据一致性要求、数据完整性要求、数据唯一性要求、数据准确性要求、数据准确性要求和数据及时性要求制定数据质量标准、数据质量验证规则和数据质量考核指标,所述数据质量考评根据数据质量监控和不定期数据质量检查制定数据质量分析报告;所述元数据管理模块主要管理三类元数据,这三类元数据包括业务元数据、管理元数据和技术元数据,所述业务元数据面向业务人员,从业务术语、业务描述、业务指标和业务规则对数据进行描述。所述管理元数据面向数据管理人员,从运维管理的角度描述数据处理、数据质量和数据安全的状态信息,所述技术元数据面向就是人员,从数据结构和数据处理细节方面对数据进行技术化描述;所述数据安全管理模块包括数据安全分级管理模块和数据访问授权管理模块,所述数据安全分级模块根据业务要求、制定一系列的数据安全分级标准,为数据应用以及数据管理中实施数据安全保护和访问提供数据安全控制的基础,所述数据访问授权模块主要是根据数据安全分级标准,定于数据访问的授权方法以及流程,建立基于数据安全分级的数据使用授权机制,实现数据访问和信息披露的安全;
所述管控流程模块包括业务数据规则管理流程、数据标准管理模块管理流程、数据质量管理模块管理流程、元数据管理模块管理流程和数据安全管理模块管理,所述业务数据规则管理流程包括数据认责流程和数据治理考核体系,所述数据标砖管理模块管理流程包括数据标砖建立流程和数据标砖维护流程,所述数据质量管理模块管理流程包括数据质量要求确定流程,所述元数据管理模块管理管理流程包括元数据变更流程,所述元数据安全管理模块管理流程包括数据安全审批流程;
所述数据管控平台分为数据层、应用层和展现层三个主要层面,一数据层的数据库聚相关基础系统为主要信息来源,通过应用层的运算处理,以不同的形式、不同的功能在展现层提供用户接口。
本发明具有有益效果:
本发明明确了数据管控过程中的组织结构、角色和职责,规范了数据管控过程中各个关节日常任务处理的运作模式,通过建立一些定性或定量的数据管控评价考核指标,去评估以及考核数据相关责任人职责履行情况、数据管控标准及数据政策的执行情况,采用专门的技术平台支撑管理流程的自动化,发布管控组织制定的一些相关标准和规范,及时反映管控过程中存在的一些问题。
具体实施方式
下面结合具体实施方式对本发明作进一步的说明。
一种基于大数据的数据管控系统,包括数据管控组织模块、评价与考核模块、管控流程模块以及管控平台;
所述数据管控组织模块包括数据管控主导模块以及数据管控参与模块,所述数据管控主导模块主要负责数据标准管理、数据质量管理。元数据管理和数据安全管理,所述数据管控参与模块主要包括数据产生模块、数据使用模块、数据拥有模块以及数据管理模块;
所述评价与考核模块包括数据标准管理模块,数据质量管理模块、元数据管理模块、数据安全管理模块;所述数据标准管理模块包括数据标准建立以及数据标准管理考核,所述数据标准建立根据数据分类、数据结构、关键业务对象、关键代码、数据维度和代码映射建立数据标准,所述数据标准管理考核包括定性考评和定量考评制定数据标准分析报告;所述数据质量管理模块包括数据质量要求和数据质量考评,所述数据质量要求根据业务规则、数据一致性要求、数据完整性要求、数据唯一性要求、数据准确性要求、数据准确性要求和数据及时性要求制定数据质量标准、数据质量验证规则和数据质量考核指标,所述数据质量考评根据数据质量监控和不定期数据质量检查制定数据质量分析报告;所述元数据管理模块主要管理三类元数据,这三类元数据包括业务元数据、管理元数据和技术元数据,所述业务元数据面向业务人员,从业务术语、业务描述、业务指标和业务规则对数据进行描述。所述管理元数据面向数据管理人员,从运维管理的角度描述数据处理、数据质量和数据安全的状态信息,所述技术元数据面向就是人员,从数据结构和数据处理细节方面对数据进行技术化描述;所述数据安全管理模块包括数据安全分级管理模块和数据访问授权管理模块,所述数据安全分级模块根据业务要求、制定一系列的数据安全分级标准,为数据应用以及数据管理中实施数据安全保护和访问提供数据安全控制的基础,所述数据访问授权模块主要是根据数据安全分级标准,定于数据访问的授权方法以及流程,建立基于数据安全分级的数据使用授权机制,实现数据访问和信息披露的安全;
所述管控流程模块包括业务数据规则管理流程、数据标准管理模块管理流程、数据质量管理模块管理流程、元数据管理模块管理流程和数据安全管理模块管理,所述业务数据规则管理流程包括数据认责流程和数据治理考核体系,所述数据标砖管理模块管理流程包括数据标砖建立流程和数据标砖维护流程,所述数据质量管理模块管理流程包括数据质量要求确定流程,所述元数据管理模块管理管理流程包括元数据变更流程,所述元数据安全管理模块管理流程包括数据安全审批流程;
所述数据管控平台分为数据层、应用层和展现层三个主要层面,一数据层的数据库聚相关基础系统为主要信息来源,通过应用层的运算处理,以不同的形式、不同的功能在展现层提供用户接口。
本发明明确了数据管控过程中的组织结构、角色和职责,规范了数据管控过程中各个关节日常任务处理的运作模式,通过建立一些定性或定量的数据管控评价考核指标,去评估以及考核数据相关责任人职责履行情况、数据管控标准及数据政策的执行情况,采用专门的技术平台支撑管理流程的自动化,发布管控组织制定的一些相关标准和规范,及时反映管控过程中存在的一些问题。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域,但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。