实现多维数据质量校验的高校主数据治理系统及方法与流程

本发明涉及高校信息化的主数据管理技术领域，具体涉及一种实现多维数据质量校验的高校主数据治理系统及方法。

背景技术：

高校主数据是那些经常被应用系统共享使用的基础数据，如部门、学院、教师、学生、学科、专业、课程、教室等。主数据治理的目的是保障高校主数据的唯一性、完整性、有效性、规范性、一致性和稳定性，为全校信息化提供跨系统、跨应用和跨流程的单一、准确、权威基础数据。

由于高校应用系统通常由各个业务部分根据业务需要独立建设，每个应用系统中使用的主数据都是独立维护，高校主数据缺乏统一的信息标准，导致数据格式各异、数据一致性差、数据内容出错，使得主数据无法共享与交换。

目前一些高校建设了数据中心，基于高校的信息标准实现了各个应用系统数据集成整合，按照“一数一源”的原则进行应用系统数据抽取，但主数据重复分布到各个应用系统中，没有针对主数据进行全量抽取、交叉对比和深度治理，导致数据中心的主数据的数据质量难以得到保证，不能从根本上提升主数据的数据质量。

因此，需要精细化管理高校主数据的权责关系，采用多个维度校验方法稽核主数据的数据质量，保证主数据的数据质量持续可信。

技术实现要素：

针对高校现有数据中心管理技术的不足，本发明的目的是提供一种实现多维数据质量校验的高校主数据治理系统及方法，综合了高校主数据标准、元数据建模、数据质量稽核等技术，提供了高校主数据治理的元数据版本管控、ucsm矩阵管控、数据质量管控、共享安全管控等策略。

本发明解决其技术问题，采用的技术方案是：

本发明一方面提出一种实现多维数据质量校验的高校主数据治理系统，包括：

元数据管理模块，用于基于高校主数据标准构建主数据的元数据模型，保证主数据的元数据属性与主数据的数据结构协同，并用于配置主数据的范畴、结构关系和版本控制，自动生成主数据的数据库结构；

主数据代码模块，用于定义高校各类通用代码的编码规则和代码值；

主数据照管模块，用于采用ucsm矩阵模式定义各个主数据子类的使用、生产、照管和修改权限的归属，设置具体人员在主数据数据治理过程中担任的角色，u代表使用，c代表生产，s代表照管，m代表修改；

主数据治理模块，用于集成高校已有各类应用系统中使用的所有主数据，通过自动转换和检测，识别问题主数据并消息反馈主数据子类照顾人员，纠正后的主数据自动存入主数据数据库；

主数据管控模块，用于对比分析任意两个时间节点的数据快照变化，并按系统角色、工作岗位和业务部门三个维度配置主数据的搜索、查询、新增和编辑权限，配置主数据共享开放数据接口，并按时间节点对主数据的历史数据进行归档形成数据快照。

进一步的是，所述自动生成主数据的数据库结构，具有以下属性：

范畴属性：定义高校主数据的目录和主数据名称；

结构属性：定义主数据编号、项名、位置、主键、非空、类型、长度和约束，数据类型可设置文本、数字和时间的常规类型，和/或设置图片、附件和不限长文本的特殊类型；

关系属性：定性主数据字段的引用标准代码、关联数据字段和关联计算规则；

版本控制属性：已经发布的主数据元数据模型可以重新修改结构和关系属性，重新发布后形成主数据元数据模型新版本，同时自动调整主数据数据库结构，对已经保持的主数据历史记录不产生影响。

进一步的是，所述主数据代码模块定义在高校各类通用代码的编码规则和代码值时，具有以下属性：

编码级次：定义高校各类通用代码的编码级次，级次数量无限制；

编码构成：每级编码可以定义为固定字符、系统变量、系统时间和自动编号，自动编号可以设置长度、最大值、最小值以及自动编号周期属性；

代码值：增加和编辑各个编码对应的代码值，代码值为数字或文本。

进一步的是，所述自动转换和检测的方法包括：

代码转换：按照主数据代码规范转换各类集成应用系统使用主数据的代码数据字段，并存入贴源层数据表中；

唯一性校验：提供数据唯一性数据校验方法，包括单指标值域唯一性检测、同组多指标联合值域唯一性检测以及多个组多指标值域唯一性检测；

完整性校验：提供数据完整性数据校验方法，包括单个指标值域非空检测和同组多指标联合值域非空检测；

有效性校验：提供数据有效性数据校验方法，包括基于字段检测、基于指标检测和基于计算检测；

规范性校验：提供数据规范性数据校验方法，包括身份证规范性检测、手机号规范性检测、时间格式检测、百分数规范性检测和小数位数规范性检测；

一致性校验：提供数据一致性数据校验方法，包括周期定义与数据项数检测和组间指标值域一致性检测；

稳定性校验：提供数据稳定性数据校验方法，包括波动性检测、平衡性检测和高群值检测。

进一步的是，所述主数据治理模块还用于自动生成主数据质量报告，呈现稽核指标组数量、规则指标覆盖率、稽核数据覆盖率和稽核数据合规率，并自动计算主数据总体和各个主数据子类的唯一性、完整性、有效性、规范性、一致性和稳定性质量得分。

进一步的是，所述对比分析任意两个时间节点的数据快照变化，具体包括以下对比内容：

总体差异对比：选择任意两个时间节点，对比分析两个时间节点上数据快照的数据总体差异，呈现数据子类的字段数量和数据记录数量的对比差异，以及字段数据的变化率和数据记录数量的变化率；

数据记录对比：选择任意两个时间节点，对比分析两个时间节点上数据快照的数据记录差异，呈现每条数据记录的每个数据字段的数据内容在两个时间节点上差异，具有差异的内容通过明显标记标注；

数据记录追溯：查看数据子类数据更新日志记录，查看每次数据操作日志的数据来源方式、数据来源名称、操作执行人，以及新增、修改和删除的数据记录数量，支持查看每次操作的数据记录详细信息。

进一步的是，当按系统角色、工作岗位和业务部门三个维度配置主数据的搜索、查询、新增和编辑权限时，可以自定义数据过滤条件限制授权数据记录范围。

进一步的是，所述配置主数据共享开放数据接口，具有以下属性：

接口参数：接口名称、接口类型、接口地址、加密方式、加密字串、目标系统、目标应用和目标服务器；

数据限制：限定单次访问获取数据记录的最大值，限定两次访问获取数据的时间间隔最小值；

接口图谱：呈现接口谱系视图展示数据接口与数据子类之间的关联关系。

进一步的是，所述按时间节点对主数据的历史数据进行归档形成数据快照时，手动归档和/或按周期性自动归档，主数据归档范围设置为全部归档、部分归档或单表归档。

另一方面，本发明还提出一种实现多维数据质量校验的高校主数据治理方法，包括以下步骤：

步骤1.制定主数据标准；

步骤2.定义主数据代码：配置主数据代码的编码规则和代码值；

步骤3.配置主数据的元数据模型：配置主数据的范畴、结构和关系；

步骤4.配置主数据ucsm权责矩阵；

步骤5.抽取并转换应用系统主数据：集成整合已有各类应用系统中使用的主数据到贴源层数据库中，同时完成标准代码转换；

步骤6.主数据质量校验：稽核贴源层数据库中所有主数据的唯一性、完整性、有效性、规范性、一致性和稳定性；

步骤7.是否合规判定：判定主数据六个维度的数据质量，并将问题数据反馈数据照管人纠正，自动生成主数据质量报告；

步骤8.主数据自动存储到主数据中心：对比分析任意两个时间节点的主数据变化，按角色、岗位和部门配置主数据的操作权限，配置主数据共享开放数据接口，配置主数据定期自动归档策略。

本发明的有益效果是，通过上述实现多维数据质量校验的高校主数据治理系统及方法，能够帮助高校建立统一的主数据标准，基于元数据建模工具实现主数据的元数据管理与主数据的数据结构协同，通过元数据版本管理方便主数据标准的变更和升级；另外，本发明通过ucsm矩阵清楚的管理主数据的权责关系，保证主数据质量治理过程中问题数据反馈和消息通知机制健全；本发明还通过多维数据质量稽核，自动识别多个维度的主数据质量问题，保证全校主数据生产规范和主数据使用可信；而且，本发明还通过主数据管控保证主数据操作、共享、存储安全。因此，本发明提供的系统和方法具有通用性、实用性、灵活性。

附图说明

图1为本发明实施例1中实现多维数据质量校验的高校主数据治理系统的系统结构图；

图2为本发明实施例2中实现多维数据质量校验的高校主数据治理方法的实施方式流程图。

具体实施方式

下面结合附图及实施例，详细描述本发明的技术方案。

实施例1

本实施例为一种实现多维数据质量校验的高校主数据治理系统，其系统结构图见图1，其中，该系统包括：

元数据管理模块，用于基于高校主数据标准构建主数据的元数据模型，保证主数据的元数据属性与主数据的数据结构协同，并用于配置主数据的范畴、结构关系和版本控制，自动生成主数据的数据库结构；

主数据代码模块，用于定义高校各类通用代码的编码规则和代码值；

主数据照管模块，用于采用ucsm矩阵模式定义各个主数据子类的使用、生产、照管和修改权限的归属，设置具体人员在主数据数据治理过程中担任的角色，u代表使用，c代表生产，s代表照管，m代表修改；

主数据治理模块，用于集成高校已有各类应用系统中使用的所有主数据，通过自动转换和检测，识别问题主数据并消息反馈主数据子类照顾人员，纠正后的主数据自动存入主数据数据库；

主数据管控模块，用于对比分析任意两个时间节点的数据快照变化，并按系统角色、工作岗位和业务部门三个维度配置主数据的搜索、查询、新增和编辑权限，配置主数据共享开放数据接口，并按时间节点对主数据的历史数据进行归档形成数据快照。

上述系统中，自动生成主数据的数据库结构，可以具有以下属性：

范畴属性：定义高校主数据的目录和主数据名称；

结构属性：定义主数据编号、项名、位置、主键、非空、类型、长度和约束，数据类型可设置文本、数字和时间的常规类型，和/或设置图片、附件和不限长文本的特殊类型；

关系属性：定性主数据字段的引用标准代码、关联数据字段和关联计算规则；

版本控制属性：已经发布的主数据元数据模型可以重新修改结构和关系属性，重新发布后形成主数据元数据模型新版本，同时自动调整主数据数据库结构，对已经保持的主数据历史记录不产生影响。

需要指出的是，主数据代码模块定义在高校各类通用代码的编码规则和代码值时，具有以下属性：

编码级次：定义高校各类通用代码的编码级次，级次数量无限制；

编码构成：每级编码可以定义为固定字符、系统变量、系统时间和自动编号，自动编号可以设置长度、最大值、最小值以及自动编号周期属性；

代码值：增加和编辑各个编码对应的代码值，代码值为数字或文本。

进一步的是，所述自动转换和检测的方法包括：

代码转换：按照主数据代码规范转换各类集成应用系统使用主数据的代码数据字段，并存入贴源层数据表中；

唯一性校验：提供数据唯一性数据校验方法，包括单指标值域唯一性检测、同组多指标联合值域唯一性检测以及多个组多指标值域唯一性检测；

完整性校验：提供数据完整性数据校验方法，包括单个指标值域非空检测和同组多指标联合值域非空检测；

有效性校验：提供数据有效性数据校验方法，包括基于字段检测、基于指标检测和基于计算检测；

规范性校验：提供数据规范性数据校验方法，包括身份证规范性检测、手机号规范性检测、时间格式检测、百分数规范性检测和小数位数规范性检测；

一致性校验：提供数据一致性数据校验方法，包括周期定义与数据项数检测和组间指标值域一致性检测；

稳定性校验：提供数据稳定性数据校验方法，包括波动性检测、平衡性检测和高群值检测。

需要说明的是，主数据治理模块还用于自动生成主数据质量报告，呈现稽核指标组数量、规则指标覆盖率、稽核数据覆盖率和稽核数据合规率，并自动计算主数据总体和各个主数据子类的唯一性、完整性、有效性、规范性、一致性和稳定性质量得分。

另外，对比分析任意两个时间节点的数据快照变化，具体包括以下对比内容：

总体差异对比：选择任意两个时间节点，对比分析两个时间节点上数据快照的数据总体差异，呈现数据子类的字段数量和数据记录数量的对比差异，以及字段数据的变化率和数据记录数量的变化率；

数据记录对比：选择任意两个时间节点，对比分析两个时间节点上数据快照的数据记录差异，呈现每条数据记录的每个数据字段的数据内容在两个时间节点上差异，具有差异的内容通过明显标记标注；

数据记录追溯：查看数据子类数据更新日志记录，查看每次数据操作日志的数据来源方式、数据来源名称、操作执行人，以及新增、修改和删除的数据记录数量，支持查看每次操作的数据记录详细信息。

实际应用中，当按系统角色、工作岗位和业务部门三个维度配置主数据的搜索、查询、新增和编辑权限时，可以自定义数据过滤条件限制授权数据记录范围。

配置主数据共享开放数据接口，具有以下属性：

接口参数：接口名称、接口类型、接口地址、加密方式、加密字串、目标系统、目标应用和目标服务器；

数据限制：限定单次访问获取数据记录的最大值，限定两次访问获取数据的时间间隔最小值；

接口图谱：呈现接口谱系视图展示数据接口与数据子类之间的关联关系。

按时间节点对主数据的历史数据进行归档形成数据快照时，手动归档和/或按周期性自动归档，主数据归档范围设置为全部归档、部分归档或单表归档。

实施例2

本实施例为一种实现多维数据质量校验的高校主数据治理方法，其实施方式流程图见图2，其中，该方法包括以下步骤：

s1.制定主数据标准；

s2.定义主数据代码：配置主数据代码的编码规则和代码值；

s3.配置主数据的元数据模型：配置主数据的范畴、结构和关系；

s4.配置主数据ucsm权责矩阵；

s5.抽取并转换应用系统主数据：集成整合已有各类应用系统中使用的主数据到贴源层数据库中，同时完成标准代码转换；

s6.主数据质量校验：稽核贴源层数据库中所有主数据的唯一性、完整性、有效性、规范性、一致性和稳定性；

s7.是否合规判定：判定主数据六个维度的数据质量，并将问题数据反馈数据照管人纠正，自动生成主数据质量报告；

s8.主数据自动存储到主数据中心：对比分析任意两个时间节点的主数据变化，按角色、岗位和部门配置主数据的操作权限，配置主数据共享开放数据接口，配置主数据定期自动归档策略。