一种应用NLP和ML于数据标准对标的智能化系统的制作方法

本发明涉及数据处理领域，尤其涉及在用于银行业各业务系统建设过程中数据标准对标的智能化系统。

背景技术：

1、数据治理在公司治理层面占比越来越重，在银行业尤为突出，特别是随着各种监管机构对银行业各项数据完整性、准确性、真实性的不断提升且日益标准化、明细化、严苛化等要求下，数据标准贯标质量落地成效变得愈发关键，而数据对标工作是其最重要的一环。然而，该项工作长期以来存在着工作量巨大、无法有效自动管控、维护繁琐、可操作性低的问题，同时随着银行系统持续建设和银行业务的不断拓展以及大多数情况仍采购的是现有系统，综上致使数据标准贯标工作存在严重的阻碍。因此，一直以来人工对标方式仍是银行业内主要应对手段。虽出现了利用人工智能或者深度学习方案的专利方案，但少有实质性的落地切实可行的技术解决方案和系统，可被有效应用于行业内的数据治理工作中。

技术实现思路

1、本发明的目的在于提供一种应用nlp和ml于数据标准对标的智能化系统，该系统解决了现有技术在银行数据标准贯标场景中数据对标人工复杂度、难度及工作量大的问题。

2、为实现上述目的，本发明采用如下技术方案：

3、一种应用nlp和ml于数据标准对标的智能化系统，包括数据层、处理层和可视化展示层；

4、所述数据层用于存放标准数据和标统数据，且存放的数据就能被处理层调用；

5、其中，所述标准数据包括标准数据项文件和标准数据字典；标准数据项文件是存放数据标准的标准数据信息项的文件信息，并创建标准数据项文件表，它包含的数据信息有标准编号、标准主题、一级分类、二级分类、三级分类、中文名称、英文名称、数据项同义词、业务定义、适用类型、适用条件、制定依据、数据项定义、引用标准字典类型编号、校验规则、管理部门、发布状态和发布时间；所述标准数据字典是存放数据标准的标准数据字典信息，并创建标准数据字典文件表，它包含标准编号、标准主题、准名、编码值、编码说明、编码含义、编码序号、上级编码、编码级别、管理部门、发布状态、发布时间；

6、所述标统数据包括标统数据模型文件和标统数据字典，标统数据项文件用于存储标统的数据模型文件和解析字段，并创建标统数据模型文件表，并根据配置规则对标统数据模型文件中的数据模型及数据项的备注信息是否合规进行检测并回显失范码；标统数据字典用于存储标统数据模型引用的数据字典文件信息，并创建标统数据字典文件，根据配置规则检测标统数据模型及数据项的依赖数据字典信息是否合规并回显失范码；

7、所述处理层用于存储标统数据模型文件与标准数据文件及标统字典文件与标准数据字典文件对标后的结果信息，并创建对标结果明细表；对标包括标准数据文件数据项同义词识别、标统数据项匹配标准数据项、匹配结果确认和标准一致性检测；

8、其中，标准数据文件数据项同义词识别是根据配置规则运用机器学习识别标准数据项的同义词，并将识别后的成果更新到自动对标系统中的数据标准数据项同义词数据项；

9、标统数据项匹配标准数据项是将已采集入库的标统数据模型中的数据项使用已解析出的参标数据项列名通过匹配方法建立与标准数据项列名的关系并回显匹配类型；匹配方法包括：完全匹配、同义词匹配、余弦相似度匹配和推荐算法匹配，完全匹配是将标统数据模型数据项完全匹配数据标准数据项，根据数据项备注主体内容与数据标准项判断是否完全相等；同义词匹配式根据数据项备注主体内容与数据标准项的同义词进行完全匹配；余弦相似度匹配是根据数据项备注主体内容使用nlp的余弦相似度算法匹配第一匹配度的数据标准数据项或者同义词；推荐算法匹配是根据数据项备注主体内容使用nlp的智能推荐算法匹配第一匹配度的数据标准数据项或者同义词；

10、匹配结果确认是将匹配结果依据返回的匹配类型按照不同方式分别对结果进行确认；

11、标准一致性检测是根据已确认的匹配结果将标统数据项的数据类型、长度、约束、数据字典等分别按照已配置规则与标准数据项的数据类型、长度、约束、数据字典一一进行一致性检测；

12、所述可视化展示层是将自动对标的结果显示并通过excel格式下载结果，还可根据结果中的差错明细进行差错处理。

13、进一步地，所述配置该规则采用配置规则表存储，配置规则表存储采集、标统数据模型数据项备注注释合规性、标准一致性合规性检测的规则表。

14、进一步地，匹配类型可以根据各种可实现的匹配算法实现后纳入配置拓展，可根据方法、算法顺序或者综合指定评分依据分数高低进行选择使用。

15、本发明将标统配置信息采集入库到自动对标系统，建立对应数据库连接，将标统中的数据模型、指定数据项、依赖的数据字典表，采集入库到自动对标系统，通过配置函数和算法规则与导入的数据标准数据项进行逐一匹配，根据匹配类型和规则确认结果后，进行标准一致性检测等数据对标操作，数据对标完成后，提供对应的对标报告。

16、本发明有效减少数据对标工作的人工复杂度、难度及工作量，将该项工作标准化、流程化，提供可持续监测和核查的手段，强制统一新建系统的数据模型、数据字典等数据对象的执行标准规范。为后续应用系统建设、自主把控、运维、共享、数据分析、监管报送等方面，奠定良好数据基础。

技术特征：

1.一种应用nlp和ml于数据标准对标的智能化系统，其特征在于：包括数据层、处理层和可视化展示层；

2.根据权利要求1所述的一种应用nlp和ml于数据标准对标的智能化系统，其特征在于：所述配置该规则采用配置规则表存储，配置规则表存储采集、标统数据模型数据项备注注释合规性、标准一致性合规性检测的规则表。

3.根据权利要求1所述的一种应用nlp和ml于数据标准对标的智能化系统，其特征在于：匹配类型可以根据各种可实现的匹配算法实现后纳入配置拓展，可根据方法、算法顺序或者综合指定评分依据分数高低进行选择使用。

技术总结
本发明公开了一种应用NLP和ML于数据标准对标的智能化系统，包括数据层、处理层和可视化展示层；根据配置规则检测标统数据模型数据项的备注注释是否合规，合规后利用NLP等技术联动标准数据信息文件和标准数据字典文件匹配标统数据项与标准数据信息文件中的信息项的映射关系，并根据映射关系检测与标准数据项英文名称、数据定义、引用数据字典代码等的一致性。分别从提升采集质量、增加匹配类型算法、明确标准一致性检测规则、提供对标报告等方面，综合提升自动对标效率和大幅提高其准确性，使得降低了人工参与度、难度，最终降低了人工工作量。

技术研发人员：李海军,弋秋燕,邓翌男
受保护的技术使用者：绵阳市商业银行股份有限公司
技术研发日：
技术公布日：2024/1/14