基于双螺旋管理的数据质量校验方法及系统与流程

本发明属于数据管理技术领域，尤其涉及一种基于双螺旋管理的数据质量校验方法及系统。

背景技术：

随着企业规模的日益扩大，企业内部都会有多个业务系统提供相应的数据管理和服务，业务与业务之间的相关性也越来越大，各个业务系统之间有着密切的关系，任一业务系统都会调用其他业务系统的数据或服务。业务系统承担越来越多功能，发挥越来越大作用的同时，系统多年积累下来的数据也越来越多，这些数据是企业的宝贵财富，但同时由于保存和处理这些数据不仅需要大量的主机和存储设备，而且系统所保存的海量数据使得系统越来越慢，所以这些宝贵的数据又成为了系统的沉重负担，因此，在业务处理过程中为保障业务处理的效率，其数据的管理就尤为重要。

现有的数据管理过程中，其数据管理效率低下，且均需要采用人工的方式进行数据质量的校验，降低了数据校验的准确性和效率性。

技术实现要素：

本发明实施例要解决的技术问题是，现有的数据管理效率低下的问题。

本发明实施例是这样实现的，一种基于双螺旋管理的数据质量校验方法，所述方法包括：

获取业务需求和数据需求，并分别对所述业务需求和所述数据需求进行溯源，以生成业务溯源信息和数据溯源信息；

根据所述业务溯源信息制定业务规范，根据所述数据溯源信息进行数据评估，并根据评估结果制定数据优化方案；

根据所述业务规范实施业务处理，并根据所述数据优化方案实施数据优化；

对本地数据库进行数据校验，并根据校验结果进行数据替换。

更进一步的，所述分别对所述业务需求和所述数据需求进行溯源的步骤包括：

分析产生所述业务需求的需求原因，根据分析结果查询解决方案，并根据所述解决方案生成业务溯源分析报告；

分析产生所述数据需求的需求原因，根据分析结果定位目标数据，并根据所述目标数据生成业务溯源分析报告。

更进一步的，所述根据所述目标数据生成业务溯源分析报告的步骤包括：

根据所述目标数据查询目标处理流程和目标传输流程；

根据所述目标处理流程和所述目标传输流程生成数据字典和数据流程图。

更进一步的，所述对本地数据库进行数据校验的步骤包括：

对所述数据库进行异常分析，以获取异常数据；

对所述异常数据进行成因分析，并根据分析结果生成补救措施。

更进一步的，所述对本地数据库进行异常分析的步骤之后，所述方法还包括：

获取所述数据库中所述异常数据的异常数量，并依序计算所述异常数量的异常等级；

根据所述异常数量和所述异常等级对所述数据库进行评估，以得到质量评估结果。

更进一步的，所述对所述数据库进行异常分析的步骤包括：

判断所述数据库中是否存在缺失数据；

当判断到存在所述缺失数据时，记录数据缺失位置；

判断所述数据库中是否存在错误数据；

当判断到存在所述错误数据时，记录数据错误位置。

本发明实施例的另一目的在于提供一种基于双螺旋管理的数据质量校验系统，所述系统包括：

需求获取模块，用于获取业务需求和数据需求，并分别对所述业务需求和所述数据需求进行溯源，以生成业务溯源信息和数据溯源信息；

信息分析模块，用于根据所述业务溯源信息制定业务规范，根据所述数据溯源信息进行数据评估，并根据评估结果制定数据优化方案；

措施实施模块，用于根据所述业务规范实施业务处理，并根据所述数据优化方案实施数据优化；

数据校验模块，用于对本地数据库进行数据校验，并根据校验结果进行数据替换。

更进一步的，所述需求获取模块还用于：

分析产生所述业务需求的需求原因，根据分析结果查询解决方案，并根据所述解决方案生成业务溯源分析报告；

分析产生所述数据需求的需求原因，根据分析结果定位目标数据，并根据所述目标数据生成业务溯源分析报告。

更进一步的，所述需求获取模块还用于：

根据所述目标数据查询目标处理流程和目标传输流程；

根据所述目标处理流程和所述目标传输流程生成数据字典和数据流程图。

更进一步的，所述数据校验模块还用于：

对本地数据库进行异常分析，以获取异常数据；对所述异常数据进行成因分析，并根据分析结果生成补救措施。

本发明实施例，通过依序进行业务需求获取、业务溯源、制定业务规范和实施业务处理的设计，以形成业务闭环结构，通过依序进行数据需求获取、数据溯源、数据评估和实施数据优化应用的设计，以形成数据闭环结构，并通过该业务闭环结构和数据闭环结构以形成双螺旋管理机制(pdca协同)，通过该双螺旋管理机制的实施，以业务需求为导向，以业务问题促进数据治理水平提升，以高效的数据治理效率促进业务高效协作运行，有效的提高了数据管理效率。

附图说明

图1是本发明第一实施例提供的基于双螺旋管理的数据质量校验方法的流程图；

图2是本发明第一实施例提供的工作机制结构示意图；

图3是本发明第二实施例提供的基于双螺旋管理的数据质量校验方法的流程图；

图4是本发明第三实施例提供的基于双螺旋管理的数据质量校验系统的结构示意图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一

请参阅图1，是本发明第一实施例提供的基于双螺旋管理的数据质量校验方法的流程图，包括步骤：

步骤s10，获取业务需求和数据需求，并分别对所述业务需求和所述数据需求进行溯源，以生成业务溯源信息和数据溯源信息；

其中，通过调研营配调等各业务部门的需求，整理收集的需求，以建立业务需求资源池，并对该业务需求资源池内的各个业务需求进行优先级判断，以使对应进行优先级标记，进而能针对性的对重要性的需求先进行溯源；

该步骤中，通过收集管理层和业务部门最为迫切和重要的数据应用需求，比如经营统计分析等，并重点调研同期线损系统、供电服务指挥中心数据质量问题、大数据分析项目数据共享需求，确定数据治理需求，结合管理层和业务部门数据需求，梳理、评估并确定数据需求的范围和优先级；

具体的，该步骤中，通过对所述业务需求和所述数据需求进行溯源的设计，以查找产生所述业务需求和所述数据需求的原因，进而有效的方便了后续针对数据的管理和梳理；

步骤s20，根据所述业务溯源信息制定业务规范，根据所述数据溯源信息进行数据评估，并根据评估结果制定数据优化方案；

其中，通过采用溯源的方式，以找到数据和业务的源头，并根据该源头制定问题驱动和治理的流程，以使加强业务规范，通过制定阶段性演进目标和路线，针对性的进行数据的治理，以避免数据治理的盲目性，进而有效的提高了数据治理和管理的效率，优选的，该步骤中，通过进行该业务规范和数据优化方案的制定，有效的提高了后续针对业务处理的规范性和数据的有效性；

步骤s30，根据所述业务规范实施业务处理，并根据所述数据优化方案实施数据优化；

请参阅图2，该步骤中，通过根据所述业务规范实施业务处理，并根据所述数据优化方案实施数据优化的设计，以使与步骤s10中的业务需求、业务溯源、数据需求、数据溯源，及步骤s20中的制定业务规范、制定数据优化方案分别形成业务闭环结构和数据闭环结构，有效的提高了数据管理的准确性和效率性；

步骤s40，对本地数据库进行数据校验，并根据校验结果进行数据替换；

其中，通过对所述数据库进行数据校验的设计，以使对本地数据的传输、数据的存储、数据的发送、数据的采集对应进行核查、诊断和修改，以使保障所述业务需求和所述数据需求获取的准确性；

本实施例，通过依序进行业务需求获取、业务溯源、制定业务规范和实施业务处理的设计，以形成业务闭环结构，通过依序进行数据需求获取、数据溯源、数据评估和实施数据优化应用的设计，以形成数据闭环结构，并通过该业务闭环结构和数据闭环结构以形成双螺旋管理机制(pdca协同)，通过该双螺旋管理机制的实施，以业务需求为导向，以业务问题促进数据治理水平提升，以高效的数据治理效率促进业务高效协作运行，有效的提高了数据管理效率，且本实施例中，，以业务流和数据流为两条主链，以业务和数据间的映射关系为基础，促进数据与业务融合，构建pdca协同工作机制，提升数据质量和价值，实现数据治理闭环管理。

实施例二

请参阅图3，是本发明第二实施例提供的基于双螺旋管理的数据质量校验方法的流程图，包括步骤：

步骤s11，获取业务需求和数据需求，分析产生所述业务需求的需求原因，根据分析结果查询解决方案，并根据所述解决方案生成业务溯源分析报告；

步骤s21，分析产生所述数据需求的需求原因，根据分析结果定位目标数据，并根据所述目标数据生成业务溯源分析报告；

步骤s31，根据所述目标数据查询目标处理流程和目标传输流程，并根据所述目标处理流程和所述目标传输流程生成数据字典和数据流程图；

其中，通过数据项入手进行需求分析和梳理，确定需要进入到专项治理的数据范围。依据数据资产视图建立的全域数据-业务映射关系开展溯源定位，以治理分析场景定位目标业务节点及业务流程，按照层级映射关系锁定治理数据实体表、系统处理和传输流程；

步骤s41，根据所述业务溯源信息制定业务规范，根据所述数据溯源信息进行数据评估，并根据评估结果制定数据优化方案；

其中，通过制定业务规范的设计，以使针对性的进行数据的治理，以避免数据治理的盲目性，进而有效的提高了数据治理和管理的效率，优选的，该步骤中，通过进行该业务规范和数据优化方案的制定，有效的提高了后续针对业务处理的规范性和数据的有效性；

步骤s51，根据所述业务规范实施业务处理，并根据所述数据优化方案实施数据优化；

步骤s61，对所述数据库进行异常分析，以获取异常数据；

其中，通过对所述数据库进行异常分析的设计，以使判断所述数据库中是否存在错误数据或缺失数据，并对该错误数据和缺失数据的信息进行获取，生成所述异常数据，优选的，所述数据库中存储有表格数据、音频数据或图片数据等；

例如用于判断表格或文档中是否存在关键字段的缺失、判断表格或文档是否符合预定义的标准及规范、判断表格或文档中的参数是否在规定的取值范围内、判断表格或文档中字段值与预设值是否具有一致性；

优选的，当所述数据库中存储有设备数据时，判断存储的设备信息中设备的功率、电压、电流等运行数据是否存在记录缺失或空值等情况；并分析设备的功率、电压、电流等运行数据采集值是否符合业务常识和物理规律；

步骤s71，对所述异常数据进行成因分析，根据分析结果生成补救措施，并根据所述补救措施实施数据替换；

具体的，该步骤中，所述对所述数据库进行异常分析的步骤包括：

判断所述数据库中是否存在缺失数据；

当判断到存在所述缺失数据时，记录数据缺失位置；

判断所述数据库中是否存在错误数据；

当判断到存在所述错误数据时，记录数据错误位置；

步骤s81，获取所述数据库中所述异常数据的异常数量，并依序计算所述异常数量的异常等级；

步骤s91，根据所述异常数量和所述异常等级对所述数据库进行评估，以得到质量评估结果；

其中，通过对所述数据库进行异常分析的设计，以使从异常数据的数量、影响范围、严重程度及数据质量问题响应度等多个维度进行，并实现基于数据抽查、关键记录验证、历史数据分析、统计数据等多种统计方法的源系统数据质量整体评价的快速方法；

本实施例，通过依序进行业务需求获取、业务溯源、制定业务规范和实施业务处理的设计，以形成业务闭环结构，通过依序进行数据需求获取、数据溯源、数据评估和实施数据优化应用的设计，以形成数据闭环结构，并通过该业务闭环结构和数据闭环结构以形成双螺旋管理机制(pdca协同)，通过该双螺旋管理机制的实施，以业务需求为导向，以业务问题促进数据治理水平提升，以高效的数据治理效率促进业务高效协作运行，有效的提高了数据管理效率。

实施例三

请参阅图4，是本发明第三实施例提供的基于双螺旋管理的数据质量校验系统100的结构示意图，包括：需求获取模块10、信息分析模块11、措施实施模块12和数据校验模块13，其中：

需求获取模块10，用于获取业务需求和数据需求，并分别对所述业务需求和所述数据需求进行溯源，以生成业务溯源信息和数据溯源信息。

其中，所述需求获取模块10还用于：分析产生所述业务需求的需求原因，根据分析结果查询解决方案，并根据所述解决方案生成业务溯源分析报告；分析产生所述数据需求的需求原因，根据分析结果定位目标数据，并根据所述目标数据生成业务溯源分析报告。

进一步的，所述需求获取模块10还用于：根据所述目标数据查询目标处理流程和目标传输流程；根据所述目标处理流程和所述目标传输流程生成数据字典和数据流程图。

信息分析模块11，用于根据所述业务溯源信息制定业务规范，根据所述数据溯源信息进行数据评估，并根据评估结果制定数据优化方案；

措施实施模块12，用于根据所述业务规范实施业务处理，并根据所述数据优化方案实施数据优化；

数据校验模块13，用于对本地数据库进行数据校验，并根据校验结果进行数据替换。

更进一步的，所述数据校验模块13还用于：对本地数据库进行异常分析，以获取异常数据；对所述异常数据进行成因分析，并根据分析结果生成补救措施。

优选的，所述数据校验模块13还用于：获取所述数据库中所述异常数据的异常数量，并依序计算所述异常数量的异常等级；根据所述异常数量和所述异常等级对所述数据库进行评估，以得到质量评估结果。

此外，本实施例中，所述数据校验模块13还用于：判断所述数据库中是否存在缺失数据；当判断到存在所述缺失数据时，记录数据缺失位置；判断所述数据库中是否存在错误数据；当判断到存在所述错误数据时，记录数据错误位置。

本实施例，通过依序进行业务需求获取、业务溯源、制定业务规范和实施业务处理的设计，以形成业务闭环结构，通过依序进行数据需求获取、数据溯源、数据评估和实施数据优化应用的设计，以形成数据闭环结构，并通过该业务闭环结构和数据闭环结构以形成双螺旋管理机制(pdca协同)，通过该双螺旋管理机制的实施，以业务需求为导向，以业务问题促进数据治理水平提升，以高效的数据治理效率促进业务高效协作运行，有效的提高了数据管理效率。

本实施例还提供了一种存储介质，该程序在执行时，包括如下步骤：

获取业务需求和数据需求，并分别对所述业务需求和所述数据需求进行溯源，以生成业务溯源信息和数据溯源信息；

根据所述业务溯源信息制定业务规范，根据所述数据溯源信息进行数据评估，并根据评估结果制定数据优化方案；

根据所述业务规范实施业务处理，并根据所述数据优化方案实施数据优化；

对本地数据库进行数据校验，并根据校验结果进行数据替换。所述的存储介质，如：rom/ram、磁碟、光盘等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元或模块完成，即将存储装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施方式中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。

本领域技术人员可以理解，图4中示出的组成结构并不构成对本发明的基于双螺旋管理的数据质量校验系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，而图1和图3中的基于双螺旋管理的数据质量校验方法亦采用图4中所示的更多或更少的部件，或者组合某些部件，或者不同的部件布置来实现。本发明所称的单元、模块等是指一种能够被所述目标基于双螺旋管理的数据质量校验系统中的处理器(图未示)所执行并功能够完成特定功能的一系列计算机程序，其均可存储于所述目标基于双螺旋管理的数据质量校验系统的存储设备(图未示)内。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。