一种业务数据检测方法、装置、系统以及存储介质与流程

1.本发明主要涉及数据检测技术领域，具体涉及一种业务数据检测方法、装置、系统以及存储介质。


背景技术：

2.当前，随着业务系统的数据量越积越多，对数据检测的难度也在逐步提升，传统的检测方法一般为通过人工肉眼进行检测，或者通过多个软件对输入的业务数据进行检测等，二者均浪费了大量的人力物力，也浪费了时间，降低了工作效率，同时，检测结果的准确率也并不高。


技术实现要素：

3.本发明所要解决的技术问题是针对现有技术的不足，提供一种业务数据检测方法、装置、系统以及存储介质。
4.本发明解决上述技术问题的技术方案如下：一种业务数据检测方法，包括如下步骤：
5.从待检测业务系统数据库中获得多个业务数据属性信息，根据预设标准规范文件分别对各个所述业务数据属性信息进行映射分析，得到各个所述业务数据属性信息的业务数据映射信息；
6.导入预设检测规则库，通过所述预设检测规则库分别对各个所述业务数据映射信息进行检测分析，得到各个所述业务数据属性信息的检测结果；
7.通过所有的检测结果和所有的业务数据映射信息生成业务数据检测报告，并将所述业务数据检测报告发送至指定终端。
8.本发明解决上述技术问题的另一技术方案如下：一种业务数据检测装置，包括：
9.映射分析模块，用于从待检测业务系统数据库中获得多个业务数据属性信息，根据预设标准规范文件分别对各个所述业务数据属性信息进行映射分析，得到各个所述业务数据属性信息的业务数据映射信息；
10.检测分析模块，用于导入预设检测规则库，通过所述预设检测规则库分别对各个所述业务数据映射信息进行检测分析，得到各个所述业务数据属性信息的检测结果；
11.检测报告生成模块，用于通过所有的检测结果和所有的业务数据映射信息生成业务数据检测报告，并将所述业务数据检测报告发送至指定终端。
12.本发明解决上述技术问题的另一技术方案如下：一种业务数据检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的业务数据检测方法。
13.本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的业务数据检测方法。
14.本发明的有益效果是：通过预设标准规范文件对业务数据属性信息的映射分析得到业务数据映射信息，通过预设检测规则库对业务数据映射信息的检测分析得到检测结果，通过所有的检测结果和所有的业务数据映射信息生成业务数据检测报告，并将业务数据检测报告发送至指定终端，节省了大量的人力物力以及时间，提升了工作效率，提高了检测结果的准确率，加快了检测速率。
附图说明
15.图1为本发明实施例提供的一种业务数据检测方法的流程示意图；
16.图2为本发明实施例提供的一种业务数据检测装置的模块框图。
具体实施方式
17.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
18.图1为本发明实施例提供的一种业务数据检测方法的流程示意图。
19.如图1所示，一种业务数据检测方法，包括如下步骤：
20.从待检测业务系统数据库中获得多个业务数据属性信息，根据预设标准规范文件分别对各个所述业务数据属性信息进行映射分析，得到各个所述业务数据属性信息的业务数据映射信息；
21.导入预设检测规则库，通过所述预设检测规则库分别对各个所述业务数据映射信息进行检测分析，得到各个所述业务数据属性信息的检测结果；
22.通过所有的检测结果和所有的业务数据映射信息生成业务数据检测报告，并将所述业务数据检测报告发送至指定终端。
23.应理解地，从业务系统数据库(即所述待检测业务系统数据库)导入业务系统物理模型(即所述业务数据属性信息)。
24.应理解地，在标准管理中导入业务检测规则库(即所述预设检测规则库)。
25.上述实施例中，通过预设标准规范文件对业务数据属性信息的映射分析得到业务数据映射信息，通过预设检测规则库对业务数据映射信息的检测分析得到检测结果，通过所有的检测结果和所有的业务数据映射信息生成业务数据检测报告，并将业务数据检测报告发送至指定终端，节省了大量的人力物力以及时间，提升了工作效率，提高了检测结果的准确率，加快了检测速率。
26.可选地，作为本发明的一个实施例，所述根据预设标准规范文件分别对各个所述业务数据属性信息进行映射分析，得到各个所述业务数据属性信息的业务数据映射信息的过程包括：
27.通过各个所述业务数据属性信息分别从所述预设标准规范文件中获取各个业务数据属性信息的业务数据关联信息；
28.分别对各个所述业务数据属性信息以及所述业务数据关联信息进行映射处理，得到各个所述业务数据属性信息的业务数据映射信息。
29.应理解地，从标准规范文件(即所述预设标准规范文件)中导入逻辑模型(即所述业务数据关联信息)，然后建立逻辑模型(即所述业务数据关联信息)和物理模型(即所述业
务数据属性信息)映射关系。
30.上述实施例中，通过业务数据属性信息从预设标准规范文件中获取业务数据关联信息，对业务数据属性信息以及业务数据关联信息的映射处理得到业务数据映射信息，能够得到标准模型，方便对信息进行统一处理，也为后续的数据处理提供数据支撑，提高了检测结果的准确率，加快了检测速率。
31.可选地，作为本发明的一个实施例，所述预设检测规则库包括格式检查规则、范围检查规则、缺失记录检查规则、相似重复记录检查规则、精度检查规则、逻辑表达式检查规则以及复合规则检查规则，所述通过所述预设检测规则库分别对各个所述业务数据映射信息进行检测分析，得到各个所述业务数据属性信息的检测结果的过程包括：
32.s1:分别判断各个所述业务数据映射信息是否符合所述格式检查规则，若是，则生成所述业务数据映射信息的第一检测结果；若否，则生成所述业务数据映射信息的第二检测结果；
33.s2:分别判断各个所述业务数据映射信息是否符合所述范围检查规则，若是，则生成所述业务数据映射信息的第一检测结果；若否，则生成所述业务数据映射信息的第二检测结果；
34.s3:分别判断各个所述业务数据映射信息是否符合所述缺失记录检查规则，若是，则生成所述业务数据映射信息的第一检测结果；若否，则生成所述业务数据映射信息的第二检测结果；
35.s4:分别判断各个所述业务数据映射信息是否符合所述相似重复记录检查规则若是，则生成所述业务数据映射信息的第一检测结果；若否，则生成所述业务数据映射信息的第二检测结果；
36.s5:分别判断各个所述业务数据映射信息是否符合所述精度检查规则，若是，则生成所述业务数据映射信息的第一检测结果；若否，则生成所述业务数据映射信息的第二检测结果；
37.s6:分别判断各个所述业务数据映射信息是否符合所述逻辑表达式检查规则，若是，则生成所述业务数据映射信息的第一检测结果；若否，则生成所述业务数据映射信息的第二检测结果；
38.s7:分别判断各个所述业务数据映射信息是否符合所述复合规则检查规则，若是，则生成所述业务数据映射信息的第一检测结果；若否，则生成所述业务数据映射信息的第二检测结果。
39.应理解地，所述第一检测结果可以为合格，所述第二检测结果可以为不合格。
40.具体地，通过所述预设检测规则库分别对各个所述业务数据映射信息进行检测分析，既可以关联标准规则库检验标准，也可以定制化进行格式检查、范围检查、缺失记录检查、相似重复记录检查、精度检查、逻辑表达式检查、复合规则检查等。
41.上述实施例中，通过预设检测规则库对业务数据映射信息的检测分析得到检测结果，节省了大量的人力物力以及时间，提升了工作效率，提高了检测结果的准确率，加快了检测速率。
42.可选地，作为本发明的一个实施例，所述通过所有的检测结果和所有的业务数据映射信息生成业务数据检测报告，并将所述业务数据检测报告发送至指定终端的过程包
括：
43.统计所有的第二检测结果的数量，并判断所有的第二检测结果的数量是否为预设判断值，若是，则根据所有的业务数据映射信息以及所有的第一检测结果生成第一业务数据检测报告；若否，则根据所有的业务数据映射信息、所有的第一检测结果以及所有的第二检测结果生成第二业务数据检测报告，并将所述第二业务数据检测报告发送至指定终端中。
44.优选地，所述预设判断值可以为0。
45.应理解地，所述第一业务数据检测报告为业务数据映射信息无问题的检测报告，所述第二业务数据检测报告为业务数据映射信息有问题的检测报告。
46.具体地，若无问题(即所有的第二检测结果的数量为0)，检验结束；有问题(即所有的第二检测结果的数量不为0)，将数据质量检测报告(即所述第二业务数据检测报告)发送给业务系统源方(即所述指定终端)对问题数据整改。
47.上述实施例中，通过所有的检测结果和所有的业务数据映射信息生成业务数据检测报告，并将业务数据检测报告发送至指定终端，综合多个规则得到综合结果，可以直观的知晓数据的问题，方便对数据进行整改，节省了大量的人力物力以及时间，提升了工作效率。
48.可选地，作为本发明的一个实施例，所述将所述第二业务数据检测报告发送至指定终端的过程之后，还包括：
49.从所述指定终端中获取更新后的业务数据映射信息，并执行步骤s1-s7。
50.应理解地，将所述第二业务数据检测报告发送至指定终端后，所述指定终端将对所述第二业务数据检测报告中所有的业务数据映射信息进行修改更新，从而得到更新后的业务数据映射信息。
51.应理解地，当业务系统源方整改后，再次对更新后的业务数据映射信息进行检测分析，直至全部业务数据映射信息均无问题。
52.上述实施例中，从指定终端中获取更新后的业务数据映射信息，并重新进行检测分析，便于数据的整理以及快速的对数据进行检测，有利于节省大量的人力物力以及时间，提升了工作效率，同时，提高了检测结果的准确率，加快了检测速率。
53.可选地，作为本发明的另一个实施例，本发明的具体操作步骤如下：
54.1.数据源管理：打通业务系统数据库。
55.2.数据模型管理：从业务系统数据库导入业务系统物理模型，从标准规范文件中导入逻辑模型，然后建立逻辑模型和物理模型映射关系。
56.3.数据标准管理：在标准管理中导入业务检测规则库。
57.4.数据质量管理中配置数据质量检查服务，既可以关联标准规则库检验标准，也可以定制化进行格式检查、范围检查、缺失记录检查、相似重复记录检查、精度检查、逻辑表达式检查、复合规则检查等。
58.5.任务调度运行。
59.6.生成数据质量检测报告。
60.7.分析数据质量检测报告。
61.8.无问题，检验结束。
62.9.有问题，将数据质量检测报告发送给业务系统源方对问题数据整改，整改完成后重复4-8步骤。
63.可选地，作为本发明的另一个实施例，按照本发明的流程步骤，通过收集业务系统检验规则和备份数据库等资料，本发明展开了13个系统的数据质量检验工作，情况如下：
64.1、gps巡检系统：检验8张表2个字段分别做了不在范围内，数字检查，字符串逻辑检查12项，检查记录数5491086余条，有问题记录数511317条。
65.2、生产智能系统：检验3张表4个字段分别做了不在范围内，数字检查，字符串逻辑检查12项，检查记录数6023余条，有问题记录数3898条。
66.3、qhse系统：检验3张表4个字段分别做了不在范围内，数字检查，字符串逻辑检查12项，检查记录数1000余条，有问题记录数104条。
67.4、仓储条码系统：检验10张表20个字段分别做了不在范围内，数字检查，字符串逻辑检查40项，检查记录数57555条，有问题记录数49791条。
68.5、阴极保护系统：检验10张表17个字段分别做了不在范围内，数字检查，字符串逻辑检查49项，检查记录数751条，有问题记录数92条。
69.6、焊缝档案系统：检验7张表8个字段分别做了不在范围内，数字检查，字符串逻辑检查18项，检查记录数43928条，有问题记录数21362条。
70.7、中缅原油管道工业物联数据共享系统：检验5张表5个字段分别做了不在范围内，数字检查，字符串逻辑检查，null检查17项，检查记录数195条，有问题记录数57条。
71.8、地质灾害监测系统：检验15张表15个字段分别做了不在范围内，数字检查30项，检查记录数13155069条，有问题记录数0条。
72.9、智能工地系统：检验6张表9个字段分别做了不在范围内，字符串逻辑检查17项，检查记录数2168条，有问题记录数389条。
73.10、焊口底片档案管理系统：检验10张表13个字段分别做了不在范围内查，字符串逻辑检查13项，检查记录数914条，有问题记录数171条。
74.11、输油泵运行状态智能监测系统：检验18张表22个字段分别做了不在范围内检查，字符串逻辑检查22项，检查记录数885420条，有问题记录数437927条。
75.12、管道管理系统：检验11张表22个字段分别做了不在范围内检查，字符串逻辑检查22项，检查记录数2438条，有问题记录数1216条。
76.13、作业区信息化平台：检验10张表15个字段分别做了不在范围内检查，字符串逻辑检查15项，检查记录数112条，有问题记录数0条。
77.如表一所示，表一为第一次检验结果统计。
78.表一：
[0079][0080]
如表二所示，表二为第二次检验结果统计。
[0081]
表二：
[0082][0083][0084]
由表一和表二可知，按照本发明的步骤流程，将数据质量报告问题数据分别反馈给业务系统负责人，经过整改并将整改后数据重新备份开展了数据质量第二次检验工作，第一次数据质量检验发现的问题均整改完毕，未发现新的问题数据。
[0085]
图2为本发明实施例提供的一种业务数据检测装置的模块框图。
[0086]
可选地，作为本发明的另一个实施例，如图2所示，一种业务数据检测装置，包括：
[0087]
映射分析模块，用于从待检测业务系统数据库中获得多个业务数据属性信息，根据预设标准规范文件分别对各个所述业务数据属性信息进行映射分析，得到各个所述业务数据属性信息的业务数据映射信息；
[0088]
检测分析模块，用于导入预设检测规则库，通过所述预设检测规则库分别对各个所述业务数据映射信息进行检测分析，得到各个所述业务数据属性信息的检测结果；
[0089]
检测报告生成模块，用于通过所有的检测结果和所有的业务数据映射信息生成业务数据检测报告，并将所述业务数据检测报告发送至指定终端。
[0090]
可选地，作为本发明的一个实施例，所述映射分析模块具体用于：
[0091]
通过各个所述业务数据属性信息分别从所述预设标准规范文件中获取各个业务数据属性信息的业务数据关联信息；
[0092]
分别对各个所述业务数据属性信息以及所述业务数据关联信息进行映射处理，得到各个所述业务数据属性信息的业务数据映射信息。
[0093]
可选地，作为本发明的一个实施例，所述预设检测规则库包括格式检查规则、范围检查规则、缺失记录检查规则、相似重复记录检查规则、精度检查规则、逻辑表达式检查规则以及复合规则检查规则，所述检测分析模块具体用于：
[0094]
分别判断各个所述业务数据映射信息是否符合所述格式检查规则，若是，则生成所述业务数据映射信息的第一检测结果；若否，则生成所述业务数据映射信息的第二检测结果；
[0095]
分别判断各个所述业务数据映射信息是否符合所述范围检查规则，若是，则生成所述业务数据映射信息的第一检测结果；若否，则生成所述业务数据映射信息的第二检测结果；
[0096]
分别判断各个所述业务数据映射信息是否符合所述缺失记录检查规则，若是，则生成所述业务数据映射信息的第一检测结果；若否，则生成所述业务数据映射信息的第二检测结果；
[0097]
分别判断各个所述业务数据映射信息是否符合所述相似重复记录检查规则若是，则生成所述业务数据映射信息的第一检测结果；若否，则生成所述业务数据映射信息的第二检测结果；
[0098]
分别判断各个所述业务数据映射信息是否符合所述精度检查规则，若是，则生成所述业务数据映射信息的第一检测结果；若否，则生成所述业务数据映射信息的第二检测结果；
[0099]
分别判断各个所述业务数据映射信息是否符合所述逻辑表达式检查规则，若是，则生成所述业务数据映射信息的第一检测结果；若否，则生成所述业务数据映射信息的第二检测结果；
[0100]
分别判断各个所述业务数据映射信息是否符合所述复合规则检查规则，若是，则生成所述业务数据映射信息的第一检测结果；若否，则生成所述业务数据映射信息的第二检测结果。
[0101]
可选地，本发明的另一个实施例提供一种业务数据检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的业务数据检测方法。该系统可为计算机等系统。
[0102]
可选地，本发明的另一个实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的业务数据检测方法。
[0103]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0104]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0105]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0106]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
[0107]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0108]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0109]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。