稽核结果自定义导出数据中台及方法与流程

本发明属于数据处理，尤其涉及一种稽核结果自定义导出数据中台及方法。

背景技术：

1、数据对于企业来说是非常重要资产，企业在经营的过程中也会积累不少各类数据，这类数据后期也可通过归纳、提炼从而进行深度挖掘分析，给企业提供更好的决策信息。不过虽然数据可以帮助企业进行提升，但是数据的质量好坏也是非常重要的，因此一个企业如果想合理的利用自己的数据，就需要先治理好自己的数据，确保自己数据的准确性以及有效性等等。

2、目前常见的数据质量稽查结果只能显示数据的部分信息，无法定位到数据的归属部门不便于后续的整改反馈。

3、基于此，本发明设计了一种稽核结果自定义导出数据中台及方法，以解决上述问题。

技术实现思路

1、本发明的目的在于：为了解决目前常见的数据质量稽查结果只能显示数据的部分信息，无法定位到数据的归属部门不便于后续的整改反馈的问题，而提出的一种稽核结果自定义导出数据中台及方法。

2、为了实现上述目的，本发明采用了如下技术方案：

3、一种稽核结果自定义导出数据中台，包括以下模块：

4、稽核规则模块，数据质量系统配置的稽查任务是选择一个具体的配置；

5、导出规则模块，用于维护稽查结果导出的关键字段；

6、分域规则模块，用于维护稽查结果导出后excel的合并；

7、选择稽查规则模块，稽查任务是先选择一个稽查规则任务，然后再配置需要稽查的数据表或者视图；

8、配置流程模块，1个或多个稽查任务能够通过拖拉拽的方式配置成1个稽查流程，便于统一查看；

9、定时执行模块，稽查流程能够创建调度信息配置定时执行策率；

10、稽查报告模块，稽查流程调度执行完成后，能够查看稽查结果并支持一键导出。

11、作为上述技术方案的进一步描述：

12、所述维护稽查结果导出后excel的合并具体包括：稽查结果报告根据所属单位维度生成n个报告文件。

13、作为上述技术方案的进一步描述：

14、所述数据质量系统配置的稽查任务是选择一个具体的配置中的配置包括记录数校验、空值校验、唯一性校验、数据格式校验、准确性校验、逻辑性校验、波动校验和自定义校验。

15、一种稽核结果自定义导出数据中台的方法，所述方法包括：

16、d01：据质量主题域，用于分类管理，创建不同的质量检查主题域，且控制权限；

17、d02：新增数据质量主题域，创建一个新的质量检查主题域，且控制权限；

18、d03：进入数据质量主题域，跳转到相应的数据质量主题域；

19、d04：进入数据质量稽查任务域，跳转到相应的数据质量稽查任务域功能模块；

20、d05：判断是否新增分组，根据任务情况，选择是否去新增一个数据稽查任务分组；

21、d06：新增数据稽查分组，使用域管理页面的新增功能，根据提示完成新增分组；

22、d07：进入稽查分组，在多个分组中，进入相应的分组中；

23、d08：配置稽查任务，在点击新增按钮后，开始配置稽查任务明细；

24、d09：选择校验规则，校验规则根据单表规则、多表规则以及自定义稽查规则分为多种；

25、d10：记录数校验，校验某张表的数据条数是否为设定的条数，或者是否在某个区间中；

26、d11：空值校验，校验某张表的某些字段值是否为空，值是否在某个区间；

27、d12：唯一性校验，校验某张表的某个字段的字段值是否存在重复的数据，将重复的数据列出统计；

28、d13：数据格式校验，校验某张表的某个字段的字段值是否满足某种格式，将不符合的数据列出统计；

29、d14：准确性校验，校验某张表的某些字段的值是否准确满足参数条件；

30、d15：逻辑性校验，校验某张表的某些字段的值是否满足特定逻辑条件，逻辑条件通过稽核表达式确定；

31、d16：波动校验，校验某张表的某些字段的值对比上一天和上一周的变化。

32、将变化情况进行统计处理；

33、d17：自定义sql校验，通过编写sql语句，校验数据，将校验结果数据查出统计；

34、d18：填写关键信息如来源库表，在选择配置完校验规则后，需配置及确认数据库等信息是否正确；

35、d19：稽查结果导出配置，配置要导出哪些结果数据，导出单表或多表等；

36、d20：配置分域规则，维护稽查结果导出文件的合并和拆分，一个稽查结果导出能够生成一个或多个导出文件；

37、d21：是否存在分域规则，查看是否已经存在分域规则；

38、d22：新增分域规则，根据提示进行新增导出分域；

39、d23：选择分域字段，根据情况对要分域的字段进行选择，使导出结果进行拆分；

40、d24：配置流程，使用流程设计器对要执行的稽核任务进行流程设计，使稽查任务顺序执行；

41、d25：配置调度定时执行，对需要多次执行或在特定时间执行的任务，进行配置调度；

42、d26：查看稽查报告，任务执行后，日志中存在相应结果，进行查看；

43、d27：一键导出报告，对于稽查结果，使用结果页面的一键导出功能，导出为文件。

44、作为上述技术方案的进一步描述：

45、所述s1中，创建不同的质量检查主题域中的主题域包括项目、合同和核算。

46、作为上述技术方案的进一步描述：

47、所述d2中，创建一个新的质量检查主题域中的主题域包括项目、合同和核算。

48、作为上述技术方案的进一步描述：

49、所述d13中，校验某张表的某个字段的字段值是否满足某种格式中的格式包括字符串、整型和日期。

50、作为上述技术方案的进一步描述：

51、所述d18中，若来源库和目标库信息错误将可能使任务出错。

52、作为上述技术方案的进一步描述：

53、所述d11中，校验某张表的某些字段值是否为空，值是否在某个区间，并将不符合的数据列出统计。

54、作为上述技术方案的进一步描述：

55、所述d09中，校验规则根据单表规则、多表规则以及自定义稽查规则分为多种，并根据情况进行选择。

56、综上所述，由于采用了上述技术方案，本发明的有益效果是：

57、1、本发明中，稽查报告支持自定义显示内容，常见的稽查报告异常数据只展示主键信息，其它关键信息是不显示的，通过配置导出配置能够自定义的设置导出内容。

58、2、本发明中，稽查报告导出文件灵活配置，稽查报告的导出文件支持按分域规则合并，稽查报告异常数据有100条，这些异常数据的所属公司是2个，则稽查结果导出文件能够按照公司生成2个文件。

技术特征：

1.一种稽核结果自定义导出数据中台，其特征在于，包括以下模块：

2.根据权利要求1所述的稽核结果自定义导出数据中台，其特征在于，所述维护稽查结果导出后excel的合并具体包括：稽查结果报告根据所属单位维度生成n个报告文件。

3.根据权利要求1所述的稽核结果自定义导出数据中台，其特征在于，所述数据质量系统配置的稽查任务是选择一个具体的配置中的配置包括记录数校验、空值校验、唯一性校验、数据格式校验、准确性校验、逻辑性校验、波动校验和自定义校验。

4.一种根据权利要求1-3任意一项所述的稽核结果自定义导出数据中台的方法，其特征在于，所述方法包括：

5.根据权利要求4所述的稽核结果自定义导出数据中台的方法，其特征在于，所述d01中，创建不同的质量检查主题域中的主题域包括项目、合同和核算。

6.根据权利要求4所述的稽核结果自定义导出数据中台的方法，其特征在于，所述d2中，创建一个新的质量检查主题域中的主题域包括项目、合同和核算。

7.根据权利要求4所述的稽核结果自定义导出数据中台的方法，其特征在于，所述d13中，校验某张表的某个字段的字段值是否满足某种格式中的格式包括字符串、整型和日期。

8.根据权利要求4所述的稽核结果自定义导出数据中台的方法，其特征在于，所述d18中，若来源库和目标库信息错误将可能使任务出错。

9.根据权利要求4所述的稽核结果自定义导出数据中台的方法，其特征在于，所述d11中，校验某张表的某些字段值是否为空，值是否在某个区间，并将不符合的数据列出统计。

10.根据权利要求4所述的稽核结果自定义导出数据中台的方法，其特征在于，所述d09中，校验规则根据单表规则、多表规则以及自定义稽查规则分为多种，并根据情况进行选择。

技术总结
本发明公开了一种稽核结果自定义导出数据中台及方法，属于数据处理技术领域，包括以下模块：稽核规则模块，数据质量系统配置的稽查任务是选择一个具体的配置；导出规则模块，用于维护稽查结果导出的关键字段；分域规则模块，用于维护稽查结果导出后excel的合并；选择稽查规则模块，稽查任务是先选择一个稽查规则任务，然后再配置需要稽查的数据表或者视图；配置流程模块，1个或多个稽查任务能够通过拖拉拽的方式配置成1个稽查流程，稽查流程能够创建调度信息配置定时执行策率。本发明中，稽查报告支持自定义显示内容，常见的稽查报告异常数据只展示主键信息，其它关键信息是不显示的，通过配置导出配置能够自定义的设置导出内容。

技术研发人员：曹翔
受保护的技术使用者：北京铂金数据服务有限公司
技术研发日：
技术公布日：2024/1/13