一种账实监控方法和系统与流程

本申请属于金融科技，尤其涉及一种账实监控方法和系统。

背景技术：

1、目前，较为成熟的账实监控模型一般是针对金融系统账目、流水等业务层面进行的数字对账，有一些对数据质量进行检查的方案，主要为通过在数据流转的完整流程中，设置不同的检测单元，以针对事前、事中、事后三个环节分别进行数据质量检查，具体的检查方法是：比对入湖数据和贴源数据的总数据量、分隔符、字段个数等是否一致，还有一些对元数据进行检查的方法，主要是通过设置规则来自检查元数据台账是否符合标准。

2、然而，针对金融系统账目、流水等业务层面进行数字对账的方法，缺乏it架构层面的账实监控模型，即，无法对it架构层面的元数据进行账实监控；针对数据进行质量检查的方法虽然能够排查出问题数据，对错误数据进行修复，但是排查的程度较浅，不支持对数据的准确性、合法性进行校验，因此，无法从根本上解决错误数据产生的问题，仍会有错误数据产生；针对元数据进行检查的方法，需要依赖规则库进行校验，缺少通过与生产数据进行比对来监控元数据的账实一致，即，无法做到结合生产数据进行元数据的排查与治理。

3、针对上述问题，目前尚未提出有效的解决方案。

技术实现思路

1、本申请目的在于提供一种账实监控方法和系统，可以实现对生产数据的元数据进行有效排查，以达到提升数据准确度的技术效果。

2、本申请提供一种账实监控方法和系统是这样实现的：

3、一种账实监控方法，包括：

4、数据管控平台获取用户录入的表结构的元数据账面数据，其中，所述元数据账面数据包括：至少一个字段、每个字段对应至少一个属性、每个属性对应至少一个校验规则；

5、对所述元数据账面数据中的各个字段的属性，以及属性对应的校验规则，进行合法性校验，在校验通过后，将所述表结构的元数据账面数据进行入库处理，形成文件形式的元数据台账；

6、数据湖处理平台接收所述数据管控平台下发的元数据台账，并存储至接收目录中；

7、所述数据湖处理平台接收所述数据管控平台下发的元数据台账对应的生产数据；

8、所述数据湖处理平台对所述元数据台账和所述生产数据进行比对，以确定出所述生产数据中的异常项，并以列表的形式输出所述异常项。

9、在一个实施方式中，所述数据湖处理平台接收所述数据管控平台下发的元数据台账对应的生产数据，包括：

10、所述数据管控平台安装系统间传输工具，并基于所述系统间传输工具建立系统间传输任务；

11、所述数据管控平台每隔预定时间间隔通过所述系统间传输任务，定时将所述生产数据下传至所述数据湖处理平台的服务器的固定目录中，以使得所述数据湖处理平台接收所述生产数据。

12、在一个实施方式中，所述数据湖处理平台对所述元数据台账和所述生产数据进行比对，包括：

13、所述数据湖处理平台获取文件形式的元数据台账，其中，所述文件形式的元数据台账是通过语句表征的；

14、所述数据湖处理平台通过预设的字符和分割符，对语句表征的文件形式的元数据台账进行解析，以恢复得到字段、字段对应的属性和属性对应的校验规则；

15、根据恢复得到的字段、字段对应的属性和属性对应的校验规则，还原出表结构的元数据账面数据；

16、逐条读取所述生产数据，与表结构的元数据账面数据进行比对，以确定所述生产数据中的异常项。

17、在一个实施方式中，所述数据湖处理平台对所述元数据台账和所述生产数据进行比对，以确定出所述生产数据中的异常项，包括：

18、对所述生产数据逐条执行如下检测操作：

19、检测表结构字段长度与元数据台账中规定的长度是否一致；

20、检查表结构字段存储字典值是否与元数据台账中规定的字典值一致；

21、检查文件包含的数据要素是否与元数据台账中规定的数据要素一致；

22、检查程序的实际路径是否与元数据台账中的规定的路径一致。

23、在一个实施方式中，在以列表的形式输出所述异常项之后，还包括：

24、对所述列表形式的异常项进行逐项解析，以确定每一异常项对应的处理节点；

25、为每一异常项生成对应的处理方案；

26、检每一异常项对应的处理方案按照预设的通知模板进行组装，形成通知消息；

27、将每一异常项对应的通知消息，推送至对应的处理节点。

28、在一个实施方式中，上述方法应用于金融系统的账目处理中。

29、一种账实监控系统，包括：数据管控平台和数据湖处理平台，其中：

30、所述数据管控平台，用于获取用户录入的表结构的元数据账面数据，其中，所述元数据账面数据包括：至少一个字段、每个字段对应至少一个属性、每个属性对应至少一个校验规则；对所述元数据账面数据中的各个字段的属性，以及属性对应的校验规则，进行合法性校验，在校验通过后，将所述表结构的元数据账面数据进行入库处理，形成文件形式的元数据台账；

31、所述数据湖处理平台，用于接收所述数据管控平台下发的元数据台账，并存储至接收目录中；接收所述数据管控平台下发的元数据台账对应的生产数据；对所述元数据台账和所述生产数据进行比对，以确定出所述生产数据中的异常项，并以列表的形式输出所述异常项。

32、在一个实施方式中，所述数据湖处理平台与所述数据管控平台之间通过安装系统间传输工具，以建立系统间传输任务，实现数据的传输。

33、一种电子设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述方法的步骤。

34、一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。

35、本申请提供的账实监控方法，通过数据管控平台来获取用户录入的表结构的元数据账面数据，形成元数据台账并下发到数据湖处理平台，数据湖处理平台对元数据台账和生产数据进行比对，以确定元数据的账实是否一致，从而可以确保产生数据链路的准确性，通过上述方案解决了现有的无法对元数据进行账实一致性判断所导致的数据链路准确性无法保证的技术问题，达到了对元数据账实的有效判断，从而达到了保证产生数据链路的准确性的技术效果。

技术特征：

1.一种账实监控方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述数据湖处理平台接收所述数据管控平台下发的元数据台账对应的生产数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述数据湖处理平台对所述元数据台账和所述生产数据进行比对，包括：

4.根据权利要求1所述的方法，其特征在于，所述数据湖处理平台对所述元数据台账和所述生产数据进行比对，以确定出所述生产数据中的异常项，包括：

5.根据权利要求1所述的方法，其特征在于，在以列表的形式输出所述异常项之后，还包括：

6.根据权利要求1至5中任一项所述的方法，其特征在于，应用于金融系统的账目处理中。

7.一种账实监控系统，其特征在于，包括：数据管控平台和数据湖处理平台，其中：

8.根据权利要求7所述的系统，其特征在于，所述数据湖处理平台与所述数据管控平台之间通过安装系统间传输工具，以建立系统间传输任务，实现数据的传输。

9.一种电子设备，包括处理器以及用于存储处理器可执行指令的存储器，其特征在于，所述处理器执行所述指令时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至6中任一项所述方法的步骤。

技术总结
本申请提供了一种账实监控方法和系统，其中，该方法包括：数据管控平台获取用户录入的表结构的元数据账面数据；对元数据账面数据中的字段属性，以及属性对应的校验规则，进行合法性校验，在校验通过后，将表结构的元数据账面数据进行入库处理，形成文件形式的元数据台账；数据湖处理平台接收数据管控平台下发的元数据台账；接收数据管控平台下发的元数据台账对应的生产数据；数据湖处理平台对元数据台账和生产数据进行比对，以确定出生产数据中的异常项。通过上述方案解决了无法对元数据进行账实一致性判断所导致的数据链路准确性无法保证的技术问题，达到了对元数据账实的有效判断，从而达到了保证产生数据链路的准确性的技术效果。

技术研发人员：欧毓键,谢荣良
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：
技术公布日：2024/1/15