一种基于数据同步的异常数据处理方法和装置与流程

本发明涉及计算机，特别涉及人工智能，尤其涉及一种基于数据同步的异常数据处理方法和装置。

背景技术：

1、在从主机集中数据处理方式向平台分布式处理方式转型过程中，常常由于平台程序写表存在问题，导致平台数据库数据登记错误，进而程序在使用平台数据时发生报错，影响电子银行系统的正常运行，造成客户损失。相关技术中，通常采取将数据源回切到主机数据库的处理方式或者定时批量从主机数据库同步数据覆盖平台错误数据记录。回切主机数据库的方式在解决问题交易的同时，也将正常的交易进行回退，造成资源的浪费；定时处理导致时效性存在滞后，时间敞口增加，会极大地提升生产风险，带来严重的生产损失；全量的数据同步也有较大的资源浪费，不利于节省维护成本。

技术实现思路

1、本发明的一个目的在于提供一种基于数据同步的异常数据处理方法，通过预设的智能学习库确定出异常数据同步任务并进行数据异常处理，能够实施解决因平台数据登记问题导致的数据异常问题，时效性较高，节约资源和维护成本，降低生产风险。本发明的另一个目的在于提供一种基于数据同步的异常数据处理装置。本发明的再一个目的在于提供一种计算机可读介质。本发明的还一个目的在于提供一种计算机设备。

2、为了达到以上目的，本发明一方面公开了一种基于数据同步的异常数据处理方法，包括：

3、获取异常报文；

4、通过预设的智能学习库，根据异常报文，生成异常数据同步任务；

5、根据异常数据同步任务，对异常报文对应的异常数据进行数据异常处理。

6、优选的，异常数据同步任务包括第一异常数据同步任务或第二异常数据同步任务；

7、通过预设的智能学习库，根据异常报文，生成异常数据同步任务，包括：

8、通过预设的智能学习库，根据异常报文进行目标数据库匹配，得到匹配结果；

9、若匹配结果为匹配成功，根据目标数据库的数据库标识和异常数据，生成第一异常数据同步任务；

10、若匹配结果为匹配失败，根据全量数据库的数据库标识和异常数据，生成第二异常数据同步任务。

11、优选的，异常报文包括当前异常标识；

12、通过预设的智能学习库，根据异常报文进行目标数据库匹配，得到匹配结果，包括：

13、根据当前异常标识与智能学习库中的历史异常标识进行匹配；

14、若匹配成功，获取对应的目标数据库，并生成匹配成功的匹配结果，匹配结果包括目标数据库的数据库标识；

15、若匹配失败，生成匹配失败的匹配结果。

16、优选的，异常数据同步任务为第一异常数据同步任务，异常数据包括数据记录标识；

17、根据异常数据同步任务，对异常报文对应的异常数据进行数据异常处理，包括：

18、根据数据记录标识，从主机源数据库获取对应的标准数据记录，并从平台目标数据库获取对应的目标数据记录；

19、若标准数据记录和目标数据记录内容一致，根据平台目标数据库和目标数据记录进行格式比对；

20、若格式比对不一致，通过目标数据库执行第一异常数据同步任务。

21、优选的，方法还包括：

22、若格式比对一致，根据全量数据库的数据库标识和异常数据，生成第二异常数据同步任务。

23、优选的，异常数据同步任务为第二异常数据同步任务，异常数据包括数据记录标识；

24、根据异常数据同步任务，对异常报文对应的异常数据进行数据异常处理，包括：

25、根据数据记录标识，从主机源数据库获取对应的标准数据记录，并从平台全量数据库获取对应的平台间数据记录；

26、若标准数据记录和平台间数据记录内容一致，根据平台全量数据库和平台间数据记录进行格式比对；

27、若格式比对不一致，通过全量数据库执行第二异常数据同步任务。

28、优选的，方法还包括：

29、若格式比对一致，根据异常报文和对应的异常数据，生成数据预警事件。

30、优选的，通过目标数据库执行第一异常数据同步任务，包括：

31、获取异常数据对应的业务交易信息，业务交易信息包括操作类型和交易结果；

32、若操作类型为查询操作，根据平台目标数据库，对目标数据记录进行格式同步；

33、若操作类型为非查询操作，判断交易结果是否为成功；

34、若是，继续执行根据平台目标数据库，对目标数据记录进行格式同步的步骤；

35、若否，根据异常报文和对应的异常数据，生成数据预警事件。

36、优选的，方法还包括：

37、若标准数据记录和目标数据记录内容不一致，将标准数据记录的内容同步至目标数据记录的内容。

38、优选的，通过全量数据库执行第二异常数据同步任务，包括：

39、获取异常数据对应的业务交易信息，业务交易信息包括操作类型和交易结果；

40、若操作类型为查询操作，根据平台全量数据库，对平台间数据记录进行格式同步；

41、若操作类型为非查询操作，判断交易结果是否为成功；

42、若是，继续执行根据平台全量数据库，对平台间数据记录进行格式同步的步骤；

43、若否，根据异常报文和对应的异常数据，生成数据预警事件。

44、优选的，方法还包括：

45、若标准数据记录和平台间数据记录内容不一致，将标准数据记录的内容同步至平台间数据记录的内容。

46、本发明还公开了一种基于数据同步的异常数据处理装置，包括：

47、获取单元，用于获取异常报文；

48、同步任务生成单元，用于通过预设的智能学习库，根据异常报文，生成异常数据同步任务；

49、数据异常处理单元，用于根据异常数据同步任务，对异常报文对应的异常数据进行数据异常处理。

50、本发明还公开了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法。

51、本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述处理器执行所述程序时实现如上所述方法。

52、本发明还公开了一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现如上所述方法。

53、本发明获取异常报文；通过预设的智能学习库，根据异常报文，生成异常数据同步任务；根据异常数据同步任务，对异常报文对应的异常数据进行数据异常处理，通过预设的智能学习库确定出异常数据同步任务并进行数据异常处理，能够实施解决因平台数据登记问题导致的数据异常问题，时效性较高，节约资源和维护成本，降低生产风险。

技术特征：

1.一种基于数据同步的异常数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于数据同步的异常数据处理方法，其特征在于，所述异常数据同步任务包括第一异常数据同步任务或第二异常数据同步任务；

3.根据权利要求2所述的基于数据同步的异常数据处理方法，其特征在于，所述异常报文包括当前异常标识；

4.根据权利要求2所述的基于数据同步的异常数据处理方法，其特征在于，所述异常数据同步任务为第一异常数据同步任务，所述异常数据包括数据记录标识；

5.根据权利要求4所述的基于数据同步的异常数据处理方法，其特征在于，所述方法还包括：

6.根据权利要求2所述的基于数据同步的异常数据处理方法，其特征在于，所述异常数据同步任务为第二异常数据同步任务，所述异常数据包括数据记录标识；

7.根据权利要求6所述的基于数据同步的异常数据处理方法，其特征在于，所述方法还包括：

8.根据权利要求4所述的基于数据同步的异常数据处理方法，其特征在于，所述通过所述目标数据库执行所述第一异常数据同步任务，包括：

9.根据权利要求4所述的基于数据同步的异常数据处理方法，其特征在于，所述方法还包括：

10.根据权利要求6所述的基于数据同步的异常数据处理方法，其特征在于，所述通过所述全量数据库执行所述第二异常数据同步任务，包括：

11.根据权利要求6所述的基于数据同步的异常数据处理方法，其特征在于，所述方法还包括：

12.一种基于数据同步的异常数据处理装置，其特征在于，所述装置包括：

13.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至11任一项所述的基于数据同步的异常数据处理方法。

14.一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其特征在于，所述程序指令被处理器加载并执行时实现权利要求1至11任一项所述的基于数据同步的异常数据处理方法。

技术总结
本发明实施例提供了一种基于数据同步的异常数据处理方法和装置，可用于人工智能技术领域，所述方法包括：获取异常报文；通过预设的智能学习库，根据异常报文，生成异常数据同步任务；根据异常数据同步任务，对异常报文对应的异常数据进行数据异常处理，通过预设的智能学习库确定出异常数据同步任务并进行数据异常处理，能够实施解决因平台数据登记问题导致的数据异常问题，时效性较高，节约资源和维护成本，降低生产风险。

技术研发人员：宋海涵,臧奇,沙迪,赵睿君
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：
技术公布日：2024/1/25