一种接口返回数据异常检测方法及其相关设备与流程

本技术涉及人工智能及金融科技，应用于金融业务中通过接口进行数据调用的过程中，尤其涉及一种接口返回数据异常检测方法及其相关设备。

背景技术：

1、随着计算机行业的发展，传统的金融行业业务也逐步向金融科技业务转型，特别是金融业务中通过接口进行数据调用的过程中，由于金融业务数据仓库中数据量的繁杂和庞大性，导致通过接口调用时，接口返回数据极易出现返回异常。目前大数据会提供很多数据给到业务，其中有一种应用就是通过api接口，将大数据加工的标签数据输出，方便金融业务领域，例如保险行业和银行行业做相应的数据调用操作。正常的流程下，数据流转后，用户如果满足业务的条件，就能顺利地参加活动。

2、但是，通常情况下，接口数据输出存在不稳定的情况，比如网络延迟，系统繁忙等。这种情况很容易被监控捕捉到并产生告警，提醒开发人员及运维人员查看并解决。但是，有一种情况，就是接口能够正常返回数据，但是返回的数据不正常，开发及运维人员很难采用上述方式检测到，因此，现有技术在对接口返回数据的异常检测上还存在检测方式不够完善的问题。

技术实现思路

1、本技术实施例的目的在于提出一种接口返回数据异常检测方法及其相关设备，以解决现有技术在对接口返回数据的异常检测上还存在检测方式不够完善的问题。

2、为了解决上述技术问题，本技术实施例提供一种接口返回数据异常检测方法，采用了如下所述的技术方案：

3、一种接口返回数据异常检测方法，包括下述步骤：

4、获取目标参数，将所述目标参数传入预设的接口，其中，所述预设的接口为从预设的数据仓库进行返回字段获取的接口；

5、调用并执行所述接口，获取接口返回数据，其中，所述接口返回数据指由目标接口根据预设的字段属性顺序所输出的序列化数据；

6、根据预设的解析模板对所述接口返回数据进行解析，获取格式化的返回数据，其中，所述格式化的返回数据为由字段属性信息和字段数据按照一一对应关系构成的数据；

7、基于预设的异常检测组件对所述格式化的返回数据进行检测，获取检测结果，并根据所述检测结果，识别所述接口返回数据是否存在数据异常。

8、进一步的，在执行所述获取接口返回数据的步骤之后，所述方法还包括：

9、通过预设的流式传输组件将所述序列化数据传输到目标缓存文件中；

10、根据预设的定时组件识别是否达到当前检测时间点；

11、若未达到当前检测时间点，则持续获取接口返回数据，并通过所述流式传输组件将新获取的序列化数据传输到所述目标缓存文件中；

12、若达到当前检测时间点，则获取所述目标缓存文件中的所有序列化数据作为当前待解析的序列化数据；

13、在执行所述若达到当前检测时间点，则获取所述目标缓存文件中的所有序列化数据作为当前待解析的序列化数据的步骤之后，所述方法还包括：

14、清空所述目标缓存文件中的所有序列化数据，并重置所述定时组件的计时值；

15、重新计时，持续获取接口返回数据，并通过所述流式传输组件将新获取的序列化数据传输到已处于空数据状态的所述目标缓存文件中。

16、进一步的，所述根据预设的解析模板对所述接口返回数据进行解析，获取格式化的返回数据的步骤，具体包括：

17、获取预设的解析模板，其中，所述解析模板根据所述接口返回数据中的字段属性顺序而创建；

18、通过所述解析模板、接口被调用次数和所述接口返回数据中返回的字段属性个数，对所述当前待解析的序列化数据进行切分解析，获取切分解析之后的序列化数据片段；

19、根据所述接口返回数据中的字段属性顺序和所述接口被调用次数，依次将所述切分解析之后的序列化数据片段赋值给对应的字段属性，生成格式化的返回数据。

20、进一步的，所述预设的异常检测组件包括整体性检测组件和分支性检测组件，所述基于预设的异常检测组件对所述格式化的返回数据进行检测，获取检测结果，并根据所述检测结果，识别所述接口返回数据是否存在数据异常的步骤，具体包括：

21、基于所述整体性检测组件，对所述格式化的返回数据进行空值检测和返回内容错位检测，获取整体性检测结果；

22、根据预设的配置文件，识别所述格式化的返回数据中每个返回字段对应的字段数据类型，其中，所述返回字段对应的字段数据类型包括常规类型、枚举类型、数值类型和日期类型；

23、通过不同字段数据类型分别对应的分支性检测组件，对所述格式化的返回数据中的目标字段数据进行分支性检测，获取分支性检测结果，其中，所述通过不同字段数据类型分别对应的分支性检测组件，对所述格式化的返回数据中的目标字段数据进行分支性检测，获取分支性检测结果的步骤，具体包括：对枚举类型的返回字段所对应的字段数据进行枚举值分布检测，获取枚举值分布检测结果；对数值类型、日期类型和常规类型的返回字段所对应的字段数据进行数据类型检测，获取数据类型检测结果；根据所述枚举值分布检测结果和所述数据类型检测结果，确定所述分支性检测结果；

24、基于所述整体性检测结果和所述分支性检测结果，识别所述接口返回数据是否存在数据异常。

25、进一步的，所述基于所述整体性检测组件，对所述格式化的返回数据进行空值检测和返回内容错位检测，获取整体性检测结果的步骤，具体包括：

26、以所述格式化的返回数据为整体，检测每个字段属性分别所对应的字段数据是否为空值；

27、若存在字段属性所对应的字段数据为空值，则筛选出所述字段属性，以所述字段属性为参数从所述数据仓库查询相应的字段数据，确定所述空值是否为异常输出，若所述空值不是异常输出，则所述字段属性对应的返回数据无异常，否则，所述字段属性对应的返回数据出现异常；

28、以所述格式化的返回数据为整体，获取每个返回字段所对应的字段数据类型，并识别每个返回字段所对应的字段数据类型是否按照固定的循环方式排列。

29、进一步的，所述对枚举类型的返回字段所对应的字段数据进行枚举值分布检测，获取枚举值分布检测结果的步骤，具体包括：

30、获取当前枚举类型的返回字段所对应的字段数据，并通过预设的概率分布算法计算所述返回字段对应的所有枚举值的概率分布结果，作为第一概率分布结果；

31、获取上一次检测结果为正常时所述返回字段对应的所有枚举值的概率分布结果，作为第二概率分布结果；

32、比较所述第一概率分布结果和所述第二概率分布结果；

33、若所述第一概率分布结果与所述第二概率分布结果的相似度达到预设的相似阈值，则所述当前枚举类型的返回字段未出现返回数据异常，否则，所述当前枚举类型的返回字段出现了返回数据异常。

34、进一步的，所述基于所述整体性检测结果和所述分支性检测结果，识别所述接口返回数据是否存在数据异常的步骤，具体包括：

35、若每个返回字段所对应的字段数据类型按照固定的循环方式排列且检测到的所有空值都不是异常输出，则所述整体性检测结果中未出现返回数据异常，否则，所述整体性检测结果中出现了返回字段错位异常；

36、若所有枚举类型的返回字段都未出现返回异常且所述数值类型、日期类型和常规类型的返回字段均未出现返回异常，则所述分支性检测结果中未出现返回数据异常，否则，所述分支性检测结果中出现了返回字段空值异常；

37、若所述整体性检测结果和所述分支性检测结果中都未出现返回数据异常，则所述接口返回数据不存在数据异常，否则，所述接口返回数据存在数据异常；

38、在执行所述基于所述整体性检测结果和所述分支性检测结果，识别所述接口返回数据是否存在数据异常的步骤之后，所述方法还包括：

39、若所述接口返回数据不存在数据异常，则持续基于所述异常检测组件对新获取的接口返回数据进行异常检测；

40、若所述接口返回数据存在数据异常，基于预设的告警方式向目标监测端发送告警信息。

41、为了解决上述技术问题，本技术实施例还提供一种接口返回数据异常检测装置，采用了如下所述的技术方案：

42、一种接口返回数据异常检测装置，包括：

43、参数传入模块，用于获取目标参数，将所述目标参数传入预设的接口，其中，所述预设的接口为从预设的数据仓库进行返回字段获取的接口；

44、接口返回数据获取模块，用于调用并执行所述接口，获取接口返回数据，其中，所述接口返回数据指由目标接口根据预设的字段属性顺序所输出的序列化数据；

45、返回数据解析模块，用于根据预设的解析模板对所述接口返回数据进行解析，获取格式化的返回数据，其中，所述格式化的返回数据为由字段属性信息和字段数据按照一一对应关系构成的数据；

46、异常检测模块，用于基于预设的异常检测组件对所述格式化的返回数据进行检测，获取检测结果，并根据所述检测结果，识别所述接口返回数据是否存在数据异常。

47、为了解决上述技术问题，本技术实施例还提供一种计算机设备，采用了如下所述的技术方案：

48、一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述所述的接口返回数据异常检测方法的步骤。

49、为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

50、一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述所述的接口返回数据异常检测方法的步骤。

51、与现有技术相比，本技术实施例主要有以下有益效果：

52、本技术实施例所述接口返回数据异常检测方法，通过获取目标参数，将所述目标参数传入预设的接口，其中，所述预设的接口为从预设的数据仓库进行返回字段获取的接口；调用并执行所述接口，获取接口返回数据，其中，所述接口返回数据指由目标接口根据预设的字段属性顺序所输出的序列化数据；根据预设的解析模板对所述接口返回数据进行解析，获取格式化的返回数据，其中，所述格式化的返回数据为由字段属性信息和字段数据按照一一对应关系构成的数据；基于预设的异常检测组件对所述格式化的返回数据进行检测，获取检测结果，并根据所述检测结果，识别所述接口返回数据是否存在数据异常。通过对接口返回数据以整体性进行空值检测和返回字段错位，然后再根据不同返回字段对应的数据类型，进行分支性检测，充分保证了对接口返回数据检测的合理性和科学性，从整体检测到分支检测，提高了检测方式的完善性。尤其是在金融业务数据繁杂的数据仓库返回数据检测上，通过提高检测方式的完善性，进一步的保证了对数据仓库调用接口返回数据检测的合理性和准确性。