数据清理方法、装置、电子设备及存储介质与流程

本申请涉及金融领域或其他领域，尤其涉及一种数据清理方法、装置、电子设备及存储介质。

背景技术：

1、应用系统在运行过程中会产生大量的历史数据、日志记录及历史文本，占用应用系统和数据库存储空间，对应用系统运行速度和效率产生负面影响。不同类型的数据的清理周期等清理需求往往不同，因此，及时的按照各自的清理需求对多种不同类型的数据进行清理，对保证应用系统的运行速度和效率至关重要。然而，目前，针对应用系统中不同类型的数据的清理，存在操作复杂、灵活性差、清理效率低的问题。

技术实现思路

1、本申请提供一种数据清理方法、装置、电子设备及存储介质，用以解决在对应用系统中不同类型的数据进行清理的过程中，存在的操作复杂，灵活性差，清理效率低的问题。

2、第一方面，本申请提供一种数据清理方法，包括：

3、读取清理配置文件，所述清理配置文件包括应用系统的至少两个类型的数据的清理任务配置；

4、根据所述清理配置文件中目标类型的数据的清理任务配置，确定是否需要在当前清理周期对所述目标类型的数据进行清理；

5、若需要，则使用所述目标类型的数据的清理任务配置，对目标清理任务所使用的清理参数进行配置，得到配置后的清理任务；

6、执行所述配置后的清理任务，以对所述应用系统中的所述目标类型的数据进行清理。

7、可选的，所述方法还包括：

8、获取所述清理配置文件。

9、可选的，所述获取所述清理配置文件，包括：

10、获取所述应用系统历史所使用的每个类型的数据的清理任务脚本；

11、从每个类型的数据的清理任务脚本中，提取每个类型的数据的清理任务所需的清理参数；

12、根据每个类型的数据的清理任务所需的清理参数，生成所述清理配置文件。

13、可选的，所述根据每个类型的数据的清理任务所需的清理参数，生成所述清理配置文件，包括：

14、根据每个类型的数据的清理任务所需的清理参数，生成清理配置文件模板，所述清理配置文件模板包括：每个类型的数据的清理任务所需的清理参数的标识，以及，所述清理参数的初始取值；

15、输出所述清理配置文件模板；

16、响应于用户在所述清理配置文件模板中对至少一个清理参数的初始取值的调整，得到所述清理配置文件。

17、可选的，所述清理任务配置包括所述目标类型的数据的数据清理周期，所述根据所述清理配置文件中目标类型的数据的清理任务配置，确定是否需要在当前清理周期对所述目标类型的数据进行清理包括：

18、获取历史记录的目标类型的数据的上次执行清理任务的时间；

19、判断当前时间和所述上次执行清理任务的时间的差值是否大于所述目标类型的数据的数据清理周期；

20、若大于，则确定需要在所述当前清理周期对所述目标类型的数据进行清理。

21、可选的，所述数据的类型至少包括下述至少两项：数据库类型、日志类型、文件类型；

22、其中，所述数据库类型的数据的清理任务配置包括：数据保留周期，以及，数据库清理指令；

23、所述日志类型的数据的清理任务配置包括：数据保留周期，以及，日志清理路径；

24、所述文件类型的数据的清理任务配置包括：数据保留周期、文件名正则表达式，以及，文件清理路径。

25、可选的，所述方法还包括：

26、记录所述配置后的清理任务的执行情况。

27、第二方面，本申请提供一种数据清理装置，所述装置包括：

28、读取模块，用于读取清理配置文件，所述清理配置文件包括应用系统的至少两个类型的数据的清理任务配置；

29、确定模块，用于根据所述清理配置文件中目标类型的数据的清理任务配置，确定是否需要在当前清理周期对所述目标类型的数据进行清理；

30、配置模块，用于若需要，则使用所述目标类型的数据的清理任务配置，对目标清理任务所使用的清理参数进行配置，得到配置后的清理任务；

31、清理模块，用于执行所述配置后的清理任务，以对所述应用系统中的所述目标类型的数据进行清理。

32、第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

33、所述存储器存储计算机执行指令；

34、所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面任一项所述的方法。

35、第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的方法。

36、第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面任一项所述的方法。

37、本申请提供的数据清理方法、装置、电子设备及存储介质，清理配置文件包括应用系统的至少两个类型的数据的清理任务配置。电子设备可以通过读取配置文件的方式，判断在当前清理周期是否需要对目标类型的数据进行清理，并在需要进行清理时，根据清理配置文件实现对应用系统中的目标类型数据的清理，进而整体上实现对应用系统中不同类型的数据的清理。通过这种方式，一方面，清理配置文件可以支持应用系统中多种类型的数据的清理参数的配置，相较于现有技术中针对一种类型的数据单独设计清理脚本，且需要通过直接修改脚本的方式实现对清理参数的配置，本申请的方法可以实现既可以实现通过一个配置文件实现多个类型的数据的清理参数的配置，而且无需通过直接修改脚本的方式进行清理参数配置，操作便捷，可以提升数据清理效率。另一方面，本申请中，电子设备可以根据不同类型的数据的自身清理需求，判断是否需要在当前清理周期对目标类型的数据进行清理，并仅在需要进行清理时才执行对目标类型的数据的清理动作。这样可以满足不同类型的数据的清理需求，提升本申请提供的数据清理方法的灵活性，扩大其应用场景。

技术特征：

1.一种数据清理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述获取所述清理配置文件，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据每个类型的数据的清理任务所需的清理参数，生成所述清理配置文件，包括：

5.根据权利要求3所述的方法，其特征在于，所述清理任务配置包括所述目标类型的数据的数据清理周期，所述根据所述清理配置文件中目标类型的数据的清理任务配置，确定是否需要在当前清理周期对所述目标类型的数据进行清理包括：

6.根据权利要求1-5任一项所述的方法，其特征在于，所述数据的类型至少包括下述至少两项：数据库类型、日志类型、文件类型；

7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：

8.一种数据清理装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。

技术总结
本申请提供一种数据清理方法、装置、电子设备及存储介质，可用于金融领域或其他领域。该方法包括：读取清理配置文件，所述清理配置文件包括应用系统的至少两个类型的数据的清理任务配置；根据所述清理配置文件中目标类型的数据的清理任务配置，确定是否需要在当前清理周期对所述目标类型的数据进行清理；若需要，则使用所述目标类型的数据的清理任务配置，对目标清理任务所使用的清理参数进行配置，得到配置后的清理任务；执行所述配置后的清理任务，以对所述应用系统中的所述目标类型的数据进行清理。本申请的方法，提升了对应用系统中不同类型的数据进行清理的过程中的清理效率，以及，操作灵活性，且操作简便。

技术研发人员：刘越甲
受保护的技术使用者：中国银行股份有限公司
技术研发日：
技术公布日：2024/1/15