一种冗余文件清除方法及系统与流程

本发明涉及数据处理，特别涉及一种冗余文件清除方法及系统

背景技术：

1、随着科技的进步以及生产力的快速发展，互联网已经在人们的日常生活中得到普及，使得人们可以通过互联网进行学习、购物以及娱乐等，极大的方便了人们的生活。

2、其中，人们都会在互联网上进行文件的上传以及分享，具体的，现有技术大部分通过用户点击上传按钮并选择对应的上传文件，待文件上传之后，服务器会对应反馈出一个url（uniform resource locator 统一资源定位器）地址，之后用户将该url地址对应提交到指定的业务接口上，并由业务数据库存储该url地址，以最终完成文件的上传。

3、然而，此种上传方式容易出现用户在点击上传按钮之后，忘记点击最终的提交表单按钮的现象，经过长时间的积累，会导致服务器在业务数据库中存储较多未被标记的业务文件，即会产生较多的冗余文件，并且该冗余文件会占用服务器中较多的存储资源，从而对应降低了服务器的存储效率，同时对应降低了用户的使用体验。

技术实现思路

1、基于此，本发明的目的是提供一种冗余文件清除方法及系统，以解决现有技术在上传文件的过程中，会产生较多冗余数据的问题。

2、本发明实施例第一方面提出了：

3、一种冗余文件清除方法，其中，所述方法包括：

4、获取待访问的数据库类型，并根据所述数据库类型在第一预设程序中生成对应的第一配置文件；

5、获取第二预设程序的ip地址，并根据所述ip地址在所述第二预设程序中生成对应的第二配置文件；

6、通过所述第一配置文件实时采集所述目标数据库中的数据，以生成与所述第一预设程序对应的映射对象数组、与所述第二预设程序对应的映射对象，并根据所述映射对象将所述映射对象数组由所述第一预设程序发送至所述第二预设程序；

7、通过所述第二预设程序解析出所述映射对象数组中包含的文件信息，并根据所述文件信息清除所述目标数据库中的冗余数据。

8、本发明的有益效果是：通过第一预设程序以及第二预设程序生成对应的第一配置文件以及第二配置文件，基于此，能够根据需要处理的目标数据库生成用于查找冗余数据的映射对象数组以及映射对象，进一步的，将当前映射对象数组发送至第二预设程序中，就能够使该第二预设程序自动在上述目标数据库查找出需要的文件信息，并进一步根据该文件信息自动清除当前目标文件存储文件夹中的冗余数据，从而能够避免服务器中产生大量的冗余数据，提升了服务器的存储效率，同时提升了用户的使用体验。

9、进一步的，所述通过所述第一配置文件实时采集所述目标数据库中的数据的步骤包括：

10、当获取到所述第一配置文件时，通过所述第一配置文件提取出所述目标数据库中包含的第一原始数据，并将所述第一原始数据转换成对应的url数据；

11、对所述url数据进行拆分处理，以拆分出对应的url值数组以及url前缀，并构建出每一所述url值数组、每一所述url前缀与预设映射函数之间的对应关系，以生成对应的映射元素；

12、根据所述映射元素生成所述映射对象数组。

13、进一步的，所述根据所述映射元素生成所述映射对象数组的步骤包括：

14、当获取到若干所述映射元素时，对若干所述映射元素进行整合处理，以对应生成所述映射对象数组；

15、实时采集所述映射对象数组生成时对应的第一目标时刻，并根据所述第一目标时刻生成对应的第一时间戳，所述第一目标时刻具有唯一性。

16、进一步的，所述通过所述第一配置文件实时采集所述目标数据库中的数据的步骤包括：

17、当获取到所述第二配置文件时，通过所述第二配置文件提取出所述目标数据库中包含的第二原始数据，并对所述第二原始数据进行解析处理，以对应筛选出用户上传文件的存储地址前缀以及文件名集合；

18、对所述存储地址前缀以及所述文件名集合进行组合处理，以对应生成所述映射对象。

19、进一步的，所述通过所述第二预设程序解析出所述映射对象数组中包含的文件信息的步骤包括：

20、通过所述第二预设程序提取出所述映射对象数组以及所述映射对象中包含的若干文件存储路径，并通过所述第二预设程序合并相同的文件存储路径，以生成对应的路径集合数组；

21、根据所述文件名集合生成对应的文件名集合数组，所述路径集合数组以及所述文件名集合数组组成所述文件信息。

22、进一步的，所述方法还包括：

23、实时比较所述文件名集合数组以及所述路径集合数组中分别包含的元素，并提取出存在于所述文件名集合数组但不存在于所述路径集合数组中的目标元素数组；

24、对所述文件名集合数组进行全盘扫描，并提取出文件名属于所述目标元素数组的目标文件；

25、将所述目标文件转移至预设回收站文件夹中，所述目标文件为多个。

26、进一步的，所述方法还包括：

27、设定一时间节点，并在每次到达所述时间节点时清除所述预设回收站文件夹中的所述目标文件。

28、本发明实施例第二方面提出了：

29、一种冗余文件清除系统，其中，所述系统包括：

30、获取模块，用于获取待访问的数据库类型，并根据所述数据库类型在第一预设程序中生成对应的第一配置文件；

31、处理模块，用于获取第二预设程序的ip地址，并根据所述ip地址在所述第二预设程序中生成对应的第二配置文件；

32、映射模块，用于通过所述第一配置文件实时采集所述目标数据库中的数据，以生成与所述第一预设程序对应的映射对象数组、与所述第二预设程序对应的映射对象，并根据所述映射对象将所述映射对象数组由所述第一预设程序发送至所述第二预设程序；

33、清除模块，用于通过所述第二预设程序解析出所述映射对象数组中包含的文件信息，并根据所述文件信息清除目标文件存储文件夹中的冗余数据。

34、进一步的，所述映射模块具体用于：

35、当获取到所述第一配置文件时，通过所述第一配置文件提取出所述目标数据库中包含的第一原始数据，并将所述第一原始数据转换成对应的url数据；

36、对所述url数据进行拆分处理，以拆分出对应的url值数组以及url前缀，并构建出每一所述url值数组、每一所述url前缀与预设映射函数之间的对应关系，以生成对应的映射元素；

37、根据所述映射元素生成所述映射对象数组。

38、进一步的，所述映射模块还具体用于：

39、当获取到若干所述映射元素时，对若干所述映射元素进行整合处理，以对应生成所述映射对象数组；

40、实时采集所述映射对象数组生成时对应的第一目标时刻，并根据所述第一目标时刻生成对应的第一时间戳，所述第一目标时刻具有唯一性。

41、进一步的，所述映射模块还具体用于：

42、当获取到所述第二配置文件时，通过所述第二配置文件提取出所述目标数据库中包含的第二原始数据，并对所述第二原始数据进行解析处理，以对应筛选出用户上传文件的存储地址前缀以及文件名集合；

43、对所述存储地址前缀以及所述文件名集合进行组合处理，以对应生成所述映射对象。

44、进一步的，所述清除模块具体用于：

45、通过所述第二预设程序提取出所述映射对象数组以及所述映射对象中包含的若干文件存储路径，并通过所述第二预设程序合并相同的文件存储路径，以生成对应的路径集合数组；

46、根据所述文件名集合生成对应的文件名集合数组，所述路径集合数组以及所述文件名集合数组组成所述文件信息。

47、进一步的，所述冗余文件清除系统还包括比较模块，所述比较模块具体用于：

48、实时比较所述文件名集合数组以及所述路径集合数组中分别包含的元素，并提取出存在于所述文件名集合数组但不存在于所述路径集合数组中的目标元素数组；

49、对所述文件名集合数组进行全盘扫描，并提取出文件名属于所述目标元素数组的目标文件；

50、将所述目标文件转移至预设回收站文件夹中，所述目标文件为多个。

51、进一步的，所述冗余文件清除系统还包括定时模块，所述定时模块具体用于：

52、设定一时间节点，并在每次到达所述时间节点时清除所述预设回收站文件夹中的所述目标文件。

53、本发明实施例第三方面提出了：

54、一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上面所述的冗余文件清除方法。

55、本发明实施例第四方面提出了：

56、一种可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上面所述的冗余文件清除方法。

57、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。