一种数据下载方法、装置、设备和存储介质与流程

本技术涉及数据下载，具体涉及一种数据下载方法、装置、设备和存储介质。

背景技术：

1、集群中的各个机器在执行任务时都会获取用于执行任务所需的任务数据，一般是通过下载或缓存的方式从云端数据库中获取数据，但是云端数据库的存储容量有限，且下载带宽也是有限的，很容易导致数据缺失，或数据下载的速度被限制。

2、例如在仿真领域中，仿真任务在高并发的情况下会对云端数据库造成巨大的压力，若多个仿真机器同时进行仿真，现有的下载方式是从云端数据库的同一个数据桶中下载任务数据，因此数据下载的效率很低，若再遇到带宽的限制，则更加影响数据下载的效率，导致任务不能按时完成。

技术实现思路

1、有鉴于此，本技术提供了一种数据下载方法、装置、设备和存储介质，用于解决现有的下载方式是从云端数据库的同一个数据桶中下载任务数据，因此数据下载的效率很低，若再遇到带宽的限制，则更加影响数据下载的效率，导致任务不能按时完成。

2、为实现以上目的，现提出的方案如下：

3、第一方面，一种数据下载方法，包括：

4、当集群中的目标机器执行目标任务时，确定用于执行所述目标任务的目标数据；

5、获取所述目标数据的所在位置；

6、若所述目标数据存在于所述集群中，则获取预先构建的本地存储服务系统，并确定所述目标数据的地址信息；

7、通过所述本地存储服务系统，并利用所述地址信息从所述集群中下载所述目标数据；

8、若所述目标数据存在于预先构建的云端服务器中，则访问所述云端服务器以下载所述目标数据；

9、将所述目标数据发送至所述目标机器，以供所述目标机器利用所述目标数据执行目标任务。

10、优选地，所述通过所述本地存储服务系统，并利用所述地址信息从所述集群中下载所述目标数据，包括：

11、利用所述地址信息在所述本地存储服务系统的各个本地磁盘中进行定位，确定所述目标数据的所在磁盘；

12、若所述目标数据的所在磁盘位于所述目标机器中，则从所述目标机器中下载所述目标数据；

13、若所述目标数据的所在磁盘位于所述集群的其他机器中，则通过网络点对点方式从所述集群的其他机器中下载所述目标数据。

14、优选地，所述本地存储服务系统的构建过程，包括：

15、确定所述云端服务器中各个数据的数据大小；

16、将数据大小大于第一预设阈值的各个数据作为各个待选择数据；

17、从各个待选择数据中将数据类型属于基础类型的数据作为各个第一数据；

18、将各个待选择数据中除第一数据之外的数据作为各个第二数据；

19、获取各个第二数据的历史下载频次，将历史下载频次大于第二预设阈值的数据作为各个第三数据；

20、将各个所述第一数据与第三数据作为各个缓存数据；

21、将各个所述缓存数据缓存至预先建立的服务系统中，得到所述本地存储服务系统。

22、优选地，本地存储服务系统的构建过程，包括：

23、获取所述云端服务器中每一个数据的数据大小、数据类型、历史下载频次以及上一次下载时间；

24、针对每一个数据，将该数据的数据大小、数据类型、历史下载频次以及上一次下载时间分别进行数值转换，得到第一分值、第二分值、第三分值以及第四分值；

25、分别确定数据大小、数据类型、历史下载频次以及上一次下载时间所对应的权重；

26、将第一分值、第二分值、第三分值以及第四分值分别与其对应的权重相乘，得到第一乘积、第二乘积、第三乘积以及第四乘积；

27、将所述第一乘积、第二乘积、第三乘积以及第四乘积相加，得到总分值，并将总分值大于第三预设阈值的各个数据作为各个缓存数据；

28、将各个所述缓存数据缓存至所述集群中，得到所述本地存储服务系统。

29、优选地，所述将各个所述缓存数据缓存至预先建立的服务系统中，得到所述本地存储服务系统，包括：

30、确定所述集群中每一个机器执行次数最多的任务，将执行次数最多的任务作为各个机器对应的代表任务；

31、确定用于执行各个所述代表任务的任务数据；

32、按照用于执行各个所述代表任务的任务数据，将各个所述缓存数据分别缓存至所述集群各个机器的本地磁盘中，以构建本地存储服务系统。

33、优选地，还包括：

34、每间隔第一预设时间段获取所述集群中各个机器的任务执行信息；

35、根据所述任务执行信息对所述本地存储服务系统中的数据进行更新。

36、第二方面，一种数据下载装置，包括：

37、目标数据确定模块，用于当集群中的目标机器执行目标任务时，确定用于执行所述目标任务的目标数据；

38、位置获取模块，用于获取所述目标数据的所在位置；

39、本地存储服务系统获取模块，用于若所述目标数据存在于所述集群中，则获取预先构建的本地存储服务系统，并确定所述目标数据的地址信息；

40、第一下载模块，用于通过所述本地存储服务系统，并利用所述地址信息从所述集群中下载所述目标数据；

41、第二下载模模块，用于若所述目标数据存在于预先构建的云端服务器中，则访问所述云端服务器以下载所述目标数据；

42、发送模块，用于将所述目标数据发送至所述目标机器，以供所述目标机器利用所述目标数据执行目标任务。

43、优选地，所述第一下载模块，包括：

44、定位模块，用于利用所述地址信息在所述本地存储服务系统的各个本地磁盘中进行定位，确定所述目标数据的所在磁盘；

45、第三下载模块，用于若所述目标数据的所在磁盘位于所述目标机器中，则从所述目标机器中下载所述目标数据；

46、第四下载模块，用于若所述目标数据的所在磁盘位于所述集群中的其他机器中，则通过网络点对点方式从所述集群的其他机器中下载所述目标数据。

47、第三方面，一种数据下载设备，其特征在于，包括存储器和处理器；

48、所述存储器，用于存储程序；

49、所述处理器，用于执行所述程序，实现如第一方面所述的数据下载方法的各个步骤。

50、第四方面，一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如第一方面所述的数据下载方法的各个步骤。

51、从上述技术方案可以看出，当集群中的目标机器执行目标任务时，确定用于执行所述目标任务的目标数据；获取所述目标数据的所在位置；若所述目标数据存在于所述集群中，则获取预先构建的本地存储服务系统，并确定所述目标数据的地址信息；通过所述本地存储服务系统，并利用所述地址信息从所述集群中下载所述目标数据；若所述目标数据存在于预先构建的云端服务器中，则访问所述云端服务器以下载所述目标数据；将所述目标数据发送至所述目标机器，以供所述目标机器利用所述目标数据执行目标任务。本方案可以直接通过预先构建的本地存储服务系统下载执行目标任务所需要的目标数据，从而提高下载效率，使任务完成度更高。