一种分布式存储系统的任务处理方法及相关设备与流程

本发明涉及分布式存储系统，具体涉及一种分布式存储系统的任务处理方法及相关设备。

背景技术：

1、在分布式存储系统中，可以使用同一个集群为多种业务提供存储服务。在实际应用中，集群运行资源有限，不同业务之间可能会同时竞争集群运行资源。

2、当集群资源压力较大时，不同业务之间的竞争很有可能会使集群的读写时延增大甚至业务断流，从而影响对业务的正常处理，甚至影响对关键业务的正常处理，系统可靠性较低。

技术实现思路

1、有鉴于此，本发明提供了一种分布式存储系统的任务处理方法及相关设备，以解决系统可靠性较低的问题。

2、第一方面，本发明提供了一种分布式存储系统的任务处理方法，所述方法包括：

3、主节点从对象存储设备osd中获取服务质量qos任务列表；其中，所述osd中存储所述qos任务列表和至少一个定时qos任务，每个所述定时qos任务中包括任务标识、执行时段、参数限制信息和被限制存储单元的单元标识，所述qos任务列表为所述osd根据每个所述定时qos任务生成，所述qos任务列表中包括每个所述定时qos任务中的所述任务标识与所述执行时段之间的对应关系；

4、所述主节点在所述qos任务列表中检测出满足预设时间条件的目标执行时段，以及根据所述目标执行时段在所述对应关系中确定目标任务标识；

5、所述主节点根据所述目标任务标识，从所述osd存储的所述至少一个定时qos任务中获取目标定时qos任务；

6、所述主节点将所述目标定时qos任务发送至目标从节点，以使所述目标从节点根据所述目标定时qos任务中的所述执行时段、所述参数限制信息和所述单元标识执行所述目标定时qos任务

7、在一种可选的实施方式中，当所述预设时间条件为所述执行时段中的起始时刻与当前时刻之间的差值不大于预设时长时，所述主节点在所述qos任务列表中检测出满足预设时间条件的目标执行时段，包括：

8、所述主节点在所述qos任务列表中确定第一执行时段；

9、所述主节点计算所述第一执行时段中的起始时刻与当前时刻的差值；

10、在确定所述第一执行时段中的起始时刻与当前时刻的差值不大于所述预设时长的情况下，所述主节点确定所述第一执行时段满足所述预设时间条件，并将所述第一执行时段确定为所述目标执行时段。

11、在一种可选的实施方式中，当所述目标定时qos任务包括多个所述定时qos任务时，所述目标从节点包括多个从节点；所述主节点将所述目标定时qos任务发送至从节点，包括：

12、所述主节点根据负载均衡算法，将所述多个定时qos任务分发至各所述从节点，以使所述从节点根据所述定时qos任务中的所述执行时段、所述参数限制信息和所述单元标识执行所述定时qos任务。

13、第二方面，本发明提供了一种分布式存储系统的任务处理方法，所述方法包括：

14、任务创建模块响应于由用户通过所述分布式存储系统中的管理界面输入的任务创建指令，创建至少一个定时qos任务；其中，每个所述定时qos任务中包括任务标识、执行时段、参数限制信息和被限制存储单元的单元标识，所述任务创建指令中包括每个所述定时qos任务中的所述任务标识、所述执行时段、所述参数限制信息和所述被限制存储单元的单元标识；

15、所述任务创建模块将所述至少一个定时qos任务发送至osd，以使所述osd：存储所述至少一个定时qos任务，以及根据所述至少一个定时qos任务生成qos任务列表，所述qos任务列表中包括每个所述定时qos任务中的所述任务标识与所述执行时段之间的对应关系。

16、在一种可选的实施方式中，所述任务创建指令包括可靠块设备rbd命令行，所述rbd命令行中包括每个所述定时qos任务的所述任务标识、所述执行时段、所述参数限制信息和所述单元标识；

17、所述任务创建模块响应于由用户通过所述分布式存储系统中的管理界面输入的任务创建指令，创建至少一个定时qos任务，包括：

18、所述任务创建模块接收所述rbd命令行；

19、所述任务创建模块解析所述rbd命令行，并获取每个所述定时qos任务的所述任务标识、所述执行时段、所述参数限制信息和所述单元标识；

20、所述任务创建模块在确定每个所述定时qos任务的所述单元标识和所述参数限制信息为有效信息的情况下，根据每个所述定时qos任务的所述任务标识、所述执行时段、所述参数限制信息和所述单元标识，创建所述至少一个定时qos任务；

21、在所述任务创建模块将所述至少一个定时qos任务发送至osd之后，所述方法还包括：

22、所述任务创建模块接收所述osd返回的提示信息，并通过所述管理界面输出所述提示信息，所述提示信息用于提示用户定时qos任务创建成功。

23、第三方面，本发明提供了一种分布式存储系统的任务处理方法，所述方法包括：

24、对象存储设备osd接收来自任务创建模块的至少一个定时qos任务；其中，所述至少一个定时qos任务为所述任务创建模块根据来自用户的任务创建指令生成，每个所述定时qos任务中包括任务标识、执行时段、参数限制信息和被限制存储单元的单元标识，所述任务创建指令为所述用户通过所述分布式存储系统中的管理界面输入至所述任务创建模块，所述任务创建指令包括每个所述定时qos任务中的所述任务标识、所述执行时段、所述参数限制信息和所述被限制存储单元的单元标识；

25、所述osd保存所述至少一个定时qos任务；

26、所述osd根据所述至少一个定时qos任务生成qos任务列表并进行保存；所述qos任务列表中包括每个所述定时qos任务中的所述任务标识与所述执行时段之间的对应关系。

27、第四方面，本发明提供了一种分布式存储系统的任务处理方法，所述方法包括：

28、目标从节点接收来自主节点的目标定时qos任务；其中，所述目标定时qos任务中包括任务标识、执行时段、参数限制信息和被限制存储单元的单元标识；

29、所述目标从节点根据所述目标定时qos任务中的所述任务标识、所述执行时段、所述参数限制信息和所述被限制存储单元的单元标识，执行所述目标定时qos任务。

30、第五方面，本发明提供了一种分布式存储系统的任务处理设备，所述设备包括：

31、第一获取模块，用于从对象存储设备osd中获取服务质量qos任务列表；其中，所述osd中存储所述qos任务列表和至少一个定时qos任务，每个所述定时qos任务中包括任务标识、执行时段、参数限制信息和被限制存储单元的单元标识，所述qos任务列表为所述osd根据每个所述定时qos任务生成，所述qos任务列表中包括每个所述定时qos任务中的所述任务标识与所述执行时段之间的对应关系；

32、第一检测模块，用于在所述qos任务列表中检测出满足预设时间条件的目标执行时段；

33、第一确定模块，用于根据所述目标执行时段在所述对应关系中确定目标任务标识；

34、第二获取模块，用于根据所述目标任务标识，从所述osd存储的所述至少一个定时qos任务中获取目标定时qos任务；

35、第一发送模块，用于将所述目标定时qos任务发送至目标从节点，以使所述目标从节点根据所述目标定时qos任务中的所述执行时段、所述参数限制信息和所述单元标识执行所述目标定时qos任务。

36、第六方面，本发明提供了一种分布式存储系统的任务处理设备，所述设备包括：

37、第一创建模块，用于响应于由用户通过所述分布式存储系统中的管理界面输入的任务创建指令，创建至少一个定时qos任务；其中，每个所述定时qos任务中包括任务标识、执行时段、参数限制信息和被限制存储单元的单元标识，所述任务创建指令中包括每个所述定时qos任务中的所述任务标识、所述执行时段、所述参数限制信息和所述被限制存储单元的单元标识；

38、第二发送模块，用于将所述至少一个定时qos任务发送至osd，以使所述osd：存储所述至少一个定时qos任务，以及根据所述至少一个定时qos任务生成qos任务列表，所述qos任务列表中包括每个所述定时qos任务中的所述任务标识与所述执行时段之间的对应关系。

39、第七方面，本发明提供了一种分布式存储系统的任务处理装置，所述装置包括任务创建模块、对象存储设备osd、主节点和目标从节点；其中：

40、所述任务创建模块，用于响应于由用户通过所述分布式存储系统中的管理界面输入的任务创建指令，创建至少一个定时qos任务并发送至osd；其中，每个所述定时qos任务中包括任务标识、执行时段、参数限制信息和被限制存储单元的单元标识，所述任务创建指令中包括每个所述定时qos任务中的所述任务标识、所述执行时段、所述参数限制信息和所述单元标识；

41、所述osd，用于接收来自所述任务创建模块的所述至少一个定时qos任务，保存所述至少一个定时qos任务，以及根据所述至少一个定时qos任务生成qos任务列表，所述qos任务列表中包括每个所述定时qos任务中的所述任务标识与所述执行时段之间的对应关系；

42、所述主节点，用于从所述osd中获取所述qos任务列表，在所述qos任务列表中检测出满足预设时间条件的目标执行时段，以及根据所述目标执行时段在所述对应关系中确定目标任务标识，根据所述目标任务标识，从所述osd存储的所述至少一个定时qos任务中获取目标定时qos任务，将所述目标定时qos任务发送至所述目标从节点；

43、所述目标从节点，用于根据所述目标定时qos任务中的所述执行时段、所述参数限制信息和所述单元标识执行所述目标定时qos任务。

44、第八方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述各方面或其对应的任一实施方式的分布式存储系统的任务处理方法。

45、第九方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述各方面或其对应的任一实施方式的分布式存储系统的任务处理方法。

46、本发明提供的分布式存储系统的任务处理方法及相关设备，主节点从osd中获取qos任务列表，在qos任务列表中检测出满足预设时间条件的目标执行时段，以及根据目标执行时段在对应关系中确定目标任务标识，主节点根据目标任务标识，从osd存储的至少一个定时qos任务中获取目标定时qos任务；主节点将目标定时qos任务发送至目标从节点，以使目标从节点根据目标定时qos任务中的执行时段、参数限制信息和单元标识执行目标定时qos任务。本实施例可以根据目标定时qos任务，在特定的执行时段内对特定业务进行qos限制和流控，避免其对集群资源和关键业务运行造成的不利影响，增强系统可靠性。