分布式系统中处理任务的分配方法、装置和存储介质与流程

文档序号:39820178发布日期:2024-11-01 18:52阅读:26来源:国知局
分布式系统中处理任务的分配方法、装置和存储介质与流程

本技术实施例涉及计算机领域,具体而言,涉及一种分布式系统中处理任务的分配方法、装置和存储介质。


背景技术:

1、分布式系统是由多个服务器组成的用于计算的集群,用户通过在目标分布式节点登录后向分布式系统中的分布式节点发布计算任务,目前,分布式系统允许多个用户同时使用,但是在用于登录的分布式节点中的处理资源有限的情况下,多个用户在同一个分布式节点进行处理任务的发布操作,会共同占用分布式节点的资源,导致出现处理资源的相互干扰问题,在某个用户运行的应用程序占用了大量的处理资源的情况下,使得分布式节点的性能降低其他用户无法正常的访问或使用,从而造成分布式系统的处理效率降低。

2、针对相关技术中,分布式系统中处理任务的分配的效率较低等问题,尚未提出有效的解决方案。


技术实现思路

1、本技术实施例提供了一种分布式系统中处理任务的分配方法、装置和存储介质,以至少解决相关技术中分布式系统中处理任务的分配的效率较低的问题。

2、根据本技术的一个实施例,提供了一种分布式系统中处理任务的分配方法,分布式系统包括多个分布式节点,所述分布式节点用于执行接收到的处理任务,所述方法应用于所述多个分布式节点中被配置了登录功能的目标分布式节点,所述登录功能用于接收并向所述多个分布式节点分配用户在所述分布式系统上发布的处理任务,所述方法包括:

3、接收目标用户发起的登录请求,其中,所述登录请求用于请求登录所述分布式系统;

4、响应所述登录请求,根据所述目标分布式节点的资源使用信息以及所述目标用户的历史使用信息为所述目标用户分配所述目标分布式节点上的目标处理资源,其中,所述资源使用信息用于指示所述目标分布式节点中的处理资源的使用情况,所述历史使用信息用于指示所述目标用户在历史时间下对处理资源的使用情况;

5、向所述目标用户发送登录响应,其中,所述登录响应用于指示允许所述目标用户登录所述分布式系统,并允许所述目标用户在所述目标处理资源上发布处理任务;

6、通过所述目标处理资源接收所述目标用户发布的目标处理任务,并将所述目标处理任务分配至所述多个分布式节点。

7、在一个示例性实施例中,所述根据所述目标分布式节点的资源使用信息以及所述目标用户的历史使用信息为所述目标用户分配所述目标分布式节点上的目标处理资源,包括:检测所述目标分布式节点的资源使用参数和所述目标用户的历史使用参数,其中,所述资源使用信息包括所述资源使用参数,所述历史使用信息包括历史使用参数,所述资源使用参数用于指示所述目标分布式节点上允许分配的资源量,所述历史使用参数用于指示所述目标用户在所述历史时间下对所分配的处理资源的使用量;根据所述资源使用参数与所述历史使用参数之间的参数关系从所述资源使用参数所指示的处理资源中筛选所述目标处理资源;将所述目标处理资源分配至所述目标用户。

8、在一个示例性实施例中,所述根据所述资源使用参数与所述历史使用参数之间的参数关系从所述资源使用参数所指示的处理资源中筛选所述目标处理资源,包括:在所述参数关系用于指示所述资源使用参数大于或者等于所述历史使用参数的情况下,将所述资源使用参数所指示的处理资源中所述历史使用参数所指示的使用量的处理资源确定为所述目标处理资源;在所述参数关系用于指示所述资源使用参数小于所述历史使用参数的情况下,将所述资源使用参数所指示的处理资源中预设使用量的处理资源确定为所述目标处理资源。

9、在一个示例性实施例中,所述将所述目标处理资源分配至所述目标用户,包括:创建目标登录镜像,其中,所述目标登录镜像包括所述目标用户登录所述分布式系统所允许使用的环境资源;调用所述目标登录镜像封装所述目标处理资源得到目标登录容器,其中,所述目标登录容器中配置了目标登录容器的容器端口,所述容器端口用于将所述目标用户登录至所述目标登录容器。

10、在一个示例性实施例中,所述创建目标登录镜像,包括:创建初始登录镜像,其中,所述初始登录镜像包括所述目标用户登录所述分布式系统所允许使用的环境资源;向所述初始登录镜像加入集群服务,认证服务和同步服务得到所述目标登录镜像,其中,所述集群服务用于将通过所述目标登录镜像构建的容器加入至所述分布式系统中,所述认证服务用于表示通过所述目标登录镜像构建的容器属于所述分布式系统,所述同步服务用于将所述登录功能加入通过所述目标登录镜像构建的容器中;将所述目标登录镜像存储至容器镜像仓库中,其中,所述容器镜像仓库用于存储全量允许部署在所述分布式系统中的容器的容器镜像;

11、所述调用所述目标登录镜像封装所述目标处理资源得到目标登录容器,包括:调用镜像运行命令启动所述容器镜像仓库中的所述目标登录镜像,并通过资源配置命令配置所述目标登录镜像的处理器核心数和内存空间容量得到所述目标登录容器,其中,所述目标处理资源包括所述处理器核心数和所述内存空间容量,所述资源配置命令包括:第一配置命令和第二配置命令,所述第一配置命令为docker run-d--cpus=a,dockerrun-d--cpus表示了配置所述目标登录镜像中的处理器核心数的操作,a为所配置的处理器核心数的值,所述第二配置命令为docker run-d-m b,docker run-d-m表示了配置所述目标登录镜像的内存空间容量的操作,b为所配置的内存空间容量的值。

12、在一个示例性实施例中,在所述通过资源配置命令配置所述目标登录镜像的处理器核心数和内存空间容量得到所述目标登录容器之后,所述方法还包括:通过第三配置命令配置所述目标登录镜像的容器连接属性以及容器存储属性,其中,所述容器连接属性用于指示所述目标登录容器的调用路径,所述容器存储属性用于指示所述目标登录容器中数据的存储位置。

13、在一个示例性实施例中,所述通过所述目标处理资源接收所述目标用户发布的目标处理任务,包括:接收所述目标用户向所述目标处理资源发送的连接请求,其中,所述连接请求用于请求与所述目标处理资源建立通信连接;响应所述连接请求,建立所述目标用户与所述目标处理资源之间的目标连接;接收所述目标用户通过所述目标连接发布至所述目标处理资源的所述目标处理任务。

14、根据本技术的另一个实施例,提供了一种分布式系统中处理任务的分配装置,分布式系统包括多个分布式节点,所述分布式节点用于执行接收到的处理任务,所述装置应用于所述多个分布式节点中被配置了登录功能的目标分布式节点,所述登录功能用于接收并向所述多个分布式节点分配用户在所述分布式系统上发布的处理任务,所述装置包括:

15、接收模块,用于接收目标用户发起的登录请求,其中,所述登录请求用于请求登录所述分布式系统;

16、分配模块,用于响应所述登录请求,根据所述目标分布式节点的资源使用信息以及所述目标用户的历史使用信息为所述目标用户分配所述目标分布式节点上的目标处理资源,其中,所述资源使用信息用于指示所述目标分布式节点中的处理资源的使用情况,所述历史使用信息用于指示所述目标用户在历史时间下对处理资源的使用情况;

17、发送模块,用于向所述目标用户发送登录响应,其中,所述登录响应用于指示允许所述目标用户登录所述分布式系统,并允许所述目标用户在所述目标处理资源上发布处理任务;

18、处理模块,用于通过所述目标处理资源接收所述目标用户发布的目标处理任务,并将所述目标处理任务分配至所述多个分布式节点。

19、根据本技术的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

20、根据本技术的又一个实施例,还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

21、根据本技术的又一个实施例,还提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述任一项方法实施例中的步骤。

22、通过本技术,接收目标用户发起的登录请求,其中,登录请求用于请求登录分布式系统;响应登录请求,根据目标分布式节点的资源使用信息以及目标用户的历史使用信息为目标用户分配目标分布式节点上的目标处理资源,其中,资源使用信息用于指示目标分布式节点中的处理资源的使用情况,历史使用信息用于指示目标用户在历史时间下对处理资源的使用情况;向目标用户发送登录响应,其中,登录响应用于指示允许目标用户登录分布式系统,并允许目标用户在目标处理资源上发布处理任务;通过目标处理资源接收目标用户发布的目标处理任务,并将目标处理任务分配至多个分布式节点。由于为每个请求登录分布式系统的目标用户分配了允许目标用户在目标分布式节点使用的目标处理资源,避免多个用户登录分布式系统,在目标分布式节点中发生处理资源的抢占的情况,因此,可以解决分布式系统中处理任务的分配的效率较低的问题,达到了提高分布式系统中处理任务的分配的效率的效果。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1