设备节点的文件部署方法、装置、调度服务器及存储介质与流程

文档序号:19730146发布日期:2020-01-18 03:51阅读:172来源:国知局
设备节点的文件部署方法、装置、调度服务器及存储介质与流程

本发明涉及设备节点调度技术领域,尤其涉及一种设备节点的文件部署方法、装置、调度服务器及存储介质。



背景技术:

随着互联网技术的发展,网上在线存储文件(云存储)由于其便利性而越来越受欢迎。

目前,云存储调度方案主要是通过cdn(contentdeliverynetwork,内容分发网络)的方式进行调度,但在实践中发现,该云存储调度方案需要验证网络中设备节点的网络性能,并从中选择一个网络性能最好的设备节点进行调度,其运算需要耗费很多时间,调度效率不高,无法满足大量文件的快速部署。

因此,如何提高设备节点的调度效率是一个亟需解决的技术问题。



技术实现要素:

鉴于以上内容,有必要提供一种设备节点的文件部署方法、装置、调度服务器及存储介质,能够提高提高设备节点的调度效率。

本发明的第一方面提供一种设备节点的文件部署方法,所述方法包括:

当接收到文件部署指令时,从数据服务器中,获取每个机房的第一容量信息,其中,所述每个机房包括多个设备节点;

根据所述每个机房的第一容量信息,从所有机房中确定目标机房;

根据预设分数阈值以及所述目标机房中所有设备节点的调度分数,判断所述所有设备节点中是否存在满足调度要求的目标设备节点;

若所述所有设备节点中存在满足调度要求的目标设备节点,从所述目标设备节点中确定调度设备节点;

将所述文件部署指令所指示的文件部署至所述调度设备节点。

在一种可能的实现方式中,所述预设分数阈值有多个,多个所述预设分数阈值从大到小排序,所述根据预设分数阈值以及所述目标机房中所有设备节点的调度分数,判断所述所有设备节点中是否存在满足调度要求的目标设备节点包括:

针对多个所述预设分数阈值中的最大预设分数阈值,统计所述目标机房中调度分数大于所述最大预设分数阈值的设备节点的第一数量;

判断所述第一数量是否大于或等于预设数量阈值;

若所述第一数量大于或等于预设数量阈值,确定所述所有设备节点中存在满足调度要求的目标设备节点,其中,所述目标设备节点为所述目标机房中调度分数大于所述最大预设分数阈值的设备节点。

在一种可能的实现方式中,所述方法还包括:

若所述第一数量小于预设数量阈值,按照多个所述预设分数阈值从大到小的排列顺序,提取除所述最大预设分数阈值之外的第一预设分数阈值;

统计所述目标机房中调度分数大于所述第一预设分数阈值的设备节点的第二数量;

判断所述第二数量是否大于或等于所述预设数量阈值;

若所述第二数量大于或等于所述预设数量阈值,确定所述所有设备节点中存在满足调度要求的目标设备节点,其中,所述目标设备节点为所述目标机房中调度分数大于所述第一预设分数阈值的设备节点。

在一种可能的实现方式中,所述方法还包括:

针对每个所述机房,每隔预设时间间隔,获取所述机房中每个设备节点的节点信息;

根据所述节点信息,确定所述设备节点的多个权重值;

根据所述多个权重值,计算所述设备节点的调度分数;

将所述调度分数存储至所述数据服务器。

在一种可能的实现方式中,所述方法还包括:

针对每个机房,每隔所述预设时间间隔,获取所述机房中每个设备节点的第二容量信息;

将所述机房中所有设备节点的第二容量信息进行统计,获得所述机房的第一容量信息;

将所述第一容量信息存储至所述数据服务器。

在一种可能的实现方式中,所述第一容量信息包括空间总容量以及已用空间容量,所述根据所述每个机房的第一容量信息,从所有机房中确定目标机房包括:

根据所述空间总容量以及所述已用空间容量,确定每个机房的可用空间容量;

根据配置文件,判断是否需要进行机房容灾;

若不需要进行机房容灾,从所述所有机房中,将所述可用空间容量最大的机房确定为目标机房。

在一种可能的实现方式中,所述方法还包括:

若需要进行机房容灾,根据所述可用空间容量从大到小的顺序,对所述所有机房进行排序;

按照排序后的所述所有机房的先后顺序,将排序靠前的两个机房确定为目标机房。

本发明的第二方面提供一种设备节点的文件部署装置,所述装置包括:

获取模块,用于当接收到文件部署指令时,从数据服务器中,获取每个机房的第一容量信息,其中,所述每个机房包括多个设备节点;

确定模块,用于根据所述每个机房的第一容量信息,从所有机房中确定目标机房;

判断模块,用于根据预设分数阈值以及所述目标机房中所有设备节点的调度分数,判断所述所有设备节点中是否存在满足调度要求的目标设备节点;

所述确定模块,还用于若所述所有设备节点中存在满足调度要求的目标设备节点,从所述目标设备节点中确定调度设备节点;

部署模块,用于将所述文件部署指令所指示的文件部署至所述调度设备节点。

本发明的第三方面提供一种调度服务器,所述调度服务器包括处理器和存储器,所述处理器用于执行所述存储器中存储的计算机程序时实现所述的设备节点的文件部署方法。

本发明的第四方面提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述的设备节点的文件部署方法。

由以上技术方案,本发明中,当接收到文件部署指令时,可以从数据服务器中,获取所有机房的第一容量信息,其中,所述每个机房包括多个设备节点;根据所述每个机房的第一容量信息,从所有机房中确定目标机房;根据预设分数阈值以及所述目标机房中所有设备节点的调度分数,判断所述所有设备节点中是否存在满足调度要求的目标设备节点;若所述所有设备节点中存在满足调度要求的目标设备节点,从所述目标设备节点中确定调度设备节点;将所述文件部署指令所指示的文件部署至所述调度设备节点。可见,本发明中,可以从数据服务器中获取所有机房的信息,并确定用于调度的目标机房,根据目标机房中所有节点的调度分数以及预设分数阈值,从中挑选节点进行调度,即根据数据服务器保存的信息,确定调度节点,不需要与节点通信,也不需要花时间对节点的各类信息进行验证,从而可以进行快速调度,可以对大量文件进行快速部署,提高了调度的效率。

附图说明

图1是本发明公开的一种设备节点的文件部署方法的较佳实施例的流程图。

图2是本发明公开的一种设备节点的文件部署装置的较佳实施例的功能模块图。

图3是本发明实现设备节点的文件部署方法的较佳实施例的调度服务器的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施例对本发明进行详细描述。需要说明的是,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。

为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例的设备节点的文件部署方法应用在调度服务器中,也可以应用在调度服务器和通过网络与所述调度服务器进行连接的电子设备所构成的硬件环境中,由调度服务器和电子设备共同执行。网络包括但不限于:广域网、城域网或局域网。

其中,调度服务器是一种服务器,服务器可以是指能对网络中其它设备(如电子设备)提供服务的计算机系统。如果一个个人电脑能够对外提供文件传输协议(filetransferprotocol,简称ftp)服务,也可以叫服务器。从狭义范围上讲,服务器专指某些高性能计算机,能通过网络,对外提供服务,其相对于普通的个人电脑来说,稳定性、安全性、性能等方面都要求更高,因此在cpu、芯片组、内存、磁盘系统、网络等硬件和普通的个人电脑有所不同。

所述电子设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(asic)、可编程门阵列(fpga)、数字处理器(dsp)、嵌入式设备等。所述电子设备还可包括网络设备和/或用户设备。其中,所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(cloudcomputing)的由大量主机或网络服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理pda等。

请参见图1,图1是本发明公开的一种设备节点的文件部署方法的较佳实施例的流程图。其中,根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。

s11、当接收到文件部署指令时,调度服务器从数据服务器中,获取每个机房的第一容量信息,其中,所述每个机房包括多个设备节点;。

其中,所述数据服务器可以为redis(remotedictionaryserver)服务器,是一种key-value(键值对)存储系统,用于保存数据。

其中,所述设备节点可以包括但不限于智能硬件设备以及服务器。

其中,所述调度服务器可以为用于调度设备节点的服务器。

本发明实施例中,数据服务器中存储有各个机房的存储信息(第一容量信息),每个机房中有多个设备节点。当接收到文件部署指令时,调度服务器可以从数据服务器中获取到所有机房的第一容量信息。

s12、调度服务器根据所述每个机房的第一容量信息,从所有机房中确定目标机房。

具体的,所述第一容量信息包括空间总容量以及已用空间容量,所述根据所述每个机房的第一容量信息,从所有机房中确定目标机房包括:

根据所述空间总容量以及所述已用空间容量,确定每个机房的可用空间容量;

根据配置文件,判断是否需要进行机房容灾;

若不需要进行机房容灾,从所述所有机房中,将所述可用空间容量最大的机房确定为目标机房。

其中,第一容量信息可以包括一个机房的空间总容量以及已用空间容量。

其中,所述机房容灾是指在另一个机房中备份文件,防止一个机房因故障从而导致文件丢失或停止提供该文件的服务。

在该可选的实施方式中,可以根据机房的空间总容量以及已用空间容量,确定机房的可用空间容量,若配置文件配置的参数指示不需要进行机房容灾,则只需要在一个机房中选择设备节点进行调度,可以将可用空间容量最大的机房确定为目标机房,以确保从目标机房选取的设备节点有足够的空间容量来存储文件。

作为一种可选的实施方式,所述方法还包括:

若需要进行机房容灾,根据所述可用空间容量从大到小的顺序,对所述所有机房进行排序;

按照排序后的所述所有机房的先后顺序,将排序靠前的两个机房确定为目标机房。

在该可选的实施方式中,若配置文件配置的参数指示需要进行机房容灾,则除了从一个机房中选取设备节点存储文件,还需要从另一个机房中选择设备节点存储文件。可以按照可用空间容量从大到小的顺序,对所有机房进行排序,将排序靠前的两个机房确定为目标机房,即将可用空间容量最大的两个机房确定为目标机房。

s13、调度服务器根据预设分数阈值以及所述目标机房中所有设备节点的调度分数,判断所述所有设备节点中是否存在满足调度要求的目标设备节点,若是,执行步骤s14,若否,结束本流程。

其中,所述预设分数阈值可以有多个。

其中,所述调度分数用来衡量一个设备节点是否适合被调度。

本发明实施例中,并不是每个设备节点都可以满足被调度的要求,需要从机房中确定可以被调度的设备节点,可以根据预设分数阈值以及所有设备节点的调度分数,判断所有设备节点是否存在满足调度要求的目标设备节点。

作为一种可选的实施方式,所述预设分数阈值有多个,多个所述预设分数阈值从大到小排序,所述根据预设分数阈值以及所述目标机房中所有设备节点的调度分数,判断所述所有设备节点中是否存在满足调度要求的目标设备节点包括:

针对多个所述预设分数阈值中的最大预设分数阈值,统计所述目标机房中调度分数大于所述最大预设分数阈值的设备节点的第一数量;

判断所述第一数量是否大于或等于预设数量阈值;

若所述第一数量大于或等于预设数量阈值,确定所述所有设备节点中存在满足调度要求的目标设备节点,其中,所述目标设备节点为所述目标机房中调度分数大于所述最大预设分数阈值的设备节点。

其中,所述预设数量阈值对应机房中需要部署的文件份数,假设部署一份文件对应的适合被调度的设备节点数量为125,若机房中需要部署的文件份数为1,则预设数量阈值为125,若文件份数为2,则预设数量阈值为250。因为一个机房或一个设备节点可以有多个正在部署的任务,为了保证多任务可以并行处理,需要确保部署一份文件时,有多个设备节点可以被调度。

在该可选的实施方式中,所述预设分数阈值可以根据业务需求确定,本发明实施例中选取的预设分数阈值为75、50、25以及0。最大预设分数阈值为75,可以从数据服务器中将调度分数大于75的设备节点返回,并判断返回的设备节点的数量(第一数量)是否大于或等于预设数量阈值,若第一数量大于或等于预设数量阈值,则确定所述所有设备节点中存在满足调度要求的目标设备节点。

作为一种可选的实施方式,所述方法还包括:

若所述第一数量小于预设数量阈值,按照多个所述预设分数阈值从大到小的排列顺序,提取除所述最大预设分数阈值之外的第一预设分数阈值;

统计所述目标机房中调度分数大于所述第一预设分数阈值的设备节点的第二数量;

判断所述第二数量是否大于或等于所述预设数量阈值;

若所述第二数量大于或等于所述预设数量阈值,确定所述所有设备节点中存在满足调度要求的目标设备节点,其中,所述目标设备节点为所述目标机房中调度分数大于所述第一预设分数阈值的设备节点。

作为一种可选的实施方式,假设预设分数阈值为75、50、25以及0,若第一数量小于预设数量阈值,则将50确定为第一预设分数阈值,统计目标机房中调度分数大于50的设备节点的第二数量,并判断第二数量是否大于或等于预设数量阈值,若第二数量大于或等于预设数量阈值,则确定目标机房的所有设备节点中存在满足调度要求的目标设备节点。若第二数量小于预设数量阈值,则统计目标机房中调度分数大于25的设备节点的第三数量,判断第三数量是否大于或等于预设数量阈值,若第三数量大于或等于预设数量阈值,则确定目标机房的所有设备节点中存在满足调度要求的目标设备节点。若第三数量小于预设数量阈值,则统计目标机房中调度分数大于0的设备节点的第四数量,判断第四数量是否大于或等于预设数量阈值,若第四数量大于或等于预设数量阈值,则确定目标机房的所有设备节点中存在满足调度要求的目标设备节点。可选的,若第四数量小于预设数量阈值,生成警告信息,并将所述警告信息发送至用户终端。

s14、调度服务器从所述目标设备节点中确定调度设备节点。

本发明实施例中,目标设备节点都是满足调度要求的,因此,可以从中随机选取用于调度的设备节点(调度设备节点),也可以将目标设备节点中可用空间容量最大的设备节点确定为用调度设备节点等,本发明实施例对此不作具体的限定。

s15、调度服务器将所述文件部署指令所指示的文件部署至所述调度设备节点。

本发明实施例中,文件的部署份数与调度设备节点的数量对应,一个调度设备节点部署一份文件。

作为一种可选的实施方式,所述方法还包括:

针对每个所述机房,每隔预设时间间隔,获取所述机房中每个设备节点的节点信息;

根据所述节点信息,确定所述设备节点的多个权重值;

根据所述多个权重值,计算所述设备节点的调度分数;

将所述调度分数存储至所述数据服务器。

其中,所述节点信息可以包括:节点状态、可用空间容量、节点负载、任务数量以及节点类型等。

其中,所述节点类型可以包括:服务器以及智能硬件设备等。

在该可选的实施方式中,可以预先设置一个时间间隔(预设时间间隔),每隔预设时间间隔,获取每个机房内所有设备节点的节点信息,然后根据节点信息,可以确定设备节点的多个权重值,对于节点状态,在线时,权重值为1,不在线时,权重值为0;对于可用空间容量,大于50t时,权重值为5,大于10t并小于或等于50t时,权重值为4,大于3t并小于或等于10t时,权重值为3,大于500g并小于或等于3t时,权重值为2,大于100g并小于或等于500g时,权重值为1,小于100g时,权重值为0;节点负载可以为cpu(centralprocessingunit,中央处理器)负载,及负载使用的cpu核数,对于节点类型为服务器的设备节点,负载小于1时,权重值为5,负载大于或等于1并小于cpu核数的1/4时,权重值为4,负载大于或等于cpu核数的1/4并小于cpu核数的1/2时,权重值为3,负载大于或等于cpu核数的1/2并小于cpu核数的3/4时,权重值为2,负载大于或等于cpu核数的3/4时,权重值为1。对于节点类型为智能硬件设备的设备节点,负载小于1时,权重值为5,负载大于或等于1并小于2,权重值为4,负载大于或等于2并小于3时,权重值为3,负载大于或等于3并小于4时,权重值为2,负载大于或等于4时,权重值为1。可以根据正在部署的任务数量确定权重值,对于节点类型为服务器的设备节点,任务数量小于2时,权重值为5,任务数量大于或等于2并小于4时,权重值为4,任务数量大于或等于4并小于6时,权重值为3,任务数量大于或等于6并小于8时,权重值为2,任务数量大于或等于8时,权重值为1。对于节点类型为智能硬件设备的设备节点,任务数量小于1时,权重值为5,任务数量大于或等于1并小于2时,权重值为4,任务数量大于或等于2并小于3时,权重值为3,任务数量大于或等于3并小于4时,权重值为2,任务数量大于或等于4时,权重值为1。其中,不同的节点信息对应的权重值的取值可以根据具体情况设定。最后,将节点状态的权重值、可用空间容量的权重值、节点负载的权重值以及任务数量的权重值相乘,得出设备节点的调度分数。可以将设备节点的调度分数存储至数据服务器中,需要进行节点调度时,可以直接读取调度分数并做出调度策略,提高了调度效率。

作为一种可选的实施方式,所述方法还包括:

针对每个机房,每隔所述预设时间间隔,获取所述机房中每个设备节点的第二容量信息;

将所述机房中所有设备节点的第二容量信息进行统计,获得所述机房的第一容量信息;

将所述第一容量信息存储至所述数据服务器。

在该可选的实施方式中,可以预先设置一个时间间隔(预设时间间隔),每隔预设时间间隔,获取所有设备节点的容量信息,该容量信息可以包括设备节点的空间总容量以及已用空间容量,并可以通过统计一个机房内所有设备节点的容量信息,确定一个机房的容量信息,这些信息可以保存在数据服务器中,并定时更新。因此,可以直接从数据服务器中读取机房的容量信息或设备节点的容量信息,不需要对多个设备节点进行查询等相关操作,可以提高效率。

在图1所描述的方法流程中,当接收到文件部署指令时,可以从数据服务器中,获取所有机房的第一容量信息,其中,所述每个机房包括多个设备节点;根据所述每个机房的第一容量信息,从所有机房中确定目标机房;根据预设分数阈值以及所述目标机房中所有设备节点的调度分数,判断所述所有设备节点中是否存在满足调度要求的目标设备节点;若所述所有设备节点中存在满足调度要求的目标设备节点,从所述目标设备节点中确定调度设备节点;将所述文件部署指令所指示的文件部署至所述调度设备节点。可见,可以从数据服务器中获取所有机房的信息,并确定用于调度的目标机房,根据目标机房中所有节点的调度分数以及预设分数阈值,从中挑选节点进行调度,即根据数据服务器保存的信息,确定调度节点,不需要与节点通信,也不需要花时间对节点的各类信息进行验证,从而可以进行快速调度,可以对大量文件进行快速部署,提高了调度的效率。

以上所述,仅是本发明的具体实施方式,但本发明的保护范围并不局限于此,对于本领域的普通技术人员来说,在不脱离本发明创造构思的前提下,还可以做出改进,但这些均属于本发明的保护范围。

请参见图2,图2是本发明公开的一种设备节点的文件部署装置的较佳实施例的功能模块图。

在一些实施例中,所述设备节点的文件部署装置运行于调度服务器中。所述设备节点的文件部署装置可以包括多个由程序代码段所组成的功能模块。所述中的各个程序段的程序代码可以存储于存储器中,并由至少一个处理器所执行,以执行图1所描述的设备节点的文件部署方法中的部分或全部步骤。

本实施例中,所述设备节点的文件部署装置根据其所执行的功能,可以被划分为多个功能模块。所述功能模块可以包括:获取模块201、确定模块202、判断模块203以及部署模块204。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。在一些实施例中,关于各模块的功能将在后续的实施例中详述。

获取模块201,用于当接收到文件部署指令时,从数据服务器中,获取每个机房的第一容量信息,其中,所述每个机房包括多个设备节点;

其中,所述数据服务器可以为redis(remotedictionaryserver)服务器,是一种key-value(键值对)存储系统,用于保存数据。

其中,所述设备节点可以包括但不限于智能硬件设备以及服务器。

其中,所述调度服务器可以为用于调度设备节点的服务器。

本发明实施例中,数据服务器中存储有各个机房的存储信息(第一容量信息),每个机房中有多个设备节点。当接收到文件部署指令时,调度服务器可以从数据服务器中获取到所有机房的第一容量信息。

确定模块202,用于根据所述每个机房的第一容量信息,从所有机房中确定目标机房;

具体的,所述第一容量信息包括空间总容量以及已用空间容量,所述根据所述每个机房的第一容量信息,从所有机房中确定目标机房包括:

根据所述空间总容量以及所述已用空间容量,确定每个机房的可用空间容量;

根据配置文件,判断是否需要进行机房容灾;

若不需要进行机房容灾,从所述所有机房中,将所述可用空间容量最大的机房确定为目标机房。

判断模块203,用于根据预设分数阈值以及所述目标机房中所有设备节点的调度分数,判断所述所有设备节点中是否存在满足调度要求的目标设备节点;

其中,所述预设分数阈值可以有多个。

其中,所述调度分数用来衡量一个设备节点是否适合被调度。

本发明实施例中,并不是每个设备节点都可以满足被调度的要求,需要从机房中确定可以被调度的设备节点,可以根据预设分数阈值以及所有设备节点的调度分数,判断所有设备节点是否存在满足调度要求的目标设备节点。

所述确定模块202,还用于若所述所有设备节点中存在满足调度要求的目标设备节点,从所述目标设备节点中确定调度设备节点;

本发明实施例中,目标设备节点都是满足调度要求的,因此,可以从中随机选取用于调度的设备节点(调度设备节点),也可以将目标设备节点中可用空间容量最大的设备节点确定为用调度设备节点等,本发明实施例对此不作具体的限定。

部署模块204,用于将所述文件部署指令所指示的文件部署至所述调度设备节点。

本发明实施例中,文件的部署份数与调度设备节点的数量对应,一个调度设备节点部署一份文件。

作为一种可选的实施方式,所述预设分数阈值有多个,多个所述预设分数阈值从大到小排序,所述判断模块203根据预设分数阈值以及所述目标机房中所有设备节点的调度分数,判断所述所有设备节点中是否存在满足调度要求的目标设备节点的方式具体为:

针对多个所述预设分数阈值中的最大预设分数阈值,统计所述目标机房中调度分数大于所述最大预设分数阈值的设备节点的第一数量;

判断所述第一数量是否大于或等于预设数量阈值;

若所述第一数量大于或等于预设数量阈值,确定所述所有设备节点中存在满足调度要求的目标设备节点,其中,所述目标设备节点为所述目标机房中调度分数大于所述最大预设分数阈值的设备节点。

其中,所述预设数量阈值对应机房中需要部署的文件份数,假设部署一份文件对应的适合被调度的节点数量为125,若机房中需要部署的文件份数为1,则预设数量阈值为125,若文件份数为2,则预设数量阈值为250。因为一个机房或一个设备节点可以有多个正在部署的任务,为了保证多任务可以并行处理,需要确保部署一份文件时,有多个设备节点可以被调度。

在该可选的实施方式中,所述预设分数阈值可以根据业务需求确定,本发明实施例中选取的预设分数阈值为75、50、25以及0。最大预设分数阈值为75,可以从数据服务器中将调度分数大于75的设备节点返回,并判断返回的设备节点的数量(第一数量)是否大于或等于预设数量阈值,若第一数量大于或等于预设数量阈值,则确定所述所有设备节点中存在满足调度要求的目标设备节点。

作为一种可选的实施方式,所述设备节点的文件部署装置还可以包括:

提取模块,用于若所述第一数量小于预设数量阈值,按照多个所述预设分数阈值从大到小的排列顺序,提取除所述最大预设分数阈值之外的第一预设分数阈值;

统计模块,用于统计所述目标机房中调度分数大于所述第一预设分数阈值的设备节点的第二数量;

所述判断模块203,还用于判断所述第二数量是否大于或等于所述预设数量阈值;

所述确定模块202,还用于若所述第二数量大于或等于所述预设数量阈值,确定所述所有设备节点中存在满足调度要求的目标设备节点,其中,所述目标设备节点为所述目标机房中调度分数大于所述第一预设分数阈值的设备节点。

作为一种可选的实施方式,假设预设分数阈值为75、50、25以及0,若第一数量小于预设数量阈值,则将50确定为第一预设分数阈值,统计目标机房中调度分数大于50的设备节点的第二数量,并判断第二数量是否大于或等于预设数量阈值,若第二数量大于或等于预设数量阈值,则确定目标机房的所有设备节点中存在满足调度要求的目标设备节点。若第二数量小于预设数量阈值,则统计目标机房中调度分数大于25的设备节点的第三数量,判断第三数量是否大于或等于预设数量阈值,若第三数量大于或等于预设数量阈值,则确定目标机房的所有设备节点中存在满足调度要求的目标设备节点。若第三数量小于预设数量阈值,则统计目标机房中调度分数大于0的设备节点的第四数量,判断第四数量是否大于或等于预设数量阈值,若第四数量大于或等于预设数量阈值,则确定目标机房的所有设备节点中存在满足调度要求的目标设备节点。可选的,若所述第一设备节点不满足调度用要求,生成警告信息,并将所述警告信息发送至用户终端。

作为一种可选的实施方式,所述获取模块201,还用于针对每个所述机房,每隔预设时间间隔,获取所述机房中每个设备节点的节点信息;

所述确定模块202,还用于根据所述节点信息,确定所述设备节点的多个权重值;

所述设备节点的文件部署装置还可以包括:

计算模块,用于根据所述多个权重值,计算所述设备节点的调度分数;

存储模块,用于将所述调度分数存储至所述数据服务器。

其中,所述节点信息可以包括:节点状态、可用空间容量、节点负载、任务数量以及节点类型等。

其中,所述节点类型可以包括:服务器以及智能硬件设备等。

在该可选的实施方式中,可以预先设置一个时间间隔(预设时间间隔),每隔预设时间间隔,获取每个机房内所有设备节点的节点信息,然后根据节点信息,可以确定设备节点的多个权重值,对于节点状态,在线时,权重值为1,不在线时,权重值为0;对于可用空间容量,大于50t时,权重值为5,大于10t并小于或等于50t时,权重值为4,大于3t并小于或等于10t时,权重值为3,大于500g并小于或等于3t时,权重值为2,大于100g并小于或等于500g时,权重值为1,小于100g时,权重值为0;节点负载可以为cpu(centralprocessingunit,中央处理器)负载,及负载使用的cpu核数,对于节点类型为服务器的设备节点,负载小于1时,权重值为5,负载大于或等于1并小于cpu核数的1/4时,权重值为4,负载大于或等于cpu核数的1/4并小于cpu核数的1/2时,权重值为3,负载大于或等于cpu核数的1/2并小于cpu核数的3/4时,权重值为2,负载大于或等于cpu核数的3/4时,权重值为1。对于节点类型为智能硬件设备的设备节点,负载小于1时,权重值为5,负载大于或等于1并小于2,权重值为4,负载大于或等于2并小于3时,权重值为3,负载大于或等于3并小于4时,权重值为2,负载大于或等于4时,权重值为1。可以根据正在部署的任务数量确定权重值,对于节点类型为服务器的设备节点,任务数量小于2时,权重值为5,任务数量大于或等于2并小于4时,权重值为4,任务数量大于或等于4并小于6时,权重值为3,任务数量大于或等于6并小于8时,权重值为2,任务数量大于或等于8时,权重值为1。对于节点类型为智能硬件设备的设备节点,任务数量小于1时,权重值为5,任务数量大于或等于1并小于2时,权重值为4,任务数量大于或等于2并小于3时,权重值为3,任务数量大于或等于3并小于4时,权重值为2,任务数量大于或等于4时,权重值为1。最后,将节点状态的权重值、可用空间容量的权重值、节点负载的权重值以及任务数量的权重值相乘,得出设备节点的调度分数。可以将设备节点的调度分数存储至数据服务器中,需要进行节点调度时,可以直接读取调度分数并做出调度策略,提高了调度效率。

作为一种可选的实施方式,所述获取模块201,还用于针对每个机房,每隔所述预设时间间隔,获取所述机房中每个设备节点的第二容量信息;

所述统计模块,还用于将所述机房中所有设备节点的第二容量信息进行统计,获得所述机房的第一容量信息;

所述存储模块,还用于将所述第一容量信息存储至所述数据服务器。

在该可选的实施方式中,可以预先设置一个时间间隔(预设时间间隔),每隔预设时间间隔,获取所有设备节点的容量信息,该容量信息可以包括设备节点的空间总容量以及已用空间容量,并可以通过统计一个机房内所有设备节点的容量信息,确定一个机房的容量信息,这些信息可以保存在数据服务器中,并定时更新。因此,可以直接从数据服务器中读取机房的容量信息或设备节点的容量信息,不需要对多个设备节点进行查询等相关操作,可以提高效率。

作为一种可选的实施方式,所述第一容量信息包括空间总容量以及已用空间容量,所述确定模块202根据所述每个机房的第一容量信息,从所有机房中确定目标机房的方式具体为:

根据所述空间总容量以及所述已用空间容量,确定每个机房的可用空间容量;

根据配置文件,判断是否需要进行机房容灾;

若不需要进行机房容灾,从所述所有机房中,将所述可用空间容量最大的机房确定为目标机房。

其中,第一容量信息可以包括一个机房的空间总容量以及已用空间容量。

其中,所述机房容灾是指在另一个机房中备份文件,防止一个机房因故障从而导致文件丢失或停止提供该文件的服务。

在该可选的实施方式中,可以根据机房的空间总容量以及已用空间容量,确定机房的可用空间容量,若配置文件配置的参数指示不需要进行机房容灾,则只需要在一个机房中选择设备节点进行调度,可以将可用空间容量最大的机房确定为目标机房,以确保从目标机房选取的设备节点有足够的空间容量来存储文件。

作为一种可选的实施方式,所述设备节点的文件部署装置还可以包括:

排序模块,用于若需要进行机房容灾,根据所述可用空间容量从大到小的顺序,对所述所有机房进行排序;

所述确定模块202,还用于按照排序后的所述所有机房的先后顺序,将排序靠前的两个机房确定为目标机房。

在该可选的实施方式中,若配置文件配置的参数指示需要进行机房容灾,则除了从一个机房中选取设备节点存储文件,还需要从另一个机房中选择设备节点存储文件。可以按照可用空间容量从大到小的顺序,对所有机房进行排序,将排序靠前的两个机房确定为目标机房,即将可用空间容量最大的两个机房确定为目标机房。

在图2所描述的设备节点的文件部署装置中,当接收到文件部署指令时,可以从数据服务器中,获取所有机房的第一容量信息,其中,所述每个机房包括多个设备节点;根据所述每个机房的第一容量信息,从所有机房中确定目标机房;根据预设分数阈值以及所述目标机房中所有设备节点的调度分数,判断所述所有设备节点中是否存在满足调度要求的目标设备节点;若所述所有设备节点中存在满足调度要求的目标设备节点,从所述目标设备节点中确定调度设备节点;将所述文件部署指令所指示的文件部署至所述调度设备节点。可见,本发明中,可以从数据服务器中获取所有机房的信息,并确定用于调度的目标机房,根据目标机房中所有节点的调度分数以及预设分数阈值,从中挑选节点进行调度,即根据数据服务器保存的信息,确定调度节点,不需要与节点通信,也不需要花时间对节点的各类信息进行验证,从而可以进行快速调度,可以对大量文件进行快速部署,提高了调度的效率。

如图3所示,图3是本发明实现设备节点的文件部署方法的较佳实施例的调度服务器的结构示意图。所述调度服务器3包括存储器31、至少一个处理器32、存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33及至少一条通讯总线34。

本领域技术人员可以理解,图3所示的示意图仅仅是所述调度服务器3的示例,并不构成对所述调度服务器3的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述调度服务器3还可以包括输入输出设备、网络接入设备等。

所述调度服务器3所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(virtualprivatenetwork,vpn)等。

所述至少一个处理器32可以是中央处理单元(centralprocessingunit,cpu),还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、晶体管逻辑器件、分立硬件组件等。该处理器32可以是微处理器或者该处理器32也可以是任何常规的处理器等,所述处理器32是所述调度服务器3的控制中心,利用各种接口和线路连接整个调度服务器3的各个部分。

所述存储器31可用于存储所述计算机程序33和/或模块/单元,所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元,以及调用存储在存储器31内的数据,实现所述调度服务器3的各种功能。所述存储器31可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据调度服务器3的使用所创建的数据(比如音频数据等)等。此外,存储器31可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件等。

结合图1,所述调度服务器3中的所述存储器31存储多个指令以实现一种设备节点的文件部署方法,所述处理器32可执行所述多个指令从而实现:

当接收到文件部署指令时,从数据服务器中,获取每个机房的第一容量信息,其中,所述每个机房包括多个设备节点;

根据所述每个机房的第一容量信息,从所有机房中确定目标机房;

根据预设分数阈值以及所述目标机房中所有设备节点的调度分数,判断所述所有设备节点中是否存在满足调度要求的目标设备节点;

若所述所有设备节点中存在满足调度要求的目标设备节点,从所述目标设备节点中确定调度设备节点;

将所述文件部署指令所指示的文件部署至所述调度设备节点。

在一种可选的实施方式中,所述预设分数阈值有多个,多个所述预设分数阈值从大到小排序,所述根据预设分数阈值以及所述目标机房中所有设备节点的调度分数,判断所述所有设备节点中是否存在满足调度要求的目标设备节点包括:

针对多个所述预设分数阈值中的最大预设分数阈值,统计所述目标机房中调度分数大于所述最大预设分数阈值的设备节点的第一数量;

判断所述第一数量是否大于或等于预设数量阈值;

若所述第一数量大于或等于预设数量阈值,确定所述所有设备节点中存在满足调度要求的目标设备节点,其中,所述目标设备节点为所述目标机房中调度分数大于所述最大预设分数阈值的设备节点。

在一种可选的实施方式中,所述处理器32可执行所述多个指令从而实现:

若所述第一数量小于预设数量阈值,按照多个所述预设分数阈值从大到小的排列顺序,提取除所述最大预设分数阈值之外的第一预设分数阈值;

统计所述目标机房中调度分数大于所述第一预设分数阈值的设备节点的第二数量;

判断所述第二数量是否大于或等于所述预设数量阈值;

若所述第二数量大于或等于所述预设数量阈值,确定所述所有设备节点中存在满足调度要求的目标设备节点,其中,所述目标设备节点为所述目标机房中调度分数大于所述第一预设分数阈值的设备节点。

在一种可选的实施方式中,所述处理器32可执行所述多个指令从而实现:

针对每个所述机房,每隔预设时间间隔,获取所述机房中每个设备节点的节点信息;

根据所述节点信息,确定所述设备节点的多个权重值;

根据所述多个权重值,计算所述设备节点的调度分数;

将所述调度分数存储至所述数据服务器。

在一种可选的实施方式中,所述处理器32可执行所述多个指令从而实现:

针对每个机房,每隔所述预设时间间隔,获取所述机房中每个设备节点的第二容量信息;

将所述机房中所有设备节点的第二容量信息进行统计,获得所述机房的第一容量信息;

将所述第一容量信息存储至所述数据服务器。

在一种可选的实施方式中,所述第一容量信息包括空间总容量以及已用空间容量,所述根据所述每个机房的第一容量信息,从所有机房中确定目标机房包括:

根据所述空间总容量以及所述已用空间容量,确定每个机房的可用空间容量;

根据配置文件,判断是否需要进行机房容灾;

若不需要进行机房容灾,从所述所有机房中,将所述可用空间容量最大的机房确定为目标机房。

在一种可选的实施方式中,所述处理器32可执行所述多个指令从而实现:

若需要进行机房容灾,根据所述可用空间容量从大到小的顺序,对所述所有机房进行排序;

按照排序后的所述所有机房的先后顺序,将排序靠前的两个机房确定为目标机房。

具体地,所述处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。

在图3所描述的调度服务器3中,当接收到文件部署指令时,可以从数据服务器中,获取所有机房的第一容量信息,其中,所述每个机房包括多个设备节点;根据所述每个机房的第一容量信息,从所有机房中确定目标机房;根据预设分数阈值以及所述目标机房中所有设备节点的调度分数,判断所述所有设备节点中是否存在满足调度要求的目标设备节点;若所述所有设备节点中存在满足调度要求的目标设备节点,从所述目标设备节点中确定调度设备节点;将所述文件部署指令所指示的文件部署至所述调度设备节点。可见,可以从数据服务器中获取所有机房的信息,并确定用于调度的目标机房,根据目标机房中所有节点的调度分数以及预设分数阈值,从中挑选节点进行调度,即根据数据服务器保存的信息,确定调度节点,不需要与节点通信,也不需要花时间对节点的各类信息进行验证,从而可以进行快速调度,可以对大量文件进行快速部署,提高了调度的效率。

所述调度服务器3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)。

在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。

最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1