任务调度的方法、装置和系统与流程

文档序号:27825780发布日期:2021-12-07 20:33阅读:101来源:国知局
任务调度的方法、装置和系统与流程

1.本发明涉及计算机技术领域,尤其涉及一种任务调度的方法、装置和系统。


背景技术:

2.现有技术中,针对任务调度类分布式系统的高可用性实现,大多是通过一套中心化的组件实现,并且也要保障这套中心化的组件高可用,整体架构中也需要引入多余的第三方分布式协调组件来实现,实现方案整体比较重,架构复杂。


技术实现要素:

3.有鉴于此,本发明实施例提供一种任务调度的方法、装置和系统,通过采用去中心化思想在任务系统的多个任务节点执行任务获取逻辑,能够实现轻量级、高可用的任务调度系统。
4.为实现上述目的,根据本发明实施例的一个方面,提供了一种任务调度的方法,包括:在任务系统的多个任务节点执行如下任务获取逻辑:
5.周期性地判断所述任务节点的缓存中是否存在任务标识;
6.若是,则利用所述任务节点处理所述任务标识对应的任务;
7.否则,采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识,以处理与所述一个任务标识对应的任务。
8.可选地,利用所述任务节点处理所述任务标识对应的任务之前,还包括:确认所述任务标识有效;
9.若所述任务标识失效,则采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识,以处理与所述一个任务标识对应的任务。
10.可选地,确认所述任务标识有效之后,还包括:
11.向共享存储端发送续期请求,以对所述任务节点的缓存中的所述任务标识进行续期操作。
12.可选地,采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识,包括:
13.对所述多个任务标识中的任一任务标识执行获取操作,判断是否获取成功;若是,则以成功获取的任务标识作为所述一个任务标识;
14.否则,对所述多个任务标识中所述任一任务标识的下一个任务标识执行获取操作,判断是否获取成功;若是,则以成功获取的任务标识作为所述一个任务标识;否则,对所述多个任务标识中所述下一个任务标识的下一个任务标识执行获取操作;如此循环,直至获取成功或对所述多个任务标识中的所有任务标识都执行获取操作;
15.判断是否获取成功;若是,则以成功获取的任务节点作为所述一个任务标识;否则,将所述任务节点标记为候选节点。
16.可选地,所有任务标识采用键值对保存;其中,所述键值对的键包括任务标识,所
述键值对的值包括任务标识对应的节点标识;
17.所述获取操作包括:向共享存储端发送获取请求,以使共享存储端将任务标识对应的键值对的值修改为所述任务节点的节点标识;接收所述共享存储端返回的获取结果;
18.其中,若所述获取结果为表明修改成功的第一消息,则表明获取成功;若所述获取结果为表明修改失败的第二消息,则表明获取失败。
19.可选地,所述共享存储端通过执行lua脚本将任务标识对应的节点标识字段的字段值修改为所述任务节点的节点标识。
20.根据本发明实施例的第二方面,提供一种任务调度装置,部署在任务系统的多个任务节点,包括:轮询获取模块和任务接入模块;其中,
21.所述轮询获取模块周期性地判断所述任务节点的缓存中是否存在任务标识;若是,则所述任务接入模块利用所述任务节点处理所述任务标识对应的任务;否则,所述轮询获取模块采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识,所述任务接入模块处理与所述一个任务标识对应的任务。
22.可选地,所述轮询获取模块还用于:在所述任务接入模块利用所述任务节点处理所述任务标识对应的任务之前,确认所述任务标识有效;若所述任务标识失效,则采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识;
23.所述任务接入模块还用于:处理与所述一个任务标识对应的任务。
24.可选地,所述轮询获取模块还用于:确认所述任务标识有效之后,对所述任务节点的缓存中的所述任务标识进行续期操作。
25.可选地,所述轮询获取模块采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识,包括:
26.对所述多个任务标识中的任一任务标识执行获取操作,判断是否获取成功;若是,则以成功获取的任务标识作为所述一个任务标识;
27.否则,对所述多个任务标识中所述任一任务标识的下一个任务标识执行获取操作,判断是否获取成功;若是,则以成功获取的任务标识作为所述一个任务标识;否则,对所述多个任务标识中所述下一个任务标识的下一个任务标识执行获取操作;如此循环,直至获取成功或对所述多个任务标识中的所有任务标识都执行获取操作;
28.判断是否获取成功;若是,则以成功获取的任务节点作为所述一个任务标识;否则,将所述任务节点标记为候选节点。
29.可选地,所有任务标识采用键值对保存;其中,所述键值对的键包括任务标识,所述键值对的值包括任务标识对应的节点标识;
30.所述获取操作包括:向共享存储端发送获取请求,以使共享存储端将任务标识对应的键值对的值修改为所述任务节点的节点标识;接收所述共享存储端返回的获取结果;
31.其中,若所述获取结果为表明修改成功的第一消息,则表明获取成功;若所述获取结果为表明修改失败的第二消息,则表明获取失败。
32.可选地,所述共享存储端通过执行lua脚本将任务标识对应的节点标识字段的字段值修改为所述任务节点的节点标识。
33.根据本发明实施例的第三方面,提供一种任务调度系统,包括:共享存储端,以及部署在任务系统的多个任务节点的任务调度装置;其中,
34.所述共享存储端保存所有任务的任务标识;所述任务调度装置周期性地判断所述任务节点的缓存中是否存在任务标识;若是,则利用所述任务节点处理所述任务标识对应的任务;否则,采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识,以处理与所述一个任务标识对应的任务。
35.可选地,所述任务调度装置还用于:在利用所述任务节点处理所述任务标识对应的任务之前,确认所述任务标识有效;若所述任务标识失效,则采用轮询方式从所述共享存储端存储的多个任务标识中获取一个任务标识,以处理与所述一个任务标识对应的任务。
36.可选地,所述任务调度装置还用于:确认所述任务标识有效之后,对所述任务节点的缓存中的所述任务标识进行续期操作。
37.可选地,所述任务调度装置采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识,包括:
38.对所述多个任务标识中的任一任务标识执行获取操作,判断是否获取成功;若是,则以成功获取的任务标识作为所述一个任务标识;
39.否则,对所述多个任务标识中所述任一任务标识的下一个任务标识执行获取操作,判断是否获取成功;若是,则以成功获取的任务标识作为所述一个任务标识;否则,对所述多个任务标识中所述下一个任务标识的下一个任务标识执行获取操作;如此循环,直至获取成功或对所述多个任务标识中的所有任务标识都执行获取操作;
40.判断是否获取成功;若是,则以成功获取的任务节点作为所述一个任务标识;否则,将所述任务节点标记为候选节点。
41.可选地,所述共享存储端采用键值对保存所有任务标识;其中,所述键值对的键包括任务标识,所述键值对的值包括任务标识对应的节点标识;
42.所述获取操作包括:向所述共享存储端发送获取请求,以使所述共享存储端将任务标识对应的键值对的值修改为所述任务节点的节点标识;接收所述共享存储端返回的获取结果;
43.其中,若所述获取结果为表明修改成功的第一消息,则表明获取成功;若所述获取结果为表明修改失败的第二消息,则表明获取失败。
44.可选地,所述共享存储端通过执行lua脚本将任务标识对应的节点标识字段的字段值修改为所述任务节点的节点标识。
45.根据本发明实施例的第四方面,提供一种任务调度的电子设备,包括:
46.一个或多个处理器;
47.存储装置,用于存储一个或多个程序,
48.当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例第一方面提供的方法。
49.根据本发明实施例的第五方面,提供一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例第一方面提供的方法。
50.上述发明中的一个实施例具有如下优点或有益效果:通过采用去中心化思想在任务系统的多个任务节点执行任务获取逻辑,能够实现轻量级、高可用的任务调度系统。
51.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
52.附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
53.图1是本发明实施例中任务调度的方法的架构示意图;
54.图2是本发明可选实施例中任务调度的方法的主要流程示意图;
55.图3是本发明可选实施例中轮询逻辑的示意图;
56.图4是本发明实施例的任务调度装置的主要模块的示意图;
57.图5是本发明实施例可以应用于其中的示例性系统架构图;
58.图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
59.以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
60.在软件系统线上实际运行过程中,经常会由于系统以外故障,导致某台主机故障,即宕机,影响到对应运行的业务。在分布式系统中,系统部分节点经常会出现宕机等故障。因此,在分布式任务系统中,分布式任务节点的高可用性显得尤为重要。目前针对任务调度类分布式系统的高可用性实现,大都是重量级框架,带来了更多复杂性,也不利于维护,尤其是对于中小型的任务调度系统,更显得架构不协调。基于此需求,本发明引入轻量级去中心化的高可用任务调度方案,能够低成本、高效率地保障系统的高可用性。
61.图1是本发明实施例中任务调度的方法的架构示意图。如图1所示,本发明轻量级去中心化的高可用任务调度方案包括两个部分:共享存储端,用于保存各个任务的任务标识;在任务系统的任务节点执行任务获取逻辑的抢占组件。
62.用户可以通过节点web管理端对共享存储端存储的各个任务标识进行维护和管理。共享存储端中任务标识的存储方式可以根据实际情况进行选择,例如采用键值对等。共享存储端可以采用redis(remote dictionary server,远程字典服务)存储方式,redis存储轻量高效并能满足对事务支持的要求,而且redis很多命令如setnx、expire等命令能快速实现本发明任务调度方案的逻辑。当然,本领域技术人员也可以采用其他的存储方式,比如:mysql(一个关系型数据库管理系统)等关系数据库。
63.抢占组件与共享存储端周期性地交互,获取当前任务节点可用的任务标识,或续期当前任务节点的有效期。各个任务节点的抢占组件采用抢占式的方式获取任务标识。在图1示出的示例中,一项业务包括四个任务,对应四个任务标识,分别为1、2、3、4。任务节点a抢占到任务标识1,任务节点b抢占到任务标识2,任务节点c抢占到任务标识3,任务节点d抢占到任务标识4。任务节点e和f无法抢占到有效任务标识,将保持为候选节点。若任务节点a、b、c、d任意一个节点出现宕机故障,则候选节点将抢占该宕机节点之前所属的任务标识并代替该节点进行工作。
64.图2是本发明可选实施例中任务调度的方法的主要流程示意图,本发明实施例的任务调度的方法在任务系统的多个任务节点执行任务获取逻辑,包括标识s101、标识s102
和步骤s103。在每个任务节点执行任务获取逻辑的过程即图1中的一个抢占组件抢占任务标识的过程。
65.每个任务节点获取到任务标识之后存储在其缓存中。在步骤s101中,周期性地判断所述任务节点的缓存中是否存在任务标识。若是,则跳转至步骤s102,利用所述任务节点处理所述任务标识对应的任务。否则,跳转至步骤s103,采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识,以处理与所述一个任务标识对应的任务。通过采用去中心化思想在任务系统的多个任务节点执行任务获取逻辑,能够实现轻量级、高可用的任务调度系统。
66.可选地,利用所述任务节点处理所述任务标识对应的任务之前,还包括:确认所述任务标识有效。若所述任务标识失效,则采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识,以处理与所述一个任务标识对应的任务。
67.本实施例中为各个任务节点获取的任务标识设置有效期,有效期的时长可以根据实际情况进行选择性设定,例如5秒、10秒、30秒等。示例性地,任务节点a获取到任务标识1,将任务标识1存储至任务节点a的缓存中,设置有效期为30秒。若下一个周期内执行任务获取逻辑时,任务节点a中任务标识1的缓存时间未超过30秒,则任务标识1未失效,此时可以直接利用任务节点a处理任务标识1对应的任务。若下一个周期内执行任务获取逻辑时,任务节点a中任务标识1的缓存时间超过30秒,则任务标识1失效,此时采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识。若获取成功,则利用任务节点a处理对应的任务;否则将任务节点a标记为候选节点。
68.每个候选节点周期性地执行任务获取逻辑以获取一个任务标识,并在获取成功后处理对应的任务。
69.可选地,确认所述任务标识有效之后,还包括:向共享存储端发送续期请求,以对所述任务节点的缓存中的所述任务标识进行续期操作。每次续期操作的续期时长可以根据实际情况选择性设定,此处不再赘述。
70.以前述示例为例,若下一个周期内执行任务获取逻辑时,任务节点a中任务标识1的缓存时间未超过30秒,则任务标识1未失效,此时向共享存储端发送续期请求,以对任务节点a的缓存中的任务标识1进行续期操作,将任务节点a的缓存中的任务标识1的有效期延长,例如延长5秒、10秒、30秒等。
71.通过续期操作,能够提高任务标识被任务节点获取的效率,降低对系统资源的消耗、提高任务处理效率。
72.可选地,采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识,包括:对所述多个任务标识中的任一任务标识执行获取操作,判断是否获取成功;若是,则以成功获取的任务标识作为所述一个任务标识;否则,对所述多个任务标识中所述任一任务标识的下一个任务标识执行获取操作,判断是否获取成功;若是,则以成功获取的任务标识作为所述一个任务标识;否则,对所述多个任务标识中所述下一个任务标识的下一个任务标识执行获取操作;如此循环,直至获取成功或对所述多个任务标识中的所有任务标识都执行获取操作;判断是否获取成功;若是,则以成功获取的任务节点作为所述一个任务标识;否则,将所述任务节点标记为候选节点。
73.示例性地,多个任务标识分别为1、2、3、4,将多个任务标识按照编号自增的方式进
行排序。采用轮询方式获取任务标识时,首先获取编号最小的任务标识。若任务标识1获取失败,则获取编号为2的任务标识。若任务标识2获取失败,则获取编号为3的任务标识。若任务标识3获取失败,则获取编号为4的任务标识。若任务标识4获取失败,则表明当前任务节点未抢占到任务标识,此时将当前任务节点标记为候选节点。
74.实际应用过程中,可以按照设定的顺序,如任务标识递增或递减的顺序,对多个任务标识执行获取操作。也可以随机确定执行获取操作的多个任务标识的顺序。本发明实施例对此不作具体限定。
75.本实施例采用递归算法获取任务标识,且算法逻辑在任务节点端实现,能够实现任务调度的去中心化和轻量化部署,复杂性低,便于维护。本实施例尤其适用于中小型的任务调度系统。
76.图3是本发明可选实施例中轮询逻辑的示意图。本实施例中,共享存储端存储的多个任务标识分别为1、2、
……
、n。n为正整数。如图3所示,轮询逻辑的详细步骤包括:
77.步骤s301、判断任务节点的缓存中是否存在任务标识;若是,则跳转至步骤s302;否则跳转至步骤s304;
78.步骤s302、判断任务标识是否有效;若是,则跳转至步骤s303;否则跳转至步骤s304;
79.步骤s303、对任务节点的缓存中的任务标识进行续期操作,然后流程结束;
80.步骤s304、获取任务标识i,i初始值为1;
81.步骤s305、判断是否获取成功;若是,则流程结束;否则跳转至步骤s306;
82.步骤s306、判断i=n是否成立,n代表共享存储端存储的任务标识的数量;若是,则跳转至步骤s307;否则跳转至步骤s304;
83.步骤s307、将任务节点标记为候选节点,然后流程结束。
84.本实施例中,候选节点存在于任务系统集群中,候选节点会周期性地检测并执行获取操作,以确定是否存在有效可用的任务标识。当有作业中的任务节点宕机,候选节点立刻会抢占到该节点对应的任务标识,并代替该宕机节点工作。宕机节点恢复后,会成为新的候选节点,周期性地检测并执行获取操作。
85.本实施例通过采用去中心化思想在任务系统的多个任务节点执行任务获取逻辑,能够实现轻量级、高可用的任务调度系统。
86.可选地,所有任务标识采用键值对保存;其中,所述键值对的键包括任务标识,所述键值对的值包括任务标识对应的节点标识。所述获取操作包括:向共享存储端发送获取请求,以使共享存储端将任务标识对应的键值对的值修改为所述任务节点的节点标识;接收所述共享存储端返回的获取结果。其中,若所述获取结果为表明修改成功的第一消息,则表明获取成功;若所述获取结果为表明修改失败的第二消息,则表明获取失败。
87.示例性地,若任务节点a获取任务标识1的过程中,任务标识1被任务节点b获取到,则共享存储端无法将任务标识对应的键值对的值修改为任务节点a的节点标识,此时共享存储端反馈第二消息。若共享存储端成功将任务标识对应的键值对的值修改为任务节点a的节点标识,此时共享存储端反馈第一消息。
88.任务标识用于唯一表示一个任务,节点标识用于唯一表示一个任务节点。标识的形式可以根据实际情况进行选择性设定。例如,四个任务的任务标识采用递增的正整数表
示,为1、2、3、4,节点标识采用任务节点的ip地址表示。
89.示例性地,共享存储端采用基于redis的存储,其数据存储结构为string字符串简单结构,redis的key表示任务标识和任务类型关键字,redis的value为任务节点的ip地址,详细结构如下:
90.worker_shard_promotask_1:10.1.1.11;
91.worker_shard_promotask_2:10.1.1.12;
92.worker_shard_promotask_3:10.1.1.13;
93.worker_shard_promotask_4:10.1.1.14。
94.本实施例采用键值对的形式存储,存储轻量高效并能满足对事务支持的要求。共享存储端仅实现修改逻辑,能够实现任务调度的去中心化和轻量化部署,复杂性低,便于维护。本实施例尤其适用于中小型的任务调度系统。
95.共享存储端将任务标识对应的节点标识字段的字段值修改为所述任务节点的节点标识的实现方式可以根据实际情况进行选择性设定。如采用redis支持的事务操作,基于乐观锁实现。可选地,共享存储端通过执行lua(一种脚本语言)脚本将任务标识对应的节点标识字段的字段值修改为所述任务节点的节点标识。lua脚本是作为一个整体单线程执行的,中间不会被其他命令插入,并且可以把多条命令一次性打包,有效减少网络开销。另外,lua脚本可以常驻redis内存,直接复用,能够减少代码量。
96.本发明采用去中心化的思想,将高可用的任务获取逻辑植入任务节点任务实例,通过共享存储端进行节点存储协调,使用轮询抢占算法获取任务标识,是一种轻量级高可用的任务系统协调方案。
97.根据本发明实施例的第二方面,提供一种实现上述方法的装置。
98.图4是本发明实施例的任务调度装置的主要模块的示意图,本发明实施例的任务调度装置部署在任务系统的多个任务节点,如图4所示,任务调度装置400包括:轮询获取模块402和任务接入模块401;其中,
99.所述轮询获取模块402周期性地判断所述任务节点的缓存中是否存在任务标识;若是,则所述任务接入模块401利用所述任务节点处理所述任务标识对应的任务;否则,所述轮询获取模块402采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识,所述任务接入模块401处理与所述一个任务标识对应的任务。
100.可选地,所述轮询获取模块还用于:在所述任务接入模块利用所述任务节点处理所述任务标识对应的任务之前,确认所述任务标识有效;若所述任务标识失效,则采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识;
101.所述任务接入模块还用于:处理与所述一个任务标识对应的任务。
102.可选地,所述轮询获取模块还用于:确认所述任务标识有效之后,对所述任务节点的缓存中的所述任务标识进行续期操作。
103.可选地,所述轮询获取模块采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识,包括:
104.对所述多个任务标识中的任一任务标识执行获取操作,判断是否获取成功;若是,则以成功获取的任务标识作为所述一个任务标识;
105.否则,对所述多个任务标识中所述任一任务标识的下一个任务标识执行获取操
作,判断是否获取成功;若是,则以成功获取的任务标识作为所述一个任务标识;否则,对所述多个任务标识中所述下一个任务标识的下一个任务标识执行获取操作;如此循环,直至获取成功或对所述多个任务标识中的所有任务标识都执行获取操作;
106.判断是否获取成功;若是,则以成功获取的任务节点作为所述一个任务标识;否则,将所述任务节点标记为候选节点。
107.可选地,所有任务标识采用键值对保存;其中,所述键值对的键包括任务标识,所述键值对的值包括任务标识对应的节点标识;
108.所述获取操作包括:向共享存储端发送获取请求,以使共享存储端将任务标识对应的键值对的值修改为所述任务节点的节点标识;接收所述共享存储端返回的获取结果;
109.其中,若所述获取结果为表明修改成功的第一消息,则表明获取成功;若所述获取结果为表明修改失败的第二消息,则表明获取失败。
110.可选地,所述共享存储端通过执行lua脚本将任务标识对应的节点标识字段的字段值修改为所述任务节点的节点标识。
111.根据本发明实施例的第三方面,提供一种任务调度系统,包括:共享存储端,以及部署在任务系统的多个任务节点的任务调度装置;其中,
112.所述共享存储端保存所有任务的任务标识;所述任务调度装置周期性地判断所述任务节点的缓存中是否存在任务标识;若是,则利用所述任务节点处理所述任务标识对应的任务;否则,采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识,以处理与所述一个任务标识对应的任务。
113.可选地,所述任务调度装置还用于:在利用所述任务节点处理所述任务标识对应的任务之前,确认所述任务标识有效;若所述任务标识失效,则采用轮询方式从所述共享存储端存储的多个任务标识中获取一个任务标识,以处理与所述一个任务标识对应的任务。
114.可选地,所述任务调度装置还用于:确认所述任务标识有效之后,对所述任务节点的缓存中的所述任务标识进行续期操作。
115.可选地,所述任务调度装置采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识,包括:
116.对所述多个任务标识中的任一任务标识执行获取操作,判断是否获取成功;若是,则以成功获取的任务标识作为所述一个任务标识;
117.否则,对所述多个任务标识中所述任一任务标识的下一个任务标识执行获取操作,判断是否获取成功;若是,则以成功获取的任务标识作为所述一个任务标识;否则,对所述多个任务标识中所述下一个任务标识的下一个任务标识执行获取操作;如此循环,直至获取成功或对所述多个任务标识中的所有任务标识都执行获取操作;
118.判断是否获取成功;若是,则以成功获取的任务节点作为所述一个任务标识;否则,将所述任务节点标记为候选节点。
119.可选地,所述共享存储端采用键值对保存所有任务标识;其中,所述键值对的键包括任务标识,所述键值对的值包括任务标识对应的节点标识;
120.所述获取操作包括:向所述共享存储端发送获取请求,以使所述共享存储端将任务标识对应的键值对的值修改为所述任务节点的节点标识;接收所述共享存储端返回的获取结果;
121.其中,若所述获取结果为表明修改成功的第一消息,则表明获取成功;若所述获取结果为表明修改失败的第二消息,则表明获取失败。
122.可选地,所述共享存储端通过执行lua脚本将任务标识对应的节点标识字段的字段值修改为所述任务节点的节点标识。
123.根据本发明实施例的第四方面,提供一种任务调度的电子设备,包括:
124.一个或多个处理器;
125.存储装置,用于存储一个或多个程序,
126.当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例第一方面提供的方法。
127.根据本发明实施例的第五方面,提供一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例第一方面提供的方法。
128.图5示出了可以应用本发明实施例的任务调度的方法或任务调度的装置的示例性系统架构500。
129.如图5所示,系统架构500可以包括终端设备501、502、503,网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
130.用户可以使用终端设备501、502、503通过网络504与服务器505交互,以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
131.终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
132.服务器505可以是提供各种服务的服务器,例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息
--
仅为示例)反馈给终端设备。
133.需要说明的是,本发明实施例所提供的任务调度的方法一般由服务器505执行,相应地,任务调度的装置一般设置于服务器505中。
134.应该理解,图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
135.下面参考图6,其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
136.如图6所示,计算机系统600包括中央处理单元(cpu)601,其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram 603中,还存储有系统600操作所需的各种程序和数据。cpu 601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
137.以下部件连接至i/o接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;
以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
138.特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(cpu)601执行时,执行本发明的系统中限定的上述功能。
139.需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、rf等等,或者上述的任意合适的组合。
140.附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
141.描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种部署在任务系统的每个任务节点的处理器包括:轮询获取模块和任务接入模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,轮询获取模块还可以被描述为“利用所述任务节点处理所述任务标识对应的任务的模块”。
142.作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:在其所部署的任务节点执行如下任务获取逻辑:周期性地判断所述任务节点的缓存中是否存在任务标识;若是,则利用所述任务节点处理所述任务标识对应的任务;否则,采用轮询方式从共享存储端存储的多个任务标识中获取一个任务标识,以处理与所述一个任务标识对应的任务。
143.根据本发明实施例的技术方案,通过采用去中心化思想在任务系统的多个任务节点执行任务获取逻辑,能够实现轻量级、高可用的任务调度系统。
144.上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1