任务处理方法、装置、电子设备及存储介质

文档序号:31540896发布日期:2022-09-16 23:50阅读:49来源:国知局
任务处理方法、装置、电子设备及存储介质

1.本发明涉及任务管理技术领域,尤其涉及一种任务处理方法、装置、电子设备及存储介质。


背景技术:

2.近年来,随着火电厂信息化程度的不断提高,各种数字化仪表设备取代了传统的机械式仪表设备,dcs、sis、erp等系统已在电厂普及,这些系统记录了火电厂设备的运行和操作人员的操作过程,为机组运行、故障诊断及状态监控具有积极的指导意义。火电厂工业中存在着大量的运行参数,需要根据变量间的复杂关系和关联程度部署大量模型,并且模型的性能随着时间快速的下降,需要人工定期进行模型的更新需要花费大量的人力成本进行模型管理,大量模型的并行计算也对运营平台的硬件有着极高的要求,由于模型的创建和部署存在高耦合性,使得模型的部署往往需要较多建模知识,从而使得模型部署的效率低。


技术实现要素:

3.本发明实施例提供一种任务处理方法,旨在解决现有模型部署过程中,需要较多建模知识,使得模型部署的效率低的问题,通过将已训练模型打包成定时任务,能够将模型的创建和部署分离,降低了建模和部署预警的耦合程度,按预设规则将定时任务发送到对应的任务执行单元进行任务执行,得到任务结果,在任务结果满足预设的告警条件时,发出告警信息,能够充分运用硬件资源,降低对运营设备的要求,模型的部署不需要相关建模知识,使得普通的工人也可以操作,提高模型部署的效率的同时,还节省了人力成本。
4.第一方面,本发明实施例提供一种任务处理方法,包括以下步骤:
5.获取待执行任务,所述待执行任务为已训练模型打包成的定时任务;
6.将所述待执行任务按预设规则发送到对应的任务执行单元,以使所述任务执行单元执行所述待执行任务,得到任务结果;
7.当所述任务结果满足预设的告警条件时,发出告警信息。
8.可选的,在所述获取待执行任务的步骤之前,所述方法还包括:
9.获取所述已训练模型的结构和参数,所述已训练模型的结构和参数保存为结构性文件;
10.在所述结构性文件中写入任务执行的条件信息,并打包成所述定时任务,所述条件信息包括时间间隔。
11.可选的,所述将所述待执行任务按预设规则发送到对应的任务执行单元的步骤包括:
12.判断所述待执行任务是否指定任务执行单元;
13.若指定,则将所述待执行任务发送到对应的指定任务执行单元;
14.若未指定,则将所述待执行任务发送到资源占用率低于第一阈值的任务执行单
元。
15.可选的,所述将所述待执行任务按预设规则发送到对应的任务执行单元的步骤还包括:
16.若当前所述待执行任务对应的指定任务执行单元的资源占用率高于第二阈值,则跳过当前所述待执行任务的发送,并在检测到当前所述待执行任务对应的指定任务执行单元的资源占用率低于所述第二阈值时,将当前所述待执行任务发送到对应的指定任务执行单元。
17.可选的,所述将所述待执行任务按预设规则发送到对应的任务执行单元的步骤还包括:
18.当检测到所有所述任务执行单元的资源占用率均高于第三阈值时,则停止所述待执行任务的分配,并在加入新的所述任务执行单元或存在资源占用率低于第三阈值的所述任务执行单元时,重启所述待执行任务的分配。
19.可选的,所述将所述待执行任务按预设规则发送到对应的任务执行单元的步骤还包括:
20.当检测到存在崩溃的所述任务执行单元时,则对崩溃的所述任务执行单元进行重启;
21.若重启成功,则将对应的所述待执行任务发送到重启成功后的所述任务执行单元;
22.若重启失败,则将对应的所述待执行任务发送到其他的所述任务执行单元。
23.可选的,所述当所述任务结果满足预设的告警条件时,发出告警信息的步骤包括:
24.将所述任务结果与预设的内存数据库中的真实数据进行对比,得到对比结果;
25.当所述对比结果满足预设的告警条件时,发出告警信息。
26.第二方面,本发明实施例提供一种任务处理装置,装置包括:
27.第一获取模块,用于获取待执行任务,所述待执行任务为已训练模型打包成的定时任务;
28.发送模块,用于将所述待执行任务按预设规则发送到对应的任务执行单元,以使所述任务执行单元执行所述待执行任务,得到任务结果;
29.告警模块,用于当所述任务结果满足预设的告警条件时,发出告警信息。
30.第三方面,本发明实施例提供一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现本发明实施例提供的任务处理方法中的步骤。
31.第四方面,本发明实施例提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现发明实施例提供的任务处理方法中的步骤。
32.本发明实施例中,获取待执行任务,所述待执行任务为已训练模型打包成的定时任务;将所述待执行任务按预设规则发送到对应的任务执行单元,以使所述任务执行单元执行所述待执行任务,得到任务结果;当所述任务结果满足预设的告警条件时,发出告警信息。通过将已训练模型打包成定时任务,能够将模型的创建和部署分离,降低了建模和部署预警的耦合程度,按预设规则将定时任务发送到对应的任务执行单元进行任务执行,得到
任务结果,在任务结果满足预设的告警条件时,发出告警信息,能够充分运用硬件资源,降低对运营设备的要求,模型的部署不需要相关建模知识,使得普通的工人也可以操作,提高模型部署的效率的同时,还节省了人力成本。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
34.图1是本发明实施例提供的一种任务处理系统的架构图;
35.图2是本发明实施例提供的一种任务处理方法的流程图;
36.图3是本发明实施例提供的一种任务处理装置的结构图;
37.图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
38.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
39.请参见图1,图1是本发明实施例提供的一种任务处理系统的架构图,如图1所示,该任务处理系统包括:任务发布者、任务调度器、任务中间件、内存数据库、任务执行单元、任务结果存储。其中,任务执行单元的数量可以是一个或者多个,在本发明实施例中,任务执行单元的数量为多个,各个之间任务执行单元共享内存数据库和任务中间件。
40.上述任务处理系统可以是针对火电厂的自动化建模部署的分布式队列管理系统。
41.上述任务发布者可以是web应用程序,任务发布者可以通过任务调度器的相关接口将已训练模型打包成定时任务,将定时任务存储至任务中间件。上述定时任务包括时间间隔、预期结果。在一种可能的实施例中,上述定时任务还可以包括执行该定时任务的指定任务执行单元。
42.任务调度器为独立的beat进程,需要说明的是,一台主机或一台服务只能启动一个beat进程。任务调度器通过读取配置文件,周期性地将到期需要执行的定时任务发送至任务中间件,以使任务中间件根据配置文件发送定时任务。任务调度器还用于实时或定时监测任务执行单元的运行情况。
43.任务中间件包括任务调度队列,任务中间件接受到任务发布者发布的定时任务后,将对应的定时任务存入任务调度队列中,并将定时任务分发给任务执行单元执行。任务中间件可以部署到独立的主机上通过局域网进行信息的传输。
44.任务执行单元是实际执行任务的处理单元,实时监控任务中间件,并任务中间件发送定时任务后,从定时任务中获取需要进行预测的已训练模型。任务执行单元之间均可以从共享的内存数据库中读取实时数据进行预测。通过prefork模式进行运行模型的管理,prefork模式即是在任务启动时开辟一些子进程,等待任务的派发,避免频繁创建和销毁进
程的开销。任务执行单元相互独立,互不干扰,可以在多台主机上同时部署任务执行单元。
45.任务结果存储用来存储定时任务的任务结果,任务结果为定时任务中已训练模型预测的结果,发布者在发布定时任务后只需要通过任务执行单元来执行已训练模型,从而获取对应的任务结果,即可获取实时预测值,发布者无需关注已训练模型的部署及进程的管理。
46.内存数据库将火电厂sis系统中的实时数据导入,可以给任务执行单元提供火电厂各模块的实时数据,提高执行单元的效率。
47.在本发明实施例中,通过将已训练模型打包成定时任务,能够将模型的创建和部署分离,降低了建模和部署预警的耦合程度,按预设规则将定时任务发送到对应的任务执行单元进行任务执行,得到任务结果,在任务结果满足预设的告警条件时,发出告警信息,能够充分运用硬件资源,降低对运营设备的要求,模型的部署不需要相关建模知识,使得普通的工人也可以操作,提高模型部署的效率的同时,还节省了人力成本。
48.具体的,请参考图2,图2是本发明实施例提供的一种任务处理方法的流程图,如图2所示,该应用程序的设置可以包括以下步骤:
49.201、获取待执行任务。
50.在本发明实施例中,上述待执行任务为已训练模型打包成的定时任务。已训练模型为模型经过创建、训练和调优后的模型,上述已训练模型是可以直接部署使用的模型。
51.上述已训练模型包括模型结构和参数。将已训练模型打包成定时任务,定时启动已训练模型来对火电厂的实时数据进行处理,预测火电厂的运行情况。同时,将已训练模型打包成定时任务,将已训练模型的部署以定时任务的形式进行,可以降低模型的建模过程和部署过程的耦合程度,使普通的工人可以对部署工作进行操作。
52.具体来说,可以将模型的建模部分交给具有相关建模知识的专业工作人员,将模型的部署部分交给不具有相关建模知识的普通工作人员,从而将模型的建模过程和部署过程进行解耦。
53.202、将待执行任务按预设规则发送到对应的任务执行单元,以使任务执行单元执行待执行任务,得到任务结果。
54.在本发明实施例中,上述预设规则可以是按指定任务执行单元进行发送,或者按任务执行单元的资源占用率进行发送。
55.具体的,当待执行任务中包括有指定任务执行单元时,可以将该待执行任务发送到对应的指定任务执行单元,当待执行任务中不包括有指定任务执行单元时,则可以将该待执行任务发送到资源占用率较低的任务执行单元。
56.在任务执行单元接收到对应的待执行任务后,获取待执行任务对应的定时任务,将定时任务加载到预先申请的内存、进程等资源中,完成已训练模型的部署。
57.任务执行单元是实际执行任务的处理单元,实时监控任务中间件,并任务中间件发送定时任务后,从定时任务中获取需要进行预测的已训练模型。任务执行单元之间均可以从共享的内存数据库中读取实时数据进行预测。通过prefork模式进行运行模型的管理,prefork模式即是在任务启动时开辟一些子进程,等待任务的派发,避免频繁创建和销毁进程的开销。任务执行单元相互独立,互不干扰,可以在多台主机上同时部署任务执行单元。
58.203、当任务结果满足预设的告警条件时,发出告警信息。
59.在本发明实施例中,上述预设的告警条件可以为任务结果是否异常。
60.具体的,在任务执行单元执行对应的定时任务得到对应的任务结果后,将任务结果与预设的告警条件进行对比,若任务结果满足预设的告警条件,则说明任务结果为异常,火电厂的运行出现异常,向任务发布者或相关人员发送告警信息;若任务结果不满足预设的告警条件,则说明任务结果为正常,火电厂的运行正常。
61.本发明实施例中,获取待执行任务,所述待执行任务为已训练模型打包成的定时任务;将所述待执行任务按预设规则发送到对应的任务执行单元,以使所述任务执行单元执行所述待执行任务,得到任务结果;当所述任务结果满足预设的告警条件时,发出告警信息。通过将已训练模型打包成定时任务,能够将模型的创建和部署分离,降低了建模和部署预警的耦合程度,按预设规则将定时任务发送到对应的任务执行单元进行任务执行,得到任务结果,在任务结果满足预设的告警条件时,发出告警信息,能够充分运用硬件资源,降低对运营设备的要求,模型的部署不需要相关建模知识,使得普通的工人也可以操作,提高模型部署的效率的同时,还节省了人力成本。
62.可选的,在获取待执行任务的步骤之前,还可以获取已训练模型的结构和参数,已训练模型的结构和参数保存为结构性文件;在结构性文件中写入任务执行的条件信息,并打包成定时任务,条件信息包括时间间隔。
63.在本发明实施例中,上述已训练模型可以是针对火电厂大数据分析的算法模型。优选的,上述已训练模型可以已训练好的预测模型,预测模型可以根据输入的时序数据,预测未来时序可能的结果。
64.上述条件信息可以包括时间间隔和预期结果,上述执行条件信息还可以包括指定任务执行单元。
65.具体的,可以通过任务发布者将已训练模型的结构和参数等保存为结构性文件,上述结构式文件可以是pickle格式的文件。任务发布者可以将上述时间间隔、预期结果和指定任务执行单元写入上述结构式文件,得到定时任务。
66.得到定时任务后,上述任务发布者可以将定时任务写入任务中间件中。
67.更具体的,上述任务发布者为web应用程序,用户通过web应用程序进行任务发布。用户通过web应用程序将已训练模型的结构、参数等保存为pickle格式的文件。用户通过web应用程序将pickle格式的文件进行加工,写入任务执行的时间间隔、预期结果以及执行该任务的指定任务执行单元,从而得到定时任务。用户通过web应用程序将pickle格式的文件加工为定时任务后,经过序列化写入共享的任务中间件中。
68.进一步的,任务中间件可以包括任务调度队列,任务中间件接受到任务发布者发布的定时任务后,将对应的定时任务存入任务调度队列中,并将定时任务分发给任务执行单元执行。任务中间件可以部署到独立的主机上通过局域网进行信息的传输。
69.通过将已训练模型的结构和参数保存为结构性文件,并写入时间间隔、预期结果、指定任务执行单元,可以得到包含有已训练模型的定时任务作为待执行任务,使得已训练模型的部署脱离建模过程,需要进行部署时,调用对应的任务执行单元提供硬件资源来执行对应的定时任务即可,能够充分运用硬件资源,降低对运营设备的要求,模型的部署不需要相关建模知识,使得普通的工人也可以操作,提高模型部署的效率的同时,还节省了人力成本。
70.可选的,在将待执行任务按预设规则发送到对应的任务执行单元的步骤中,可以判断待执行任务是否指定任务执行单元;若指定,则将待执行任务发送到对应的指定任务执行单元;若未指定,则将待执行任务发送到资源占用率低于第一阈值的任务执行单元。
71.在本发明实施例中,上述第一阈值可以根据当前待执行任务在执行任务时所需的内存及cpu资源进行确定。可以根据当前待执行任务在执行任务时所需的内存及cpu资源,计算当前待执行任务在所有任务执行单元中所需要的资源占用率a,a为0至1之间的数值,第一阈值为1-n
×
a,n为1.0至1.2之间的数值,若任务执行单元的当前资源占用率b小于第一阈值可以1-n
×
a时,说明该任务执行单元拥有足够的资源来执行该待执行任务。
72.具体的,任务调度器通过读取配置文件,获取已经写入任务中间件的待执行任务。任务调度器可以根据待执行任务是否指定任务执行单元进行分配,若待执行任务已指定了任务执行单元,则将待执行任务发送至对应的指定任务执行单元,若待执行任务没有指定任务执行单元,则任务调度器可以根据当前待执行任务在执行任务时所需的内存及cpu资源,优先分配到内存和cpu资源足够的任务执行单元,具体的,在存在多个内存和cpu资源足够的任务执行单元时,可以优先分配到占用率最低的机器。
73.将待执行任务按预设规则发送到对应的任务执行单元,可以匹配到更好的任务执行单元,从而提高任务效率。
74.可选的,在将待执行任务按预设规则发送到对应的任务执行单元的步骤,还可以若当前待执行任务对应的指定任务执行单元的资源占用率高于第二阈值,则跳过当前待执行任务的发送,并在检测到当前待执行任务对应的指定任务执行单元的资源占用率低于第二阈值时,将当前待执行任务发送到对应的指定任务执行单元。
75.在本发明实施例中,上述第二阈值可以根据当前待执行任务在执行任务时所需的内存及cpu资源进行确定。可以根据当前待执行任务在执行任务时所需的内存及cpu资源,计算当前待执行任务在所有任务执行单元中所需要的资源占用率a,第二阈值可以为1-m
×
a,m为1.0至1.1之间的数值,若任务执行单元的当前资源占用率b小于第二阈值1-1.05a时,说明该任务执行单元拥有刚好的资源来执行该待执行任务。
76.任务调度器将待执行任务按预设规则发送到对应的任务执行单元时,可以在当前待执行任务对应的指定任务执行单元的资源占用率较大时进行跳过,对下一个待执行任务按预设规则进行发送,在当前待执行任务对应的指定任务执行单元的资源占用率降低时,匹配到对应的指定任务执行单元,避免任务执行单元因执行任务所占资源过在而崩溃。
77.可选的,在将待执行任务按预设规则发送到对应的任务执行单元的步骤中,还可以当检测到所有任务执行单元的资源占用率均高于第三阈值时,则停止待执行任务的分配,并在加入新的任务执行单元或存在资源占用率低于第三阈值的任务执行单元时,重启待执行任务的分配。
78.在本发明实施例中,上述第三阈值可以根据当前待执行任务在执行任务时所需的内存及cpu资源进行确定。可以根据当前待执行任务在执行任务时所需的内存及cpu资源,计算当前待执行任务在所有任务执行单元中所需要的资源占用率a,第三阈值可以为1-a,若任务执行单元的当前资源占用率b小于第三阈值1-a时,说明该任务执行单元拥有的资源不够来执行该待执行任务。
79.在一种可能的实施例中,上述第三阈值可以是0.8,即当某个任务执行单元的资源
占用率高于80%时,则停止对该任务执行单元的任务分配,当所有任务执行单元的资源占用率高于80%时,则停止任务待执行任务的分配,
80.在一种可能的实施例中,新的任务执行单元与被停止待执行任务分配的任务执行单元具有关联性,若待执行任务中指定任务执行单元为被停止待执行任务分配的任务执行单元,则将新的任务执行单元该待执行任务的指定任务执行单元,这样,可以不改变定待执行任务对应的文件,不需要更改定时任务中的指定任务执行单元。
81.任务调度器将待执行任务按预设规则发送到对应的任务执行单元时,可以在当前待执行任务对应的指定任务执行单元的资源占用率较大时进行停止,避免任务执行单元因执行任务所占资源过在而崩溃。
82.可选的,将待执行任务按预设规则发送到对应的任务执行单元的步骤中,还可以当检测到存在崩溃的任务执行单元时,则对崩溃的任务执行单元进行重启;若重启成功,则将对应的待执行任务发送到重启成功后的任务执行单元;若重启失败,则将对应的待执行任务发送到其他的任务执行单元。
83.在本发明实施例中,通过对崩溃的任务执行单元进行及时的重启,可以保证任务处理的及时性。在重启失败后,将崩溃的任务执行单元所对应的待执行任务发送到其他的任务执行单元。
84.可选的,在当任务结果满足预设的告警条件时,发出告警信息的步骤中,可以将任务结果与预设的内存数据库中的真实数据进行对比,得到对比结果;当对比结果满足预设的告警条件时,发出告警信息。
85.在本发明实施例中,内存数据库将火电厂sis系统中的实时数据导入,可以给任务执行单元提供火电厂各模块的实时数据,当任务执行单元执行对应的待执行任务完成后,将得到的任务结果写入任务结果存储中。
86.任务结果存储用来存储定时任务的任务结果,任务结果为定时任务中已训练模型预测的结果。上述任务结果可以为预测数据,任务调度器会定期的对比内存数据库中的真实数据和任务结果存储中的预测数据,比较相关指标,若某个任务结果的预测数据超过用户设定阈值,则通过websocket协议向任务发布者发出告警信息。
87.发布者在发布定时任务后只需要通过任务执行单元来执行已训练模型,从而获取对应的任务结果,即可获取实时预测值,发布者无需关注已训练模型的部署及进程的管理,当预测数据超过用户设定阈值时,可以及时进行告警。
88.可选的,本发明实施例还提供一种任务处理方法,具体包括以下步骤:
89.步骤一,web应用程序将模型预测打包为定时任务后发送至任务中间件。
90.web应用程序将预测模型的结构和参数等保存为pickle格式的文件;web应用程序将pickle格式的文件进行加工,写入任务执行的时间间隔,预期结果,执行该任务的指定任务执行单元,将文件加工为定时任务后经过序列化写入共享的任务中间件中。
91.步骤二,任务调度器根据配置文件,周期性地发送定时任务,监控各执行单元的运行情况。
92.任务调度器通过读取配置文件,获取已经写入任务中间件的定时任务;任务调度器根据定时任务是否指定任务执行单元进行分配,若定时任务已指定了运行单元,则将定时任务发送至指定任务执行单元,否则根据当前任务执行任务所需的内存及cpu资源,优先
分配到内存、cpu资源占用率较低的机器。当指定任务执行单元的cpu或内存无法支持运行定时任务的资源消耗时,任务调度器会跳过该任务进行下一个定时任务的分配,并定时检测指定任务执行单元是否支持能够满足该定时任务的资源消耗。当所有任务执行单元的cpu或内存占用达到80%以上时,任务调度器会停止分配任务并通过websocket协议发出告警信息,并定时检测任务执行单元运行情况,当加入新的任务执行单元或当前存在可用任务执行单元时,任务调度器才会这些可用的任务执行单元进行任务分配。当某一任务执行单元崩溃时,任务调度器会发送重启指令给任务执行单元,若任务执行单元重启成功则重新发送该执行单元的定时任务,若任务单元重启失败,则将该执行单元的执行任务分配给其他任务执行单元。当任务调度器需要删除或停止某一任务时,将该定时任务移出任务中间件。
93.步骤三,任务执行单元接受任务调度器发送的任务指令,并定时执行。
94.任务执行单元获取任务调度器发送的任务指令后,从任务中间件中获取对应的定时任务。任务执行单元检查从任务中间件中获取的定时任务,若该定时任务为空,则停止该定时任务的执行,若不为空,则将定时任务加载到任务执行单元预先申请的内存和进程等资源中。任务执行单元根据任务的时间间隔定期执行该任务。当任务执行单元崩溃或与任务调度器断开连接时,任务执行单元停止任务的执行,重启该任务执行单元,并尝试重新连接任务调度器。当任务执行完成后,将任务结果写入任务结果存储中。
95.步骤四,任务调度器会定期的对比内存数据库中的真实数据和任务结果存储中的预测数据,比较相关指标,若某个任务的相关指标超过用户设定阈值,则通过websocket发出告警信息。上述相关指标可以用户自行进行设置。
96.重复上述步骤二至步骤四。
97.在本发明实施例中,通过将已训练模型打包成定时任务,能够将模型的创建和部署分离,降低了建模和部署预警的耦合程度,按预设规则将定时任务发送到对应的任务执行单元进行任务执行,得到任务结果,在任务结果满足预设的告警条件时,发出告警信息,能够充分运用硬件资源,降低对运营设备的要求,模型的部署不需要相关建模知识,使得普通的工人也可以操作,提高模型部署的效率的同时,还节省了人力成本。
98.需要说明的是,本发明实施例提供的任务处理方法可以应用于智能手机、电脑、服务器等设备。
99.可选的,请参见图3,图3是本发明实施例提供的一种任务处理装置的结构示意图,如图3所示,装置包括:
100.第一获取模块301,用于获取待执行任务,所述待执行任务为已训练模型打包成的定时任务;
101.发送模块302,用于将所述待执行任务按预设规则发送到对应的任务执行单元,以使所述任务执行单元执行所述待执行任务,得到任务结果;
102.告警模块303,用于当所述任务结果满足预设的告警条件时,发出告警信息。
103.可选的,所述装置还包括:
104.第二获取模块,用于获取所述已训练模型的结构和参数,所述已训练模型的结构和参数保存为结构性文件;
105.打包模块,用于在所述结构性文件中写入任务执行的条件信息,并打包成所述定
时任务,所述条件信息包括时间间隔。
106.可选的,所述发送模块302还用于判断所述待执行任务是否指定任务执行单元;若指定,则将所述待执行任务发送到对应的指定任务执行单元;若未指定,则将所述待执行任务发送到资源占用率低于第一阈值的任务执行单元。
107.可选的,所述发送模块302还用于若当前所述待执行任务对应的指定任务执行单元的资源占用率高于第二阈值,则跳过当前所述待执行任务的发送,并在检测到当前所述待执行任务对应的指定任务执行单元的资源占用率低于所述第二阈值时,将当前所述待执行任务发送到对应的指定任务执行单元。
108.可选的,所述发送模块302还用于当检测到所有所述任务执行单元的资源占用率均高于第三阈值时,则停止所述待执行任务的分配,并在加入新的所述任务执行单元或存在资源占用率低于第三阈值的所述任务执行单元时,重启所述待执行任务的分配。
109.可选的,所述发送模块302还用于当检测到存在崩溃的所述任务执行单元时,则对崩溃的所述任务执行单元进行重启;若重启成功,则将对应的所述待执行任务发送到重启成功后的所述任务执行单元;若重启失败,则将对应的所述待执行任务发送到其他的所述任务执行单元。
110.可选的,所述告警模块303还用于将所述任务结果与预设的内存数据库中的真实数据进行对比,得到对比结果;当所述对比结果满足预设的告警条件时,发出告警信息。
111.需要说明的是,本发明实施例提供的任务处理装置可以应用于可以进行图层级的业务分析的智能手机、电脑、服务器等设备。
112.本发明实施例提供的任务处理装置能够实现上述方法实施例中任务处理方法实现的各个过程,且可以达到相同的有益效果。为避免重复,这里不再赘述。
113.参见图4,图4是本发明实施例提供的一种电子设备的结构示意图,如图4所示,包括:存储器402、处理器401及存储在存储器402上并可在处理器401上运行的任务处理方法的计算机程序,其中:
114.处理器401用于调用存储器402存储的计算机程序,执行如下步骤:
115.获取待执行任务,所述待执行任务为已训练模型打包成的定时任务;
116.将所述待执行任务按预设规则发送到对应的任务执行单元,以使所述任务执行单元执行所述待执行任务,得到任务结果;
117.当所述任务结果满足预设的告警条件时,发出告警信息。
118.可选的,在所述获取待执行任务的步骤之前,处理器401执行的所述方法还包括:
119.获取所述已训练模型的结构和参数,所述已训练模型的结构和参数保存为结构性文件;
120.在所述结构性文件中写入任务执行的条件信息,并打包成所述定时任务,所述条件信息包括时间间隔。
121.可选的,处理器401执行的所述将所述待执行任务按预设规则发送到对应的任务执行单元的步骤包括:
122.判断所述待执行任务是否指定任务执行单元;
123.若指定,则将所述待执行任务发送到对应的指定任务执行单元;
124.若未指定,则将所述待执行任务发送到资源占用率低于第一阈值的任务执行单
元。
125.可选的,处理器401执行的所述将所述待执行任务按预设规则发送到对应的任务执行单元的步骤还包括:
126.若当前所述待执行任务对应的指定任务执行单元的资源占用率高于第二阈值,则跳过当前所述待执行任务的发送,并在检测到当前所述待执行任务对应的指定任务执行单元的资源占用率低于所述第二阈值时,将当前所述待执行任务发送到对应的指定任务执行单元。
127.可选的,处理器401执行的所述将所述待执行任务按预设规则发送到对应的任务执行单元的步骤还包括:
128.当检测到所有所述任务执行单元的资源占用率均高于第三阈值时,则停止所述待执行任务的分配,并在加入新的所述任务执行单元或存在资源占用率低于第三阈值的所述任务执行单元时,重启所述待执行任务的分配。
129.可选的,处理器401执行的所述将所述待执行任务按预设规则发送到对应的任务执行单元的步骤还包括:
130.当检测到存在崩溃的所述任务执行单元时,则对崩溃的所述任务执行单元进行重启;
131.若重启成功,则将对应的所述待执行任务发送到重启成功后的所述任务执行单元;
132.若重启失败,则将对应的所述待执行任务发送到其他的所述任务执行单元。
133.可选的,处理器401执行的所述当所述任务结果满足预设的告警条件时,发出告警信息的步骤包括:
134.将所述任务结果与预设的内存数据库中的真实数据进行对比,得到对比结果;
135.当所述对比结果满足预设的告警条件时,发出告警信息。
136.需要说明的是,本发明实施例提供的电子设备可以应用于可以进行任务处理的智能手机、电脑、服务器等设备。
137.本发明实施例提供的电子设备能够实现上述方法实施例中任务处理方法实现的各个过程,且可以达到相同的有益效果。为避免重复,这里不再赘述。
138.本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现本发明实施例提供的任务处理方法或应用端任务处理方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
139.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,rom)或随机存取存储器(random access memory,简称ram)等。
140.以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1