一种数据集成、处理任务的分配方法、装置以及电子设备与流程

文档序号:31669505发布日期:2022-09-28 00:38阅读:来源:国知局

技术特征:
1.一种数据集成任务的分配方法,其特征在于,包括:获得需要在目标数据库中执行的至少一个数据集成任务;根据所述目标数据库的数据库性能信息和所述至少一个数据集成任务的数据特征信息,获得所述至少一个数据集成任务的数据集成预估时长;根据所述数据集成预估时长,为所述至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源。2.根据权利要求1所述的方法,其特征在于,还包括:获得所述目标数据库的标识信息;根据所述目标数据库的标识信息以及标识信息与数据库性能信息之间的第一对应关系,获得所述目标数据库的数据库性能信息。3.根据权利要求2所述的方法,其特征在于,所述获得需要在目标数据库中执行的至少一个数据集成任务,包括:根据所述目标数据库的标识信息以及标识信息与数据集成任务列表之间的第二对应关系,获得所述目标数据库对应的目标数据集成任务列表;根据所述目标数据集成任务列表,获得所述至少一个数据集成任务。4.根据权利要求3所述的方法,其特征在于,所述根据所述目标数据集成任务列表,获得所述至少一个数据集成任务,包括:根据所述目标数据集成任务列表,获得所述至少一个数据集成任务以及所述至少一个数据集成任务的数据特征信息。5.根据权利要求1所述的方法,其特征在于,所述目标数据库的数据库性能信息中包括所述目标数据库的带宽信息,所述至少一个数据集成任务的数据特征信息包括所述至少一个数据集成任务的数据容量信息;所述根据所述目标数据库的数据库性能信息和所述至少一个数据集成任务的数据特征信息,获得所述至少一个数据集成任务的数据集成预估时长,包括:根据所述目标数据库的带宽信息以及所述至少一个数据集成任务的数据容量信息,获得所述至少一个数据集成任务的数据集成预估时长。6.根据权利要求5所述的方法,其特征在于,所述根据所述目标数据库的带宽信息以及所述至少一个数据集成任务的数据容量信息,获得所述至少一个数据集成任务的数据集成预估时长,包括:获得所述目标数据库的带宽信息对应的带宽;获得所述至少一个数据集成任务的数据容量信息对应的数据容量;根据所述至少一个数据集成任务的数据容量信息对应的数据容量与所述目标数据库的带宽信息对应的带宽之间的比值,获得所述至少一个数据集成任务的数据集成预估时长。7.根据权利要求1所述的方法,其特征在于,所述根据所述数据集成预估时长,为所述至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源,包括:创建用于对用于执行数据集成任务的数据库资源提供资源负载管理服务的目标资源池;将所述至少一个数据集成任务关联到所述目标资源池;根据所述数据集成预估时长,通过所述目标资源池为所述至少一个数据集成任务分配
所述目标数据库资源。8.根据权利要求7所述的方法,其特征在于,所述根据所述数据集成预估时长,通过所述目标资源池为所述至少一个数据集成任务分配所述目标数据库资源,包括:按照所述数据集成预估时长从小到大的顺序,在所述目标资源池对应的数据库资源中为所述至少一个数据集成任务分配所述目标数据库资源。9.根据权利要求8所述的方法,其特征在于,所述按照所述数据集成预估时长从小到大的顺序,在所述目标资源池对应的数据库资源中为所述至少一个数据集成任务分配所述目标数据库资源,包括:获得所述目标资源池对应的数据库资源的可用时间区间;判断在所述可用时间区间内所述目标资源池对应的数据库资源是否能够以串行方式完成所述至少一个数据集成任务;若是,则按照所述数据集成预估时长从小到大的顺序,在所述目标资源池对应的数据库资源中以串行方式依次为所述至少一个数据集成任务分配所述目标数据库资源。10.根据权利要求9所述的方法,其特征在于,所述按照所述数据集成预估时长从小到大的顺序,在所述目标资源池对应的数据库资源中依次为所述至少一个数据集成任务分配所述目标数据库资源,包括:在所述可用时间区间内,按照所述数据集成预估时长从小到大的顺序依次,在所述目标资源池对应的数据库资源中根据所述数据集成预估时长,以串行方式依次为所述至少一个数据集成任务分配所述目标数据库资源。11.根据权利要求9所述的方法,其特征在于,还包括:若在所述可用时间区间内所述目标资源池对应的数据库资源不能以串行方式完成所述至少一个数据集成任务,则按照所述数据集成预估时长从小到大的顺序,在所述目标资源池对应的数据库资源中以并发方式依次为所述至少一个数据集成任务分配所述目标数据库资源。12.根据权利要求11所述的方法,其特征在于,所述按照所述数据集成预估时长从小到大的顺序,在所述目标资源池对应的数据库资源中以并发方式依次为所述至少一个数据集成任务分配所述目标数据库资源,包括:获得所述至少一个数据集成任务中的第一类数据集成任务,以及所述至少一个数据集成任务中的第二类数据集成任务,所述第一类数据集成任务为数据集成预估时长信息对应的时长未达到时长阈值的数据集成任务,所述第二类数据集成任务为数据集成预估时长信息对应的时长达到时长阈值的数据集成任务;按照所述数据集成预估时长从小到大的顺序,在所述目标资源池对应的数据库资源中以并发方式依次为所述第一类数据集成任务分配所述目标数据库资源;为所述第一类数据集成任务分配所述目标数据库资源后,将按照所述数据集成预估时长从小到大的顺序,在所述目标资源池对应的数据库资源中以并发方式依次为所述第二类数据集成任务分配所述目标数据库资源。13.根据权利要求7所述的方法,其特征在于,所述创建用于对用于执行数据集成任务的数据库资源提供资源负载管理服务的目标资源池,包括:获得所述目标数据库的数据库性能信息中的所述目标数据库的历史数据库性能信息;根据所述目标数据库的历史数据库性能信息,确定所述目标数据库的历史数据库性能满足预设性能阈值的目标历史时间区间;
在与所述目标历史时间区间相同的时间区间下的目标数据库的数据库资源中划分出所述用于执行数据集成任务的数据库资源;针对所述用于执行数据集成任务的数据库资源,创建所述目标资源池。14.根据权利要求13所述的方法,其特征在于,所述目标数据库的历史数据库性能信息至少包括所述目标数据库的剩余内存信息以及所述目标数据库的数据库服务器的利用率;所述根据所述目标数据库的历史数据库性能信息,确定所述目标数据库的历史数据库性能满足预设性能阈值的目标历史时间区间,包括:根据所述剩余内存信息和所述目标数据库的数据库服务器的利用率,确定所述剩余内存信息对应的内存超出第一预设性能阈值、所述目标数据库的数据库服务器的利用率低于所述第二预设性能阈值时的历史时间区间作为所述目标历史时间区间。15.一种数据集成任务的分配装置,其特征在于,包括:数据集成任务获得单元,用于获得需要在目标数据库中执行的至少一个数据集成任务;数据集成预估时长获得单元,用于根据所述目标数据库的数据库性能信息和所述至少一个数据集成任务的数据特征信息,获得所述至少一个数据集成任务的数据集成预估时长;数据集成任务分配单元,用于根据所述数据集成预估时长,为所述至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源。16.一种数据处理任务的分配方法,其特征在于,包括:获得需要在目标数据库中执行的至少一个数据处理任务;根据所述目标数据库的数据库性能信息和所述至少一个数据处理任务的数据特征信息,获得所述至少一个数据处理任务的数据处理预估时长;根据所述数据处理预估时长,为所述至少一个数据处理任务分配用于执行数据处理任务的目标数据库资源。17.根据权利要求16所述的方法,其特征在于,所述目标数据库的数据库性能信息中包括所述目标数据库的带宽信息,所述至少一个数据处理任务的数据特征信息包括所述至少一个数据处理任务的数据容量信息;所述根据所述目标数据库的数据库性能信息和所述至少一个数据处理任务的数据特征信息,获得所述至少一个数据处理任务的数据处理预估时长,包括:根据所述目标数据库的带宽信息以及所述至少一个数据处理任务的数据容量信息,获得所述至少一个数据处理任务的数据处理预估时长。18.根据权利要求17所述的方法,其特征在于,所述根据所述目标数据库的带宽信息以及所述至少一个数据处理任务的数据容量信息,获得所述至少一个数据处理任务的数据处理预估时长,包括:获得所述目标数据库的带宽信息对应的带宽;获得所述至少一个数据处理任务的数据容量信息对应的数据容量;根据所述至少一个数据处理任务的数据容量信息对应的数据容量与所述目标数据库的带宽信息对应的带宽之间的比值,获得所述至少一个数据处理任务的数据处理预估时长。
19.根据权利要求16所述的方法,其特征在于,所述根据所述数据处理预估时长,为所述至少一个数据处理任务分配用于执行数据处理任务的目标数据库资源,包括:创建用于对用于执行数据处理任务的数据库资源提供资源负载管理服务的目标资源池;将所述至少一个数据处理任务关联到所述目标资源池;根据所述数据处理预估时长,通过所述目标资源池为所述至少一个数据处理任务分配所述目标数据库资源。20.根据权利要求19所述的方法,其特征在于,所述根据所述数据处理预估时长,通过所述目标资源池为所述至少一个数据处理任务分配所述目标数据库资源,包括:按照所述数据处理预估时长从小到大的顺序,在所述目标资源池对应的数据库资源中为所述至少一个数据处理任务分配所述目标数据库资源。21.根据权利要求20所述的方法,其特征在于,所述按照所述数据处理预估时长从小到大的顺序,在所述目标资源池对应的数据库资源中为所述至少一个数据处理任务分配所述目标数据库资源,包括:获得所述目标资源池对应的数据库资源的可用时间区间;判断在所述可用时间区间内所述目标资源池对应的数据库资源是否能够以串行方式完成所述至少一个数据处理任务;若是,则按照所述数据处理预估时长从小到大的顺序,在所述目标资源池对应的数据库资源中以串行方式依次为所述至少一个数据处理任务分配所述目标数据库资源。22.根据权利要求21所述的方法,其特征在于,所述按照所述数据处理预估时长从小到大的顺序,在所述目标资源池对应的数据库资源中依次为所述至少一个数据处理任务分配所述目标数据库资源,包括:在所述可用时间区间内,按照所述数据处理预估时长从小到大的顺序依次,在所述目标资源池对应的数据库资源中根据所述数据处理预估时长,以串行方式依次为所述至少一个数据处理任务分配所述目标数据库资源。23.根据权利要求22所述的方法,其特征在于,还包括:若在所述可用时间区间内所述目标资源池对应的数据库资源不能以串行方式完成所述至少一个数据处理任务,则按照所述数据处理预估时长从小到大的顺序,在所述目标资源池对应的数据库资源中以并发方式依次为所述至少一个数据处理任务分配所述目标数据库资源。24.根据权利要求16所述的方法,其特征在于,所述数据处理任务至少包括数据集成任务。25.一种数据处理任务的分配装置,其特征在于,包括:数据处理任务获得单元,用于获得需要在目标数据库中执行的至少一个数据处理任务;数据处理预估时长获得单元,用于根据所述目标数据库的数据库性能信息和所述至少一个数据处理任务的数据特征信息,获得所述至少一个数据处理任务的数据处理预估时长;数据处理任务分配单元,根据所述数据处理预估时长,为所述至少一个数据处理任务分配用于执行数据处理任务的目标数据库资源。26.一种电子设备,其特征在于,包括:
处理器;以及存储器用于存储计算机程序,该计算机程序被处理器运行,执行权利要求1-14以及16-24任意一项所述方法。27.一种存储介质,其特征在于,所述存储介质存储有计算机程序,该计算机程序被处理器运行,执行权利要求1-14以及16-24任意一项所述方法。28.一种计算机程序产品,包括非易失性计算机可读存储介质,所述非易失性计算机可读存储介质包含用于执行权利要求1-14以及16-24任意一项所述方法的计算机程序代码。

技术总结
本申请提供一种数据集成任务的分配方法,包括:获得需要在目标数据库中执行的至少一个数据集成任务;根据所述目标数据库的数据库性能信息和所述至少一个数据集成任务的数据特征信息,获得所述至少一个数据集成任务的数据集成预估时长;根据所述数据集成预估时长,为所述至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源。该数据集成任务的分配方法,基于数据集成预估时长为至少一个数据集成任务分配用于执行数据集成任务的目标数据库资源,解决了对不同数据集成任务进行任务进行合理分配的问题,并且能够目标数据库资源的利用率。源的利用率。源的利用率。


技术研发人员:占怀旻
受保护的技术使用者:阿里巴巴新加坡控股有限公司
技术研发日:2021.03.22
技术公布日:2022/9/27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1