Spark运行参数的确定方法、装置、设备和存储介质与流程

文档序号:26004177发布日期:2021-07-23 21:22阅读:来源:国知局

技术特征:

1.一种spark运行参数的确定方法,其特征在于,包括:

获取第一运行参数集和第二运行参数集,所述第一运行参数集和所述第二运行参数集的获取方式不同;

基于所述第一运行参数集,将任务数据的数据大小和任务类型输入第一模型,根据第一输出结果确定所述第一模型中的目标模型,所述第一模型包括多个数据模型;

基于所述第二运行参数集,将所述数据大小和所述任务类型输入所述目标模型,根据第二输出结果确定spark的目标运行参数。

2.如权利要求1所述的方法,其特征在于,所述基于所述第一运行参数集,将任务数据的数据大小和任务类型输入第一模型,根据第一输出结果确定所述第一模型中的目标模型,包括:

针对每个数据模型,基于所述第一运行参数集,将所述数据大小和所述任务类型输入所述数据模型,输出每组第一运行参数对应的预测运行时间;

根据所述每组第一运行参数对应的预测运行时间,确定所述多个数据模型中的目标模型。

3.如权利要求2所述的方法,其特征在于,所述根据所述每组第一运行参数对应的预测运行时间,确定所述多个数据模型中的目标模型,包括:

针对每个数据模型,根据所述每组第一运行参数对应的预测运行时间,确定所述数据模型对应的决定系数;

将最大决定系数所对应的数据模型作为所述目标模型。

4.如权利要求1-3任一项所述的方法,其特征在于,所述基于所述第二运行参数集,将所述数据大小和所述任务类型输入所述目标模型,根据第二输出结果确定spark的目标运行参数,包括:

基于所述第二运行参数集,将所述数据大小和所述任务类型输入所述目标模型,得到每组第二运行参数对应的预测运行时间;

将最短预测运行时间所对应的第二运行运行参数作为所述目标运行参数。

5.如权利要求4所述的方法,其特征在于,所述方法还包括:

将所述目标运行参数加入所述第一运行参数集中,并将所述目标运行参数和所述目标运行参数对应的预测运行时间存储至数据库。

6.如权利要求1所述的方法,其特征在于,在获取第一运行参数集之后,所述方法还包括:

采用预设的插值算法对所述第一运行参数集中的空值数据进行插值处理,得到处理后的第一运行参数集。

7.如权利要求6所述的方法,其特征在于,所述方法还包括:

若所述第一运行参数集中包括非数值型的运行参数,将所述非数值型的运行参数转换为数值型的运行参数。

8.一种spark运行参数的确定装置,其特征在于,包括:

获取模块,用于获取第一运行参数集和第二运行参数集,所述第一运行参数集和所述第二运行参数集的获取方式不同;

第一确定模块,用于基于所述第一运行参数集,将任务数据的数据大小和任务类型输入第一模型,根据第一输出结果确定所述第一模型中的目标模型,所述第一模型包括多个数据模型;

第二确定模块,用于基于所述第二运行参数集,将所述数据大小和所述任务类型输入所述目标模型,根据第二输出结果确定spark的目标运行参数。

9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。


技术总结
本申请适用于计算机技术领域,提供了一种Spark运行参数的确定方法、装置、设备和存储介质,该方法包括:获取第一运行参数集和第二运行参数集,第一运行参数集和第二运行参数集的获取方式不同;基于第一运行参数集,将任务数据的数据大小和任务类型输入第一模型,根据第一输出结果确定第一模型中的目标模型,第一模型包括多个数据模型;基于第二运行参数集,将数据大小和任务类型输入所述目标模型,根据第二输出结果确定Spark的目标运行参数。该方法首先基于第一运行参数集确定与任务类型匹配的目标模型,再基于第二运行参数集确定与任务类型匹配的目标运行参数,可针对不同任务类型的任务数据确定最优运行参数,进而提高了Spark运行参数的精确度。

技术研发人员:童轩;李杨;孔庆云;潘登
受保护的技术使用者:西安天和防务技术股份有限公司
技术研发日:2021.02.02
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1