一种遥感图像处理资源动态分级调度方法及装置与流程

本发明涉及遥感图像处理与应用，尤其涉及一种遥感图像处理资源动态分级调度方法及装置。

背景技术：

1、随着云计算技术在各领域广泛应用，云计算规模、应用场景的日趋扩大化和复杂化，资源调度问题也随之成为云计算技术应用中的关键问题。云环境下资源调度主要包括计算资源、存储资源、网络资源等调度，目标是实现高效的资源利用和优化性能，以满足用户的需求和服务级别协议要求，其性能表现将直接影响整个云平台的服务。在计算密集型的应用领域，cpu在内存读取、处理串行工作以及复杂流程控制方面有独特的优势；与cpu相比，gpu具有线程粒度细、缓存需求少、计算核心数量多和浮点计算能力强等特点，更擅长大规模数据的并行计算。遥感图像处理流程消耗的算力主要包括cpu、gpu、内存等通用计算资源，但各类处理流程在算力需求方面各不相同。现有的云计算资源调度算法主要包括基于优先级的调度算法、基于队列的调度算法、基于负载均衡的调度算法和基于启发式算法的调度算法等，通常将cpu、内存等通用虚拟化资源作为主要资源来设计资源分配算法，以资源最大化利用为优化目标给出不同的资源调度策略，没有统筹考虑遥感图像处理任务特征属性，与遥感图像处理对算力资源特殊性和实际应用场景不匹配。

技术实现思路

1、本发明所要解决的技术问题在于，提供一种遥感图像处理资源动态分级调度方法及装置，基于元任务需求评估，实现遥感图像处理资源动态分级调度，该方法的核心是面向遥感图像处理实际应用场景，通过对图像处理流程分类拆解和元任务需求分析实现对算力资源精细化评估，并在此基础上引入基于场景的任务分级调度策略，实现面向遥感图像处理场景的资源动态调度分配。该方法克服了现有技术的不足，提高遥感图像处理算力资源的使用效益，具有工程实践应用意义。

2、为了解决上述技术问题，本发明实施例第一方面公开了一种遥感图像处理资源动态分级调度方法，所述方法包括：

3、s1，获取遥感图像处理任务信息；所述遥感图像处理任务信息包括传感器类型、工作模式、工作时长、数据接收开始时间、数据接收结束时间和遥感图像处理任务优先级信息；

4、s2，对所述遥感图像处理任务信息进行处理，得到时段τ内地面系统需完成的图像处理任务个数；

5、s3，对遥感图像处理任务进行映射，得到遥感图像处理算法集；

6、所述遥感图像处理算法集包括n个元任务，n为正整数；

7、所述遥感图像处理算法集包括预处理流程算法集y、数据编目流程算法集s、图像校正流程算法集t和模型训练流程算法集z；遥感图像处理算法集中每个处理流程中的处理软件或插件视为一个元任务；

8、s4，对所述遥感图像处理算法集进行处理，得到每个元任务的计算资源消耗信息；所述每个元任务的计算资源消耗信息包括cpu数量、内存大小、gpu数量；

9、s5，根据所述每个元任务的计算资源消耗信息，对所述时段τ内地面系统需完成的图像处理任务个数进行处理，得到系统执行单个遥感图像处理任务的资源需求信息和系统需执行的遥感图像处理任务的资源需求信息；

10、s6，根据所述遥感图像处理任务优先级、所述系统执行单个遥感图像处理任务的资源需求信息和系统需执行的遥感图像处理任务的资源需求信息，对待处理的遥感图像处理任务进行资源动态分级调度。

11、作为一种可选的实施方式，本发明实施例第一方面中，所述对所述遥感图像处理任务信息进行处理，得到时段τ内地面系统需完成的图像处理任务个数，包括：

12、s21，对所述遥感图像处理任务信息进行处理，得到单个图像处理任务；

13、s22，对所述单个图像处理任务进行处理，得到时刻t地面系统需完成的图像处理任务个数；

14、s23，对所述时刻t地面系统需完成的图像处理任务个数进行处理，得到时段τ内地面系统需完成的图像处理任务个数。

15、作为一种可选的实施方式，本发明实施例第一方面中，所述单个图像处理任务表达式为：

16、rtask＝{sensor,mode,period,st,et}

17、其中，rtask为单个图像处理任务，sensor为传感器类型，mode为工作模式，period为工作时长，st为数据接收开始时间，et为数据接收结束时间。

18、作为一种可选的实施方式，本发明实施例第一方面中，所述时刻t地面系统需完成的图像处理任务个数表达式为：

19、

20、其中，f(t)为时刻t地面系统需完成的图像处理任务个数，rtaski为第i个图像处理任务，sti为第i个图像处理任务数据接收开始时间，eti为第i个图像处理任务数据接收结束时间。

21、作为一种可选的实施方式，本发明实施例第一方面中，所述对所述时刻t地面系统需完成的图像处理任务个数进行处理，得到时段τ内地面系统需完成的图像处理任务个数，包括：

22、利用图像处理任务计算模型，对所述时刻t地面系统需完成的图像处理任务个数进行处理，得到时段τ内地面系统需完成的图像处理任务个数；

23、所述图像处理任务计算模型表达式为：

24、

25、其中，f(τ)为时段τ内地面系统需完成的图像处理任务个数，f(t)为时刻t地面系统需完成的图像处理任务个数，h(t)为处理响应函数，t0为计算开始的参考时间，表示卷积。

26、作为一种可选的实施方式，本发明实施例第一方面中，所述对遥感图像处理任务进行映射，得到遥感图像处理算法集，包括：

27、利用遥感图像处理任务映射模型，对遥感图像处理任务进行映射，得到遥感图像处理算法集；

28、所述遥感图像处理任务映射模型表达式为：

29、f:rtaski→ei(yi,si,ti,zi)

30、其中，f表示映射关系，rtaski为第i个图像处理任务，yi＝(y1,y2,…,ym)为第i个预处理流程算法集，为第i个预处理流程算法集中的第i1个元素，i1＝1,2,…,m，m为第i个预处理流程算法集中的元素个数，si＝(s1,s2,…,sn)为第i个数据编目流程算法集，为第i个数据编目流程算法集中的第i2个元素，i2＝1,2,…,n，n为第i个数据编目流程算法集元素的个数，ti＝(t1,t2,…,tp)为第i个图像校正流程算法集，为第i个图像校正流程算法集中的第i3个元素，i3＝1,2,…,p，p为第i个图像校正流程算法集中的元素个数，zi＝(z1,z2,…,zq)为第i个模型训练流程算法集，为第i个模型训练流程算法集中的第i4个元素，i4＝1,2,…,q，q为第i个模型训练流程算法集中的元素个数，m、n、p、q的取值与实际业务系统相关，可以从系统配置中直接获取，所述遥感图像处理算法集包括n个元任务，n为正整数，预处理流程算法集y、数据编目流程算法集s、图像校正流程算法集t和模型训练流程算法集z中的一个处理软件或一个插件视为一个元任务，ei为第i个遥感图像处理算法集。

31、作为一种可选的实施方式，本发明实施例第一方面中，所述对所述遥感图像处理算法集进行处理，得到每个元任务的计算资源消耗信息，包括：

32、对每个元任务的历史运行情况进行统计分析，得到每个元任务的计算资源消耗信息；

33、所述每个元任务的计算资源消耗信息表达式为：

34、

35、其中，为第i个元任务的计算资源消耗信息，zycpu代表cpu，tci为第i个元任务的cpu数量，zygpu代表gpu，tgi为第i个元任务的gpu数量，zymem代表内存，tmi为第i个元任务的内存大小。

36、作为一种可选的实施方式，本发明实施例第一方面中，所述系统需执行的遥感图像处理任务的资源需求信息表达式为：

37、

38、其中，zy(τ)为时段τ内系统需执行的遥感图像处理任务的资源需求信息，t0为计算开始的参考时间，表示卷积，h(t)为任务与资源消耗关联映射，为第i个元任务的计算资源消耗信息，zycpu代表cpu，tci为第i个元任务的cpu数量，zygpu代表gpu，tgi为第i个元任务的gpu数量，zymem代表内存，tmi为第i个元任务的内存大小，rtaski为第i个图像处理任务。

39、本发明实施例第二方面公开了一种遥感图像处理资源动态分级调度装置，所述装置包括：

40、信息获取模块，用于获取遥感图像处理任务信息；所述遥感图像处理任务信息包括传感器类型、工作模式、工作时长、数据接收开始时间、数据接收结束时间和遥感图像处理任务优先级信息；

41、信息处理模块，用于对所述遥感图像处理任务信息进行处理，得到时段τ内地面系统需完成的图像处理任务个数；

42、任务映射模块，用于对遥感图像处理任务进行映射，得到遥感图像处理算法集；

43、所述遥感图像处理算法集包括n个元任务，n为正整数；

44、所述遥感图像处理算法集包括预处理流程算法集y、数据编目流程算法集s、图像校正流程算法集t和模型训练流程算法集z；遥感图像处理算法集中每个处理流程中的处理软件或插件视为一个元任务；

45、元任务处理模块，用于对所述遥感图像处理算法集进行处理，得到每个元任务的计算资源消耗信息；所述每个元任务的计算资源消耗信息包括cpu数量、内存大小、gpu数量；

46、资源需求计算模块，用于根据所述每个元任务的计算资源消耗信息，对所述时段τ内地面系统需完成的图像处理任务个数进行处理，得到系统执行单个遥感图像处理任务的资源需求信息和系统需执行的遥感图像处理任务的资源需求信息；

47、分级调度模块，用于根据所述遥感图像处理任务优先级、所述系统执行单个遥感图像处理任务的资源需求信息和系统需执行的遥感图像处理任务的资源需求信息，对待处理的遥感图像处理任务进行资源动态分级调度。

48、作为一种可选的实施方式，本发明实施例第二方面中，所述对所述遥感图像处理任务信息进行处理，得到时段τ内地面系统需完成的图像处理任务个数，包括：

49、s21，对所述遥感图像处理任务信息进行处理，得到单个图像处理任务；

50、s22，对所述单个图像处理任务进行处理，得到时刻t地面系统需完成的图像处理任务个数；

51、s23，对所述时刻t地面系统需完成的图像处理任务个数进行处理，得到时段τ内地面系统需完成的图像处理任务个数。

52、作为一种可选的实施方式，本发明实施例第二方面中，所述单个图像处理任务表达式为：

53、rtask＝{sensor,mode,period,st,et}

54、其中，rtask为单个图像处理任务，sensor为传感器类型，mode为工作模式，period为工作时长，st为数据接收开始时间，et为数据接收结束时间。

55、作为一种可选的实施方式，本发明实施例第二方面中，所述时刻t地面系统需完成的图像处理任务个数表达式为：

56、

57、其中，f(t)为时刻t地面系统需完成的图像处理任务个数，rtaski为第i个图像处理任务，sti为第i个图像处理任务数据接收开始时间，eti为第i个图像处理任务数据接收结束时间。

58、作为一种可选的实施方式，本发明实施例第二方面中，所述对所述时刻t地面系统需完成的图像处理任务个数进行处理，得到时段τ内地面系统需完成的图像处理任务个数，包括：

59、利用图像处理任务计算模型，对所述时刻t地面系统需完成的图像处理任务个数进行处理，得到时段τ内地面系统需完成的图像处理任务个数；

60、所述图像处理任务计算模型表达式为：

61、

62、其中，f(τ)为时段τ内地面系统需完成的图像处理任务个数，f(t)为时刻t地面系统需完成的图像处理任务个数，h(t)为处理响应函数，t0为计算开始的参考时间，表示卷积。

63、作为一种可选的实施方式，本发明实施例第二方面中，所述对遥感图像处理任务进行映射，得到遥感图像处理算法集，包括：

64、利用遥感图像处理任务映射模型，对遥感图像处理任务进行映射，得到遥感图像处理算法集；

65、所述遥感图像处理任务映射模型表达式为：

66、f:rtaski→ei(yi,si,ti,zi)

67、其中，f表示映射关系，rtaski为第i个图像处理任务，yi＝(y1,y2,…,ym)为第i个预处理流程算法集，为第i个预处理流程算法集中的第i1个元素，i1＝1,2,...,m，m为第i个预处理流程算法集中的元素个数，si＝(s1,s2,...,sn)为第i个数据编目流程算法集，为第i个数据编目流程算法集中的第i2个元素，i2＝1,2,…,n，n为第i个数据编目流程算法集元素的个数，ti＝(t1,t2,…,tp)为第i个图像校正流程算法集，为第i个图像校正流程算法集中的第i3个元素，i3＝1,2,…,p，p为第i个图像校正流程算法集中的元素个数，zi＝(z1,z2,...,zq)为第i个模型训练流程算法集，为第i个模型训练流程算法集中的第i4个元素，i4＝1,2,…,q，q为第i个模型训练流程算法集中的元素个数，m、n、p、q的取值与实际业务系统相关，可以从系统配置中直接获取，所述遥感图像处理算法集包括n个元任务，n为正整数，预处理流程算法集y、数据编目流程算法集s、图像校正流程算法集t和模型训练流程算法集z中的一个处理软件或一个插件视为一个元任务，ei为第i个遥感图像处理算法集。

68、作为一种可选的实施方式，本发明实施例第二方面中，所述对所述遥感图像处理算法集进行处理，得到每个元任务的计算资源消耗信息，包括：

69、对每个元任务的历史运行情况进行统计分析，得到每个元任务的计算资源消耗信息；

70、所述每个元任务的计算资源消耗信息表达式为：

71、

72、其中，为第i个元任务的计算资源消耗信息，zycpu代表cpu，tci为第i个元任务的cpu数量，zygpu代表gpu，tgi为第i个元任务的gpu数量，zymem代表内存，tmi为第i个元任务的内存大小。

73、作为一种可选的实施方式，本发明实施例第二方面中，所述系统需执行的遥感图像处理任务的资源需求信息表达式为：

74、

75、其中，zy(τ)为时段τ内系统需执行的遥感图像处理任务的资源需求信息，t0为计算开始的参考时间，表示卷积，h(t)为任务与资源消耗关联映射，h(t):为第i个元任务的计算资源消耗信息，zycpu代表cpu，tci为第i个元任务的cpu数量，zygpu代表gpu，tgi为第i个元任务的gpu数量，zymem代表内存，tmi为第i个元任务的内存大小，rtaski为第i个图像处理任务。

76、本发明第三方面公开了另一种遥感图像处理资源动态分级调度装置，所述装置包括：

77、存储有可执行程序代码的存储器；

78、与所述存储器耦合的处理器；

79、所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的一种遥感图像处理资源动态分级调度方法中的部分或全部步骤。

80、与现有技术相比，本发明实施例具有以下有益效果：

81、本发明一种遥感图像处理资源动态分级调度方法，基于对图像处理流程分类拆解和元任务需求分析实现对算力资源精细化评估，并通过引入任务分级调度策略，实现面向遥感图像处理实际场景的资源动态调度分配，提高在有限资源条件下遥感图像处理算力资源的使用效益，在实用性上有较大的突破，可以推广到遥感图像处理与应用相关领域中。