基于云计算的遥感大数据自动化处理方法与流程

文档序号:21591770发布日期:2020-07-24 16:39阅读:来源:国知局

技术特征:

1.一种基于云计算的遥感大数据自动化处理方法,其特征在于,该方法通过处理系统实现,所述系统包括遥感大数据自动化处理引擎、存储单元和计算单元,所述方法包括如下步骤:

步骤1,遥感大数据自动化处理引擎识别输入的遥感大数据处理请求,获知待处理遥感数据存储地址、遥感数据处理流程、资源-时间映射表、遥感数据处理流程所涉及数据处理任务的存储地址和数据处理任务调度算法的存储地址;

步骤2,遥感大数据自动化处理引擎根据步骤1中获得的数据处理任务调度算法存储地址从存储单元获取数据处理任务调度算法,并将遥感数据处理流程、资源-时间映射表作为数据处理任务调度算法的输入,执行数据处理任务调度算法,得到数据处理任务调度结果;

步骤3,遥感大数据自动化处理引擎根据步骤2中获得的调度结果在计算单元中部署计算环境;

步骤4,遥感大数据自动化处理引擎根据步骤1中的遥感数据和数据处理任务的存储地址分别获取遥感数据和数据处理任务,并根据步骤2获得的任务调度结果在步骤3获得的计算环境中执行数据处理任务,得到遥感数据的处理结果。

2.根据权利要求1所述的基于云计算的遥感大数据自动化处理方法,其特征在于,步骤1具体是由客户端提交遥感大数据处理请求,引擎识别请求后获知待处理遥感数据存储地址、遥感数据处理流程、资源-时间映射表、遥感数据处理流程所涉及任务的存储地址和算法的存储地址并写入标准化接口文件。

3.根据权利要求2所述的基于云计算的遥感大数据自动化处理方法,其特征在于,所述标准化接口文件是通过标准化的方式描述方法各模块的输入输出,由标记语言实现。

4.根据权利要求1所述的基于云计算的遥感大数据自动化处理方法,其特征在于,步骤1所述的遥感数据处理流程是由遥感大数据算法处理中具有偏序关系的任务组合而成。

5.根据权利要求1所述的基于云计算的遥感大数据自动化处理方法,其特征在于,步骤1所述的资源-时间映射表描述了任务在不同计算分片和不同数据量下的执行时间。

6.根据权利要求2所述的基于云计算的遥感大数据自动化处理方法,其特征在于,步骤2中所述的遥感大数据自动化处理引擎根据标准化接口文件中的算法存储地址,从存储单元获取算法,将遥感数据处理流程、资源-时间映射表作为算法的输入,利用算法的寻优机制分析流程中任务之间和任务内部的并行关系,计算出调度结果,并将调度结果写入标准化接口文件。

7.根据权利要求1或6所述的基于云计算的遥感大数据自动化处理方法,其特征在于,调度结果包括:每个子任务所需的计算节点数量、计算节点序号、预估任务开始时间和任务完成时间。

8.根据权利要求2所述的基于云计算的遥感大数据自动化处理方法,其特征在于,步骤3所述的遥感大数据自动化处理引擎根据步骤2中获得的调度结果在计算单元中部署计算环境,具体为:遥感大数据自动化处理引擎根据标准化接口文件中的调度结果,向计算单元申请相应的计算资源,并通过计算环境自动化部署脚本进行计算环境的部署。

9.根据权利要求8所述的基于云计算的遥感大数据自动化处理方法,其特征在于,所述自动化部署脚本由程序设计语言实现;所述计算环境的部署过程为:准备功能完善的服务器系统,启动服务器集群,配置计算框架和存储框架文件,启动计算环境。

10.根据权利要求2所述的基于云计算的遥感大数据自动化处理方法,其特征在于,步骤4所述的遥感大数据自动化处理引擎根据标准化接口文件中的遥感数据和任务的存储地址分别获取遥感数据和数据处理任务,并根据步骤2获得的任务调度结果在步骤3获得的计算环境中执行任务,得到最终的数据处理结果。


技术总结
本发明公开了一种基于云计算的遥感大数据自动化处理方法,遥感大数据自动化处理引擎识别输入的遥感大数据处理请求,获知待处理遥感数据存储地址、遥感数据处理流程、资源‑时间映射表、流程所涉及数据处理任务的存储地址和任务调度算法的存储地址;根据获得的算法存储地址从存储单元获取算法,并将流程、资源‑时间映射表作为算法的输入,执行算法,得到任务调度结果;根据获得的调度结果在计算单元中部署计算环境;根据获得的遥感数据和任务的存储地址分别获取遥感数据和任务,并根据获得的任务调度结果在获得的计算环境中执行任务,得到遥感数据的处理结果。本发明遥感能够有效提高云计算平台处理遥感大数据的效率。

技术研发人员:魏洁;周天天;吴泽彬;张毅;孙晋;郑鹏;徐洋;韦志辉
受保护的技术使用者:南京理工大学
技术研发日:2020.06.16
技术公布日:2020.07.24
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1