技术总结
本发明公开了一种基于消息组合的可扩展大数据计算方法，用于解决现有大数据计算方法实用性差的技术问题。技术方案是首先建立抽象的大数据计算作业拓扑结构，再部署大数据计算作业，生成大算数据计算作业中计算任务执行计划，调度大数据计算任务，进行计算任务执行过程的负载均衡，执行大数据计算任务。当作业执行完毕，作业生命结束。由于将计算任务的拓扑结构与计算任务分割，拓扑结构定义大数据计算作业的抽象，计算任务代表真实的执行过程，消息传递作为抽象任务与计算任务之间的控制纽带。采用主从结构模式，主节点上的调度器根据抽象任务的拓扑结构来控制计算任务在各个从集群节点上执行，实用性好。
技术研发人员：汤小春;田凯飞;段慧芳
受保护的技术使用者：西北工业大学
文档号码：201611252002
技术研发日：2016.12.30
技术公布日：2017.05.17