技术总结
本发明提出了基于增量式分区策略的MapReduce数据均衡方法。具体为首先在Map端产生多于Reducer个数的微分区，微分区的负载统计被持续收集并且发送给决策者，在每一个决策点，优化的马尔科夫模型在未被分配的微分区中自动进行分区选择，然后利用分配算法将选中的微分区分配到各Reducer上；依照此方法，经过多次分区选择和分配，最终在执行Reduce函数前，将所有微分区分配到Reduce端，该方法使得数据划分更加均衡，有效避免了数据倾斜所带来的负载不均衡问题。
技术研发人员：陈群;房超;王卓
受保护的技术使用者：西北工业大学
文档号码：201610480210
技术研发日：2016.06.27
技术公布日：2016.11.16