技术特征：
技术总结
一种面向MapReduce框架的有效计算与数据传输重叠执行方法，将Mapper端的有效计算、数据传输和Reducer端的有效计算以流水的方式重叠执行，隐藏数据传输延迟。首先，将粗粒度数据块Block细分为细粒度数据块FG‑Block，作为流水处理的基本单位，Mapper端读取完FG‑Block数据，完成有效计算之后即可处理下一个FG‑Block；其次，当溢写文件满足文件发送阈值即可开启数据传输，将数据从Mapper端传输到Reducer端，然后等待传输后续溢写文件；再次，Reducer端接收到数据之后，启动有效计算，如果存在数据依赖的操作，则等待数据全部传输完成进行计算；第四，以FG‑Block为单位进行迭代处理，执行过程相互重叠，数据传输被隐藏于有效计算中；最后，Reducer端接收完所有数据，做最后的统计计算。
技术研发人员：张元鸣;蒋建波;高天宇;肖刚;陆佳炜;高飞
受保护的技术使用者：浙江工业大学
技术研发日：2018.11.09
技术公布日：2019.04.02