技术特征:
技术总结
本公开的实施例提供了一种用于分布式数据处理的方法和设备。所述方法包括:从一个或多个上游节点接收附接有共享计数的一个或多个输入消息,其中所述共享计数被用于确定与所述一个或多个输入消息相关联的根消息的处理状态;处理所述一个或多个输入消息以生成一个或多个新消息;基于接收到的所述共享计数,向每个新消息分配新共享计数;以及向一个或多个下游节点发送附接有相应的新共享计数的所述一个或多个新消息。与现有技术相比,根据本公开的实施例的用于分布式数据处理的方法和设备,能够有效降低网络流量上的开销以及所消耗的CPU和存储器资源,并且针对不同分布式数据处理系统的拓扑结构具有可扩展性。
技术研发人员:赵军平;张峰豪;曹逾;陶隽;孙宇熙
受保护的技术使用者:伊姆西公司
技术研发日:2015.12.28
技术公布日:2017.07.04