在参数数据集中进行分布式训练的制作方法

文档序号:19492503发布日期:2019-12-24 14:11阅读:来源:国知局

技术特征:

1.一种用于在参数数据集中进行分布式训练的方法,所述方法包括:

从网络中的第一分布式节点接收参数数据集,所述网络包括至少一个分布式节点和至少一个协调节点,其中所述数据集包括权重变化;

解密接收到的数据集;

基于训练数据记录训练所述参数数据集以获得经训练的参数数据集;以及

将经训练的参数数据集转发到第二分布式节点。

2.根据权利要求1所述的方法,其中接收到的参数数据集是加密的,其中加密发生在将经训练的数据集转发到第二分布式节点之前。

3.根据权利要求1所述的方法,其中第一分布式节点与第二分布式节点交换第一密钥,其中第一密钥确定第一分布式节点与第二分布式节点之间的加密和解密。

4.根据权利要求1所述的方法,其中第一分布式节点从所述至少一个协调节点接收第二分布式节点的第一ip地址。

5.根据权利要求1所述的方法,还包括:

向具有至少一个分布式节点的所述网络添加至少一个新的分布式节点,其中所述至少一个协调节点确定所述至少一个新的分布式节点的位置,并检查所述至少一个新的分布式节点中包含的认证信息;

移除第一分布式节点和第二分布式节点之间的第一密钥;

在第一分布式节点和第二分布式节点二者与所述至少一个新的分布式节点之间交换第二密钥;以及

在第一分布式节点和第二分布式节点二者与所述至少一个新的分布式节点之间交换第二ip地址。

6.根据权利要求1所述的方法,还包括:

从所述网络中移除至少一个移除的分布式节点,其中移除包括:

所述至少一个协调节点检查分区网络;以及

在所述至少一个连接的分布式节点和所述至少一个移除的分布式节点之间交换第一密钥。

7.根据权利要求1所述的方法,其中第一分布式节点和第二分布式节点通过至少一条数据线连接,其中第一分布式节点和第二分布式节点连接到所述至少一个协调节点。

8.一种用于在参数数据集中进行分布式训练的系统,所述系统包括:

至少一个协调节点;

具有多个分布式节点的网络,其中所述网络由所述至少一个协调节点协调;

计算机可读存储介质;

用户接口,被配置为接收输入和呈现输出;以及

处理器,通信地耦合到计算机可读存储介质和用户接口并且具有包括指令的存储器,当所述指令由处理器执行时,使所述处理器:

从所述多个分布式节点中的第一分布式节点接收参数数据集,其中所述参数数据集包括权重变化;

解密接收到的数据集;

基于训练数据记录训练所述参数数据集以获得经训练的参数数据集;以及

将经训练的参数数据集转发到所述多个分布式节点中的第二分布式节点。

9.根据权利要求8所述的系统,其中接收到的参数数据集是加密的,其中加密发生在将经训练的数据集转发到第二分布式节点之前。

10.根据权利要求8所述的系统,其中第一分布式节点与第二分布式节点交换第一密钥,其中第一密钥确定第一分布式节点与第二分布式节点之间的加密和解密。

11.根据权利要求8所述的系统,其中第一分布式节点从所述至少一个协调节点接收第二分布式节点的第一ip地址。

12.根据权利要求8所述的系统,还包括:

向具有至少一个分布式节点的所述网络添加至少一个新的分布式节点,其中所述至少一个协调节点确定所述至少一个新的分布式节点的位置,并检查所述至少一个新的分布式节点中包括的认证信息;

移除第一分布式节点和第二分布式节点之间的第一密钥;

在第一分布式节点和第二分布式节点二者与所述至少一个新的分布式节点之间交换第二密钥;以及

在第一分布式节点和第二分布式节点二者与所述至少一个新的分布式节点之间交换第二ip地址。

13.根据权利要求8所述的系统,还包括:

从网络中移除至少一个移除的分布式节点,其中移除包括:

所述至少一个协调节点检查分区网络;以及

在所述至少一个连接的分布式节点和所述至少一个移除的分布式节点之间交换第一密钥。

14.根据权利要求8所述的系统,其中第一分布式节点和第二分布式节点通过至少一条数据线连接,其中第一分布式节点和第二分布式节点连接到所述至少一个协调节点。

15.一种用于在参数数据集中进行分布式训练的计算机程序产品,所述计算机程序产品包括计算机可读存储介质,所述计算机可读存储介质具有存储在其中的计算机可读程序,其中所述计算机可读程序在由处理器执行时使所述处理器:

接收来自由至少一个协调节点协调的网络中的多个分布式节点中的第一分布式节点的参数数据集,其中所述参数数据集包括权重变化;

解密接收到的数据集;

基于训练数据记录训练所述参数数据集以获得经训练的参数数据集;以及

将经训练的参数数据集转发到第二分布式节点。

16.根据权利要求15所述的计算机程序产品,其中接收到的参数数据集是加密的,其中加密发生在将经训练的数据集转发到第二分布式节点之前。

17.根据权利要求15所述的计算机程序产品,其中所述计算机可读程序使所述处理器与第二分布式节点交换第一密钥,其中第一密钥确定第一分布式节点与第二分布式节点之间的加密和解密。

18.根据权利要求15所述的计算机程序产品,其中所述计算机可读程序使所述处理器从所述至少一个协调节点接收第二分布式节点的第一ip地址。

19.根据权利要求15所述的计算机程序产品,其中所述计算机可读程序还使所述处理器:

将至少一个新的分布式节点添加到网络,其中所述至少一个协调节点确定所述至少一个新的分布式节点的位置,并检查所述至少一个新的分布式节点中包含的认证信息;

移除第一分布式节点和第二分布式节点之间的第一密钥;

在第一分布式节点和第二分布式节点二者与所述至少一个新的分布式节点之间交换第二密钥;以及

在第一分布式节点和第二分布式节点二者与所述至少一个新的分布式节点之间交换第二ip地址。

20.根据权利要求15所述的计算机程序产品,其中所述计算机可读程序使所述处理器:

从网络中移除至少一个移除的分布式节点,其中移除包括:

所述至少一个协调节点检查分区网络;以及

在所述至少一个连接的分布式节点和所述至少一个移除的分布式节点之间交换第一密钥。

21.一种用于在参数数据集中进行分布式训练的系统,所述系统包括分别用于执行权利要求1-7中任一项所述的方法的步骤的模块。


技术总结
一种在参数数据集中进行分布式训练的方法;用于至少一个协调节点的方法;至少一个分布式节点的网络;从第一分布式节点接收参数数据集;解密接收到的数据集;基于训练数据记录训练参数数据集以获得经训练的参数数据集;并且将经训练的参数数据集转发到第二分布式节点。

技术研发人员:O·本克;T·U·博格曼;M·U·K·科汗;D·罗赫姆
受保护的技术使用者:国际商业机器公司
技术研发日:2019.06.12
技术公布日:2019.12.24
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1