基于联邦学习的模型训练方法、装置、设备及存储介质与流程

文档序号:27376397发布日期:2021-11-15 18:11阅读:来源:国知局

技术特征:
1.一种基于联邦学习的模型训练方法,其特征在于,所述方法包括:获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵,其中,所述目标客户端用于采用本地训练样本集对本地网络模型进行模型训练,根据训练结束的所述本地网络模型提取所述单模型训练样本数量和所述单模型参数矩阵;获取所述目标客户端的数量作为参与训练机构数量;将所有所述单模型训练样本数量进行相加,得到训练样本总数;获取第m轮联邦学习的第i

1次迭代的模型参数汇总矩阵,根据所述参与训练机构数量、所有所述单模型参数矩阵、所有所述单模型训练样本数量和第i

1次迭代的所述模型参数汇总矩阵计算第i次迭代的所述模型参数汇总矩阵;根据所述参与训练机构数量进行学习率计算,得到待更新的学习率;将所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵发送给各个所述目标客户端,其中,所述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新;将i加1,重复执行所述获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵的步骤,直至满足联邦学习结束条件。2.根据权利要求1所述的基于联邦学习的模型训练方法,其特征在于,所述第i次迭代的所述模型参数汇总矩阵的计算公式为w
_all
[i]:其中,w
_all
[i

1]是第m轮联邦学习的第i

1次迭代的模型参数汇总矩阵,n是第m轮联邦学习的第i

1次迭代的所述参与训练机构数量,w[a][i]是第m轮联邦学习的第i次迭代中的第a个所述目标客户端发送的所述单模型参数矩阵,sp_n[a]是第m轮联邦学习的第i次迭代中的第a个所述目标客户端发送的所述单模型训练样本数量。3.根据权利要求1所述的基于联邦学习的模型训练方法,其特征在于,所述待更新的学习率的计算公式b[i]为:b[i]=1/(i*n2)其中,n是所述参与训练机构数量,i是第m轮联邦学习的第i次迭代中的i。4.根据权利要求1所述的基于联邦学习的模型训练方法,其特征在于,所述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新的步骤,包括:通过待更新的客户端,根据所述待更新的客户端的所述最后一次更新梯度数据及所述单模型参数矩阵、所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵进行模型参数矩阵计算,得到待更新的模型参数矩阵,其中,所述待更新的客户端是任一个所述目标客户端;根据所述待更新的模型参数矩阵更新所述待更新的客户端对应的所述本地网络模型的参数;其中,所述待更新的模型参数矩阵的计算公式w
g
为:
w[r][i]是第m轮联邦学习的第i次迭代的所述待更新的客户端r的所述单模型参数矩阵,w_all[i]是第m轮联邦学习的第i次迭代的所述模型参数汇总矩阵,sp_all[i]是第m轮联邦学习的第i次迭代的所述训练样本总数,b[i]是第m轮联邦学习的第i次迭代的所述待更新的学习率,grad[i]是第m轮联邦学习的第i次迭代的所述待更新的客户端对应的所述本地网络模型的所述最后一次更新梯度数据。5.根据权利要求1所述的基于联邦学习的模型训练方法,其特征在于,所述联邦学习结束条件包括:第m轮联邦学习的迭代次数满足预设联邦学习单轮迭代次数,或者,第m轮联邦学习的相邻三次的所述模型参数汇总矩阵的偏差满足预设联邦学习收敛条件;所述预设联邦学习单轮迭代次数的计算公式epoch为:epoch=g(5+log2n)其中,g(5+log2n)是对5+log2n进行向上取整,n是所述参与训练机构数量,log2n是2为底n的对数函数;所述第m轮联邦学习的相邻三次的所述模型参数汇总矩阵的偏差满足预设联邦学习收敛条件,包括:所述第m轮联邦学习的第i次迭代与第i

1次迭代的所述模型参数汇总矩阵的偏差、所述第m轮联邦学习的第i

1次迭代与第i

2次迭代的所述模型参数汇总矩阵的偏差均小于联邦学习偏差阈值;其中,所述第m轮联邦学习的第i次迭代与第i

1次迭代的所述模型参数汇总矩阵的偏差的计算公式w
p
[i]为:w
p
[i]=avg(w_all[i]

w_all[i

1])w_all[i]是所述第m轮联邦学习的第i次迭代的所述模型参数汇总矩阵,w_all[i

1]是所述第m轮联邦学习的第i

1次迭代的所述模型参数汇总矩阵,avg()是计算矩阵的各个参数的绝对值的平均值。6.根据权利要求1所述的基于联邦学习的模型训练方法,其特征在于,所述获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵的步骤之前,还包括:通过待处理的客户端,获取多个待处理的训练样本,所述待处理的训练样本包括:待处理的简历、招聘岗位信息和简历筛选标定值,其中,所述待处理的客户端是任一个所述目标客户端;从多个所述待处理的训练样本中获取一个所述待处理的训练样本,作为目标待处理的训练样本;对所述目标待处理的训练样本对应的所述待处理的简历和所述招聘岗位信息分别进行结构化解析,得到待处理的结构化数据对;根据所述待处理的结构化数据对和所述目标待处理的训练样本对应的所述简历筛选标定值进行本地训练样本生成,得到所述目标待处理的训练样本对应的待存储的本地训练样本;重复执行所述从多个所述待处理的训练样本中获取一个所述待处理的训练样本,作为
目标待处理的训练样本的步骤,直至完成所述待处理的训练样本的获取;将所有所述待存储的本地训练样本作为所述待处理的客户端对应的所述本地训练样本集。7.根据权利要求6所述的基于联邦学习的模型训练方法,其特征在于,所述根据所述待处理的结构化数据对和所述目标待处理的训练样本对应的所述简历筛选标定值进行本地训练样本生成,得到所述目标待处理的训练样本对应的待存储的本地训练样本的步骤,包括:对所述待处理的结构化数据对进行标准化处理,得到标准化后的结构化数据对;获取预设知识图谱,根据所述预设知识图谱,对所述标准化后的结构化数据对进行信息抽取,得到待转化的信息集合对;对所述待转化的信息集合对进行张量空间的向量转换,得到张量空间向量对;根据所述张量空间向量对和所述目标待处理的训练样本对应的所述简历筛选标定值进行本地训练样本生成,得到所述目标待处理的训练样本对应的待存储的本地训练样本。8.一种基于联邦学习的模型训练装置,其特征在于,所述装置包括:数据获取模块,用于获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵,其中,所述目标客户端用于采用本地训练样本集对本地网络模型进行模型训练,根据训练结束的所述本地网络模型提取所述单模型训练样本数量和所述单模型参数矩阵;参与训练机构数量确定模块,用于获取所述目标客户端的数量作为参与训练机构数量;训练样本总数确定模块,用于将所有所述单模型训练样本数量进行相加,得到训练样本总数;模型参数汇总矩阵确定模块,用于获取第m轮联邦学习的第i

1次迭代的模型参数汇总矩阵,根据所述参与训练机构数量、所有所述单模型参数矩阵、所有所述单模型训练样本数量和第i

1次迭代的所述模型参数汇总矩阵计算第i次迭代的所述模型参数汇总矩阵;待更新的学习率确定模块,用于根据所述参与训练机构数量进行学习率计算,得到待更新的学习率;参数更新模块,用于将所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵发送给各个所述目标客户端,其中,所述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新;循环执行模块,用于将i加1,重复执行所述获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵的步骤,直至满足联邦学习结束条件。9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及人工智能技术领域,揭示了一种基于联邦学习的模型训练方法、装置、设备及存储介质,其中方法包括:获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵;将目标客户端的数量作为参与训练机构数量;根据所有单模型训练样本数量得到训练样本总数;根据参与训练机构数量、所有单模型参数矩阵、所有单模型训练样本数量和第i


技术研发人员:张玉君 张卫军 钱勇 黎奉薪
受保护的技术使用者:深圳平安智汇企业信息管理有限公司
技术研发日:2021.08.12
技术公布日:2021/11/14
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1