一种大模型联邦学习方法、装置、存储介质及电子设备与流程

文档序号:37789865发布日期:2024-04-30 17:00阅读:来源:国知局

技术特征:

1.一种大模型联邦学习方法,所述方法应用于服务端,所述方法包括:

2.如权利要求1所述的方法,采用各客户端增量参数对该客户端的增量参数进行聚合,得到该客户端的聚合参数,具体包括:

3.如权利要求2所述的方法,确定该客户端的增量参数与每个客户端的增量参数之间的聚合权重,具体包括:

4.一种大模型联邦学习方法,所述方法应用于客户端,所述方法包括:

5.如权利要求4所述的方法,调整所述目标大模型的增量参数,具体包括:

6.一种大模型联邦学习装置,包括:

7.如权利要求6所示的装置,所述聚合模块,具体用于确定该客户端的增量参数与每个客户端的增量参数之间的聚合权重;根据所述聚合权重,采用各客户端的增量参数对该客户端的增量参数进行聚合,得到该客户端的聚合参数。

8.如权利要求7所示的装置,所述聚合模块,具体用于确定各客户端在训练目标大模型时采用的训练样本的总数量;将参与联邦学习的客户端确定为聚合客户端,并将该客户端确定为目标客户端;针对每个聚合客户端,确定该聚合客户端在训练目标大模型时采用的训练样本的数量在所述总数量中的占比,并确定该聚合客户端的增量参数与所述目标客户端的增量参数之间的相似度;根据所述占比与所述相似度,确定该聚合客户端与所述目标客户端之间的聚合权重。

9.一种大模型联邦学习装置,包括:

10.如权利要求9所示的装置,所述训练模块,具体用于采用正则化规则调整所述目标大模型的增量参数。

11.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~5任一项所述的方法。

12.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述权利要求1~5任一项所述的方法。


技术总结
本说明书公开了一种大模型联邦学习方法、装置、存储介质及电子设备。在本说明书提供的大模型联邦学习方法中,针对每个参与联邦学习的客户端,接收该客户端在训练该客户端的目标大模型后发送的增量参数,该客户端的模型参数由原始参数和增量参数构成,增量参数的量级小于原始参数的量级,在训练目标大模型时,原始参数不变,增量参数改变;采用各客户端的增量参数对该客户端的增量参数进行聚合,得到该客户端的聚合参数;将聚合参数返回给该客户端,使该客户端根据聚合参数更新该客户端的增量参数,根据原始参数和更新后的增量参数重新确定模型参数,并采用重新确定的模型参数重新对目标大模型进行训练,直到目标大模型收敛。

技术研发人员:吴若凡,刘腾飞,张天翼,王维强
受保护的技术使用者:支付宝(杭州)信息技术有限公司
技术研发日:
技术公布日:2024/4/29
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1