1.一种大模型联邦学习方法,所述方法应用于服务端,所述方法包括:
2.如权利要求1所述的方法,采用各客户端增量参数对该客户端的增量参数进行聚合,得到该客户端的聚合参数,具体包括:
3.如权利要求2所述的方法,确定该客户端的增量参数与每个客户端的增量参数之间的聚合权重,具体包括:
4.一种大模型联邦学习方法,所述方法应用于客户端,所述方法包括:
5.如权利要求4所述的方法,调整所述目标大模型的增量参数,具体包括:
6.一种大模型联邦学习装置,包括:
7.如权利要求6所示的装置,所述聚合模块,具体用于确定该客户端的增量参数与每个客户端的增量参数之间的聚合权重;根据所述聚合权重,采用各客户端的增量参数对该客户端的增量参数进行聚合,得到该客户端的聚合参数。
8.如权利要求7所示的装置,所述聚合模块,具体用于确定各客户端在训练目标大模型时采用的训练样本的总数量;将参与联邦学习的客户端确定为聚合客户端,并将该客户端确定为目标客户端;针对每个聚合客户端,确定该聚合客户端在训练目标大模型时采用的训练样本的数量在所述总数量中的占比,并确定该聚合客户端的增量参数与所述目标客户端的增量参数之间的相似度;根据所述占比与所述相似度,确定该聚合客户端与所述目标客户端之间的聚合权重。
9.一种大模型联邦学习装置,包括:
10.如权利要求9所示的装置,所述训练模块,具体用于采用正则化规则调整所述目标大模型的增量参数。
11.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~5任一项所述的方法。
12.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述权利要求1~5任一项所述的方法。