结合同态加密和模型水印的人工智能模型联邦学习方法与流程

文档序号:33373256发布日期:2023-03-08 03:04阅读:来源:国知局

技术特征:
1.结合同态加密和模型水印的人工智能模型联邦学习方法,其特征在于,包括以下步骤:步骤1,由中央服务器对多个参与者进行编号和分组,并由中央服务器将目标人工智能模型、相应的编号发送给每个参与者,其中目标人工智能模型的损失函数为通过水印信息及水印对应的投影矩阵构建的正则化器正则化后的损失函数;步骤2,每个参与者分别获取同态加密的密钥;步骤3,每个参与者分别使用本地数据对步骤1获取的目标人工智能模型进行训练得到训练后的本地模型以及模型参数,训练时通过损失函数对模型参数进行更新,由此将水印嵌入至训练后得到的本地模型中;步骤4,由每个参与者使用步骤2得到的密钥对模型参数进行加密;步骤5,由每个参与者将加密后的模型参数发送至中央服务器,由中央服务器将属于同一组的各个参与者发送的模型参数进行聚合;步骤6,中央服务器将聚合的模型参数分别发送给对应组的各个参与者,每个参与者对聚合的模型参数进行解密后,利用解密后的聚合的模型参数更新本地模型;步骤7,重复步骤1-6,对目标人工智能模型进行多轮训练。2.根据权利要求1所述的结合同态加密和模型水印的人工智能模型联邦学习方法,其特征在于:步骤1中,以每个参与者的编号作为水印信息得到水印,并基于水印和水印的投影矩阵构建正则化函数,然后通过正则化函数对目标人工智能模型原有的损失函数进行正则化,由此带有正则化器的损失函数在训练过程中对模型参数进行更新时能够将水印嵌入至模型中。3.根据权利要求2所述的结合同态加密和模型水印的人工智能模型联邦学习方法,其特征在于:所述带有正则化器的损失函数e(ω)定义为:e(ω)=e
o
(ω)+λe
r
(ω)其中e0(ω)是原始的损失函数,λ是可调参数,ω是模型参数向量,e
r
(ω)是对参数ω施加限制的正则化项。本实施例中e
r
(ω)使用二元交叉熵为正则化器定义损失函数:其中b
j
为第j位需要嵌入的水印,y
j
为第j位已经嵌入的水印,将其定义为:y
j
=σ(σ
i
x
ji
ω
i
)其中x
ji
为中央服务器定义的服从标准正态分布的投影矩阵,j对应水印位置,i对应模型参数位置,ω
i
是为ω参数向量中第i个模型参数,σ(
·
)是sigmoid函数:4.根据权利要求1所述的结合同态加密和模型水印的人工智能模型联邦学习方法,其特征在于:步骤2中,采用同态加密中的paillier加密方法来制作密钥。
5.根据权利要求1所述的结合同态加密和模型水印的人工智能模型联邦学习方法,其特征在于:步骤5中,所述聚合过程如下:其中,w
i
表示客户端c
i
本地训练的模型参数;[w
i
]表示对w
i
进行加密运算;表示第n组用户按数据量加权聚合的更新模型参数;表示客户端c
i
更新后的模型参数;表示paillier同态加密的加法同态性;d表示小组成员数据总量;d
i
表示客户端c
i
的数据量,凭借paillier算法的加法同态性,中央服务器可以在模型参数不可见的情况下,对模型参数进行聚合。6.根据权利要求1所述的结合同态加密和模型水印的人工智能模型联邦学习方法,其特征在于:步骤7中,每轮训练时,由参与者感知前一轮训练后的本地模型的精度是否降低,若降低则由参与者向中央服务器申请终止此轮的训练,并由中央服务器登记中途终止训练的参与者的编号,以及对每个参与者中途终止训练的次数进行统计,当某个参与者中途终止的次数达到设定阈值时,由中央服务器将相应参与者逐出整个任务。7.一种终端,包括处理器及存储介质;其特征在于:所述存储介质用于存储指令;所述处理器用于根据所述指令进行操作以执行根据权利要求1-6任一项所述方法的步骤。8.计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-6任一项所述方法的步骤。

技术总结
一种结合同态加密和模型水印的人工智能模型联邦学习方法,在联邦学习框架中,首先由中央服务器对多个参与者进行编号和分组,以及分发目标人工智能模型、相应的编号,每个参与者使用同态密钥加密对本地模型训练后得到的模型参数并发送给中央服务器,由中央服务器对加密的模型参数进行聚合后再返回至各个参与者,每个参与者对聚合的模型参数进行解密后利用聚合的模型参数更新本地模型,由此完成目标人工智能模型在联邦学习框架下的训练学习。本发明可解决客户的隐私安全问题,并可实现对客户不可信行为的监督。户不可信行为的监督。户不可信行为的监督。


技术研发人员:白锐 何平 兴胜利 王晓梅 赵灿 顾杨青 钱雪峰
受保护的技术使用者:国网江苏省电力有限公司苏州供电分公司
技术研发日:2022.11.09
技术公布日:2023/3/7
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1