基于本地差分隐私的联邦学习图像分类方法

文档序号:28208980发布日期:2021-12-28 19:48阅读:来源:国知局

技术特征:
1.一种基于本地差分隐私的联邦学习图像分类方法,其特征在于,包括如下步骤:(1)构建联邦学习场景模型:构建包括中心服务器和i个本地客户端l={l
i
|1≤i≤i}的联邦学习场景模型,其中,i≥2,l
i
表示第i个本地客户端;(2)本地客户端获取训练样本集和测试样本集:每个本地客户端l
i
获取包含m个目标类别的n幅图像,并对每幅图像进行标注,然后将半数以上图像及其标签作为训练样本集,将剩余的图像及其标签作为测试样本集其中,m≥2,n≥500;(3)构建基于卷积神经网络的图像分类模型h:本地客户端l构建基于卷积神经网络的图像分类模型,卷积神经网络包括依次层叠的输入层、m个卷积层

relu层

池化层、输出层,其中m≥2,输出层包括依次层叠的多个全连接层;(4)本地客户端l初始化参数:本地客户端l初始化迭代次数为t,最大迭代次数为t,t≥50,当前基于卷积神经网络的图像分类模型为h
t
,h
t
的权重参数为w
t
,w
t
的参数值数量为k,k≥10000,并令t=0,h
t
=h;(5)本地客户端l对基于卷积神经网络的图像分类模型h的权重参数进行本地更新:(5a)本地客户端l将从训练样本集中有放回且随机选取的c
·
n个训练样本作为当前基于卷积神经网络的图像分类模型h
t
的输入进行前向传播,得到预测标签集合其中,c为采样因子,表示第q个训练样本对应的预测标签,1≤q≤c
·
n;(5b)本地客户端l采用交叉熵损失函数,并通过每个预测标签和其对应的真实标签计算图像分类模型h
t
的损失值然后求取对h
t
的权重参数w
t
的偏导再采用随机梯度下降法,通过将在h
t
中进行反向传播的方式对w
t
进行更新,得到本地更新后的权重参数δ
i
w
t
;(6)本地客户端l对权重参数δ
i
w
t
进行本地差分隐私扰动并上传:(6a)每个本地客户端l
i
选取更新后的权重参数δ
i
w
t
中绝对值最大的θ
u
k个参数,并求取所选取的每个参数与δ
i
w
t
中绝对值最大的值c的商,得到标准化的扰动输入值其中θ
u
表示选择参数因子,0.01≤θ
u
≤1,x
j
表示第j个扰动输入值,1≤j≤θ
u
k;(6b)每个本地客户端l
i
对每个扰动输入值x
j
生成随机数u
t
∈[0,1],并判断是否成立,若是,从区间中均匀采集x
j
的扰动输出值y
j
,否
则,从区间中均匀采集x
j
的扰动输出值y
j
,其中,a表示扰动输出的边界,ε表示隐私预算,0.1≤ε≤10;(6c)本地客户端l将θ
u
k个扰动输出值组合成上传向量并将上传至中心服务器;(7)中心服务器获取权值参数全局更新后的基于卷积神经网络的图像分类模型并发送:中心服务器对上传向量进行聚合,得到的聚合结果实现对本地更新后的权重参数δ
i
w
t
的全局更新,并将权重参数w
t
经过本地更新以及全局更新后的图像分类模型发送至每个本地客户端l
i
;(8)中心服务器获取训练好的基于卷积神经网络的图像分类模型:中心服务器判断t≥t是否成立,若是,得到训练好的基于卷积神经网络的图像分类模型h',若否,令t=t+1,并执行步骤(5);(9)本地客户端获取图像分类结果:每个本地客户端l
i
将测试样本集作为训练好的基于卷积神经网络的图像分类模型h'的输入进行前向传播,得到所有测试样本的预测标签。2.根据权利要求1所述的基于本地差分隐私的联邦学习图像分类方法,其特征在于,步骤(3)中所述的基于卷积神经网络的图像分类模型h,其中,卷积层

relu层

池化层的层数为2,全连接层的层数为3,2个卷积层

relu层

池化层中卷积层卷积核的大小均为5,步长均为1,第一卷积层

relu层

池化层中卷积层的填充为2,卷积核个数设置为6,第二卷积层

relu层

池化层中卷积层的填充为0,卷积核个数设置为16。3.根据权利要求1所述的基于本地差分隐私的联邦学习图像分类方法,其特征在于,步骤(5b)中所述的本地客户端l计算图像分类模型h
t
的损失值对h
t
的权重参数w
t
进行更新,计算、更新公式分别为:新,计算、更新公式分别为:其中α为学习率,0.001≤α≤1,ln表示以自然常数e为底的对数,表示梯度算子。4.根据权利要求1所述的基于本地差分隐私的联邦学习图像分类方法,其特征在于,步骤(7)中所述的中心服务器对图像分类模型h
t
的权重参数w
t
进行聚合,聚合公式为:

技术总结
本发明提出一种基于本地差分隐私的联邦学习图像分类方法,实现步骤为:构建联邦学习场景模型;本地客户端获取训练样本集和测试样本集;构建基于卷积神经网络的图像分类模型;本地客户端初始化参数;本地客户端对基于卷积神经网络的图像分类模型的权重参数进行本地更新;本地客户端对权重参数进行本地差分隐私扰动并上传;中心服务器获取权值参数全局更新后的基于卷积神经网络的图像分类模型并发送;中心服务器获取训练好的基于卷积神经网络的图像分类模型;本地客户端获取图像分类结果。本发明通过对本地更新后的权重参数进行本地差分隐私扰动后,再全局更新,降低了计算存储开销,进而提高了训练效率,且适用于不同隐私保护需求场景的图像分类。保护需求场景的图像分类。保护需求场景的图像分类。


技术研发人员:朱笑岩 王亚杰 张琳杰 马建峰
受保护的技术使用者:西安电子科技大学
技术研发日:2021.09.10
技术公布日:2021/12/27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1