基于神经元激活值聚类的纵向联邦学习后门防御方法与流程

1.本发明属于商品推荐的隐私安全技术领域，具体涉及一种基于神经元激活值聚类的纵向联邦学习后门防御方法。


背景技术：

2.深度学习在复杂多变的推荐任务中取得优异的性能，这使得其在现实场景中的商品推荐系统中得到大规模的应用和部署。通过深度学习构建的商品推荐系统相比传统的商品推荐系统进一步提升了性能，这主要得益于丰富的计算资源和充足的计算数据。然而，近些年一些国家和地区出台了数据隐私保护法规限制了商业数据的大规模收集，这给深度学习构建的商品推荐系统带来很大的挑战，随着而来的是企业之间的数据孤岛现象。
3.利用纵向联邦学习技术搭建的商业推荐系统被称为纵向联邦推荐系统。纵向联邦推荐系统被视作破解商业推荐系统中数据孤岛难题的技术解决方案。参与纵向联邦学习的企业无需共享商品属性数据，仅仅在本地共享嵌入表示或梯度就可以构建完整的商品推荐系统。然而，由于所有参与纵向联邦推荐系统的过程中难以保证所有的企业都是可信的，这其中极其有可能存在恶意的参与方。参与者试图通过在纵向联邦推荐系统中篡改数据或者操纵纵向联邦学习训练过程达到对商品推荐系统注入后门的目的。例如，参与者试图在某件商品添加特殊标识后被恶意进行大量推送给用户，这极大破坏商品推荐系统的安全性。
4.纵向联邦推荐系统在训练过程中，存在两种不同攻击者发动后门攻击的范式，一方面作为主动方（参与纵向联邦推荐系统中具有标签的参与方）进行后门攻击时，纵向联邦推荐系统中的主动方在训练过程中仅仅为数据特征上添加模式触发器并且为相应的样本数据修改标签信息就可以达到注入后门的目的；另一方面作为被动方（参与纵向联邦推荐系统中只提供特征的参与方）进行后门攻击时，纵向联邦推荐系统的被动方通过在训练过程中篡改梯度信息来注入后门。这两种注入后门的目的都是在纵向联邦推荐系统测试阶段，攻击者可以使得纵向联邦推荐系统将特定的商品样本恶意精准推荐给特定用户。
5.为了防御纵向联邦推荐系统的后门攻击威胁，需要在协作方部署防御方法。现有技术中存在2种常见的防御方法：差分隐私技术和梯度稀疏技术。然而，这2种技术并不适用于商品推荐系统防御后门攻击威胁，其中差分隐私技术通过添加随机噪声使得商品推荐任务的准确性急剧下降，无法权衡后门防御性能和推荐任务性能。梯度稀疏无法防御纵向联邦推荐系统的主动方进行后门攻击，这主要是由于主动方发动后门攻击不依赖于模型的梯度信息。


技术实现要素：

6.鉴于上述，本发明的目的是提供一种基于神经元激活值聚类的纵向联邦学习后门防御方法，以使纵向联邦学习系统中顶部模型能够防御后门攻击，提高顶部模型的鲁棒性。
7.为实现上述发明目的，本发明提供以下技术方案：一种基于神经元激活值聚类的纵向联邦学习后门防御方法，包括以下步骤：
构建包含多个参与方和一个协作方的纵向联邦推荐系统，该纵向联邦推荐系统用于通过纵向联邦学习构建商品推荐模型；进行纵向联邦推荐系统的联邦学习，包括：每个参与方利用本地商品样本训练本地模型，并上传商品样本对应的嵌入表示至协作方；协作方聚合所有参与方上传的嵌入表示得到聚合嵌入表示，并获得聚合嵌入表示在顶部模型的神经元激活值以构建商品导向链路，通过对商品导向链路进行聚类来筛选被后门攻击的商品导向链路，同时根据聚类结果对后门攻击的商品导向链路进行修复，依据修复后的商品导向链路进行顶部模型的参数更新，并将更新参数下传至参与方进行下一轮联邦学习；提取联邦学习结束的顶部模型作为能够防御后门攻击的商品推荐模型。
8.在一个实施例中，协作方采用拼接操作聚合所有参与方上传的嵌入表示得到聚合嵌入表示。
9.在一个实施例中，所述获得聚合嵌入表示在顶部模型的神经元激活值以构建商品导向链路，包括：利用顶部模型对输入的聚合嵌入表示进行一次正向传导计算，以得到正向传导过程中顶部模型的每层神经元的激活值，提取每层激活值最大的神经元作为商品导向神经元，所有层的商品导向神经元按照正向传导方向连接形成商品导向链路。
10.在一个实施例中，所述通过对商品导向链路进行聚类来筛选被后门攻击的商品导向链路，包括：基于顶部模型对输入的聚合嵌入表示进行一次正向传导计算得到的预测标签，对聚合嵌入表示和对应的商品导向链路进行分类存储；针对每类预测标签对应的所有聚合嵌入表示进行聚类，鉴于纵向联邦学习中攻击者的数量少于正常参与训练的参与者，筛选包含聚合嵌入表示个数最小的聚类簇为第一异常聚类簇，并以第一异常聚类簇中包含的聚合嵌入表示个数与参与聚类的所有聚合嵌入表示个数的比值作为第一后门风险评分；针对每类预测标签对应的所有商品导向链路进行聚类，筛选包含商品导向链路个数最小的聚类簇为第二异常聚类簇，并以第二异常聚类簇中包含的商品导向链路个数与参与聚类的所有商品导向链路个数的比值作为第二后门风险评分；针对每类预测标签，综合聚合嵌入表示对应的第一后门风险评分与商品导向链路对应的第二后门风险评分得到每类预测标签对应的总后门风险评分；总后门风险评分大于预设阈值时，认为第一异常聚类簇中的聚合嵌入表示为后门攻击的联合嵌入表示，同时认为第二异常聚类簇中商品导向链路为后门攻击的商品导向链路。
11.在一个实施例中，所述对聚合嵌入表示和对应的商品导向链路进行分类存储，包括：依据聚合嵌入表示的预测标签构建商品索引查询表，每类预测标签对应商品索引查询表的每一族，属于相同类预测标签的联合嵌入表示和对应的商品导向链路被排列在同一族，以实现按照预测标签的分类存储。
12.在一个实施例中，在对每类预测标签对应的所有聚合嵌入表示进行聚类时，随机选择两个聚合嵌入表示作为初始聚类中心，依据的聚类距离为待聚类的聚合嵌入表示到聚
类中心的欧几里得距离与待聚类的聚合嵌入表示到聚类中心的余弦相似度距离之和，每轮聚类结束后，采用平均聚类算法按照聚类中所有聚合嵌入表示的维度平均数来更新聚类中心；在对每类预测标签对应的所有商品导向链路进行聚类时，随机选择两个商品导向链路作为初始聚类中心，依据的聚类距离为待聚类的商品导向链路到聚类中心的欧几里得距离与待聚类的商品导向链路到聚类中心的余弦相似度距离之和，每轮聚类结束后，采用平均聚类算法按照聚类中所有商品导向链路的维度平均数来更新聚类中心。
13.在一个实施例中，所述综合聚合嵌入表示对应的第一后门风险评分与商品导向链路对应的第二后门风险评分得到每类预测标签对应的总后门风险评分，包括：将聚合嵌入表示对应的第一后门风险评分和商品导向链路对应的第二后门风险评分按照权重加权求和得到每类预测标签对应的总后门风险评分，其中，权重的取值为0-1，第一后门风险评分的权重与第二后门风险评分的权重之和为1。
14.在一个实施例中，所述根据聚类结果对后门攻击的商品导向链路进行修复，包括：从聚类结果中任意选择一个正常商品导向链路覆盖后门攻击的商品导向链路，以实现修复；或，计算聚类结果中所有正常商品导向链路的平均值，以平均值覆盖后门攻击的商品导向链路，以实现修复。
15.在一个实施例中，在确定后门攻击的商品导向链路时，获得商品导向链路对应的后门攻击的联合嵌入表示并记录；记录的后门攻击的联合嵌入表示用于指导下一轮联邦学习。
16.在一个实施例中，所述记录的后门攻击的联合嵌入表示用于指导下一轮联邦学习，包括：下一轮联邦学习时，协作方依据最新后门攻击的联合嵌入表示的id从参与方上传的联合嵌入表示中删除相同id的联合嵌入表示，利用剩下的联合嵌入表示参与协作方的顶部模型的更新；或，下一轮联邦学习时，协作方依据最新后门攻击的联合嵌入表示的id从参与方上传的联合嵌入表示中筛选相同id的联合嵌入表示，并对相同id的联合嵌入表示进行攻击修复，修复后的联合嵌入表示参与协作方的顶部模型的更新；其中，攻击修复包括：利用相同id的联合嵌入表示的相邻固定时间范围内的正常最大联合嵌入表示进行替换，以实现攻击修复。
17.与现有技术相比，本发明具有的有益效果至少包括：协作方在获得聚合嵌入表示对应的构建商品导向链路后，通过对商品导向链路进行分类以有效筛选出潜在后门攻击的商品导向链路，并利用聚类结果对后门攻击的商品导向链路进行修复，以指导后门攻击的商品样本朝着正确的预测方向进行学习，这样无需获得参与方的商品样本，修复后的顶部模型能够防御后门攻击；确定后门攻击的商品导向链路的同时，还可以获得后门攻击的聚合嵌入表示，通过对与后门攻击的聚合嵌入表示相同id的联合嵌入表示进行滤除或攻击修复，以阻止或改善后门攻击的聚合嵌入表示对顶部模型的参数优化，提升顶部模型对后门攻击的防御能
力。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
19.图1是实施例提供的基于神经元激活值聚类的纵向联邦学习后门防御方法的流程图；图2是实施例提供的纵向联邦推荐系统的结构示意图；图3是实施例提供的聚类筛选后门攻击的商品导向链路的原理图。
具体实施方式
20.为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
21.针对如何保护纵向联邦学习中的模型安全问题，鉴于纵向联邦推荐系统在商业场景中进行广泛部署后存在后门攻击的风险，有必要研究一种有效的防御方法。本发明旨在从纵向联邦推荐系统中协作方的角度提出基于神经元激活值聚类的纵向联邦学习后门防御方法，具体技术构思为：在纵向联邦推荐系统中主动方和被动方发起的后门攻击最终都会在具有预测分类能力的顶部模型表现出注入后门的效果，特别地，技术构思基于一种现实观察，注入后门的顶部模型和干净的顶部模型在分类任务时的神经元激活值表现出不同的规律。通常来说，对于干净模型对于相同类别的样本分类的商品导向链路具有相同的规律，然而对于后门模型对于相同类别的样本分类的商品导向链路具有两种不同的规律。基于此，引入k-means聚类技术对顶部模型的神经元激活值进行分析，同时分析嵌入表示的分布特征，为此，进行评定模型是否被注入了后门。最后，对纵向联邦推荐系统潜在的后门进行神经元激活值以及嵌入表示替换操作来修复后门带来的风险和挑战。
22.图1是实施例提供的基于神经元激活值聚类的纵向联邦学习后门防御方法的流程图。如图1所示，实施例提供的基于神经元激活值聚类的纵向联邦学习后门防御方法，包括以下步骤：步骤1，构建包含多个参与方和协作方的纵向联邦推荐系统。
23.实施例中，构建的纵向联邦推荐系统用于通过纵向联邦学习构建商品推荐模型。按照纵向联邦推荐系统协议，参与方具有本地商品样本和本地模型，协作方具有能够分类能力的顶部模型。其中，多个参与方用于利用本地商品样本训练本地模型，参与方的本地模型前向传播过程中获得商品样本的嵌入表示，并上传商品样本对应的嵌入表示至协作方。协作方用于对上传的嵌入表示进行聚合，并用聚合嵌入表示更新顶部模型参数，且还用于顶部模型的更新参数进行下一轮参与方本地模型的模型参数的部署。
24.实施例中，参与方具有的商品样本具有商品属性信息，其中，商品属性包括商品的类型，商品的颜色，商品的销售额等。基于该商品属性信息利用商品推荐模型可以实现商品
的推荐。
25.实施例中，参与方的本地模型采用的深度学习模型可以包括全连接神经网络模型、卷积神经网络模型或者图卷积神经网络模型等，协作方模型通常为具有分类能力的全连接神经网络模型。顶部模型和本地模型均包括输入层、隐藏层以及输出层，不同层之间存在链接关系，每层为由多个神经元组成的神经网络，如图2中本地模型和顶部模型的圆圈均表示神经元，每一层神经网络的神经元通过激活函数输出激活值，以反映神经元的激活状态。其中，每一层中神经元激活值最大的神经元被定义为导向神经元，如图2中顶部模型中的黑色圆圈，往往对预测任务具有重要作用。本地模型的输入层对应参与方的原始数据维度，本地模型的输出层对应纵向联邦推荐系统的训练协议中要求的输出维度。
26.基于纵向联邦推荐系统的数据安全隐私的协议，参与方的商品样本是对外公布，也不上传至协作方的，因此，协作方无法获得本地的商品样本。同时，参与方可能是恶意攻击者，存在后门攻击的风险。攻击者通过在联邦学习训练过程中注入精心制作的后门商品推荐样本毒化纵向联邦推荐系统，直接会导致协作方的顶部模型被注入后门，以影响最终的顶部模型的鲁棒性。因此，采用步骤2的方式进行顶部模型的后门攻击防御学习，以提高顶部模型对后门攻击的防御能力。
27.步骤2，进行纵向联邦推荐系统的联邦学习。
28.如图2所示，联邦学习过程中，每个参与方利用本地商品样本训练本地模型，并上传商品样本对应的嵌入表示至协作方。由于每个参与方具有的商品样本特征不同，每个参与方提取的嵌入表示也不同。
29.如图2所示，联邦学习过程中，协作方聚合所有参与方上传的嵌入表示得到聚合嵌入表示，并获得聚合嵌入表示在顶部模型的神经元激活值以构建商品导向链路，通过对商品导向链路进行聚类来筛选被后门攻击的商品导向链路，同时根据聚类结果对后门攻击的商品导向链路进行修复，依据修复后的商品导向链路进行顶部模型的参数更新，并将更新参数下传至参与方进行下一轮联邦学习。
30.实施例中，协作方接收所有参与方上传的嵌入表示，并聚合所有参与方上传的嵌入表示得到聚合嵌入表示，其中，s为嵌入表示的索引，也对应参与方的索引，x为聚合嵌入表示的索引。具体地，可以采用如函数等的拼接操作聚合所有参与方上传的嵌入表示得到聚合嵌入表示，拼接操作即是将为多个嵌入表示沿着相同维度进行拼接。聚合嵌入表示的维度，也即是顶部模型的输入维度为，其中，为参与方输出的嵌入表示的维度，表示参与方的数量，此处不失一般性假设默认每个参与方的本地模型的输出嵌入表示维度相同。
31.实施例中，获得的聚合嵌入表示在顶部模型的神经元激活值以构建商品导向链路，包括：聚合嵌入表示输入至顶部模型，利用顶部模型对聚合嵌入表示进行一次正向传导计算，以得到正向传导过程中顶部模型的每层神经元的激活值，提取每层激活值最大的神经元作为商品导向神经元，所有层的商品导向神经元按照正向传导方向连接形成商品导向链路。
32.实施例中，通过对商品导向链路进行聚类来筛选被后门攻击的商品导向链路，包
括：（a）基于顶部模型对输入的聚合嵌入表示进行一次正向传导计算得到的预测标签，对聚合嵌入表示和对应的商品导向链路进行分类存储。
33.实施例中，聚合嵌入表示输入至顶部模型中，经过一次正向传导计算以得到商品导向链接和商品预测标签，商品被推荐给特定的预测标签。例如“防滑鞋”根据预测结果被精准地推荐给“老年人”用户群体。协作方为商品样本建立商品索引查询表，商品索引查询表可以通过字典或者列表的形式存储于存储器中。其中，存储器可以为在近端的易失性存储器，如ram，还可以是非易失性存储器，如rom，flash，软盘，机械硬盘等，或者远端的存储云。
34.实施例中，依据聚合嵌入表示的预测标签构建商品索引查询表，每类预测标签对应商品索引查询表的每一族，属于相同类预测标签的联合嵌入表示和对应的商品导向链路被排列在同一族，以实现按照预测标签的分类存储。
35.如图3所示，协作方利用k-means聚类对每一族进行后门风险评分。后门风险评分机制由2部分组成：对商品导向链路的后门风险评分和对联合嵌入表示的后门风险评分。商品导向链接和嵌入表示都被视作向量形式用于聚类。通过检索每一族的异常分类情况判断每一族是否存在嵌入潜在的后门风险。协作方将族按照序列顺序依次进行排序，并逐一开展对每一族的后门风险评分。
36.（b）针对每类预测标签对应的所有聚合嵌入表示进行聚类，筛选包含聚合嵌入表示个数最小的聚类簇为第一异常聚类簇，并以第一异常聚类簇中包含的聚合嵌入表示个数与参与聚类的所有聚合嵌入表示个数的比值作为第一后门风险评分。
37.实施例中，在对每类预测标签对应的所有聚合嵌入表示进行聚类时，随机选择两个聚合嵌入表示作为初始聚类中心，分别表示正常聚类簇的聚类中心和异常聚类簇的聚类中心；然后，依据计算其余联合嵌入表示到两个聚类中心的聚类距离后，依据聚类距离对联合嵌入表示进行聚类，即将联合嵌入表示聚类到最小聚类距离对应的聚类簇。
38.实施例中，聚类距离采用两种度量方式，包括欧几里得距离和余弦相似度距离，并以待聚类的聚合嵌入表示到聚类中心的欧几里得距离与待聚类的聚合嵌入表示到聚类中心的余弦相似度距离之和作为聚类距离，即。
39.每轮聚类结束后，采用平均聚类算法按照聚类中所有聚合嵌入表示的维度平均数来更新聚类中心，即更新的聚类中心表示为：其中，表示第i个更新的聚类中心，为每族的聚合嵌入表示的个数。
40.聚类结束后，筛选包含聚合嵌入表示个数最小的聚类簇为第一异常聚类簇，即从两个聚类簇中选择聚合嵌入表示个数少的聚类簇作为第一异常聚类簇，剩下一个聚类簇为第一正常聚类簇，第一正常聚类簇包含的聚合嵌入表示为正常聚合嵌入表示；然后以第一异常聚类簇中包含的聚合嵌入表示个数与参与聚类的所有聚合嵌入表示个数的比值作为第一后门风险评分，同时记录该第一异常聚类簇中聚合嵌入表示的id。
41.（c）针对每类预测标签对应的所有商品导向链路进行聚类，筛选包含商品导向链路个数最小的聚类簇为第二异常聚类簇，并以第二异常聚类簇中包含的商品导向链路个数
与参与聚类的所有商品导向链路个数的比值作为第二后门风险评分。
42.实施例中，采用与聚合嵌入表示相同的聚类方式对商品导向链路进行聚类以得到对商品导向链路的后门风险评分。在对每类预测标签对应的所有商品导向链路进行聚类时，随机选择两个商品导向链路作为初始聚类中心，分别表示正常聚类簇的聚类中心和异常聚类簇的聚类中心；然后，依据计算其余商品导向链路到两个聚类中心的聚类距离后，依据聚类距离对商品导向链路进行聚类，即将商品导向链路聚类到最小聚类距离对应的聚类簇。
43.实施例中，对每类预测标签对应的所有商品导向链路进行聚类采用的聚类距离同样采用两种度量方式，包括欧几里得距离和余弦相似度距离，并以待聚类的聚合嵌入表示到聚类中心的欧几里得距离与待聚类的聚合嵌入表示到聚类中心的余弦相似度距离之和作为聚类距离，即。
44.每轮聚类结束后，采用平均聚类算法按照聚类中所有商品导向链路的维度平均数来更新聚类中心，即更新的聚类中心表示为：其中，表示第i个更新的聚类中心，为每族的商品导向链路的个数。
45.聚类结束后，筛选包含商品导向链路个数最小的聚类簇为第二异常聚类簇，即从两个聚类簇中选择商品导向链路个数少的聚类簇作为第二异常聚类簇，剩下一个聚类簇为第二正常聚类簇，第二正常聚类簇包含的商品导向链路为正常商品导向链路；然后以第二异常聚类簇中包含的商品导向链路个数与参与聚类的所有商品导向链路个数的比值作为第二后门风险评分，同时记录该第二异常聚类簇中商品导向链路的id。
46.（d）针对每类预测标签，综合聚合嵌入表示对应的第一后门风险评分与商品导向链路对应的第二后门风险评分得到每类预测标签对应的总后门风险评分。
47.在完成步骤（b）和步骤（c）的评分后，协作者将聚合嵌入表示对应的第一后门风险评分和商品导向链路对应的第二后门风险评分按照权重加权求和得到每类预测标签对应的总后门风险评分，其中，权重的取值为0-1，第一后门风险评分的权重与第二后门风险评分的权重之和为1。
48.优选地，第一后门风险评分的权重与第二后门风险评分的权重均取0.5，则以第一后门风险评分与第二后门风险评分的算数平均值作为每类预测标签对应的总后门风险评分score。
49.（e）总后门风险评分大于预设阈值时，认为第一异常聚类簇中的聚合嵌入表示为后门攻击的联合嵌入表示，同时认为第二异常聚类簇中商品导向链路为后门攻击的商品导向链路。
50.实施例中，阈值m作为衡量是否存在后门攻击的标准，经过试验探究获得，优选地，阈值m设为0.2-0.3，该阈值可以更好地判断是否存在后门攻击。进一步优选地，阈值m设为0.2。
51.当总后门风险评分score大于预设阈值m时，则认为顶部模型存在后门攻击，即认为第一异常聚类簇中的聚合嵌入表示为后门攻击的联合嵌入表示，同时认为第二异常聚类簇中商品导向链路为后门攻击的商品导向链路。
52.当总后门风险评分score小于等于预设阈值m时，则认为顶部模型不存在后门攻击，当认为顶部模型不存在后门攻击时，从内存释放存储结果，擦除存储器中该族的占有信息；否则，检测结果保存到存储器，原有族的信息不做擦除。
53.值得注意的是，被推荐的商品后门风险评分环节可以发生在纵向联邦推荐系统训练的任何阶段，通常存在2种评分策略：单点评分和间隔评分。其中，单点评分指协作方仅仅针对纵向联邦推荐系统训练过程中的顶部模型依赖单个轮次的评分，往往发生在纵向联邦推荐系统接近收敛阶段或者训练中间阶段。间隔评分指协作方针对纵向联邦推荐系统训练过程中多个轮次进行随机抽取顶部模型进行评分，选取评分最大值作为最终后门风险评分。
54.实施例中，根据聚类结果对后门攻击的商品导向链路进行修复，依据修复后的商品导向链路进行顶部模型的参数更新，并将更新参数下传至参与方进行下一轮联邦学习。
55.当协作方判断顶部模型存在潜在后门风险时，从存储器读取后门攻击的商品导向链路进行后门修复操作。具体地，根据聚类结果对后门攻击的商品导向链路进行修复，即对商品导向链接中神经元激活值净化操作，包括以下两种方式：方式一，直接替换覆盖，即从聚类结果中任意选择一个正常商品导向链路覆盖后门攻击的商品导向链路，以实现修复。具体地，从第二正常聚类簇中随机选择一个正常商品导向链路（视为未被攻击的正常商品导向链路）的激活值直接替换后门攻击的商品导向链路的激活值。该方式适用于协作方计算资源低的场景。
56.方式二：平均覆盖，即计算聚类结果中所有正常商品导向链路的平均值，以平均值覆盖后门攻击的商品导向链路，以实现修复。具体地，计算第二正常聚类簇中所有正常商品导向链路的平均激活值，利用平均激活值替换后门攻击的商品导向链路的激活值。
57.修复后的商品导向链路用于顶部模型的参数更新，并将更新参数下传至参与方进行下一轮联邦学习。这样更新的模型参数可以指导后门攻击的商品样本朝着正确的预测方向进行学习，这样无需获得参与方的商品样本，修复后的顶部模型能够防御后门攻击。
58.实施例中，在确定后门攻击的商品导向链路时，还可以获得商品导向链路对应的后门攻击的联合嵌入表示并记录；记录的后门攻击的联合嵌入表示用于指导下一轮联邦学习，包括以下两种方式：方式一：下一轮联邦学习时，协作方依据最新后门攻击的联合嵌入表示的id从参与方上传的联合嵌入表示中删除相同id的联合嵌入表示，利用剩下的联合嵌入表示参与协作方的顶部模型的更新。
59.实施例中，将靠近下一轮次最近的联邦学习轮次记录的后门攻击的联合嵌入表示作为最新后门攻击的联合嵌入表示，认为参与方上传的联合嵌入表示中具有与最新后门攻击的联合嵌入表示相同id的联合嵌入表示存在后门攻击风险，将其删除，以阻止存在后门攻击风险的聚合嵌入表示对顶部模型的参数优化，提升顶部模型对后门攻击的防御能力。
60.方式二：下一轮联邦学习时，协作方依据最新后门攻击的联合嵌入表示的id从参与方上传的联合嵌入表示中筛选相同id的联合嵌入表示，并对相同id的联合嵌入表示进行攻击修复，修复后的联合嵌入表示参与协作方的顶部模型的更新。
61.其中，攻击修复包括：利用相同id的联合嵌入表示的相邻固定时间范围内的最大正常联合嵌入表示进行替换，以实现攻击修复。具体地，根据联合嵌入表示的索引值，从相
同id的联合嵌入表示的相邻固定时间范围内选择所有正常联合嵌入表示，并选择最大正常联合嵌入表示作为替换目标，利用替换目标对相同id的联合嵌入表示进行替换，以实现攻击修复。
62.需要说明的是，在每轮训练过程中，参与方采用的商品样本的顺序不变，这样就能够依据之前记载的最新后门攻击的联合嵌入表示的id来锁定当前轮次可能存在后门攻击的联合嵌入表示。再者，参与方采用的商品样本的顺序不变，联合嵌入表示形成并输入顶部模型的时间顺序不变，这样可以方便锁定到相同id的联合嵌入表示的前后相邻固定时间范围内的正常联合嵌入表示，利用正常联合嵌入表示进行替换，替换修复后的联合嵌入表示参与协作方的顶部模型的更新，这样能够改善后门攻击的聚合嵌入表示对顶部模型的参数优化，提升顶部模型对后门攻击的防御能力。
63.步骤3，提取联邦学习结束的顶部模型作为能够防御后门攻击的商品推荐模型。
64.当联邦学习结束后，提取协作方的顶部模型及优化的模型参数作为最终的商品推荐模型，该商品推荐模型因为在训练过程中采用了后门攻击的商品导向链路的修复和后门攻击的联合嵌入表示的滤除和修复，因此具有防御攻击的能力，即使针对后门攻击的商品样本，也能够实现对商品的准确推荐。
65.以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。