基于联邦学习的模型训练方法、装置、设备及存储介质与流程

1.本技术涉及到人工智能技术领域，特别是涉及到一种基于联邦学习的模型训练方法、装置、设备及存储介质。


背景技术：

2.人岗匹配，指候选人与岗位匹配，是机构在招聘领域的重要环节，但由于人岗匹配需要招聘人员投入非常多的时间精力，而且对专业知识要求也很高，目前不少机构已经结合深度学习的方法进行人岗匹配的自动化。然而，不是所有机构都有能力构建基于深度学习的人岗匹配模型，有的是缺少数据积累，有的是缺失开发资源等，因此市场上出现了不少提供人岗匹配的技术开发服务。但是，这些技术开发服务存在如下问题：(1)缺乏训练样本，单个机构没有足够的训练样本进行深度学习模型训练，导致人岗匹配模型的效果不理想；(2)数据受保密限制，机构出于保护商业机密的原因，不能将简历与岗位数据输出机构外，导致人岗匹配模型仅适用于该机构自身使用，难以到达更大范围的应用；(3)数据来源单一，机构数据不能离开机构，导致人岗匹配模型需要在机构内进行训练，大大限制了模型训练、更新的灵活性，需要专门的维护团队进行不定期开发。


技术实现要素：

3.本技术的主要目的为提供一种基于联邦学习的模型训练方法、装置、设备及存储介质，旨在解决现有技术的基于深度学习的人岗匹配模型，因缺乏训练样本、数据来源单一、数据受保密限制、数据来源单一，导致人岗匹配模型的效果不理想的技术问题。
4.为了实现上述发明目的，本技术提出一种基于联邦学习的模型训练方法，所述方法包括：
5.获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵，其中，所述目标客户端用于采用本地训练样本集对本地网络模型进行模型训练，根据训练结束的所述本地网络模型提取所述单模型训练样本数量和所述单模型参数矩阵；
6.获取所述目标客户端的数量作为参与训练机构数量；
7.将所有所述单模型训练样本数量进行相加，得到训练样本总数；
8.获取第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，根据所述参与训练机构数量、所有所述单模型参数矩阵、所有所述单模型训练样本数量和第i
‑
1次迭代的所述模型参数汇总矩阵计算第i次迭代的所述模型参数汇总矩阵；
9.根据所述参与训练机构数量进行学习率计算，得到待更新的学习率；
10.将所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵发送给各个所述目标客户端，其中，所述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新；
11.将i加1，重复执行所述获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵的步骤，直至满足联邦学习结束条件。
12.进一步的，所述第i次迭代的所述模型参数汇总矩阵的计算公式为w
_all
[i]：
[0013][0014]
其中，w
_all
[i
‑
1]是第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，n是第m轮联邦学习的第i
‑
1次迭代的所述参与训练机构数量，w[a][i]是第m轮联邦学习的第i次迭代中的第a个所述目标客户端发送的所述单模型参数矩阵，sp_n[a]是第m轮联邦学习的第i次迭代中的第a个所述目标客户端发送的所述单模型训练样本数量。
[0015]
进一步的，所述待更新的学习率的计算公式b[i]为：
[0016]
b[i]＝1/(i*n2)
[0017]
其中，n是所述参与训练机构数量，i是第m轮联邦学习的第i次迭代中的i。
[0018]
进一步的，所述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新的步骤，包括：
[0019]
通过待更新的客户端，根据所述待更新的客户端的所述最后一次更新梯度数据及所述单模型参数矩阵、所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵进行模型参数矩阵计算，得到待更新的模型参数矩阵，其中，所述待更新的客户端是任一个所述目标客户端；
[0020]
根据所述待更新的模型参数矩阵更新所述待更新的客户端对应的所述本地网络模型的参数；
[0021]
其中，所述待更新的模型参数矩阵的计算公式w
g
为：
[0022][0023]
w[r][i]是第m轮联邦学习的第i次迭代的所述待更新的客户端r的所述单模型参数矩阵，w_all[i]是第m轮联邦学习的第i次迭代的所述模型参数汇总矩阵，sp_all[i]是第m轮联邦学习的第i次迭代的所述训练样本总数，b[i]是第m轮联邦学习的第i次迭代的所述待更新的学习率，grad[i]是第m轮联邦学习的第i次迭代的所述待更新的客户端对应的所述本地网络模型的所述最后一次更新梯度数据。
[0024]
进一步的，所述联邦学习结束条件包括：第m轮联邦学习的迭代次数满足预设联邦学习单轮迭代次数，或者，第m轮联邦学习的相邻三次的所述模型参数汇总矩阵的偏差满足预设联邦学习收敛条件；
[0025]
所述预设联邦学习单轮迭代次数的计算公式epoch为：
[0026]
epoch＝g(5+log2n)
[0027]
其中，g(5+log2n)是对5+log2n进行向上取整，n是所述参与训练机构数量，log2n是2为底n的对数函数；
[0028]
所述第m轮联邦学习的相邻三次的所述模型参数汇总矩阵的偏差满足预设联邦学习收敛条件，包括：
[0029]
所述第m轮联邦学习的第i次迭代与第i
‑
1次迭代的所述模型参数汇总矩阵的偏差、所述第m轮联邦学习的第i
‑
1次迭代与第i
‑
2次迭代的所述模型参数汇总矩阵的偏差均小于联邦学习偏差阈值；
[0030]
其中，所述第m轮联邦学习的第i次迭代与第i
‑
1次迭代的所述模型参数汇总矩阵的偏差的计算公式w
p
[i]为：
[0031]
w
p
[i]＝avg(w_all[i]
‑
w_all[i
‑
1])
[0032]
w_all[i]是所述第m轮联邦学习的第i次迭代的所述模型参数汇总矩阵，w_all[i
‑
1]是所述第m轮联邦学习的第i
‑
1次迭代的所述模型参数汇总矩阵，avg()是计算矩阵的各个参数的绝对值的平均值。
[0033]
进一步的，所述获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵的步骤之前，还包括：
[0034]
通过待处理的客户端，获取多个待处理的训练样本，所述待处理的训练样本包括：待处理的简历、招聘岗位信息和简历筛选标定值，其中，所述待处理的客户端是任一个所述目标客户端；
[0035]
从多个所述待处理的训练样本中获取一个所述待处理的训练样本，作为目标待处理的训练样本；
[0036]
对所述目标待处理的训练样本对应的所述待处理的简历和所述招聘岗位信息分别进行结构化解析，得到待处理的结构化数据对；
[0037]
根据所述待处理的结构化数据对和所述目标待处理的训练样本对应的所述简历筛选标定值进行本地训练样本生成，得到所述目标待处理的训练样本对应的待存储的本地训练样本；
[0038]
重复执行所述从多个所述待处理的训练样本中获取一个所述待处理的训练样本，作为目标待处理的训练样本的步骤，直至完成所述待处理的训练样本的获取；
[0039]
将所有所述待存储的本地训练样本作为所述待处理的客户端对应的所述本地训练样本集。
[0040]
进一步的，所述根据所述待处理的结构化数据对和所述目标待处理的训练样本对应的所述简历筛选标定值进行本地训练样本生成，得到所述目标待处理的训练样本对应的待存储的本地训练样本的步骤，包括：
[0041]
对所述待处理的结构化数据对进行标准化处理，得到标准化后的结构化数据对；
[0042]
获取预设知识图谱，根据所述预设知识图谱，对所述标准化后的结构化数据对进行信息抽取，得到待转化的信息集合对；
[0043]
对所述待转化的信息集合对进行张量空间的向量转换，得到张量空间向量对；
[0044]
根据所述张量空间向量对和所述目标待处理的训练样本对应的所述简历筛选标定值进行本地训练样本生成，得到所述目标待处理的训练样本对应的待存储的本地训练样本。
[0045]
本技术还提出了一种基于联邦学习的模型训练装置，所述装置包括：
[0046]
数据获取模块，用于获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵，其中，所述目标客户端用于采用本地训练样本集对本地网络模型进行模型训练，根据训练结束的所述本地网络模型提取所述单模型训练样本
数量和所述单模型参数矩阵；
[0047]
参与训练机构数量确定模块，用于获取所述目标客户端的数量作为参与训练机构数量；
[0048]
训练样本总数确定模块，用于将所有所述单模型训练样本数量进行相加，得到训练样本总数；
[0049]
模型参数汇总矩阵确定模块，用于获取第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，根据所述参与训练机构数量、所有所述单模型参数矩阵、所有所述单模型训练样本数量和第i
‑
1次迭代的所述模型参数汇总矩阵计算第i次迭代的所述模型参数汇总矩阵；
[0050]
待更新的学习率确定模块，用于根据所述参与训练机构数量进行学习率计算，得到待更新的学习率；
[0051]
参数更新模块，用于将所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵发送给各个所述目标客户端，其中，所述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新；
[0052]
循环执行模块，用于将i加1，重复执行所述获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵的步骤，直至满足联邦学习结束条件。
[0053]
本技术还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
[0054]
本技术还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
[0055]
本技术的基于联邦学习的模型训练方法、装置、设备及存储介质，通过获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵；获取目标客户端的数量作为参与训练机构数量；将所有单模型训练样本数量进行相加，得到训练样本总数；获取第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，根据参与训练机构数量、所有单模型参数矩阵、所有单模型训练样本数量和第i
‑
1次迭代的模型参数汇总矩阵计算第i次迭代的模型参数汇总矩阵；根据参与训练机构数量进行学习率计算，得到待更新的学习率；将训练样本总数、待更新的学习率和第i次迭代的模型参数汇总矩阵发送给各个目标客户端，其中，目标客户端还用于根据目标客户端的最后一次更新梯度数据及单模型参数矩阵、训练样本总数、待更新的学习率和第i次迭代的模型参数汇总矩阵对本地网络模型进行参数更新，采用联邦学习增加了数据来源的多样性，提高了模型训练的效果，使缺乏训练样本的机构也可以使用模型，因参与训练的目标客户端只需要发送单模型训练样本数量和单模型参数矩阵，不需将训练样本的详细数据上传，从而使本方案适用于数据受保密限制的应用场景。
附图说明
[0056]
图1为本技术一实施例的基于联邦学习的模型训练方法的流程示意图；
[0057]
图2为本技术一实施例的基于联邦学习的模型训练装置的结构示意框图；
[0058]
图3为本技术一实施例的计算机设备的结构示意框图。
[0059]
本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0060]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0061]
参照图1，本技术实施例中提供一种基于联邦学习的模型训练方法，所述方法包括：
[0062]
s1：获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵，其中，所述目标客户端用于采用本地训练样本集对本地网络模型进行模型训练，根据训练结束的所述本地网络模型提取所述单模型训练样本数量和所述单模型参数矩阵；
[0063]
s2：获取所述目标客户端的数量作为参与训练机构数量；
[0064]
s3：将所有所述单模型训练样本数量进行相加，得到训练样本总数；
[0065]
s4：获取第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，根据所述参与训练机构数量、所有所述单模型参数矩阵、所有所述单模型训练样本数量和第i
‑
1次迭代的所述模型参数汇总矩阵计算第i次迭代的所述模型参数汇总矩阵；
[0066]
s5：根据所述参与训练机构数量进行学习率计算，得到待更新的学习率；
[0067]
s6：将所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵发送给各个所述目标客户端，其中，所述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新；
[0068]
s7：将i加1，重复执行所述获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵的步骤，直至满足联邦学习结束条件。
[0069]
本实施例通过获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵；获取目标客户端的数量作为参与训练机构数量；将所有单模型训练样本数量进行相加，得到训练样本总数；获取第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，根据参与训练机构数量、所有单模型参数矩阵、所有单模型训练样本数量和第i
‑
1次迭代的模型参数汇总矩阵计算第i次迭代的模型参数汇总矩阵；根据参与训练机构数量进行学习率计算，得到待更新的学习率；将训练样本总数、待更新的学习率和第i次迭代的模型参数汇总矩阵发送给各个目标客户端，其中，目标客户端还用于根据目标客户端的最后一次更新梯度数据及单模型参数矩阵、训练样本总数、待更新的学习率和第i次迭代的模型参数汇总矩阵对本地网络模型进行参数更新，采用联邦学习增加了数据来源的多样性，提高了模型训练的效果，使缺乏训练样本的机构也可以使用模型，因参与训练的目标客户端只需要发送单模型训练样本数量和单模型参数矩阵，不需将训练样本的详细数据上传，从而使本方案适用于数据受保密限制的应用场景。
[0070]
对于s1，通过目标客户端与聚合端的通信连接，第m轮联邦学习的第i次迭代的各个目标客户端将本地的单模型训练样本数量和单模型参数矩阵发送给聚合端，增加了数据来源的多样性，不需将训练样本的详细数据上传，从而使本方案适用于数据受保密限制的
应用场景。也就是说，在第m轮联邦学习的第i次迭代中，每个目标客户端对应一个所述单模型训练样本数量和一个所述单模型参数矩阵。聚合端每次进行聚合的单模型训练样本数量和单模型参数矩阵是同一轮联邦学习中同一次迭代的数据。
[0071]
可选的，获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵，可以理解的是，每个目标客户端采用同态加密算法，对自己对应的第m轮联邦学习的第i次迭代的单模型训练样本数量和单模型参数矩阵分别进行加密，将加密后的单模型训练样本数量和加密后的单模型参数矩阵发送给聚合端。聚合端可以在不知道单模型训练样本数量和加密后的单模型参数矩阵的实际数据内容的情况下进行加法和乘法运算，从而进一步保证了联邦学习的保密性。
[0072]
目标客户端，是参与第m轮联邦学习的客户端。每个客户端对应一个本地网络模型。
[0073]
聚合端，也就是根据各个目标客户端发送的单模型训练样本数量和单模型参数矩阵进行聚合，得到训练样本总数、待更新的学习率和模型参数汇总矩阵。
[0074]
可选的，所述本地网络模型是基于cnn(卷积神经网络)网络得到的人岗匹配模型。所述本地网络模型依次包括：多个卷积层、池化层和全连接层。可以理解的是，所述本地网络模型还可以是其他模型，在此不做限定。
[0075]
本地训练样本集包括多个本地训练样本。所述本地训练样本包括一个待训练样本数据和一个样本数据标定值。在同一个所述本地训练样本中，所述样本数据标定值是对所述待训练样本数据的准确的标定结果。比如，当所述本地网络模型是人岗匹配模型时，所述待训练样本数据是根据简历和招聘岗位信息得到的数据，所述样本数据标定值是根据招聘岗位信息进行简历筛选的准确结果，在此举例不做具体限定。
[0076]
可以理解的是，每轮参与联邦学习的所述目标客户端的数量大于预设参与机构阈值，并且，每个所述目标客户端的所述本地训练样本集中的所述本地训练样本的数量大于预设训练样本阈值。也就是说，只有所述本地训练样本集中的所述本地训练样本的数量大于预设训练样本阈值的客户端才能参与联邦学习，只有参与联邦学习的所述目标客户端的数量大于预设参与机构阈值才能开启一轮联邦学习。
[0077]
可选的，所述预设参与机构阈值设置为10，所述预设训练样本阈值为50。可以理解的是，所述预设参与机构阈值还可以设置为其他数值，在此不做限定。所述预设训练样本阈值还可以设置为其他数值，在此不做限定。
[0078]
其中，将任一个所述目标客户端作为待训练的客户端；通过所述待训练的客户端，获取所述待训练的客户端对应的所述本地训练样本集作为目标本地训练样本集，采用所述目标本地训练样本集对所述待训练的客户端对应的所述本地网络模型进行第m轮联邦学习的第i次的模型训练，将模型训练时使用的本地训练样本的实际数量作为所述待训练的客户端对应的所述单模型训练样本数量，从所述待训练的客户端对应的第m轮联邦学习的第i次迭代训练结束后的所述本地网络模型中获取模型的参数矩阵作为所述待训练的客户端对应的所述单模型参数矩阵，将所述待训练的客户端对应的所述单模型训练样本数量和所述单模型参数矩阵发送给聚合端。也就是说，所述待训练的客户端对应的所述单模型训练样本数量小于或等于所述目标本地训练样本集中的所述本地训练样本的数量。
[0079]
其中，所述采用所述目标本地训练样本集对所述待训练的客户端对应的所述本地
网络模型进行第m轮联邦学习的第i次的模型训练的步骤，包括：采用所述目标本地训练样本集对所述待训练的客户端对应的所述本地网络模型进行第m轮联邦学习的第i次的模型训练，直至满足预设本地训练结束条件，将满足所述预设本地训练结束条件的所述本地网络模型作为所述待训练的客户端对应的第m轮联邦学习的第i次迭代训练结束后的所述本地网络模型。
[0080]
所述预设本地训练结束条件包括：所述目标本地训练样本集中的所述本地训练样本全部完成一次训练，或者，所述待训练的客户端对应的所述本地网络模型连续多次的损失值满足预设本地训练收敛条件。
[0081]
比如，所述预设本地训练收敛条件为：所述待训练的客户端对应的所述本地网络模型连续3次的损失值均小于预设损失值阈值，在此举例不做具体限定。
[0082]
可选的，所述预设损失值阈值设置为0.0001。可以理解的是，所述预设损失值阈值还可以设置为其他数值，在此不做限定。
[0083]
对于s2，通过聚合端，计算第m轮联邦学习的第i次迭代的所述目标客户端的数量，将计算得到的数量作为所述参与训练机构数量。
[0084]
对于s3，通过聚合端，将所有所述单模型训练样本数量进行相加，将相加的得到数据作为所述训练样本总数。也就是说，所述训练样本总数是第m轮联邦学习的第i次迭代采用的本地训练样本的总数量。
[0085]
对于s4，通过聚合端，可以从数据库中获取第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，也可以从缓存中获取第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵。
[0086]
其中，通过聚合端，根据所述参与训练机构数量、所有所述单模型参数矩阵、所有所述单模型训练样本数量和第i
‑
1次迭代的所述模型参数汇总矩阵进行第m轮联邦学习的第i
‑
1次迭代的所述模型参数汇总矩阵计算，将计算得到的数据作为第m轮联邦学习的第i次迭代的所述模型参数汇总矩阵。也就是说，每次进行所述模型参数汇总矩阵计算，是在上一次迭代的所述模型参数汇总矩阵的基础上进行计算的。
[0087]
对于s5，可选的，根据所述参与训练机构数量进行学习率计算，将计算得到的学习率作为待更新的学习率，其中，待更新的学习率计算公式k[i]为：
[0088]
k[i]＝1/(d*n2)
[0089]
其中，n是所述参与训练机构数量，d是一个常量。
[0090]
可选的，因深度学习模型中学习率与深度学习模型的学习速度有关，学习率越大，模型学习越快，但有因为可能过大，错过了模型梯度优化的最佳位置；学习率越小，模型学习越慢，但有可能过小，而导致模型收敛收到局部位置，错过了模型梯度优化的最佳位置，所以，采用预设的学习率计算公式，通过聚合端根据所述参与训练机构数量进行学习率计算，以实现动态生成学习率，有利于使联邦学习先快速地锁定到全局最优解的大致位置，再逐渐以小步迭代的方式进行寻找。所述预设的学习率计算公式的值随着迭代次数的增加而减小，从而实现了越往后学习率越小，为实现先快速地锁定到全局最优解的大致位置，再逐渐以小步迭代的方式进行寻找的联邦学习提供了基础。
[0091]
对于s6，通过聚合端，将所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵发送给各个所述目标客户端。
[0092]
其中，各个目标客户端根据所述训练样本总数、所述待更新的学习率和第i次迭代
的所述模型参数汇总矩阵对各自对应的所述本地网络模型进行参数更新，从而完成第m轮联邦学习的第i次迭代。
[0093]
对于s7，将i加1，更新后的i将用于第m轮联邦学习的下一次迭代，重复执行步骤s1至步骤s7，直至满足联邦学习结束条件。当满足所述联邦学习结束条件时，意味着第m轮联邦学习结束，可以将此时的目标客户端对应的本地网络模型用于各个机构进行实际生产的预测。
[0094]
可以理解的是，也可以将所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵发送给没有参加第m轮联邦学习的客户端，从而使缺少训练样本的机构也能采用联邦学习的成果。
[0095]
可选的，对于新的客户端，直接采用第i次迭代的所述模型参数汇总矩阵作为新的客户端对应的所述本地网络模型的参数，将更新了参数后的新的客户端的所述本地网络模型进行实际生产的预测。
[0096]
在一个实施例中，上述第i次迭代的所述模型参数汇总矩阵的计算公式为w
_all
[i]：
[0097][0098]
其中，w
_all
[i
‑
1]是第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，n是第m轮联邦学习的第i
‑
1次迭代的所述参与训练机构数量，w[a][i]是第m轮联邦学习的第i次迭代中的第a个所述目标客户端发送的所述单模型参数矩阵，sp_n[a]是第m轮联邦学习的第i次迭代中的第a个所述目标客户端发送的所述单模型训练样本数量。
[0099]
本实施例实现了根据所述参与训练机构数量、所有所述单模型参数矩阵、所有所述单模型训练样本数量和第i
‑
1次迭代的所述模型参数汇总矩阵计算第i次迭代的所述模型参数汇总矩阵，从而实现了各个目标客户端的本地网络模型的特征聚合。
[0100]
通过以第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵为基础进行第m轮联邦学习的第i次迭代的所述模型参数汇总矩阵的计算，从而实现了逐次迭代计算，有利于提高所述模型参数汇总矩阵的延续性。
[0101]
在一个实施例中，上述待更新的学习率的计算公式b[i]为：
[0102]
b[i]＝1/(i*n2)
[0103]
其中，n是所述参与训练机构数量，i是第m轮联邦学习的第i次迭代中的i。
[0104]
本实施例通过根据所述参与训练机构数量进行学习率计算，从而实现了实现动态生成学习率，有利于使联邦学习先快速地锁定到全局最优解的大致位置，再逐渐以小步迭代的方式进行寻找。
[0105]
因1/(i*n2)随着n的增大，1/(i*n2)的值减小，从而实现了越往后学习率越小，为实现先快速地锁定到全局最优解的大致位置，再逐渐以小步迭代的方式进行寻找的联邦学习提供了基础。
[0106]
在一个实施例中，上述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新的步骤，包括：
[0107]
s61：通过待更新的客户端，根据所述待更新的客户端的所述最后一次更新梯度数据及所述单模型参数矩阵、所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵进行模型参数矩阵计算，得到待更新的模型参数矩阵，其中，所述待更新的客户端是任一个所述目标客户端；
[0108]
s62：根据所述待更新的模型参数矩阵更新所述待更新的客户端对应的所述本地网络模型的参数；
[0109]
其中，所述待更新的模型参数矩阵的计算公式w
g
为：
[0110][0111]
w[r][i]是第m轮联邦学习的第i次迭代的所述待更新的客户端r的所述单模型参数矩阵，w_all[i]是第m轮联邦学习的第i次迭代的所述模型参数汇总矩阵，sp_all[i]是第m轮联邦学习的第i次迭代的所述训练样本总数，b[i]是第m轮联邦学习的第i次迭代的所述待更新的学习率，grad[i]是第m轮联邦学习的第i次迭代的所述待更新的客户端对应的所述本地网络模型的所述最后一次更新梯度数据。
[0112]
本实施例实现了根据所述待更新的客户端的所述最后一次更新梯度数据及所述单模型参数矩阵、所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵进行模型参数矩阵计算，从而使计算得到的待更新的模型参数矩阵与待更新的客户端的所述最后一次更新梯度数据及所述单模型参数矩阵相关联，从而实现了个性化的更新目标客户端的本地网络模型的参数，
[0113]
对于s61，通过待更新的客户端，将第m轮联邦学习的第i次迭代的所述待更新的客户端的所述最后一次更新梯度数据、第m轮联邦学习的第i次迭代的所述待更新的客户端的所述单模型参数矩阵、第m轮联邦学习的第i次迭代的所述训练样本总数、第m轮联邦学习的第i次迭代的所述待更新的学习率和第m轮联邦学习的第i次迭代的所述模型参数汇总矩阵输入计算公式w
g
进行模型参数矩阵计算，将计算得到的模型参数矩阵作为待更新的模型参数矩阵。
[0114]
其中，所述待更新的客户端的所述最后一次更新梯度数据，也就是在所述待更新的客户端对应的第m轮联邦学习的第i次迭代训练时，所述待更新的客户端对应的所述本地网络模型在本地训练的最后一次的梯度数据。也就是说，所述待更新的客户端的所述单模型参数矩阵是所述待更新的客户端的所述单模型参数矩阵对应的梯度数据。
[0115]
其中，所述待更新的客户端的所述单模型参数矩阵，也就是从所述待更新的客户端对应的第m轮联邦学习的第i次迭代训练结束的所述本地网络模型中获取模型的参数矩阵。
[0116]
对于s62，将所述待更新的模型参数矩阵更新到所述待更新的客户端对应的所述本地网络模型。
[0117]
在一个实施例中，上述联邦学习结束条件包括：第m轮联邦学习的迭代次数满足预设联邦学习单轮迭代次数，或者，第m轮联邦学习的相邻三次的所述模型参数汇总矩阵的偏差满足预设联邦学习收敛条件；
[0118]
所述预设联邦学习单轮迭代次数的计算公式epoch为：
[0119]
epoch＝g(5+log2n)
[0120]
其中，g(5+log2n)是对5+log2n进行向上取整，n是所述参与训练机构数量，log2n是2为底n的对数函数；
[0121]
所述第m轮联邦学习的相邻三次的所述模型参数汇总矩阵的偏差满足预设联邦学习收敛条件，包括：
[0122]
所述第m轮联邦学习的第i次迭代与第i
‑
1次迭代的所述模型参数汇总矩阵的偏差、所述第m轮联邦学习的第i
‑
1次迭代与第i
‑
2次迭代的所述模型参数汇总矩阵的偏差均小于联邦学习偏差阈值；
[0123]
其中，所述第m轮联邦学习的第i次迭代与第i
‑
1次迭代的所述模型参数汇总矩阵的偏差的计算公式w
p
[i]为：
[0124]
w
p
[i]＝avg(w_all[i]
‑
w_all[i
‑
1])
[0125]
w_all[i]是所述第m轮联邦学习的第i次迭代的所述模型参数汇总矩阵，w_all[i
‑
1]是所述第m轮联邦学习的第i
‑
1次迭代的所述模型参数汇总矩阵，avg()是计算矩阵的各个参数的绝对值的平均值。
[0126]
因迭代次数越大，聚合端和目标客户端的计算资源开销越大，为了保证训练过程根据参与训练的机构的数量进行弹性调整，本实施例将g(5+log2n)作为预设联邦学习单轮迭代次数；而且将所述第m轮联邦学习的第i次迭代与第i
‑
1次迭代的所述模型参数汇总矩阵的偏差、所述第m轮联邦学习的第i
‑
1次迭代与第i
‑
2次迭代的所述模型参数汇总矩阵的偏差均小于联邦学习偏差阈值作为损失值收敛条件，从而避免对已经无法继续收敛的本地网络模型继续进行训练。
[0127]
可选的，所述联邦学习偏差阈值设置为0.001。可以理解的是，所述联邦学习偏差阈值还可以设置为其他数值，在此不做具体限定。
[0128]
其中，所述第m轮联邦学习的第i
‑
1次迭代与第i
‑
2次迭代的所述模型参数汇总矩阵的偏差的计算公式w
p
[i
‑
1]为：
[0129]
w
p
[i
‑
1]＝avg(w_all[i
‑
1]
‑
w_all[i
‑
2])
[0130]
w_all[i
‑
1]是所述第m轮联邦学习的第i
‑
1次迭代的所述模型参数汇总矩阵，w_all[i
‑
2]是所述第m轮联邦学习的第i
‑
2次迭代的所述模型参数汇总矩阵，avg()是计算矩阵的各个参数的绝对值的平均值。
[0131]
在一个实施例中，上述获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵的步骤之前，还包括：
[0132]
s11：通过待处理的客户端，获取多个待处理的训练样本，所述待处理的训练样本包括：待处理的简历、招聘岗位信息和简历筛选标定值，其中，所述待处理的客户端是任一个所述目标客户端；
[0133]
s12：从多个所述待处理的训练样本中获取一个所述待处理的训练样本，作为目标待处理的训练样本；
[0134]
s13：对所述目标待处理的训练样本对应的所述待处理的简历和所述招聘岗位信息分别进行结构化解析，得到待处理的结构化数据对；
[0135]
s14：根据所述待处理的结构化数据对和所述目标待处理的训练样本对应的所述简历筛选标定值进行本地训练样本生成，得到所述目标待处理的训练样本对应的待存储的本地训练样本；
[0136]
s15：重复执行所述从多个所述待处理的训练样本中获取一个所述待处理的训练样本，作为目标待处理的训练样本的步骤，直至完成所述待处理的训练样本的获取；
[0137]
s16：将所有所述待存储的本地训练样本作为所述待处理的客户端对应的所述本地训练样本集。
[0138]
本实施例实现了对所述目标待处理的训练样本对应的所述待处理的简历和所述招聘岗位信息分别进行结构化解析得到待处理的结构化数据对，根据所述待处理的结构化数据对和所述目标待处理的训练样本对应的所述简历筛选标定值进行本地训练样本生成，从而实现了自动化生成本地训练样本，确保了联邦学习的各个目标客户端的本地训练样本的一致性，提高了联邦学习的准确性。
[0139]
对于s11，通过待处理的客户端，可以从数据库中获取多个待处理的训练样本，也可以获取用户输入的多个待处理的训练样本，还可以是从第三方应用系统中获取多个待处理的训练样本。
[0140]
每个所述待处理的训练样本包括：一个待处理的简历、一个招聘岗位信息和一个简历筛选标定值。
[0141]
待处理的简历，也就是一个应聘者的一份简历的数据。
[0142]
招聘岗位信息，也就是一个招聘岗位的描述信息。
[0143]
在同一个所述待处理的训练样本中，简历筛选标定值是对待处理的简历是否符合招聘岗位信息的准确标定。
[0144]
简历筛选标定值包括一个标定值。比如，简历筛选标定值为1或0，当所述简历筛选标定值为1时表示待处理的简历符合招聘岗位信息，当所述简历筛选标定值为0时表示待处理的简历不符合招聘岗位信息。
[0145]
对于s12，依次从多个所述待处理的训练样本中获取一个所述待处理的训练样本，将获取的所述待处理的训练样本作为目标待处理的训练样本。
[0146]
对于s13，采用文本解析器，对所述目标待处理的训练样本对应的所述待处理的简历进行结构化解析，得到待处理的简历结构化数据；采用文本解析器，对所述目标待处理的训练样本对应的所述招聘岗位信息进行结构化解析，得到待处理的招聘岗位结构化数据；将所述待处理的简历结构化数据和所述待处理的招聘岗位结构化数据作为数据对，将该数据对作为所述待处理的结构化数据对。
[0147]
所述文本解析器，可以选择简历解析器。简历解析器的实现方法在此不做赘述。
[0148]
比如，所述待处理的简历结构化数据包括：
[0149]
姓名：张三
[0150]
学历：本科
[0151]
最近公司：公司a
[0152]
最近岗位：项目管理
[0153]
工作年限：3年
[0154]
技能：java、office，在此举例不做具体限定。
[0155]
比如，所述待处理的招聘岗位结构化数据为：
[0156]
岗位名称：项目经理
[0157]
学历要求：本科
[0158]
公司规模：10000人以上
[0159]
岗位经历要求：项目管理相关岗位
[0160]
技能：java、office、英语，在此举例不做具体限定。
[0161]
对于s14，根据所述待处理的结构化数据对生成所述目标待处理的训练样本对应的待存储的本地训练样本的待训练样本数据；根据所述目标待处理的训练样本对应的所述简历筛选标定值确定所述目标待处理的训练样本对应的待存储的本地训练样本的样本数据标定值。
[0162]
对于s15，重复执行步骤s12至步骤s15，直至完成所述待处理的训练样本的获取。
[0163]
对于s16，将所有所述待存储的本地训练样本作为一个集合，将该集合作为所述待处理的客户端对应的所述本地训练样本集。
[0164]
在一个实施例中，上述根据所述待处理的结构化数据对和所述目标待处理的训练样本对应的所述简历筛选标定值进行本地训练样本生成，得到所述目标待处理的训练样本对应的待存储的本地训练样本的步骤，包括：
[0165]
s141：对所述待处理的结构化数据对进行标准化处理，得到标准化后的结构化数据对；
[0166]
s142：获取预设知识图谱，根据所述预设知识图谱，对所述标准化后的结构化数据对进行信息抽取，得到待转化的信息集合对；
[0167]
s143：对所述待转化的信息集合对进行张量空间的向量转换，得到张量空间向量对；
[0168]
s144：根据所述张量空间向量对和所述目标待处理的训练样本对应的所述简历筛选标定值进行本地训练样本生成，得到所述目标待处理的训练样本对应的待存储的本地训练样本。
[0169]
本实施例对所述待处理的结构化数据对依次进行标准化处理、信息抽取、张量空间的向量转换，最后根据所述张量空间向量对和所述目标待处理的训练样本对应的所述简历筛选标定值进行本地训练样本生成，从而有利于快速的进行本地网络模型的训练。
[0170]
对于s141，对所述待处理的结构化数据对的简历结构化数据依次进行实体标准化及连续型特征的格式转换，对所述待处理的结构化数据对的招聘岗位结构化数据依次进行实体标准化及连续型特征的格式转换，将实体标准化及连续型特征的格式转换后的简历结构化数据和实体标准化及连续型特征的格式转换后的招聘岗位结构化数据作为标准化后的结构化数据对。
[0171]
实体标准化，也就是实体对齐。比如，将毕业院校字段的“北大”进行实体标准化得到“北京大学，在此举例不做具体限定。
[0172]
实体，也就是三元组中的实体，对客观个体的抽象。
[0173]
连续型特征的格式转换，是采用预设规则对连续型特征进行格式转换。比如，教育经历中的学习时间是连续型特征，本科格式转换为4年、5年，研究生格式转换为2年、2.5年、3年，在此举例不做具体限定。
[0174]
对于s142，可以从数据库中获取预设知识图谱，也可以从第三方应用系统中获取预设知识图谱，还可以获取用户输入的预设知识图谱。
[0175]
预设知识图谱，是根据本技术的应用场景确定的实体的知识图谱。
[0176]
其中，分别将所述预设知识图谱中的每个关键字，在所述标准化后的结构化数据对的简历结构化数据中进行查找，将在简历结构化数据中查找到的所有实体作为简历信息集合；分别将所述预设知识图谱中的每个关键字，在所述标准化后的结构化数据对的招聘岗位结构化数据中进行查找，将在招聘岗位结构化数据中查找到的所有实体作为招聘岗位信息集合；将所述简历信息集合和所述招聘岗位信息集合作为待转化的信息集合对。
[0177]
对于s143，对所述待转化的信息集合对的简历信息集合进行张量空间的向量转换，得到简历向量；对所述待转化的信息集合对的招聘岗位信息集合进行张量空间的向量转换，得到招聘岗位向量；将所述简历向量和招聘岗位向量作为张量空间向量对。
[0178]
对于s144，将所述张量空间向量对作为所述目标待处理的训练样本对应的待存储的本地训练样本的所述待训练样本数据；将所述目标待处理的训练样本对应的所述简历筛选标定值作为所述目标待处理的训练样本对应的待存储的本地训练样本的所述样本数据标定值。
[0179]
参照图2，一种基于联邦学习的模型训练装置，所述装置包括：
[0180]
数据获取模块100，用于获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵，其中，所述目标客户端用于采用本地训练样本集对本地网络模型进行模型训练，根据训练结束的所述本地网络模型提取所述单模型训练样本数量和所述单模型参数矩阵；
[0181]
参与训练机构数量确定模块200，用于获取所述目标客户端的数量作为参与训练机构数量；
[0182]
训练样本总数确定模块300，用于将所有所述单模型训练样本数量进行相加，得到训练样本总数；
[0183]
模型参数汇总矩阵确定模块400，用于获取第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，根据所述参与训练机构数量、所有所述单模型参数矩阵、所有所述单模型训练样本数量和第i
‑
1次迭代的所述模型参数汇总矩阵计算第i次迭代的所述模型参数汇总矩阵；
[0184]
待更新的学习率确定模块500，用于根据所述参与训练机构数量进行学习率计算，得到待更新的学习率；
[0185]
参数更新模块600，用于将所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵发送给各个所述目标客户端，其中，所述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新；
[0186]
循环执行模块700，用于将i加1，重复执行所述获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵的步骤，直至满足联邦学习结束条件。
[0187]
本实施例通过获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵；获取目标客户端的数量作为参与训练机构数量；将所有单模型训练样本数量进行相加，得到训练样本总数；获取第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，根据参与训练机构数量、所有单模型参数矩阵、所有单模型训练样本数量和第i
‑
1次迭代的模型参数汇总矩阵计算第i次迭代的模型参数汇总矩阵；根据参与训练
机构数量进行学习率计算，得到待更新的学习率；将训练样本总数、待更新的学习率和第i次迭代的模型参数汇总矩阵发送给各个目标客户端，其中，目标客户端还用于根据目标客户端的最后一次更新梯度数据及单模型参数矩阵、训练样本总数、待更新的学习率和第i次迭代的模型参数汇总矩阵对本地网络模型进行参数更新，采用联邦学习增加了数据来源的多样性，提高了模型训练的效果，使缺乏训练样本的机构也可以使用模型，因参与训练的目标客户端只需要发送单模型训练样本数量和单模型参数矩阵，不需将训练样本的详细数据上传，从而使本方案适用于数据受保密限制的应用场景。
[0188]
参照图3，本技术实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存基于联邦学习的模型训练方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于联邦学习的模型训练方法。所述基于联邦学习的模型训练方法，包括：获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵，其中，所述目标客户端用于采用本地训练样本集对本地网络模型进行模型训练，根据训练结束的所述本地网络模型提取所述单模型训练样本数量和所述单模型参数矩阵；获取所述目标客户端的数量作为参与训练机构数量；将所有所述单模型训练样本数量进行相加，得到训练样本总数；获取第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，根据所述参与训练机构数量、所有所述单模型参数矩阵、所有所述单模型训练样本数量和第i
‑
1次迭代的所述模型参数汇总矩阵计算第i次迭代的所述模型参数汇总矩阵；根据所述参与训练机构数量进行学习率计算，得到待更新的学习率；将所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵发送给各个所述目标客户端，其中，所述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新；将i加1，重复执行所述获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵的步骤，直至满足联邦学习结束条件。
[0189]
本实施例通过获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵；获取目标客户端的数量作为参与训练机构数量；将所有单模型训练样本数量进行相加，得到训练样本总数；获取第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，根据参与训练机构数量、所有单模型参数矩阵、所有单模型训练样本数量和第i
‑
1次迭代的模型参数汇总矩阵计算第i次迭代的模型参数汇总矩阵；根据参与训练机构数量进行学习率计算，得到待更新的学习率；将训练样本总数、待更新的学习率和第i次迭代的模型参数汇总矩阵发送给各个目标客户端，其中，目标客户端还用于根据目标客户端的最后一次更新梯度数据及单模型参数矩阵、训练样本总数、待更新的学习率和第i次迭代的模型参数汇总矩阵对本地网络模型进行参数更新，采用联邦学习增加了数据来源的多样性，提高了模型训练的效果，使缺乏训练样本的机构也可以使用模型，因参与训练的目标客户端只需要发送单模型训练样本数量和单模型参数矩阵，不需将训练样本的详细数据
上传，从而使本方案适用于数据受保密限制的应用场景。
[0190]
本技术一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于联邦学习的模型训练方法，包括步骤：获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵，其中，所述目标客户端用于采用本地训练样本集对本地网络模型进行模型训练，根据训练结束的所述本地网络模型提取所述单模型训练样本数量和所述单模型参数矩阵；获取所述目标客户端的数量作为参与训练机构数量；将所有所述单模型训练样本数量进行相加，得到训练样本总数；获取第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，根据所述参与训练机构数量、所有所述单模型参数矩阵、所有所述单模型训练样本数量和第i
‑
1次迭代的所述模型参数汇总矩阵计算第i次迭代的所述模型参数汇总矩阵；根据所述参与训练机构数量进行学习率计算，得到待更新的学习率；将所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵发送给各个所述目标客户端，其中，所述目标客户端还用于根据所述训练样本总数、所述待更新的学习率和第i次迭代的所述模型参数汇总矩阵对所述本地网络模型进行参数更新；将i加1，重复执行所述获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵的步骤，直至满足联邦学习结束条件。
[0191]
上述执行的基于联邦学习的模型训练方法，通过获取第m轮联邦学习的第i次迭代的各个目标客户端发送的单模型训练样本数量和单模型参数矩阵；获取目标客户端的数量作为参与训练机构数量；将所有单模型训练样本数量进行相加，得到训练样本总数；获取第m轮联邦学习的第i
‑
1次迭代的模型参数汇总矩阵，根据参与训练机构数量、所有单模型参数矩阵、所有单模型训练样本数量和第i
‑
1次迭代的模型参数汇总矩阵计算第i次迭代的模型参数汇总矩阵；根据参与训练机构数量进行学习率计算，得到待更新的学习率；将训练样本总数、待更新的学习率和第i次迭代的模型参数汇总矩阵发送给各个目标客户端，其中，目标客户端还用于根据目标客户端的最后一次更新梯度数据及单模型参数矩阵、训练样本总数、待更新的学习率和第i次迭代的模型参数汇总矩阵对本地网络模型进行参数更新，采用联邦学习增加了数据来源的多样性，提高了模型训练的效果，使缺乏训练样本的机构也可以使用模型，因参与训练的目标客户端只需要发送单模型训练样本数量和单模型参数矩阵，不需将训练样本的详细数据上传，从而使本方案适用于数据受保密限制的应用场景。
[0192]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0193]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排
他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
[0194]
以上所述仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。