分类器的训练方法、装置和电子设备与流程

1.本技术涉及数据处理技术领域，尤其涉及一种分类器的训练方法、装置和电子设备。


背景技术：

2.为了训练得到分类器，可以采用大量的标记数据进行训练，但是考虑到大量的标记数据较难获得，因此，可以采用半监督学习(semi-supervised learning，ssl)算法训练分类器，即充分利用稀缺的标记数据和丰富的未标记数据训练分类器。
3.然而，在利用标记数据和未标记数据训练分类器时，仅考虑到了标记数据和未标记数据之间的类别差异，这样会导致训练得到的分类器的准确度较差。


技术实现要素：

4.本技术实施例提供了一种分类器的训练方法、装置和电子设备，提高了训练得到的分类器的准确度。
5.第一方面，本技术实施例提供了一种分类器的训练方法，该分类器的训练方法可以包括：
6.获取标记数据和未标记数据；其中，所述标记数据的标签类别与所述未标记数据的类别不完全相同，且所述标记数据的特征分布与所述未标记数据的特征分布不完全相同。
7.从所述标记数据和所述未标记数据中，确定类别相同的共享数据；并基于所述共享数据对所述未标记数据进行处理，得到目标未标记数据，其中，所述目标未标记数据的特征分布与所述标记数据的特征分布相同。
8.根据所述标记数据和所述目标未标记数据更新初始分类器的网络参数，以训练得到分类器。
9.在一种可能的实现方式中，所述从所述标记数据和所述未标记数据中，确定类别相同的共享数据，包括：
10.分别确定所述标记数据和所述未标记数据各自对应的域相似度，以及所述标记数据和所述未标记数据各自对应的标签预测偏移。
11.根据所述标记数据和所述未标记数据各自对应的域相似度、以及各自对应的标签预测偏移，从所述标记数据和所述未标记数据中确定所述共享数据。
12.在一种可能的实现方式中，所述根据所述标记数据和所述未标记数据各自对应的域相似度、以及各自对应的标签预测偏移，从所述标记数据和所述未标记数据中确定所述共享数据，包括：
13.根据所述标记数据对应的域相似度与所述标记数据对应的标签预测偏移的差值，确定所述标记数据对应的第一得分。
14.根据所述未标记数据对应的标签预测偏移与所述未标记数据对应的域相似度的
差值，确定所述未标记数据对应的第二得分。
15.根据所述第一得分和所述第二得分，从所述标记数据和所述未标记数据中，确定所述共享数据。
16.在一种可能的实现方式中，确定所述标记数据和所述未标记数据各自对应的域相似度，包括：
17.根据所述标记数据的特征分布和所述未标记数据的特征分布，确定域相似度关系；其中，所述域相似度关系用于指示所述标记数据的私有特征分布、所述标记数据的共有特征分布、所述未标记数据的私有特征分布、以及所述未标记数据的共有特征分布各自的域相似度大小关系。
18.基于所述域相似度关系，分别确定所述标记数据和所述未标记数据各自对应的域相似度。
19.在一种可能的实现方式中，所述根据所述标记数据的特征分布和所述未标记数据的特征分布确定域相似度关系，包括：
20.获取初始域相似度关系；其中，所述初始域相似度关系用于指示所述标记数据的共有特征分布和所述未标记数据的私有特征分布各自的域相似度大小关系。
21.对所述标记数据的特征表示和所述未标记数据的特征表示进行随机化混合，得到混合特征表示。
22.根据所述标记数据和所述未标记数据各自的特征分布对应的特征表示的域相似度、所述标记数据的特征表示和所述未标记数据的特征表示之间的相似度、以及所述混合特征表示的域相似度，对所述初始域相似度关系进行更新，得到所述域相似度关系。
23.在一种可能的实现方式中，所述根据所述标记数据和所述未标记数据各自的特征分布对应的特征表示的域相似度、所述标记数据的特征表示和所述未标记数据的特征表示之间的相似度、以及所述混合特征表示的域相似度，对所述初始域相似度关系进行更新，得到所述域相似度关系，包括：
24.根据所述标记数据和所述未标记数据各自的特征分布对应的特征表示的域相似度、所述标记数据的特征表示和所述未标记数据的特征表示之间的相似度、以及所述混合特征表示的域相似度，构造域相似度损失函数。
25.根据所述域相似度损失函数对所述初始域相似度关系进行更新，得到所述域相似度关系。
26.在一种可能的实现方式中，确定所述标记数据和所述未标记数据各自对应的标签预测偏移，包括：
27.根据所述标记数据的特征分布和所述未标记数据的特征分布，确定标签预测偏移关系；其中，所述标签预测偏移关系用于指示所述标记数据的私有特征分布、所述标记数据的共有特征分布、所述未标记数据的私有特征分布、以及所述未标记数据的共有特征分布各自的标签预测偏移大小关系。
28.基于所述标签预测偏移关系，分别确定所述标记数据和所述未标记数据各自对应的标签预测偏移。
29.在一种可能的实现方式中，所述根据所述标记数据的特征分布和所述未标记数据的特征分布，确定标签预测偏移关系，包括：
30.分别对所述标记数据的私有特征分布、所述标记数据的共有特征分布、所述未标记数据的私有特征分布、以及所述未标记数据的共有特征分布进行对抗扰动，得到各自对应的扰动特征分布。
31.根据所述标记数据的私有特征分布、所述标记数据的共有特征分布、所述未标记数据的私有特征分布、所述未标记数据的共有特征分布、以及各自对应的扰动特征分布，确定标签预测偏移关系。
32.在一种可能的实现方式中，所述根据所述标记数据的私有特征分布、所述标记数据的共有特征分布、所述未标记数据的私有特征分布、所述未标记数据的共有特征分布、以及各自对应的扰动特征分布，确定标签预测偏移关系，包括：
33.根据所述标记数据的私有特征分布、所述标记数据的共有特征分布、所述未标记数据的私有特征分布、所述未标记数据的共有特征分布、以及各自对应的扰动特征分布，各自属于预测标签的概率，确定所述标记数据的私有特征分布、所述标记数据的共有特征分布、所述未标记数据的私有特征分布、以及所述未标记数据的共有特征分布各自对应的标签预测偏移。
34.将所述标记数据的私有特征分布、所述标记数据的共有特征分布、所述未标记数据的私有特征分布、以及所述未标记数据的共有特征分布各自对应的标签预测偏移之间的关系，确定为所述标签预测偏移关系。
35.在一种可能的实现方式中，所述基于所述共享数据对所述未标记数据进行处理，得到目标未标记数据，包括：
36.确定所述共享数据的特征分布、所述共享数据的特征分布对应的得分、以及所述共享数据对应的第一域相似度；其中，所述第一域相似度为所述共享数据的特征分布的特征表示对应的域相似度。
37.根据所述共享数据的特征分布、所述共享数据的特征分布对应的得分、以及所述第一域相似度，对所述未标记数据的特征分布、所述未标记数据的特征分布对应的得分、以及所述未标记数据对应的第二域相似度进行处理，得到所述目标未标记数据；其中，所述第二域相似度为所述未标记数据的特征分布的特征表示对应的域相似度。
38.第二方面，本技术实施例还提供了一种分类器的训练装置，该分类器的训练装置可以包括：
39.获取单元，用于获取标记数据和未标记数据；其中，所述标记数据的标签类别与所述未标记数据的类别不完全相同，且所述标记数据的特征分布与所述未标记数据的特征分布不完全相同。
40.处理单元，用于从所述标记数据和所述未标记数据中，确定类别相同的共享数据；并基于所述共享数据对所述未标记数据进行处理，得到目标未标记数据，其中，所述目标未标记数据的特征分布与所述标记数据的特征分布相同。
41.更新单元，用于根据所述标记数据和所述目标未标记数据更新初始分类器的网络参数，以训练得到分类器。
42.在一种可能的实现方式中，所述处理单元包括第一处理模块和第二处理模块。
43.所述第一处理模块，用于分别确定所述标记数据和所述未标记数据各自对应的域相似度，以及所述标记数据和所述未标记数据各自对应的标签预测偏移。
44.所述第二处理模块，用于根据所述标记数据和所述未标记数据各自对应的域相似度、以及各自对应的标签预测偏移，从所述标记数据和所述未标记数据中确定所述共享数据。
45.在一种可能的实现方式中，所述第二处理模块，具体用于根据所述标记数据对应的域相似度与所述标记数据对应的标签预测偏移的差值，确定所述标记数据对应的第一得分；根据所述未标记数据对应的标签预测偏移与所述未标记数据对应的域相似度的差值，确定所述未标记数据对应的第二得分；根据所述第一得分和所述第二得分，从所述标记数据和所述未标记数据中，确定所述共享数据。
46.在一种可能的实现方式中，所述第一处理模块，具体用于根据所述标记数据的特征分布和所述未标记数据的特征分布，确定域相似度关系；其中，所述域相似度关系用于指示所述标记数据的私有特征分布、所述标记数据的共有特征分布、所述未标记数据的私有特征分布、以及所述未标记数据的共有特征分布各自的域相似度大小关系；基于所述域相似度关系，分别确定所述标记数据和所述未标记数据各自对应的域相似度。
47.在一种可能的实现方式中，所述第一处理模块，具体用于获取初始域相似度关系；其中，所述初始域相似度关系用于指示所述标记数据的共有特征分布和所述未标记数据的私有特征分布各自的域相似度大小关系；对所述标记数据的特征表示和所述未标记数据的特征表示进行随机化混合，得到混合特征表示；再根据所述标记数据和所述未标记数据各自的特征分布对应的特征表示的域相似度、所述标记数据的特征表示和所述未标记数据的特征表示之间的相似度、以及所述混合特征表示的域相似度，对所述初始域相似度关系进行更新，得到所述域相似度关系。
48.在一种可能的实现方式中，所述第一处理模块，具体用于根据所述标记数据和所述未标记数据各自的特征分布对应的特征表示的域相似度、所述标记数据的特征表示和所述未标记数据的特征表示之间的相似度、以及所述混合特征表示的域相似度，构造域相似度损失函数；根据所述域相似度损失函数对所述初始域相似度关系进行更新，得到所述域相似度关系。
49.在一种可能的实现方式中，所述第一处理模块，具体用于根据所述标记数据的特征分布和所述未标记数据的特征分布，确定标签预测偏移关系；其中，所述标签预测偏移关系用于指示所述标记数据的私有特征分布、所述标记数据的共有特征分布、所述未标记数据的私有特征分布、以及所述未标记数据的共有特征分布各自的标签预测偏移大小关系；基于所述标签预测偏移关系，分别确定所述标记数据和所述未标记数据各自对应的标签预测偏移。
50.在一种可能的实现方式中，所述第一处理模块，具体用于分别对所述标记数据的私有特征分布、所述标记数据的共有特征分布、所述未标记数据的私有特征分布、以及所述未标记数据的共有特征分布进行对抗扰动，得到各自对应的扰动特征分布；根据所述标记数据的私有特征分布、所述标记数据的共有特征分布、所述未标记数据的私有特征分布、所述未标记数据的共有特征分布、以及各自对应的扰动特征分布，确定标签预测偏移关系。
51.在一种可能的实现方式中，所述第一处理模块，具体用于根据所述标记数据的私有特征分布、所述标记数据的共有特征分布、所述未标记数据的私有特征分布、所述未标记数据的共有特征分布、以及各自对应的扰动特征分布，各自属于预测标签的概率，确定所述
标记数据的私有特征分布、所述标记数据的共有特征分布、所述未标记数据的私有特征分布、以及所述未标记数据的共有特征分布各自对应的标签预测偏移；将所述标记数据的私有特征分布、所述标记数据的共有特征分布、所述未标记数据的私有特征分布、以及所述未标记数据的共有特征分布各自对应的标签预测偏移之间的关系，确定为所述标签预测偏移关系。
52.在一种可能的实现方式中，所述处理单元还包括第三处理模块和第四处理模块。
53.所述第三处理模块，用于确定所述共享数据的特征分布、所述共享数据的特征分布对应的得分、以及所述共享数据对应的第一域相似度；其中，所述第一域相似度为所述共享数据的特征分布的特征表示对应的域相似度。
54.所述第四处理模块，用于根据所述共享数据的特征分布、所述共享数据的特征分布对应的得分、以及所述第一域相似度，对所述未标记数据的特征分布、所述未标记数据的特征分布对应的得分、以及所述未标记数据对应的第二域相似度进行处理，得到所述目标未标记数据；其中，所述第二域相似度为所述未标记数据的特征分布的特征表示对应的域相似度。
55.第三方面，本技术实施例还提供了一种电子设备，该电子设备可以包括：存储器和处理器；
56.存储器；用于存储计算机程序；
57.所述处理器，用于读取所述存储器存储的计算机程序，并根据所述存储器中的计算机程序执行上述第一方面任一种可能的实现方式所述的分类器的训练方法。
58.第四方面，本技术实施例还提供了一种可读存储介质，所述计算机程序中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面任一种可能的实现方式所述的分类器的训练方法。
59.第五方面，本技术实施例还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被执行时实现如第一方面任一种可能的实现方式所述的分类器的训练方法。
60.由此可见，本技术实施例提供的分类器的训练方法、装置和电子设备，在进行分类器训练时，可以先获取标记数据和未标记数据；并根据标记数据的特征分布和未标记数据的特征分布，从标记数据和未标记数据中，确定类别相同的共享数据；基于共享数据对未标记数据进行处理，得到目标未标记数据，其中，目标未标记数据的特征分布与标记数据的特征分布相同；再根据标记数据和目标未标记数据更新初始分类器的网络参数，以训练得到分类器，该分类器的训练过程充分地考虑到了特征分布因素的影响，从而有效地提高了训练得到的分类器的准确度。
附图说明
61.图1是本技术实施例提供的一种标记数据和未标记数据的示意图；
62.图2是本技术实施例提供的一种半监督框架的示意图；
63.图3为本技术实施例提供的一种分类器的训练方法的流程示意图；
64.图4是本技术实施例提供的一种域相似度关系的示意图；
65.图5是本技术实施例提供的一种标签预测偏移关系的示意图；
66.图6是本技术实施例提供的一种分类器的训练装置的结构示意图；
67.图7是本技术实施例提供的一种电子设备的结构示意图。
68.通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
69.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
70.在本发明的实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，其中a，b可以是单数或者复数。在本发明的文字描述中，字符“/”一般表示前后关联对象是一种“或”的关系。
71.本技术实施例提供的技术方案可以应用于分类器、分类模型等场景中。以应用于分类器场景为例，考虑到采用大量的标记数据较难获得，因此，可以采用半监督学习(semi-supervised learning，ssl)算法训练分类器，它可以有效地利用标记数据和未标记数据训练一个准确的分类器
72.然而，经典的半监督学习算法依赖于封闭集合假设，即标记数据和未标记数据来自于相同的类别分布和相同的特征分布，示例的，可参见图1所示，图1是本技术实施例提供的一种标记数据和未标记数据的示意图，如图1中(a)所示，标记数据和未标记数据为一个封闭集合，标记数据所包含的类别与未标记数据所包含的类别相同，且标记数据特征的特征分布与未标记数据的特征分布相同。
73.但在通常情况下，获取的标记数据和未标记数据并不会严格遵守上述规则，可能标记数据和未标记数据的类别分布和特征分布均不匹配，如图1(b)，(c)，和(d)所示，在这种情况下，仅通过未标记数据所包含的类别可能会误导分类器的训练，使得基于封闭集合的半监督学习算法的性能下降，从而导致训练得到的分类器的准确度较差。其中，(b)和(c)描述了类别分布不匹配，(d)描述了特征分布不匹配，图1中虚线框表示特征分布不匹配，实线框表示类别分布不匹配。其中，类别分布不匹配包含了子集不匹配和交叉不匹配两种情况。
74.为了提高半监督学习算法的性能，从而提高训练得到的分类器的准确度，考虑到当标记数据和未标记数据的类别分布关系未知时，来自标记数据类别和未标记数据类别的潜在独有数据均可能误导学习过程；此外，现有的半监督学习算法仅考虑类别分布不匹配，完全忽略了特征分布不匹配问题，而特征分布也是至关重要的，因为采用大量未标记数据协助进行分类器训练时，新获得的未标记数据的特征分布可能会受到收集的时间、地点和方式的影响，使得标记数据和未标记数据之间存在潜在的特征分布差异，该种特性分布差异可能会损害学习性能。
75.因此，基于上述技术构思，考虑到标记数据特征分布和未标记数据的特征分布是
已知的，在本技术实施例中，可以根据标记数据的特征分布和未标记数据的特征分布，从标记数据和未标记数据中，确定类别相同的共享数据；并基于共享数据对未标记数据进行处理，得到目标未标记数据，其中，目标未标记数据的特征分布与标记数据的特征分布相同；根据标记数据和目标未标记数据更新初始分类器的网络参数，以训练得到分类器，可以看出，该分类器的训练过程充分地考虑到了特征分布因素的影响，从而有效地提高了训练得到的分类器的准确度。
76.为了实现本技术实施例提供的技术方案，又提出了一种基于共享类别检测及特征分布适应(class-sharing data detection and feature adaptation，cafa)的半监督框架，基于该半监督框架，可以使得半监督学习算法较好地适配于各种训练场景。
77.示例的，可参见图2所示，图2是本技术实施例提供的一种半监督框架的示意图，基于cafa的半监督框架包含一个特征提取器f、一个分类器c、一个对抗性判别器d和一个非对抗性判别器d
′
。给定输入实例x，通过特征提取器f，可以得到示例x的特征表示，可记为特征表示z＝f(x)。将特征表示z输入至分类器c，可以得到对应的预测标签f。将特征表示z输入至非对抗性判别器d
′
，可以得到对应的域相似度分数wd，域相似度分数wd可以量化一个实例与一个分布的相似程度。对抗性判别器d旨在对抗性地适应共享类别集合中标记数据和未标记数据的特征分布。
78.基于图2所示的半监督框架训练分类器时，可参见下述公式1：
[0079][0080]
上述公式1中，θf、θc、θd分别为特征提取器f、分类器c、对抗性判别器d的参数。第一项可记为有监督保真项，可采用标准交叉熵损失训练。标记数据构成的集合可记为标记数据集，未标记数据构成的集合可记为未标记数据集，第二项可记为特征适应项，可采用自标记数据集和未标记数据集的类别共享数据的对抗性学习损失训练，该类别共享数据是通过两个分数w
l
和wu获取的；其中，类别共享数据记为标记数据和未标记数据中类别相同的共享数据；通过该第二项所示的特征适应过程，可以使得基于cafa的半监督框架最大限度地利用未标记的数据，从而更有益于半监督学习。第三项是共享类别数据探索项，可以采用半监督损失进行训练，以充分利用类别共享数据。其中，半监督损失可以是现有方法中的任何正则化项，例如，一致性正则化项或流形正则化项，yj是维向量，表示为每个未标记数据生成的伪学习目标xj，符号|
·
|表示对应集合的大小，参数γ和δ是权衡上述三项的非负系数。
[0081]
通过以上描述，可以看出，本技术的主要目标是有效地从标记数据和未标记数据中识别出类别共享数据，并基于识别出的类别共享数据，消除识别出的标记数据和未标记数据之间的不匹配特征分布，使得得到的未标记数据的特征分布与标记数据的特征分布相同，再基于标记数据和得到的未标记数据，采用半监督学习算法训练一个准确的分类器，该分类器的训练过程充分地考虑到了特征分布因素的影响，从而有效地提高了训练得到的分类器的准确度。
[0082]
其中，监督，是指机器学习中样本所有的标记信息。半监督，是指机器学习中样本中部分样本有标签，部分样本无标签。
[0083]
适应，是指将两个分布的差异进行缩小，使其互相拟合到一起。
[0084]
伪学习目标，是指半监督学习中，对每个未标记样本赋予一个学习目标，为了区别于已标记样本的标签，将其称为伪学习目标。
[0085]
softmax，是一种数学公式，用于将一系列值放缩到区间[0,1]之间，并使这些值相加为1。
[0086]
下面，将通过具体的实施例，对本技术提供的分类器的训练方法进行详细地说明。可以理解的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0087]
图3为本技术实施例提供的一种分类器的训练方法的流程示意图，该分类器的训练方法可以由软件和/或硬件装置执行，例如，该硬件装置可以为分类器的训练装置，该装置可以终端或者服务器。示例的，请参见图3所示，该分类器的训练方法可以包括：
[0088]
s301、获取标记数据和未标记数据；其中，标记数据的标签类别与未标记数据的类别不完全相同，且标记数据的特征分布与未标记数据的特征分布不完全相同。
[0089]
其中，标记数据构成的集合可记为标记数据集，该标记数据集可记为其中，标记数据构成的集合可记为标记数据集，该标记数据集可记为中包含l个标记数据，第i个标记数据xi用标记；未标记数据构成的集合可记为未标记数据集，该未标记数据集可以记为合可记为未标记数据集，该未标记数据集可以记为中包括u个未标记数据。
[0090]
示例的，标记数据集的特征分布可记为p
l
，未标记数据集的特征分布可记为pu，标记数据集的类别集合可记为未标记数据集的类别集合可记为在此设定中，标记数据集的类别集合和未标记数据集的类别集合类别不完全相同。示例的，可以采用表示和共享的类别集合，并采用表示标记数据集的私有类别集合，表示未标记数据集的私有类别集合；和标记数据集的私有类别集合中带标签的标记数据的特征分布可记为和以及属于和未标记数据集的私有类别集合的未标记数据的特征分布可记为和
[0091]
示例的，在获取标记数据和未标记数据时，可以接收其他电子设备发送的标记数据和未标记数据；也可以从本次存储中获取标记数据和未标记数据；也可以通过其它第三方获取标记数据和未标记数据，具体可以根据实际需要进行设置，在此，对于标记数据和未标记数据的获取方法，本技术实施例不做具体限制。
[0092]
在分别获取到标记数据和未标记数据后，就可以从标记数据和未标记数据中，确定类别相同的共享数据，即执行下述s302：
[0093]
s302、从标记数据和未标记数据中，确定类别相同的共享数据；并基于共享数据对未标记数据进行处理，得到目标未标记数据。其中，目标未标记数据的特征分布与标记数据的特征分布相同。
[0094]
结合上述s301中的描述，在确定类别相同的共享数据时，需要准确地区分属于共
享的类别集合的训练数据和中的训练数据；其中，表示标记数据集的私有类别集合，表示未标记数据集的私有类别集合。为了实现这个目标，可以分别为标记数据和未标记数据建模两个类共享分数，示例的，该两个类共享分数可记为w
l
(
·
)和wu(
·
)，且应该满足下述公式2所示的不等式：
[0095][0096]
在本技术实施例中，为了能够更好地进行类别相同的共享数据检测，上述公式2所示的不等式应该尽量满足较大的间隔。为了使得公式2所示的不等式能够满足较大的间隔，可以采用域相似度和标签预测偏移这两个因素，分别确定域相似度wd和标签预测偏移ws，并基于域相似度wd和标签预测偏移ws建模两个类共享分数w
l
和wu；并基于两个类共享分数w
l
和wu从标记数据和未标记数据中，确定类别相同的共享数据。
[0097]
基于上述考虑，示例的，从标记数据和未标记数据中，确定类别相同的共享数据时，可以先分别确定标记数据和未标记数据各自对应的域相似度，以及标记数据和未标记数据各自对应的标签预测偏移；并根据标记数据和未标记数据各自对应的域相似度、以及各自对应的标签预测偏移，从标记数据和未标记数据中确定共享数据。
[0098]
示例的，确定标记数据和未标记数据各自对应的域相似度时，考虑到标记数据特征分布和未标记数据的特征分布是已知的，因此，可以先根据标记数据的特征分布和未标记数据的特征分布，分别确定域相似度关系；其中，域相似度关系用于指示标记数据的私有特征分布、标记数据的共有特征分布、未标记数据的私有特征分布、以及未标记数据的共有特征分布各自的域相似度大小关系；并基于域相似度关系，分别确定标记数据和未标记数据各自对应的域相似度。
[0099]
示例的，根据标记数据的特征分布和未标记数据的特征分布，分别确定域相似度关系时，可以先获取初始域相似度关系；其中，初始域相似度关系用于指示标记数据的共有特征分布和未标记数据的私有特征分布各自的域相似度大小关系；并对标记数据的特征表示和未标记数据的特征表示进行随机化混合，得到混合特征表示；再根据标记数据和未标记数据各自的特征分布对应的特征表示的域相似度、标记数据的特征表示和未标记数据的特征表示之间的相似度、以及混合特征表示的域相似度，对初始域相似度关系进行更新，得到域相似度关系。
[0100]
示例的，根据标记数据和未标记数据各自的特征分布对应的特征表示的域相似度、标记数据的特征表示和未标记数据的特征表示之间的相似度、以及混合特征表示的域相似度，对初始域相似度关系进行更新时，可以先根据标记数据和未标记数据各自的特征分布对应的特征表示的域相似度、标记数据的特征表示和未标记数据的特征表示之间的相似度、以及混合特征表示的域相似度，构造域相似度损失函数；并根据域相似度损失函数对初始域相似度关系进行更新，得到域相似度关系。
[0101]
示例的，可参见图4所示，图4是本技术实施例提供的一种域相似度关系的示意图，域相似度是可以量化一个实例是否属于特定领域，常见做法是训练一个非对抗性判别器d
′
，通过最小化交叉熵损失将标记数据的特征分布p
l
中的数据预测为0，同时并将未标记数据的特征分布pu中的数据预测为1，输出值wd＝d
′
(f(x))可记为是输入数据x的域相似度。若得到的域相似度若wd较大，则确定输入数据x很可能为未标记数据的特征分布pu中的数据；
相反的，若域相似度若wd较小，则确定输入数据x很可能为标记数据的特征分布p
l
中的数据，因此，可以得到初始域相似度关系，可参见下述公式3：
[0102][0103]
可以看出，上述得到的初始域相似度关系仅包括标记数据的共有特征分布和未标记数据的私有特征分布各自的域相似度大小关系，缺乏对两个特征分布之间的中间区域进行挖掘，生成的域相似度关系易满足：和从而无法准确地识别出类共享数据，可参见图4的上半部分所示。
[0104]
因此，为了解决该问题，在本技术实施例中，可以采用mixup方法加强和之间的关系，从而产生具有较强判别性的域相似度。示例的，针对标记数据xi和未标记数据xj，标记数据xi的特征表示可记为zi＝f(xi)，未标记数据xj的特征表示可记为zj＝f(xj)，对应的域标签可分别表示为0和1，可采用下述公式4对标记数据xi的特征表示和未标记数据xj的特征表示进行随机化混合，得到混合特征表示和混合域标签
[0105][0106]
其中，λ是从beta分布beta(α,α)中采样得到的，α是一个超参数。
[0107]
在通过上述公式4得到混合特征表示后，可以添加一个额外的二元交叉熵项，利用混合特征表示表示及其域标签，构造域相似度损失函数可参见下述公式5：
[0108][0109]
其中，d
′
(f(xi))表示标记数据的特征分布对应的特征表示的域相似度，d
′
(f(xj))表示未标记数据的特征分布对应的特征表示的域相似度，表示标记数据的特征表示zi和未标记数据的特征表示zj之间的余弦相似度，表示混合特征表示的域相似度。基于一个合理的假设，共享的类别集合中数据的特征分布在特征空间中，比标记数据集的私有类别集合和未标记数据集的私有类别集合中数据的特征分布更接近彼此，采用余弦相似度加权的额外项可以专注于两个特征分布之间的中间区域和可以防止上述过拟合，并使类共享数据的域相似度比属于和中的私有数据更接近，如图4的下半部分所示。因此，可以得到和以对初始域相似度关系进行更新，从而得到最终的域相似度关系，可参见下述公式6：
[0110][0111]
结合上述描述，通过采用mixup方法，可以使得上述得到的域相似度关系相比于现有的初始域相似度关系具有更大的间隔，够取得具有判别性的效果，从而更有助于共享类别数据，即标记数据和未标记数据中类别相同的共享数据的检测。
[0112]
为了进一步提高共享类别数据检测的准确度，可以在域相似度的基础上，结合标签预测偏移共同进行共享类别数据检测。示例的，确定所述标记数据和所述未标记数据各自对应的标签预测偏移时，同样考虑到标记数据特征分布和未标记数据的特征分布是已知的，因此，可以先根据标记数据的特征分布和未标记数据的特征分布，确定标签预测偏移关系；其中，标签预测偏移关系用于指示标记数据的私有特征分布、标记数据的共有特征分布、未标记数据的私有特征分布、以及未标记数据的共有特征分布各自的标签预测偏移大小关系；并基于标签预测偏移关系，分别确定标记数据和未标记数据各自对应的标签预测偏移。
[0113]
示例的，本技术实施例中，根据标记数据的特征分布和未标记数据的特征分布，确定标签预测偏移关系时，可以先分别对标记数据的私有特征分布、标记数据的共有特征分布、未标记数据的私有特征分布、以及未标记数据的共有特征分布进行对抗扰动，得到各自对应的扰动特征分布；再根据标记数据的私有特征分布、标记数据的共有特征分布、未标记数据的私有特征分布、未标记数据的共有特征分布、以及各自对应的扰动特征分布，共同确定标签预测偏移关系。
[0114]
示例的，根据标记数据的私有特征分布、标记数据的共有特征分布、未标记数据的私有特征分布、未标记数据的共有特征分布、以及各自对应的扰动特征分布，确定标签预测偏移关系时，可以先分别确定标记数据的私有特征分布、标记数据的共有特征分布、未标记数据的私有特征分布、未标记数据的共有特征分布、以及各自对应的扰动特征分布，各自属于预测标签的概率；再根据各自属于预测标签的概率，确定标签预测偏移关系。
[0115]
示例的，可参见图5所示，图5是本技术实施例提供的一种标签预测偏移关系的示意图，标签预测偏移表示对抗扰动对每个实例样本的影响，可以成功用于区分类共享数据和私有数据，可参见图5所示。给定输入实例x，其标签预测可以表示为其中，可以表示输入实例x属于标签类别i的概率。
[0116]
针对标记数据的私有特征分布标记数据的共有特征分布未标记数据的私有特征分布以及未标记数据的共有特征分布可以分别对其进行对抗扰动，以获取其各自对应的扰动特征分布。示例的，在对某一特征分布x进行对抗扰动时，可参见下述公式7所示：
[0117][0118]
其中，x
*
表示特征分布x对应的扰动特征分布，c
l
表示标记数据集的类别集合，fi(x
*
)表示扰动特征分布x
*
属于类别i的概率，通过对特征分布进行对抗扰动，可以有效地降低预测的最大概率。
[0119]
在得到标记数据的私有特征分布标记数据的共有特征分布未标记数据的私有特征分布以及未标记数据的共有特征分布各自对应的扰动特征分布，就可以根据标记数据的私有特征分布标记数据的共有特征分布未标记数据的私有特
征分布未标记数据的共有特征分布以及各自对应的扰动特征分布，各自属于预测标签的概率，确定标记数据的私有特征分布标记数据的共有特征分布未标记数据的私有特征分布未标记数据的共有特征分布以及未标记数据的共有特征分布各自对应的标签预测偏移，示例的，可参见下述公式8所示：
[0120][0121]
其中，ws表示特征分布x对应的标签预测偏移，fi(x)表示特征分布x属于预测标签i的概率，fi(x
*
)表示扰动特征分布x
*
属于标签类别i的概率。
[0122]
在确定出标记数据的私有特征分布标记数据的共有特征分布未标记数据的私有特征分布未标记数据的共有特征分布以及未标记数据的共有特征分布各自对应的标签预测偏移后，将各自对应的标签预测偏移之间的关系，确定为标签预测偏移关系，示例的，标签预测偏移关系可参见下述公式9所示：
[0123][0124]
可以理解的是，稀缺标记数据的学习强烈依赖于监督交叉熵损失而使用一致性正则化训练的未标记数据对扰动更加鲁棒，因此，可以得到此外，丰富的未标记数据具有提高模型在半监督学习中的泛化性的作用。在开放集情况下，由于模型在标记数据集的私有类别集合上的训练只有稀缺的标记数据集的私有数据可用，其泛化性受到很大限制，这样会使得此类数据容易受到干扰。相反的，与标记数据集的私有类别集合相比，鉴于共享的类别集合可以利用标记数据和未标记数据，使得鉴于共享的类别集合中类别的模型学习比较充分。未标记数据集的私有类别集合中未标记数据集的私有数据不属于任何已知类别，并且完全不属于任何已知分布。因此，对抗扰动对其最大标签预测的影响小于标记数据集的类别集合中的数据，从而上述公式9成立。
[0125]
结合上述描述，在分别确定出域相似度关系和标签预测偏移关系后，就可以基于域相似度关系，分别确定标记数据和未标记数据各自对应的域相似度；并基于标签预测偏移关系，分别确定标记数据和未标记数据各自对应的标签预测偏移。
[0126]
示例的，根据标记数据和未标记数据各自对应的域相似度、以及各自对应的标签预测偏移，从标记数据和未标记数据中确定共享数据时，可以根据标记数据对应的域相似度与标记数据对应的标签预测偏移的差值，确定标记数据对应的第一得分；并根据未标记数据对应的标签预测偏移与未标记数据对应的域相似度的差值，确定未标记数据对应的第二得分；再根据第一得分和第二得分，从标记数据和未标记数据中，确定共享数据。
[0127]
示例的，确定标记数据对应的第一得分和第二得分时，可参见下述公式10和公式11所示：
[0128]
[0129][0130]
其中，w
l
(x)表示标记数据对应的第一得分，表示标记数据对应的域相似度，表示标记数据对应的标签预测偏移，wu(x)表示未标记数据对应的第二得分，表示标记数据对应的标签预测偏移，表示标记数据对应的域相似度。
[0131]
示例的，在基于标记数据对应的域相似度标记数据对应的标签预测偏移计算第一得分，以及基于标记数据对应的标签预测偏移以及标记数据对应的域相似度计算得分之前，可以分别对计算得分之前，可以分别对以及进行归一化处理，将其归一化至[0，1]区间内，这样得到的第一得分和第二得分，满足上述公式2，即：
[0132][0133]
因此，可以根据第一得分和第二得分，从标记数据和未标记数据中，确定类别共享数据，即类别相同的共享数据。
[0134]
在得到类别共享数据后，就可以基于类别共享数据消除标记数据的共有特征分布和未标记数据的共有特征分布之间的特征分布不匹配问题，以得到与标记数据的特征分布相同的目标未标记数据，这样可以提取未标记数据的价值以协助后续半监督学习。
[0135]
示例的，本技术实施例中，基于共享数据对未标记数据进行处理时，可以先确定共享数据的特征分布、共享数据的特征分布对应的得分、以及共享数据对应的第一域相似度；其中，第一域相似度为共享数据的特征分布的特征表示对应的域相似度；再根据共享数据的特征分布、共享数据的特征分布对应的得分、以及第一域相似度，对未标记数据的特征分布、未标记数据的特征分布对应的得分、以及未标记数据对应的第二域相似度进行处理，得到目标未标记数据；其中，第二域相似度为未标记数据的特征分布的特征表示对应的域相似度。
[0136]
在实现过程中，可以将未标记数据作为源域，将标记数据作为目标域，利用对抗域自适应来实现这个目标。示例的，可以将第一得分w
l
(x)和第二得分wu(x)应用于对抗性学习损失并训练对抗性判别器d区分标记数据和未标记数据。同时，特征提取器f被训练来欺骗d。上述对抗过程可以表述为以下最小-最大优化问题，可参见下述公式12所示：
[0137][0138]
其中，xi表示共享数据的特征分布，w
l
(xi)表示共享数据的特征分布对应的得分，d(f(xi))表示共享数据对应的第一域相似度，xj表示未标记数据的特征分布，wu(xj)表示未标记数据的特征分布对应的得分，d(f(xj))表示未标记数据对应的第二域相似度。
[0139]
这样基于类别共享数据消除标记数据的共有特征分布和未标记数据的共有特征分布之间的特征分布不匹配问题，以得到与标记数据的特征分布相同的目标未标记
数据，这样就可以根据标记数据和目标未标记数据更新初始分类器的网络参数，以训练得到分类器，即执行下述s303：
[0140]
s303、根据标记数据和目标未标记数据更新初始分类器的网络参数，以训练得到分类器。
[0141]
示例的，根据标记数据和目标未标记数据更新初始分类器的网络参数时，可以通过减轻类分布不匹配和特征分布不匹配的负面影响，以充分利用开放数据集；并可以有效探索类共享的未标记数据，同时减少私有数据的负面影响，例如，标记数据集中的私有数据可能会将未标记数据误导到中，而中的未标记私有数据可能会被错误地纳入网络训练，导致性能进一步下降。因此，为了解决这个问题，可以采用半监督训练策略，示例的，可参见下述公式13所示：
[0142][0143]
其中，wu(x)用于减少网络对未标记私有数据的学习，y表示每个未标记数据校准后的伪学习目标，以减少由标记私有数据引入的学习偏差。为了校准原始有偏差的伪目标y，可以使用加权softmax函数。示例的，可以计算每个类别c的得分w
l
的平均权重，可参见下述公式14所示：
[0144][0145]
结合上述公式2，若c属于共享的类别集合则计算得到的权重较大，若c属于标记数据集的私有类别集合计算得到的较小。再基于平均权重校准伪目标y，可参见下述公式15所示：
[0146][0147]
其中，符号[
·
]c表示输入向量的第c个概率值。通过上述所示的过程，y中属于标记数据集的私有类别集合的条目将被抑制，而属于共享的类别集合的概率值将被增强，这样可以有效地较小来自原始目标y的偏差。
[0148]
将上述公式10和公式11代入上述公式1中的特征适应项和类别共享数据探索项，就可以进行实例化；并且，通过图2所示的半监督框架可以有效地解决不同场景下的开放集问题，且无需任何类别关系的先验知识，这样可以更好地更新初始分类器的网络参数，以对初始分类器进行训练，从而训练得到准确度较高的分类器。
[0149]
可以看出，本技术实施例中，在进行分类器训练时，可以先获取标记数据和未标记数据；并根据标记数据的特征分布和未标记数据的特征分布，从标记数据和未标记数据中，确定类别相同的共享数据；基于共享数据对未标记数据进行处理，得到目标未标记数据，其中，目标未标记数据的特征分布与标记数据的特征分布相同；再根据标记数据和目标未标记数据更新初始分类器的网络参数，以训练得到分类器，该分类器的训练过程充分地考虑到了特征分布因素的影响，从而有效地提高了训练得到的分类器的准确度。
[0150]
图6是本技术实施例提供的一种分类器的训练装置60的结构示意图，示例的，请参
见图6所示，该分类器的训练装置60可以包括：
[0151]
获取单元601，用于获取标记数据和未标记数据；其中，标记数据的标签类别与未标记数据的类别不完全相同，且标记数据的特征分布与未标记数据的特征分布不完全相同。
[0152]
处理单元602，用于从标记数据和未标记数据中，确定类别相同的共享数据；并基于共享数据对未标记数据进行处理，得到目标未标记数据，其中，目标未标记数据的特征分布与标记数据的特征分布相同。
[0153]
更新单元603，用于根据标记数据和目标未标记数据更新初始分类器的网络参数，以训练得到分类器。
[0154]
可选的，处理单元602包括第一处理模块和第二处理模块。
[0155]
第一处理模块，用于分别确定标记数据和未标记数据各自对应的域相似度，以及标记数据和未标记数据各自对应的标签预测偏移。
[0156]
第二处理模块，用于根据标记数据和未标记数据各自对应的域相似度、以及各自对应的标签预测偏移，从标记数据和未标记数据中确定共享数据。
[0157]
可选的，第二处理模块，具体用于根据标记数据对应的域相似度与标记数据对应的标签预测偏移的差值，确定标记数据对应的第一得分；根据未标记数据对应的标签预测偏移与未标记数据对应的域相似度的差值，确定未标记数据对应的第二得分；根据第一得分和第二得分，从标记数据和未标记数据中，确定共享数据。
[0158]
可选的，第一处理模块，具体用于根据标记数据的特征分布和未标记数据的特征分布，确定域相似度关系；其中，域相似度关系用于指示标记数据的私有特征分布、标记数据的共有特征分布、未标记数据的私有特征分布、以及未标记数据的共有特征分布各自的域相似度大小关系；基于域相似度关系，分别确定标记数据和未标记数据各自对应的域相似度。
[0159]
可选的，第一处理模块，具体用于获取初始域相似度关系；其中，初始域相似度关系用于指示标记数据的共有特征分布和未标记数据的私有特征分布各自的域相似度大小关系；对标记数据的特征表示和未标记数据的特征表示进行随机化混合，得到混合特征表示；再根据标记数据和未标记数据各自的特征分布对应的特征表示的域相似度、标记数据的特征表示和未标记数据的特征表示之间的相似度、以及混合特征表示的域相似度，对初始域相似度关系进行更新，得到域相似度关系。
[0160]
可选的，第一处理模块，具体用于根据标记数据和未标记数据各自的特征分布对应的特征表示的域相似度、标记数据的特征表示和未标记数据的特征表示之间的相似度、以及混合特征表示的域相似度，构造域相似度损失函数；根据域相似度损失函数对初始域相似度关系进行更新，得到域相似度关系。
[0161]
可选的，第一处理模块，具体用于根据标记数据的特征分布和未标记数据的特征分布，确定标签预测偏移关系；其中，标签预测偏移关系用于指示标记数据的私有特征分布、标记数据的共有特征分布、未标记数据的私有特征分布、以及未标记数据的共有特征分布各自的标签预测偏移大小关系；基于标签预测偏移关系，分别确定标记数据和未标记数据各自对应的标签预测偏移。
[0162]
可选的，第一处理模块，具体用于分别对标记数据的私有特征分布、标记数据的共
有特征分布、未标记数据的私有特征分布、以及未标记数据的共有特征分布进行对抗扰动，得到各自对应的扰动特征分布；根据标记数据的私有特征分布、标记数据的共有特征分布、未标记数据的私有特征分布、未标记数据的共有特征分布、以及各自对应的扰动特征分布，确定标签预测偏移关系。
[0163]
可选的，第一处理模块，具体用于根据标记数据的私有特征分布、标记数据的共有特征分布、未标记数据的私有特征分布、未标记数据的共有特征分布、以及各自对应的扰动特征分布，各自属于预测标签的概率，确定标记数据的私有特征分布、标记数据的共有特征分布、未标记数据的私有特征分布、以及未标记数据的共有特征分布各自对应的标签预测偏移；将标记数据的私有特征分布、标记数据的共有特征分布、未标记数据的私有特征分布、以及未标记数据的共有特征分布各自对应的标签预测偏移之间的关系，确定为标签预测偏移关系。
[0164]
可选的，处理单元602还包括第三处理模块和第四处理模块。
[0165]
第三处理模块，用于确定共享数据的特征分布、共享数据的特征分布对应的得分、以及共享数据对应的第一域相似度；其中，第一域相似度为共享数据的特征分布的特征表示对应的域相似度。
[0166]
第四处理模块，用于根据共享数据的特征分布、共享数据的特征分布对应的得分、以及第一域相似度，对未标记数据的特征分布、未标记数据的特征分布对应的得分、以及未标记数据对应的第二域相似度进行处理，得到目标未标记数据；其中，第二域相似度为未标记数据的特征分布的特征表示对应的域相似度。
[0167]
本技术实施例提供的分类器的训练装置60，可以执行上述任一实施例中分类器的训练方法的技术方案，其实现原理以及有益效果与分类器的训练方法的实现原理及有益效果类似，可参见分类器的训练方法的实现原理及有益效果，此处不再进行赘述。
[0168]
图7是本技术实施例提供的一种电子设备70的结构示意图，示例的，请参见图7所示，该电子设备70可以包括处理器701和存储器702；其中，
[0169]
所述存储器702，用于存储计算机程序。
[0170]
所述处理器701，用于读取所述存储器702存储的计算机程序，并根据所述存储器702中的计算机程序执行上述任一实施例中的分类器的训练方法的技术方案。
[0171]
可选地，存储器702既可以是独立的，也可以跟处理器701集成在一起。当存储器702是独立于处理器701之外的器件时，电子设备70还可以包括：总线，用于连接存储器702和处理器701。
[0172]
可选地，本实施例还包括：通信接口，该通信接口可以通过总线与处理器701连接。处理器701可以控制通信接口来实现上述电子设备70的获取和发送的功能。
[0173]
本技术实施例所示的电子设备70，可以执行上述任一实施例中分类器的训练方法的技术方案，其实现原理以及有益效果与分类器的训练方法的实现原理及有益效果类似，可参见分类器的训练方法的实现原理及有益效果，此处不再进行赘述。
[0174]
本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述任一实施例中分类器的训练方法的技术方案，其实现原理以及有益效果与分类器的训练方法的实现原理及有益效果类似，可参见分类器的训练方法的实现原理及有益效果，此处不再进行赘述。
[0175]
本技术实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现上述任一实施例中分类器的训练方法的技术方案，其实现原理以及有益效果与分类器的训练方法的实现原理及有益效果类似，可参见分类器的训练方法的实现原理及有益效果，此处不再进行赘述。
[0176]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所展示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0177]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元展示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0178]
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本技术各个实施例方法的部分步骤。
[0179]
应理解的是，上述处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0180]
存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
[0181]
总线可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互连(peripheral component，pci)总线或扩展工业标准体系结构(extended industry standard architecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本技术附图中的总线并不限定仅有一根总线或一种类型的总线。
[0182]
上述计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0183]
最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进
行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。