基于中间域指导的开集域自适应图像分类方法

本发明属于图像分类方法，涉及基于中间域指导的开集域自适应图像分类方法。

背景技术：

1、领域自适应是迁移学习的一种手段，它解决了源域和目标域遵循不同的分布但具有相似任务的决策问题。其可行性依赖于源域和目标域之间的内在相似性。为了使用有标记的源数据和未标记的目标数据训练目标领域的模型，现有的域自适应方法通过对齐从源和目标领域提取的特征分布之间的统计矩来实现自适应；或者利用对抗的思路，将域鉴别器纳入学习过程，以区分源和目标特征，同时引导特征提取器为源和目标样本生成相似的特征，以“欺骗”域鉴别器，从而实现领域间对齐。

2、开放集领域自适应是极具现实意义和挑战的一种领域自适应问题的设置。在这种设置下目标域包含未知类，这些类在源域中未被发现，即源域仅覆盖目标域标签空间的一个子集。既不知道未知类的类别又不知道未知类的数目，极大的提升了解决问题的难度，利用传统的域自适应方法对齐源域和目标域无法解决由于标签不匹配导致负迁移现象，严重的损害了模型的性能。解决开集域自适应问题面临着两个难点：(1)未知类的发掘；(2)源域和目标域间已知类拉近对齐，未知类远离。由于不知道未知类的数目和语义信息，笼统的将所有未知类归为一类不仅无法充分利用目标域数据的结构信息，而且未知样本可能来自不同的语义类，直接最小化它们之间的距离可能会混淆分类器。同时，许多方法设计了复杂的自适应算法来对抗开集条件下的域偏移，但是，这种复杂性可以通过给目标域生成按置信度分级的样本来缓解。

技术实现思路

1、本发明的目的是提供基于中间域指导的开集域自适应图像分类方法，通过构建中间域，充分利用并扩展了源域和目标域数据信息，将目标样本细化分级，提高模型在目标样本上的分类能力。

2、本发明所采用的技术方案是，基于中间域指导的开集域自适应图像分类方法，具体按照如下步骤实施：

3、步骤1，获取源域数据集ds和目标域数据集dt；

4、步骤2，使用源域数据集ds初步训练分类网络；

5、步骤3，获取源域数据的中间域和目标域数据的中间域

6、步骤4，对于源域数据的中间域中的每个类别，计算其中间域特征集合的平均值，得到源特征类心，并保存为源类心库；

7、步骤5，计算目标域数据的中间域中每个中间特征与所有源特征类心的余弦相似度以及每个目标域数据的样本得分，根据余弦相似度和样本得分获得渐进目标域

8、步骤6，根据渐进源域调整中间域；

9、步骤7，利用渐进源域和渐进目标域数据训练经过步骤2初步训练分类网络，获得训练好的分类网络。

10、本发明的特征还在于：

11、源域数据样本xs服从分布ps(x)，源域标签为cs，样本数目为ns，则源域数据集其中，i＝1,2,3,...,ns；目标域数据样本xt服从某种与ps(x)有所不同的分布pt(x)，样本数目为nt，则目标域数据集其中，j＝1,2,3,...,nt。

12、步骤2中，使用源域数据初步训练分类网络，分类网络使用预训练的resnet50网络的骨干部分作为特征提取器f，将源域数据输入到特征提取器f，然后将特征提取器f提取到的特征传递给一个预定义的残差块，将残差块提取的特征传递给一个全连接层，全连接层根据输入的类别数量调整输出维度，用于进行分类任务；分类网络通过减小交叉熵损失函数进行训练，交叉熵损失lcls(f,c)计算式为：

13、

14、其中，f为特征提取器，c为分类器，ns表示输入的源域数据样本数量，cs表示源域标签集合，表示第i个源域样本，表示第i个源域样本的标签；是独热向量，c＝yi时取1，其余情况取0；

15、训练一定轮次后得到针对源域数据进行分类的分类网络。

16、步骤3具体按照如下步骤实施：

17、步骤3.1，将源域数据集ds和目标域数据集dt中的所有源域数据样本xs和目标域数据样本xt中的各个样本作为原样本x，其中，对所有原样本x进行自适应实例归一化，获得每个原样本x经过自适应实例归一化后对应的图像样本x1；

18、步骤3.2，对所有原样本x进行霜冻增强，获得每个原样本x经过霜冻增强后对应的图像样本x2；

19、步骤3.3，对所有原样本x进行卡通化增强，获得每个原样本x经过卡通化增强后对应的图像样本x3；

20、步骤3.4，对所有原样本x进行交换低频频谱，获得每个原样本x经过交换低频频谱后对应的图像样本x4；

21、步骤3.5，将每个原样本x与其对应图像样本x1,x2,x3,x4送入经步骤2训练后分类网络的特征提取器f中，得到对应的原样本特征z和增强特征组z1,z2,z3,z4，将求取原样本特征z和增强特征组z1,z2,z3,z4的均值得到zm，然后将原样本特征z混合得到中间域特征zg：

22、zg＝λz+(1-λ)zm     (6)

23、其中，λ为控制混合程度的参数，取值范围为(0,1)；

24、步骤3.6，对源域数据集ds和目标域数据集dt中的所有源域数据样本xs和目标域数据样本xt经过步骤3.1-3.5处理，获得每个源域数据样本xs对应的中间域特征记为和每个目标域数据样本xt对应的中间域特征记为然后将每个源域数据样本xs对应的中间域特征集合形成源域数据的中间域将每个目标域数据样本xt对应的中间域特征集合形成目标域数据的中间域

25、步骤3.1中对所有原样本x进行自适应实例归一化具体为：

26、将原样本x作为风格迁移的内容样本，将wiki art数据集中的现实主义类、印象派类、表现主义类中的随机一类样本作为风格迁移样本s，使用vgg-19的浅层网络作为编码器得到内容样本和风格迁移样本对应的内容特征f(x)与样式特征f(s)以及内容特征f(x)与样式特征f(s)的均值μ(·)和方差σ(·)，利用自适应实例归一化对齐统计信息，生成迁移后特征使用编码器的镜像结构作为解码器，并且在解码器中使用上采样层来逐步恢复特征图的尺寸，得到原样本x经过自适应实例归一化后的图像样本x1并保存；

27、步骤3.2中对所有原样本x进行霜冻增强具体为：

28、给所有原样本x随机匹配一个参数ε，表示霜冻效果的强度，然后根据参数ε随机选择一张对应等级的霜冻纹理图像，然后将霜冻纹理图像缩放到与原样本x图像相同的大小，最后将原样本x图像与缩放后的霜冻纹理图像进行叠加，生成最终的霜冻效果图像，即就是每个原样本x经过霜冻增强后对应的图像样本x2；

29、步骤3.3中对所有原样本x进行卡通化增强具体为：

30、首先对原样本x进行中值模糊操作，具体为：选定模糊核大小k，(x,y)表示原样本x图像第x行y列的像素点，模糊后图像各像素点值i'(x,y)＝median(i(x+ki,y+kj))，其中，ki,kj∈k，得到中值模糊后的样本；

31、然后再对中值模糊后的样本采用均值漂移技术对像素空间进行聚类，具体为：设置漂移窗口带宽σ和漂移阈值η，n(pa)＝{pσi}表示中值模糊后的样本图像以第a个像素pa为中心的窗口内的像素点集合，表示n(pa)中所有像素点与pa的坐标差，然后利用高斯核函数估计漂移窗口内颜色密度d(xa,ya)，其中i(xj,yj)是窗口中每个像素的颜色值；

32、

33、接下来计算均值漂移向量

34、

35、将当前像素点的位置向漂移向量方向移动一定的距离来更新像素点的位置，重复迭代直到漂移向量大小小于阈值η，根据收敛后的像素点位置进行聚类，将颜色密度较高的像素点划分为同一类别，得到经过均值漂移技术对像素空间进行聚类后的图像；

36、接下来利用拉普拉斯算子边缘检测技术具体为：首先将经过均值漂移技术对像素空间进行聚类后的图像转换为灰度图像，应用拉普拉斯算子到灰度图像上，得到边缘图像的浮点数表示，对浮点数表示的边缘图像取绝对值，对每个像素的值取平方，增强边缘的对比度，并对归一化后的边缘图像进行模糊处理，平滑边缘；将检测得到的边缘图像与分割后的图像叠加并调整饱和度生成最终具有卡通化效果的图像，即为原样本x经过卡通化增强后对应的图像样本x3并保存；

37、步骤3.4中对所有原样本x进行交换低频频谱具体为：

38、使用wiki art数据集中现实主义类、印象派类、表现主义类的随机一类样本作为参考图像s_r，将原样本x作为原始样本s_o，将参考图像s_r和原始样本s_o进行离散的傅里叶变换得到参考图像s_r和原始样本s_o在频域中的表示，根据参考图像s_r和原始样本s_o在频域中的幅值和相位获得基于参考图像s_r的原始样本s_o的风格化图像so→r，即就是原样本x经过交换低频频谱后对应的图像样本x4，表示为：

39、

40、其中，为参考图像s_r在频域中的表示的幅值，为原始样本s_o在频域中的表示的幅值，为原始样本s_o在频域中的表示的相位；为掩码，表示进行逆离散傅里叶变换，得到新的频域表示对应的风格化图像；当坐标(m,n)在[-βm:βm:-βn:βn]范围内时，该掩码值为1，否则为0，β为定值，参考图像s_r和原始样本s_o为大小为m×n的rgb图像，其各个通道表示为二维矩阵f(m,n)，m,n表示图像像素位置。

41、步骤3.4中参考图像s_r和原始样本s_o图像进行离散的傅里叶变换得到图像在频域中的表示，具体根据为：

42、

43、其中，参考图像s_r或原始样本s_o图像为大小为m×n的rgb图像，其各个通道表示为二维矩阵f(m,n)，m,n表示对应图像像素位置，是输入信号在频率域中的表示，u,v分别表示水平和垂直的频率索引，幅值相位

44、步骤4具体为：

45、对于源中间域中的每个类别，分别计算各个类别对应中间域特征的平均值，得到|cs|个源特征类心并保存为源类心库。

46、步骤5具体按照如下步骤实施：

47、步骤5.1，对于目标域数据的中间域中的每个中间域特征分别计算其与所有源特征类心的余弦相似度，具体按照公式(7)计算：

48、

49、其中，<·>表示点积计算，||·||求得特征向量的长度，表示目标域数据集dt中第j个目标样本对应的中间域特征，j＝1,2,3,...,nt；为第c类源特征类心，其中c＝1,2,3,...,|cs|；表示第j个中间域特征与第c类特征类心的余弦相似度；对得到的余弦相似度进行序列归一化，得到与当前特征类心类别总数对应的归一化相似度列表，表示为：

50、步骤5.2，计算的样本得分γj，具体为：

51、

52、其中，为的相似度列表中的最大值；

53、步骤5.3，第j个目标样本的相似度序列中最大值则认为该目标样本与第c类源域类别最接近，将该目标样本初步分到源域类别的第c类，记集合为所有初步归为源域类别第c类的目标域数据样本，集合中样本得分最大值记作最小值记作计算集合中样本得分的均值mc；得到所有集合的均值得分序列，其中最大值记作mmax，最小值记作mmin，于是第c类集合对应类别的自适应阈值αc＝0.5-r+2·r为移动阈值比，取值范围为(0,0.5)；

54、步骤5.4，对于如果则认为该样本被认为属于第c类样本，记入目标已知数据集所有满足该条件的样本为高相似度样本；如果则将该样本记入渐进目标域并为中的渐进目标域样本计算权重为后续计算损失进行加权，所有满足该条件的样本为中相似度样本；如果同时满足条件一和条件二，认为该目标特征是某一新未知类，则将记入目标未知数据集|cs|+b表示第b个新未知类，加入源域新类；条件一：条件二：的中间域特征到所有源特征类心的欧式距离的均值大于类心间欧式距离的均值，所有满足该条件的样本为低相似度样本；

55、对于仅满足条件一而不满足条件二的样本，在步骤7对抗训练中不计算其损失；

56、由此可以得到包含个样本的渐进源域以及包含个样本的渐进目标域

57、步骤6具体为：根据渐进源域中的样本，将步骤5中记入目标已知数据集dtk和目标未知数据集dtu的新增样本对应的中间域特征加入源中间域，重新按照步骤4计算源特征类别类心，更新分类器，将输出类别扩充为类。

58、步骤7具体为：

59、训练3个损失函数，分别为：分类损失加权对抗损失和熵损失利用步骤5.4中原源域数据、高相似度样本和低相似度样本组合得到的渐进源域数据训练分类损失利用领域判别器d对渐进源域样本和由中相似度样本组成的加权的渐进目标域样本进行对抗损失训练，对输入的特征表示进行分类，以确定它们是来自渐进源域还是渐进目标域，不同置信度的目标样本提供不同等级的损失；

60、步骤5.4为中的第个渐进目标域样本计算权重该样本有表示该样本与渐进源域中第类样本比较接近，所有被认为比较接近第类的渐进目标样本有相同的权重于是得到加权对抗损失：

61、

62、同时，为了拉近渐进源与渐进目标数据的特征表示，对目标样本的归一化相似度序列采用熵的形式设置损失函数

63、

64、表示第个渐进目标样本在第个类别上的相似度。

65、总体损失函数表达式为：

66、

67、利用总的损失函数对经过步骤2预训练的分类网络进行训练，将未目标域数据作为测试集输入给分类网络，最终得到分类结果。

68、本发明的有益效果是：

69、1.本发明对源域和目标域数据通过几种图像增强手段得到增强后的图像组，利用共享参数的特征提取器提取原图像和增强后的图像组，利用混合技术构建中间域，在显著修改领域相关的特征的同时，保留任务判别特征，充分利用并扩展了源域和目标域数据信息。

70、2.本发明将中间域中来自源域和目标域的混合特征计算余弦相似度，利用相似度分级：高相似度样本作为已知类加入对应源域类别训练模型；中等相似度样本根据相似度加权后进行对抗训练；低相似度样本逐步作为新类训练模型，避免未知类被分为已知类导致模型负迁移，细化分类提高模型性能，将目标样本细化分级拉近已知类，推开未知类，以此提高模型在目标样本上的分类能力，实现领域自适应的目的。

71、3.本发明利用相似度分级时，采用类别层面的动态阈值，避免过多的超参数，渐进的对齐已知类，分离未知类，避免陷入局部最优。