一种基于人工合成数据和多源迁移学习的长尾物体识别方法

本发明涉及小样本长尾物体识别领域，尤其涉及一种基于人工合成数据和多源迁移学习的长尾物体识别方法。

背景技术：

1、物体识别是计算机视觉领域的一个基础性问题，由于真实世界的图像数据集中类标签分布呈现长尾趋势，使用类不平衡图像数据训练的分类器易于对多数类(头部)数据过拟合，从而在分类预测时忽略少数类(尾部)。特别是当训练数据不足时，还会存在模型泛化能力下降的问题。

2、对于以上问题，有以下解决方案：文献[1]中提出的一种基于单源实例迁移学习的rare-transfer算法，该算法首次将单源实例迁移学习应用于解决训练样本不足条件的类标签不平衡分类问题。rare-transfer基于迁移学习领域经典的tradaboost框架[2]，通过在每轮boosting迭代时引入一个校正因子ct来防止源领域样本的权重过早收敛。rare-transfer算法的主要缺点是只适用于处理二分类问题和从单个源领域进行实例迁移，当该源领域的少数类样本仍然较少时，单源迁移学习的效果很有限且容易引起“负迁移”，即源领域“正样本”中蕴含的知识对于解决目标领域物体识别是有害的。文献[3-5]虽然将tradaboost框架从单源迁移推广到了多源迁移学习，提出了基于tradaboost框架的多源迁移学习算法，但是这些算法主要针对的是类标签分布平衡数据的二分类问题。文献[6]提出了一种weighted multisource-tradaboost算法，在实例迁移时考虑到了源领域和目标领域的训练样本总数量对分类器性能的影响，该算法的主要缺点是适用于二分类问题、引入新的超参数且没有考虑解决目标领域类不平衡问题。文献[7]将多类adaboost算法samme[8]和tradaboost框架相结合，提出了一种多分类的单源实例迁移学习算法，该算法的主要缺点是只适用于单源迁移学习和标准类标签分布数据集，当目标领域训练数据不平衡时无法有效地处理。

3、综上所述，现有方法存在以下缺点：1)基于tradaboost框架的不平衡分类算法只考虑了单源实例迁移和二分类问题，且侧重于应用在文本分类任务中，在训练样本具有多种类别时，分类的准确率较低；2)基于tradaboost框架多源实例迁移算法只考虑了类标签是标准分布情况下的分类器训练问题，不能对类标签分布不平衡的训练样本进行有效、准确地分类；3)基于smote技术和boosting框架的算法只是在目标领域进行模型训练，没有考虑有效利用源领域的知识，降低了分类的准确率，且主要集中在二分类模型的训练算法设计上，不能对具有多种类别的训练样本进行分类。

4、参考文献

5、[1]al-stouhi s.,&reddy c k.transfer learning for class imbalanceproblems with inadequate data.knowledge&information systems,2016,48(1),201-228.

6、[2]dai w,yang q,xue gr,yu y(2007a)boosting for transfer learning.in:proceedings of the international conference on machine learning,2007,pp 193–200.

7、[3]yao y,doretto g,boosting for transfer learning with multiplesources,2010ieee computer society conference on computer vision and patternrecognition,2010,1855-1862.

8、[4]张倩,李明,王雪松,等.一种面向多源领域的实例迁移学习[j].自动化学报,2014,40(006):1176-1183.

9、[5]张倩,李海港,李明,程玉虎.基于多源动态tradaboost的实例迁移学习方法[j].中国矿业大学学报,2014,43(04):713-720.

10、[6]antunes,j.,bernardino,a.,smailagic,a.,siewiorek,d.(2019).weightedmultisource tradaboost.in:morales,a.,fierrez,j.,sánchez,j.,ribeiro,b.(eds)pattern recognition and image analysis.ibpria 2019.lecture notes in computerscience(),vol 11867.springer,cham.

11、[7]hanxian he,kourosh khoshelham,clive fraser,a multiclass tradaboosttransfer learning algorithm for the classification of mobile lidar data,isprsjournal of photogrammetry and remote sensing,volume166,2020,pages 118-127.

12、[8]hastie,t.,rosset,s.,zhu,j.,zou,h.,2009.multi-classadaboost.stat.interface 2,349–360.

技术实现思路

1、本发明提供一种基于人工合成数据和多源迁移学习的长尾物体识别方法，以克服上述技术问题。

2、一种基于人工合成数据和多源迁移学习的长尾物体识别方法，包括，

3、步骤一、获取n个源领域训练图像集和一个目标领域训练图像集并进行预处理，根据深度神经网络分别对预处理后的n个源领域训练图像集和一个目标领域训练图像集中的每张训练图像进行特征提取，获取每张训练图像的训练特征向量，

4、步骤二、对每张训练图像的训练特征向量进行l2-zscore归一化处理，根据每张训练图像所包含的物体类别确定所述训练图像的类标签，分别根据归一化处理后的训练特征向量、类标签构建n个源领域训练数据集和一个目标领域训练数据集，

5、步骤三、分别对n个源领域训练数据集和一个目标领域训练数据集所对应的权重集进行初始化，设置权重调节因子，设置迭代次数为t，选择初始弱分类器学习算法，根据权重调节因子、迭代次数、初始弱分类器学习算法以及初始化后的权重集对n个源领域训练数据集和一个目标领域训练数据集进行训练，获取t个弱分类器及其分类器系数，

6、步骤四、获取目标领域测试图像集并进行预处理，根据深度神经网络对预处理后目标领域测试图像集进行特征提取，获取目标领域测试图像集中每张测试图像的测试特征向量，根据t个弱分类器对每张测试图像的测试特征向量所属的类标签进行预测，根据t个弱分类器的预测结果和分类器系数确定每张测试图像的类标签，所述类标签为测试图像中所包含的物体类别。

7、优选地，所述步骤三包括，

8、s1、分别将n个源领域训练数据集和一个目标领域训练数据集的权重集进行初始化，设置权重调节因子，初始化n＝1，t＝1，

9、s2、对于第t次迭代，对n个源领域训练数据集和目标领域训练数据集的权重集进行归一化，分别对目标领域训练数据集和目标领域训练数据集所对应的权重集进行人工合成，获取人工合成后的目标领域训练数据集和目标领域训练数据集所对应的权重集，

10、s3、分别将第n个源领域训练数据集、目标领域训练数据集与人工合成后的目标领域训练数据集进行合并并表示为第n个合并训练集，分别将第n个源领域训练数据集所对应的权重集、目标领域训练数据集所对应的权重集与人工合成后的目标领域训练数据集所对应的权重集进行合并并表示为第n个合并权重集，根据所选择的初始弱分类器学习算法和第n个合并权重集对第n个合并训练集进行训练，获取训练后的第n个弱分类器，计算第n个弱分类器在目标领域数据集上的第n个训练错误率，

11、s4、令n＝n+1，当n≤n时，返回执行s3，获取n个弱分类器，从n个弱分类器中选择训练错误率取值最低的分类器作为第t次迭代的弱分类器，

12、s5、令n＝1，获取第t次迭代得到的弱分类器及其对应的训练错误率，根据训练错误率计算弱分类器的分类器系数，根据分类器系数更新目标领域训练数据集的权重集，根据训练错误率计算矫正因子，根据矫正因子更新源领域训练数据集的权重集，

13、s6、令t＝t+1，返回执行s2，直到t＝t，获取t个弱分类器及其对应的t个分类器系数。

14、优选地，所述对目标领域训练数据集和目标领域训练数据集所对应的权重集进行人工合成包括，

15、s11、确定目标领域训练数据集中每个训练图像所包含的物体类别并将物体类别作为类标签，类标签的数量为k，根据类标签将目标领域训练数据集划分为k个样本集合，分别计算第i个样本集合需要人工合成的样本数nsmote(i)，其中，i＝1，i≤k，

16、s12、对于第i个样本集合，基于smote技术生成nsmote(i)个合成样本集合，并为合成样本集合中的每个合成样本分配一个合成权重和一个合成类标签，存储第i个样本集合的合成样本集合、合成权重集合和合成类标签集合并表示为第i个人工合成样本集合，

17、s13、令i＝i+1，重复执行s12，直到i＝k，依次获取k个样本集合的人工合成样本集合，分别将人工合成样本集合中的合成样本集合与目标领域训练数据集进行合并，将人工合成样本集合中的合成权重集合与目标领域训练数据集所对应的权重集进行合并。

18、优选地，所述选择初始弱分类器学习算法包括从svm、极限学习机、决策树桩中随机选择一种分类器学习算法作为初始弱分类器学习算法。

19、优选地，所述s12包括，

20、s121、令m＝1，当m≤nsmote(i)时，基于第i个样本集合进行第m次随机采样，每次获得一个anchor样本(x_anchor，y_anchor，w_anchor)，其中x_anchor为anchor样本的特征向量，y_anchor为anchor样本的类标签，w_anchor为anchor样本的权重；

21、s122、使用k近邻算法分别搜索x_anchor样本的k个近邻样本，再从k个近邻样本中任选一个近邻样本，并将所选的近邻样本的特征向量赋值给x_nearest，x_nearest为第一临时变量，将所选的近邻样本的权重赋值给w_nearest，w_nearest为第二临时变量；

22、s123、根据公式(1)计算合成样本的特征向量x_syn，

23、x_syn＝ x_anchor+(x_nearest-x_anchor).*rand(1,nfeatures)   (1)

24、其中rand(1,nfeatures)表示随机生成一个取值范围在(0,1)区间的nfeatures维特征向量，nfeatures是x_anchor特征向量的特征维度，.*表示两个特征向量对应位置的元素相乘，

25、s 124、根据公式(2)计算合成样本的合成权重w_syn，

26、w_syn＝w_anchor*r1+w_nearest*(1-r1)      (2)

27、其中r1为取值范围在(0,1)之间的随机数，

28、s125、将anchor样本的类标签y_anchor作为合成样本的合成类标签y_syn，存储合成样本的特征向量、合成权重以及合成类标签，

29、s126、令m＝m+1，返回s121，获取nsmote(i)个合成样本并存储为第i个样本集合的合成样本集合，将第i个样本集合的合成样本集合、合成权重集合和合成标签集合表示为第i个人工合成样本集合。

30、本发明提供一种基于人工合成数据和多源迁移学习的长尾物体识别方法，通过smote技术对小样本长尾数据进行人工合成，能够动态再平衡目标领域训练样本的类标签分布，特别适用于小样本不平衡物体识别(图像分类)任务，提高了图像分类的通用性，并且在每轮迭代中的弱分类器可以使用svm、极限学习机、决策树桩等多种分类器学习算法，提高了图像分类的灵活性，通过在每轮迭代中自动生成带有权重的人工合成数据和基于多个源领域数据进行分类训练有效地提高类分布绝对不平衡条件下的图像分类器性能。