一种基于特征关系迁移的小样本目标检测方法

1.本发明涉及计算机视觉领域，具体来说，涉及计算机视觉中的目标检测领域，更具体地说，涉及一种基于特征关系迁移的小样本目标检测模型的训练方法及基于训练好的模型的小样本目标检测方法。


背景技术：

2.计算机视觉是人工智能(ai)中的一个重要领域，其用于计算机能够从图像、视频或其他视觉输入中获取有意义的信息，并根据该信息为下游任务采取行动提供建议或参考信息。计算机视觉涉及到多个任务分支，例如目标检测、图像分类等，这些对于人工智能中的下游任务具有重要意义。其中，目标检测(object detection)任务是计算机视觉领域中的一个重要分支，该任务需要从图像中找出所有感兴趣的目标，并确定它们对应的类别和位置。比较常见的目标检测任务是在具有大量标注资源的数据集上训练具有较高准确率的模型来进行目标识别，但是，标注资源是比较稀缺的，且标注工作是需要极高代价的，而且有些类别(例如，珍稀动物脸)的样本也是比较难以获取的，因而实际应用中，比较常见的是小样本类别的检测任务。为了实现小样本类别的检测任务，常见的做法是结合拥有较充足训练样本的类别的源域数据集(也称之为训练集)与仅有少量训练样本的类别(小样本类别)的目标域数据集(也称之为支撑集)信息，来实现小样本类型的目标检测。
3.目前，小样本类别的检测任务大多基于深度神经网络框架。例如，专利公开号为cn108229658a的中国专利申请文献公开的“基于有限样本的物体检测器的实现方法及装置”，是一种基于正则化迁移学习方式实现小样本类别的检测方法。该方法的主要的技术手段是，建立基于神经网络的物体检测器(目标检测模型)，并设计基于正则化的迁移学习方法获得源域数据集(训练集)到目标域数据集(支撑集)的知识迁移和背景抑制正则项来训练该物体检测器。该类方法仅在分类结果层面对知识进行迁移，对训练集与支撑集中样本的特征属性间的关系挖掘不够细粒度，影响了目标检测模型的类别分类能力和目标位置的检测能力。
4.又如，专利公开号为cn112364747a的中国专利申请文献中公开的“一种有限样本下的目标检测方法”，是一种基于图结构建模的小样本类别检测方法。该方法主要的技术手段为：采用在源域上(源域上的类别称之为基类)训练好的模型对支撑集(支撑集中的类别称之为新类，支撑集中的样本称之为新类样本)中的图片样本中的预测候选框进行筛选，得到包含物体的候选框(包含物体的候选框即候选区域或者感兴趣区域)并对其进行卷积处理，将得到的候选区域对应的卷积特征形成图结构，以训练得到每一个候选区域的类别标签。该方法仅构建了基类与新类特征与分类结果的关系以检测每一个候选区域的类别，但由于缺少对新类少量样本特征的直接增强，使得该方法得到的模型对新类的泛化检测能力表现不佳。
5.综上所述，现有技术中仅在分类结果层面对目标检测模型进行迁移训练，没有对源域训练集与目标域支撑集中样本的特征属性间的关系挖掘，使得训练收敛的目标检测模
型没充分利用新类和基类特征之间的关系，导致了收敛的目标检测模型对基类类别存在学习遗忘问题以及对小样本类别(新类)的目标检测中存在定位不准确的问题。


技术实现要素：

6.因此，本发明的目的在于克服上述现有技术的缺陷，提供一种基于特征关系迁移的小样本目标检测模型的训练方法及基于训练好的模型的小样本目标检测方法。
7.根据本发明的第一方面，提供一种基于特征关系迁移的小样本目标检测模型的训练方法，所述方法包括：s1、获取训练集和支撑集，并用训练集对预训练的两阶段模型进行训练以获得初始化的目标检测基础模型和感兴趣区域调整模块；其中，所述训练集中包括多个基类，每个基类具有多个带基类标签的样本，所述基类标签包括基类的类别标签、目标检测框位置标签；所述支撑集中包括多个与基类类别不同的新类，每个新类具有满足小样本任务要求且具有新类标签的样本，所述新类标签包括新类的类别标签、目标检测框位置标签、背景标签；s2、采用训练集和支撑集将所述初始化的目标检测基础模型、所述初始化的感兴趣区域调整模块、特征提取网络、关系注意力模块、类别分类模块、检测框位置回归调整模块组成的训练模型进行多次迭代训练至收敛以获得由目标检测基础模型、感兴趣区域调整模块、特征提取网络、检测框位置回归调整模块、类别分类模块组成的最终的小样本目标检测模型。
8.在本发明的一些实施例中，本发明每次迭代训练包括：s21、用初始化的目标检测基础模型分别提取训练集中和支撑集中每个样本的原始感兴趣区域；s22、采用感兴趣区域调整模块调整基于步骤s21提取到的训练集中和支撑集中每个样本的原始感兴趣区域；s23、用特征提取网络提取经步骤s22调整后的训练集中和支撑集中每个样本的调整感兴趣区域的原始特征；s24、采用关系注意力模块基于支撑集中每个样本的原始特征和训练集中每个样本的原始特征对支撑集中每个样本的原始特征进行增强处理以获得支撑集中每个样本的增强特征；s25、采用检测框位置回归调整模块基于支撑集中每个样本的原始特征输出样本的预测目标检测框位置，并基于支撑集所有样本的目标检测框位置标签和预测目标检测框位置计算目标检测框位置回归损失；s26、采用类别分类模块基于支撑集中每个样本的增强特征对样本进行类别分类获得预测分类结果，并基于支撑集所有样本的预测分类结果与类别标签计算类别分类损失；s27、采用目标检测框位置回归损失和类别分类损失更新训练模型的参数。
9.在本发明的一些实施例中，所述训练模型还包括背景分类模块，本发明每次迭代训练还包括：s26’、采用背景分类模块基于支撑集中每个样本的原始特征输出样本的背景分类预测结果，并基于支撑集所有样本的背景分类预测结果和背景标签计算背景分类损失；s27’、采用目标检测框位置回归损失、背景分类损失和类别分类损失更新训练模型的参数。
10.在本发明的一些实施例中，本发明采用目标检测框位置回归损失更新检测框位置回归调整模块的参数；采用类别分类损失和背景分类损失更新类别分类模块、特征提取网络和感兴趣区域调整模块的参数。
11.在本发明的一些实施例中，所述预训练的两阶段模型为以下网络中的任意一种：rcnn、fastrcnn、fasterrcnn、sppnet、fpn。
12.在本发明的一些实施例中，步骤s24中，通过以下步骤对支撑集中每个样本的原始特征进行增强处理：s241、基于步骤s21中提取到的训练集中所有样本的特征和支撑集中当前样本的特征计算支撑集中该样本对训练集中所有样本的注意力矩阵；s242、基于步骤s241得到当前样本的注意力矩阵和特征通过如下公式对该样本的原始特征进行增强：
13.f_qknew＝f_qk+rk
14.其中，f_qknew是支撑集中第k个样本的增强特征，f_qk是支撑集中第k个样本的原始特征，rk是支撑集中第k个样本对训练集中所有样本的注意力矩阵。
15.在本发明的一些实施例中，本发明采用如下公式计算支撑集中每个样本对训练集中所有样本的注意力矩阵：
16.rk＝softmax(uk)*f_s＝{softmax(ukv)*f_sv}
17.uk＝{ukv}
18.f_s＝{f_sv}
[0019][0020][0021]
其中，rk是支撑集中第k个样本对训练集中所有样本的注意力矩阵，uk是支撑集中第k个样本对训练集中所有样本的相似度矩阵，softmax(uk)是分别对相似度矩阵中每个元素进行归一化，f_s是训练集中所有样本特征的集合，f_sv是训练集中第v个样本的特征，f_qk是支撑集中第k个的样本的特征，ukv为uk中的第v个元素，uki是支撑集中第k个样本与第i个基类样本的相似度，n是中训练集中所有基类样本的个数。
[0022]
在本发明的一些实施例中，本发明采用如下公式计算支撑集的背景分类损失：
[0023][0024]
其中，bglabel为新类的背景标签，k_fb表示支撑集所有样本输入到背景分类模块的原始特征的集合，sigmoid(k_fb)是特征集合k_fb对应的背景分类结果。
[0025]
在本发明的一些实施例中，本发明采用如下公式计算支撑集的类别分类损失：
[0026]
lf＝objlabel*log(softmax(kc))＝objlabel*log(softmax({kci}))；
[0027]
其中，objlabel是新类的类别标签，kci代表支撑集中每个类别的所有样本被分类为第i类的概率，softmax(kc_i)是支撑集中每个类别的所有样本被分类为第i类的归一化的分类概率。
[0028]
在本发明的一些实施例中，步骤s25中采用如下公式计算所述回归损失：
[0029][0030]
其中，bi
jx
是支撑集中第i个样本的原始特征经检测框位置回归调整模块调整后的预测目标检测框位置中第j个顶点的x轴坐标，bi
jy
是支撑集中第i个样本的原始特征经检测框位置回归调整模块调整后的预测目标检测框位置中的y轴坐标，di
jx
是支撑集中第i个样本的目标检测框位置标签中第j个顶点的x轴坐标，di
jy
是支撑集中第i个样本的目标检测框
位置标签中第j个顶点的y轴坐标。
[0031]
根据本发明的第二方面，提供一种目标检测方法，所述目标检测方法包括：f1、获取输入图像；f2、采用根据本发明的第一方面所述的方法得到的小样本目标检测模型对步骤f1获得的输入图像进行目标检测以获得图像中的目标位置和目标分类。
[0032]
与现有技术相比，本发明的优点在于：本发明针对小样本类别(例如物体、动物脸检等目标类别)检测问题，通过引入检测框位置回归调整模块用作回归分支以预测目标检测框位置，并基于支撑集所有样本的目标检测框位置标签和预测目标检测框位置计算支撑集所有样本的目标检测框位置回归损失，再基于回归损失调节检测框位置回归调整模块的参数，由此来提高小样本目标检测任务中对目标的定位能力；以及还引入关系注意力模块基于支撑集中每个样本的原始特征和训练集中每个样本的原始特征对支撑集中每个样本的原始特征进行增强处理以获得支撑集中每个样本的增强特征，类别分类模块基于支撑集中每个样本的增强特征进行类别分类预测，并基于支撑集中所有样本的预测分类和类别标签计算支撑集的类别分类损失，再基于类别分类损失调节训练模型的参数这样使得最终的小样本目标检测模型可以在拥有对小样本类别的识别能力的同时，保留了基类的学习知识，解决了现有模型对基类存在学习遗忘问题。
附图说明
[0033]
以下参照附图对本发明实施例作进一步说明，其中：
[0034]
图1为根据本发明实施例的一种基于特征关系迁移的小样本目标检测模型的训练方法的流程示意图；
[0035]
图2为根据本发明实施例的一种基于特征关系迁移的小样本目标检测模型的训练方法的示意图。
具体实施方式
[0036]
为了使本发明的目的，技术方案及优点更加清楚明白，以下通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0037]
如背景技术部分提到的现有技术中仅在分类结果层面对目标检测模型进行迁移训练，没有对训练集与支撑集中样本的特征属性间的关系挖掘使得训练收敛的目标检测模型没充分利用新类和基类特征之间的关系，导致了收敛的目标检测模型对基类存在学习遗忘问题以及对小样本类别目标检测中的存在定位能力不够的问题。
[0038]
为了解决上述问题，本发明提供的解决方案是在对目标检测模型进行迁移训练获得小样本目标检测模型的过程中在基础目标检测任务之外，引入辅助训练任务(例如目标回归检测任务、背景分类任务等)对训练模型进行迁移训练，由此来提升小样本目标检测模型的目标定位能力，使其在对小样本类别具有泛化能力的同时，避免对基类的学习遗忘。
[0039]
概括来说，本发明首先提供一种基于特征关系迁移的小样本目标检测模型的训练方法，如图1所示，所述方法包括：s1、获取训练集和支撑集，并用训练集对预训练的两阶段模型(即现有技术已经训练完成的两阶段模型)进行训练以获得初始化的目标检测基础模型和感兴趣区域调整模块；s2、采用训练集和支撑集训练将基于初始化的目标检测基础模
型和感兴趣区域调整模块构建的训练模型进行多次迭代训练至收敛以获得最终的小样本目标检测模型。
[0040]
根据本发明的一个实施例，步骤s2包括：采用训练集和支撑集将由经初始化的目标检测基础模型、初始化的感兴趣区域调整模块、特征提取网络、关系注意力模块、类别分类模块、检测框位置回归调整模块组成的训练模型(即构建训练模型)进行多次迭代训练至收敛以获得由目标检测基础模型、感兴趣区域调整模块、特征提取网络、检测框位置回归调整模块、类别分类模块组成的最终的小样本目标检测模型，并采用目标检测框位置回归损失和类别分类损失更新训练模型的参数。其中，本发明通过引入检测框位置回归调整模块用作回归分支以预测目标检测框位置，并基于支撑集所有样本的目标检测框位置标签和预测目标检测框位置计算支撑集所有样本的目标检测框位置回归损失，再基于回归损失调节检测框位置回归调整模块的参数，由此来提高小样本目标检测任务中对目标的定位能力。本发明还引入关系注意力模块基于支撑集中每个样本的原始特征和训练集中每个样本的原始特征对支撑集中每个样本的原始特征进行增强处理以获得支撑集中每个样本的增强特征，类别分类模块基于支撑集中每个样本的增强特征进行类别分类预测，并基于支撑集中所有样本的预测分类和类别标签计算支撑集的类别分类损失，再基于类别分类损失调节训练模型的参数这样使得最终的小样本目标检测模型可以在拥有对小样本类别的识别能力的同时，保留了基类的学习知识，解决了现有模型对基类存在学习遗忘问题。此外，为了更进一步提高最终的小样本目标检测模型对小样本类别的识别能力，本发明还在训练模型引入背景分类模块，并将其用于基于支撑集中每个样本的原始特征输出样本的背景分类预测结果以获得支撑集中所有样本的背景分类预测，并基于所有样本的背景分类预测与背景标签计算支撑集的背景分类损失，并用于更新模型参数，提升最终的小样本目标检测模型对背景的感知能力，从而提高模型对小样本类别目标的识别能力。
[0041]
根据本发明的一个实施例，本发明中目标检测基础模型和感兴趣区域调整模块采用预训练的两阶段模型。根据本发明的一个实施例，所述目标检测基础模型为以下模型中的任意一种：rcnn、fastrcnn、fasterrcnn、sppnet、fpn，这些模型都能够实现基本的目标检测和感兴趣区域调整，为了方便理解，本发明中将用于实现目标检测功能的部分称之为目标检测基础模型，将用于实现感兴趣区域调整的部分称之为感兴趣区域调整模块，用训练集对两阶段模型训练初始化后，可以获得初始化的目标检测基础模型和感兴趣区域调整模块，在迁移训练过程中，本发明将由训练集初始化后的目标检测基础模型参数固化，对感兴趣区域调整功能模块的参数进行迭代更新。根据本发明的一个实施例，特征提取网络采用cnn网络。根据本发明的一个实施例，类别分类模块和背景分类模块均采用全连接层。由于训练模型采用的网络结构及功能基本都是本领域技术人员已知的，本发明对训练模型中每个子模块和子网络的具体功能不做过多赘述，仅从小样本目标检测模型的训练方法层面来介绍本发明。
[0042]
为了更好的理解本发明，下面结合附图和实施例详细说明本发明。
[0043]
图2所示的为一种基于特征关系迁移的小样本目标检测模型的训练方法的示意图，虚线框内的区域代表构建好的训练模型和模型中的数据流向，训练模型包括了目标检测基础模型、感兴趣区域调整模块、特征提取网络、关系注意力模块、类别分类模块、检测框位置回归调整模块；其中小样本目标检测模型包括目标检测基础模型、感兴趣区域调整模
块、特征提取网络、检测框位置回归调整模块和类别分类模块。模块与模块之间的箭头代表的是模块之间传输的具体数据信息。采用训练集和支撑集对构建好的训练模型进行训练过程中，将训练集和支撑集共同作为模型的输入对其进行多次迭代训练直至收敛，其中，训练集中包括多个基类，每个基类具有多个带基类标签的样本(训练集中的样本也称基类样本)，所述基类标签包括基类的类别标签、目标检测框位置标签；支撑集中包括多个与基类类别不同的新类，每个新类具有满足小样本任务要求且具有新类标签的样本(支撑集中的样本也称新类样本)，所述新类标签包括新类的类别标签、目标检测框位置标签、背景标签。根据本发明的一个实施例，本发明中每次迭代训练包括：s21、用初始化的目标检测基础模型分别提取训练集中和支撑集中每个样本的原始感兴趣区域；s22、采用感兴趣区域调整模块调整基于步骤s21提取到的训练集中和支撑集中每个样本的原始感兴趣区域；s23、用特征提取网络提取经步骤s22调整后的训练集中和支撑集中每个样本的调整感兴趣区域的原始特征(附图1中的支撑集样本的原始特征即是由支撑集中所有样本的调整感兴趣区域的原始特征组成的集合；训练集样本的原始特征即是训练集中所有样本的调整感兴趣区域的原始特征组成的集合)；s24、采用关系注意力模块基于支撑集中每个样本的原始特征和训练集中每个样本的原始特征对支撑集中每个样本的原始特征进行增强处理以获得支撑集中每个样本的增强特征(附图1中的增强的支撑集特征即是支撑集中所有样本的增强特征组成的集合)；s25、采用检测框位置回归调整模块基于支撑集中每个样本的原始特征输出样本的预测目标检测框位置，并基于支撑集所有样本的目标检测框位置标签和预测目标检测框位置计算目标检测框位置回归损失；s26、采用类别分类模块基于支撑集中每个样本的增强特征对样本进行类别分类获得预测分类结果，并基于支撑集所有样本的预测分类结果与类别标签计算类别分类损失；s27、采用目标检测框位置回归损失和类别分类损失更新训练模型的参数。根据本发明的一个实施例，还包括一个背景分类模块，来提升最终的小样本目标检测模型对背景的感知能力，达到提高对小样本类别的识别能力。根据本发明的一个实施例，每次迭代训练中，在步骤s21至步骤s26的基础上，每次迭代训练还包括：s26’、采用背景分类模块基于支撑集中每个样本的原始特征输出样本的背景分类预测结果，并基于支撑集所有样本的背景分类预测结果和背景标签计算背景分类损失；s27’、采用目标检测框位置回归损失、背景分类损失和类别分类损失更新训练模型的参数。
[0044]
由于步骤s21至步骤s23所描述的步骤为本领域人员已知的方法，本发明不做详细赘述，下面对其他步骤进行详细说明以更好的理解本发明。
[0045]
在步骤s24中，采用关系注意力模块基于支撑集中每个样本的原始特征和训练集中每个样本的原始特征对支撑集中每个样本的原始特征进行增强处理以获得支撑集中每个样本的增强特征。根据本发明的一个实施例，通过以下步骤对支撑集中每个样本的原始特征进行增强处理：s241、基于步骤s21中提取到的训练集中所有样本的特征和支撑集中当前样本的特征计算支撑集中该样本对训练集中所有样本的注意力矩阵；s242、基于步骤s241得到当前样本的注意力矩阵和特征通过如下公式对该样本的原始特征进行增强：
[0046]
f_qknew＝f_qk+rk
[0047]
其中，f_qknew是支撑集中第k个样本的增强特征，f_qk是支撑集中第k个样本的原始特征，rk是支撑集中第k个样本对训练集中所有样本的注意力矩阵。
[0048]
根据本发明的一个实施例，本发明采用如下公式计算支撑集中每个样本对训练集
中所有样本的注意力矩阵：
[0049]
rk＝softmax(uk)*f_s＝{softmax(ukv)*f_sv}
[0050]
uk＝{ukv}
[0051]
f_s＝{f_sv}
[0052][0053][0054]
其中，rk是支撑集中第k个样本对训练集中所有样本的注意力矩阵，uk是支撑集中第k个样本对训练集中所有样本的相似度矩阵，softmax(uk)是分别对相似度矩阵中每个元素进行归一化，f_s是训练集中所有样本特征的集合，f_sv是训练集中第v个样本的特征，f_qk是支撑集中第k个的样本的特征，ukv为uk中的第v个元素，uki是支撑集中第k个样本与第i个基类样本的相似度，n是训练集中所有基类样本的个数。
[0055]
在步骤s25中，采用检测框位置回归调整模块基于支撑集中每个样本的原始特征输出样本的预测目标检测框位置，并基于支撑集所有样本的目标检测框位置标签和预测目标检测框位置计算目标检测框位置回归损失。目标检测框位置回归处理是一个独立的回归分支任务，用于基于支撑集的原始特征进行目标位置回归处理，以实现更加准确的定位目标位置的目的。根据本发明的一个实施例，采用如下公式计算所述回归损失：
[0056][0057]
其中，bi
jx
是支撑集中第i个样本的原始特征经检测框位置回归调整模块调整后的预测目标检测框位置中第j个顶点的x轴坐标，bi
jy
是支撑集中第i个样本的原始特征经检测框位置回归调整模块调整后的预测目标检测框位置中的y轴坐标，di
jx
是支撑集中第i个样本的目标检测框位置标签中第j个顶点的x轴坐标，di
jy
是支撑集中第i个样本的目标检测框位置标签中第j个顶点的y轴坐标。
[0058]
在步骤s26中，采用类别分类模块基于支撑集中每个样本的增强特征对样本进行类别分类获得预测分类结果，并基于支撑集所有样本的预测分类结果与类别标签计算类别分类损失。根据本发明的一个实施例，采用如下公式计算支撑集的类别分类损失：
[0059]
lf＝objlabel*log(softmax(kc))＝objlabel*log(softmax({kci}))；
[0060]
其中，objlabel是新类的类别标签，kci代表支撑集中每个类别的所有样本被分类为第i类的概率，softmax(kc_i)是支撑集中每个类别的所有样本被分类为第i类的归一化的分类概率。
[0061]
其中，为了提高分类准确率，在分类任务中，额外引入背景分类任务以采用背景分类模块基于支撑集中样本的原始特征对其进行背景分类预测，并基于所有新类样本的背景分类预测结果计算背景分类损失。根据本发明的一个实施例，采用如下公式计算支撑集的背景分类损失：
[0062]
[0063]
其中，bglabel为新类的背景标签，k_fb表示支撑集所有样本输入到背景分类模块的原始特征的集合，sigmoid(k_fb)是特征集合k_fb对应的背景分类预测结果。
[0064]
在步骤s27中，采用目标检测框位置回归损失和类别分类损失更新训练模型的参数，其中，在引入了背景分类任务的情况下，采用目标检测框位置回归损失、背景分类损失和类别分类损失更新训练模型的参数。根据本发明的一个实施例，采用目标检测框位置回归损失更新检测框位置回归调整模块的参数，采用类别分类损失和背景分类损失更新类别分类模块、特征提取网络和感兴趣区域调整模块的参数。
[0065]
为了更好的说明本发明的技术效果，通过以下实验进行验证。
[0066]
实验过程中，首先通过本发明提供的一种小样本目标检测模型的训练方法得到最终的小样本目标检测模型，然后通过选用实验数据集对最终的小样本目标检测模型与现有方法训练得到目标检测模型一起进行对比测试评价。
[0067]
首先选取常用的物体检测图像数据集pascal voc，划分出一部分类别(例如10个类别)作为训练集s，另一部分类别(例如2个类别)各取少量样本(少量样本的个数根据小样本要求的数量进行设置)作为支撑集q，同时与支撑集q中类别相同的其他样本将作为验证集v；其次将训练集s输入到训练的两阶段模型(本实验中优选为fasterrcnn网络作预训练的两阶段模型)已获得初始化的目标检测基础模型和感兴趣区域调整模块，在本次实验中，采用训练集s训练fasterrcnn网络15轮得到了初始化的目标检测基础模型和感兴趣区域调整模块，其中第1轮至10轮的初始学习率为0.02，学习率在第11轮和13轮分别衰减到其前一轮学习率的0.1；将训练集s和支撑集q输入训练模型(如图2中对应的训练模型)中利用本发明提供的小样本目标检测模型的训练方法对应的方法训练所述训练模型的方法至收敛。在本次实验中，收敛的具体数据为：训练300轮达到了收敛，初始学习率为0.005，学习率在第250轮和275轮衰减到之前的0.1。最后选用收敛训练模型中的小样本目标检测模型作为最终的小样本目标检测模型。
[0068]
然后将最终的小样本目标检测模型与现有方法训练得到目标检测模型做如下测试：随机选取图像数据集pascal voc中的图像输入最终的小样本目标检测模型以得到该图像的目标位置和目标分类，图像中目标如无物体，输出为背景类别。具体地，在常用的物体检测图像数据集pascal voc中随机取15类的样本(官方已设定)作为基类样本和5类的样本(官方已设定)作为新类样本一起组成实验数据集对最终的小样本目标检测模型进行检测结果的评价测试。评价测试选用常用的测试指标map(mean average precision，即全类平均正确率)得到测试结果。在本实验中，选用七组对照实验计算基类平均精度和新类平均精度，计算的具体结果如表1，其中，第一组实验(表1中用“新类3个样本”表示第一组实验)选用实验数据集中选择所有类别进行测试，每类中各取3个样本得到数据计算并得到基类平均精度和新类平均精度；第二组实验(表1中用“新类10个样本”表示第一组实验)选用实验数据集中选择所有类别进行测试，每类中各取10个不同于第一组的样本得到数据并计算得到基类平均精度和新类平均精度。在本实验中，还用五组对照实验计算新类平均精度，计算的具体结果如表2，其中，第三组实验选用实验数据集中选择所有新类进行测试，每类中各取1个样本得到数据并计算得到新类平均精度；第四组实验选用实验数据集中选择所有新类进行测试，每类中各取2个样本得到数据并计算得到新类平均精度，第五组实验选用实验数据集中选择所有新类进行测试，每类中各取3样本得到数据并计算得到新类平均精度，第
六组实验选用实验数据集中选择所有新类进行测试，每类中各取5样本得到数据并计算得到新类平均精度，第七组实验选用实验数据集中选择所有新类进行测试，每类中各取10本得到数据并计算得到新类平均精度，每组中的样本均不与其余组中使用的样本相同，在表2中用1、2、3、5、10对应列依次代表第三组实验、第四组实验、第五组实验、第六组实验、第七组实验；在表2中“方法”所在的列的每一行代表一种方法训练得到的目标检测模型。需要说明的是，平均精度的计算过程是本领域公知此处不在赘述；表1和表2中，frtn表示本发明提供的训练方法得到最终的小样本目标检测模型，其余英文缩写，例如lstd、meta-yolo等表示对应现有方法训练得到的模型，此处不在过多赘述。
[0069]
由表1可知，本发明得到最终的小样本目标检测模型在第一组实验中的基类平均精度为75.0，新类平均精度为61.4；本发明得到最终的小样本目标检测模型在第二组实验中的基类平均精度为79.5，新类平均精度为71.3，说明本发明提供一种小样本目标检测模型的训练方法得到的最终的小样本目标检测模型可以保持基类平均精度也即是减少了对基类学习遗忘的问题(学习遗忘指在学习的过程中对基类的分类检测能力下降)。
[0070]
表1
[0071][0072]
表2
[0073][0074]
由表2可知，本发明得到最终的小样本目标检测模型在第七组实验中的新类平均精度为71.3大于其他现有方法得到模型的新类平均精度，说明本发明提供的一种小样本目标检测模型的训练方法通过新类检测分类精度的提升，提高了本发明方法得到最终的小样本目标检测模型对于小样本类别的目标定位能力。
[0075]
综上所述，本发明针对小样本类别(例如物体、动物脸检等目标类别)检测问题，通过引入检测框位置回归调整模块用作回归分支以预测目标检测框位置，并基于支撑集所有样本的目标检测框位置标签和预测目标检测框位置计算支撑集所有样本的目标检测框位置回归损失，再基于回归损失调节检测框位置回归调整模块的参数，由此来提高小样本目标检测任务中对目标的定位能力。本发明还引入关系注意力模块基于支撑集中每个样本的原始特征和训练集中每个样本的原始特征对支撑集中每个样本的原始特征进行增强处理以获得支撑集中每个样本的增强特征，类别分类模块基于支撑集中每个样本的增强特征进行类别分类预测，并基于支撑集中所有样本的预测分类和类别标签计算支撑集的类别分类损失，再基于类别分类损失调节训练模型的参数这样使得最终的小样本目标检测模型可以在拥有对小样本类别的识别能力的同时，保留了基类的学习知识，解决了现有模型对基类存在学习遗忘问题以及提升了最终的小样本目标检测模型对背景的感知能力，从而提高模型对小样本类别目标的识别能力。
[0076]
需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。
[0077]
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
[0078]
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
[0079]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。