一种分类器热启动训练机制下的小样本目标检测方法与流程

[0001]
本发明涉及一种分类器热启动训练机制的小样本目标检测方法，属于目标检测技术领域。


背景技术：

[0002]
当前基于深度学习的目标检测算法有很多，例如faster rcnn(faster region-basedconvolutional network)，ssd(single shot multibox detector)，yolo(you only look once) 等。训练深度神经网络需要大量的有标签的训练样本，基于有监督学习的深度学习方法严重依赖于样本标签的准确性。大量的标签标注工作要求大量的人力成本和时间成本，通常情况下，针对特定任务无法获取足够的带有标注的训练样本，深度神经网络无法得到足够的训练，这就导致网络性能的恶化。
[0003]
近几年研究人员开始对小样本学习进行研究，开发出很多小样本的图像分类方法，但是小样本目标检测方法仍然很少而且效果不佳。小样本迁移检测器(chen h,wang y,wang g,etal.lstd:a low-shot transfer detector for object detection[eb/ol]. https://arxiv.org/pdf/1803.01529.pdf,2018-3-5)是一个完整的小样本目标检测方案，本质上属于二阶段目标检测框架，其区域提议网络的似物性检测性能直接影响了分类器网络的性能，采用传统的端到端训练方式很难让分类器得到充分训练，导致分类的效果无法满足任务要求。此外，该网络使用了背景抑制正则项，以降低网络在小样本数据上过拟合的问题，引入了过多冗余参数，导致训练时间变长，这对一些特殊、紧急的任务非常不利。


技术实现要素：

[0004]
技术问题：
[0005]
深度目标检测的训练需要大量的有标注样本，但标注工作费时费力，而且某些任务无法在短时间内获取到足够的标注样本的，需要在小样本条件下进行目标检测。现有的目标检测方法要求大量的有标注样本作为监督，通过大量样本的训练提高模型的泛化能力，然而大量的样本标注意味着昂贵的成本，这并不能满足一些特殊任务以及一些紧急任务的要求。
[0006]
技术方案：
[0007]
本发明提供一种使用分类器热启动训练机制的小样本目标检测方法，包括以下步骤：
[0008]
步骤(1)：读入源域数据集中的图像数据，通过一系列卷积层操作对图像数据进行特征提取，完成源域数据集中图像的似物性检测以及分类器输入所需的特征提取；
[0009]
步骤(2)：训练源域网络；
[0010]
步骤(3)：使用源域网络的参数对目标域网络的参数初始化，目标域网络的分类器输出层参数以及生成式蒙版背景抑制正则项模块均采用随机初始化，生成式蒙版背景抑制正则项模块是对特征提取网络的中间层厚特征图进行统计特征提取而得到的；目标域网络
与源域网络通过一个源域网络的分类器构造出知识迁移结构；
[0011]
步骤(4)：设定目标域网络的分类器训练热启动条件；初始阶段让目标域网络的分类器部分不参与训练，仅对目标域网络的区域提议网络和生成式蒙版背景抑制正则项进行训练；
[0012]
步骤(5)：读入目标域数据集中的图像数据并提取图像特征；
[0013]
步骤(6)：训练目标域网络的区域提议网络，直到训练满足目标域网络的分类器训练热启动条件；
[0014]
步骤(7)：激活目标域网络的分类器的训练；将读入的图像数据分别输入给源域网络和目标域网络，让目标域网络在目标域数据集上进行微调，同时学习到目标域数据的真实标签信息以及来自于源域网络的知识信息，重复迭代训练得到检测模型；
[0015]
步骤(8)：进行目标检测；仅保留目标域网络的区域提议网络以及分类器网络；先对输入图像数据进行似物性检测，将似物性检测网络生成的区域输入到分类器网络中预测每个预测框的类别概率，然后进行非极大值抑制操作，最后输出检测结果。
[0016]
在本发明的一种实施方式中，所述步骤(1)中，似物性检测网络输出若干个区域，对这些区域的似物性概率从大到小排序，然后取前1000个似物性概率区域，其他的区域丢弃；设置似物性检测网络应提出1000个似物性分数最高的区域。
[0017]
在本发明的一种实施方式中，所述步骤(1)中，分类器包含感兴趣区域池化层、卷积层以及全连接层，将似物性检测网络生成的1000个区域固定到相同尺寸，对这些特征图进一步地提取特征，进行分类训练与检测。
[0018]
在本发明的一种实施方式中，所述步骤(2)中，设置网络批量数为16，设置网络学习率为0.0005，动量为0.9，权重衰减正则项为0.0001，网络学习率在迭代次数达到5000和8000 时衰减10倍，最大迭代次数为13000。
[0019]
在本发明的一种实施方式中，步骤(3)中，目标域网络的分类器输出层参数与生成式蒙版抑制正则项使用xavier方法随机初始化。
[0020]
在本发明的一种实施方式中，步骤(3)中，生成式蒙版背景抑制正则项模块是对特征提取网络的中间层厚特征图进行统计特征提取，得到厚特征图的最小值矩阵、最大值矩阵、平均值矩阵以及方差矩阵，将四个矩阵叠成四通道的薄特征图，通过自动编码器的重建，与真实的蒙版做二分类交叉熵损失，将该损失作为正则项模块的结果。
[0021]
在本发明的一种实施方式中，步骤(4)中，当满足似物性检测网络训练超过200个步长或者满足似物性检测网络的损失值收敛到10，即被认定为达到分类器训练的热启动条件。
[0022]
在本发明的一种实施方式中，步骤(5)中，包括：设置似物性检测网络应提出1000个似物性分数最高的区域；分类器包含感兴趣区域池化层、卷积层以及全连接层，将似物性检测网络生成的1000个区域固定到相同尺寸，对这些特征图进一步地提取特征，进行分类训练与检测；其中分类器的全连接层采用leakyrelu激活函数。
[0023]
在本发明的一种实施方式中，步骤(6)中，设置网络学习率为0.0005，动量为0.9，权重衰减正则项为0.0001。
[0024]
在本发明的一种实施方式中，步骤(7)中，包括：设置网络学习率为0.0005，动量为0.9，权重衰减正则项为0.0001，网络学习率在迭代次数达到500和1000时衰减10倍，最大迭
代次数为2000；目标域网络进行参数更新，源域网络不进行参数更新。
[0025]
有益效果：
[0026]
本发明提供了一种使用分类器热启动训练机制的小样本目标检测方法，提出了生成式蒙版背景抑制正则项以及分类器热启动训练机制，加快网络收敛，提高检测精度，能够满足一些紧急任务快速上线的要求，实现在小样本条件下能够快速地训练出一个检测效果良好的目标检测器。
[0027]
(1)本发明的方法在检测精度上，可以达到59.11％，高于lstd的0.4081。
[0028]
(2)本发明的方法在训练所需时间上，只需花费40分钟，低于lstd所需的73分钟，可以满足一些任务需要紧急上线的需要。
[0029]
(3)本发明的方法得到的模型大小仅有101mb，模型对于计算机内存需求较低，能够节约成本。
附图说明
[0030]
图1为生成式蒙版背景抑制正则项结构图。
[0031]
图2为网络的整体架构图。
[0032]
图3为lstd网络在小样本数据集中的熊类的检测结果。
[0033]
图4为实施例2在小样本数据集中的熊类的检测结果。
[0034]
图5为lstd网络在小样本数据集中的卡车类的检测结果。
[0035]
图6为实施例3在小样本数据集中的卡车类的检测结果。
具体实施方式
[0036]
下面结合附图所示的各实施方式对本发明进行详细说明。
[0037]
实施例1
[0038]
如图1所示，本实施例提供的一种使用分类器热启动训练机制的小样本目标检测方法的生成式蒙版背景抑制正则项结构图；如图2所示，为本实施例提供的一种使用分类器热启动训练机制的小样本目标检测方法的网络整理架构图。所述方法包括：
[0039]
a.1、读入源域数据集中的图像数据并提取目标数据特征；本实施例用公开的 pascal2007数据集作为源域数据集；首先将读入的图像数据分辨率调整到300*300并对其归一化，通过一系列卷积层操作对图像进行特征提取，完成源于数据集中图像的似物性检测以及分类器输入所需的特征提取。
[0040]
所述步骤a.1包括：
[0041]
(1)源域数据集所包含样本数量应尽可能大，边框信息尽可能丰富，目标物体的类别应与目标域小样本有一定的相似性；
[0042]
(2)似物性检测网络为区域提议网络，似物性检测网络输出若干个区域，对这些区域的似物性概率从大到小排序，然后取前1000个似物性概率区域，其他的区域就丢弃，认为这些区域不是要检测的物体；设置似物性检测网络应提出1000个似物性分数最高的区域；
[0043]
(3)分类器包含感兴趣区域池化层、卷积层以及全连接层，将似物性检测网络生成的 1000个区域固定到相同尺寸，对这些特征图进一步地提取特征，进行分类训练与检测。其中分类器的全连接层采用leakyrelu激活函数。
[0044]
b.1、训练源域网络：设置网络批量数为16，即训练网络的时候一次性输入给网络16张图像样本，重复迭代训练得到源域网络。
[0045]
所述步骤b.1包括：
[0046]
(1)设置网络学习率为0.0005，动量为0.9，权重衰减正则项为0.0001，网络学习率在迭代次数达到5000和8000时衰减10倍，最大迭代次数为13000。
[0047]
c.1、构造知识迁移网络：
[0048]
使用源域网络的参数对目标域网络的参数初始化，目标域网络的分类器输出层参数以及生成式蒙版背景抑制正则项采用随机初始化，目标域网络与源域网络通过一个源域网络的分类器构造出知识迁移结构；
[0049]
所述步骤c.1包括：
[0050]
(1)目标域网络的分类器输出层参数与生成式蒙版抑制正则项使用xavier方法随机初始化；
[0051]
(2)生成式蒙版背景抑制正则项模块是对特征提取网络的中间层厚特征图进行统计特征提取，得到厚特征图的最小值矩阵、最大值矩阵、平均值矩阵以及方差矩阵，将四个矩阵叠成四通道的薄特征图，通过自动编码器的重建，与真实的蒙版做二分类交叉熵损失，将该损失作为正则项模块的结果，这样做可以大幅度降低正则项的参数量，加快网络的训练；
[0052]
(3)知识迁移结构是让目标域网络的似物性检测网络后面同时连接一个来自于源域网络的分类器，该分类器输出尺寸与源域网络的分类器输出可以适配，因此称该分类器为适配器，可以通过该适配器将源域网络的知识迁移到目标域网络中来。
[0053]
d.1、设定目标域网络的分类器的训练热启动条件，初始阶段让目标域网络的分类器部分不参与训练，仅对目标域网络的区域提议网络和生成式蒙版背景抑制正则项进行训练。
[0054]
所述步骤d.1包括：
[0055]
(1)当满足似物性检测网络训练超过200个步长或者满足似物性检测网络的损失值收敛到10，即被认定为达到分类器训练的热启动条件。
[0056]
e.1、读入目标域数据集中的图像数据并提取目标数据特征：首先将读入的图像数据分辨率调整到300*300并对其归一化，通过目标域网络进行似物性检测。
[0057]
所述步骤e.1包括：
[0058]
(1)设置似物性检测网络应提出1000个似物性分数最高的区域；
[0059]
(2)分类器包含感兴趣区域池化层、卷积层以及全连接层，将似物性检测网络生成的 1000个区域固定到相同尺寸，对这些特征图进一步地提取特征，进行分类训练与检测。其中分类器的全连接层采用leakyrelu激活函数。
[0060]
f.1、训练目标域网络的区域提议网络：设置网络批量数为5，重复迭代训练，直到训练满足设定好的分类器训练热启动条件。
[0061]
所述步骤f.1包括：
[0062]
(1)设置网络学习率为0.0005，动量为0.9，权重衰减正则项为0.0001。
[0063]
g.1、激活分类器的训练：激活目标域网络的分类器训练，将读入的图像数据分别输入给源域网络和目标域网络，让目标域网络在目标域数据集上进行微调，同时学习到目
标域数据的真实标签信息以及来自于源域网络的知识信息，重复迭代训练得到检测模型。
[0064]
所述步骤g.1包括：
[0065]
(1)设置网络学习率为0.0005，动量为0.9，权重衰减正则项为0.0001，网络学习率在迭代次数达到500和1000时衰减10倍，最大迭代次数为2000；
[0066]
(2)目标域网络进行参数更新，源域网络不进行参数更新。
[0067]
h.1、进行目标检测：仅保留目标域网络的区域提议网络以及分类器网络，先对输入数据进行似物性检测，将似物性检测网络生成的1000个区域输入到分类器网络中预测每个预测框的类别概率，然后进行非极大值抑制操作，最后输出检测结果。
[0068]
所述步骤h.1包括：
[0069]
(1)似物性检测网络生成的1000个区域，为似物性检测网络提出的1000个似物性分数最高的区域；
[0070]
(2)设定非极大值抑制的阈值为0.45。
[0071]
实施例2
[0072]
本实施例是在小样本数据集上对于熊类检测的过程和结果。具体步骤如下：
[0073]
a.1、读入源域数据集中的图像数据并提取目标数据特征：首先将读入的图像数据分辨率调整到300*300并对其归一化，通过一系列卷积层进行特征提取，完成似物性检测以及分类器特征提取。
[0074]
所述步骤a.1包括：
[0075]
(1)源域数据集所包含样本数量应尽可能大，边框信息尽可能丰富，目标物体的类别应与目标域熊类有一定的相似性；
[0076]
(2)似物性检测网络就是区域提议网络，设置似物性检测网络应提出1000个似物性分数最高的区域；
[0077]
(3)分类器包含感兴趣区域池化层、卷积层以及全连接层，将似物性检测网络生成的 1000个区域固定到相同尺寸，对这些特征图进一步地提取特征，进行分类训练与检测。其中分类器的全连接层采用leakyrelu激活函数。
[0078]
b.1、训练源域网络：设置网络批量数为16，重复迭代训练得到源域网络。
[0079]
所述步骤b.1包括：
[0080]
(1)设置网络学习率为0.0005，动量为0.9，权重衰减正则项为0.0001，网络学习率在迭代次数达到5000和8000时衰减10倍，最大迭代次数为13000。
[0081]
c.1、构造知识迁移网络：
[0082]
使用源域网络参数对目标域网络参数初始化，目标域网络的分类器输出层参数以及生成式蒙版背景抑制正则项采用随机初始化，目标域网络与源域网络通过一个源域网络的分类器构造出知识迁移结构；
[0083]
所述步骤c.1包括：
[0084]
(1)目标域网络的分类器输出层参数与生成式蒙版抑制正则项使用xavier方法随机初始化；
[0085]
(2)生成式蒙版背景抑制正则项模块是对特征提取网络的中间层厚特征图进行统计特征提取，得到厚特征图的最小值矩阵、最大值矩阵、平均值矩阵以及方差矩阵，将四个矩阵叠成四通道的薄特征图，通过自动编码器的重建，与真实的蒙版做二分类交叉熵损失，
将该损失作为正则项的结果，这样做可以大幅度降低正则项的参数量，加快网络的训练；
[0086]
(3)知识迁移结构是让目标域网络的似物性检测网络后面同时连接一个来自于源域网络的分类器，该分类器输出尺寸与源域网络的分类器输出可以适配，因此称该分类器为适配器，可以通过该适配器将源域网络的知识迁移到目标域网络中来。
[0087]
d.1、设定分类器训练热启动条件，初始阶段让目标域网络的分类器部分不参与训练，仅对目标域网络的区域提议网络和生成式蒙版背景抑制正则项进行训练。
[0088]
所述步骤d.1包括：
[0089]
(1)当满足似物性检测网络训练超过200个步长或者满足似物性检测网络的损失值收敛到10，即被认定为达到分类器训练的热启动条件。
[0090]
e.1、读入目标域数据集中的不同场景下的熊的图像数据并提取目标数据特征：首先将读入的图像数据分辨率调整到300*300并对其归一化，通过目标域网络进行似物性检测。
[0091]
所述步骤e.1包括：
[0092]
(1)设置似物性检测网络应提出1000个似物性分数最高的区域；
[0093]
(2)分类器包含感兴趣区域池化层、卷积层以及全连接层，将似物性检测网络生成的 1000个区域固定到相同尺寸，对这些特征图进一步地提取特征，进行分类训练与检测。其中分类器的全连接层采用leakyrelu激活函数。
[0094]
f.1、训练目标域网络的区域提议网络：设置网络批量数为5，重复迭代训练，直到训练满足设定好的分类器训练热启动条件。
[0095]
所述步骤f.1包括：
[0096]
(1)设置网络学习率为0.0005，动量为0.9，权重衰减正则项为0.0001。
[0097]
g.1、激活分类器的训练：激活目标域网络的分类器训练，将读入的图像数据分别输入给源域网络和目标域网络，让目标域网络在目标域数据集上进行微调，同时学习到目标域数据的真实标签信息以及来自于源域网络的知识信息，重复迭代训练得到检测模型。
[0098]
所述步骤g.1包括：
[0099]
(1)设置网络学习率为0.0005，动量为0.9，权重衰减正则项为0.0001，网络学习率在迭代次数达到500和1000时衰减10倍，最大迭代次数为2000；
[0100]
(2)目标域网络进行参数更新，源域网络不进行参数更新。
[0101]
h.1、进行目标检测：仅保留目标域网络的区域提议网络以及分类器网络，先对输入数据进行似物性检测，将似物性检测网络生成的1000个区域输入到分类器网络中预测每个预测框的类别概率，然后进行非极大值抑制操作，最后输出检测结果。
[0102]
所述步骤h.1包括：
[0103]
(1)似物性检测网络生成的1000个区域，为似物性检测网络提出的1000个似物性分数最高的区域；
[0104]
(2)设定非极大值抑制的阈值为0.45。
[0105]
图3为lstd网络在小样本数据集检测任务的检测结果，由图像可知lstd网络出现了误检的情况，其检测熊类的精度为45.48％。
[0106]
图4为实施例2在小样本数据集检测任务的检测结果，能够很好的检测出图像中的熊类并定位。本发明检测熊的精度为51.52％，相较于lstd，检测精度提高了6.04％。
[0107]
实施例3
[0108]
本实施例是在小样本数据集上对于卡车类检测的过程和结果。具体步骤如下：
[0109]
a.1、读入源域数据集中的图像数据并提取目标数据特征：首先将读入的图像数据分辨率调整到300*300并对其归一化，通过一系列卷积层进行特征提取，完成似物性检测以及分类器特征提取。
[0110]
所述步骤a.1包括：
[0111]
(1)源域数据集所包含样本数量应尽可能大，边框信息尽可能丰富，目标物体的类别应与目标域卡车类有一定的相似性；
[0112]
(2)似物性检测网络就是区域提议网络，设置似物性检测网络应提出1000个似物性分数最高的区域；
[0113]
(3)分类器包含感兴趣区域池化层、卷积层以及全连接层，将似物性检测网络生成的 1000个区域固定到相同尺寸，对这些特征图进一步地提取特征，进行分类训练与检测。其中分类器的全连接层采用leakyrelu激活函数。
[0114]
b.1、训练源域网络：设置网络批量数为16，重复迭代训练得到源域网络。
[0115]
所述步骤b.1包括：
[0116]
(1)设置网络学习率为0.0005，动量为0.9，权重衰减正则项为0.0001，网络学习率在迭代次数达到5000和8000时衰减10倍，最大迭代次数为13000。
[0117]
c.1、构造知识迁移网络：
[0118]
使用源域网络参数对目标域网络参数初始化，目标域网络的分类器输出层参数以及生成式蒙版背景抑制正则项采用随机初始化，目标域网络与源域网络通过一个源域网络的分类器构造出知识迁移结构；
[0119]
所述步骤c.1包括：
[0120]
(1)目标域网络的分类器输出层参数与生成式蒙版抑制正则项使用xavier方法随机初始化；
[0121]
(2)生成式蒙版背景抑制正则项模块是对特征提取网络的中间层厚特征图进行统计特征提取，得到厚特征图的最小值矩阵、最大值矩阵、平均值矩阵以及方差矩阵，将四个矩阵叠成四通道的薄特征图，通过自动编码器的重建，与真实的蒙版做二分类交叉熵损失，将该损失作为正则项的结果，这样做可以大幅度降低正则项的参数量，加快网络的训练；
[0122]
(3)知识迁移结构是让目标域网络的似物性检测网络后面同时连接一个来自于源域网络的分类器，该分类器输出尺寸与源域网络的分类器输出可以适配，因此称该分类器为适配器，可以通过该适配器将源域网络的知识迁移到目标域网络中来。
[0123]
d.1、设定分类器训练热启动条件，初始阶段让目标域网络的分类器部分不参与训练，仅对目标域网络的区域提议网络和生成式蒙版背景抑制正则项进行训练。
[0124]
所述步骤d.1包括：
[0125]
(1)当满足似物性检测网络训练超过200个步长或者满足似物性检测网络的损失值收敛到10，即被认定为达到分类器训练的热启动条件；
[0126]
e.1、读入目标域数据集中的不同场景下的卡车的图像数据并提取目标数据特征：首先将读入的图像数据分辨率调整到300*300并对其归一化，通过目标域网络进行似物性检测。
[0127]
所述步骤e.1包括：
[0128]
(1)设置似物性检测网络应提出1000个似物性分数最高的区域；
[0129]
(2)分类器包含感兴趣区域池化层、卷积层以及全连接层，将似物性检测网络生成的 1000个区域固定到相同尺寸，对这些特征图进一步地提取特征，进行分类训练与检测。其中分类器的全连接层采用leakyrelu激活函数。
[0130]
f.1、训练目标域网络的区域提议网络：设置网络批量数为5，重复迭代训练，直到训练满足设定好的分类器训练热启动条件。
[0131]
所述步骤f.1包括：
[0132]
(1)设置网络学习率为0.0005，动量为0.9，权重衰减正则项为0.0001。
[0133]
g.1、激活分类器的训练：激活目标域网络的分类器训练，将读入的图像数据分别输入给源域网络和目标域网络，让目标域网络在目标域数据集上进行微调，同时学习到目标域数据的真实标签信息以及来自于源域网络的知识信息，重复迭代训练得到检测模型。
[0134]
所述步骤g.1包括：
[0135]
(1)设置网络学习率为0.0005，动量为0.9，权重衰减正则项为0.0001，网络学习率在迭代次数达到500和1000时衰减10倍，最大迭代次数为2000；
[0136]
(2)目标域网络进行参数更新，源域网络不进行参数更新。
[0137]
h.1、进行目标检测：仅保留目标域网络的区域提议网络以及分类器网络，先对输入数据进行似物性检测，将似物性检测网络生成的1000个区域输入到分类器网络中预测每个预测框的类别概率，然后进行非极大值抑制操作，最后输出检测结果。
[0138]
所述步骤h.1包括：
[0139]
(1)似物性检测网络生成的1000个区域，为似物性检测网络提出的1000个似物性分数最高的区域；
[0140]
(2)设定非极大值抑制的阈值为0.45。
[0141]
图5为lstd网络在小样本数据集检测任务的检测结果，由图像可知lstd网络没能将两辆卡车独立地检测出来，其检测卡车类的精度为69.89％。
[0142]
图6为实施例3在小样本数据集检测任务的检测结果，能够非常有效地检测出两辆卡车并定位。本发明检测卡车的精度为92.06％，相较于lstd，检测精度提高了22.17％。
[0143]
本发明的保护范围并不仅局限于上述实施例，凡是在本发明构思的精神和原则之内，本领域的专业人员能够做出的任何修改、等同替换和改进等均应包含在本发明的保护范围之内。