基于深度学习的边框回归的端到端弱监督目标检测方法与流程

本发明涉及深度学习目标检测以及人工智能领域，具体地说是一种基于深度学习的边框回归的端到端弱监督目标检测方法。

背景技术：

目标检测是基于计算机视觉的基本问题，在医疗诊断，安防监控以及无人驾驶方面有着巨大的作用。同时随着机器学习的飞速发展，硬件领域也有了巨大的提升，近年来涌现了许多优秀的目标检测模型。然而目前的性能好的目标检测模型基本上都是含有包围框的精细标注图片作为目标检测监督的条件的全监督目标检测。这需要花费大量的人力物力，对图片进行精细的边框标注。但是边框的标注信息也有许多缺点。第一：大量的边框标注信息提高了目标检测的人力成本，第二：人为标注的边框信息存在误差和错误，这些误差和错误被作为监督条件来监督训练目标检测模型，会带来不准确的监督。

由于全监督目标检测需要花费大量的成本，以及会产生不必要的错误和误差，弱监督模型就被推广出来，由于弱监督模型的监督条件只有图片上物体的类别信息，而并没有边框信息，所以节省了大量的边框标注的成本。但是由于缺少边框信息作为监督条件，弱监督目标检测的性能要比全监督目标检测的性能低。

弱监督目标检测研究都是通过先训练一个弱监督卷积网络模型，由训练完成的弱监督目标检测模型生成伪标注边框，用伪标注边框来监督训练一个全监督的神经卷积网络模型。从而提高目标检测模型的精度。

然而这是一个两个步骤的卷积神经网络模型，不是端到端的一步的卷积神经网络。目标检测网络模型的第一个部分是：没有边框标注信息训练的弱监督模型。第二个部分是：利用第一部分的弱监督网络生成伪边框标注信息进而训练一个全监督网络模型。两个步骤的卷积神经网络模型，增加了目标检测的时间，降低了目标检测的效率。

技术实现要素：

本发明所要解决的技术问题是：提出一种基于深度学习的边框回归的端到端弱监督目标检测方法，从而提高弱监督目标检测的精度，以及降低弱监督目标检测的时间，提升目标检测的效率。

针对上述实际情况，提出一种基于深度学习的边框回归的端到端弱监督目标检测方法，在弱监督卷积神经网络中，经过卷积层，选择性搜索的边框经过特征图进行金字塔池化层和两个全连接层后输出预测边框的特征向量，后面再接一个全连接层和类别上的softmax层。最后输出选择性搜索框中的对应每个物体类的预测分数。选择每个类的得分最高的框最为这个类的伪标注边框。

利用每个类别的检测出的最高分数的边框作为伪标注边框对弱监督模型预测出的物体框进行回归，从而产生回归损失函数，回归损失函数和弱监督模型的分类以及定位损失函数共同组成新的损失函数监督弱监督检测模型。提高弱监督检测模型的精度，减少了弱监督检测的时间。具体包括以下步骤：

步骤(1)训练数据集的准备阶段；

在目标检测中，用pascalvoc2007以及pascalvoc2012数据集作为训练数据集，训练数据集中包括20种物体类别，pascalvoc2007一共有9963张图片，其中有训练数据集5011张图片，测试数据集有4952张图片。pascalvoc2012数据集一共有22531张图片，其中训练数据集11540张图片，测试数据集有10991张图片。

其中除了图片信息外还有每张图片含有的物体类别信息。

步骤(2)每张图片的特征图的获取以及网络模型结构；

弱监督卷积神经网络的模型结构：图片先经过卷积层得到卷积特征图ⅰ，选择性搜索边框经过金字塔池化层得到每个选择性搜索框的卷积特征图ⅱ，卷积特征图ⅱ再经过两层全连接层得到选择性搜索框的特征向量，特征向量分别经过一个全连接层之后，一个在物体类别方向连接softmax层，一个在选择性搜索框的方向连接softmax层，两个特征向量进行数量积相乘，得到每个是选择性搜索框在每个类别上的得分。

步骤(3)实例分类器提炼网络：

为了提高弱监督网络模型的检测精度，步骤2中得到选择性搜索框的特征向量之后增加实例分类器提炼网络，网络由一个全连接层和物体类别方向的softmax层得到每个选择性搜索框的对应每个类别的分数矩阵。

同理为了提高弱监督网络模型的检测精度，步骤2中得到选择性搜索框的特征向量之后增加边框回归网络，边框回归网络由一个全连接层和物体类别方向的softmax层得到每个选择性搜索框的对应每个类别的预测框的参数矩阵。

如图2所示，采用同样的方法，分别得到三个实例分类器提炼网络和一个边框回归网络，四个网络相互迭代训练，上一个网络监督下一个网络的参数调节。

边框回归网络将选择性搜索的框分数最高的作为伪标注框，利用这个伪标注框训练弱监督检测器。进行再没有物体框标注的条件下对弱监督模型进行边框回归。

步骤(4)弱监督模型的损失函数的设置，分类器提炼网络的损失函数为交叉熵损失函数，入公式(1)所示。

φ是选择性搜索框的权重之和属于(0,1)之间。表示图像存在或者不存在物体c，当存在时等于1，不存在时等于0。c表示物体种类数目，数据集中有20个类。

分类器提炼网络的损失函数由三个损失函数组成，因为实例分类器网络有三条分支，每个分支损失函数相同，第k个网络的损失函数如公式(2)所示。

其中，表示第n个类的边框束的置信分数，表示第n个类的边框束的边界框的个数，表示第r个预测框的预测分数，表示第r个框属于第n个边框束，表示第r个框属于背景的概率。

边框回归网络的损失函数，为smooth_l1_loss损失函数。

步骤(5)迭代训练模型，得到模型结果。由上述步骤可以得到弱监督目标检测模型的训练结果，在训练的过程中我们经过迭代训练，训练20个epoch，每个epoch迭代一万张图片，每个epoch存储一个训练的模型，k个实例分类器提炼模型，其中第k个实例分类器提炼网络输出权重给第k+1个实例分类器提炼网络，监督第k+1个实例分类器网络进行训练。

步骤(6)测试弱监督目标检测器的模型结果，其中有两个重要的指标平均正确率：map与定位正确率corloc,其中map是对于测试集的目标检测精度，corloc是对于训练集的目标定位精度。我们的实验结果在弱监督目标检测模型上达到了端到端的map最好的性能和定位准确率corloc最好的性能。

本发明的有益效果：

本发明所述的方法是一个基于深度学习的边框回归的端到端弱监督目标检测方法，本方法是一个端到端的弱监督目标检测模型，而不是两个步骤的弱监督加全监督网络模型。提出了更简洁的网络结构，减少了检测时间，提高了目标检测的效率，本方法第一次加入了边框回归网络模型，在没有物体边框作监督的条件下，利用边框回归网络产生伪标注框进行边框回归，极大的提升了弱监督目标检测精度。

附图说明

图1为本发明的弱监督目标检测网络的实现步骤流程图

图2为本发明弱监督目标检测网络的网络结构示意图

具体实施方式

以下结合附图及实施例，对本发明进行进一步的详细说明。

本发明提出的一种基于深度学习的边框回归的端到端弱监督目标检测方法，通过引入伪标注框作为弱监督目标检测网络的监督条件，以此引入边框回归网络结构，从而将两个步骤的弱监督检测模型简化为一个端到端的网络模型结构，不仅简化了网络模型。减少了弱监督目标检测的时间，而且通过进入边框回归网络以及边框回归损失函数，增加了模型的检测精度。提升了弱监督目标检测网络的效率。弱监督目标检测网络的实现步骤流程图如图1所示。本发明所述方法包括以下步骤：

步骤(1)训练数据集的准备阶段，如图1所示。在目标检测中我们用的是pascalvoc2007以及pascalvoc2012数据集作为我们的训练数据集，训练数据集中包括20种物体类别，pascalvoc2007一共有9963张图片，其中有训练数据集5011张图片，测试数据集有4952张图片。pascalvoc2012数据集一共有22531张图片，其中训练数据集11540张图片，测试数据集有10991张图片。其中除了图片信息外还有每张图片含有的物体类别信息。

步骤(2)每张图片的特征图的获取以及网络模型结构，弱监督卷积神经网络的模型结构是图片先经过卷积层得到卷积特征图，选择性搜索边框经过金字塔池化层得到每个选择性搜索框的卷积特征图，这些卷积特征图经过两层全连接层得到选择性搜索框的特征向量，特征向量分别经过一个全连接层之后，一个在物体类别方向连接softmax层如图2弱监督目标检测网络的网络结构示意图所示，一个在选择性搜索框的方向连接softmax层，两个向量进行数量积相乘，得到每个是选择性搜索框在每个类别上的得分即图2中的框分数。

步骤(3)实例分类器提炼网络，为了提高弱监督网络模型的检测精度，步骤2中得到选择性搜索框的特征向量之后增加实例分类器提炼网络如图2所示，网络由一个全连接层和物体类别方向的softmax层得到每个选择性搜索框的对应每个类别的分数矩阵。

采用同样的方法，分别得到三个实例分类器提炼网络和一个边框回归网络，每个网络相互迭代训练，上一个网络监督下一个网络的参数调节如图1中实例分类器网络所示有k层。

边框回归网络将选择性搜索的框分数最高的作为伪标注框如图2所示，利用这个伪标注框训练弱监督检测器。进行在没有物体框标注的条件下对弱监督模型进行边框回归，产生边框回归网络损失函数如图1所示。

步骤(4)弱监督模型的损失函数的设置，多实例检测网络的损失函数为交叉熵损失函数，如公式(1)所示。

φ是选择性搜索框的权重之和属于(0,1)之间。表示图像存在或者不存在物体c，当存在时等于1，不存在时等于0。c表示物体种类数目，数据集中有20个类。

实例分类器网络损失函数由三个损失函数组成，因为实力分类器网络有三条分支，每个分支损失函数相同，第k个网络的损失函数如公式(2)所示。

表示第n个类的边框束的置信分数，表示第n个类的边框束的边界框的个数，表示第r个预测框的预测分数，表示第r个框属于第n个边框束，表示第r个框属于背景的概率。

边框回归网络的损失函数，为smooth_l1_loss损失函数。

步骤(5)迭代训练模型，得到模型结果。由上述步骤可以得到弱监督目标检测模型的训练结果，在训练的过程中我们经过迭代训练，训练20个epoch，每个epoch迭代一万张图片，每个epoch存储一个训练的模型，k个实例分类器提炼模型，其中第k个实例分类器提炼网络输出权重给第k+1个实例分类器提炼网络，监督第k+1个实例分类器网络进行训练如图2所示。

步骤(6)测试弱监督目标检测器的模型结果，其中有两个重要的指标平均正确率：map,与定位正确率:corloc,其中map是对于测试集的目标检测精度，corloc是对于训练集的目标定位精度，我们的实验结果在弱监督目标检测模型上达到了端到端的map最好的性能和定位准确率corloc最好的性能。