基于深度学习的低对比度图像中弱目标检测方法及装置与流程

本发明涉及一种基于深度学习的低对比度图像中弱目标检测方法及装置，属于图像检测技术领域。

背景技术：

低对比度图像中的弱小目标检测问题一直是光学和图像处理领域的研究热点。可见光和红外传感器在监视预警系统中具有较强的生存能力，但是其作用距离也较短。在现代战争中，要求监视预警系统具有在远距离发现目标的能力。因此，研究一种具有实时性的低对比度弱小目标检测方法，对于提高监视告警系统的作用距离及反应速度具有十分重要的意义。另外，低对比度图像中的弱小目标检测方法还可应用于目标检测、光学遥感和夜间制导等民用领域，也可用于在军事领域，如边境侦查、热点跟踪等方面。

现有的弱目标检测方法大都基于水面、天空等简单的背景，且往往通过手工设计特征(如频域的频率特征、空域的像素相关特征、运动特征等)，对特定目标进行提取，达到目标检测的目的，只能针对单一特定场景，具有虚警率较高、易受噪声影响等缺点。

现有的弱小目标检测方法对于图像中具有各类干扰的复杂场景中存在以下问题：1)、存在检测虚警高；2)、实时性偏低；3)、运行速度慢，运行时间长，检测率低。

技术实现要素：

本发明针对现有技术存在的不足，提供了基于深度学习的低对比度图像中弱目标检测方法及装置，具体技术方案如下：

基于深度学习的低对比度图像中弱目标检测方法，包括如下步骤：

通过引入yolov2网络架构对目标数据进行处理和分类，结合低对比度下弱目标特点，使用k-means方法进行聚类，选取合适的建议框大小和数量，通过多尺度训练，让网络提取目标深层次的特征，再通过检测网络对目标进行检测。

作为上述技术方案的改进，在对目标数据特性进行分析过程中，首先对弱目标环境数据分布特性进行了分析，然后利用低对比度的红外和可见光图像作为训练数据。

作为上述技术方案的改进，在采用统计学习中的k-means聚类方法来自动选择最佳的初始boxes，通过对数据集中的真实目标框做聚类，找到其统计规律，采用iou来作为评价准则；通过计算候选框和每个anchorbox的最大iou来确定聚类中心的数量。

作为上述技术方案的改进，在多尺度训练过程中，当样本聚类完成后，首先使用基darknet-19的分类网络，分辨率改成448×448，在imagenet数据集上训练10轮，训练后的网络可以适应高分辨率的输入。

作为上述技术方案的改进，在多尺度训练过程中，对于检测模型的训练，模型的输入尺寸为416×416，检测模型由卷积层和池化层组成；在训练时，每隔10轮，模型随机选择一种新的输入图像尺寸，改变模型输入尺寸继续训练，以使模型对不同尺寸图像具有鲁棒性。

作为上述技术方案的改进，在多尺度训练过程中，通过改变训练参数进行了对比试验，通过改变以下四个参数：momentum，epoch，minibatchsize和learningrate，训练不同的模型，并对网络检测正确率进行测试，选择最优模型。

作为上述技术方案的改进，利用置信度模型目标检测完成检测任务，检测网络把输入图片分为13×13的网格，如果目标中心落入其中某一个网格，监测网络的输出为13×13的特征图，每一个特征点的位置对应于原图片的一个网格区域，通过选取置信度高的目标，网络可以输出目标的位置和大小，完成检测任务。

基于深度学习的低对比度图像中弱目标检测装置，其包括，

存储器，用于存储程序指令；

处理器，用于运行所述程序指令，以执行所述基于深度学习的低对比度图像中弱目标检测方法的步骤。

本发明的有益效果：

1)、采用基于深度学习的检测方法，通过深层网络训练，让其自动提取特征，打破了手工设计特征的局限性。由深层网络提取的特征对计算机来说更加符合目标的本质特征，相比传统方法可以极大提高检测率。

2)、采用yolov2网络原理，实现端到端的检测，相比于传统手段大大减少了运行时间，对小尺度物体的检测更加准确。

3)、本发明基于深度学习的低对比度图像中弱目标检测方法的准确性高。尤其是在复杂的地面环境下，可以对低对比度弱目标进行准确的检测。

4)、对于复杂地面环境下的低对比度弱目标检测具有良好的效果，在检测率和实时性方面都取得了较大的提升，达到了实时检测的标准。

5)、本发明可以提高监视预警系统的作用距离，对于增加作战反应时间、提高自身生存概率具有十分重要的意义。本发明在红外和可见光数据集上的测试显示，在低对比度成像条件下能够准确、实时的检测弱目标。

附图说明

图1为本发明所述可见光数据集中的图像以及目标放大图像；

图2为本发明所述红外数据集中的图像以及目标放大图像；

图3为本发明所述目标的灰度均值与整幅图像的灰度均值对比图；

图4为本发明所述目标的局部对比度图；

图5为所述基于深度学习的低对比度图像中弱目标检测方法的流程图；

图6为iou值与聚类数量的关系图；

图7为k-means聚类得到的anchorboxes维度图；

图8为包含各个角度的训练样本图像示例；

图9为检测结果示例。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

所述基于深度学习的低对比度图像中弱目标检测方法包括如下步骤：

通过引入yolov2网络架构对目标数据进行处理和分类，结合低对比度下弱目标特点，使用k-means方法进行聚类，选取合适的建议框大小和数量，通过多尺度训练，让网络提取目标深层次的特征，再通过检测网络对目标进行检测。

1.1目标数据特性分析

样本数据分析是机器学习中重要的一步，本实施例对实验图像进行了定性和定量分析。图1为可见光数据集中的图像以及目标放大图像，图2为红外数据集中的图像以及目标放大图像。可以看出目标只占整个图像很小的面积，且目标信号弱、背景复杂，有些背景的强度要比目标还要大。而且目标运动过程中还会受遮挡等因素的干扰，进一步加大了检测难度。

图1、2所用数据集及典型弱目标实例。图1是可见光图像数据集样本，

图2是红外图像数据集样本。

为进一步分析数据，在红外和可见光数据集中随机采样50帧图片，对目标图像进行统计特性分析。图3说明了目标灰度值与整幅图像平均灰度值的关系，可以看出两者之间的差异时很小的。也就是说，目标在整幅图像中并不显著。

图3是目标的灰度均值与整幅图像的灰度均值对比，图4是目标的局部对比度(40×40邻域)。为统计目标在图像局部的显著程度，我们对目标与背景的对比度进行了分析，目标与背景的对比度主要反应了目标强度与背景之间的差异。

对比度分析所用样本与图3相同，结果如图4所示。可以看出，所有样本的对比度均在0.3以下，85％以上的样本对比度小于0.2，超过60％的样本对比度小于0.1，因此待检测目标的检测难度十分大。传统的检测方法大都基于手工设计的特征，通过图1～4不难看出，由于目标的轮廓模糊不清、目标与邻域背景的对比度十分低，且背景是复杂的地面背景，很多干扰的强度均大于待检测目标。因此基于手工特征的方法的检测难度十分大，其往往难以正确分离出目标。

基于上述分析，采用基于深度学习的检测方法，通过深层网络训练，让其自动提取特征，打破了手工设计特征的局限性。由深层网络提取的特征对计算机来说更加符合目标的本质特征，相比传统方法可以极大提高检测率。

1.2关于yolov2网络的原理

yolov2是基于深度学习方法的端到端实时目标检测系统(yolo：实时快速目标检测)，是一个统一的目标检测和分类框架。yolov2将候选框提取、特征提取、目标分类、目标定位统一于一个深层神经网络中。该神经网络模型直接从特征图中提取候选区域，通过回归的思想直接预测目标的位置和概率，实现了端到端的检测。

yolov2使用了基于darknet的深度学习框架，使用的基础网络模型为darknet-19。该网络在模型中用与特征提取，包含19个卷积层、5个最大值池化层，使用了大量3×3卷积核，并且在每一次池化层后把通道数翻倍。网络使用了全局平均池化思想，使用1×1的卷积核用来压缩特征。使用卷积层降采样，当输入卷积网络的图片分辨率为416×416时，图片最终得到13×13的卷积特征图；当输入图片分辨率更高时，保持网络参数不变，其最终会得到更加细致的卷积特征图。提取出的更精确的特征可以提高对于小尺度目标的检测效果。网络中还加入了passthrough层，把高分辨率特征与低分辨率特征结合，因此网络提取出的特征包含了细粒度特征，对小尺度物体的检测更加准确。可以很好的保留的空间信息，最终特征图的每个特征点和原图的每个区域一一对应。我们设定每个网格预测9个建议框，那么当输入卷积网络的图片分辨率为416×416时，总共预测13×13×9＝1521个建议框，使网络更适合检测小目标。

本发明主要包含三个步骤：数据预处理、多层卷积层特征提取、置信度模型目标检测。本发明使用了自建的弱目标数据集训练检测网络模型，并用此模型完成弱目标检测的任务。图5说明了本文的网络结构及检测原理，一幅图像被分为13×13的网格，在此基础上进行建议框预测和分类，iou得分最高的建议框被保留，真实目标框用绿色表示，被分配的建议框用浅蓝色表示。

基于上述分析，采用yolov2网络原理，实现端到端的检测，相比于传统手段大大减少了运行时间，对小尺度物体的检测更加准确。

1.3目标维度聚类

基于深度学习的目标检测方法往往需要在训练前设定初始的目标维度。如果一开始就选择了更好的、更有代表性的维度，那么网络就更容易学到准确的预测位置，让模型更加容易收敛。

我们采用统计学习中的k-means聚类方法来自动选择最佳的初始boxes。通过对数据集中的真实目标框做聚类，找到其统计规律，采用iou来作为评价准则。

通过计算候选框和每个anchorbox的最大iou来确定聚类中心的数量。图6为iou值与聚类数量的关系，测试数据集与我们实验中所用的数据集相同。可以看出，随着聚类中心的数量增多，iou也在增大(高召回率)，但是复杂度也在增加；随着anchorboxes数量增加，预测网络中的卷积滤波器数量也会线性增加。例如聚类中心数量从5增加到10，则预测结果会由一个13×13×35的张量增加为13×13×70的张量。所以平衡复杂度和iou之后，最终得到centroids值为4，此时iou的值大于0.6。

通过k-means聚类计算得到的anchorboxes尺寸如图7所示。由于数据集中的目标都是车辆目标且具有固定的维度，聚类得出的候选框尺寸大都是扁平的，这一点符合车辆目标的先验知识。由此可见，我们的检测方法存在较高的准确性。

1.4多尺度训练

当样本聚类完成后，如何训练合适的分类和检测网络是一个重要的问题。本发明首先使用基darknet-19的分类网络，分辨率改成448×448，在imagenet数据集上训练10轮(10epochs)，训练后的网络可以适应高分辨率的输入。在训练时，由于低对比度图像的目标边缘相对模糊，为防止目标附近的道路、车辆后的烟雾等被误检为目标，我们随机选取了一些样本，对道路和烟雾等进行了标注，把其设定为负样本。通过此种方式，可以有效的防止模型对以上干扰的误检，提高检测正确率。

对于检测模型的训练，本文模型的输入尺寸为416×416。检测模型只包含卷积层和池化层，因此可以随时改变输入尺寸。在训练时，每隔10轮，模型随机选择一种新的输入图像尺寸，改变模型输入尺寸继续训练，以使模型对不同尺寸图像具有鲁棒性。该训练规则强迫模型适应不同的输入分辨率。同一个网络可以进行不同分辨率的检测任务，在速度和精度上达到了平衡。模型对于小尺寸的输入处理速度更快，因此网络可以按照需求调节速度和准确率。为使模型的训练速度和精度达到最高，我们通过改变训练参数进行了对比试验，通过改变以下四个主要参数：momentum，epoch，minibatchsize和learningrate，训练不同的模型，并对网络检测正确率进行测试，实验结果如表1所示：

表1对不同训练参数的测试

1.5置信度模型目标检测

检测网络把输入图片分为13×13的网格，如果目标中心落入其中某一个网格，监测网络的输出为13×13的特征图(如图5)，每一个特征点的位置对应于原图片的一个网格区域，通过选取置信度高的目标，网络可以输出目标的位置和大小，完成检测任务。

综上所述，通过引入yolov2网络架构用于弱目标检测，结合低对比度下弱目标特点，使用k-means方法进行聚类，选取合适的建议框大小和数量，通过多尺度训练，让网络提取目标深层次的特征，再通过检测网络对目标进行检测。我们的方法对于复杂地面环境下的低对比度弱目标检测具有良好的效果，在检测率和实时性方面都取得了较大的提升。

1.5深度学习实验结果与分析

实验以某靶场采集的图像为数据集，其中包括近5000张图片，该数据集主要以地面环境下车辆目标的可见光及红外图像为数据来源。可见光图像和红外图像各占一半，图像分辨率为1280×1024。使用其中3000张图片作为训练图像，剩余2000张图片作为测试图像。实验计算机的gpu型号为gtx1080。

实验所需训练图像均按照voc2007数据集格式进行了人工标注。图8为包含各个角度的训练样本图像示例，第一行图像为红外目标样本，第二行图像为可见光目标样本。可以看出，目标图像轮廓十分模糊，特征十分不明显。因此，在选取训练样本时应尽量选取有一定车辆特征的样本，如车窗、车身、车头等相对明显的特征。我们使用1500张可见光样本图像和1500张红外样本图像对网络进行训练。检测目标为小汽车，故网络只需对候选区域进行二分类，即进行目标和背景的分类。

检测结果如图9所示。图9中，第一行是可见光图像检测结果，第二行是红外图像检测结果。在可见光图像中，目标受到了尘土、道路等遮挡，有的图像中目标有一半以上的面积受到干扰。在红外图像中，目标也受到了尾气、背景等因素的干扰，检测难度很高。从检测结果可以看出，我们的方法在测试数据集上取得了很好的效果。在复杂的地面环境下，可以对低对比度弱目标进行准确的检测。

表2为本发明在不同分辨率下的检测准确度和运算速度，可以看出，随着网络输入分辨率不断加大，检测的准确率不断提高，但是运算时间也在增加。在网络输入分辨率小于608×608的情况下，算法fps值大于40，达到了实时检测的标准。

表2不同的输入分辨率下网络的准确度和运算速度

在上述实施例中，为解决复杂地面环境下低对比度弱小目标检测问题，本发明采用深度学习领域中的先进成果，将yolov2网络与弱小目标检测任务结合，通过数据预处理、多层卷积层特征提取、置信度模型目标检测完成检测任务。首先对弱目标环境数据分布特性进行了分析，然后利用低对比度的红外和可见光图像作为训练数据，结合目标特点，聚类计算目标框维度，使用分类网络预训练、多尺度检测网络训练及更改输入分辨率等措施改进网络的检测效果，可以在低对比度成像条件下能够准确、实时的检测弱目标。

在监视预警系统中，低对比度图像中弱目标检测方法是一个关键技术。研究复杂背景中弱目标的实时检测方法，可以提高监视预警系统的作用距离，对于增加作战反应时间、提高自身生存概率具有十分重要的意义。为解决弱目标检测问题，我们在分析弱目标环境数据分布特性的基础上，提出了一种基于深度学习的弱目标实时检测方法，引入yolov2网络提取弱目标非线性特征。该方法在红外和可见光数据集上的测试显示，在低对比度成像条件下能够准确、实时的检测弱目标。

另外，本发明还涉及基于深度学习的低对比度图像中弱目标检测装置，其包括，

存储器，用于存储程序指令；

处理器，用于运行所述程序指令，以执行所述基于深度学习的低对比度图像中弱目标检测方法的步骤，具体步骤与前面所描述的基于深度学习的低对比度图像中弱目标检测方法中的步骤相同，在此不再进行赘述。

本发明是参照根据本发明实施例的方法、设备(系统)、计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。