一种基于YOLO深度学习网络框架的无人机光学快速检测识别方法与流程

本发明属于图像处理技术领域，涉及一种基于光学成像的无人机检测识别方法，具体涉及一种基于yolo(youonlylookonce，只看一眼)深度学习网络框架的无人机光学快速检测识别方法。

背景技术：

近年来，无人机技术得到了迅猛发展，已广泛应用于航拍、农业植保、交通监控、灾区探测、电力巡线、快速侦查、突袭等众多军民领域。但无人机市场的泛滥也带来了各种安全隐患，尤其是不遵守监管规定、超越规定空域飞行的无人机，给机场民航客机安全、重点区域周边的安防造成了极大威胁。因此，亟需发展我国重要设施周边、人群聚集场地、重要军事地区周边等重点区域的空中无人机监测与安全防御措施。

目前，无人机的空中监视与防御主要以雷达、gps信号为主，如thalesa(法)、droneshield(美)、jammer(墨)公司使用雷达对无人机进行监测，上海后洪电子科技发明的便携式无人机干扰器则通过无人机遥控信号和gps定位信号压制使无人机坠落或者返航。但基于雷达或者gps信号的方法主要用于无人机的远距离快速发现、捕获与跟踪，目前仍难以实现对无人机类型的高效、高准确率的检测识别。而采用光学手段对无人机进行检测识别具有以下优点：1)相比于雷达，光学成像能够获取更加丰富的灰度、纹理、结构等目标细节信息，更适用于无人机类型的高准确率识别；2)相比于gps，光学手段属于被动方式，不需要目标主动接收信号。因此基于光学成像的无人机检测识别已成为重要发展趋势。传统的光学检测识别方法是先人工构建特征再选择合适的分类器，其在背景简单、目标不变特征相对稳定的情况下表现良好。而无人机在空中飞行过程中，其相对位置、姿态在不断发生变化，很难找到满足尺度不变、角度不变性的图像特征，而且无人机飞行过程中的背景同样是运动的，且很可能复杂多变。

技术实现要素：

本发明针对目前采用雷达、gps等手段难以实现对无人机类别的高准确率识别、传统的光学特征人工构建过程繁琐、泛化能力不强等问题，提出了一种基于yolo深度学习网络框架的无人机光学快速检测识别方法。该方法能够利用实际的飞行试验数据，学习训练网络，直接输出识别结果，相比于传统的检测识别过程，避免了对无人机和复杂背景特征人工建模复杂、适用性不强等问题，能够大大提高复杂背景下动目标检测识别的速度和准确率。

本发明的目的是通过以下技术方案实现的：

一种基于yolo深度学习网络框架的无人机光学快速检测识别方法，包括如下步骤：

步骤一：针对目前市场主流的五种无人机开展飞行试验采集光学成像实验数据，并按照标准voc数据格式对采集的光学成像实验数据进行处理；

步骤二：搭建yolo网络框架，利用残差网络模块对yolo网络框架进行改进，对改进后的yolo网络框架进行训练，得到检测识别模型；

步骤三：选取包含五种无人机的实拍飞行光学成像实验数据，利用步骤二所得的检测识别模型进行检测识别。

相比于现有技术，本发明具有如下优点：

(1)本发明考虑到基于深度学习的目标检测识别方法是将特征构建与分类融合成一个整体，即输入为原始数据、直接输出分类结果，不需要人工构建特征，更适用于解决复杂动背景下动目标的自动检测识别问题，提出一种基于yolo深度学习网络框架的无人机光学快速、自主检测识别方法。

(2)本发明的方法适用于机场、体育场、演唱会、重要军事地区周边等各种复杂应用场景下无人机入侵的快速发现、高准确率检测与识别，为无人机的有效监管与空中防御提供支持。

(3)本发明针对无人机在空中飞行过程中，其相对位置、姿态在不断发生变化，很难找到满足尺度不变性、角度不变性的图像特征，而且无人机飞行过程中的背景通常复杂多变等问题，基于深度学习理论，利用不同网络层(卷积层、池化层、回归层等)功能，结合特殊的网络构型设计，实现复杂情况下目标特征的自动化、抽象化表达，并自动完成目标分类。相比于传统的目标检测识别过程，该方法能够大大提高复杂背景下动目标检测识别的速度和准确率。

(4)本发明为了实现无人机的快速检测识别，选用yolo网络框架，该网络将检测任务作为回归问题来处理，直接通过整幅图像的所有像素得到边界框坐标以及包含物体的置信度和类别概率，在检测速度上显著优于r-cnn、fastr-cnn等深度学习网络框架。并利用残差网络模块对yolo网络进行了改进，降低了训练过程中梯度爆炸或梯度消失的可能性，从而有效提高训练模型的可用概率，对基于yolo深度学习网络框架的无人机快速检测识别方法的实际应用具有重要意义。

附图说明

图1为本发明基于yolo深度学习网络框架的无人机光学快速检测识别方法流程图；

图2为voc标准数据格式实例；

图3为网络结构图；

图4为数据库中的样例图像；

图5为实际图像测试结果。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明提供了一种基于yolo深度学习网络框架的无人机光学快速检测识别方法，如图1所示，具体如下步骤：

步骤一：针对目前市场主流的五种无人机开展飞行试验采集光学成像实验数据，并按照标准voc数据格式对采集的光学成像实验数据进行处理。具体步骤如下：

选用大疆m100、phantom-3、inspire-1、农业植保无人机、警用无人机进行飞行试验采集实验数据，并对实验数据进行标注等操作使其符合voc数据格式，处理后的具体格式如图2所示。

步骤二：搭建yolo网络框架，利用残差网络模块对yolo网络框架进行改进，对改进后的yolo网络框架进行训练，得到检测识别模型。具体步骤如下：

yolo的检测方法为一阶检测方法，将输入图像分成s×s个格子，每个格子负责检测“落入”该格子的物体。若某个物体的中心位置的坐标落入到某个格子，那么这个格子就负责检测出这个物体。每个格子的输出信息包含两大部分，分别是包含物体矩形区域信息的b个boundingbox(边界框)信息，以及c个物体属于某种类别的概率信息。

boundingbox信息包含5个值，分别是x,y,w,h,和confidence(置信度)。其中x,y是指当前格子预测得到的物体的boundingbox的中心位置相对于当前格子位置的偏移值，并且被归一化到[0,1]的坐标。w,h是boundingbox的宽度和高度并使用图像的宽度和高度进行归一化到[0,1]内。

confidence反映当前boundingbox是否包含物体以及物体位置的准确性，计算方式如下：

confidence＝p(object)·iou。

其中，当p(object)＝1时表示boundingbox包含object(目标物体)，不包含则p(object)＝0；iou(交并比)为预测boundingbox与物体真实区域的交集面积，面积以像素面积计算，结果用真实区域面积像素面积归一化到[0,1]区间内。

搭建yolo网络(网络结构如图3(a)所示)，网络包括24个卷积层和2个全连接层，卷积层用于提取图像特征，全连接层用于预测目标位置和类别概率。网络的损失函数定义如下：

上述公式各参数含义如下：s²表示图像分割为网格的数目，取值为13×13；b表示每个网格中锚点框的个数，取值为5；x,y,w,h为预测边界框的中心坐标及宽高；表示实际边界框的中心坐标及宽高；c表示预测边界框内包含目标的置信度；表示实际目标与实际目标边界框的交并比；p(c)表示属于某一类别的预测概率；表示属于某一类别的实际概率，属于则取值为1，否则取值为0；i^obj表示锚点框中是否包含物体，包含则为1，否则为0；λcoord表示位置预测损失权重，取值为3；λnoobj表示不含目标时的目标置信度权重，取值为0.7。

函数的前两项为坐标预测损失，第三项为包含object的box的confidence预测损失，第四项为不包含object的confidence预测损失，第五项为类别预测损失。

网络中激活函数定义如下：

为避免训练时产生梯度爆炸或梯度消失，本发明利用残差模块对此网络进行改进，改进后网络结构如图3(b)所示，具体位置如下：第3层池化层输出分流与第9层卷积层输出进行合并，第12层卷积层输出分流与第15层卷积层输出进行合并，第4层池化层输出分流与第18层卷积层输出进行合并，第19层卷积层输出分流与第22层卷积层输出进行合并。在加入4处短路连接构成残差单元后，有效的缓解了训练时的梯度爆炸或梯度消失。4处残差单元部分梯度传播方式如下：

loss＝f(xi,wi)

式中，loss表示损失函数，xi、wi为网络第i层输入和第i层权重，损失函数表示为输入与权重的函数f(xi,wi)，xl表示残差模块分流层输出，xl表示残差模块合并处输出，第一个因子表示损失函数到达l层的梯度，小括号中的1表明短路机制可以无损地传播梯度，而另外一项残差梯度则需要经过带有权重的层。

对网络进行超参数设定，将初始学习率设置为0.0003，采用随机梯度下降法(即每次更新使用样本数量为1，总共更新次数为50000)训练网络，得到检测识别模型。

步骤三：选取包含五类无人机的实拍飞行光学成像实验数据，利用步骤二所得的检测识别模型，输入待测图像，通过卷积层提取特征，池化层缩小图像尺寸，最后通过全连接层输出目标位置预测值和目标类别概率预测值，目标类别概率最大值对应类别为识别的结果。由图5所示各个类别检测识别正确率统计结果可知：m100为91.96％，inspire-1为91.74％，phantom-3为89.78％，农业无人机为94.13％，警用无人机为89.84％，达到了较高的检测识别正确率，并且在采用gpu加速的情况下每帧处理速度能达到毫秒级别，实现快速检测识别。