一种基于深度学习的无人机航拍图像目标检测方法及系统与流程

[0001]
本公开涉及计算机视觉及图像处理领域，主要涉及一种基于深度学习的无人机航拍图像目标检测方法。


背景技术：

[0002]
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
[0003]
采用无人机航拍方式为许多应用领域提供了更为便捷有效的管理手段，其中目标检测，即从无人机航拍图片中检测具有某种特征的图像目标是最为广泛的应用。但现阶段采用的检测方法多数是人工解译，即人工方式对航拍图像进行查询。虽然人工检测可以降低实地巡查的工作量，但对于海量的无人机航摄图片或视频，完全使用人工解译依然效率低下。
[0004]
随着深度学习技术的不断成熟，基于深度学习的目标检测已经在很多领域中获得成熟的应用。因此，将基于深度学习的目标检测技术用于无人机航摄图像的目标检测具有明显的技术优势。


技术实现要素：

[0005]
为解决现有技术的不足，本公开主要提供了一种能够灵活、高效、准确的无人机航拍目标检测方法，可以对多种航拍目标图像进行识别。
[0006]
第一方面，本公开提供了一种基于深度学习的无人机航拍图像目标检测方法，包括：
[0007]
获取多种类别的目标图像和无人机的拍摄图像；
[0008]
对目标图像进行预处理，并将预处理后的目标图像分为训练集和验证集；
[0009]
建立目标检测网络，所述目标检测网络用于提取目标图像的特征图，将特征图进行融合得到融合特征图，并根据融合特征图进行模型训练；
[0010]
将训练集的目标图像输入到目标检测网络中进行训练，获得训练好的目标检测模型；将验证集的目标图像输入到训练好的目标检测模型中进行验证，获得多个类别检测目标识别模型；
[0011]
将无人机的拍摄图像输入多个类别检测目标识别模型，获得检测结果。
[0012]
第二方面，本公开体提供了一种基于深度学习的无人机航拍图像目标检测系统，包括:
[0013]
数据采集模块：获取多种类别的目标图像和无人机的拍摄图像；
[0014]
预处理模块：对目标图像进行预处理，并将预处理后的目标图像分为训练集和验证集；
[0015]
目标检测网络建立模块：建立目标检测网络，所述目标检测网络用于提取目标图像的特征图，将特征图进行融合得到融合特征图，并根据融合特征图进行模型训练；
[0016]
训练模块：将训练集的目标图像输入到目标检测网络中进行训练，获得训练好的
目标检测模型；将验证集的目标图像输入到训练好的目标检测模型中进行验证，获得多个类别检测目标识别模型；
[0017]
检测结果获取模块：将无人机的拍摄图像输入多个类别检测目标识别模型，获得检测结果。
[0018]
第三方面，本公开提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如第一方面所述的无人机航拍图像目标检测方法。
[0019]
第四方面，本公开提供了一种电子设备包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如第一方面所述的无人机航拍图像目标检测方法。
[0020]
与现有技术对比，本公开具备以下有益效果：
[0021]
1、本公开通过将训练集的目标图像输入到目标检测网络中进行训练，获得训练好的目标检测模型；将验证集的目标图像输入到训练好的目标检测模型中进行验证，获得多个类别检测目标识别模型，将无人机的拍摄图像输入多个类别检测目标识别模型，获得检测结果，采用计算机视觉技术，通过对多种目标类别的特征识别，实现对多种类检测目标的识别与排查，解决了对于海量的无人机航摄图片或视频，完全使用人工解译依然效率低下问题。
[0022]
2、本公开针对小样本问题，利用无人机图像的标注坐标对已有的数据进行预处理，并对预处理后的数据采用生成对抗网络进行数据增强，解决了部分类别的检测目标数据量不足的问题。
[0023]
3、本公开还改进了目标检测模型，所述目标检测网络用于提取目标图像的特征图，将特征图进行融合得到融合特征图，并根据融合特征图进行模型训练，提升了对小目标的检测精度，解决了如何将深度学习的目标检测技术用于无人机航摄图像的目标检测的问题。
附图说明
[0024]
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
[0025]
图1是本公开实施例的检测目标识别流程图；
[0026]
图2是本公开实施例的训练过程流程图。
具体实施方式：
[0027]
下面结合附图与实施例对本公开作进一步说明。
[0028]
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
[0029]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0030]
名词解释：
[0031]
区域推荐网络(rpn)；
[0032]
非极大值抑制方法(nms)；
[0033]
特征图(feature map)；
[0034]
softmax(softmax逻辑回归模型)；
[0035]
proposal boxes(提案箱)；
[0036]
roi pooling(感兴趣区域池化)；
[0037]
proposal feature map(方案特征图)；
[0038]
epoch(时期)；
[0039]
实施例1
[0040]
如图1所示，本公开提供了一种基于深度学习的无人机航拍图像目标检测方法，包括：获取多种类别的目标图像和无人机的拍摄图像；
[0041]
对目标图像进行预处理，并将预处理后的目标图像分为训练集和验证集；
[0042]
建立目标检测网络，所述目标检测网络用于提取目标图像的特征图，将特征图进行融合得到融合特征图，并根据融合特征图进行模型训练；
[0043]
将训练集的目标图像输入到目标检测网络中进行训练，获得训练好的目标检测模型；
[0044]
将验证集的目标图像输入到训练好的目标检测模型中进行验证，获得多个类别检测目标识别模型；
[0045]
将无人机的拍摄图像输入多个类别检测目标识别模型，获得检测结果。
[0046]
进一步的，所述多种类别的目标图像为采用无人机航摄的方式对多个种类的检测目标进行拍摄所获取的图像。
[0047]
进一步的，所述对目标图像进行预处理包括，
[0048]
对目标图像进行图像去噪处理；
[0049]
生成对抗网络进行目标图像的数据增强；
[0050]
对目标图像中的各种检测目标进行标注。
[0051]
进一步的，所述将预处理后的目标图像分为训练集和验证集包括，按照设定比例将标注过的检测目标图像划分为训练集和验证集。
[0052]
进一步的，所述将训练集的目标图像输入到目标检测网络中进行训练步骤包括，
[0053]
将训练集中的图像输入目标检测网络，提取n层的特征图，将n层的特征图进行融合得到融合特征图，将融合特征图输入到区域推荐网络；
[0054]
区域推荐网络采用聚类方法对训练集中目标图像的边界框做聚类分析得到锚框尺度和比例，通过融合特征图与聚类得到的锚框尺度和比例生成锚框，并对生成的锚框进行过滤和标记；
[0055]
对锚框使用逻辑回归模型进行分类，使用交并比大小比较的方式进行非极大值抑制，并最终生成若干个候选推荐框，生成不同层的提案箱；
[0056]
将区域推荐网络生成的提案箱和融合后的特征图传送到感兴趣区域池化层中，经过归一化得到方案特征图。
[0057]
具体的，将训练集的目标图像输入到目标检测网络中进行训练步骤包括：
[0058]
将训练集中的图像输入特征提取网络，保存提取出的n层的feature map，将n层的feature map进行融合得到新的feature map，将新的feature map输入到rpn中；
[0059]
rpn采用聚类方法对训练集中的边界框做聚类分析，得到更加适合检测目标数据集的锚框尺度和比例。通过融合后的feature map与聚类得到的锚框尺度和比例生成锚框，并对生成的锚框进行过滤和标记，当锚框与标注物体的区域重合度大于阈值时判断为前景，而小于阈值即为背景；
[0060]
对锚框使用softmax(逻辑回归模型)进行分类，使用交并比大小比较的方式进行nms非极大值抑制，并最终生成若干个候选推荐框，生成不同层的proposal boxes；
[0061]
将rpn生成的proposal boxes(提案箱)和融合后的feature map(特征图)传送到roi pooling层中，经过roi pooling(感兴趣区域池化)层归一化得到proposal feature map；
[0062]
所述将验证集的目标图像输入到训练好的目标检测模型中进行验证，获得多个类别检测目标识别模型包括，
[0063]
将proposal feature map(方案特征图)传给全连接层，通过全连接层和softmax计算出每个proposal的具体类别位置以及概率信息并获得每个proposal的位置偏移量用于边框回归，再次使用nms方法保留效果最好的预测框，通过预测结果和验证集比对再通过反向传播调整网络的权重参数；
[0064]
多次训练后取在验证集上效果最好的模型保存：通过调整学习率等超参数多次训练，每经过一定的epoch(时期)保存一次模型，选择在验证集上取得综合准确率和召回率考量效果最好的模型。
[0065]
所述将无人机的拍摄图像输入多个类别检测目标识别模型，获得检测结果包括，
[0066]
通过无人机在有检测目标空域进行航摄，将无人机的拍摄图像输入多个类别检测目标识别模型，获得检测结果，检测结果为识别各类检测目标，如：坝型检测目标、管状检测目标等，输出识别出含有检测目标的图像信息。
[0067]
进一步的，所述roi pooling层是指：roi池化层，用来对传入的信息进行处理并得到统一大小的proposal feature map。
[0068]
进一步的，所述效果最好的模型是指：在验证集上准确率和召回率在满足设定值要求基础上两者之和最高的的模型。
[0069]
进一步的，无人机的拍摄图像为待检测区域的图像，使用无人机对检测目标进行航拍得到的图像，图像保留有拍摄时的经纬度和时间等信息。
[0070]
进一步的，所述滑动窗口检测使指对待检测图像采用一定速度由左上到右下、先横向后纵向的方式对无人机大尺度图像进行多次检测的过程。
[0071]
进一步的，所述识别各类检测目标是指：将一张待检测图像输入到检测目标识别模型中，并且设定概率阈值，输出一张带有检测目标预测框和该预测框属于具体检测目标类别概率的图像。
[0072]
进一步的，所述目标检测网络是通过如下改进设置获得的：
[0073]
步骤(4-1-1)：改进目标检测网络的特征提取网络，即：目标检测网络的特征提取网络的若干曾或全部层均用于提取图像的特征图feature map，将低层特征图与高层特征图进行融合，得到新的特征图feature map。
[0074]
步骤(4-1-2)：改进区域推荐网络(rpn)选取的锚框尺度和比例，采用聚类方法对训练集中的边界框做聚类分析，使锚框尺度和比例更加适合检测目标数据集，从而使模型生成的预测框与真实框具有更高的重叠度。rpn针对输入的feature map生成检测框并判断属于前景或后景，进行边框回归后通过非极大值抑制nms生成不同层的候选推荐框proposal boxes；
[0075]
步骤(4-1-3)：将步骤(4-1-2)中rpn所得到的候选推荐框proposal boxes和步骤(4-1-1)中经过特征融合的特征图feature map输入roi pooling层得到proposal feature maps；
[0076]
步骤(4-1-4)：将proposal feature maps传给全连接层，通过全连接层和softmax分类器计算判断每一个proposal feature map的检测目标的类别；
[0077]
通过检测目标的类别与标注的实际情况进行对比得到位置偏移量，根据位置偏移量进行边框回归，然后使用非极大值抑制(nms)方法保留效果最好的预测框；
[0078]
通过rpn中进行的边框回归和在全连接层中进行的边框回归，两次边框回归提升了预测框精度，通过预测结果和验证集比对，再通过反向传播调整网络中的权重参数。
[0079]
实施例2
[0080]
一种基于深度学习的无人机航拍图像目标检测系统，包括:
[0081]
数据采集模块，被配置为：获取多种类别的目标图像和无人机的拍摄图像；
[0082]
预处理模块，被配置为：对目标图像进行预处理，并将预处理后的目标图像分为训练集和验证集；
[0083]
目标检测网络建立模块，被配置为：建立目标检测网络，所述目标检测网络用于提取目标图像的特征图，将特征图进行融合得到融合特征图，并根据融合特征图进行模型训练；
[0084]
训练模块，被配置为：将训练集的目标图像输入到目标检测网络中进行训练，获得训练好的目标检测模型；将验证集的目标图像输入到训练好的目标检测模型中进行验证，获得多个类别检测目标识别模型；
[0085]
检测结果获取模块，被配置为：将无人机的拍摄图像输入多个类别检测目标识别模型，获得检测结果。
[0086]
进一步的，所述数据采集模块、预处理模块、目标检测网络建立模块、训练模块、检测结果获取模块所被配置的具体方式分别对应上述实施例中所述的无人机航拍图像目标检测方法的具体步骤。
[0087]
在其他实施例中，本公开还提供了：
[0088]
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如实施例1所述的无人机航拍图像目标检测方法。
[0089]
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如实施例1所述的无人机航拍图像目标检测方法。
[0090]
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。