基于细粒度分类的无人机识别与定位方法与流程

本发明属于无人机技术领域，特别涉及一种基于细粒度分类的无人机识别与定位方法。

背景技术：

近年来，无人机技术快速发展，被广泛用于各领域，对无人机的探测、识别与定位技术也提出了更高的要求。目前，针对无人机的探测、识别与定位有多种方案，包括卫星定位的方式、雷达和摄像头结合的方式等，探测效果差，易受外界信号干扰。

为此，技术人员做了改进。如申请号为2016111441100的发明专利，公开了一种基于电子信息无人机控制用无人机身份识别系统，包括遥感飞行器、卫星、地面信号收发基站和遥感操控器，满足gps定位和北斗定位，遥感飞行器具有定位子系统、无线收发单元和身份信息存储单元等，并通过卫星与地面信号收发基站进行信息交互，获取飞行器的位置信息和飞行状态，与预存信息实时比较，方便追踪遥感飞行器。申请号为2017109352832的发明专利，公开了一种对民用无人机的无源定位和识别系统，使用无源雷达探测、定位和跟踪无人机，并接收无人机的遥控遥测信号，通过对遥控遥测信号的分析，完成无人机识别，虽然能避免不良天气的影响，但是，也仅局限在能探测、识别出是否是无人机，对于无人机身份的匹配、识别，准确度比较低。

现有技术的无人机识别与检测，仅仅局限在能够准确识别检测出这个物体是否是无人机以及无人机在二维平面图中的位置及大小，并没有准确的判断出是哪种型号的无人机以及无人机的外在结构大小，更无法得知无人机在实际场景空间的三位坐标。我们针对此问题，设计本技术方案。

技术实现要素：

针对现有技术存在的不足，本发明提供一种基于细粒度分类的无人机识别与定位方法，基于物体检测后的细粒度分类，将识别出的无人机型号与无人机型号库信息对应检索出相关外在结构信息，并结合摄像机的内参数，将无人机的二维坐标映射成三维坐标确定无人机立体空间中的位置，解决无人机的识别与定位不准确的问题。

为了解决上述技术问题，本发明采用的技术方案是：基于细粒度分类的无人机识别与定位方法，包括以下步骤：

(a)建立无人机数据集库：通过采集无人机机型及参数信息，建立满足细粒度分类的计算机视觉数据库；

(b)粗粒度检测：通过yolo网络结构对摄像机拍摄的视频进行端到端的实时物体识别与检测，准确判断物体是否无人机；

(c)细粒度分类：在步骤(a)所述的无人机数据集库中的数据集的基础上采取强监督学习的方法完成深度学习，进而完成细粒度分类，细粒度分类完成后，精确地得到检测到的无人机类别和无人机型号；

(d)匹配检索型号：得出无人机的具体型号后，在无人机数据集库中匹配检索该型号无人机的具体信息，得到该无人机的所有信息，包括材料信息和结构信息，得知无人机的外在视觉特征；

(e)摄像机标定：获得摄像机的内参数；

(f)空间定位：将无人机的外在视觉特征结合摄像机的内参数得到无人机在立体空间的位置。

进一步的，步骤(b)中，优化yolo网络结构，每个格子预测四个boundingbox，输出向量为7*7*23的向量，实现基于流视频下的物体检测，以60-70fps/s的速率检测出镜头内的物体是否是无人机，从而完成粗粒度检测。

进一步的，步骤(c)中，将不同型号无人机之间的突出明显特征作为细粒度划分的局部微小特征，在检测的基础上，通过训练得到微小特征分类器，通过区域化检测帧图片，通过多个微小特征分类器的检测结果最终得出无人机的具体的型号。

进一步的，步骤(c)中，局部微小特征的识别检测是将无人机进行两倍像素放大的向下采样，如公式(1)所示，

xi代表向下采样后的图像，si代表原图像,ys(si)代表原图像的某个像素点位置，x11,…，xnn代表像素大小，ys(si)函数将原图像的某个像素点位置坐标映射到其他位置，与矩阵相乘是将微小部位的特征像素强度放大，弱化其他区域的像素强度，能够增加分辨率，放大局部微小特征的视觉感知信息；将放大的局部微小特征放入深度网络中，作为细粒度分类的分类器。

进一步的，所述yolo网络结构包含6个卷积层、一个全连接层，输出7*7*23的向量，输出预测目标位置及类别信息，将输出的图片进行如公式(1)形式的采样，紧接着送入细粒度分类的深度网络，所述深度网络包含4个卷积层、1个全连接层，全连接层输出7*7*14的向量，用于输出细粒度检测后的无人机型号。

进一步的，通过摄像机标定，以及通过平移和旋转矩阵，将图像中的二维坐标转换成三维坐标，建立了平面图片到立体空间中的映射；通过yolo网络结构得到无人机的二维坐标位置，按照映射关系，进而得到立体空间的无人机三维坐标。

进一步的，通过帧图片的连续三维坐标信息，在立体空间中得到无人机的轨迹信息。

进一步的，外在视觉特征包括无人机的机身长、机身宽、机身高的结构信息。

进一步的，摄像机的内参数包括镜头参数、传感器参数、像素大小。

与现有技术相比，本发明优点在于：

(1)本通过采集众多无人机机型及参数信息，建立满足细粒度分类的计算机视觉数据库，与现有数据集库相比，可以看到数据集的动态可视化，并且标注了详细的机型型号信息。

(2)本发明通过优化yolo网络结构，解决了现有网络结构对于近距离物体检测准确率低的问题，降低了接近于groundtruth的物体通过nms去除问题；新的网络结构不仅实现了基于流视频下的物体检测，而且解决了原有网络结构相互靠近无人机小群体问题，这样就实现了无人机的检测，我们能够准确判断该物体是否是无人机，从而完成粗粒度检测。

(3)基于物体检测后的细粒度分类，采取强监督学习的方法，在庞大数据集的基础上完成细粒度分类，不仅得到了无人机类别，更精确地得到了检测到的无人机的机型；将识别出的无人机型号与无人机型号库信息对应检索出相关外在结构信息，并结合摄像机的内参数，将无人机的二维坐标映射成三维坐标确定无人机立体空间中的位置，解决现有技术无人机的识别与定位不准确的问题，解决现有技术采用雷达、卫星等技术手段易受外界环境干扰的问题，定位准确。

(4)本发明的细粒度分类检测方法无需处理边缘标注点，并且去掉背景虚化的步骤，这样能够大大提高细粒度分类检测的速度，完全满足实时的细粒度分类检测。

(5)本发明还可以通过帧图片的连续三维坐标信息，在立体空间中得到无人机的轨迹信息。

附图说明

图1为本发明的方法流程框图；

图2为本发明局部微小特征的识别检测示意图；

图3为本发明的流程示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的说明。

如图1所示，本发明的基于细粒度分类的无人机识别与定位方法，为实现细粒度分类，首先建立无人机数据集库，目前尚没有一种数据集库能满足细粒度分类检测要求，现有的只能满足粗粒度分类。本发明通过实验采集满足众多无人机机型及参数信息的庞大数据集，建立满足细粒度分类的计算机视觉数据库，并进行了细粒度分类的无人机标注。本发明的计算机视觉数据库与现有数据集库相比，可以看到数据集的动态可视化，并且标注了详细的机型型号信息。

在细粒度分类之前，先进行粗粒度检测。先进行yolo网络结构的优化：在yolo网络结构中，每个格子预测四个boundingbox，输出向量为7*7*23的向量，解决了现有技术中的yolo网络结构对于近距离物体检测准确率低的问题。因为每个格子预测四个boundingbox，大大降低了接近于groundtruth的物体的nms去除问题。

通过优化的yolo网络结构，对摄像机拍摄的视频进行端到端的实时物体识别与检测，能够以60-70fps/s的速率在titanx上检测出镜头内的物体是否是无人机，从而完成粗粒度检测，检测速度很快，完全满足基于流视频下的物体检测，为细粒度分类提供了充足的时间，这样就实现了无人机的检测，我们能够准确判断该物体是否是无人机。也就是说，优化的网络结构不仅实现了基于流视频下的物体检测，而且解决了现有技术的网络结构相互靠近无人机小群体问题。

细粒度分类：在本发明建立的无人机数据集库中的数据集的基础上采取强监督学习的方法完成深度学习，进而完成细粒度分类，细粒度分类完成后，精确地得到检测到的无人机类别和无人机型号。

本发明将不同型号无人机之间的突出明显特征作为细粒度划分的局部微小特征，在检测的基础上，可以将例如旋翼个数作为细粒度分类的一个微小特征，通过训练得到微小特征分类器，通过区域化检测帧图片，通过多个微小特征分类器的检测结果最终得出无人机的具体的型号。

对于细粒度分类，局部微小特征的识别检测是非常关键的环节，与现有的局部微小特征识别检测部位标注点不同的是，我们将无人机进行两倍像素放大的向下采样，如公式(1)所示，

xi代表向下采样后的图像，si代表原图像,ys(si)代表原图像的某个像素点位置，x11,…，xnn代表像素大小，ys(si)函数将原图像的某个像素点位置坐标映射到其他位置，与矩阵相乘是将微小部位的特征像素强大放大，弱化其他区域的像素强度，这样能够增加分辨率，放大局部微小特征的视觉感知信息，如图2所示：矩形框区域的微小特征被明显放大，这将为微小特征区分机型带来强有力的视觉感知信息。将此时矩形框里的放大的局部微小特征放入深度网络中，将作为细粒度分类的分类器。与现有的细粒度分类检测方法不同的时，本发明的细粒度检测方法没有去处理边缘标注点，并且去掉了背景虚化的步骤，这样能够大大提高细粒度分类检测的速度，完全满足实时的细粒度分类检测。

本发明的流程如图3所示，首先将原始图片resize到合适大小，将图片放入粗粒度检测的yolo网络结构，yolo网络结构包含6个卷积层、一个全连接层，输出7*7*23的向量，输出预测目标位置及类别信息，将输出的图片进行如公式(1)形式的采样，紧接着送入细粒度分类的深度网络，深度网络包含4个卷积层、1个全连接层，全连接层输出7*7*14的向量，用于输出细粒度检测后的无人机型号。

得出无人机的具体型号后，进行匹配检索型号：在无人机数据集库中匹配检索该型号无人机的具体信息，得到该无人机的所有信息，包括机身材料等材料信息和机身长、宽、高等结构信息，得知无人机的机身长、机身宽、机身高等外在视觉特征。

在无人机的空间定位前，先通过摄像机标定获得摄像机的内参数，包括镜头参数、传感器参数、镜头像素大小等；最后将无人机的机身长、机身高等外在视觉特征结合摄像机的内参数得到无人机在立体空间的位置。将摄像机的内参数，通过摄像机标定，以及通过平移和旋转矩阵，将图像中的二维坐标转换成三维坐标，建立了平面图片到立体空间中的映射，通过yolo网络结构得到无人机的二维坐标位置，按照映射关系，进而得到立体空间的无人机三维坐标。

本发明还可以通过帧图片的连续三维坐标信息，在立体空间中得到无人机的轨迹信息。

综上所述，本发明在保证实时无人机识别检测的基础上，基于细粒度分类，能够实现无人机的定位，并可以得到无人机在立体空间中的位置坐标信息、运行轨迹信息，为其他应用场合提供了强有力帮助。

当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。