一种无人机捕捉黑飞无人机的方法与流程

本发明涉及无人机空中捕捉无人机技术，主要用于无人机捕捉黑飞无人机的方法。

背景技术：

近几年来，随着人工智能的飞速发展，无人机得到了极大的关注，行业发展迅猛，与此同时，无人机的黑飞现象非常严重，从2015年至今，全国约发生30多起无人机“扰航”事件。“黑飞”事件时有发生，且屡禁不止，存在巨大的社会隐患，而后续监管却如同隔靴搔痒。如何在无人机反制情况下，利用无人机在空中捕捉黑飞无人机也尤为重要，且需求很大。如何使无人机可以依赖视觉成功捕捉黑飞无人机是目前的一个需要解决的技术方案。

技术实现要素：

针对现有技术中存在的问题，本发明提供一种一种无人机捕捉黑飞无人机的方法，解决了现有技术中依赖视觉精准地捕获黑飞无人机过程，减少对黑飞无人机破坏。

为了解决现有技术存在问题，本发明采用如下技术方案予以实施：

一种无人机捕捉黑飞无人机的方法，

步骤一：无人机通过单目摄像头搜索空域目标，利用目标检测算法搜索目标无人机；

步骤二：当检测到目标无人机后，锁定视野，进行目标跟踪算法，并不断靠近；

步骤三：当目标跟踪失败后，重新进行检测，再进行跟踪、靠近；

步骤四：靠近过程中，不断利用双目相机测量无人机与目标无人机的距离；

步骤五：当双目测距为10米到20米后，无人机控制端控制无人机飞到目标无人机上方10米；

步骤六：通过双目相机和跟踪框，确定目标无人机在无人机下方后，无人机撒网，捕捉目标无人机。

所述步骤一中无人机基于目标检测算法搜索黑飞无人机过程；

1.1：把无人机机载单目摄像头获取的图像输入目标检测算法；

1.2：利用多层深度学习网络yolov3提取图像特征并输出目标的种类、划分类别的概率、以及目标在图像中的位置，位置为四维坐标值；

1.3：获取深度学习网络的输出，获取移动无人机在图像中的位置和概率，当目标概率值低于0.5时，重新进行检测；当概率值大于0.5，且该类目标只有1个，对目标进行跟踪。

所述步骤二中通过目标跟踪算法检测到目标无人机过程：

2.1：获取检测算法获取的目标在图像中的位置坐标；

2.2：基于位置坐标初始化目标跟踪算法kcf，实现跟踪；

2.3：跟踪算法不断输入图像，返回跟踪框在图像中的位置坐标和一个布尔类型的值；当布尔类型值为false，代表跟踪失败，重新进行检测；

2.4：跟踪成功之后，根据跟踪框在图像中的位置坐标，控制端控制无人机飞行，使跟踪框一直在视野的中间，并控制无人机实行靠近。

所述步骤四中通过双目相机测量实现双目测距过程：

4.1：相机标定：双目相机摄像头由于光学透镜的特性使得成像存在着径向畸变，可由三个参数k1,k2,k3确定；由于装配方面的误差，传感器与光学镜头之间并非完全平行，因此成像存在切向畸变，可由两个参数p1,p2确定；

4.2：双目校正：双目校正是根据摄像头定标后获得的单目内参数据和双目相对位置关系，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐；这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点；

4.3：双目匹配：双目匹配的作用是把同一场景在左右视图上对应的像点匹配起来，这样做的目的是为了得到视差图；

4.4：得到视差数据，通过上述双目测距原理中的公式就计算出深度信息。

有益效果

1、本发明可以实现在无人机反制情况下，利用无人机在空中捕捉黑飞无人机。本发明对解决无人机黑发现象有一定的价值。对无人机干扰航线飞行、侵犯隐私、违规黑飞等现象，可以实现抓捕遏制。本发明有利于警方维护低空安全，保护社会稳定，保护飞机航线安全等。

2、本发明可以控制无人机进行精准捕捉黑飞无人机；可以依赖视觉，在空中精确抓捕黑飞飞机。此外，抓捕网卸载降落伞，可以保证黑飞无人机不损坏的情况下，成功抓捕。

附图说明

图1为本发明无人机捕捉黑飞无人机场景的示意图；

图2为双目测距的流程图；

图3为双目测距原理图；

图4为本发明算法处理流程图。

具体实施方法

为了使本发明的目的、技术方案和有点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明得算法平台为tx2架构得芯片，安装cuda和cudnn充分利用gpu和cpu的计算性能，以达到无人机对图象采集、处理的实时性要求。

本发明实验案例中，采用了科卫泰公司提供四旋翼无人机，搭载单目相机、双目相机、捕捉设别。模拟黑飞飞机未大疆无人机精灵四。

本发明利用图象处理技术，依赖视觉目标检测算法，实现无人机捕捉黑飞无人机，适用场景为当确定天空有唯一黑飞无人机时，地面段开启无人机反制系统，对黑飞无人机进行了信号干扰，无人机机载单目摄像头、双目相机以及捕捉网起飞对黑飞无人机进行捕捉。

下面是本发明应用无人机降落在移动车辆顶部过程的实例；

请参阅图1～图4所示，本发明提供了一种无人机捕捉黑飞无人机的方法，包括步骤：

当确定天空有唯一黑飞无人机时；地面段开启无人机反制系统，对无人机进行了信号干扰；无人机准备：无人机机载单目摄像头、双目相机以及捕捉网起飞对黑飞无人机进行捕捉。

在此之前：

一：采集2小时的无人机视频数据，视频中：黑飞飞机在无人机前方、下方、前下方三个方位的100米到5米距离。利用深度学习标注工具，对视频中的无人机进行标注。对目标检测算法yolo进行训练，一共迭代次数未2万次，损失从1000以上，下降未0.5。利用测试视频检测，检测实时、且准确性极高。

二：双目相机需要进行相机标定，双目摄像机标定最主要的目的：是要得求出每个摄像机的相机内参数矩阵k和畸变系数矩阵d，左右两个摄像机的相对位置关系(即右摄像头相对于左摄像头的平移向量t和旋转矩阵r)。

[1]首先利用棋盘图对左右摄像头分别进行标定，得到两个摄像头各自的内参矩阵和畸变参数向量。

[2]经过双目标定得到摄像头的各项参数后，采用opencv中的stereorectify(立体校正)得到校正旋转矩阵r、投影矩阵p、重投影矩阵q，再采用initundistortrectifymap函数得出校准映射参数，然后用remap来校准输入的左右图像。

三：双目矫正：双目校正过程中要使用极线约束。要计算目标点在左右两个视图上形成的视差，首先要把该点在左右视图上两个对应的像点匹配起来。然而，在二维空间上匹配对应点是非常耗时的，为了减少匹配搜索范围，可以利用极线约束使得对应点的匹配由二维搜索降为一维搜索。

训练好目标检测使用的深度学习网络以及完成双目标定和矫正之后，便可以进行捕捉。

捕捉步骤为：

步骤一：无人机利用单目摄像头搜索空域目标，基于目标检测算法，搜索黑飞无人机；

详细步骤为：搜索过程未，无人机不断升高飞行，升高的同时，遍历俯仰角、翻滚角、偏航角对可监控事业，不断监控搜索；直到搜索都目标无人机，停止继续升高，采取进一步调整、跟踪。

目标检测算法采用yolov3算法；目标检测的对象为黑飞无人机。

目标检测算法流程：把无人机机载摄像头获取的图像输入目标检测算法；利用多层深度学习网络yolov3提取图像特征并输出目标的种类、划分类别的概率、以及目标在图像中的位置，位置为四维坐标值；获取深度学习网络的输出，获取目标无人机在图像中的位置和概率，当概率值低于0.5时，重新进行检测；当概率值大于0.5，且该类目标只有1个，对目标进行跟踪。

步骤二：当检测到目标无人机后，锁定视野，进行目标跟踪算法，并不断靠近；

目标跟踪算法采用kcf算法，跟踪黑飞无人机。

跟踪流程为：获取检测算法获取的目标在图像中的位置坐标；基于位置坐标初始化目标跟踪算法kcf，实现跟踪；跟踪算法不断输入图像，返回跟踪框在图像中的位置坐标和一个布尔类型的值；当布尔类型值为false，代表跟踪失败，重新进行检测；跟踪成功之后，根据跟踪框在图像中的位置坐标，控制端控制无人机飞行，使跟踪框一直在视野的中间，并控制无人机实行迫近。

步骤三：当目标跟踪失败后，重新进行检测，再进行跟踪、靠近；

步骤四：靠近过程中，不断利用双目相机测量无人机与目标无人机的距离；

步骤五：当双目测距为10米到20米后，无人机控制端控制无人机飞到目标无人机上方10米；

步骤六：通过双目相机和跟踪框，确定目标无人机在无人机下方后，无人机撒网，捕捉目标无人机。

关于距离测量：

依赖双目相机实现距离测量。如图3，p是待测物体上的某一点，or与ot分别是两个相机的光心，点p在两个相机感光器上的成像点分别为p和p’(相机的成像平面经过旋转后放在了镜头前方)，f为相机焦距，b为两相机中心距，z为我们想求得的深度信息，设点p到点p’的距离为dis，则：

dis＝b-(xr-xt)

根据相似三角形原理：

可得：

公式中，焦距f和摄像头中心距b可通过标定得到，因此，只要获得了(即，视差d)的值即可求得深度信息。

最后靠近过程中，不断利用双目相机测量无人机与目标无人机的距离；当双目测距为10米到20米后，无人机控制端控制无人机飞到目标无人机上方10米；通过双目相机和跟踪框，确定目标无人机在无人机下方后，无人机撒网，捕捉目标无人机。

本实验中，在草地、河畔进行了多次抓捕实验，均抓捕成功。抓捕目标为大疆无人机精灵四，而后重新训练精灵三，也成功进行了抓捕。本实验证明办法名具有可行性，对黑飞飞机乱飞现象可以进行解决，此外，可用于防空警察维护空域安全。

以上说书仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内的所作的任何修改、等同替换和改进等，均为包含在本发明的保护范围内。