基于深度学习的探鸟定位系统的制作方法

本发明涉及探鸟技术领域，具体涉及基于深度学习的探鸟定位系统。

背景技术：

鸟撞是鸟类与飞行中的人造飞行器、高速运行的列车和汽车等发生碰撞，从而造成飞行器或车体损坏。飞行器的起飞和降落过程是最容易发生鸟撞的阶段，例如飞机在起飞或降落时容易在机场及其附近空域发生鸟撞事件的几率较大，发生鸟撞后的飞行器或车辆容易在内部的零部件上产生损坏，严重影响飞行器或车辆的公共交通安全，所以，对此类场所中的鸟类进行探测定位再针对性地驱鸟非常重要。

现有的鸟类探测定位方法通过红外或激光雷达得到的图像进行，但是，不同鸟类的体型不同，鸟类在图像上的大小也不同，当鸟类体型较小时，鸟类在图像上的像素非常低，通过图像进行鸟类的探测和定位非常困难。

技术实现要素：

本发明意在提供一种基于深度学习的探鸟定位系统，以解决对小体积鸟类探测定位较困难的问题。

本方案中的基于深度学习的探鸟定位系统，包括：

探鸟子系统，包括具有训练模型的目标检测模块，所述目标检测模块用于将采集图像输入训练模型进行预处理并输出鸟类在采集图像中的鸟类像素坐标，所述探鸟子系统将具有鸟类的采集图像和鸟类的鸟类像素坐标发送至定位子系统；

定位子系统，获取采集图像中的放大倍数和像素信息，所述定位子系统根据放大倍数获取预存的转换系数，所述转换系数为每个放大倍数下一个像素对应的偏转角度，所述定位子系统根据像素信息获取采集图像中心点的中心像素坐标，所述定位子系统预存有图像中心点在实际环境中的实际坐标，所述定位子系统根据鸟类像素坐标、中心像素坐标、转换系数和实际坐标将鸟类从采集图像中的位置转换至实际环境中的位置。

本方案的有益效果是：

通过探鸟子系统的目标检测模块对采集到的采集图像识别鸟类的像素坐标，然后将采集图像中鸟类的像素坐标、中心像素坐标、转换系数和实际坐标转换成实际环境中的位置，在采集到采集图像后识别鸟类并建立像素坐标系和实际坐标系，将鸟类在采集图像中的位置转换至实际中，对鸟类探测后进行定位，鸟类位置定位更及时，同时以目标检测模块进行鸟类像素坐标获取，对较小体积鸟类进行探测定位，提高鸟类探测定位的准确性。

进一步，所述目标检测模块包括预处理单元，所述预处理单元在学习训练模型时对预设图像进行翻转和噪声添加。

有益效果是：在学习训练模型时，将预设图像进行预处理，对预设图像翻转以及噪声添加，让处理的采集图像与实际采集图像的情况更接近，提高对实际采集图像后续处理的有效性。

进一步，所述探鸟子系统包括处理模块，所述目标检测模块还包括裁剪单元和坐标单元，所述裁剪单元在训练模块训练过程中将预设图像裁剪成多个图块，所述坐标单元对图块进行并行处理得到预设像素坐标，所述裁剪单元将采集图像裁剪成多个方块状的子图发送至坐标单元，所述坐标单元在并行处理完成后输出鸟类在采集图像中的鸟类像素坐标，所述处理模块对像素坐标整合发送至定位子系统。

有益效果是：学习训练模型时对预设图像进行裁剪，并将采集图像剪裁后由坐标单元进行并行处理，并在并行处理后输出像素坐标，便于从采集图像中定位处较小体积的鸟类，处理速度快，提高鸟类定位的实时性。

进一步，所述定位子系统包括转换模块和系数模块，所述系数模块预存有放大倍数对应的转换系数、中心像素坐标和实际坐标，所述处理模块将搜索到的鸟类像素坐标发送至转换模块，所述转换模块根据鸟类像素坐标、中心像素坐标和转换系数将鸟类在采集图像中的位置转换至实际环境中的位置。

有益效果是：将转换系数存储至系数模块，再通过转换模块将鸟类在采集图像中像素坐标转换至实际环境中，减少转换系数的计算量，通过鸟类位置定位的实时性。

进一步，相邻的所述子图间具有预设范围的重叠。

有益效果是：在剪裁采集图像时预设一定的重叠量，减少因剪裁造成的特征丢失。

进一步，所述转换模块将鸟类像素坐标与中心像素坐标相减后乘以转换系数得到移动变量。

有益效果是：以采集图像的鸟类像素坐标与中心像素坐标相减得到移动变量，以固定的中心像素坐标为基础，提高鸟类定位的准确性。

进一步，所述移动变量为鸟类相对于图像中心点的位置变量，所述移动变量包括鸟类在实际环境中的水平角度和垂直角度。

有益效果是：将移动变量通过水平向和垂直向的角度进行标定，两个维度确定的鸟类位置，更准备。

进一步，所述定位子系统包括定位模块，所述转换模块将移动变量和实际坐标发送至定位模块，所述定位模块将移动变量与实际坐标相加定位鸟类在实际环境中的位置。

有益效果是：定位模块根据移动变量和实际坐标定位鸟类在实际中的位置，便于鸟类位置的定位。

附图说明

图1为本发明基于深度学习的探鸟定位系统实施例的逻辑框图；

图2为本发明基于深度学习的探鸟定位系统实施例的实施过程流程图。

具体实施方式

下面通过具体实施方式进一步详细说明。

基于深度学习的探鸟定位系统，如图1所示，包括采集子系统、探鸟子系统和定位子系统，采集子系统对探测鸟类的图像数据进行采集，采集子系统可用现有摄像机进行图像数据采集，采集子系统采集的图像数据发送至探鸟子系统，探鸟子系统将处理得到的数据发送至定位子系统。

探鸟子系统包括具有训练模型的目标检测模块和处理模块，目标检测模块包括预处理单元、裁剪单元和坐标单元，预处理单元在学习训练模型时对预设图像进行翻转和噪声添加，预处理单元可通过现有的算法进行采集图像的翻转和噪声添加，裁剪单元在训练模块训练过程中将预设图像裁剪成多个图块，裁剪时保持相邻的子图间具有预设范围的重叠，预设范围可设置成10％，坐标单元对图块进行并行处理得到预设像素坐标，然后对图块的处理结果输出结果，处理模块对输出结果通过nms算法进行融合，如此反复，让输出结果最接近与预设图像中鸟类的像素坐标，对该输出结果最优化得到训练模型。

在得到训练模型后对实际采集图片输入训练模块进行处理时，裁剪单元将采集图像裁剪成多个方块状的子图发送至坐标单元，坐标单元对子图进行并行处理得到输出结果，裁剪时保持相邻的子图间具有预设范围的重叠，预设范围可设置成10％，处理模块对输出结果进行nms算法融合得到类型和像素坐标，处理模块将像素坐标发送至定位子系统，处理模块可用现有的i7-620lm型号的处理器，例如以采集图像的左上角为初始点，将初始点的初始像素坐标记为(0,0)，处理模块通过识别采集图像中像素点并记录其中的鸟类像素坐标，鸟类像素坐标以鸟类的中心点为准，例如鸟类像素坐标为(480,270)。

处理模块将采集图像的放大倍数和像素信息发送至定位子系统，定位子系统包括转换模块、系数模块和定位模块，系数模块预存有放大倍数对应的转换系数、中心像素坐标和图像中心点在实际环境中的实际坐标，处理模块在发送采集图像时获取放大倍数对应的转换系数和系数模块中的参数一同发送至转换模块，转换模块根据鸟类像素坐标、中心像素坐标和转换系数将鸟类在采集图像中的位置转换至实际环境中的位置，转换系数为每个放大倍数下的一个像素对应的偏转角度，例如1920*1080图像的中心像素坐标为(960，540)，转换系数记录为c，转换时，转换模块将鸟类像素坐标与中心像素坐标相减后乘以转换系数得到移动变量，例如鸟类像素坐标与中心像素坐标相减为(-480，-270)，移动变量就可以是(-(480*c)°，-(270*c)°)，移动变量为鸟类相对于图像中心点的位置变量，移动变量包括鸟类在实际环境中的水平角度和垂直角度，转换模块将移动变量和实际坐标发送至定位模块，定位模块将移动变量与实际坐标相加定位鸟类在实际环境中的位置。

如图2所示，具体实施过程如下：

在进行实际采集前，先进行训练模型的学习，由目标检测模块对预设图像进行学习，通过预处理单元对预设图像进行翻转和加躁声预处理，让预存图像与实际采集的图像更接近，提高后续的处理结果，再由裁剪单元对预设图像进行裁剪得到多个图块，最后由坐标单元对图块进行并行处理得到像素坐标的输出结果，处理模块对输出结果进行融合得到预设图像中鸟类的像素坐标，如此反复，让输出结果最接近预设图像中鸟类的像素坐标时为最优，得到训练模型，在预处理剪裁时的子图与模型的训练输入尺寸相当，即相邻图块间具有预设范围的重叠，从而避免因为模型训练时，resize操作造成的特征丢失。

实际探鸟时，以宁夏地区的鸟类探测为例，探测50米范围内的鸟类，通过采集子系统进行鸟类探测的图像数据采集时，采集子系统与探鸟子系统间的数据传输使用tcp协议，通过直接取内存的方式，再以wifi为介质进行数据传输，探鸟子系统接收到数据后，接收的数据是摄像机端的图像内存数据，由处理模块首先将该数据放到byte数组中，然后将byte数组转换成mat对象，从而获得图像进行解码，从而获得图像数据，视频帧率为25fps，全景部分有两个视频通道(2*4096*1800)，吊仓为单独的一个通道(1920*1080)。

处理模块获取采集图像后经过裁剪单元的裁剪预处理，本实施例使用yolov3算法进行目标检测时对darknet53网络进行了裁剪和优化，提高目标检测的实时性，利用多尺度特征进行鸟类对象的检测，对象分类用logistic取代了softmax，将神经网络检测出来的结果进行筛选，然后将目标检测框的像素坐标，即坐标单元并向处理得到像素坐标的输出结果，由于在裁剪时容易将一只鸟裁剪到两张子图中，所以由处理模块通过nms算法进行输出结果的融合得到唯一的像素坐标，将该像素坐标转换到机器人坐标系(即实际环境坐标)下的水平角度和俯仰角度，通过rostopic的方式，将鸟类的定位结果发送给后续的驱鸟模块。

探鸟时，将单张待检测的子图图像生成与模型输入尺寸相当的多张图片(生成的多张图像可以通过将多张图像重叠的部分去掉，然后进行拼接就可以得到原始图像)，由处理模块对这些生成的多张图片以batch方式进行并行检测，最后再对所有的检测结果通过nms算法进行处理，避免因为resize造成特征丢失，提高实时性。

探鸟子系统中，模型输出的结果包括类别(bird)和每只鸟在图像中的鸟类像素坐标，类别可以是预存的类型，为了满足驱鸟需求，需要将像素坐标转换成机器人坐标(即采集子系统所处的实际环境坐标)。

在拍摄采集图像放大倍数确定的情况下，同一款相机图像中的像素与角度之间，存在一定的系数关系(即一个像素代表多少的偏转角度，转换系数)，该转换系数通过相机标定获得；图像中心位置(实际坐标)在机器人坐标中的角度已知，然后就可以通过每只鸟在图像中的像素坐标计算出在机器人坐标中的水平和俯仰角度，从而指导驱鸟。

本实施例通过将采集图像裁剪成多个子图后进行并行处理，提高探鸟的实时性，同时，根据放大倍数将鸟类的像素坐标转换至实际坐标轴，提高探鸟定位的准确性。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。