无人机轻量级目标检测方法、系统、介质、设备及终端与流程

本发明属于计算机视觉，尤其涉及一种无人机轻量级目标检测方法、系统、介质、设备及终端。

背景技术：

1、目前，电力系统中各种电压的变电所及输配电线路组成的整体，称为电力网，它包含变电、输电、配电三个单元，电力网的任务是输送与分配电能，改变电压；近年来，伴随着中国电力发展步伐不断加快，中国电网也得到迅速发展，电网系统运行电压等级不断提高，网络规模也不断扩大，全国已经形成了东北电网、华北电网、华中电网、华东电网、西北电网和南方电网6个跨省的大型区域电网，并基本形成了完整的长距离输电电网网架。目标检测是智能电网无人机巡检系统中的重要组成部分，很多计算机视觉领域的相关研究者都针对目标检测做了大量的研究。

2、对于目前的一些轻量化改进后的目标检测算法，已经可以被部署到运用到边缘的嵌入式设备上，比如：tiny yolov3、yolo nano、pelee ss等算法，特别是最近一位研究者提出的yolo-fastests算法，在树莓派3b这类cortex-a设备上使用ncnn推理框架已经可以做到单帧推理时间低于100ms的实时检测效果。这些算法尽管让目标检测算法从需要高算力、高成本、高功耗的gpu上，通过做出稍微的精度牺牲然后可以在相对gpu来说低算力、低成本、低功耗的嵌入式设备上实现实时的目标检测功能，但这些cortex-a或一些有异构加速单元的芯片，对于算力、成本和功耗更为廉价的mcu(micro controller unit微控制器)来说仍然相比甚高。而在现在的智能交通系统中存在大量的基于mcu的iot设备，数量多且分布广，对于行人目标检测这类算法权重基本大于1mb，且flops在0.2bflos以上，难以实现在mcu设备上进行实时目标检测。如果进行模型更进一步的轻量化裁剪，而检测精度不会大幅度的下降，这对算法模型本身的设计也提出了较高的要求。

3、除此之外，在进行卷积或池化等多维数据密集计算的时候，是需要耗费大量算力资源的，对于mcu这种本身主频很低(几十兆～几百兆不等)，依靠cpu进行昼夜不停的计算也需要耗费非常多的时间，非常难保证实时效果。其实在微处理器上本身具有一些可用于计算加速的资源，比如在cortex-m4和cortex-m7上都包含dsp资源，可以在一定程度上对神经网络的加速起到作用，但它的加速作用非常有限，并非所有算子都支持，对于具体的模型和算子如何做相互修改适配，也是一个难点。此外在mcu上运行的往往是不带操作系统的裸机或嵌入式微内核实时操系统，并不像linux或windows这种宏内核操作系统可以非常方便的安装几十上百兆应用软件，如：opencv、tensorflow等，即使使用了面向ai场景的microinfer和xidianos，仍然需要对模型的输出去做进一步的处理，才可以实现输出模型的数据和现实图片的画框进行对应，才具备实际意义，需要设计mcu上使用的yolo解码器以及实现非极大值抑制(nms)。

4、通过上述分析，现有技术存在的问题及缺陷为：

5、(1)在现在的智能电网系统中存在大量的基于mcu的iot设备，数量多且分布广，对于目标检测这类算法权重基本大于1mb，且flops在0.2bflos以上，难以实现在mcu设备上进行实时目标检测。

6、(2)如果进行模型更进一步的轻量化裁剪，而检测精度不会大幅度的下降，这对算法模型本身的设计也提出了较高的要求；微处理器上本身具有可用于计算加速的资源，但它的加速作用非常有限，并非所有算子都支持。

7、(3)在进行卷积或池化等多维数据密集计算的时候，是需要耗费大量算力资源的，对于mcu这种本身主频很低(几十兆～几百兆不等)，依靠cpu进行昼夜不停的计算也需要耗费非常多的时间，非常难保证实时效果。

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种无人机轻量级目标检测方法、系统、介质、设备及终端。

2、本发明所采用的技术方案是：一种无人机轻量级目标检测方法，步骤包括：

3、步骤一：对yolo系列网络的主干网络结构进行分析，将特征金字塔与darknet-53网络模型相结合，得到yolov3的主干网络；

4、步骤二：对yolo-fastest的特征金字塔部分进行裁剪，得到裁剪后的yolo-fastest网络；

5、步骤三：构建yolo解码器，实现非极大值抑制，最后在mcu配套的lcd屏幕上呈现识别效果。

6、其中步骤一具体为：步骤中所述darknet-53网络模型由convolutional和residual结构组成；所述convolutional结构包括普通卷积层，使用的激活函数为leaky_relu。

7、步骤二具体为：所述yolo-fastest主干网络的residual结构中，残差模块使用short cut机制，用于缓解在神经网络中单纯增加深度而带来的梯度消失问题；通过恒等映射的方法使得输入和输出之间建立直接连接的通道，进而使得网络汇总网络输入和输出之间的残差值；所述yolo-fastest的主干网络共使用5个convolutional结构，且每个convolutional结构之间均包括shortcut。

8、从网络裁剪的角度，将原本网络结构中上采样的操作取消，同时裁剪掉原本用于小目标检测输出的分支，只保留对大目标的检测能力；对于主干网络原本的五层convolutional结构修改为三层，其余的卷积层则予以保留。

9、步骤三所述yolo解码器的构建包括：

10、步骤3.1：编码过程

11、当输入的图像原图大小(height×weight)为500×600，预测框的坐标值为：(xmin,ymin,xmax,ymax)＝(50,100,250,300)：

12、计算预测框的中心像素坐标：

13、

14、计算预测框的长和宽：

15、

16、相对于原图尺寸进行归一化计算得到box坐标点为(bx,by,bw,bh)：

17、

18、当一张图片被分割为13×13个grid cell，其中(gx,gy,gw,gh)表示真实预测框映射到特征图中的四个坐标，分别表示映射后的中心坐标x值和y值以及预测框映射后的高和宽：

19、gx,gy＝[x,y,w,h]×[13,13]＝[3.25,5.2]；

20、经过取整得到对应的单元格索引cx,cy＝(3,5)，得到预测框坐标相对于grid坐标的偏移量tx,ty：

21、

22、取sigmod逆函数得：

23、

24、对于原图的weight和height，当anchor＝(68,118)，则：

25、

26、最终得到编码后的结果：(tx,ty,tw,ty)＝(0.25,0.2,1.07,0.528)。

27、步骤3.2：解码过程

28、解码算法的设计是编码过程的逆序，对每一次神经网络推理完成后的输出进行解码操作，从而获得真实检测框的(bx,by,bw,bh)。

29、定义sigmod函数为：

30、σ(x)＝1/(1+e-x)；

31、解码得到(bx,by,bw,bh)：

32、

33、神经网络不断学习tx,ty,tw,th偏移量和尺度缩放，预测时使用4个offsets求得bx,by,bw,bh；预先定义检测框的锚点，提前算出pw和ph。

34、步骤3.3：非极大值抑制的实现

35、在训练中挑选bounding box的准则是选择预测的box与数据集中的真实标注预测框的iou最大的boundingbox做为最优的box，但是在单次推理预测中并没有数据集中的标签值作为参考，挑选最优的boundingbox参考其它置信度。

36、置信度是每个bounding box输出的其中一个重要参数，代表当前box是否有目标的概率pr(object)，用于说明当前box内只是目标所处的背景还是具体存在某个预测出来的物体目标；当前的box有目标时，预测的box与物体真实的box可能的ioutruth_pred值，表示模型认为自己将目标所有特征均框出的自信程度，置信度定义：

37、

38、其中，表示第i个grid cell的第j个bounding box置信度。

39、在mcu上针对改进后的yolo-fstest实现nms的步骤如下：

40、(1)标记出置信度最高的检测矩形框f，作为确定会保留下来的矩形框；

41、(2)从最大概率矩形框f开始，遍历其它矩形框依次分别判断和f的重叠度iou是否大于某个设定的阈值，如果有iou超过阈值的矩形框则直接扔掉；

42、(3)再从剩下的矩形框a、c、e中选择概率最大的保留，标记为要保留下来的矩形框；依次判断剩下矩形框的重叠度，超过设定阈值的则扔掉；

43、(4)依次类推，直到没有剩下任何矩形框，将保留下来的矩形框进行标记。

44、在nms中设定一个阈值过滤掉iou高于阈值的检测框，在mcu上使用的阈值为0.2，对单张图片预测后保留的检测框放入boxs集合；遍历集合的所有检测框，对置信度大于0.2的检测框根据坐标进行描框输出，最后在mcu配套的lcd屏幕上呈现识别效果。

45、本发明的另一目的在于提供一种应用所述的无人机轻量级目标检测方法的无人机轻量级目标检测系统，所述无人机轻量级目标检测系统包括：

46、主干网络分析模块，用于对yolo系列网络的主干网络结构进行分析，将特征金字塔与darknet-53网络模型相结合，得到yolov3的主干网络；

47、特征金字塔剪裁模块，用于对yolo-fastest的特征金字塔部分进行裁剪，得到裁剪后的yolo-fastest网络；

48、目标检测模块，用于构建yolo解码器，实现非极大值抑制，最后在mcu配套的lcd屏幕上呈现识别效果。

49、本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的无人机轻量级目标检测方法的步骤。

50、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述的无人机轻量级目标检测方法的步骤。

51、本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的无人机轻量级目标检测系统。

52、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

53、第一，针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：

54、仿真实验结果表明，原始yolo-fastest网络在上位机推理500张图片平均耗时达到268.08s，平均每张图片检测耗时536.17ms；裁剪后的yolo-fastest在上位机推理500张图片平均耗时13.89s，平均每张图片耗时27.78ms；量化后的yolo-fastest在上位机推理500张图片平均耗时4.25s，平均每张图片耗时8.5ms。可以看出，本发明裁剪后的网络在推理速度上获得了非常大幅的提升，特别是量化以后的模型大大减少了浮点运算的次数，进一步加快了推理速度。

55、第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：

56、本发明提供的无人机轻量级目标检测方法，对现有的yolo系列网络的主干结果进行分析，将特征金字塔与darknet-53网络模型相结合得到了本发明的yolo主干网络，并对yolo-fastest的特征金字塔部分进行裁剪，得到裁剪后的yolo-fastest网络。裁剪后的yolo-fastest网络具有更轻的权重和大小与更快的检测速度，能够实际部署在mcu上进行目标检测。mcu在进行目标检测时，利用了nms解决同一图像的多重检测问题，通过在局部进行最大搜索，从而抑制区域内除了最大值以外的值，这个局部指的是图形中的一个检测框所在区域；通过检测结果可以非常明显的发现，裁剪后的yolo-fastest网络在目标图片上可以检测出对象目标的位置。

57、第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：

58、(1)本发明的技术方案转化后的预期收益和商业价值为：

59、目前社会的多个领域都需要使用到目标检测技术，对于这些领域，利用本发明的技术方案可以使其获得更轻更快的目标检测模型，并且所得到的模型能够在较低性能的mcu上进行部署使用，相比目前市面上所普遍使用的边缘计算平台，能够让成本大大降低，为企业及社会带来巨大的经济效益。

60、(2)本发明的技术方案克服了技术偏见：

61、本发明的技术方案创造性地对yolo目标检测模型进行了裁剪，并将其部署在了mcu平台上，克服了目前绝大多数人对于目标检测模型只能部署在高性能的服务器或边缘计算平台上的技术偏见。较低的性能需求可以使得目标检测技术能够更多地运用在社会的各个领域。