一种基于深度学习和云边检测的嵌入式物联网驱鸟系统

本发明属于特殊环境保护领域，具体涉及一种基于深度学习的嵌入式驱鸟装置和一种云边结合的故障检测的嵌入式物联网驱鸟系统。

背景技术：

1、随着社会发展和生态环境的改善，一些领域对工作环境的安全、效益、环保等做出了更高的要求，比如航天航空、农田、变电站等，这些工作环境受鸟类侵袭影响极大，轻则延误时机，重则损坏设备从而位移人身生命安全，所以需要一种合适的驱鸟设备来保障工作的正常进行。国内外目前驱鸟的方法，仍然停留在使用传统的工具，如声音驱鸟、化学驱鸟、激光驱鸟、网捕驱鸟、假模型驱鸟等，这些方法的缺点很明显，一是需要大量人工去操作、监视，二是效率低下，三是范围小，在这些驱鸟系统部署和研究过程中，不仅耗费大量的人力物力财力，而且远远达不到预期效果。因此，需要一种基于深度学习的的驱鸟装置解决上述问题，另外目前深度学习主要依赖于高算例设备运行，所以需要将深度学习算法应用到嵌入式设备上，使其脱离高算力设备运行也是我们需要解决的问题。

2、此外，上述工作环境大多位于野外、荒漠、草原等原理城市的地方，点与点的距离都很远，比如一些风力发电站、大规模种植园等，如果经常派人到实地检测故障、维修维护等，不仅周期很长，而且耗费人力物力，导致发现问题得不到及时处理，影响设备运行、工作迟滞。所以需要一种云边结合的方式来实时远程检测设备的各项参数，使用户可以远程的分析问题，从而得出合适解决方案。目前这种应用在嵌入式设备的边缘计算和云计算结合的方案也是极少。

技术实现思路

1、根据以上内容，针对驱鸟系统需要克服传统方法、实时远程监控等问题，本发明提出了一种基于深度学习和云边检测的嵌入式物联网驱鸟系统。

2、为达到技术目的，本发明采用如下技术方案：

3、一种基于深度学习和云边检测的嵌入式物联网驱鸟系统，包括软件分工模块和硬件设备两大部分；所述软件分工模块包括深度学习目标检测模块、驱鸟模块、故障诊断模块、云计算模块、物联网信息检测模块，所有软件分工模块的控制程序都集成在控制器(10)中，控制器芯片使用实时操作系统进行控制分工和消息传输；所述硬件设备包括伸缩式防护罩(1)、激光发射器(2)、工业相机(3)、旋转轴承底盘(4)、可调支柱(5)、太阳能板(7)、超声波发射器(8)、蓄电池(9)、控制器(10)、防护底座(11)、加热元件(12)；伸缩式防护罩(1)置于旋转轴承底盘(4)上，伸缩式防护罩(1)内部自上而下依次设置激光发射器(2)、工业相机(3)，旋转轴承底盘(4)下端连接可调支柱(5)，可调支柱(5)下部设置有太阳能板(7)、超声波发射器(8)、蓄电池(9)、控制器(10)、防护底座(11)、加热元件(12)；

4、所述软件分工模块由控制器(10)控制，每个模块之间互不影响，深度学习目标检测模块负责图像采集、目标检测和目标定位，工业相机(3)采集图像，运行目标检测算法，如果检测结果中存在目标，将对目标进行标定，最终输出x和y轴两个方向的一个范围的数值，数值输入到控制器(10)，控制器(10)将数值转化为对应的电压值，控制器(10)将电压值发送至驱鸟模块，驱鸟模块会根据电压值调整激光发射器(2)和超声波发射器(8)；故障诊断模块可以通过边缘检测算法实时采集各个元器件的的数据，所采集数据储存在控制器(10)中，控制器(10)将数据传至云计算模块进行故障分析；物联网信息检测模块实时检测环境信息，采集的信息存储在控制器(10)中，控制器(10)可以通过云计算模块将数据发送至用户端；控制器(10)可以控制用供电模块的状态，当温度低于0℃时，控制器(10)发送制热指令，对加热元件(12)进行供电，当加热元件(12)空闲或电量低于20％的时候，控制器(10)发送指令控制太阳能板(7)对电池进行充电。

5、进一步，所述防护底座(11)用于固定设备，超声波发射器(8)、蓄电池(9)、控制器(10)安装在防护底座(11)内部，便于防水、防尘，控制器(10)控制太阳能板(7)对蓄电池(9)进行充电，控制器(10)控制蓄电池(9)对设备进行放电；控制器(10)通过控制电机使可调支柱(5)进行高度调节和旋转轴承底盘(4)进行转动；控制器发送指令控制工业相机(3)进行图像采集，并接受图像处理数据；控制器控制激光发射器(2)发射激光；控制器控制伸缩式防护罩(1)的展开与收缩。

6、进一步，控制器(10)使用国产中科芯cks32f407xg，控制器芯片集成于一块控制板上；控制器mcu中移植了μc/os-iii嵌入式实时操作系统，负责各个模块的管理、任务调度、通信、消息传输及系统中断，使用μc/os-iii嵌入式操作系统更方便对程序的分块管理，其中操作系统的中断响应，可以方便用户对设备远程操作。

7、进一步，所述深度学习目标检测模块依靠工业相机(3)、图形处理器gpu加速器和识别算法实现，其中工业相机选用海康cu060工业相机，图形处理器gpu选用专用于嵌入式设备的nvidia jetsontx2，算法使用一种设计改良的轻量化目标检测算法yolov7-ting模块，保证目标检测的精度和速度；深度学习目标检测模块包括以下模块：

8、图像数据集模块：选用birdsnap鸟类数据集，包括500多种鸟类，将数据集的近5万张图片作为训练样本；

9、yolov7-ting模块：

10、①在原网络结构中加入广义高效层聚合网络gelan模块，广义高效层聚合网络gelan模块采用了跨阶段局部网络cspnet的分割和重组的概念，并在每一部分引入了高效长距离网络elan的层级卷积处理方式，广义高效层聚合网络gelan的设计考虑到了轻量化、推理速度和精确度，以此来提高模型的整体性能，更适合嵌入式移动设备；

11、②原网络下采样sppcsc模块用金字塔池化结构sppelan替换，通过三层不同尺度的最大池化获得三种不同的感受野，来区分大目标和小目标，同时该模块将特征分为两部分，分别进行不同处理，最后融合到一起，计算量减少，速度加快、精度提升；

12、③数据增强方式主要采用：随机裁剪、随机翻转、随机旋转、颜色变换。

13、进一步，所述驱鸟模块依靠激光发射器(2)和超声波发射器(8)实现，控制器(10)根据时间选择驱鸟方案，白天使用超声波驱鸟方案，根据鸟类不同发射不同频率超声波，夜晚使用激光驱鸟方案，绿光和紫光交替发射。

14、进一步，所述故障诊断模块采用边缘检测和云计算相结合的方式，设备先通过边缘检测实时诊断各个器件、模块的故障，实时采集元器件各种参数，通过通信模块4g/5g网络上传到云服务器，通过云计算对采集数据进行分析，实时判断设备是否发生故障，经过处理的数据和分析的故障上传至用户端，用户可实时查看设备运行状况。

15、进一步，所述云计算模块和物联网信息检测模块，其通信为双向，用户可将更新程序上传至云服务器，云服务器可将程序下载至控制器(10)。

16、进一步，太阳能板(7)上涂有防水材料(6)，太阳能板对蓄电池进行充电；当温度低于0摄氏度时，控制器启动加热元件(12)对设备进行辅热，加热元件分布于设备各处，保证设备在低温环境下可以运行。

17、进一步，所述伸缩式防护罩(1)可在恶劣天气时，将防护板展开，包裹激光发射器(2)和工业相机(3)，减少对设备的损伤；

18、所述旋转轴承底盘(4)水平360°旋转，从而使工业相机(3)全方位检测，旋转轴承底盘由电机控制，电机由控制器(10)控制。

19、进一步，所述可调支柱(5)进行上下高度调节，由用户远程设置高度，发送指令给控制器(10)控制，控制器控制电机进行调节，也可以在安装设备时手动调节高度。

20、本发明的有益效果是将深度学习目标检测的方法和边缘计算云计算结合的方法融合到一起，应用与同一个嵌入式设备中，一方面利用轻量化的深度学习算法识别鸟类，从而进行高效率的驱鸟。另一方面利用边缘计算云计算集合以既物联网模块，使用户可以远程实时的检测故障信息和环境信息，从而更方便得出正确的解决方案。本发明既克服了传统驱鸟方法投入大、效率低的不足，又实现远程对设备进行故障检测、环境信息检测的功能，将程序植入到嵌入式芯片中，摆脱了计算机的束缚，降低了使用成本，使驱鸟效率大大提高，减少了人员物资的投入，同时不会对环境造成影响，可以在航天航空、农业、电力等领域广泛应用。