一种基于无人机遥感和深度学习的油气管道全智能巡检系统的制作方法

本发明属于检测领域，具体涉及一种基于无人机遥感和深度学习的油气管道全智能巡检系统。

背景技术：

油气管道作为能源运输的重要工具，一旦发生泄漏或者爆炸事故，将严重威胁人民群众的生命和财产安全，因此管道的安全巡护与管理非常重要。国家油气管道保护法规定：在管道线路中心线两侧各五米地域范围内，禁止种植深根植物、挖掘施工、违章修建等行为。然而，上述危害油气管道安全的行为却时有发生，甚至造成不可挽回的损失。这反应了油气管道巡检方案的不足。

目前，常规的油气管道巡护方式，一般是巡护人员徒步观察，检查线路情况并作记录。该巡检方式工作量大，效率低，耗时长、主管因素多，人工成本高，而且受制于地形等。

利用靠近管道布设的光纤传感器，可以通过光信号的变化对管道周边的震动进行分析预警。但目前光纤和大部分电子感应装置普遍存在误差高、作用距离短，获取信息有限等弊端。

随着无人机的发展成熟，利用无人机可以高效、快捷、可靠、低廉的完成巡检任务。目前，现有无人机巡检方案通常是使用无人机拍摄管道周边图像，然后监管人员对图像逐帧的人工观察和判断。该方式需要人工处理海量的视频图像，耗时长，工作效率低，实时性差，且容易产生漏判现象。

技术实现要素：

本发明的发明目的在于：针对上述存在的问题，提供一种基于无人机遥感和深度学习的油气管道全智能巡检系统。从而实现在大范围内实时准确的获取、识别、判断油气管道周围的图像，自动发现危害油气管道安全的行为；当发现危害油气管道安全的行为时，本系统能迅速通知监管部门，触发警报，极大减少巡检的人工和经济成本等，提高管道安全，进而实现油气管道的全智能巡检，降低巡检成本，提高巡检效率和质量。

本发明的基于无人机遥感和深度学习的油气管道全智能巡检系统，包括无人机端、无人机地面端和报警显示终端；

其中，无人机端包括无人机、挂载板、云台、图像采集装置和巡检主控模块；

所述无人机的内部包括gps模块、图传模块、串口和供电口；

所述挂载板用于将云台和巡检主控模块固定在无人机上；

所述云台与图像采集装置相连，用于稳定图像采集装置，以及为图像采集装置减震；

所述图像采集装置，通常采用高分辨率可见光摄像装置，用于实时采集无人机在执行巡检任务时从空中拍摄的地面图像，并将采集的图像数据实时传输给巡检主控模块；

所述巡检主控模块与无人机相连，并通过无人机的供电口实现供电；同时还与图像采集装置相连；巡检主控模块基于其内置的深度神经网络识别器，对接收的图像数据进行危害油气管道安全的行为的目标识别处理，若识别出当前图像数据具有危害油气管道安全的行为的目标对象，则通过连接的串口从无人机的gps模块获取gps时间数据和gps位置数据，连同当前图像数据的危害油气管道安全的行为的目标对象的识别结果作为当前巡检信息，并将当前巡检信息通过无人机的图传模块发送至无人机地面端；以及通过巡检主控模块内置的网络传输模块基于公网传输至远端的报警显示终端；

所述无人机地面端，用于基于巡检任务设置无人机的飞行任务，以及控制无人机的飞行状态，所述飞行任务包括但不限于手动飞行、沿航线自主飞行等；

所述报警显示终端，用于接收和显示无人机端发送的巡检信息，并进行告警提示，例如在地图上显示无人机的位置并触发警报；进一步的，为了实现对历史巡检信息的查阅，报警显示终端将接收的巡检信息进行存储处理，供查阅。

本发明的无人机端的无人机、挂载板、云台，以及无人机地面端构成本发明的飞行和挂载子系统；该飞行和挂载子系统用于搭载图像采集装置和巡检主控模块等，并完成指定的飞行任务，包括手动飞行、沿航线自主飞行等。进一步的，飞行和挂载子系统的飞行时间应在35min左右。

本发明的图像采集装置、巡检主控模块，以及无人机的图传模块构成本发明的图像获取识别子系统，其中图像采集装置优选flir可见光传感器，其支持多种分辨率，且可以通过更换镜头以获取不同的拍摄视角；巡检主控模块优选nvidia公司发布的新一代嵌入式计算平台——nvidiajetsontx2开发板，内置linux系统，能够配置flir可见光传感器的输出格式，实时获取flir可见光传感器的图像数据，并在nvidiajetsontx2开发板中内置深度神经网络识别器(基于关于危害油气管道安全的行为的训练集，对深度神经网络模型进行深度训练学习得到)，自动分析图像采集装置发送的图像数据，自动识别并标注危害油气管道安全的行为，如油气管道周围的大型机械施工、违章建筑等。所述nvidiajetsontx2运算能力强大，每秒能够完成对5帧-6帧图片的分析识别。更进一步地，所述nvidiajetsontx2处理器还负责完成无人机位置时间数据的获取、图像压缩、图像保存至本地(无人机地面端)、数据远程传输的工作。当识别到危害油气管道安全的行为时，所述nvidiajetsontx2处理器就保存相关数据(即巡检信息，也可称巡检结果)，并通过公网将相关数据发送给监管部门。

本发明的报警显示终端、远程传输子系统(巡检主控模块与报警显示终端的远程传输)和位置时间信息获取子系统(巡检主控模块从无人机的gps(globalpositioningsystem)模块获取gps时间数据和gps位置数据)构成了本发明的自动报警子系统。当所述图像获取识别子系统检测到危害油气管道安全的行为时，则可通过所述自动报警子系统获得无人机的位置坐标数据、时间数据，并将坐标数据、时间数据、影像数据等通过4g网络(网络传输模块优选4g网卡)发送给油气管道监管部门，并立即保存显示上述数据和触发警报。

此外，为了从无人机的gps模块获取gps时间数据和gps位置数据，可以对nvidiajetsontx2处理器进行二次开发接口(即设置读取gps模块的接口)，基于该接口从无人机中获取无人机的gps坐标数据和gps时间数据，该数据非常精确。例如无人机采用的型号为djim600pro，则使用nvidiajetsontx2处理器通过开发软件djionboardsdk二次开发接口，从而基于开发的接口从无人机的gps模块读取gps坐标数据和gps时间数据。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明通过无人机巡检油气管道，能够全面快速实时的获取油气管道周围的图像，提高巡检效率、降低巡检成本。本发明利用深度学习技术智能实时分析无人机捕获的影像，当检测到危害油气管道的行为时即自动触发警报，极大地减少了人工分析视频图像的工作量，有效避免了漏检现象，提高巡检可靠性，保证巡检质量。而且本发明能够将影像数据存储到存储器中，方便以后的观察。因此，本发明是集无人机遥感技术、航线规划技术、嵌入式技术、深度学习技术于一体的油气管道全智能巡检系统。该系统应用简单，可靠高效，能显著地降低巡检成本，提高巡检效率和质量。

附图说明

图1为本发明的全智能巡检系统的结构框图；

图2为无人机端的实物图；

图3为无人机地面端的djigoapp的运行效果图；

图4为电脑终端警报显示系统的运行效果图；

图5为本系统作业方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

为了克服现有油气管道巡检方案的不足，本发明提供了一套新的全智能油气管道巡检系统：基于无人机遥感和深度学习的油气管道全智能巡检系统。本系统采用无人机搭载高分辨率可见光相机从空中获得影像数据，用户可用图传设备在地面上实时看到处理后的影像。该系统利用深度学习算法实时分析图像，自动发现危害油气管道安全的行为，如大型机械施工、违章建筑等。一旦发现危害管道安全的行为，该系统可以保存相关数据，并通过4g网络向监管部门传输位置数据、时间数据和影像数据，且触发警报，从而迅速通知监管部门。该系统实现了油气管道的全智能巡检，降低了巡检成本，提高了巡检效率和质量。

参见图1，本发明的基于无人机遥感和深度学习的油气管道全智能巡检系统，包括无人机端110、无人机地面端120和电脑终端130(也可称为报警显示终端)组成。

其中，无人机地面端120操纵无人机端110完成特定的飞行任务，无人机端110负责从空中拍摄影像并智能化实时分析和识别影像中危害油气管道的行为，包括大型器械施工和违章建筑等。即预先标定危害油气管道的行为所对应的图像作为识别的目标对象，然后对实时采集的拍摄影像进行图像的目标识别处理后，识别出当前拍摄图像中的危害油气管道的行为。当识别出当前拍摄图像的目标对象后，还可以通过无人机111的图传模块实时将识别结果的影像回传到无人机地面端120，无人机地面端120可以实时显示影像。无人机端110和电脑终端130可以通过物联网(例如中移物联云平台)建立远程无线连接。当无人机端110检测到危害油气管道的行为时(即当识别出当前拍摄图像的目标对象)，就会保存该影像，并将影像数据、位置数据、时间数据远程无线传输给电脑终端120，电脑终端120触发警报，然后保存并显示收到的数据。

所述无人机端110包括无人机111，挂载板112，云台113，图像采集装置114和巡检主控模块115；本具体实施方式中，采用的无人机111的型号为djim600pro，网络传输模块为4g网卡；图像采集装置114采用flir(菲力尔)可见光传感器，巡检主控模块115为nvidiajetsontx2开发板，图2所示为型号为djim600pro的无人机的实物图。其中，djim600pro无人机111负责挂载flir可见光传感器并完成飞行任务，其内部包含有gps模块、图传模块、串口、供电口等。其中图传模块优选djilightbridge2，使得在空旷地区的图像信号传输距离远达5公里。

其中，无人机111的gps模块用于获取无人机111当前的gps时间数据和gps位置坐标数据，并发送给巡检主控模块115，即通过串口与nvidiajetsontx2开发板的usb口相连，用于向所述nvidiajetsontx2开发板提供gps时间数据和gps位置数据；图传模块用于将巡检主控模块115输出的对危害油气管道的行为的识别结果(图像信号)传输给无人机地面端120；供电口用于为巡检主控模块115供电，即无人机111的供电口与nvidiajetsontx2开发板的电源接口相连，用于给所述nvidiajetsontx2开发板供电。

所述挂载板112用于固定云台113和巡检主控模块115，其中云台113与图像采集装置114相连，用于给图像采集装置114减震和稳定图像采集装置114。而图像采集装置114则用于向巡检主控模块115提供其实时采集的清晰稳定的图像。

巡检主控模块115用于实时获取图像采集装置114从空中拍摄的影像，并通过内置的深度神经网络识别器对获取的图像数据进行目标识别处理(通过深度神经网络识别器判别当前图像中是否存在目标对象，若是，则在当前图像中得到对应目标对象所在的图像框，即当前图像的目标识别结果)，基于目标识别结果得到图像数据中危害油气管道安全的行为。

其中，深度神经网络识别器为：构建(选择)用于目标对象识别的深度神经网络模型，基于所设置的目标对象(如大型器械施工和违章建筑等)设置对应的训练集，并通过训练集对所选择的深度神经网络模型进行深度学习训练，并将训练好的深度神经网络模型作为深度神经网络识别器。其中，所采用的深度神经网络模型可以是现有的目标对象识别网络，例如ssd(singleshotmultiboxdetector)、faster-rcnn等等，本发明对于具体的深度神经网络模型不做具体限定。同时，对深度神经网络模型的训练也可采用任一惯用的深度学习训练方式即可。

本发明所采用的nvidiajetsontx2开发板(即巡检主控模块115)运算能力强大，每秒能够完成对5帧-6帧图片的分析识别处理，且nvidiajetsontx2开发板还负责完成无人机位置和时间数据的获取、图像压缩、图像保存至本地、数据远程传输的工作。一旦识别到危害油气管道安全的行为，则nvidiajetsontx2开发板的处理器即将所获数据(目标识别结果、无人机位置和时间数据)通过公网发送给监管部门，即发送给报警显示终端，以供监管部门获悉。参见图1，本具体实施方式中，nvidiajetsontx2开发板通过其usb口与flir可见光传感器相连，用于获得图像数据；通过usb口与网络传输模块(优选4g网卡)相连，用于连接公网，从而与后端的电脑终端130连接远程连接；且通过usb口与djim600pro无人机的串口相连，用于从其获得gps时间数据和gps位置数据；此外，nvidiajetsontx2开发板的电源接口与djim600pro无人机的供电口相连。其中4g网卡优选华为公布的e3372模块，该4g网卡通过usb接口与所述nvidiajetsontx2处理器相连。当nvidiajetsontx2开发板的处理器通过4g网卡e3372模块连接到4g网络，且所述电脑终端130连接公网后，双方即可通过中移物联云平台建立远程无线连接以传输数据。

本发明的无人机地面端120负责操纵无人机端110完成既定的飞行任务，所述无人机地面端120包括遥控器121、飞控处理模块122，本具体实施方式中，飞控处理模块122采用无人机飞行控制应用程序djigoapp，且遥控器内部还设置有图传模块，用于实时接收无人机端110的图传模块发送的图像数据；无人机地面端120通过djigoapp实时显示无人机的状态数据(包括飞行距离、高度、速度、gps时间数据和gps位置坐标数据等)和图传模块接收到的图像数据，如图3所示。同时，无人机地面端120还实现对无人机端110获取的巡检信息(无人机的状态数据和带有识别结果的图像数据)的本地存储，即无人机地面端120还包括存储单元(图1中未视出)，用于对无人机端110发送来的数据进行存储。

本发明的电脑终端130包括运行在电脑终端130上的警报显示子系统，电脑终端130连接公网后，运行警报显示子系统131，即可与中移物联云平台建立连接。当无人机端110识别到危害油气管道安全的行为时，所述警报显示子系统131可以实时接收无人机端110传来的gps时间数据、gps位置数据和图像数据，并触发警报；且警报显示子系统131保存并显示收到的gps时间数据、gps位置数据和图像数据，并根据gps位置数据在地图上显示无人机拍摄该图像时所在位置。此外，电脑终端130的警报显示子系统131还支持历史数据的浏览功能。图4是警报显示子系统131的运行效果图。

参见图5，本发明的基于无人机遥感和深度学习的油气管道全智能巡检系统的作业处理步骤如下：

步骤1：无人机端110综合考虑巡检任务要求、天气状况、飞行环境等因素后，制定合适的飞行计划。确定飞行计划后，无人机地面端120依次打开djigoapp、遥控器。以及电脑终端130连接公网，并打开警报显示子系统131。此时，警报显示子系统通过公网与中移物联云平台建立连接。

步骤2：无人机端110打开无人机。无人机开启后，无人机地面端120的djigoapp可以显示无人机的状态信息，如无人机当前动力电池电压、无人机的位置等。

步骤3：开启nvidiajetsontx2开发板，并启动相应程序。此时，flir可见光传感器开始工作，nvidiajetsontx2开发板获取flir可见光传感器的图像数据并分析该数据后通过无人机端110的图传模块将影像发送给无人机地面端120，所述无人机地面端120的djigoapp可以实时显示图像数据。nvidiajetsontx2开发板通过4g上网卡模块与中移物联云平台建立连接。

步骤4：无人机起飞后，开始执行飞行任务。

步骤5：飞行过程中，nvidiajetsontx2开发板实时获取flir可见光机芯的图像数据，并实时分析识别图像中是否有危害油气管道安全的行为。比如油气管道周围是否有大型机械施工、是否有违章建筑物等。

步骤6：当nvidiajetsontx2开发板检测到危害油气管道的行为时，就在图像上标注这些行为(即目标对象的对象检测框)，将获取的图像数据保存在本地，并通过djim600pro无人机获取gps位置数据、gps时间数据，然后通过云平台向电脑终端发送数据；同时通过无人机端110的图传模块将gps位置数据、gps时间数据、危害油气管道的行为的目标对象识别结果发送至无人机地面端120。此时无人机地面端120的djigoapp显示的图像数据中危害油气管道的行为被矩形框(对象检测框)标注，以便观察。电脑终端130的警告显示子系统131基于实时收到的无人机端发送的数据，自动触发警报，显示和保存接收的gps时间数据、gps位置数据和图像数据，并根据gps位置数据在地图上显示位置。

步骤7：完成飞行任务后，飞机降落。依次关闭无人机、遥控器和djigoapp。而监管部门还可以通过电脑终端130的警报显示子系统131浏览已被保存的历史数据。浏览结束后，关闭电脑终端的警报显示系统。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。