一种无人机与无人车协作巡逻系统及方法与流程

本发明属于机器人协同控制技术领域，尤其涉及一种无人机与无人车协作巡逻系统及方法。

背景技术：

单一地面无人车巡逻系统存在巡检视野范围小且不能覆盖所有区域的问题，而且一些像峡谷、河流等路况复杂的区域无人车无法到达，单一无人机巡逻系统虽然巡检视野开阔，可以到达无人车不能到达的区域，但是无人机存在一个致命缺陷，便是飞行时间短。因此，无人机和无人车协同控制系统逐渐受到人们的关注，二者相互取长补短，能够达到单一无人巡逻系统实现不了的效果。

为解决无人机飞行时间短的问题，本领域技术人员采用无人飞行器通过电缆与无人车上的供电系统相连来解决供电问题，虽然解决了无人机飞行时间短的问题，但是因为无人机拖着线缆不够灵活，适用于高速公路等路况好的区域，应用范围受限。

除此之外，目前还有通过建立中转站，实现无人机精准降落，采用无线供电和利用太阳能电池板来解决无人机续航时间短问题。但是地面一些不适宜无人机飞行的地方还是需要无人车来执行巡检，此外，中转站的建立势必会影响无人机巡逻的灵活性，限制了其应用。

技术实现要素：

为解决上述技术问题，本发明提供一种无人机与无人车协作巡逻系统及方法。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

本发明采用如下技术方案：

在一些可选的实施例中，提供一种无人机与无人车协作巡逻系统，包括：无人机、无人车及用于接收处理所述无人机和无人车返回的监控信息并进行协同任务分配和处理的智能管控系统，所述无人车上设置解锁装置，所述无人机通过所述解锁装置安装在所述无人车上并由所述无人车运载至巡逻目标点；

所述无人机包括：无线数传模块、中央控制模块、多传感器复合导航模块、驱动器、执行机构及电量采集模块，所述多传感器复合导航模块及电量采集模块与所述中央控制模块的信息输入端连接，所述驱动器与所述中央控制模块的控制输出端连接，所述中央控制模块接收到初步返回指令后将所述多传感器复合导航模块采集的位置信息及所述电量采集模块采集的无人机电量信息通过所述无线数传模块发送至所述智能管控系统，所述中央控制模块接收到所述无人车的位置信息后通过所述驱动器控制所述执行机构运作，使得所述无人机降落在所述无人车上；

所述智能管控系统包括：通信模块及与所述通信模块连接的计算模块，所述通信模块用于接收所述无人机的电量信息和位置信息，所述计算模块依据所述无人机的电量信息和位置信息进行计算以判断所述无人机是否可以自行飞回出发点，并通过所述通信模块向所述无人机与无人车下发返回指令。

在一些可选的实施例中，所述无人机还包括：机端通信模块、云台、相机、无线图传模块及摄像机，所述机端通信模块与所述中央控制模块连接，所述云台及摄像机与所述中央控制模块的控制输出端连接，所述相机安装在所述云台上，所述机端通信模块通过2G网络、3G网络、4G网络或北斗卫星短报文与所述智能管控系统通信，所述相机通过所述无线图传模块将拍摄的图片发送至所述智能管控系统，所述摄相机通过所述无线图传模块将拍摄的图片、视频信息发送至所述智能管控系统。

在一些可选的实施例中，所述多传感器复合导航模块包括：用于测量无人机三轴姿态角及高度信息的惯性测量单元、用于提供无人机经纬度及速度信息的GPS接收机、用于输出无人机X轴及Y轴光流信息的光流传感器、用于为无人机实时局域定位的激光扫描测距仪、状态估计器，所述惯性测量单元、GPS接收机及光流传感器与所述状态估计器的信息输入端连接；所述状态估计器包括：卡尔曼滤波器，所述卡尔曼滤波器用于数据融合并计算出无人机的姿态角、经纬度、高度及速度数据。

在一些可选的实施例中，所述无人车包括：导航模块、运动控制模块、车端驱动器、车端执行机构、车端无线数传模块、车端通信模块、车端摄像头及车端无线图传模块；所述导航模块与所述运动控制模块的信息输入端连接，所述车端驱动器及车端摄像头与所述运动控制模块的控制输出端连接；所述运动控制模块接收到所述智能管控系统下发的任务信息后通过所述车端驱动器控制所述车端执行机构运作；所述车端无线数传模块与所述运动控制模块连接，将无人车的自身状态信息传送至所述智能管控系统；所述车端通信模块通过2G网络、3G网络、4G网络或北斗卫星短报文与所述智能管控系统通信；所述车端摄像头通过所述车端无线图传模块将拍摄的视频发送至所述智能管控系统。

在一些可选的实施例中，所述无人车的导航模块包括：用于测量无人车二维姿态角信息的车端惯性测量单元、用于检测无人车的经纬度和速度信息的车端GPS接收机、车端激光扫描测距仪、车端状态估计器；所述车端惯性测量单元及车端GPS接收机与所述车端状态估计器的信息输入端连接；所述车端状态估计器包括：车端卡尔曼滤波器，所述车端卡尔曼滤波器用于数据融合并计算出无人车的姿态角、经纬度及速度数据。

在一些可选的实施例中，提供一种无人机与无人车协作巡逻方法，包括：

无人车将无人机由出发点运载至巡逻目标点并释放所述无人机；

所述无人机接收初步返回指令后，停止移动并采集自身的电量信息及位置信息发送至智能管控系统；

所述无人车接收初步返回指令后，停止移动并采集自身的位置信息发送至所述智能管控系统；

所述智能管控系统根据接收到的所述无人机的电量信息及位置信息判断所述无人机是否可以自行飞回出发点；

若判定结果为无人机可自行飞回出发点，所述智能管控系统向所述无人机与所述无人车发送确定返回指令，所述无人车与所述无人机分别返回出发点；

若判定结果为无人机无法自行飞回出发点，所述智能管控系统将所述无人车的位置信息发送至所述无人机，所述无人机飞行至所述无人车所在的地点，并由所述无人车带回出发点。

在一些可选的实施例中，所述的一种无人机与无人车协作巡逻方法，还包括：所述智能管控系统将任务信息发送至所述无人车及所述无人机；所述任务信息包括：规划完成的航迹路线、运载目标点的坐标、巡逻任务区域的路线、任务地点、需要采集的数据。

在一些可选的实施例中，所述的一种无人机与无人车协作巡逻方法，还包括：所述无人车及无人机按照所述任务信息采集任务区域的环境信息，对任务区域进行巡逻监测并将采集的环境信息和视频图像传送至所述智能管控系统。

本发明所带来的有益效果：本发明不仅将当前地面二维巡逻视野扩展到三维，而且通过无人机和无人车相互协作，延长了无人机的续航时间，实现远程控制与自主控制的相互结合，使得协同巡逻系统更加的智能化和易操作化。

为了上述以及相关的目的，一个或多个实施例包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明某些示例性方面，并且其指示的仅仅是各个实施例的原则可以利用的各种方式中的一些方式。其它的益处和新颖性特征将随着下面的详细说明结合附图考虑而变得明显，所公开的实施例是要包括所有这些方面以及它们的等同。

附图说明

图1是本发明一种无人机与无人车协作巡逻系统框图；

图2是无人机内部结构示意图；

图3是无人车内部结构示意图；

图4是无人机的多传感器复合导航模块的内部结构示意图；

图5是无人车的导航模块的内部结构示意图；

图6是本发明一种无人机与无人车协作巡逻方法的流程示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。

如图1至5所示，在一些说明性的实施例中，提供一种无人机与无人车协作巡逻系统，适用于智能巡防、森林防火监测，包括：无人机、无人车及智能管控系统，所述无人机和无人车通过无线信号建立通信链路与地面智能管控系统实现信息交互，具体的，通过3G/4G、无线图传、无线数传和北斗卫星短报文复合通信方式建立通信链路。

无人车包含两种，一种是适应于路况好的，用于运载无人机到达指定区域，即目标巡逻点，并能够对无人机进行电池更换，一种是适应于越障的。无人机用于与无人车进行协作，对空中区域进行巡逻，无人车上设置解锁装置，无人机通过解锁装置安装在无人车上并由无人车运载至巡逻目标点。所述解锁装置采用电磁控制机构，通过控制解锁装置解锁组件中电磁铁的吸合以及解锁装置中复位组件使断开的电磁铁复位，进而完成无人机的解锁与固定。智能管控系统作为多机协同的大脑中枢系统，用于接收处理无人机和无人车返回的监控信息并进行协同任务分配和处理。根据现场需要调配无人机、两种无人车或者三者协同巡逻，当需要协同巡逻时，由无人车将无人机带到目标点并释放。

无人机包括：无线数传模块1、中央控制模块2、多传感器复合导航模块3、驱动器4、执行机构5、电量采集模块6、机端通信模块7、云台8、相机9、无线图传模块10、摄像机11及巡逻装置。巡逻装置包括危害气体检测传感器、温湿度传感器、全向视觉传感器、红外视觉传感器。

多传感器复合导航模块3及电量采集模块6与中央控制模块2的信息输入端连接，驱动器4、摄像机11及云台8与中央控制模块2的控制输出端连接，无线数传模块1、机端通信模块7与中央控制模块2连接。中央控制模块2包含嵌入式处理器及相关外围器件，负责无人机的自主平稳运行，并根据地面智能管控系统的指示自主飞行到目标位置。驱动器4用来驱动执行机构5的运动，执行机构5包括：机翼、螺旋桨、脚架、起落架、电机。无线数传模块1、机端通信模块7及无线图传模块10组成机端人机交互系统，负责与智能管控系统交互信息，向智能管控系统发送当前位置信息及监控到的图像信息，同时也能接收管控系统下发的任务信息。相机9安装在云台8上，云台8用于增加相机9的稳定性、拍照录像切换和调整相机的姿态角，机端通信模块7通过2G网络、3G网络、4G网络或北斗卫星短报文与智能管控系统通信，相机9通过无线图传模块10将拍摄的图片发送至智能管控系统，摄像机11通过所述无线图传模块10将拍摄的图片、视频信息发送至智能管控系统。摄像机11通过云网络将拍摄的图像传输到智能管控系统的头戴式显示器，通过增强现实技术来获得更好的视角和体验。

无人车包括：导航模块12、运动控制模块13、车端驱动器14、车端执行机构15、车端无线数传模块16、车端通信模块17、车端摄像头18及车端无线图传模块19。

导航模块12与运动控制模块13的信息输入端连接，车端驱动器14及车端摄像头18与运动控制模块13的控制输出端连接，车端无线数传模块16与车端通信模块17组成车端人机交互系统，与运动控制模块13连接，车端无线数传模块16将无人车的自身状态信息及时的传送到智能管控系统，车端通信模块17通过2G网络、3G网络、4G网络或北斗卫星短报文与智能管控系统通。运动控制模块13负责无人车的稳定运行并按照智能管控系统指示到达目标地点。车端驱动器14用来驱动车端执行机构15的运动，车端执行机构15包括：车轮、电机，运动控制模块13接收到智能管控系统下发的任务信息后通过车端驱动器14控制车端执行机构15运作。车端摄像头18通过车端无线图传模块19将拍摄的视频发送至智能管控系统。

智能管控系统包括：显示界面、通信模块20及计算模块21，通信模块20与计算模块21连接，计算模块21用于依据无人机的电量信息和位置信息进行计算以判断无人机是否可以自行飞回出发点。智能管控系统通过通信模块20与无人机和无人通讯，通信模块20包括2G/3G/4G模块、北斗报文通信模块、无线图传通信模块和无线数传通信模块。在基站多、蜂窝信号强的地方通过2G/3G/4G模块进行通信，在偏远地区、基站少、信号弱甚至无蜂窝信号的条件下通过北斗卫星报文功能实现信息交互，无人机和无人车位置信息、电量信息通过无线数传通信模块与智能管控系统进行通信，巡逻装置通过无线图传通信模块建立通信链路发送图像到地面智能管控系统。

智能管控系统的显示界面包含一个协同任务分配及智能管理界面，负责及时为无人机自动补充电能，协调分配无人机和无人车的巡逻任务。具体包括：一个无人机图像信息显示界面，用于显示无人机巡逻范围内的图像信息，两个无人车的图像信息显示界面，用于显示无人车周边环境图像信息；一个电子地图界面实时显示无人机和无人车当前所处的位置。

工作时，智能管控系统下发任务信息至无人机和无人车，无人车运载无人机至巡逻目标点后，两者开始执行任务，执行任务完成后，智能管控系统下发初步返回指令至无人机和无人车。无人机接收到初步返回指令后，无人机的多传感器复合导航模块3采集此时无人机的位置信息，无人机的电量采集模块6采集的当前无人机电量信息，无人车接收到初步返回指令后，无人车的导航模块12采集此时无人车的位置信息。无人机通过无线数传模块1将电量信息和位置信息发送至智能管控系统，无人车通过车端无线数传模块16将位置信息发送至智能管控系统。智能管控系统的计算模块21通过通信模块20接收无人机的电量信息和位置信息，进行计算，分析计算电量值能够满足返回的里程需求，若无人机可以自行返回，则智能管控系统通过通信模块20下发确定返回指令至无人机和无人车，若无人机无法自行返回，则智能管控系统通过通信模块20将无人车的位置信息发送至无人机，中央控制模块2接收到无人车的位置信息后通过驱动器4控制执行机构5运作，使得无人机降落在无人车上。

多传感器复合导航模块3包括：惯性测量单元、GPS接收机、光流传感器、激光扫描测距仪、状态估计器，惯性测量单元、GPS接收机及光流传感器与状态估计器的信息输入端连接。惯性测量单元用于测量无人机三轴姿态角及高度信息，GPS接收机用于提供无人机经纬度及速度信息，光流传感器用于输出无人机X轴及Y轴光流信息，在室内GPS信号不好的情况下，可以通过光流传感器实现室内精确定位、悬停，光流传感器输出X轴、Y轴光流信息。状态估计器是基于卡尔曼滤波器的状态估计器，即状态估计器包括：卡尔曼滤波器，将惯性测量单元、GPS接收机、光流传感器输出的信息送入状态估计器，通过卡尔曼滤波器进行数据融合最终得到无人机需要的姿态角、经纬度、高度、速度等信息。激光扫描测距仪用于为无人机实时局域定位的，即用于室内外的地图构建并进行路径规划为无人机提供轨迹参考值。

无人车的导航模块12包括：车端惯性测量单元、车端GPS接收机、车端激光扫描测距仪、车端状态估计器，车端惯性测量单元及车端GPS接收机与车端状态估计器的信息输入端连接，车端状态估计器包括：车端卡尔曼滤波器。车端惯性测量单元用于测量无人车二维姿态角信息，车端GPS接收机用于检测无人车的经纬度和速度信息，车端惯性测量单元与GPS接收机输出信息送入车端状态估计器，通过车端卡尔曼滤波器进行数据融合最终得到无人车需要的姿态角、经纬度、速度信息。车端激光扫描测距仪用于室内外的地图构建并进行路径规划为无人车提供轨迹参考值。

如图6所示，提供一种无人机与无人车协作巡逻方法，包括：

101：智能管控系统根据实地巡逻现场需要规划无人车和无人机的运行轨迹和任务。

102：智能管控系统调配无人车，并将任务信息发送至无人车及无人机。任务信息包括：规划完成的航迹路线、运载目标点的坐标、巡逻任务区域的路线、任务地点、需要采集的数据。

103：智能管控系统实时判断无人车是否到达目标巡逻点，若到达，进行步骤104，否则返回步骤103。

104：智能管控系统调配无人机，无人车将无人机由出发点运载至巡逻目标点，待无人车停稳后将解锁无人机的解锁装置释放无人机。

105：无人车及无人机按照任务信息采集任务区域的环境信息，对任务区域进行巡逻监测并将采集的环境信息和视频图像传送至智能管控系统供管控中心人员观察。

106：智能管控系统下发初步返回指令至无人机和无人车。

107：无人机接收初步返回指令后，停止移动并采集自身的电量信息及位置信息发送至智能管控系统。

108：无人车接收初步返回指令后，停止移动并采集自身的位置信息发送至智能管控系统。

109：智能管控系统计算电量信息能够满足返回的里程需求，根据接收到的无人机的电量信息及位置信息判断无人机是否可以自行飞回出发点。

110：若判定结果为无人机可自行飞回出发点，智能管控系统向无人机与无人车发送确定返回指令，无人车与无人机分别返回出发点。

111：若判定结果为无人机无法自行飞回出发点，智能管控系统将无人车的位置信息发送至无人机，无人机初步估计无人车的位置，当接近无人车时无人机需要开启视觉全传感器精确检测无人车的固定坐标，然后调整自身姿态直至稳定降落到无人车的预定位置上，无人车根据定位检测传感器的信息确定无人机停放正确后将解锁装置固定，然后由无人车运载一同返回出发点。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。