基于OODA环多传感器信息融合的灾后救援旋翼无人机避障系统的制作方法

本发明属于无人机避障技术领域，尤其涉及一种灾后救援旋翼无人机避障系统及方法。

背景技术：

近年来无人机技术已快速成为国内外研究开发的一个新热点，而且由于无人机具有高机动性、操作灵活、成本低、影像实时传输以及高分辨率等特点，使得无人机被应用到了社会各个领域，如灾害救援、电力巡检、林业防火、农业喷洒、植被保护、航拍摄影等。

在灾后救援现场，由于传统手段存在很多的局限性，无人机技术得到了逐渐发展。灾后救援无人机主要是在灾害事件发生后，对于环境恶劣、无法及时了解现场状况以及救援紧急的情况下，可以以最快、最便捷的手段，从空中观察干预救援现场。无人机通过高清摄像头将灾后现场的情况进行拍摄以及录制，然后将采集到的实时现场航拍数据回传。将无人机应用到灾后救援，不仅可以避免飞行人员的人身安全，还可以为救援人员在第一时间查看到灾害现场情况，安排灾后救治等工作。

由于灾后现场环境复杂未知，对于无人机在实现灾后拍摄以及录制中，可能会导致无人机发生碰撞等情况，造成无人机损坏，耽误现场救灾情况的快速了解，因此就需要在进行灾后救援过程中，保证无人机的飞行安全。

技术实现要素：

本发明针对无人机在灾后救援过程中，复杂环境无法进行及时避障而导致损坏等情况，提出了一种基于ooda环多传感器信息融合的灾后救援旋翼无人机避障系统，可以实时防止无人机发生碰撞，从而保证无人机自身的安全性。

本发明提供了一种基于ooda环多传感器信息融合的灾后救援旋翼无人机避障系统，包括：数据融合层，特征层、决策层和检测装置；

所述检测装置，包括：

雷达高度传感器，测量无人机对地面的垂直距离；

gps/北斗定位传感器，进行实时定位，以实现无人机的定点悬停，并且可以实现无人机高度的测量以及无人机相对速度的测量；

ahrs模块，采集无人机的飞行姿态与航行信息；

毫米波雷达传感器，用于实现障碍物到无人机的远距离测量和相对速度的测量；

超声波雷达传感器，用于实现障碍物到无人机的近距离测量；

双目视觉传感器，测量障碍物的大小以及形状；

主控制器，通过对各个传感器获得的数据进行分析，控制无人机完成避障动作；

所述主控制器分别与雷达高度传感器、gps/北斗定位传感器、ahrs模块、毫米波雷达传感器、超声波雷达传感器和双目视觉传感器相连。

进一步的，所述毫米波雷达传感器、超声波雷达传感器、双目视觉传感器均为四个，分别安装在无人机的前、后、左、右四个面。

进一步的，毫米波雷达传感器，包括：

天线模块，向各个方向空间区域发射信号，并接收空间区域内的障碍物散射回波信号；

射频前端模块，实现信号的发射与接收处理；

基带处理模块，将前方目标障碍物的相对距离、相对速度以及方位角进行解析，发送给主控制器。

进一步的，超声波雷达传感器进行0～10米范围的测距，毫米波雷达传感器进行1～50m范围内的测距。

更进一步的，ahrs模块，包括mems的三轴陀螺仪、加速度计和磁强计，输出数据为三维加速度、三维角速度和三维地磁场强度。

更进一步的，数据融合层对各个传感器采集到的数据进行处理：

1)毫米波雷达传感器输出数据为无人机与障碍物的相对距离r1、相对速度v1、障碍物与雷达法线之间的角度，包括方位角θ1与俯仰角ψ1；

2)超声波雷达传感器输入无人机与障碍物的相对距离r2；

3)双目视觉传感器输出物体面积s、方位角θ2以及相对距离r3；

4)雷达高度传感器输出无人机与地面的高度值r4；

5)gps/北斗定位传感器输出时间t，定位状态s，a为定位，v为未定位，北纬n或南纬s，东经经度e或西经经度w，无人机速度v2；

6)ahrs模块输出三维加速度a_x,a_y,a_z、三维角速度w_x,w_y,w_z和三维地磁场强度m_x,m_y,m_z，通过这些数据解算出无人机当前的姿态数据，即飞行方位角θ3、俯仰角ψ2和翻滚角

更进一步的，特征层进行无人机与障碍物的相对距离的数据融合、无人机与地面相对高度的数据融合，无人机与障碍物的相对速度的数据融合以及障碍物的大小、形状等属性特征：

无人机与障碍物相对距离的数据融合根据距离范围进行处理：

a、距离在0m到10m范围内，超声波雷达传感器、双目视觉传感器和毫米波雷达传感器进行检测，引入α，β的加权值对超声波雷达传感器、双目视觉传感器和毫米波雷达传感器进行加权平均，将加权融合后的数据进行kalman数据融合；

b、距离在10m到20m范围内,引入α的加权值对双目视觉传感器和毫米波雷达传感器这两个传感器进行加权平均，将加权融合后的数据进行kalman数据融合；

c、距离在20到50m范围内,对毫米波雷达传感器的数据进行kalman数据融合；

即如下所示

更进一步的，无人机与地面相对高度的数据融合是对雷达高度传感器和gps/北斗定位传感器所获取的无人机高度值进行数据融合；高度值的数据融合根据距离分为两种；

对于高度小于100m的范围内，采用雷达高度传感器和gps/北斗定位传感器对无人机高度进行检测，检测后的结果采用加权平均，即引入α值对这两种传感器的高度值进行加权平均处理，处理后采用kalman对高度值进行数据融合；根据ahrs航姿数据对高度值进行修正：

对于高度大于100m以上，采用gps/北斗定位传感器，将获取的高度数据直接进行kalman数据融合，然后，采用ahrs航姿数据进行高度修正；

其中h1是雷达高度传感器采集的高度，h2是gps/北斗定位传感器采集的高度；同时根据双目视觉传感器对障碍物的大小、形状等特征进行障碍物辨识。

作为更进一步的，采用ahrs航姿数据进行高度修正具体为：

ψ2为俯仰角和为翻滚角；h为测量高度，h′为修正后的高度值。

作为更进一步的，无人机与障碍物的相对速度的数据融合采用毫米波雷达传感器和gps/北斗定位传感器获得，对于这两个传感器的速度数据，进行加权平均值的处理，即

v＝α×v1+(1-α)×v2，α为这两个传感器的权重比，将加权均值处理后的速度数据进行kalman数据融合，根据双目视觉传感器对障碍物的大小、形状等特征进行障碍物辨识。

作为更进一步的，决策层通过如下步骤完成避障的：

p1,首先判断无人机与障碍物的相对距离，将相对距离进行三个部分的划分:小于n1m，n1m到n2m，n2m到n3m三个距离范围；

p2,距离划分完成后，根据无人机与障碍物的相对速度进行危险等级的划分:

当距离小于n1m，速度大于m1m/s,且预警时间小于qs，则属于危险等级，速度小于m1m/s时，属于警示等级；

当距离n1m≤r<n2m，速度大于m2m/s时,处于危险等级；当速度m1m/s≤v<m2m/s时，处于警示等级，当速度小于m1m/s时，处于提示等级；

当距离n2m≤r<n3m时，当速度大于m3m/s时,处于危险等级；当速度m2m/s≤v<m3m/s时，处于警示等级，当速度m1m/s≤v<m2m/s时，处于提示等级，当速度小于m1m/s时，处于不相关等级；

p3,然后判断无人机与地面的高度值，将该高度值h进行四个等级的划分；

当高度小于x1m时，障碍物包括墙、树木以及人，根据双目视觉传感器对障碍物的属性进行辨识，区分墙、树木、人，然后选择紧急悬停后进行向上爬升，通过爬升过程，对于人能完全进行避障，但是对于树木和墙需要进行进一步高度判断；

当高度x1m≤h<x2m，在这种高度时，障碍物包括墙、树木，根据双目视觉传感器对障碍物的属性进行辨识，区分墙、树木，然后选择紧急悬停后进行向上爬升，通过爬升过程，对于树木能完全进行避障，但是对于墙需要进行进一步高度判断；

当高度x2m≤h<x3m，在这种高度时，障碍物包括墙和高压线，根据视觉采集传感器对障碍物的属性进行辨识，区分墙和高压线，然后选择紧急悬停后进行向上爬升，通过爬升过程，对于树木能完全进行避障，但是对于墙需要继续进行高度判断；

当高度h≥x3m，在这种高度时根据双目视觉传感器对障碍物的属性进行辨识，如果确认还是墙面的时候，选择紧急悬停后进行折返避障；

p4：对于危险等级，需要进行步骤p3的操作；对于警示等级，需要紧急减速后进行步骤p3的操作；对于提示等级和不相关等级，不用进行第三步骤的判断，返回重新进行检测。

本发明由于采用以上技术方案，能够取得如下的技术效果：本申请根据多个传感器所获得的多种信息，可以对环境或是障碍物特征做出更加全面以及正确的认识，从而克服单一传感器给系统带来的误报风险；同时采用多种传感器可以对环境以及障碍物特征的获取，进行互相促进，弥补各自传感器自身存在的的不足，从而更好地完成避障任务。多传感器的信息融合技术，将各个传感器采集到的数据进行处理分析，从而为主控制器完成灾后救援无人机安全避障做出更好的判断依据。

灾后救援旋翼无人机系统通过合理支配和充分使用多个传感器的数据资源，使得多传感器在时间和空间上的冗余或互补信息进行组合处理，以获得环境以及障碍物目标特征获取的一致性的描述。本发明采用ooda环的信息融合技术，即四个处理阶段：观察、调整、决策和行动。

附图说明

为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请检查装置结构框图；

图2为基于ooda环多传感器信息融合的灾后救援旋翼无人机避障系统结构示意图；

图3为无人机与障碍物相对距离的数据融合结构示意图；

图4为无人机与地面相对高度的数据融合结构示意图；

图5为无人机与障碍物相对速度的数据融合结构示意图；

图6为决策层结构示意图；

图7为实施例中决策层的流程图。

具体实施方式

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

本申请所针对的无人机，主要是多旋翼灾后救援旋翼无人机。多旋翼无人机利用其主旋翼旋转切割空气产生飞行动力，与固定翼相比，具有原地起飞、空中悬停、飞行速度慢、负重大、灵活度高和可超低空飞行的特点。多旋翼无人机不需要跑道便可以垂直起降，起飞后可在空中悬停，适合灾后复杂环境中的应用。它的操控原理简单，操控器四个遥感操作对应飞行器的前后、左右、上下和偏航方向的运动。本发明采用ooda环的信息融合技术，ooda是观察(oberve)、调整(orient)、决策(decide)以及行动(act)的英文缩写，即四个处理阶段：观察、调整、决策和行动。结合ooda环的特点，本发明将ooda环引入到灾后救援旋翼无人机避障系统中。

实施例1

本实施例提供了一种灾后救援旋翼无人机避障系统，包括：数据融合层，特征层、决策层和检测装置；

所述检测装置，包括：

雷达高度传感器，测量无人机对地面的垂直距离；

gps/北斗定位传感器，进行实时定位，以实现无人机的定点悬停等任务，并且可以实现无人机高度的测量以及无人机相对速度的测量；

ahrs模块，采集无人机的飞行姿态与航行信息；ahrs模块，包括mems的三轴陀螺仪、加速度计和磁强计，输出数据为三维加速度、三维角速度和三维地磁场强度。

毫米波雷达传感器，采用线性调频三角波的体制，用于实现障碍物到无人机的远距离测量；所述毫米波雷达传感器，包括：天线模块，形成雷达探测所需的发射和接收波束；向各个方向空间区域发射信号，并接收空间区域内的障碍物散射回波信号；射频前端模块，根据无人机避障毫米波雷达的应用场景和功能需求，实现信号的发射与接收处理；基带处理模块，控制发射调制波形、信号采集以及信号处理工作，将前方目标障碍物的相对距离、相对速度以及方位角进行解析，发送给主控制器，从而完成毫米波雷达传感器对目标障碍物的数据采集传输工作。毫米波雷达传感器进行1～50m范围内的测距。

超声波雷达传感器，用于实现障碍物到无人机的近距离测量，超声波雷达传感器进行0～10米范围的测距；

双目视觉传感器，测量障碍物的大小以及形状；

主控制器，通过对各个传感器获得的数据进行分析，控制无人机完成避障动作；

所述主控制器分别与雷达高度传感器、gps/北斗定位传感器、ahrs模块、毫米波雷达传感器、超声波雷达传感器和双目视觉传感器相连。

优选的，所述毫米波雷达、超声波雷达、双目视觉传感器均为四个，分别安装在无人机的前、后、左、右四个面。由于多旋翼无人机可以前后左右飞行，需要每一个面都要进行防碰撞设计，所以每一个面上都由一个毫米波雷达传感器进行长距离测量，一个超声波雷达传感器进行近距离测量，一个双目视觉传感器进行目标属性，如方位，大小形状进行测量，所以本发明所设计的灾后救援旋翼无人机对于毫米波雷达传感器、超声波传感器和双目视觉传感器各需要四个。

实施例2

作为对实施例1的进一步限定：数据融合层对各个传感器采集到的数据进行处理：

1)毫米波雷达传感器输出数据为无人机与障碍物的相对距离r1、相对速度v1、障碍物与雷达法线之间的角度，包括方位角θ1与俯仰角ψ1；

2)超声波雷达传感器输入无人机与障碍物的相对距离r2；

3)双目视觉传感器输出物体面积s、方位角θ2以及相对距离r3；

4)雷达高度传感器输出无人机与地面的高度值r4；

5)gps/北斗定位传感器主要是获得无人机的海拔高度h2和水平航速v2；

gps数据遵循nmea0183协议，所输出的信息都是标准的具有固定格式的。其中与无人机导航密切相关的有gpgga和gpvtg语句。它们的数据格式规定如下：

(1)$gpgga，utc时间，纬度，纬度半球，经度，经度半球，gps模式，星数，hdop水平精度因子，海拔高度，m，地球椭球面相对大地水平面的高度，m，差分时间，差分站id*hh<cr><lf>。

(2)$gpvtg，以真北为基准的地面航向，t，以磁北为基准的地面航向，m，地面速率(节)，n，地面速率(公里/小时)，k，模式指示*hh<cr><lf>。

通过提取gpgga语句中，特定位置的海拔高度数据，可以得到无人机的海拔高度h2，通过提取gpvtg语句中，特定位置的地面速率(公里/小时)，就可以获得无人机的水平航速v2。

6)ahrs模块输出三维加速度a_x,a_y,a_z、三维角速度w_x,w_y,w_z和三维地磁场强度m_x,m_y,m_z，通过这些数据解算出无人机当前的姿态数据，即飞行方位角θ3、俯仰角ψ2和翻滚角

实施例3

作为对实施例1或2的补充，特征层进行无人机与障碍物的相对距离的数据融合、无人机与地面相对高度的数据融合，无人机与障碍物的相对速度的数据融合以及障碍物的大小、形状等属性特征；

无人机与障碍物相对距离的数据融合根据距离范围进行处理：

a、距离在0m到10m范围内，超声波雷达传感器、双目视觉传感器和毫米波雷达传感器进行检测，但是这几个雷达的相对精度却不一样，在近距离范围内，超声波的精度更高，但是为了提高对高度的解算准确性，采用加权平均，即引入α，β的加权值对超声波雷达传感器、双目视觉传感器和毫米波雷达传感器进行加权平均，将加权融合后的数据进行kalman数据融合；

b、距离在10m到20m范围内,已经超出超声波雷达测距范围，但是视觉传感器和毫米波雷达还可以进行检测，所以在该距离范围内，采用加权平均，即引入α的加权值对双目视觉传感器和毫米波雷达传感器这两个传感器进行加权平均，将加权融合后的数据进行kalman数据融合；

c、距离在50m范围内,已经超出超声波雷达和视觉传感器测距范围，但是毫米波雷达还可以进行检测，所以在该距离范围内，不用采用加权算法，直接对毫米波雷达传感器的数据进行kalman数据融合；

即如下所示

无人机与地面相对高度的数据融合是对雷达高度传感器和gps/北斗定位传感器所获取的无人机高度值进行数据融合；高度值的数据融合根据距离分为两种；对于高度小于100m的范围内，采用雷达高度传感器和gps/北斗定位传感器对无人机高度进行检测，检测后的结果采用加权平均，即引入α值对这两种传感器的高度值进行加权平均处理，处理后采用kalman对高度值进行数据融合；由于无人机高度值与无人机姿态有着密切的关联，所以需要根据ahrs航姿数据对高度值进行修正：

对于高度大于100m以上，仅gps/北斗定位获取的高度数据是准确的，所以在该高度范围内采用gps/北斗定位传感器，将获取的高度数据直接进行kalman数据融合，然后，采用ahrs航姿数据进行高度修正；

其中h1是雷达高度传感器采集的高度，h2是gps/北斗定位传感器采集的高度；同时根据双目视觉传感器对障碍物的大小、形状等特征进行障碍物辨识。辨识方法可以采用人工智能等方法，如模式识别，神经网络算法等方式。

可选地，采用ahrs航姿数据进行高度修正具体为：

ψ2为俯仰角和为翻滚角；h为测量高度，h′为修正后的高度值。

无人机与障碍物的相对速度的数据融合采用毫米波雷达传感器和gps/北斗定位传感器获得，对于这两个传感器的速度数据，进行加权平均值的处理，即

v＝α×v1+(1-α)×v2，α为这两个传感器的权重比，将加权均值处理后的速度数据进行kalman数据融合，从而得到更加准确的相对速度数据；根据双目视觉传感器对障碍物的大小、形状等特征进行障碍物辨识。辨识方法可以采用人工智能等方法，如模式识别，神经网络算法等方式。

实施例4

作为对实施例1或2或3的补充，决策层通过如下步骤完成避障的：

p1,首先判断无人机与障碍物的相对距离，将相对距离进行三个部分的划分:小于n1m，n1m到n2m，n2m到n3m三个距离范围；

p2,距离划分完成后，根据无人机与障碍物的相对速度进行危险等级的划分:

当距离小于10m，速度大于3m/s,且预警时间小于3s，则属于危险等级，速度小于3m/s时，属于警示等级；

当距离10m≤r<20m，速度大于6m/s时,处于危险等级；当速度3m/s≤v<6m/s时，处于警示等级，当速度小于3m/s时，处于提示等级；

当距离20m≤r<50m时，当速度大于16m/s时,处于危险等级；当速度6m/s≤v<16m/s时，处于警示等级，当速度3m/s≤v<6m/s时，处于提示等级，当速度小于3m/s时，处于不相关等级；

p3,然后判断无人机与地面的高度值，将该高度值h进行四个等级的划分；

当高度小于x1m时，在这种高度时，主要的障碍物包括墙、树木以及人，根据双目视觉传感器对障碍物的属性进行辨识，区分墙、树木、人，然后选择紧急悬停后进行向上爬升，通过爬升过程，对于人能完全进行避障，但是对于树木和墙需要进行进一步高度判断；

当高度x1m≤h<x2m，在这种高度时，主要的障碍物包括墙、树木，根据双目视觉传感器对障碍物的属性进行辨识，区分墙、树木，然后选择紧急悬停后进行向上爬升，通过爬升过程，对于树木能完全进行避障，但是对于墙需要进行进一步高度判断；

当高度x2m≤h<x3m，在这种高度时，主要的障碍物包括墙和高压线，根据视觉采集传感器对障碍物的属性进行辨识，区分墙和高压线，然后选择紧急悬停后进行向上爬升，通过爬升过程，对于树木能完全进行避障，但是对于墙需要继续进行高度判断；

当高度h≥x3m，在这种高度时根据双目视觉传感器对障碍物的属性进行辨识，如果确认还是墙面的时候，选择紧急悬停后进行折返避障；

p4：对于危险等级，需要进行步骤p3的操作；对于警示等级，需要紧急减速后进行步骤p3的操作；对于提示等级和不相关等级，不用进行第三步骤的判断，返回重新进行检测。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。