基于ADP和避障机制的四旋翼无人机编队重构控制系统

基于adp和避障机制的四旋翼无人机编队重构控制系统
技术领域
1.本发明涉及四旋翼无人机技术领域，尤其是涉及基于adp和避障机制的四旋翼无人机编队重构控制系统。


背景技术：

2.无人机是不依靠驾驶人员、仅基于空气动力实现自主飞行或采用遥控等装置操纵飞行、可重复利用、携带各类型有效载荷的动力飞行器。无人机因其小体积、低成本、较强的灵活性和机动性能、较优的生存能力和良好的隐蔽性等优点，在军事战争和民事活动中发挥着愈发重要的作用。近年来，关于人工智能和计算机的研究领域取得了突破性进展，军用无人机已逐渐发展成为具有侦查、电子干扰、目标打击等多用途的高速移动平台。与此同时，无人机在农业、电力、物流、森林防火、消防等综合行业的表现也愈发抢眼。随着无人机执行任务的种类多样化、任务环境复杂化，单架无人机作用效能有限、容错率低等弊端显现和放大，使得多无人机编队协同的概念和研究成为了趋势。特别是因5g通信技术、人工智能和云计算等科技的飞速发展，具有更高效率比、更好鲁棒性与容错能力、低成本等优势的无人机集群编队，日益成为各国研究的发展方向。
3.四旋翼无人机作为典型的欠驱动系统，需要利用四个控制输入，控制六自由度的输出，同时非线性、多变量、强耦合特性和容易受到外界干扰等特点，使得飞行控制器的设计十分困难。为了出色的完成各种复杂的任务目标，需要对无人机进行准确、快速、稳定的控制，如何保证无人机的高品质运行成为飞行控制系统的设计关键。
4.在现代控制理论不断发展的基础之上，飞行控制算法也在不断地创新和改进。adp（adaptive dynamic programming, adp）是基于强化学习（reinforcement learning, rl）的算法，在20世纪70年代由werbos提出，作为新的非线性优化方法用于开发最优控制器，克服了动态规划（dynamic programming）求解时由于状态信息的增加而导致的“维数灾”问题。目前adp应用于四旋翼无人机的研究较少，多为在线性或非线性系统中的理论研究。adp进行控制的不足主要表现于控制器参数根据系统状态学习产生，因此收敛速度较低，同时计算量较大，但随着计算机技术的进一步发展，作为有效地控制系统进行研究十分具有意义。


技术实现要素：

5.针对上述局限，本发明提出了基于adp和避障机制的四旋翼无人机编队重构控制系统，可以在求解最优控制策略的过程中有效破解动态规划方法“维数灾”的问题，同时在无人机队形变换中采用势能函数进行了避碰项设计。
6.基于adp和避障机制的四旋翼无人机编队重构控制系统，包括：基于滑模的有限时间综合干扰观测器，对外界综合扰动进行估计，并根据扰动估计值设计同时反映不确定性、跟踪误差和控制量的代价函数；基于adp的编队重构控制器，通过神经网络去近似最优代价函数并求解最优控制律，采用势能函数完成无人机的避碰项设计；基于滑模的有限时间姿
态跟踪控制器，对无人机姿态的偏航角、滚动角和俯仰角进行稳定响应跟踪控制，实现多无人机编队在干扰环境下的编队保持与队形变换控制。
7.优选的，所述四旋翼无人机编队内无人机满足如下条件：位置跟踪误差系统，姿态跟踪误差系统，式中，、、、分别为第i架无人机基于位置矢量、速度矢量、姿态角参数和角速度参数的跟踪误差，、、、、和均为系统参数，表示节点间的通信关系，和表示旋转矩阵、、和分别表示第i、j架无人机的质量、和分别表示第i、j架无人机的建模不确定及外界位置干扰总和，，为转动惯量，，其中和表示旋翼在机体坐标系下轴和轴形成的升力差，是指由旋翼运动产生的总反扭矩，为无人机的角速度参数、为无人机的实际姿态角参数，为无人机的期望姿态角参数，为建模不确定及外界姿态干扰总和。
8.优选的，所述干扰观测器包括位置系统干扰观测器和姿态系统干扰观测器，表示如下：位置系统干扰观测器式中，表示位置外界干扰估计值，为中间变量，计算可得干扰估计误差为，观测器相关系数满足,，观测器系数,，并且有；姿态系统干扰观测器式中，表示姿态外界干
扰估计值，为中间变量，计算可得干扰估计误差为，观测器相关系数满足,，并且有。
9.优选的，所述姿态跟踪控制器表示如下：式中，、为系统参数，，，，、分别为无人机基于姿态角参数和角速度参数的跟踪误差。
10.本发明采用基于adp和避障机制的四旋翼无人机编队重构控制系统，采用adp算法构建四旋翼无人机编队重构控制器，解决了传统动态规划算法的“维数灾”问题；考虑到外界干扰的影响以及编队队形变换需求，通过有限时间干扰观测器对外界综合扰动进行估计，并基于势能函数进行无人机避碰设计，最终实现外界综合干扰影响下的四旋翼无人机编队重构控制。
附图说明
11.图1基于自适应动态规划的编队重构控制框图；图2无人机编队通讯拓扑图；图3多无人机编队通信拓扑图；图4第架无人机位置干扰观测器响应曲线；图5基于自适应动态规划编队重构控制的位置跟踪响应曲线；图6基于自适应动态规划编队重构控制的速度跟踪响应曲线；图7基于自适应动态规划编队重构控制的三维编队图；图8基于自适应动态规划编队重构控制的位置误差收敛图；图9编队跟踪误差变换曲线 ()；图10 无人机势能函数图()；图11姿态跟踪误差变换曲线()；图12评价网络权值变换曲线()；图13编队重构丰富图。
具体实施方式
12.针对外界综合干扰影响下的四旋翼无人机编队重构控制问题，本实施例构建了基于滑模的有限时间干扰观测器、基于adp和避障机制的外环编队重构控制器以及基于滑模的有限时间姿态跟踪控制器，实现了在综合扰动影响下多无人机编队生成、保持与重构控制。下面结合附图对本发明做进一步描述。
13.1、建立干扰影响下的无人机编队模型。
14.考虑由个四旋翼无人机组成的编队系统，第个四旋翼无人机的六自由度数学模型表达为
式中，和分别为四旋翼无人机在地面惯性坐标系下的位置矢量和速度矢量，为重力加速度，，为无人机的总升力即旋翼产生的升力之和，表示机体质量，为地面惯性坐标系下的实际姿态角参数，为大地坐标系转换到无人机本体坐标系的旋转矩阵，其表达式为，为机体自身坐标系下的角速度参数， ，为转动惯量，，其中和表示旋翼在机体坐标系下轴和轴形成的升力差，达到机体的滚转和俯仰运动，是指由旋翼运动产生的总反扭矩，并作用产生机体偏航，，表示建模不确定及外界综合干扰的总和。
15.基于上述四旋翼无人机模型，定义编队位置跟踪误差为：式中，表示节点间的通信关系，表示节点给节点传递信息，和分别表示两架无人机的实时位置信息，和分别表示相应无人机的速度，表示两架无人机的设定的相对距离，其中分别表示leader（领机）的位置和速度。
16.结合式可得第架无人机位置跟踪误差系统（外环系统）为：
式中，、、均为无人机系统参数，且和分别表示两架无人机的等效控制力，且有等式成立，其中表示leader（领机）实时位置的二阶导数，。
17.第架无人机姿态跟踪误差系统为：式中，、和均为无人机系统参数，为无人机的期望姿态角参数。
18.假设1：所有跟随无人机都存在一条及以上到达领导无人机的有向路径。
19.假设2：领导无人机位置的二阶导数可求得，即存在和有已知的常数界，即， d1为u0的导数的上界。
20.假设3：无人机的复合干扰是lipschitz连续的，即存在正实常数，使得和成立。
21.假设4：系统矩阵和综合干扰估计的误差值都存在有上界，即，且，。
22.2、构建基于滑模的有限时间综合干扰观测器。
23.基于四旋翼无人机数学模型及跟踪误差公式(3)设计如下基于终端滑模的有限时间综合干扰观测器：式中，表示位置外界干扰估计值，为中间变量，计算可得干扰估计误差为，观测器相关系数满足,，观测器系数,，并且有。
24.同理，对于四旋翼姿态系统干扰，设计观测器：
式中，表示姿态外界干扰估计值，为中间变量，计算可得干扰估计误差为，观测器相关系数满足,，并且有。
25.因此，针对四旋翼无人机的位置、姿态跟踪误差系统（3）-（4）设计基于终端滑模的有限时间综合干扰观测器、，可以实现对和的在线观测。
26.3、编队位置控制问题的转化。
27.为了解决编队控制问题，分别对每架无人机设计控制策略，从而保证编队误差实现渐近稳定。
28.定义第架无人机编队误差为，则编队外环误差系统表示为：式中，，，。表示阶倍的单位阵，。其中等效控制律表示两部分，有式中，表示干扰环境下的最优控制器，是基于势能函数的避碰控制律。首先设计无人机和之间的势能函数为：式中，表示相对距离，代表无人机的安全避碰半径，是一个非常小的一个正常数，且，所以，参数取值范围为。对其求负梯度，当时可得则无人机对无人机的力为则可以表示为
注：引入的目的是了避免避碰，因此两架无人机间的期望相对距离一定要大于安全避碰半径，否则就不会生成期望的队形，并且一直发生机间避碰作用，无法完成编队队形的重构。从所设计的势能函数可知，当机间相对距离小于安全避碰半径时，两架无人机间的实时相对距离越小势能函数增长就越快，势能避碰的作用就越强。
29.而对具有综合干扰影响的编队控制问题，可将其转化为最优控制问题进行考虑，此时定义代价函数为式中，是大于零的正常数，后文会详细设计，、是正定的斜对称矩阵。目标是期望找到一组最优的容许控制策略，使得公式给出的代价函数最小。并且当代价函数连续可微时，可以得到lyapunov方程为式中，表示代价函数关于编队误差的偏导，且有。可定义问题的哈密顿方程为定义最优的代价函数为式中，表示的是容许控制策略的集合，当代价函数为最优时，哈密顿方程将变成hjb方程，即最优的代价函数通过求解上式的hjb方程获得，并且其有唯一解，当解存在且连续可微时，最优控制策略可通过求解得到，即第i架无人机令代价函数最小的编队控制策略为通过数学变换可得针对误差系统，设计如式所示的控制率，当代价函数满足约束和时，设计的编队控制器可以保证外界干扰环境下的外环误差系统是
一致最终有界。其中，，为干扰估计误差上界。
30.4、基于神经网络的adp编队重构控制。
31.为了处理hjb方程在实际应用过程中难以求解的问题，本发明利用单层神经网络逼近的原理来近似最优代价函数的值。此时，有式中，是理想的神经网络权值向量，表示神经网络的激活函数，代表神经网络的近似误差。对其求偏导可得式中，和分别表示激活函数和近似误差的偏导。
32.将上式代入（14）中，可得hjb方程为式中，是神经网络近似产生的残余误差。
33.在自适应批评家设计的框架中，考虑到理想权重未知的事实，通常根据估计的权重向量建立批评家网络来逼近最优代价函数，即有因此，近似哈密顿量可以如下所示：定义，权值估计误差，此时有为了调整临界神经网络权重向量，利用策略梯度法使得误差函数取得最小，因此评价神经网络权值调整规则设置为式中，是评价神经网络的学习速率。
34.因此，理想的控制策略可以描述为
其近似值表示为注：基于近似控制策略可知，此时仅需评价神经网络便可求解最优控制律，并且由实现对评价网络的权重向量更新。说明采用单评价网络即可实现和计算。
35.假设5：神经网络的参数——激活函数、逼近误差以及其偏导都存在上界，即满足，并且有、、、。
36.基于假设4、假设5，当相关参数满足，时评价网络权值估计误差和编队位置子系统误差都是一致最终有界的。其中，，是一个正常实数。
37.5、构建基于滑模的有限时间姿态跟踪控制器。
38.针对姿态跟踪误差系统，设计基于滑模算法的姿态跟踪控制器，使四旋翼无人机可以实现稳定跟踪期望姿态角。首先，基于姿态解算过程求解计算期望的参考姿态角，同时定义中间变量，，利用已知参考偏航角，可得第架无人机的期望滚转角和俯仰角为：则有。
39.对编队无人机的姿态跟踪误差系统，其控制器可设计为：相关参数满足，，时，编队中无人机的姿态跟踪误差可以收敛到零。
40.基于以上五步，就完成了整个四旋翼无人机编队重构控制过程。
41.6、仿真验证。
42.为了验证本发明提出的四旋翼无人机编队重构控制算法的有效性，首先将航天器的编队控制系统在matlab/simulink中进行集成设计，并进行了仿真实验。
43.1）参数设置仿真选取由一架虚拟leader四旋翼无人机和十架四旋翼机组成的编队。四旋翼无人机编队的通信初始拓扑图选取如图2所示，在队形发生重构时，通信拓扑图变为图3，其中0表示虚拟leader无人机，1~10表示十架无人机。
44.虚拟leader 的运动轨迹设置为：无人机质量为，重力加速度，无人机的惯性常值为。
45.虚拟leader坐标为编队中心，由表示，编队的初始期望队形为表1中所示的正十边形。十架follower四旋翼无人机重构后的期望队形为v字队形，参数设置如表2所示。各架无人机的初始位置参数如表3所示。其中，初始速度全为0，初始欧拉角全为0.1，速度的单位为，角度的单位为。
46.表1 初始编队队形期望坐标设置表2 四旋翼无人机期望重构队形相对位置设置
表3 各无人机初始位置设置控制器的相关参数设置为：神经网络激活函数为,评价网络权值初值为，神经网络的学习率为，姿态跟踪控制器参数为，，，干扰观测器参数设置为，，干扰值为，。
47.2）结果分析图4是对第架无人机的外环干扰进行观测估计的曲线图。由图可知，设计的外环干扰观测器可以实时准确的跟踪干扰的实际值。同时由于姿态和位置干扰观测器原理相
同、结构类似，因此仿真结果此处省略。
48.图5显示了编队中各架无人机位置坐标实时跟踪参考轨迹的曲线过程，图中虚线表示领机的参考位置，实线表示从机实际位置。同理图6表示编队中各架无人机在三个方向上的速度实时跟踪曲线，图中虚线和实线分别表示领机与从机的实际速度。由图5和图6可知，各架四旋翼无人机能实时准确追踪上领机的参考位置和速度，并与其保持固定的位置距离，即形成预设的编队队形。并且当进行编队变换操作以后()，各架无人机的位置和速度误差依然很快收敛到很小的误差值，即可以实现编队重构操作，从而验证了基于adp的重构控制器的有效性。
49.图7显示的是多四旋翼无人机的三维编队重构图。由图可知，初始编队基本在10s左右形成，然后保持编队稳定运行，而当收到编队变换指令后，在编队算法的控制下，可以快速形成新的编队。
50.图8表示10架从机的编队位置误差响应曲线。由图可知，10架无人机的编队位置误差在有限时间内收敛到0，并且在40s进行编队变换以后，编队误差依然很快收敛到0，表明编队重构算法可以保证四旋翼无人机编队顺利完成重构。为了更清楚的展示各架无人机的误差变化曲线，图9选取4架()无人机详细表明其编队误差变化过程，进一步验证了算法的有效性。
51.为了显示势能函数的作用，图10表示4架（）从机的势能函数曲线图。从仿真的结果可知，当无人机机间的安全距离为6.5m时，无人机在0~10s和40~46s之内对无人机的编队起到避碰作用。
52.图11给出了4架从机()的姿态误差响应曲线。从图中可以看出各架四旋翼无人机能在10秒内完成姿态稳定跟踪控制，并且当发生编队变换后()，姿态误差发生很小的波动之后，依然很快收敛到一个很小的误差范围之内。
53.图12表示了4架从机()的评价神经网络权值参数的变化过程。由图可知，评价神经网络权值参数是稳定收敛的，即使发生编队变换以后，神经网络的权值依然收敛逼近于相应的最优值。
54.图13是对编队队形变换的补充。首先是从“一”字型队形变换成菱形队形，后一个是从三角队形变换成“一”字型队形，从图中可看出队形重构成功，有力验证了本发明所设计的基于adp算法的编队重构控制器的有效性和稳定性。
55.以上是本发明的具体实施方式，但本发明的保护范围不应局限于此。任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，因此本发明的保护范围应以权利要求书所限定的保护范围为准。