一种无人机控制律设计方法、装置及可读存储介质与流程

1.本发明涉及无人机技术领域，尤其涉及一种无人机控制律设计方法、装 置及可读存储介质。


背景技术：

2.无人机是一种有动力、可控制、能携带多种任务设备、执行多种任务， 并能重复使用的无人驾驶航空器，无人机在尺寸、机动性、成本等方面比有 人机更具优势。近年来，随着航空技术水平的飞速发展，无人机也得到了空 前的重视和前所未有的发展。民用无人机正在逐渐形成工业化的全产业链， 功能不断完善，在农业植保、测绘抢险、物流速递等领域扮演着越来越重要 的角色。
3.众多类型的无人机中，由于固定翼无人机快速的机动性能以及优秀的战 场打击能力，固定翼无人机的研究得到了各国研究人员的广泛关注。尤其是 随着无人机集群技术的快速发展，与固定翼无人机相关的研究成为当前的热 点。
4.固定翼无人机的飞行环境较为复杂多变，容易受到强风和气流变化的影 响。现有的控制方案中主要以pid控制方法和线性控制方法为主。但pid控 制方法抗干扰能力较弱，而线性控制方法无法满足快速性与准确性的需求。


技术实现要素：

5.本发明实施例提供一种无人机控制律设计方法、装置及可读存储介质， 用以提出一种稳定性好、收敛速度快的固定翼无人机控制方法。
6.本发明实施例提出一种无人机控制律设计方法，包括：
7.根据无人机模型建立所述无人机的面向控制模型；
8.根据所述面向控制模型利用滑模算法和强化学习算法设计姿态子系统的 控制器和速度子系统的控制器；
9.根据所述姿态子系统的控制器和所述速度子系统的控制器确定所述无人 机的最终控制律，并利用所述最终控制律控制所述无人机。
10.在一实施方式中，所述根据无人机模型建立所述无人机的面向控制模型 包括：
11.设定所述无人机为刚体模型，以地面坐标系为惯性坐标系建立无人机模 型；
12.根据所述无人机的推力方向，采用预设空速动态方程建立所述无人机的 空速关系；
13.根据所述无人机模型和所述空速关系建立所述无人机的面向控制模型。
14.在一实施方式中，所述根据所述无人机模型和所述空速关系建立所述无 人机的面向控制模型包括：
15.在考虑未知外界干扰的情况下，将所述无人机模型和所述空速关系转化 为中间模型；
16.根据所述中间模型以及预先设定的姿态跟踪误差和空速跟踪误差建立所 述无人
机的面向控制模型。
17.在一实施方式中，所述根据所述面向控制模型利用滑模算法和强化学习 算法设计姿态子系统和速度子系统包括：
18.根据所述面向控制模型分别建立姿态积分滑模面和速度积分滑模面；
19.根据所述姿态积分滑模面和所述速度积分滑模面分别确定姿态滑模控制 律和速度滑模控制律；
20.根据所述姿态滑模控制律和速度滑模控制律分别确定等效控制力矩和等 效控制推力；
21.根据所述等效控制力矩和等效控制推力分别确定姿态优化模型和速度优 化模型。
22.在一实施方式中，所述根据所述姿态滑模控制律和速度滑模控制律分别 确定等效控制力矩和等效控制推力包括：
23.根据所述姿态滑模控制律和速度滑模控制律以及对应的自适应律确定等 效控制力矩和等效控制推力。
24.在一实施方式中，根据所述等效控制力矩和等效控制推力分别确定姿态 优化模型和速度优化模型之后，所述设计方法还包括：
25.根据所述姿态优化模型和所述速度优化模型建立优化系统模型；
26.建立所述优化系统模型的控制性能指标；
27.根据所述控制性能指标求解所述优化系统模型，获得姿态近优控制律和 速度近优控制律。
28.在一实施方式中，根据所述控制性能指标求解所述优化系统模型，获得 姿态近优控制律和速度近优控制律包括：
29.利用强化学习框架建立评价网格和执行网络求解所述优化子系统，以获 得姿态近优控制律和速度近优控制律。
30.在一实施方式中，根据所述姿态子系统的控制器和所述速度子系统的控 制器确定所述无人机的最终控制律包括：
31.根据所述姿态滑模控制律和所述姿态近优控制律确定姿态控制器；
32.根据所述速度滑模控制律和所述速度近优控制律确定速度控制器；
33.根据所述姿态控制器和所述速度控制器确定最终控制律。
34.本发明实施例还提出一种无人机控制律设计装置，包括：
35.建模模块，用于根据无人机模型建立所述无人机的面向控制模型；
36.数据处理模块，用于根据所述面向控制模型利用滑模算法和强化学习算 法设计姿态子系统的控制器和速度子系统的控制器；
37.优化模块，用于根据所述姿态子系统的控制器和所述速度子系统的控制 器确定所述无人机的最终控制律；
38.控制模块，用于利用所述最终控制律控制所述无人机。
39.本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介 质上存储有计算机程序，所述计算机程序被处理器执行时实现前述的无人机 控制律设计方法的步骤
40.本发明利用滑模算法和强化学习算法分别设计了姿态子系统的控制器和 速度子系统的控制器，简化了固定翼无人机飞行控制系统的结构。
41.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技 术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它 目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
42.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本 领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的， 而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示 相同的部件。在附图中：
43.图1为本发明实施例基本流程图；
44.图2为本发明实施例建立面向控制模型子流程图；
45.图3为本发明实施例设计控制子系统流程图；
46.图4为本发明实施例无人机控制框图；
47.图5为本发明实施例姿态跟踪和跟踪误差曲线；
48.图6为本发明实施例控制力矩、角速率和增益ks的变化曲线；
49.图7为本发明实施例速度跟踪、速度误差、推力和控制增益曲线
50.图8为本发明实施例权值变化曲线。
具体实施方式
51.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示 了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不 应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地 理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
52.本发明实施例提出一种无人机控制律设计方法，如图1所示，包括：
53.s101、根据无人机模型建立所述无人机的面向控制模型；
54.s102、根据所述面向控制模型利用滑模算法和强化学习算法设计姿态子 系统的控制器和速度子系统的控制器；
55.s103、根据所述姿态子系统的控制器和所述速度子系统的控制器确定所 述无人机的最终控制律，并利用所述最终控制律控制所述无人机。
56.本实施例中所针对的无人机为固定翼无人机，本实施例中根据固定翼无 人机建立无人机的控制模型，然后在根据固定翼无人机的控制模型利用滑模 算法和强化学习算法分别建立固定翼无人机的姿态子系统的控制器和速度子 系统的控制器，接着根据所述姿态子系统的控制器和所述速度子系统的控制 器确定所述无人机的最终控制律，由此可以根据所获得的最终控制律来对无 人机进行控制，本发明利用滑模算法和强化学习算法分别设计了姿态子系统 和速度子系统，简化了固定翼无人机飞行控制系统的结构。
57.在一实施方式中，所述根据无人机模型建立所述无人机的面向控制模型， 包括：
58.s201、设定所述无人机为刚体模型，以地面坐标系为惯性坐标系建立无 人机模型；
59.s202、根据所述无人机的推力方向，采用预设空速动态方程建立所述无 人机的空速关系；
60.s203、根据所述无人机模型和所述空速关系建立所述无人机的面向控制 模型。
61.本实施例中，固定翼无人机姿态运动涉及惯性坐标系和机体坐标系等。 假设飞机为刚体模型、地面坐标系为惯性坐标系，建立无人机模型满足：
[0062][0063][0064][0065][0066]
上式中，ω＝[p q r]
t
为无人机的角速度向量，其中，p表示的是滚转角速 度，q表示的是俯仰角速度，r表示的是偏航角速度；θ＝[φ θ ψ]
t
为姿态角 向量，φ表示的是滚转角，θ表示的是俯仰角，ψ表示的是偏航角；v＝[u v w]
t
为飞行速度，u表示无人机机体坐标系xb轴方向的速度，v表示的是无人机机 体坐标系yb轴方向的速度，w表示无人机机体坐标系zb轴方向的速度； pn＝[x
g y
g h]
t
为无人机的位置信息。m＝[m1,m2,m3]
t
为调整无人机姿态的控制力 矩向量，包含滚转、俯仰和偏航三个力矩。fa＝f+t为无人机所受的力，f和 t＝[t
x 0 0]
t
分别为无人机所受的气动力和发动机提供的推力，其中发动机仅能提 供沿机体方向xb向前的推力；r
θ
，ri，i表示如下：
[0067][0068][0069]
本实施例中固定翼无人机的推力系统仅能提供沿机体坐标系xb向前的推 力，所以在设计无人机速度控制子系统时，采用空速方程建立所述无人机的 空速关系，空速vk与速度v之间的空速关系为：
[0070]
vk＝rk(α,β)v
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0071]
其中，
[0072]
由此固定翼无人机的空速动态关系满足：
[0073]
[0074]
在一实施方式中，根据所述无人机模型和所述空速关系建立所述无人机 的面向控制模型包括：
[0075]
在考虑未知外界干扰的情况下，将所述无人机模型和所述空速关系转化 为中间模型；
[0076]
根据所述中间模型以及预先设定的姿态跟踪误差和空速跟踪误差建立所 述无人机的面向控制模型。
[0077]
本实施例中，基于姿态动力学方程(1)-(2)和空速方程(8)分别设计姿态子系 统和速度子系统。
[0078]
本实施例中，考虑了未知外界干扰对固定翼无人机的姿态和速度的影响， 则姿态动力学方程(1)-(2)和空速动态关系(8)可转化为如下形式：
[0079][0080][0081][0082]
其中，d
θ
＝[d
θ1 d
θ2 d
θ3
]
t
和dv为未知上界的干扰。m为固定翼无人机的质量。 外界未知干扰d
θ
和dv在任意时间内，满足||d
θ
||≤d1，其中di》0，(i＝1,2)。
[0083]
定义姿态和空速跟踪误差为e
θ
＝θ-θd，ev＝v
k-v
kd
。其中θd为姿态参考指 令，v
kd
为速度参考指令。基于式(9)-(11)，建立无人机的面向控制模型：
[0084][0085][0086]
其中，
[0087][0088]
a＝cosαcosβ/m
[0089][0090]
在一实施方式中，如图3所示，所述根据所述面向控制模型利用滑模算 法和强化学习算法设计姿态子系统的控制器和速度子系统的控制器包括：
[0091]
s301、根据所述面向控制模型分别建立姿态积分滑模面和速度积分滑模 面；
[0092]
s302、根据所述姿态积分滑模面和所述速度积分滑模面分别确定姿态滑 模控制律和速度滑模控制律；
[0093]
s303、根据所述姿态滑模控制律和速度滑模控制律分别确定等效控制力 矩和等效控制推力；
[0094]
s304、根据所述等效控制力矩和等效控制推力分别确定姿态优化模型和 速度优
化模型。
[0095]
其中，根据所述姿态滑模控制律和速度滑模控制律分别确定等效控制力 矩和等效控制推力包括：
[0096]
根据所述姿态滑模控制律和速度滑模控制律以及对应的自适应律确定等 效控制力矩和等效控制推力。
[0097]
本实施例中，分别设计姿态子系统的控制器和速度子系统的控制器，对 于姿态子系统的控制器本实施例中基于式(12)，设计如下姿态积分滑模面：
[0098][0099]
对上式求导得：
[0100][0101]
其中，ms是滑模控制律，ma为通过强化学习算法产生的近优控制律。姿 态环的控制力矩m由两部分组成，即：
[0102]
m＝ma+msꢀꢀ
(16)
[0103]
本实施例中基于式(14)～(15)设计滑模控制律ms为：
[0104][0105]ks
为自适应增益，满足如下自适应律：
[0106][0107]
其中，k
s0
，λ0，rm，为大于零的常数，0《a《1/l《1，ε∈(01)，为大于零的常数，0《a《1/l《1，ε∈(01)，为等效控制u
eq
的近似值，通过如下低通滤波器获得：
[0108][0109]
当系统(12)到达滑模面时，可以得到等效控制力矩m
seq
如式(20)所 示：
[0110][0111]
将m
seq
代入到式(12)中得到：
[0112][0113]
对于速度控制子系统基于式(13)，本实施例中设计如下速度积分滑模面：
[0114]
[0115]
对上式求导得：
[0116][0117]
其中，t
xs
是基于自适应积分滑模算法设计的滑模控制律，t
xa
为通过强化 学习算法产生的近优控制律。速度子系统的推力t
x
由两部分组成，即：
[0118]
t
x
＝t
xa
+t
xs
ꢀꢀ
(24)
[0119]
与姿态子系统的设计思路类似，本实施例中，基于式(22)～(23)设计滑模控 制律t
xs
为：
[0120]
t
xs
＝-a-1kvs
sign(sv)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(25)
[0121]
其中，k
vs
为自适应增益，满足如下自适应律：
[0122][0123]
其中，k
v0
，λ
v0
，r
mv
，为大于零的常数，0《1/lv《1，εv∈(01)，
[0124]
为等效控制u
ev
的近似值，通过如下低通滤波器获得：
[0125][0126]
当系统(13)到达滑模面时，可以得到等效控制力矩t
xse
如式(28)所示：
[0127][0128]
将t
xse
代入到式(13)中得到：
[0129][0130]
在一实施方式中，根据所述等效控制力矩和等效控制推力分别确定姿态 优化模型和速度优化模型之后，所述设计方法还包括：
[0131]
根据所述姿态优化模型和所述速度优化模型建立优化系统模型；
[0132]
建立所述优化系统模型的控制性能指标；
[0133]
根据所述控制性能指标求解所述优化系统模型，获得姿态近优控制律和 速度近优控制律。
[0134]
本实施例中，根据前述式(21)和(29)，可以得到无人机控制系统满足：
[0135][0136]
其中，x＝[e
θ z
θ ev]
t
，u＝[ma,t
xa
]
t
，f(x)＝[z
θ
,g
θ
(z
θ
),g]
t
。
[0137]
针对无人机控制系统(30)，本实施例中提出如下控制性能指标函数：
[0138][0139]
其中，为一正定对称矩阵，为一对阵正定矩阵。当控制向量 取得最优时，即：时，性能指标函数v达到最优，即：
[0140][0141]
根据hamilton-jacobi-bellman(hjb)方程：
[0142][0143]
可以得到最优控制律为：
[0144][0145]
其中，
[0146]
在一实施方式中，根据所述控制性能指标求解所述优化系统模型，获得 姿态近优控制律和速度近优控制律包括：
[0147]
利用强化学习框架建立评价网格和执行网络求解所述优化系统模型，以 获得姿态近优控制律和速度近优控制律。
[0148]
由于式(33)很难采用解析法计算，本实施例中采用强化学习框架对最优控 制性能指标v
*
和最优控制律u
*
进行逼近，本实施例分别设计评价网络(35)和执 行网络(36)去逼近v
*
和u
*
。
[0149][0150][0151]
其中，σ(x)为激活函数，其中的元素是线性无关的。和为评价网络 和执行网络的权值，通过不断的迭代，使得和逼近v
*
和u
*
。和的自适 应律为：
[0152][0153][0154]
其中，
[0155]
在一实施方式中，根据所述姿态子系统和所述速度子系统确定所述无人 机的最终控制律包括：
[0156]
根据所述姿态滑模控制律和所述姿态近优控制律确定姿态控制器；
[0157]
根据所述速度滑模控制律和所述速度近优控制律确定速度控制器；
[0158]
根据所述姿态控制器和所述速度控制器确定最终控制律
[0159]
基于上述的设计过程，输出的最终的近优控制律为式(36)。也即根据滑模 控制律(17)、(25)和近优控制律(36)，得到最终的无人机控制律为：
[0160][0161]
综上本发明方法具有如下优点：
[0162]
(1)本发明针对固定翼无人机飞行过程中未知外界干扰问题，采用自适 应积分滑模和强化学习算法设计了速度控制子系统和姿态控制子系统，通过 该方法，有效地克服外界干扰的影响，并在一定程度上优化控制律。
[0163]
(2)本发明中提出自适应积分滑模算法在原有的积分滑模算法框架下， 基于等效控制方法设计增益自适应律，在外界干扰上界未知的情况下，实时 调整控制控制增益，有效的避免了控制增益的过估计问题，减小了滑模算法 中的抖振，进而减少飞行过程中的波动，提高了飞行的安全性，并使固定翼 无人机的速度可以快速跟踪上速度参考指令，提高无人机的机动性能。
[0164]
(3)本发明中提出基于评价网络和执行网络的强化学习算法，设计评价 网络和执行网络优化性能指标并得到近优控制律，对滑模控制律进行实时的 补偿，在保证鲁棒性的同时，减小固定无人机的能量消耗。
[0165]
本实施例还提出一种无人机控制方法，包括利用前述的无人机控制律设 计方法所确定的最终控制律对无人机进行控制。本实施例中根据图4所示的 框图搭建simulink仿真框图，基于matlab软件进行编程，进而验证本发明的 控制方法的有效性。所采用的参数包括：
[0166]
m＝8kg,i
xx
＝0.5528kgm2,i
yy
＝0.6335kgm2,i
zz
＝1.0783kgm2,i
xz
＝0.0015kgm2[0167]
控制器的参数设定如下所示：
[0168]ks0
＝2，a＝0.98，l＝0.99，ε＝0.005，λ0＝1.5，rm＝0.6；
[0169]kv0
＝0.6，lv＝0.99，λ
v0
＝0.01，εv＝0.05，r
mv
＝0.5；
[0170][0171]
c1＝1.5，a1＝2。
[0172]
将上述参数带入到飞行控制律式(39)和增益自适应律式(18)、式(26)中。
[0173]
姿态子系统的干扰为速度子系统的 干扰为姿态角的初值为θ0＝[5.7
ꢀ‑
5.7 0]
t
(deg)，角速率的初值 为ω0＝[57 57 57]
t
(deg/s)，空速初值为v
k0
＝8m/s。
[0174]
如图5所示，根据本发明所提出的控制方法，三个姿态角φ、θ和ψ可以 在3s内快速跟踪上参考指令θd＝[φ
d θ
d ψd]
t
，跟踪误差保持在区间 [-2
×
10-4
,1
×
10-4
](deg)区间
内，在t＝5s时，干扰d
θ
所引起的误差偏差小于1(deg)， 说明本专利所提出的控制方法对未知外界干扰具有很好的鲁棒性。如图6所 示，可以看出增益ks随着外界干扰d
θ
而实时变化。由图6可以看出本发明所提 出的控制方法所产生力矩抖震很小，进而减小了对执行机构的损害。
[0175]
如图7所示，通过跟踪曲线和误差曲线可知，固定翼无人机在本发明控 制律设计方法所设计的控制律可以快速跟踪上参考指令，并且跟踪精度很高。 15s后引入干扰dv，速度误差有一个0.2m/s的波动，在1s内重新收敛到零， 说明本发明所提出的控制算法具有较好的鲁棒性，并且可以保证固定翼无人 机快速机动的需求。如图8所示，经过0～5s的训练过程，最终稳定在常值附 近。
[0176]
考虑实际工程需求，本发明方法充分考虑固定翼无人机快时变、强干扰 以及能量损失等问题，采用自适应积分滑模和强化学习算法设计固定翼无人 机的飞行控制方法。通过两种算法的组合，无需设计观测器即可实现固定翼 无人机对速度指令和姿态指令的快速精确稳定的跟踪，有效的提高固定翼无 人机的控制性能，简化了固定翼无人机飞行控制系统结构。
[0177]
本发明实施例还提出一种无人机控制律设计装置，包括：
[0178]
建模模块，用于建立无人机的控制模型；
[0179]
数据处理模块，用于根据所述控制模型分别建立所述无人机的姿态子系 统的控制器和速度子系统的控制器；
[0180]
优化模块，用于对所述姿态子系统的控制器和所述速度子系统的控制器 进行优化，获得所述无人机的最终控制律。
[0181]
本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介 质上存储有计算机程序，所述计算机程序被处理器执行时实现前述的无人机 控制律设计方法的步骤。
[0182]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在 涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装 置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括 为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下， 由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物 品或者装置中还存在另外的相同要素。
[0183]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0184]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光 盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器， 空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0185]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上 述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的， 本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求 所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。