一种基于历史数据分析的多Agent机场场面滑行路径规划方法

一种基于历史数据分析的多agent机场场面滑行路径规划方法
技术领域
1.本发明涉及一种基于历史数据分析的多agent机场场面滑行路径规划方法，属于机场场面路径规划领域。


背景技术：

2.近年来随着民航空管业的迅速发展，人们越来越关注航班的准点率，用户体验需求越来越高，而航班场面运行效率在一定程度上影响着航班的进展，为了应对这种需求不断增长而硬件资源(如跑道资源、机坪资源等)极其有限的情形，就必须制定一种智能化的场面管理系统，实现一种机场资源利用最大化、场面运行效率最优化、经济效益最大化的智能化方案。
3.提升场面运行效率的关键在于如何系统有效地对航空器落地滑行轨迹进行规划，而对于日常繁忙的大型机场而言，滑行路径规划过程中难免遇到各种冲突，具体来讲主要包括机场机动区内的交叉路口以及联络节点处，由于机场雷达信号覆盖不够全面、场面结构布局不合理、交叉口以及联络节点出指示标志标记牌或者地面灯光设置不合理等因素，容易导致机组人员在滑行过程中产生疑惑，从而发生错滑以及其他不合理的滑行现象，造成地面滑行冲突。因此，在规划中就要做好随时处理冲突的准备，这也是保障路径规划安全的前提。
4.当前，国内外在机场场面领域上的研究有许多，但研究航空器场面滑行路径规划十分稀少，而且很多研究者更关注冲突的解决，忽视了规划。路径规划，是一个实时的局部规划，而不是一个静态全局规划，它包含庞大路径搜索空间，目前有许多研究者针对此提出了a*算法、遗传算法、蒙塔卡罗算法等等来解决，为了降低问题的复杂度，必须采用一种智能化的方法，以满足机场的要求。


技术实现要素：

5.针对以上提出的问题，本发明提供了一种基于历史数据分析的多agent的机场场面滑行路径规划方法，该方法采用强化学习中的q学习算法，通过分析处理历史的滑行数据得到先验知识，再进行有针对地搜索，实现航空器的滑行路径规划。
6.一种基于历史数据分析的多agent的机场场面滑行路径规划方法，本发明具有以下有益效果：(a)、可以解决机场场面的拥堵问题，有效缓解机场场面运行压力，提升效率；(b)、减少航班在进港或离港阶段的滑行时间，从而增加航班正点率；(c)、高效的路径规划在一定程度上可降低航空器发生冲突的概率；(d)、减轻了机长及管制员的压力，机场场面管理效率可得到提升。
7.技术方案：为实现上述目的，本发明采用以下技术方案：
8.一种基于历史数据分析的多agent的机场场面滑行路径规划方法，具体步骤为：
9.步骤一，分析航空器历史滑行数据，根据场面各个交叉口历史冲突次数，设置一个冲突热点阈值，最终得到场面冲突热点区域分布状况，同时搜集航空器滑行路径，从起点到终点，包括途中经过的各个交叉口，以便模型进行学习；
10.步骤二，设置两类agent，航空器agent及滑行道交叉口agent，同种agent之间相互博弈，争用场面资源，航空器之间寻找到达终点的最短路径，若同时申请跑道和滑行道资源，必然会出现冲突；不同种agent之间相互协作，滑行道交叉口agent根据航空器agent所处环境给出动作策略，随后航空器根据约束条件采取合理动作；
11.步骤三，根据步骤一中滑行数据进行模型训练，首先初始化场面环境，设置m个航空器agent，n个滑行道交叉口agent，并定义好初始航空器所处位置，随后参考历史滑行轨迹，根据冲突概率避开冲突热点区域，先采取最短路径策略搜索下一个节点，在每个交叉口记录采取的动作，若无冲突，返回q值作为奖励，若存在冲突，反馈相应q值作为惩罚，直到找到一个无冲突、路径短的方案，最后训练完所有数据后构建出一个q值网络，q值大小直接反应了该交叉口出现冲突的概率；
12.步骤四，根据步骤三中构建好的q值网络，完成路径规划，首先航空器agent将与之相邻可达交叉口q值进行排序，选择q值最大的交叉口作为下一候选节点，若出现冲突，交叉口agent根据冲突类型给出不同的冲突解决策略，若无冲突继续重复此步骤，直到航空器agent安全抵达终点；
13.进一步，所述步骤三中涉及的模型，用公式表达如下为：
[0014][0015]
其中α代表学习率，即每次更新的步长，取α＝0.001，r
t
表示航空器在当前状态o
t
下，采取动作a
t
所获得的奖励值。当航空器agent经过一个交叉口，若该交叉口agent给出的建议动作是让航空器安全无冲突通过，将反馈回一个奖励值给交叉口agent，这个奖励值将会根据航空器通过该段路径滑行耗时来决定，设置标准如下：(a)标准耗时在15秒到30秒范围内通过交叉口，奖励值取为5；(b)耗时低于15秒，触发冲突告警，建议减速，奖励值取为1；(c)耗时高于30秒，触发冲突告警，建议加速，奖励值取为2；(d)遇到冲突反馈一个较低奖励，取为0。
[0016]
所采取动作集{a}包括{加速、减速、转弯、直行、等待}，γ代表折扣因子，表示航空器在下一时刻所遇到的状态采取相应动作反馈回来的收益值对当前收益值的影响程度，a
*
表示航空器在下一时刻，根据所处环境o
t+1
，在动作集中筛选使得收益值最大的动作，也被称为最优动作。随着迭代次数增加，所有节点收益值达到收敛状态。
[0017]
进一步，所述步骤四中，训练好的q值网络作为先验知识，结合当前航空器所处环境o
t
，搜寻下一个相邻节点，将其加入到待选节点集中，记为n＝{n1,n2,...,n
i
,...,n
k
}，其中n
i
表示第i个可选节点，k表示整个待选集中节点的数量，随后对k个节点的累积收益值由大到小进行排序，首先考虑收益最大节点，检测是否有冲突，若有冲突，先更新该节点的收益值，再依次考虑剩余其它收益值最大且无冲突的节点，依次遍历所有节点后，将无冲突节点加入到候选集中，最后根据这些节点到停机坪的最短路径由小到大排序，选择距离最短的节点作为路径规划中下一步考虑的节点。
[0018]
本发明基于对场面航空器的历史滑行数据进行分析，能够解决场面上航空器的路
径规划问题，为场面航空器的调度提供决策支持。
[0019]
本发明的规划方案符合场面调度人员的指挥习惯，能够更好地嵌入到已有的各类场面调度自动化系统中。
附图说明
[0020]
图1为场面冲突种类的示意图；
[0021]
图2为航空器agent模块示意图；
[0022]
图3为场面的路径规划示意图；
[0023]
图4为将场面抽象为节点的有向图示意图。
具体实施方式
[0024]
一种基于历史数据分析的多agent的机场场面滑行路径规划方法，其特征在于：包括滑行历史数据分析与处理、agent模型的建立、q值网络构建、实时路径规划策略；
[0025]
基于如图1所示的冲突种类，滑行历史数据分析与处理模块主要处理当前机场在过去一年时间内的航空器滑行记录，包括航空器滑行轨迹、关键节点速度参数以及时间戳记录，为后面agent学习提供基础数据。
[0026]
agent模型建立，包括航空器agent及交叉口agent，如图2所示，航空器agent在模型中主要负责最短路径搜索，在建立好的q值网络中对相邻节点的q值进行排序，随后选择同时满足当前既没有冲突又是q值最大的节点，最后进行最短路径搜索。
[0027]
交叉口agent主要负责对当前交叉口附近航空器所处的状态实时跟踪，并根据相关约束条件进行冲突告警，若该交叉口出现冲突，会向场面上所有航空器广播一条告警信息，并给出相应的动作，最后交叉口agent还会根据指定标准过点时间要求对航空器通过该节点进行评估，从而给出具体的速度建议。
[0028]
q值网络构建，构建完成的网络作为航空器先验知识，收益值越大表示在历史滑行数据中该节点出现冲突的概率越大，具体构建方法如下：
[0029]
步骤一，初始化场面相关数据，包括航空器数量m，以及交叉口数量n，将场面抽象为节点与终点之间的有向图g，具体方法为：将各个交叉口视为一个节点，每个节点之间通过有向箭头连接，航空器从滑入跑道到停机坪的路径可以看作为这些节点之间的有向连接，以图3场面示意图为例，结合图4进行说明，其中001，010，
…
，110为划分的交叉口编号，节点之间的有向线段表示交叉口之间的子段，箭头方向表示航空器可运行的路径方向；
[0030]
步骤二，输入历史数据，将航空器所经过的节点读入，进行训练，具体标准设定如下：(a)标准耗时在15秒到30秒范围内通过交叉口，奖励值取为5；(b)耗时低于15秒，触发冲突告警，建议减速，奖励值取为1；(c)耗时高于30秒，触发冲突告警，建议提速，奖励值取为2；(d)遇到冲突反馈奖励取为0。
[0031]
步骤三，进行迭代更新，待所有节点的累积收益收敛后，场面q值网络构建完成，具体迭代更新公式如下：
[0032]
其中α代表学习率，即每次更新的步长，取α＝0.001，r
t
表示航空器在当前状态o
t
下，采取动作a
t
所获得的奖励值。所采取动作集{a}包括{加速、减速、转弯、直行、等待}，γ代表折扣因子，表示航空器在下一时刻所遇到的状态采取相应动作反馈回来的收益值对当前收益值的影响程度，a
*
表示航空器在下一时刻，根据所处环境o
t+1
，在动作集中筛选使得收益值最大的动作，也被称为最优动作。随着迭代次数不断增加，所有节点收益值达到收敛状态。
[0033]
实时路径规划策略，构建完成的网络作为航空器先验知识，在航空器搜寻下一节点时提供一个参考，具体步骤如下：
[0034]
步骤一，初始化航空器agent的起点位置，根据抽象的场面节点有向图进行搜索，搜寻与当前位置相邻的节点，并加入到待选集合n中，集合中所有元素为合法的候选节点，记为n＝{n1,n2,...,n
i
,...,n
k
}，其中n
i
表示第i个可选的下一规划路径节点，k表示整个待选集中节点数量；
[0035]
步骤二，根据构建好的q值网络，对集合n中节点收益值进行大到小排序，q值大小反映该节点在历史中遇到冲突的概率，收益值越大表示该节点流量较小，不易发生冲突，反之表示该节点容易出现冲突，然后根据交叉口agent的告警信息排除掉当前出现冲突的节点，留下无冲突节点，并加入到新的集合r中，记为r＝{n
i
,...,n
j
}，n
i
,n
j
分别表示第i个和第j个可选过渡节点，r中所有元素代表当前场面状态下所有无冲突过渡节点集合；
[0036]
步骤三，计算r集合中所有节点到终点的最短路径，具体的最短路径算法为dijkstra算法，详细算法描述如下：第1步，选中指定节点，列出此节点到其他节点的权值，不相邻为无穷大；第2步，从以上权值中选出最小值，此最小值就是起始点到对应顶点的最短路径，并标记这个对应顶点；第3步，将起始点到其他未标记顶点的直接距离与起始点到刚才标记顶点加上标记顶点到其他顶点距离的和比较，如果后者小，则更新对应的权值；第4步，转第2步；
[0037]
最终选择集合r中到终点停机坪路径中最短的节点作为路径规划中的下一个节点。