一种飞行自组织网络辅助通信的联合优化方法

本发明涉及无线通信，尤其涉及一种飞行自组织网络辅助通信的联合优化方法。

背景技术：

1、随着数字化和智能化的快速发展，无线传感器网络（wsn）在智能交通、环境监测和工业自动化等领域变得至关重要。这些网络需要实时处理和传输数据，以确保系统的效率和响应能力，其中一个关键性能指标是端到端延迟，即数据从发送方到接收方的总传输时间。在wsn中，端到端延迟受到多个因素影响，包括传播延迟、节点处理延迟，以及传输速率和功率限制导致的网络拥塞。因此，优化这些因素对于降低地面网络的最大端到端延迟和提高整体性能至关重要。

2、无人机因其高机动性和灵活部署能力，被视为地面无线通信网络的重要补充。在高流量需求和网络负荷重的场景中，无人机可以作为空中通信平台，为地面设备提供中继通信服务，提升地面网络的覆盖范围和服务质量。通过无人机群组成的飞行自组织通信网络（fanet），可以为地面网络提供快速部署、动态调整和负载均衡的辅助通信服务。这种方式有效地降低了地面网络的最大端到端延迟。然而，由于无人机的高机动性，fanet的拓扑结构频繁变化，导致网络环境复杂多变。动态变化的环境使得数据包传输路径的选择和无人机的航迹规划变得困难。

技术实现思路

1、为了应对动态环境下fanet辅助通信以降低wsn最大端到端时延的挑战，本发明提出了一种飞行自组织网络辅助通信的联合优化方法。该方法通过构建辅助通信模型，采用无人机群飞行轨迹和数据路由路径实时优化的方法，将问题表述为mdp序列决策问题，利用gcn与mappo结合的深度强化学习算法求解，降低wsn的最大端到端延迟。

2、本发明的技术方案具体如下：

3、一种飞行自组织网络辅助通信的联合优化方法，包括以下步骤：

4、步骤s1：构建多无人机及wsn数据路由传输系统模型；

5、步骤s2：建立fanet辅助通信的联合优化问题，以最小化传输系统的最大端到端时延为优化目标；

6、步骤s3：基于mdp将fanet辅助通信的联合优化问题表述为序列决策问题；

7、步骤s4：基于深度强化学习图神经网络建立求解序列决策问题的无人机决策模型，并进行训练；

8、步骤s5：应用训练好的无人机决策模型实现飞行自组织网络辅助通信的联合优化。

9、进一步的，所述步骤s1具体包括：

10、步骤s1-1：所述无人机及wsn数据路由传输系统模型包括由n个无人机组成的fanet、m个地面节点组成的wsn和一个地面接入点，每个地面节点均有多个数据包，各地面节点需将所有数据包传输到地面接入点；采用普里姆最小生成树算法给定wsn的地面路由方式；

11、令表示地面节点在时间步的数据包传输路径选择：

12、(1)

13、其中，，i表示由n个无人机构成的无人机集合；

14、(2)

15、其中，j表示由m个地面节点构成的地面节点集合；

16、令表示无人机在时间步将数据包传输给无人机，且，则有

17、(3)

18、其中，无人机为无人机的邻居无人机；

19、令表示无人机在时间步将数据传输给地面接入点，则有

20、(4)

21、(5)

22、令无人机以固定高度h飞行，以速度‖v(t)‖匀速飞行或悬停，则无人机i的位置表示为：

23、(6)

24、其中，δt表示时间步长；

25、(7)

26、其中，表示无人机不产生碰撞的最小距离；表示无人机在时间步的邻居无人机集合，(8)；

27、其中，和分别表示无人机和无人机的有效通信区域半径；

28、步骤s1-2：令通信信道均采用不存在信道间干扰的正交信道，则时间步t时wsn中地面节点j向地面节点j'传输数据包时的信道模型表示为：

29、(9)

30、其中，表示参照距离时的路径损耗，表示地面节点到地面节点的直线距离，表示非视距传输的路径损耗参数，表示时间步t单位方差下的循环对称复高斯分布小尺度衰落成分；

31、时间步t地面节点j向地面节点j'传输数据包的传输速率表示为：

32、(10)

33、其中，为子信道带宽，为地面节点j的传输功率，为高斯白噪声单边功率谱密度；

34、时间步t地面节点j与无人机i间的信道模型表示为：

35、(11)

36、其中，表示时间步t地面节点到无人机i的直线距离，表示视距传输的路径损耗参数；

37、时间步t无人机i与地面接入点间的信道模型表示为：

38、(12)

39、其中，表示时间步t无人机i到地面接入点的直线距离；

40、间步t地面节点向无人机i传输数据包的传输速率表示为：

41、(13)

42、时间步t无人机向地面接入点传输数据包的传输速率表示为：

43、(14)

44、其中，表示无人机传输数据包时所用的信道带宽，为无人机传输数据包的恒定功率，为定向波束赋形天线增益；

45、时间步t无人机和无人机之间的信道模型为：

46、(15)

47、时间步t无人机向无人机传输数据包的传输速率为：

48、(16)

49、进一步的，所述步骤s2具体包括：

50、令表示地面节点在时间步的数据包数量，表示无人机在时间步的数据包数量，则所述联合优化问题表示为：

51、(17)

52、(18)

53、其中，为所有数据包到达地面接入点时的时间步。

54、进一步的，所述步骤s3具体包括：建立多无人机及wsn数据路由传输系统模型的mdp模型，由此实现将fanet辅助通信的联合优化问题表述为序列决策问题；

55、所述mdp模型包括局部观测状态、行为、状态转移概率矩阵p、奖励函数r和折扣因子γ；

56、其中，局部观测状态包括：时间步t无人机i的位置，无人机i通信范围内的地面节点的数据包数量，无人机i通信范围内其他无人机的位置以及无人机i通信范围内其他无人机的数据包数量；

57、；

58、奖励函数：

59、(19)

60、其中，表示所有数据包到达地面接入点时的奖励，中的s=1,2,3,4，表示节点接入奖励，表示无数据节点接入惩罚，表示辅助数据传输奖励，表示移动奖励，表示时间步奖励。

61、进一步的，所述步骤s4具体包括：

62、步骤s4-1：使用无向图g表示无人机之间的路由网络，，v表示无向图g中的顶点集合，即无人机集合，表示边集合，即无人机两两之间的通信链路集合，邻接矩阵；

63、步骤s4-2：建立无人机决策模型，其深度强化学习算法如下：

64、（1）输入时间步t的无人机特征，表示无人机i的无人机特征，包括无人机i的位置、无人机i的数据包数量、无人机i通信范围内其他无人机的数据包数量，n表示无人机集合中的无人机数量n，为无人机特征的维度；

65、（2）计算无人机和无人机的相似系数，

66、(20)

67、为可学习参数，表示对变换后的无人机特征进行拼接，表示将拼接后的高维无人机特征映射到实数；

68、（3）计算注意力系数，即

69、(21)

70、其中，leakyrelu()表示激活函数；

71、（4）根据注意力系数对相邻的无人机特征加权求和，得到融合了相邻的无人机特征的无人机i的融合无人机特征：

72、(22)

73、其中，表示激活函数；

74、（5）引入多抽头注意力机制，对同一个数据样本建立多个注意力机制：

75、(23)

76、其中k表示第个抽头，表示第k个抽头得到的无人机i的融合无人机特征，表示多头注意力特征；

77、步骤s4-3：以局部观测状态和邻接矩阵为输入，对无人机决策模型进行训练。

78、进一步的，所述步骤s5具体包括：

79、步骤s5-1：给定环境的初始状态s0；

80、步骤s5-2：各无人机将当前的局部观察状态输入无人机决策模型得到对应的行为；

81、步骤s5-3：将选择的行为作用于环境，得到环境反馈的奖励，并将环境更新为新的状态；

82、步骤s5-4：判断环境是否到达终止状态，即所有数据包是否均已传输到地面接入点中，如果未到达终止状态则返回步骤s5-2，如果到达终止状态则结束应用过程。

83、相比于现有技术，本发明的有益效果在于：

84、1. 本发明通过构建多无人机及wsn数据路由传输系统模型，将多无人机辅助wsn通信的场景建模为无向图，更好地捕获自组织网络拓扑的特征，为网络拓扑的动态变化提供了支持，使系统能够在各种复杂的环境下保持稳定的通信。

85、2. 本发明建立了fanet辅助通信的联合优化问题，利用无人机的高机动性和建立视距链路的能力，提升自组织网络的传输性能。综合考虑飞行轨迹和数据路由等多个优化目标，有效降低网络传输时延，为时间敏感型数据提供端到端时延保证。

86、3. 本发明基于mdp实现序列决策问题表述，提供了强大的智能体决策框架，在动态环境中优化无人机的决策过程。通过定义详细的通信环境状态、飞行动作和奖励函数，促进无人机基于当前局部环境状态进行最优全局决策，明确了优化问题求解的路径和目标。

87、4. 本发明采用改进的深度强化学习算法求解联合优化问题，提升算法在复杂联合优化问题中的表现。gcn捕捉无人机之间的拓扑关系提取动态特征，mappo在多无人机环境中实现快速在线决策，有助于提高智能体学习效率和决策质量，在高动态的环境中实现无人机的协同工作，降低端到端延迟以提升网络的整体运行效率。