一种无线通信系统的调度控制方法及装置与流程

本发明属于无线通信领域，更具体地，涉及一种无线通信系统的调度控制方法及装置。

背景技术：

1、随着无人机(unmanned aerial vehicle,uav)在物联网(internet of things,iot)中的普及，它为物联网用户或传感器建立了数据采集通道，是未来物联网不可或缺的一部分。由于地面用户(ground user,gu)的移动性和有限的能量存储，gu和基站(basestation,bs)之间的直接连接通常很困难。因此uav在协助数据收集和从gu到bs的传输方面发挥着重要作用。它可以用作转发中继节点，以协助gu超出通信服务范围的数据传输。然而，由于分布式优化的高度复杂性，缺乏集中协调以及网络环境的未知动态，uav的轨迹和传输策略的联合控制仍然存在一些局限性。

2、目前研究的uav辅助的实时无线通信系统中，为了利用其性能增益，轨迹规划是最有益的设计问题之一，它可以利用uav的移动性并动态重塑网络结构以支持数据传输。通过使用动态规划设计uav的轨迹，不仅可以降低总能耗，而且能以低复杂度接近穷举算法的性能。还有很多现有的工作考虑了多uav辅助网络。通过规划多架uav的飞行轨迹，物联网用户上传的数据显着增加。此外，通过联合优化带宽、功率分配和uav的轨迹，探索了多uav辅助应急通信。特别是每架uav可以先收集和缓存用户数据，然后在飞行过程中相遇时将数据转发给下一架uav。不同gu之间的协调也是高效数据收集和传输的关键设计问题。由于uav在不同位置的覆盖范围存在差异，因此必须在不同uav之间巧妙地划分gu，以在干扰和网络覆盖之间进行权衡。

3、但当uav对gu进行访问控制时，uav与gu之间的数据调度和能量传输受到环境的极大干扰。由于时变的信道条件，很难保持数据传输的稳定性。目前关于uav辅助网络的发明大多数考虑了uav与uav之间的链路切换以及如何优化uav的轨迹，而忽略了gu与uav之间访问控制策略的重要性。uav也可以作为一些能量匮乏的gu的能量供应商，通过射频信号为gu提供能量。具有无线电力传输和低功耗的特点。当uav作为能量发射器，gu是能量供应有限的低功耗传感器设备时，通过在感知时隙内选择数据传输模式以及能量收集，从而控制消耗的能量，这个问题是困难的。本发明旨在解决uav与gu之间访问控制策略问题，这是一个高维控制问题。

4、其次，大多数发明只考虑根据规划uav的轨迹来收集gu数据并完成数据调度，并没有将uav轨迹规划和访问控制策略联合考虑。在动态环境中，gu-uav访问控制策略的高效性不仅与uav的飞行轨迹有关，还与何时选择将数据上报至bs有关。要联合考虑规划uav飞行轨迹，并在uav有限的覆盖gu时间内，根据动态环境和自身状态来切换不同的传输模式进行数据上传，这是一个复杂的联合优化问题，现有技术没有将访问控制策略与uav轨迹规划结合，无法对uav轨迹进行联合优化问题。

技术实现思路

1、针对现有技术的缺陷，本发明的目的在于提供一种无线通信系统的调度控制方法及装置，旨在解决现有技术没有将uav轨迹规划和uav访问控制gu的策略联合考虑的问题。

2、为实现上述目的，第一方面，本发明提供了一种无线通信系统的调度控制方法，所述方法应用于无人机辅助的无线通信系统，所述系统包括：一个基站bs、多架无人机uav及多个地面用户gu；所述方法包括如下步骤：

3、确定无线通信系统的能源效率；所述能源效率为bs接收的总数据量与无线通信系统消耗总能量在uav整个飞行时段内的平均比率；

4、确定无线通信系统的约束条件；所述约束条件包括：任意时隙任意两架uav之间的距离大于预设最小间距、每个gu在一个时隙只访问一架uav、每个时隙只有一架uav向bs上报数据、gu访问uav的方式为无源反向散射通信或有源射频通信中的一种、每个gu每个时隙的能量预算约束以及uav向bs上报的数据量由其与bs之间的距离及信道条件决定；

5、确定组合优化问题；所述组合优化问题用于基于所述约束条件对无线通信系统的调度策略进行设计以使得所述能源效率最大化；所述调度策略包括：各个gu的传输控制策略、各架uav飞行轨迹以及各架uav的传输调度策略；

6、将所述组合优化问题定义为马尔科夫决策过程mdp；其中，mdp的总奖励包括所有uav的长期奖励，每个uav的长期奖励包括其整个飞行时段内每一步决策下的自我奖励，所述自我奖励包括：目标函数奖励、引导奖励及惩罚项；若有gu向uav上传数据，则uav获得引导奖励，当gu的能量不满足其传输控制策略要求时，引导奖励的值为0，若任意两架无人机的距离小于预设最小距离，则uav获得惩罚项，若有uav将数据成功上报至bs，则uav获得目标函数奖励；

7、求解所述mdp得到能源效率最大时所述无线通信系统的调度策略。

8、在一个可能的示例中，所述uav的每个时隙t包括：飞行子时隙、感知子时隙以及上报子时隙，三个子时隙长度分别为τf，τs，τd；

9、所述约束条件包括：

10、||li(t+1)-li(t)||≤υmaxτf，

11、di，j(t)≥dmin，

12、其中，υmaxτf表示最大飞行距离，dmin表示预设最小间距，υmax表示最大飞行速度，di，j(t)表示t时隙第i架uav和第j架uav之间的距离，第i架uav和第j架uav之间的距离，li(t)表示t时隙第i架uav的位置，li(t+1)表示t+1时隙第i架uav的位置，i≠j。

13、在一个可选的示例中，所述约束条件还包括：

14、

15、其中，xm，i(t)∈{0，1}表示第t个时隙内第m个gu对第i架uav的访问控制策略，xm，i(t)为0表示gu不接入uav，xm，i(t)为1表示gu接入uav，表示第i架uav覆盖范围内所有gu的集合，n表示uav总架数。

16、在一个可选的示例中，所述约束条件还包括：

17、有源射频通信方式的数据上传速率为：

18、

19、其中，τz为分配给被允许接入控制gu的子时隙，pm(t)表示第m个gu在第t个时隙的发射功率，hm，i表示第i架uav和第m个gu的信道系数，hm，i由uav与gu之间可视距下的信道系数和非视距下的信道系数组成；

20、无源反向散射通信方式的数据上传速率为：

21、

22、其中，pa表示固定发射功率，γo是天线的常数系数；

23、令zm(t)∈{0，1}表示第m个gu在第t时隙的传输控制策略，当zm(t)＝0时第m个gu将选择无源反向散射通信方式，当zm(t)＝1时第m个gu选择有源射频通信方式。

24、在一个可选的示例中，为避免uav之间的调度干扰，所述约束条件还包括：

25、

26、其中，yi(t)∈{0，1}表示时隙t第i架uav的传输调度策略，其中，yi(t)＝1表示uav在时隙t向bs上报数据；

27、当yi(t)＝1时：

28、oi(t)＝τdlog(1+pi，r(t)||gi||2)

29、其中，oi(t)表示第i架uav向bs上报的数据量，pi，r(t)表示第i架uav用于信息转发的发射功率，gi表示uav与bs之间的信道条件。

30、在一个可选的示例中，所述约束条件还包括：

31、当xm，i＝1时，令表示第m个gu在第t时隙中收集的能量；

32、每个时间段第m个gu需要满足以下能量预算约束：

33、

34、其中，em(t)表示第m个gu第t个时隙开始时的能量状态，是第m个gu最大电池容量，zn(t)表示第n个gu在第t时隙的传输控制策略，pm(t)表示第m个gu在第t个时隙的发射功率。

35、在一个可选的示例中，所述无线通信系统的能源效率为：

36、

37、其中，ξ表示能源效率，表示uav时隙长度，oi(t)表示第i架uav向bs上报的数据量，yi(t)表示某时隙第i架uav是否计划向bs上报数据，ei，o(t)表示uav的运行能耗，ei，s(t)表示uav的感知能耗，ei，r(t)表示uav的上报能耗；

38、所述uav的感知能耗ei，s(t)及uav的上报能耗ei，r(t)具体为：

39、

40、ei，r(t)＝yi(t)pi，r(t)τd

41、其中，表示被第i架uav允许接入控制的gu集合，

42、在一个可选的示例中，将所述组合优化问题定义为mdp，具体为：

43、将各个时隙中的无线通信系统状态表示为：st＝(s1(t)，s2(t)，...，sn(t))；其中，si(t)表示第i架uav所观测到的系统状态信息；si(t)＝(χi，ψi)，其中，χi＝(ei，ζm，qi)表示uav和gu的能量存储和数据缓冲，ei表示uav和覆盖gu的能量队列的集合，(ζm，qi)是所有数据缓冲区的集合；ψi＝(hi，gi)表示网络中的通道条件，hi是第i架uav与被允许接入第i架uav的所有gu之间的信道系数集合，表示为

44、将所有uav的动作表示为at＝(a1(t)，a2(t)，...，an(t))，其中，动作表示gu的传输控制策略，表示gu对uav的访问控制策略，yi＝[yi(t)]表示uav的调度策略，表示uav的飞行轨迹；

45、第i架uav的自我奖励ri(t)如下：

46、

47、其中，γ和η都是可调参数，sm，i(t)表示在子时隙τz期间从第m个gu上传到第i架uav的传感数据的大小，rp(t)为避免不同无人机之间的干扰和碰撞的最小距离指标；表示引导奖励，目标函数奖励表示为表示惩罚项，i(·)表示指示函数；

48、第i架uav在整个时段内的长期奖励是折扣因子；

49、所述总奖励

50、第二方面，本发明提供了一种无线通信系统的调度控制装置，所述装置应用于无人机辅助的无线通信系统，所述系统包括：一个基站bs、多架无人机uav及多个地面用户gu；所述装置包括：

51、能源效率确定单元，用于确定无线通信系统的能源效率；所述能源效率为bs接收的总数据量与无线通信系统消耗总能量在uav整个飞行时段内的平均比率；

52、约束条件确定单元，用于确定无线通信系统的约束条件；所述约束条件包括：任意时隙任意两架uav之间的距离大于预设最小间距、每个gu在一个时隙只访问一架uav、每个时隙只有一架uav向bs上报数据、gu访问uav的方式为无源反向散射通信或有源射频通信中的一种、每个gu每个时隙的能量预算约束以及uav向bs上报的数据量由其与bs之间的距离及信道条件决定；

53、优化问题确定单元，用于确定组合优化问题；所述组合优化问题用于基于所述约束条件对无线通信系统的调度策略进行设计以使得所述能源效率最大化；所述调度策略包括：各个gu的传输控制策略、各架uav飞行轨迹以及各架uav的传输调度策略；

54、mdp定义单元，用于将所述组合优化问题定义为马尔科夫决策过程mdp；其中，mdp的总奖励包括所有uav的长期奖励，每个uav的长期奖励包括其整个飞行时段内每一步决策下的自我奖励，所述自我奖励包括：目标函数奖励、引导奖励及惩罚项；若有gu向uav上传数据，则uav获得引导奖励，当gu的能量不满足其传输控制策略要求时，引导奖励的值为0，若任意两架无人机的距离小于预设最小距离，则uav获得惩罚项，若有uav将数据成功上报至bs，则uav获得目标函数奖励；

55、调度求解单元，用于求解所述mdp得到能源效率最大时所述无线通信系统的调度策略。

56、第三方面，本发明提供了一种无线通信系统的调度控制装置，包括：存储器和处理器；

57、所述存储器，用于存储计算机程序；

58、所述处理器，用于当执行所述计算机程序时，实现上述第一方面提供的方法。

59、总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

60、本发明提供一种无线通信系统的调度控制方法及装置，对实际情况考虑得更加全面，为联合优化uav的轨迹规划和访问控制策略，采用多智能体强化学习(multi-agentdeep deterministic policy gradient,maddpg)传输方案，使得系统在有限信道条件下也能达到最大化能效。经过仿真验证，与基准方案相比，本发明提出的方案在性能上均获得最佳的表现。