基于A2C的非授权频谱资源共享方法

基于a2c的非授权频谱资源共享方法
技术领域
1.本发明属于无线通信技术领域，涉及基于a2c的非授权频谱资源共享方法。


背景技术：

2.近年来，通信设备的数量和它们之间交换的数据量不断增长，给当前的蜂窝网络带来了沉重的负担。为了解决这个问题，lte网络引入了许多新技术，例如大规模多输入多输出mimo，d2d通信等，尽管有这些先进技术，但有限的许可频谱仍然是容量提升的主要瓶颈。反观非授权频段，尤其是5ghz非授权频段拥有丰富的频谱资源，并且未被充分利用。因此，将lte网络与传统wifi系统一起在非授权频段上运行被认为是一种支持爆炸性增长的数据流量的有前途的技术。
3.然而现有的未授权频段上已经存在发展十分成熟的无线技术，所以在选择未授权频谱用于通信网络的建设时，就必须考虑与已经存在未授权频段上的无线技术共存的问题。在频谱资源分配上，考虑到lte是一种采用集中调度的频谱分配方案，而wifi系统采用的是带有冲突避免的载波侦听多路访问接入技术，规定wifiaccesspoint(wap)和wifi用户在传输前必须监听信道，只有信道空闲时才能接入。二者在频谱资源分配上存在着巨大差异，因此，如果lte系统运行在相同的频段上，wifi系统可能受到极大的干扰，影响wifi用户的体验。因此在保证wifi网络服务质量的情况下，使二者和谐共存成为了研究热点。
4.深度强化学习综合了强化学习无模型的特点以及深度学习处理大数据的能力，在智能决策、无人驾驶、边缘卸载等领域取得了不错的进展。受到深度强化学习的启发，本文明旨在将强化学习策略引入到免授权频谱共享方案中，让small base station(sbs)实时地监控动态环境，挖掘潜在的重要数据和信息，并且自组织地学习接入策略，以实现蜂窝网与wifi网络公平高效的共存。
5.5ghz免授权频段附近有着丰富的带宽资源，将移动通信技术从授权频段拓展到非授权频段有利于5g技术的发展。利用laa技术作为基础，构建传输速率更高、时延低且耗电量小的网络，可以进一步满足下一代移动通信海量设备的连接需求。


技术实现要素：

6.有鉴于此，本发明提供了一种基于a2c的非授权频谱资源共享方法来解决lte与wifi网络共享非授权频谱资源问题，在保证wifi网络最低性能要求的情况下，使得sbs之间公平共享未授权资源。
7.为了达到上述目的，本发明提供如下技术方案：
8.1.基于advantageactor-critic(a2c)的非授权频谱资源共享方法，包括以下步骤：
9.s1：将lte/wifi共存场景中的资源共享问题描述成合作博弈过程，并提出a2c强化学习算法来解决该问题；
10.s2：设计智能体sbs的动作集合a、奖励函数r，以及状态s；
11.s3：初始化环境，每个智能体sbs获取初始状态值s
t
；
12.s4：每个智能体sbs将当前状态s
t
输入到自身的actor网络，独立地选择并执行动作a
t
；
13.s5：执行动作a
t
后，智能体sbs根据奖励函数获取环境反馈的r
t
，并进入下一个状态s
t+1
；
14.s6：智能体sbs根据环境的反馈更新actor网络和critic网络权重，调整接入策略；
15.s7：重复步骤s4-s6，直到收敛到最优纳什均衡。
16.2.进一步，在步骤s1中，我们将wifi网络视为一个随机的环境，把lte/wifi共存场景中的未授权频谱资源共享问题表述为一个合作博弈过程，引入a2c算法来解决该问题。
17.3.进一步，在步骤s2中，针对共存系统，我们的目的旨在充分保护wifi网络性能的情况下，实现sbs之间公平的共享非授权频谱资源。考虑到不同的sbs有不一样的聚合流量需求，我们定义出吞吐量需求比率β来作为sbs之间公平共享非授权资源的指标，βj可表示为其中，uj为sbs j的吞吐量，d
ji
为sbs所服务的用户ue i的流量需求。我们的目标是最大化所有sbs之间最小的吞吐量需求比率，以实现sbs之间公平的共享非授权频谱资源。
18.除此之外，为了防止wifi网络性能的显著下降，我们假设每个wifi用户的最低吞吐量需求r
min
必须被满足。因此，将此共存问题描述为数学公式为：
[0019][0020][0021]
其中，rm为wap m的吞吐量，为wap m所支持的用户数量。
[0022]
在保证每个wifi用户的最低吞吐量被满足的前提下，我们的目标是最大化所有sbs之间最小的吞吐量需求比，以实现sbs之间公平的共享非授权频谱资源。于是，推导出奖励函数的表达式为：
[0023][0024]
智能体sbs的动作可表示为信道选择和接入时长的组合，表示为a
t
＝[c
t
,t
t
]，其中c
t
∈{c1,c2,...,ck,...,ck}，k是非授权信道的数量。t
t
∈{0,ts,2ts,...,8ts},ts长度为1ms。
[0025]
状态是智能体sbs j决策的基础。其中包括sbs j的吞吐量需求比βj，以及与sbs j共享同一条非授权信道的wap所服务的wifi用户平均吞吐量rj，该类信息可通过监控信道收集。例如解码wifi数据包头未加密部分，提取网络分配向量nav中的信息。由此，我们可将状态s
t
表示为：s
t
＝[βj，rj]。
[0026]
4.进一步，在步骤s3中，对lte/wifi共存系统进行初始化，得到初始状态s
t
。
[0027]
5.进一步，在步骤s4中，每个智能体sbs独立地将s
t
输入到自身的策略网络actor，输出为所有动作的概率值，根据其策略选择动作a
t
，并将在下一个执行周期内执行该动作。
[0028]
6.进一步，在步骤s5中，智能体sbs独立地执行选择的动作，与wap共享非授权频谱资源，会获得一个在状态s
t
下执行动作a
t
的奖励值环境状态也会从s
t
更新为s
t+1
。
[0029]
7.进一步，在步骤s6中，智能体sbs将与环境交互得到的数据，采用最小化损失函数的方式更新critic网络q(s,a；w)的参数w，通过用策略梯度的方法更新actor网络π(a|s；θ)的参数θ，以便于找到最优联合策略。
[0030]
其中，critic网络的损失函数可以表示为：
[0031]
l
critic
＝(r
t
+γv(s
t+1
；wc)-v(s
t
；wc))2[0032]
参数w的更新可表示为：
[0033][0034]
8.进一步，在步骤s7中，重复步骤s4-s6，智能体通过不断地与环境交互，利用环境反馈的数据反复训练神经网络并更新其权重，直到收敛至最优纳什均衡，得到最佳联合接入动作。
[0035]
本发明的有效效果在于：在lte与wifi网络共享5ghz免授权频段的场景下，为了避免共存场景中lte系统的接入会严重影响wifi网络的性能，保证wifi用户的体验。本文将lte/wifi共存场景中的资源共享问题描述成合作博弈过程，并提出了一个基于ac框架的深度强化学习的共存方法。该方法让sbs自适应的调整信道选择和接入时长，在满足wifi用户最低吞吐量需求的前提下，最大化所有sbs之间的最小吞吐量需求比率。以实现lte与wifi网络公平高效的共享非授权频谱资源。
附图说明
[0036]
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
[0037]
图1为本发明实施例所述的lte/wifi共存网络系统模型图；
[0038]
图2位本发明实施例所述的a2c算法流程图。
具体实施方式
[0039]
下面将结合附图，对本发明的优选实施例进行详细的描述。
[0040]
本发明针对lte与wifi在免授权频段(5ghz)上基于lbt机制的共存问题，提出一种基于ac框架的lte与wifi网络的drl共存方法。该方案的首要目标是避免wifi网络的性能受到严重影响，以满足wifi用户的最低吞吐量需求为前提，再实现sbs之间公平的共享免受权频谱资源。
[0041]
考虑共存场景中存在多个sbs和wap，由于网络节点的密集特性，为了降低干扰，我们假设不同的wap选择不同的非授权信道，其中网络模型如图1所示。
[0042]
针对共存系统，我们的目的旨在充分保护wifi网络性能的情况下，实现sbs之间公平的共享非授权频谱资源。考虑到不同的sbs有不一样的聚合流量需求，我们定义出吞吐量
需求比率β来作为sbs之间公平共享非授权资源的指标，βj可表示为其中，uj为sbs j的吞吐量，d
ji
为sbs j所服务的用户ue i的流量需求。我们的目标是最大化所有sbs之间最小的吞吐量需求比率，以实现sbs之间公平的共享非授权频谱资源。
[0043]
除此之外，为了防止wifi网络性能的显著下降，我们假设每个wifi用户的最低吞吐量需求r
min
必须被满足。因此，将此共存问题描述为数学公式为：
[0044][0045][0046]
其中，rm为wap m的吞吐量，为wap m所支持的用户数量。
[0047]
我们将wifi网络视为一个随机的环境，把多sbs的接入问题建模为合作博弈过程，引入drl来解决该问题。视sbs为独立的智能体，让其独立选择并执行接入动作，并根据环境反馈调整自身的接入策略，以实现高效和谐的共存。
[0048]
在共存模型中，为了使sbs与wap和谐共存，采用基于ac框架的深度强化学习算法，并设计出智能体动作集合a、奖励函数r以及状态s。
[0049]
在每一个执行周期，每个智能体sbs会从动作空间a中选择一个动作a
t
。sbs的动作可表示为信道选择和接入时长的组合，表示为a
t
＝[c
t
,t
t
]，其中c
t
∈{c1,c2,...,ck,...,ck}，k是非授权信道的数量。t
t
∈{0,ts,2ts,...,8ts},ts长度为1ms。
[0050]
状态是智能体sbs j决策的基础。其中包括sbs j的吞吐量需求比βj，以及与sbs j共享同一条非授权信道的wap所服务的wifi用户平均吞吐量rj，该类信息可通过监控信道收集。例如解码wifi数据包头未加密部分，提取网络分配向量nav中的信息。由此，我们可将状态s
t
表示为：s
t
＝[βj，rj]。
[0051]
奖励函数r是为了能更好的指导sbs找到最佳接入策略。我们的目的是充分保护wifi网络性能，满足wifi ue最低吞吐量的前提下，最大化所有sbs之间最小的吞吐量需求比，实现sbs之间公平的共享非授权频谱资源，以提高频谱利用率。于是，推导出奖励函数的表达式为：
[0052][0053]
初始化环境状态，sbs通过监测环境，获取当前状态值s
t
，并将其输入到actor策略网络中，策略网络根据s
t
输出每个动作对应的概率值，选取概率值最高的动作a
t
在下一个执行周期开始时执行。
[0054]
当智能体将选择的动作a
t
与环境进行交互之后，其会得到一个关于动作a
t
的奖励值r
at
，环境的状态也会从s
t
更新为s
t+1
。根据状态值的更新，以及环境的反馈值，智能体sbs采用最小化损失函数的方式更新critic网络q(s,a；w)的参数w，通过用策略梯度的方法更新actor网络π(a|s；θ)的参数θ，以便于找到最优联合策略，如图2所示。
[0055]
其中，critic网络的损失函数可以表示为：
[0056]
l
critic
＝(r
t
+γv(s
t+1
；wc)-v(s
t
；wc))2[0057]
参数w的更新可表示为：
[0058][0059]
智能体通过不断地与环境交互，利用环境反馈的数据反复训练神经网络并更新其权重，直到收敛至最优纳什均衡，最终求得最佳联合接入动作。