一种基于DDPG的非授权频谱占空比共存方法与流程

本发明涉及一种基于ddpg的非授权频谱占空比共存方法，属于无线通信中的频谱资源分配技术领域。

背景技术：

随着第五代移动通信(thefifthgenerationmobilecommunication,5g)技术的发展，也即新空口(newradio,nr)技术的成熟，例如物联网、高清视频、虚拟现实等的发展，人类对数据流量的需求急剧增加。而数据业务的传输需要占用一定的频谱，大规模增加的数据需求使得有限的授权频谱资源非常紧张，一方面，通过提升频谱使用效率可进行一定程度的改善；另一方面，将授权频谱上传输的数据卸载到非授权频谱上进行传输，是近年来广泛受到关注的一项技术。非授权频段主要包括2.4ghz频段和5ghz频段范围，其中2.4ghz频段已经非常拥挤，因此将授权频段上待传输的数据，以蜂窝网数据为主，卸载到5ghz非授权频段范围上传输，可一定程度上缓解授权频段大量数据待传输的难题。

wi-fi系统是非授权频段上的主要使用者，其使用分布式接入方式对信道进行争用。而授权频段上的蜂窝系统，以nr系统为主，使用的是基站对用户(userequipment,ue)的集中调度方式进行数据传输。不同类型的传输方式也对非授权频段上nr用户和wi-fi用户间的友好共存带来了难题。目前已有多项共存技术被提出，包括占空比(dutycycle)方法、传输前侦听(listen-before-talk,lbt)方法、几乎空白子帧方法、白空间方法等等。

其中，占空比方法主要被中国、美国、韩国等国家使用，它将固定时长的周期在时域上分为nron阶段和nroff阶段，分别供nr系统和wi-fi系统传输数据，时域资源的划分也减小了nr系统和wi-fi系统之间的干扰。如何划分nron阶段和nroff阶段两者的时间占比也成为了学术界和工业界的一个研究热点，可根据信道状况、两个系统的负载情况等方面来确定。

nron阶段和nroff阶段两者的时间占比本质上属于资源分配问题，传统上可由凸优化理论、博弈论、排队论等数学工具来解决。近年来，随着人工智能技术的发展，一些机器学习方法被逐渐应用到资源分配问题之中，且具有较好的性能表现，例如q-learning、deepqnetwork(dqn)等方法。然而目前使用这些方法只能解决离散动作空间的问题，对于nron阶段和nroff阶段两者的时间占比这一连续变化量便无能为力。因此，寻求一种可以解决时间占比连续动作空间问题的方法，例如深度确定性策略梯度(deepdeterministicpolicygradient,ddpg)方法，并能够具有良好的性能表现，具有重要的研究意义。

技术实现要素：

本发明的目的在于针对现有解决非授权频谱占空比共存方法只适用于离散动作空间，无法适用于连续动作空间的技术缺陷，提出了一种基于ddpg的非授权频谱占空比共存方法，用于自适应确定占空比周期内nron阶段和nroff阶段时间占比。

本发明的核心思想是：建立以nron阶段的时间占比为变量，在满足nr系统和wi-fi系统内用户的整体公平性约束的前提下，最大化一个占空比周期内nr系统吞吐量的优化模型；再将优化模型转化为具有连续动作空间的马尔可夫过程，并用ddpg方法进行求解，得到变量的最优值，以实现非授权频段内使用占空比方法下nr用户和wi-fi用户之间的友好共存。

规定非授权频谱的场景为：k个wi-fi接入点和1个nr基站共享c个非授权子信道；1个nr基站服务n个ues；每个wi-fiap服务m^k个wi-fi用户，并且为了减小干扰，不同wi-fiap使用不同的非授权子信道；

其中，在wi-fi系统中，接入点，全称accesspoint，简写为ap；用户，即station，简写sta；

一种基于ddpg的非授权频谱占空比共存方法，具体包括以下步骤：

步骤一、遍历k，求解所有wi-fiap服务下wi-fi数据包的传输概率和碰撞概率；

其中，k的取值范围为1到k；第k个wi-fiap服务下wi-fi数据包的传输概率，记为碰撞概率，记为

传输概率和碰撞概率具体依据(1)和(2)计算：

其中，cwmin表示竞争窗口的初值，i表示最大退避次数；

其中，竞争窗口初值cwmin以及最大退避次数i基于wi-fi系统中采用载波侦听多点接入冲突避免中的二进制指数退避方式和碰撞确定；碰撞是wi-fista在接入信道时发生的，碰撞发生时采用二进制指数退避方式进行退避；

传输概率基于建模的二维马尔可夫链得到；二维马尔可夫链对应每一个wi-fiap的行为过程，为bianchi马尔可夫模型；

步骤二、遍历k，计算wi-fi系统中每个wi-fiap的吞吐量；

其中，第k个wi-fiap所服务用户总的吞吐量定义为单位时间内成功传输的数据量；

第k个wi-fiap所服务用户总的吞吐量，包括如下子步骤：

步骤2.a基于(3)式计算第k个wi-fiap所服务用户中至少一个用户进行传输的概率；

其中，至少一个用户进行传输的概率，记为式中表示传输概率；m^k为每个wi-fiap服务的wi-fi用户数量；

步骤2.b在第k个wi-fiap的服务范围内，基于(4)式计算一次成功传输的概率：

其中，一次成功传输的概率，记为该概率定义为当至少一个用户发送数据时，只有一个用户成功传输的概率；

步骤2.c依据wi-fi系统的吞吐量定义，即公式(5)计算第k个wi-fiap所服务用户总的吞吐量

其中，e[p]表示wi-fi数据包的平均长度，tc、ts以及σidle分别表示wi-fi数据包传输发生碰撞、wi-fi数据包成功传输、以及信道空闲所占用的时间；

以及分别表示wi-fi数据包传输发生碰撞、wi-fi数据包成功传输、信道空闲的概率；

步骤2.d基于(6)式计算k个wi-fiap所服务用户的总吞吐量也即整个wi-fi系统的吞吐量；

步骤三、计算nr系统的吞吐量，具体包括以下子步骤；

步骤3.a基于(7)式计算第n个ue在所分配的非授权子信道上的吞吐量

其中，n的取值范围为1到n；表示分配给非授权子信道c的带宽，c的取值范围为1到cⁿ；表示分配给第n个ue所有非授权子信道的带宽、表示分配给第n个ue的传输功率，表示基站和ue之间的信道增益，n0表示噪声的功率谱密度；

步骤3.b基于(8)式计算nr系统的吞吐量也即将n个ue的吞吐量求和；

步骤四、计算一个占空比周期内nr系统和wi-fi系统的吞吐量具体为以下子步骤；

步骤4.a分别将tnr和twifi归一化为θnr和θwifi；

其中，tnr和twifi分别为nron阶段和nroff阶段的时长，θnr和θwifi均为连续变量，分别为nron阶段以及nroff阶段在整个占空比周期的时长占比，且θnr＝tnr/tcycle及θwifi＝twifi/tcycle，且θnr+θwifi＝1，tnr+twifi＝tcycle；

步骤4.b分别按照(9)和(10)式计算一个占空比周期内nr系统的吞吐量和wi-fi系统的吞吐量

步骤五、基于(11)式计算一个占空比周期内nr系统和wi-fi系统内用户的公平性

其中，公平性的计算依据jain公平指数，该公平性是一个位于0到1之间的连续变量，越接近于1，系统的公平性越大；

步骤六、建立非授权频谱占空比共存方法优化模型，具体为：以nron阶段时间占比θnr为变量，在满足nr系统和wi-fi系统内用户的整体公平性约束的前提下，最大化一个占空比周期内nr系统的吞吐量，得到如(12)式所示的优化模型：

使得：

θnr∈[0,1](12.b)

其中，jtp^threshold表示共存系统所能忍受的最小公平性；

步骤七、将步骤六建立的优化模型(12)转化为马尔可夫过程；

分别定义马尔可夫过程中的基本元素，包括智能体、动作空间、状态空间、奖励函数，又具体分为以下子步骤；

步骤7.a将决策者基站定义为智能体；

步骤7.b在每个时间步t下，智能体根据当前环境决定θlte的值，也即动作空间定义为{at＝θlte∈[0,1]}；

其中，at是时间步t下采取的动作；

步骤7.c在每个时间步t下，状态空间定义为非授权频段内一个占空比周期内nr的吞吐量wi-fi系统的吞吐量以及nr系统和wi-fi系统内用户的公平性所构成的集合，也即

步骤7.d基于(13)式定义奖励函数rt；

其中，在每个时间步t下，当nr系统和wi-fi系统内用户的公平性不能满足最小的限制jtp^threshold时，对智能体进行一定的惩罚，给予负奖励-1，否则给予正奖励

步骤八、ddpg方法求解步骤七建立的马尔可夫过程，确定占空比周期内nr阶段时间占比θnr，具体包括如下子步骤：

步骤8.1初始化actor网络、critic网络、目标网络及训练参数，具体包括如下三方面内容：

a)分别以参数θ^μ和θ^q随机初始化actor网络μ(s|θ^μ)和critic网络q(s,a|θ^q)；

其中，s是状态，a是动作；θ^μ是actor网络的参数；θ^q是critic网络的参数；

b)以参数θ^μ′←θ^μ和θ^q′←θ^q初始化目标网络μ′和q′；

其中，θ^μ′和θ^q′分别是目标网络μ′和q′的参数，θ^μ′←θ^μ表示将θ^μ赋值给θ^μ′，θ^q′←θ^q表示将θ^q赋值给θ^q′；

c)初始化经验池、mini-batch大小、折损因子、学习率以及软更新参数；

步骤8.2遍历episode从1到m，对步骤8.1初始化的actor网络、critic网络、以及目标网络进行如下训练：

步骤8.2a基于高斯过程初始化动作探索过程；

步骤8.2b获取初始观测状态s1；

步骤8.2c遍历t从1到t-1，进行如下步骤：

1)根据pg方法及ee方法，在第t个时间步下观测状态st，获取并执行动作at；

其中，pg方法属于actor网络，全称policygradient；ee方法是exploration-exploitation的缩写；

2)ap根据(10)式计算wi-fi系统的吞吐量，并广播至基站；

3)基站根据(9)式计算nr系统的吞吐量，接收广播信息，并根据(11)式计算nr系统和wi-fi系统内用户的公平性；

4)根据(13)式获取当前时间步t下的奖励；

5)观测下一状态st+1；

6)存储时间步t下的经历到经验池中；

其中，时间步t下的经历表示为[st,at,rt,st+1]，也即由时刻t的状态，记为st、时刻t的动作，记为at、时刻t的奖励，记为rt、以及下一时刻的状态，记为st+1，组成；

7)在经验池中随机采样mini-batch大小的经历；

其中，mini-batch的大小定义为b，也即采样得到的经历由b个样本组成。表示为[si,ai,ri,si+1]，也即由采样得到的b个样本中第i个样本对应的状态，记为si、第i个样本对应的动作，记为ai、第i个样本对应的奖励，记为ri，以及更新后第i+1个样本对应的的状态，记为si+1，组成；i的取值范围为1到b；

8)设定critic网络对采样得到的b个样本中第i个样本进行更新的目标值为yi，表示为yi＝ri+γq′(si+1,μ′(si+1|θ^μ′)|θ^q′)；

其中，θ^q′表示目标网络q′中的参数，ri表示采样得到的b个样本中第i个样本对应的奖励，γ表示折损因子，q′表示具有参数θ^q′的目标网络，μ′表示具有参数θ^μ′的目标网络；

9)通过最小化损失函数来更新critic网络；

其中，b表示mini-batch的大小；θ^q表示critic网络中的参数，yi为8)中设定的critic网络对采样得到的b个样本中第i个样本进行更新的目标值；

10)通过pg方法来更新actor网络；

其中，表示actor网络μ(s|θ^μ)对参数θ^μ在状态si时求导；表示critic网络q(s,a|θ^q)对参数θ^q在状态s等于第i个样本对应的状态si，动作a等于第i个样本对应的动作ai求导；表示更新后的actor网络；

11)根据式(14)和(15)更新目标网络μ′和q′：

θ^q′←τθ^q+(1-τ)θ^q′(14)

θ^μ′←τθ^μ+(1-τ)θ^μ′(15)

其中，τ表示更新参数；θ^q′←τθ^q+(1-τ)θ^q′表示将τθ^q+(1-τ)θ^q′赋值给θ^q′；θ^μ′←τθ^μ+(1-τ)θ^μ′表示将τθ^μ+(1-τ)θ^μ′赋值给θ^μ′；

12)更新状态st＝st+1。

有益效果

本发明提出一种基于ddpg的非授权频谱占空比共存方法，与现有技术相比，具有以下有益效果：

1、考虑到nr数据量急剧增加，将部分nr数据卸载到非授权频谱内进行传输，并使用占空比方法进行共存，提升了nr系统的吞吐量；

2、考虑一个占空比周期内nr系统的吞吐量，wi-fi系统的吞吐量以及系统用户的公平性指标，本发明在满足两个系统内用户公平性的约束条件下，能够最大化非授权频段上nr系统的吞吐量；

3、本发明将建立的优化模型转化为具有连续动作空间的马尔可夫决策过程，并基于ddpg解决了占空比方法下nron阶段时间占比θnr的自适应确定，与现有方法中将nron阶段时间占比θnr离散化求解的方式相比，可直接对连续动作空间求解，更利于找到全局最优解。

附图说明

图1为本发明“一种基于ddpg方法的非授权频谱占空比共存方法”的流程图；

图2为本发明“一种基于ddpg方法的非授权频谱占空比共存方法”具体实施例中nron阶段时间占比θnr的收敛结果图；

图3为本发明“一种基于ddpg方法的非授权频谱占空比共存方法”具体实施例中一个占空比周期内nr系统吞吐量的收敛结果图；

图4为本发明“一种基于ddpg的非授权频谱占空比共存方法”具体实施例中一个占空比周期内wi-fi系统吞吐量的收敛结果图；

图5为本发明“一种基于ddpg的非授权频谱占空比共存方法”具体实施例中一个占空比周期内共存系统用户间公平性的收敛结果图。

具体实施方式

下面结合附图和具体实施例子对本发明进行详细说明。

实施例1

本发明具体实施时输出一个占空比周期内nr系统和wi-fi系统的时间占比，适用于用户数量为几个到几十个的场景。

设定实施例1的场景为5个wi-fiap和1个基站共享3个非授权子信道，该基站下有10个ues，每个wi-fiap服务3个wi-fistas的非授权频段共存场景。wi-fi退避方式中的初始竞争窗口为16，最大退避次数为6。

wi-fi平均数据包长度为12000bits，数据传输速率为300mbps。nr系统在非授权频段分配到的传输功率和带宽分别为23dbm和20mhz，信道路径损耗模型采用-15.3-5×10lg(d)，d表示基站和ue之间的距离，设定为100m，噪声功率谱密度为-174dbm/hz。共存系统所能忍受的最小公平性jtp^threshold设定为0.5。nr系统和wi-fi系统在非授权频段的传输采用本发明提出的基于ddpg方法的占空比共存方法。

流程图如图1所示，具体操作流程如下：

步骤a、遍历k，依据(1)、(2)式求解所有wi-fiap服务下wi-fi数据包的传输概率和碰撞概率

其中，k的取值范围为1到5；

步骤b、遍历k，依据(3)、(4)式分别计算第k个wi-fiap所服务用户中至少一个用户进行传输的概率和一次成功传输的概率依据(5)式计算得到第k个wi-fiap所服务的3个用户的总吞吐量依据(6)式计算得到含有5个wi-fiap系统的总吞吐量

步骤c、依据(7)式计算第n个ue在所分配的非授权子信道上的吞吐量依据(8)式计算得到整个nr系统的吞吐量

其中，n的取值范围为1到10；

步骤d、记nron阶段和nroff阶段的时长归一化后分别表示为θnr和θwifi，分别按照(9)、(10)、(11)式表示出一个占空比周期内nr系统的吞吐量和wi-fi系统的吞吐量以及nr系统和wi-fi系统内用户的公平性由此可得到如(14)式所示的非授权频谱占空比共存方法优化模型；

使得：

θnr∈[0,1](14.b)

步骤e、将系统共存优化问题表示为如步骤7所示的马尔可夫过程；

其中，基站为智能体，在每个时间步t下，根据当前状态，也即一个占空比周期内nr的吞吐量，wi-fi系统的吞吐量以及系统用户的公平性所够成的集合：

来采取动作，决定θnr的值，也即动作空间为{at＝θnr∈[0,1]}。动作执行后，智能体根据(13)式得到环境奖励rt，同时环境状态转移到下一时间步的状态st+1；

步骤f、依据表1中的ddpg方法求解步骤e中的马尔可夫决策过程，具体如下表1所示：

表1基于ddpg求解马尔可夫过程的流程

从步骤a到步骤f，完成了本实施例一种基于ddpg的非授权频谱占空比共存方法。

对实施例1基于图1本发明的流程图进行仿真，得到nron阶段时间占比θnr，也即动作的变化情况，对应图2本发明“一种基于ddpg的非授权频谱占空比共存方法”具体实施例中nron阶段时间占比θnr的收敛结果图；得到一个占空比周期内nr系统和wi-fi系统的吞吐量，分别对应图3本发明“一种基于ddpg的非授权频谱占空比共存方法”具体实施例中一个占空比周期内nr系统吞吐量的收敛结果图；图4本发明“一种基于ddpg的非授权频谱占空比共存方法”具体实施例中一个占空比周期内wi-fi系统吞吐量的收敛结果图；仿真得到系统内用户公平性的变化情况，对应图5本发明“一种基于ddpg的非授权频谱占空比共存方法”具体实施例中一个占空比周期内系统用户间公平性的收敛结果图。

从图2可以看出，基于ddpg方法的非授权频谱占空比共存方法所确定的nron阶段时间占比θnr在迭代一定步数后收敛，并稳定于0.67附近，此结果表明，对实施例1应用本发明提出的基于ddpg方法的非授权频谱占空比共存方法，可以自适应地在一个占空比周期内确定出约67％的前一段时间给nr系统使用，后33％的时长给wi-fi系统传输；从图3可以看出，一个占空比周期内nr系统的吞吐量在迭代一定步数后收敛，并稳定于610mbps附近；从图4可以看出，一个占空比周期内wi-fi系统的吞吐量在迭代一定步数后收敛，并稳定于85mbps附近；从图5可以看出，共存系统内用户的公平性均在迭代一定步数后收敛，并稳定于0.51值，此时能保证在共存系统内用户的公平性满足最低要求0.5的情况下，nr系统吞吐量能够带来最大的提升，为610mbps。因此，本发明提出的基于ddpg的非授权频谱占空比共存方法可直接对连续动作空间求解，找到全局最优的nron阶段时间占比，实现了nr系统和wi-fi系统在非授权频谱内的友好共存。

以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入发明保护的范围。