一种基于最大权重调度策略的时延和时新联合优化方法

1.本发明涉及通信领域，特别是涉及一种基于最大权重调度策略的时延和时新联合优化方法。


背景技术：

2.在新一代移动通信系统中，移动终端对时延和时新提出了新要求。比如在路况监测、应急预警、精密医疗操作等通信系统中，移动终端不仅希望基站能快速开启下行传输回应自己的数据请求，也希望下行传输的数据具有时新性。考虑到下行传输和时新性更新都需要占用基站的频谱资源，希望设计一种动态频谱分配方案来联合优化时延和时新。
3.采用移动终端的平均时延作为系统时延的衡量指标，采用移动终端的平均信息年龄(age of information,aoi)作为系统时新的衡量指标，两者的联合优化是一个马尔科夫决策过程(markov decision process,mdp)，并且存在高维状态空间，行动空间以及复杂的状态转移规则。这类问题当前不存在高效的解决方案，是一个科研空区。


技术实现要素：

4.本发明的目的在于克服现有技术的不足，提供一种基于最大权重调度策略的时延和时新联合优化方法，适用于存在高维状态空间和行动空间的马尔科夫决策过程，高效实现了延迟和时新的联合优化。
5.本发明的目的是通过以下技术方案来实现的：一种基于最大权重调度策略的时延和时新联合优化方法，包括以下步骤：
6.s1.构建时延和时新联合的优化模型，并确定联合优化的目标问题；
7.s2.设计联合调度框架，所述联合调度框架包含权重评估模块、排序模块和信道分配模块；
8.s3.确定联合优化的目标优化问题所对应的调度策略，作为时延和时新联合优化结果。
9.本发明的有益效果是：本发明适用于存在高维行动和行动空间的马尔科夫决策过程，并且通过设计权重评估模块、排序模块和信道分配模块，并在确定联合优化的目标优化问题所对应的调度策略时，通过模块的调用，实现时延和时新的联合优化，得到联合的调度策略，具有效率高、复杂度低的优势。
附图说明
10.图1为本发明的原理示意图。
具体实施方式
11.下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
12.如图1所示，一种基于最大权重调度策略的延迟和时新联合优化方法，包括以下步骤：
13.s1.构建时延和时新联合的优化模型，并确定联合优化的目标问题；
14.设一个移动通信系统中，有一个基站、i个信息节点和j个移动终端。其中，i个信息节点会在每个时隙生成i种最新的状态信息；j个移动终端均匀分布在基站小区里，并随机向基站发送请求以获取信息节点的最新状态信息；基站有l个可用信道，其在接收到移动终端的请求后，一方面会调用信道实现信息节点最新状态信息的上行传输并会将其存储到基站的缓存空间中，另一方面会调用信道将缓存的状态信息下行传输至移动终端。
15.为了量化移动终端的平均时延，首先基于与基站的信道增益大小，将j个移动终端分为k个终端集合其中，内的移动终端在第t个时隙内会向基站发送a
k,i
(t)个请求以获取第i个信息节点的最新状态信息。接收到移动终端的请求信息后，基站一方面会调度下行信道服务这些请求，记b
k,i
(t)为请求第i个状态信息的移动终端中在第t个时隙内被服务到的数量；另一方面，基站使用ki个队列来存储未被及时服务的请求，记第ki+i个队列在第t个时隙开始时存储的请求数量为q
k,i
(t)，则有
16.q
k,i
(t+1)＝q
k,i
(t)-b
k,i
(t)+a
k,i
(t)。
ꢀꢀ
(1.1)
17.则移动终端的平均时延可表征为
[0018][0019]
为了量化移动终端的平均时新，记第t个时隙时基站端所缓存状态信息的信息年龄为ci(t)基站端所缓存的第i状态信息的信息年龄，i＝1,2
…
i，则移动终端的平均时新可表征为
[0020][0021]
其包含的三项代表了构成移动终端时新的三个部分：第一部分为移动终端发出请求后，其请求在基站端排队的时延，第二部分为基站端缓存的状态信息当前的信息年龄，第三部分为将所请求状态信息下行传输的时间。
[0022]
s103.构建时延和时新联合优化的目标函数为
[0023][0024]
联合优化的控制变量为l个信道的调度策略
[0025]
其中,d1(t),d2(t),
…
,d
ki
(t)表示下行服务的策略；d
ki+1
(t),d
ki+1
(t),
…
,d
ki+i
(t)为上行服务策略；
[0026]d(k-1)i+i
(t),k∈{1,2,
…
,k},i∈{1,2,
…
,i}表征第t时隙时用于下行服务中请求第i个状态信息移动终端的信道数量；
[0027]dki+i
(t),i∈{1,2,
…
,i}表征第t时隙时用于上行更新第i种状态信息分配的信道数量；
[0028]
因信道数量共有l个，d(t)需满足以下限制条件
[0029][0030]
最后基于d(t)介绍b
k,i
(t)和c(t)的更新规则。考虑内的移动终端与基站之间的下行信道增益为gk，当基站调用信道下行传输内移动终端的请求时，传输成功的概率为p(gk)，则有
[0031][0032]
pr(b
k,i
(t)＝l)表示b
k,i
(t)＝l的概率；
[0033]
即采用d
(k-1)i+i
(t)个信道服务内请求第i个状态信息的移动终端时，成功服务l个移动终端的概率等于d
(k-1)i+i
(t)中取l的组合总数乘上成功概率p(gk)的l次方，再乘上失败概率(1-p(gk))的d
i+ki+i
(t)-l次方；考虑第i个信息节点与基站之间的上行信道增益满足分布g
i+i
，当基站调用信道上行传输第i个信息节点的状态信息时，传输成功的概率为p(g
i+i
)，则有
[0034][0035][0036]
综上所述，延迟和时新的联合优化可总结为
[0037][0038]
s.t.(1.1),(1.2),(1.3),(1.4),(1.5)
[0039]
其中，该问题为马尔科夫决策过程，定义k行i列矩阵q(t)来存储所有的队列信息，使得则马尔科夫决策过程的状态为行动为d(t)，状态转移规则为(1.1)，(1.4)和(1.5)，奖励为r(t)。该问题状态空间和行动空间维度较高，状态转移规则复杂，当前不存在高效的解决方案。而本技术适用于存在高维行动和行动空间的马尔科夫决策过程，并且通过设计权重评估模块、排序模块和信道分配模块，并在确定联合优化的目标优化问题所对应的调度策略时，通过模块的调用，实现时延和时新的联合优化，得到联合的调度策略，具有效率高、复杂度低的优势，具体地：
[0040]
s2.设计联合调度框架，所述联合调度框架包含权重评估模块、排序模块、信道分配模块和；
[0041]
s201：构建权重评估模块，其将状态信息s(t)作为输入，输出权重向量并将其记为
[0042]
s2011：初始化权重向量为
[0043]
s2012：基于s(t)中q(t)的值更新即令其中的k和i满足k∈{0,1,
…
,k-1},i∈{1,2,
…
,i}；
[0044]
s2013：基于s(t)中c(t)的值更新即令
[0045]
s202：构建排序模块，其将作为输入，输出中值最大的元素位置并记为x＝k
x
i+i
x
,k
x
∈{0,1,
…
,k},i
x
∈{1,2,
…
,i}，即有
[0046][0047]
同时，令并输出更新后的
[0048]
s203：构建信道分配模块，其将状态信息s(t)，排序模块的输出位置x＝k
x
i+i
x
的值和一特定中间变量y作为输入，输出调度策略的值和更新后的y值：
[0049]
s2031：如果x＝k
x
i+i
x
的值满足k
x
＜k，则令同时，更新y为
[0050]
s2032：如果x＝k
x
i+i
x
的值满足k
x
＝k，则令同时，更新y为y＝y-1；
[0051]
s3.确定联合优化的目标优化问题所对应的调度策略，作为时延和时新联合优化结果。
[0052]
所述步骤s3中，需要确定联合联合优化问题的对应的调度策略包括以下子步骤：
[0053]
s301：初始化t＝1；基站端所缓存的i个状态信息的信息年龄为c(1)＝1i×1；令临时变量y＝l；并基于公式(1.1)得到状态信息的被存储的请求数量矩阵q(1)；
[0054]
s302：初始化调度策略的值为d(t)＝0
(ki+i)
×1；联合q(t)和c(t)的值得到t时隙时的状态信息s(t)＝{q(t),c(t)}；
[0055]
s303：将状态信息s(t)的值送入s201中设计的权重评估模块，该模块会调用步骤s2012分别评估ki路下行传输对时延时新联合优化的影响，调用步骤s2013分别评估i路上行传输对时延时新联合优化的影响；
[0056]
最后基于ki+i路各自对联合优化的影响大小赋予各路相应权重并存储在权重向量中，即执行s2012中的和s2013中的
[0057]
s304：联合s202中的排序模块和s203中的信道分配模块得到调度策略d(t)：
[0058]
a1、将权重向量作为输入送给s202中设计的排序模块，得到中最大权重所在位置并将此位置赋给x＝k
x
i+i
x
，并基于s202更新将s(t)，x＝k
x
i+i
x
和y的值送入
s203中设计的信道分配模块，可以得到调度策略d(t)中元素的值，同时基于s203更新临时变量y的值；
[0059]
a2、如果y＝0，代表调度策略d(t)中所有的元素都已被赋值，则跳转至步骤s305；否则跳转回步骤a1；
[0060]
可以看出步骤a1～a2是基于中元素对应的权重由大到小，依次给调度策略d(t)中的元素赋值，因此本发明的调度策略为基于最大权重的调度策略。
[0061]
s305：执行d(t)对应的调度决策；
[0062]
s306：令t＝t+1；如果t＝t，则结束调度；
[0063]
s307：基于公式(1.1)得到状态信息的被存储的请求数量矩阵q(t)；基于公式(1.4)和公式(1.5)得到基站端所缓存的i个状态信息的信息年龄c(t)；
[0064]
s308：跳转回步骤s302。
[0065]
上述说明示出并描述了本发明的一个优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。