[0001]
本发明涉及无线通信网络技术领域，特别是涉及一种城市轨道交通车车通信智能频谱选择方法。
背景技术：
[0002]
随着城市轨道交通行业的飞速发展，基于通信的列车控制(communication-based train control, cbtc)系统中的双向车对地(train-to-ground, t2g)通信结构由于其设备配置多、系统结构复杂、所用通信技术干扰大等问题，已经无法满足如今轨道交通系统高效、安全的要求。因此，一种新型的列车通信系统被迫切需要。列车到列车(train-to-train, t2t)直接通信（简称车车通信）可以明显的提高列车的运行效率和安全性，不但如此，它还能很大程度上减少轨旁设备，将t2t技术应用于新型列车通信系统，已经成为了一种趋势。
[0003]
虽然将t2t通信应用于城市轨道交通系统对于系统性能的提升有很大优势，但是t2g技术在目前阶段仍然是必要的，例如，道岔状态信息、列车线路信息等仍需要列车与轨旁设备通信获取。在t2g通信与t2t通信共存的情况下，为了能够充分的利用有限的频谱资源，t2t通信链路复用t2g通信链路上行频谱资源，复用的同时也产生了同频干扰问题。因此，需要一种有效的频谱共享方案来管理干扰，尽可能地降低干扰带来的影响。
技术实现要素：
[0004]
为此，本发明的目的在于提出一种城市轨道交通车车通信智能频谱选择方法，以降低频谱共享产生干扰对系统性能带来的影响。
[0005]
一种城市轨道交通车车通信智能频谱选择方法，所述方法包括：步骤一，构建轨道交通无线通信网络中车车通信系统模型，其中，列车所处的蜂窝小区半径为l，在单个小区中，存在m个车对地通信链路，存在n个车车通信链路，可用带宽被分为r个资源块，定义r=m，每个t2g链路使用单个资源块，在一个相干时间段内，在第m个资源块上的第t个t2t链路的信道功率增益表示为： (1)其中，为大规模衰落系数，包括路径损耗和阴影衰落，为小规模衰落功率分量；步骤二，对于该系统模型中存在的干扰问题，建立不同通信模式列车的信干噪比sinr，其中，在资源块m上，第t个t2t车辆到第个t2t车辆的信道增益表示为，第t个t2t车辆到基站的信道增益表示为，第m个t2g车辆到基站的信道增益表示为，第m个t2g车辆到第t个t2t车辆的信道增益表示为，那么，在资源块m上，第m个t2g链路的信干噪比sinr表示为：
(2)第t个t2t链路的sinr表示为： (3)其中，表示第m个t2g车辆的发射功率，表示第t个t2t车辆的发射功率，表示第个t2t车辆的发射功率，表示噪声功率，和均表示频谱资源分配指标，当或的值为1时，表示第t个t2t链路或第个t2t链路使用第m个资源块，当或的值为0时，表示不使用；步骤三，利用步骤二计算的sinr分别计算t2t链路和t2g链路的信道容量，其中：第m个t2g链路使用第m个资源块时的信道容量表示为：(4)第t个t2t链路使用第m个资源块时的信道容量表示为： (5)其中b为每个频谱的带宽；步骤四，构建引入多智能体低维指纹的深度强化学习模型，具体包括训练阶段和测试阶段；s4.1训练阶段s4.1.1 在一个相干时间段k内，给定当前环境状态s
k
；s4.1.2 将t2t通信链路看作智能体，每个智能体t根据环境获得观测值，o表示观测函数，将低维指纹特征加入观测值中，观测值变为，其中，为贪婪系数，e为训练迭代次数，采取的策略为，所有智能体共同采取的策略为a
k
；s4.1.3 智能体获得的奖励为；s4.1.4 环境状态以概率进入下一状态，s
k+1
表示k+1时间段的环境状态，表示k+1时间段环境状态的值，r表示k+1时间段奖励的值，s表示当前状态的值，表示在k时间段采取的行动；s4.1.5 每个智能体获得新的观测值，在整个环境中，智能体共享同一奖励；s4.2测试阶段
s4.2.1 在一个相干时间段k内，每个智能体首先估计环境观测值；s4.2.2 根据已经训练完成的q网络，智能体自主选择策略价值最大的策略；s4.2.3 智能体根据选定策略确定的发射功率和频谱资源开始传输数据。
[0006]
根据本发明提供的城市轨道交通车车通信智能频谱选择方法，具有以下有益效果：（1）优化了t2t通信列车频谱共享和发射功率，在保证t2g通信列车通信质量下最大化系统信道容量；（2）引入多智能体低维指纹，通过将t2t通信链路设定为智能体，很大程度的提升了智能体训练时经验复用池的稳定性，使训练结果更加准确有效；（3）设计了t2t分布式资源分配算法，能够在不同的频谱条件和网络拓扑下离线执行，而且实现过程便捷，可以很快的进行网络部署，只有当环境特征发生重大变化时，才需要更新所有智能体的经过训练的网络，仿真结果表明本发明在实际应用、系统性能方面取得了较好的效果。
附图说明
[0007]
图1是车车通信系统模型的示意图；图2是t2t链路与t2g链路之间的干扰示意图；图3是本发明marl所用神经网络示意图；图4是本发明训练阶段模型收敛示意图；图5是本发明在不同传输数据包大小下，本发明与现有方案系统总体信道容量对比仿真图；图6是本发明在不同传输数据包大小下，本发明方案与现有方案t2t链路数据传输成功概率对比仿真图。
具体实施方式
[0008]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0009]
本发明的实施例提供一种城市轨道交通车车通信智能频谱选择方法，包括步骤一至步骤四。
[0010]
步骤一，构建轨道交通无线通信网络中车车通信系统模型，构建的车车通信系统模型如图1所示，其中，t2t链路与t2g链路之间的干扰如图2所示，具体设定一个基于蜂窝的城市轨道交通列车通信网络，其中，列车所处的蜂窝小区半径为l。与传统的蜂窝网络不同的是，在城市轨道交通系统当中，基站是沿轨道线性分布的，且每个小区的列车数量是有限的。根据列车运行环境的特殊性，在单个小区中，存在m个车对地通信链路，存在n个车车通信链路，可用带宽被分为r个资源块，不失一般性，定义r=m，每个车对地(train-to-ground, t2g)链路使用单个资源块，这意味着t2g链路之间没有频谱共享。在一个相干时间段内，在
第m个资源块（第m个t2g链路占用）上的第t个车对车(train-to-train, t2t)链路的信道功率增益表示为：(1)其中，为大规模衰落系数，包括路径损耗和阴影衰落。为小规模衰落功率分量。
[0011]
步骤二，对于该系统模型中存在的干扰问题，建立不同通信模式列车的信干噪比sinr，其中，在资源块m上，第t个t2t车辆到第个t2t车辆的信道增益表示为，第t个t2t车辆到基站的信道增益可以表示为，第m个t2g车辆到基站的信道增益可以表示为，第m个t2g车辆到第t个t2t车辆的信道增益可以表示为。那么，在资源块m上，第m个t2g链路的信干噪比(signal-to
ꢀ-
interference-plus-noise ratios, sinr)可以表示为：(2)第t个t2t链路的sinr可以表示为：(3)其中，表示第m个t2g车辆的发射功率，表示第t个t2t车辆的发射功率，表示第个t2t车辆的发射功率，表示噪声功率，和均表示频谱资源分配指标，当或的值为1时，表示第t个t2t链路或第个t2t链路使用第m个资源块，当或的值为0时，表示不使用。
[0012]
步骤三，利用步骤二计算的sinr分别计算t2t链路和t2g链路的信道容量，其中：第m个t2g链路使用第m个资源块时的信道容量可表示为：(4)第t个t2t链路使用第m个资源块时的信道容量可表示为：(5)其中b为每个频谱的带宽。
[0013]
为了充分利用有效的频谱资源，频谱复用是必要的，但频谱复用带来的干扰对系统产生的影响根据前述公式可以明显的看出，因此，合理且有效的频谱复用策略变得尤为重要。
[0014]
步骤四，频谱复用：
在该城市轨道交通列车通信网络中，存在多个t2t通信链路复用t2g通信链路的频谱资源，因此，可以将频谱复用问题建模为多智能体强化学习(multi
-ꢀ
agent deep reinforcement learning, marl)问题，其中，每个t2t通信链路都充当智能体，多个智能体共同探索列车所处的未知的通信环境，以此来获得经验，根据自己对环境的观察完善频谱共享和功率控制的策略，然后指导自己采取合适的决策。
[0015]
请结合图3，基于marl的频谱复用方案主要分为两个阶段，第一个阶段为训练阶段，第二个阶段为测试阶段。
[0016]
s4.1训练阶段s4.1.1 在一个相干时间段k内，给定当前环境状态s
k
；s4.1.2 将t2t通信链路看作智能体，每个智能体t根据环境获得观测值可表示为：(6)其中，，o表示观测函数，为贪婪系数，e为训练迭代次数，g
m
为t2g链路信道状态信息，h
t
为t2t链路信道状态信息，b
t
为传输数据大小，t
t
为传输数据所用时长，为贪婪系数，e为训练迭代次数。
[0017]
根据观测值所采取的策略为，其中包含列车使用的发射功率以及选用的频谱资源，所有智能体共同采取的策略为a
k
；s4.1.3 智能体获得的奖励可表示为：(7)其中，为t2g链路所占权重，，分别表示t2g通信链路与t2t通信链路在相干时间k内的信道容量。
[0018]
s4.1.4 环境状态以概率进入下一状态，s
k+1
表示k+1时间段的环境状态，表示k+1时间段环境状态的值，r表示k+1时间段奖励的值，s表示当前状态的值，表示在k时间段采取的行动；s4.1.5 每个智能体获得新的观测值，在整个环境中，智能体共享同一奖励。
[0019]
s4.2测试阶段s4.2.1 在一个相干时间段k内，每个智能体首先估计环境观测值；s4.2.2 根据已经训练完成的q网络，智能体自主选择策略价值最大的策略；s4.2.3 智能体根据选定策略确定的发射功率和频谱资源开始传输数据。
[0020]
为了检验算法的系统性能，利用python和matlab r2018b对算法进行了仿真。该列车通信系统的主要参数如下：小区半径l=3km，资源块数量r=7，基站天线增益为7 dbi，列车天线增益为4 dbi，列车运行速度为70~90 km/h，t2g链路路径损耗模型128+37.6log10(d)，t2t路径损耗模型148+
40log10(d)，快衰落为瑞利衰落，权重。
[0021]
如图4所示，随着训练次数的不断增加，累积的奖励不断提高，这说明了所提出的训练算法的有效性。当训练次数大约达到1000次时，尽管在城市轨道交通环境中，由移动性引起的信道衰落会导致一些波动，但系统的整体性能仍然呈现出收敛的趋势。基于这样的观察，在后续评估t2t和t2g链接的性能时，将每个智能体的q网络均训练了1500次，以此来保证模型均收敛。
[0022]
如图5所示，随着t2t链路传输数据包大小的增加，所有方案的性能都会下降。显而易见，当传输的数据包大小增加时，为了提高t2t链路数据传输成功的概率，这就需要t2t链路增加传输数据的时长以及提高t2t链路的发射功率。随着t2t链路传输数据的时间变长，由于频谱共享，t2t链路对t2g链路也会造成更强的干扰。由图5中可以看出，本发明在不同的t2t传输数据包大小上相对于其他方案能够达到更好的性能，不但如此，它的性能还与性能上限十分接近。这也进一步说明，本发明在引入多智能体低维指纹之后，经验复用池的稳定性大大提升，使得训练结果更加准确。
[0023]
如图6所示，随着需要传输数据包大小增大，除最大容量外，其它所有方案的成功率逐渐变小，相比于未加入低维指纹的marl方案，本发明的传输成功概率更接近于最大信道容量下的传输概率。结合图6的观察结果，可以得出结论，本发明训练后的深度q网络，也就是说，即使在未经训练的情况下，本频谱共享方案优于其他方案。
[0024]
综上，根据本实施例提供的城市轨道交通车车通信智能频谱选择方法，具有以下有益效果：（1）优化了t2t通信列车频谱共享和发射功率，在保证t2g通信列车通信质量下最大化系统信道容量；（2）引入多智能体低维指纹，通过将t2t通信链路设定为智能体，很大程度的提升了智能体训练时经验复用池的稳定性，使训练结果更加准确有效；（3）设计了t2t分布式资源分配算法，能够在不同的频谱条件和网络拓扑下离线执行，而且实现过程便捷，可以很快的进行网络部署，只有当环境特征发生重大变化时，才需要更新所有智能体的经过训练的网络，仿真结果表明本发明在实际应用、系统性能方面取得了较好的效果。
[0025]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0026]
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（ram），只读存储器（rom），可擦除可编辑只读存储器（eprom或闪速存储器），光纤装置，以及便携式光盘只读存储器（cdrom）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其
他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0027]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
[0028]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、
ꢀ“
示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0029]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。