5G组网信号处理方法及系统与流程

本发明涉及无线通信网络，尤其涉及5g组网信号处理方法及系统。

背景技术：

1、随着通信的发展，海量5g设备接入到网络当中，然而频谱资源有限，且当设备大量涌入网络当中时，会严重降低通信质量，现有的相关技术采用基于强化学习的资源控制策略进行资源决策，同时来适应信道状态信息高动态变化的特性。

2、在上行链路的分布式多智能体的资源控制方式中，由终端节点作为智能体进行资源控制，并根据资源控制结果发送数据到基站，基站解码数据后向终端节点发送解码速率，终端节点根据解码速率进行策略更新，导致对基站依赖性高；并且，在极端场景下，虽然可以通过自组织网络建立局部设备的内部网络连接，但是受到灾害环境的覆盖面积的影响，自组织网络设备与基站的信息传输距离大，而基站与控制中心通过无线通信进行连接，极有可能完全无法获取到基站反馈的解码速率，也就导致无法进行策略更新，数据交互成功率极低，也就难以与控制中心取得联系。

技术实现思路

1、本发明的目的是针对上述现有的相关技术的不足，提出5g组网信号处理方法及系统，能够提高数据交互成功率。

2、第一方面，本发明提供了一种5g组网信号处理方法，包括：

3、将5g-d2d节点作为智能体，在第一通信时隙开始时，根据d2d接口与邻居节点建立的自组织网网络，接收第一5g组网信号，并根据所述第一5g组网信号中的待协助数据包，将预先训练的资源决策网络的输出作为第一动作决策；其中，所述第一动作决策包括：协助决策、接入决策、功率决策和信道决策；所述智能体是根据所述资源决策网络与预先训练的预测网络级联得到的；

4、将所述第一动作决策作为所述预测网络的至少一个输入，并将所述预测网络的输出作为通信结果，若所述通信结果为通信失败，则所述智能体重新输出动作决策，直到所述第一通信时隙结束或所述通信结果为通信成功；

5、若所述通信结果为通信成功，则根据所述通信成功对应的最优协助决策、最优接入决策、最优功率决策和最优信道决策，对所述待协助数据包进行协助通信。

6、本发明采用与控制中心进行无线连接传输5g组网信号的数据包时，将自组织网网络内部的所有5g-d2d节点均看作一个智能体，并通过预测网络对是否通信成功进行预测，从而能够在极端场景下无需等控制中心反馈的通信结果，能够避免极端场景下通信不可达的情况导致数据交互成功率低的情况，且在一个通信时隙中可以进行多次动作决策的尝试，从而提高数据交互成功率。

7、进一步，得到所述资源决策网络和所述预测网络，包括：

8、在第二通信时隙开始时，待训练智能体采集周围的环境，并将所述环境作为输入，将所述待训练智能体的输出和所述环境上传至训练中心；其中，所述训练中心向所述待训练智能体传输真实通信结果和更新后的参数；

9、根据所述真实通信结果和更新后的参数，对所述待训练智能体进行参数更新，分别得到所述资源决策网络和所述预测网络；所述待训练智能体是根据待训练资源决策网络与待训练预测网络级联得到的。

10、进一步，所述将所述环境作为输入，将所述待训练智能体的输出和所述环境上传至训练中心，包括：

11、将所述环境作为所述待训练资源决策网络的输入，并将所述待训练资源决策网络的输出作为第二动作决策，将所述第二动作决策和所述环境上传至所述训练中心；其中，至少有一个待训练智能体上传对应的第二动作决策和所述环境上传至训练中心；所述环境包括：信道信息、历史动作决策、历史信道信息和第二5g组网信号。

12、进一步，所述训练中心向所述待训练智能体传输真实通信结果和更新后的参数，包括：

13、接收多个待训练智能体发送的第二动作决策，并将所述第二动作决策中的功率决策按照从大到小的顺序进行信息解码，获取真实通信结果，并根据所述真实通信结果，对所述第二动作决策和环境作为输入进行策略更新，得到更新后的参数，将所述真实通信结果和所述更新后的参数传输给所述待训练智能体；其中，所述训练中心仅包括与所述待训练资源决策网络结构相似的待训练集中资源决策网络。

14、进一步，所述根据所述真实通信结果，对所述第二动作决策和环境作为输入进行策略更新，得到更新后的参数，包括：

15、将所述第二动作决策和所述环境作为所述训练中心的第一网络的输入，对所述环境下采取所述第二动作决策进行策略评价，得到第一评价结果，并结合所述第二动作决策和所述真实通信结果，获取即时奖励，根据所述第一评价结果和所述即时奖励进行策略更新，得到更新后的参数。

16、进一步，所述即时奖励表示为：

17、

18、其中，rij,i(t)和rij,j(t)分别为在第t次获取动作决策时，智能体i为邻居节点j进行协助传输，智能体i和邻居节点j的解码速率，为智能体i不为邻居节点j进行协助传输时，智能体i的解码速率；rth为最低通信质量要求；c1为协助-单奖励条件，包括：若进行协助传输，智能体i和邻居节点j中有一个不接入无线通信系统且接入系统的节点的解码速率大于rth；c2为协助-双奖励条件，包括：若进行协助传输，且智能体i和邻居节点j均接入无线通信系统；c3为非协助-奖励条件，包括：不协助传输；c4为定值-奖励条件，包括：若c1至c3均不满足时，取预设定值r作为即时奖励。

19、进一步，所述若所述通信结果为通信成功，则根据所述通信成功对应的最优协助决策、最优接入决策、最优功率决策和最优信道决策，对所述待协助数据包进行协助通信，包括：

20、若协助传输的通信结果为通信成功，则根据所述最优协助决策和所述最优接入决策，将所述待协助数据包和智能体自身的数据包分别接入到所述最优信道决策对应的信道资源块中，并根据所述最优功率决策对应的功率向控制中心发送。

21、进一步，所述训练中心是根据所有5g-d2d节点的拓扑信息协商选举临的，包括：

22、将所有5g-d2d节点设置为协商状态后，根据所有5g-d2d节点的拓扑信息，构建通信无向连通图，并根据所有5g-d2d节点的无线通信距离，依次对所述无线连通图进行膨胀处理，得到多个膨胀结果，对所述多个膨胀结果进行叠加，获取总体无线通信范围，以距离所述总体无线通信范围的几何中心最近的5g-d2d节点为训练中心。

23、本发明通过根据所有5g-d2d节点的拓扑信息协商选举临训练中心，而无需等控制中心反馈的解码数据包产生的解码速率进行参数更新，从而可以在每个通信时隙中可尝试做出多次动作决策，以提高数据交互成功率。

24、进一步，所述根据所有5g-d2d节点的无线通信距离，依次对所述无线连通图进行膨胀处理，得到多个膨胀结果，包括：

25、根据5g-d2d节点的经纬度、成功通信的概率和相邻节点的距离，获取无线通信距离，并以所述无线通信距离为方阵边长，并根据所述方阵边长，获取递增的膨胀步长，根据所述递增的膨胀步长对所述通信无向连通图依次进行膨胀，得到一个5g-d2d节点对应的膨胀结果，直到获取到所有5g-d2d节点的膨胀结果。

26、第二方面，本发明提供了一种5g组网信号处理系统，包括：动作策略获取模块、判断模块和传输模块；其中，

27、所述动作策略获取模块，用于将5g-d2d节点作为智能体，在第一通信时隙开始时，根据d2d接口与邻居节点建立的自组织网网络，接收第一5g组网信号，并根据所述第一5g组网信号中的待协助数据包，将预先训练的资源决策网络的输出作为第一动作决策；其中，所述第一动作决策包括：协助决策、接入决策、功率决策和信道决策；所述智能体是根据所述资源决策网络与预先训练的预测网络级联得到的；

28、所述判断模块，用于将所述第一动作决策作为所述预测网络的至少一个输入，并将所述预测网络的输出作为通信结果，若所述通信结果为通信失败，则所述智能体重新输出动作决策，直到所述第二通信时隙结束或所述通信结果为通信成功；

29、所述传输模块，用于若所述通信结果为通信成功，则根据所述通信成功对应的最优协助决策、最优接入决策、最优功率决策和最优信道决策，对所述待协助数据包进行协助通信。