基于注意力机制的频谱预测方法

本发明涉及一种基于注意力机制的频谱预测方法，属于频谱预测领域。

背景技术：

1、频谱预测技术作为认知无线电的补充，通过挖掘分析历史频谱数据间的相关性预测未来时隙的频谱占用情况，使频谱感知只需要扫描和感知预测为空闲的频段，从而大大降低频谱感知所需的能量和时间损失，也使频谱决策可以在更短的时间内准确高效地进行。在频谱预测后进行频谱共享操作，次用户(secondary user,su)便可以根据自身不同的业务需求，提前制定恰当的共享策略，弥补响应所需要的时间。另外，基于频谱预测的切换是主动进行的，它通过自行分析频谱预测的结果来判断未来时隙内信道占用状态，提前决定未来一个甚至几个时刻su是否需要进行频谱切换，从而减小了su与主用户(primaryuser,pu)发生碰撞的概率。

2、目前，虽然神经网络的发展极大的带动了频谱预测技术的提升，但应用较好的lstm及其变体结构对于输入序列的长期依赖问题仍未得到很好的解决，且序列转导模型——seq-to-seq的相关性信息储存、转换能力受制于中间向量的长度。在实际环境中，频谱资源的分配是在多个信道下完成的，频谱分配策略以及用户行为都会影响到最终频谱资源的占用情况，这使得频谱资源的相关性不仅体现在时间上，信道之间也存在相关性。另外，若只进行单步预测，每次只扫描未来一个时隙内的信道占用情况，需要频繁进行预测和感知，且在频谱切换时，短步的预测迫使用户频繁切换信道，su也需要多次根据自身业务需求进行决策，该方式效率较低且实用性不强。

技术实现思路

1、针对如何更准确预测未来尽可能多时刻的频谱占用状态的问题，本发明提供一种基于注意力机制的频谱预测方法。

2、本发明的一种基于注意力机制的频谱预测方法，包括：

3、s1、建立频谱预测网络，所述频谱预测网络为在基于注意力机制的transformer模型的每一个子模块中嵌入门控递归单元，所述门控递归单元的长度与输入的序列长度等长，在编码子模块和解码子模块中，输入的序列首先进入门控递归单元，门控递归单元对频谱占用信息进行局部相关性提取，并输出自带位置编码的信息预提取结果；

4、s2、将按信道优先级降序方式排序的频谱占用状态数据作为训练集，其中训练集中的输入数据包括输入序列和输出序列，其中输入序列为历史频谱信息的序列，输出序列为右移一位的未来频谱信息序列，训练集中的输出数据为未来频谱信息；

5、s3、利用训练集对频谱预测网络进行训练；

6、s4、进行预测：将当前的频谱信息作为输入序列，输入序列中最后一个时刻的频谱信息作为解码子模块输出序列的首次输入，利用训练后的频谱预测网络以自回归的形式进行频谱预测。

7、作为优选，编码子模块中的注意力机制为多头注意力机制，解码子模块中的两个注意力机制分别为交叉多头注意力机制和遮蔽的多头注意力机制，在门控递归单元进行局部信息提取的基础上，在门控递归单元进行局部信息提取的基础上，利用注意力机制进行全局相关性提取，其中，编码子模块中的多头注意力机制用于提取历史信息间的全局相关性，解码子模块中遮蔽的多头注意力机制用于提取未来时隙频谱占用的相关性，采用交叉多头注意力机制提取历史频谱信息与未来频谱信息间的相关性。

8、作为优选，第n个编码子模块为：

9、

10、为第n个编码子模块中门控递归单元t时刻的输出，表示在第n个编码子模块t时刻的输出；lstm()表示门控递归单元，layernorm()表示层归一化，multihead()表示多头注意力，采用缩放的点积注意力评分函数，ffn()表示ffn变换。

11、作为优选，第n个解码子模块为：

12、

13、其中，则表示在第n个解码子模块t时刻的输出，maskmultihead()表示遮蔽的多头注意力机制，采用缩放的点积注意力评分函数。

14、作为优选，transformer模型中的归一化为层归一化。

15、作为优选，对频谱预测网络进行训练过程中加入dropout机制。

16、作为优选，门控递归单元的前向传播公式为：

17、

18、其中，⊙表示hadamard积运算符，门控单元it、ft、ot分别对应输入门、遗忘门和输出门的输出，ct代表当前时刻记忆单元的输出，ht-1代表上一时刻的隐藏状态，xt表示当前时刻的输入，和分别对应输入门中输入序列及记忆单元进行特征提取时的权值矩阵，和分别对应遗忘门中输入序列及记忆单元进行特征提取时的权值矩阵，和分别对应输出门中输入序列及记忆单元进行特征提取时的权值矩阵，bi、bf、bo、bc各门控的偏置项，σ、代表激活函数。

19、作为优选，transformer模型中的前馈神经网络为：

20、ffn(x)＝w2relu(w1x+b1)+b2

21、其中，ffn(x)为前馈神经网络的输出，x为输入，w1、w2为权重矩阵，b1、b2为偏置项，relu()为激活函数。

22、本发明的有益效果，本发明将递归结构单元融合到基于注意力机制的transformer模型的每一个子模块中，利用递归结构优越的局部相关性处理能力及其输出自带位置编码的特性，与transformer模型并行化处理数据和高效的全局信息提取能力优势互补，克服lstm的长期依赖问题和transformer模型易产生过拟合的弊端，尤其在更贴近实际环境的多信道多步预测中，实现高准确率的频谱预测。

技术特征：

1.基于注意力机制的频谱预测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于注意力机制的频谱预测方法，其特征在于，编码子模块中的注意力机制为多头注意力机制，解码子模块中的两个注意力机制分别为交叉多头注意力机制和遮蔽的多头注意力机制，在门控递归单元进行局部信息提取的基础上，利用注意力机制进行全局相关性提取，其中，编码子模块中的多头注意力机制用于提取历史信息间的全局相关性，解码子模块中遮蔽的多头注意力机制用于提取未来时隙频谱占用的相关性，采用交叉多头注意力机制提取历史频谱信息与未来频谱信息间的相关性。

3.根据权利要求2所述的基于注意力机制的频谱预测方法，其特征在于，第n个编码子模块为：

4.根据权利要求3所述的基于注意力机制的频谱预测方法，其特征在于，第n个解码子模块为：

5.根据权利要求2所述的基于注意力机制的频谱预测方法，其特征在于，transformer模型中的归一化为层归一化。

6.根据权利要求2所述的基于注意力机制的频谱预测方法，其特征在于，对频谱预测网络进行训练过程中加入dropout机制。

7.根据权利要求1所述的基于注意力机制的频谱预测方法，其特征在于，门控递归单元的前向传播公式为：

8.根据权利要求1所述的基于注意力机制的频谱预测方法，其特征在于，transformer模型中的前馈神经网络为：

9.一种计算机可读的存储设备，所述存储设备存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至8任一所述基于注意力机制的频谱预测方法。

10.一种基于注意力机制的频谱预测装置，包括存储设备、处理器以及存储在所述存储设备中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1至8任一所述基于注意力机制的频谱预测方法。

技术总结
基于注意力机制的频谱预测方法，解决了如何更准确预测未来尽可能多时刻的频谱占用状态的问题，属于频谱预测领域。本发明包括：在基于注意力机制的Transformer模型的每一个子模块中嵌入门控递归单元得到频谱预测网络，门控递归单元对频谱占用信息进行局部相关性提取，并输出自带位置编码的信息预提取结果；训练集的输入数据包括输入序列和输出序列，输入序列为历史频谱信息序列，输出序列为右移一位的未来频谱信息序列，输出数据为未来频谱信息；利用训练集对频谱预测网络进行训练后，将当前的频谱信息作为输入序列，输入序列中最后一个时刻的频谱信息作为解码子模块输出序列的首次输入，利用频谱预测网络以自回归的形式进行频谱预测。

技术研发人员：王钢,孔金山,高玉龙
受保护的技术使用者：哈尔滨工业大学
技术研发日：
技术公布日：2024/1/15