用于波束管理的方法和装置与流程

本文描述的实施例涉及用于波束管理的方法和装置，具体地，涉及用于利用机器学习(ml)来辅助选择波束选项的方法和装置。

背景技术：

1、第三代合作伙伴计划(3gpp)第五代(5g)电信网络可以被配置为利用波束成形。波束成形允许节点(包括诸如5g下一代节点bgnb之类的基站)建立朝向其他设备(例如，一个或多个用户设备(ue))的定向传输链路。定向传输链路可以被称为波束。图1a是示出了多输入多输出(mimo)天线阵列的波束输出的示意图。图1a所示的mimo阵列包括20个波束(在附图中被编号为1至20)，并且提供120°弧度的覆盖范围；因此，下一代节点b(gnb)可以使用3个这样的阵列来提供360°的覆盖范围。mimo天线阵列可以是机械的，或更常见地是电子的，其中，使用相移来实现多个波束。

2、在一些5g系统中使用的波束的方向性自然会导致不同波束可能会或多或少地非常适合于在节点(诸如gnb)与另一设备(例如，ue(举例而言))之间的连接中使用。此外，与较早的3gpp电信网络(诸如第三代(3g)或第四代(4g)网络)相比，5g使用高得多的频谱。5g频谱可以被称为毫米波(mmwave)，并且通常包括30ghz和300ghz之间的频率。使用较高频率提供了提高的数据容量，但较高频率更容易受到大气条件(诸如空气中的水分)、地形等的干扰。因此，由5g网络使用的较高频率比由3g和4g网络使用的较低频率更难以传播。因此，与使用4g基站为相同地理区域提供覆盖的可能情况相比，可以利用5g无线电基站的更密集的部署以便为给定地理区域提供覆盖。诸如集成接入和回程之类的技术试图降低安装和维护的附加5g网络基础设施的成本。上述因素的结果是需要选择一个或多个合适的波束用于节点和ue(举例而言)之间的传输。

3、术语波束管理可以用于指代用于选择合适的波束以在例如ue和gnb之间建立连接的技术的集合。该选择可以基于对参考信号(诸如信道状态信息参考信号(csi-rs))的多个候选波束的测量。具体地，可以利用来自ue的参考信号接收功率(rsrp)的测量以及后续对具有最高值的波束的选择。

4、在3gpp tr 38.802v 14.2.0的第6.1.6.1节“technical specification groupradio access network；study on new radio access technology physical layeraspects(技术规范组无线接入网络；新无线电接入技术物理层方面的研究)”中讨论了现有波束选择方法，该规范自2021年6月7日起可在https：//portal.3gpp.org/desktopmodules/specifications/specificationdetails.aspx？specificationid＝3066处获得。图1b中还示出了现有波束选择方法的概述。图1b所示的方法可以包括多个阶段，多达三个阶段。在第一阶段(p1)中，基站(gnb)“扫描”某个范围(例如，如图1a所示的120度)内的波束(每个波束用于发送同步信号块(ssb))，以选择用于ue的最佳波束。ue测量来自从gnb发送的所有发送(tx)波束的接收参考信号功率，并且向gnb报告具有最高接收功率的波束；该波束可被选择。在图1b所示的示例中，选择了波束3。还可以使用另外的第二阶段(p2)，其中基站(gnb)使用较窄的波束来扫描局部区域。ue从该较窄波束测量csi-rs的rsrp，并且向gnb报告具有最高接收功率(最高rsrp)的波束；该波束可被选择。在图1b所示的示例中，选择了波束3.2。还可以使用第三阶段(p3)，尽管该阶段需要ue支持接收(rx)波束成形，在rx波束成形中，ue具有产生适配波束的能力。在第三阶段中，假设采用根据p2的波束选择，ue使用csi-rs信号的周期性传输来改善其接收机波束。

5、由于减少用于参考信号测量的时间会增加可用于发送用户平面和控制平面数据的时间，因此期望最小化所使用的参考信号测量的数量。在现有波束选择方法中，诸如图1b中所示的，基站可以发射覆盖某个范围的一系列波束；例如，5个波束被用于图1b的p1中的发送。图1c是在图1b的p1中使用的ssb发送的示意图。如图1 c所示，当在p1中发送5个波束时，该步骤需要发送5个ssb(每个波束一个)，从而需要大量的发送时间。因此，波束扫描过程可能导致基站和ue之间的用户平面和控制平面数据的发送中的显著延迟。

技术实现思路

1、本公开的目的在于提供至少部分地解决上面讨论的一个或多个挑战的方法、装置和计算机可读介质。具体地，本公开的目的在于支持针对5g电信网络的快速且功率高效的波束管理。

2、本公开提供了用于波束管理的方法和装置，具体地，用于实现ml以允许快速且功率高效的波束管理的方法和装置。

3、实施例提供了一种用于波束管理的计算机实现方法，该方法包括：获得环境的一个或多个属性的测量值，其中，该环境包含一个或多个ue；以及发起将所获得的属性测量值发送给托管ml模型的ml代理。该方法还包括：在ml代理处接收所发送的属性测量值，并且使用ml模型来处理接收到的属性测量值，以建议多个波束选项中的用于与该一个或多个ue交换数据的一个或多个波束选项。该方法还包括：使用所建议的该一个或多个波束选项来选择所建议的该一个或多个波束选项中的至少一个波束选项，并且使用所选择的波束选项与该一个或多个ue交换数据。通过使用ml模型来指导我们在数据交换中选择波束，相对于现有系统，该方法可以提高波束选择的速度并且减少参考信号传输的次数。因此，因为ue更快地附接到网络和/或更快地开始发送数据，该方法可以改进节点(例如，具有大规模mimo的gnb)的整体性能。此外，使用利用了ml模型的波束选择不需要与完整扫描一样多的功率来检测ue的最佳波束。

4、在一些实施例中，选择所建议的该一个或多个波束选项中的至少一个波束选项的步骤可以包括：向该一个或多个ue中的至少一个ue发送第一参考信号，并且基于由该一个或多个ue中的至少一个ue接收的第一参考信号的特性来选择所建议的该一个或多个波束选项中的至少一个波束选项，其中，第一参考信号可以是csi-rs。通过将参考信号发送给所建议的该一个或多个波束选项中的至少一个波束选项，该方法可以帮助确保对用于数据交换的波束的选择是最佳的。

5、一些实施例还可以包括训练ml模型。当正在训练ml模型时，可以使用完整扫描波束选择程序，直到ml模型是训练过了的。可以从另一ml模型获得ml模型的初始化参数，其中，该另一ml模型已经在具有与环境的属性类似的属性的另一环境中被训练。以这种方式，与根据随机的通用初始化参数来训练ml模型的情况相比，可以使ml模型更快地收敛到可接受的参数。

6、在实施例包括训练ml模型的情况下，可以使用来自环境的属性测量值和关于所选择的波束选项的信息、和/或使用从环境的模拟获得的模拟属性测量值来训练模型。训练过程可以适应于使用各种形式的训练数据。

7、在实施例包括训练ml模型的情况下，可以使用rl来训练模型。rl可以使用奖励函数，该奖励函数取决于所建议的波束选项的数量以及所建议的波束选项与最佳波束选项的比较。在实施例中，rl可以特别适合用于训练ml模型。

8、实施例可以用于控制可能在电信网络中的针对mimo天线阵列的波束选择。实施例可以特别适合于电信网络环境中的波束管理。

9、实施例的另一方面提供了一种包括处理电路和存储器的波束管理模块，该存储器包含可由处理电路执行的指令，由此波束管理模块可操作以：获得环境的一个或多个属性的测量值，其中，该环境包含一个或多个ue；以及发起将所获得的属性测量值发送给托管ml模型的ml代理。波束管理模块还可操作以：在ml代理处接收所发送的属性测量值，并且使用ml模型来处理接收到的属性测量值，以建议多个波束选项中的用于与该一个或多个ue交换数据的一个或多个波束选项。波束管理模块还可操作以：使用所建议的该一个或多个波束选项来选择所建议的该一个或多个波束选项中的至少一个波束选项，并且使用所选择的波束选项与该一个或多个ue交换数据。波束管理模块可以提供在对应方法的上下文中讨论的优点中的一个或多个优点。