基于强化学习的通信基站应急发电作业调度方法及系统

本发明涉及通信基站应急发电，具体为一种基于强化学习的通信基站应急发电作业调度方法及系统。

背景技术：

1、在现代通信网络中，基站作为关键节点，负责承载大量数据传输和用户连接。然而，当自然灾害、设备故障或其他不可抗力事件导致电力供应中断时，通信基站的正常运行会受到严重影响。这种情况下，如何有效地进行应急发电调度，以确保通信服务的持续性和可靠性，成为一个重要的研究课题。

2、传统的通信基站应急电力管理方式通常依赖于预设的操作手册和人工决策，其响应速度和适应性较低，难以满足动态变化的环境需求。这种方式不仅难以实时调整电力资源的分配，导致资源浪费，还可能因人工失误导致关键时刻的供电中断。此外，基于经验的调度方法无法充分利用通信基站的实时数据和环境信息进行精细化管理，缺乏对于复杂环境下最优调度策略的有效指导。

3、在应急情况下，基站的信号传输可能由于环境因素、设备状况等变化而波动不定，因此需要实时的功率需求分析和合理的电力资源调度以维持基站的有效运行。综合利用基站的传输流量数据、地形特征、设备健康状态和环境温度等多维信息，基于强化学习的方法能够动态调整发电设备的启停和电力分配策略，提高应急电力管理的效率和可靠性。

4、现有技术中的，公开号为cn118839991a公开了一种基于机器学习的通信基站能源管理系统，包括维护优化单元、数据处理单元、模型训练与预测单元、能源调配单元、能源执行单元和用户界面单元，所述维护优化单元、数据处理单元、模型训练与预测单元、能源调配单元、能源执行单元和用户界面单元依次连接，且维护优化单元与模型训练与预测单元和能源调配单元相连接，用户界面单元与能源调配单元相连接，能源执行单元与数据处理单元相连接。此方案提高了通信基站的运营效率，降低了对传统能源的依赖，从而推动了环境的可持续发展，但由于通信基站的操作环境和条件可能会随时间变化，比如设备老化、用户需求变化、环境因素等，模型需要具备足够的适应性和鲁棒性，以应对这些动态变化。如果模型更新频率不足或不具备自适应能力，可能导致在新的或极端条件下表现不佳。因此导致系统的准确性、有效性降低。

5、在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的目的在于提供一种基于强化学习的通信基站应急发电作业调度方法及系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于强化学习的通信基站应急发电作业调度方法，具体步骤包括：

4、采集在应急情况下，待监测通信基站的传输流量数据，结合通信基站的传输流量数据与地形特征数据，计算通信基站的信号接收功率和发射功率，结合信号接收功率、发射功率与通信基站内冷却系统的功率，计算得到通信基站的实时电力需求；

5、采集待监测通信基站内设备数据，基于通信基站的实时电力需求、通信基站内设备数据以及通信基站所处环境的平均温度生成通信基站的状态空间，其中所述设备数据包括备用电源的电能储备剩余量和通信基站内发电设备的健康状态；

6、定义通信基站的动作空间，所述通信基站的动作空间包括启动和关闭特定的发电设备、切换到备用电源、进行设备维护或检修和调整发电设备的输入功率，同时基于发电设备发电成本、电力供应均衡指数和设备损耗设计奖励函数；

7、基于通信基站的状态空间、通信基站的动作空间和奖励函数建立强化学习模型，通过有限元分析采用q-learning算法对强化学习模型进行训练，得到通信基站应急发电作业调度模型；

8、基于得到的通信基站应急发电作业调度模型，输入待监测通信基站实时的状态空间数据，模型输出当前状态空间下动作空间中最优的动作进行执行，其中所述动作空间中最优的动作为当前状态空间下动作空间中预期回报最大的特定动作。

9、进一步地，采集在应急情况下，待监测通信基站的传输流量数据，结合通信基站的传输流量数据与地形特征数据，计算通信基站的信号接收功率和发射功率，其中计算接收功率所依据的具体公式为：

10、prec(t)＝p0+ku*ddow(t)+δpter

11、式中，prec(t)为t时刻通信基站的接收功率，p0为基准功率，即表示通信基站没有进行数据传输时，通信基站的自身功率，ku为单位流量所需的功率系数，ddow(t)为t时刻的下行数据流量，δpter表示地形修正值；

12、计算发射功率计算所依据的公式为：

13、ptra(t)＝p0+ku*dup(t)+δpter

14、式中，ptra(t)为t时刻通信基站的发射功率，dup(t)为t时刻的上行数据流量；

15、其中地形修正值δpter基于地形特征数据进行计算，所述地形特征数据包括通信基站周围地形的平均高度、周围障碍物的平均高度和信号传输路径的距离，地形修正值δpter计算具体所依据的公式为：

16、

17、式中，hobs为障碍物平均高度，dpath为信号传输路径的距离，havg表示通信基站周围地形的平均高度，k1和k2分别为障碍物阻碍和地形高度阻碍的权重系数，其中k1＞k2且k1和k2均大于0。

18、进一步地，结合信号接收功率、发射功率与通信基站内冷却系统的功率，计算得到通信基站的实时电力需求，，其中通信基站的实时电力需求所依据的公式为：

19、ptotal(t)＝prec(t)+ptra(t)+pcoll(t)+paux(t)

20、式中，ptotal(t)为t时刻通信基站的实时电力需求，pcoll(t)为t时刻通信基站内冷却系统的功率，paux(t)为t时刻通信基站内辅助设备功率需求，具体包括路由器、交换机和监控设备的所需功率；

21、其中t时刻通信基站内冷却系统的功率pcoll(t)计算所依据的公式为：

22、pcoll(t)＝pbase(t)*{1+w1*(ts-tref)}

23、式中，pbase(t)为t时刻在基准温度下的冷却功率需求，ts为实时环境温度，tref为基准温度，w1为温度敏感度常数。

24、进一步地，采集待监测通信基站内设备数据，基于通信基站的实时电力需求、通信基站内设备数据以及通信基站所处环境的平均温度生成通信基站的状态空间，所述状态空间包括通信基站的实时电力需求、备用电源的电能储备剩余量、通信基站内发电设备的健康状态和通信基站所处环境的平均温度四个参数，具体表示为：

25、st＝[ptotal(t)，et，git，tt]

26、gt＝[g1t，g2t，…，git，…，gnt]

27、式中，st表示t时刻的状态向量，ptotal(t)为t时刻通信基站的实时电力需求，et为t时刻备用电源的电能储备剩余量，git和tt分别为t时刻通信基站内第i台发电设备的健康状态和t时刻的通信基站所处环境的平均温度，其中i为发电设备的索引，且i∈[1，n]，n表示t时刻时启动的发电设备个数。

28、进一步地，所述t时刻通信基站内发电设备的健康状态git通过发电设备的实际输出功率和实际发电效率进行表征，具体所依据的公式为：

29、

30、式中，zi(t)为第i台发电设备在t时刻之前的使用总时长，hipi(t)为第i台发电设备在t时刻的发电功率指数，hiei(t)为第i台发电设备在t时刻的发电效率指数；其中第i台发电设备的发电功率指数计算所依据的公式为：

31、

32、式中，piout(t)为第i台发电设备在t时刻的实际输出功率，piratde为第i台发电设备的额定功率，其中发电设备的实际输出功率piout(t)计算所依据的公式为：

33、

34、式中，viout(t)和iiout(t)分别为第i台发电设备在t时刻输出端的电压和输出端的电流，为输出端的功率因数；

35、其中，第i台发电设备的发电效率指数计算所依据的公式为：

36、

37、式中，pinput(t)第i台发电设备在t时刻的输入功率，其中输入功率计算所依据的公式为：

38、pinput(t)＝rz*xhi(t)*ηη

39、式中，rz为燃料热值，xhi(t)为第i台发电设备在t时刻的燃料消耗率，具体为单位时间内消耗的燃料量，ηη为转化效率。

40、进一步地，基于发电设备发电成本、电力供应均衡指数和设备损耗设计奖励函数，其中奖励函数计算所依据的公式为：

41、

42、式中，r为奖励函数，ci(t)为第i台发电设备，在t时刻的发电成本，b为电力供应均衡指数，l为设备损耗，其中ω1、ω2和ω3分别为发电设备发电成本、电力供应均衡指数和设备损耗的权重系数，其中ω2≥ω1＞ω3且ω1、ω2和ω3均大于0；

43、设备损耗l计算所依据的公式为：

44、

45、式中，n为启动的发电设备数量；

46、其中电力供应均衡指数b具体所依据的公式为：

47、

48、式中，ptotal(t)为t时刻通信基站的实时电力需求。

49、进一步地，通过有限元分析采用q-learning算法对强化学习模型进行训练，具体所依据的公式为：

50、

51、式中，q(st，at)表示状态st下执行动作at后，所得到的累计加权奖励，at表示在当前状态下执行的动作，st为t时刻的状态向量，st+1为执行动作at后的状态，rt+1表示执行动作at后的立即奖励，由奖励函数计算获取，α为控制收敛的学习率，γ为折扣因子，其中at均为通信基站的动作空间内包含的动作；

52、根据上述公式，基于奖励函数不断迭代更新不同状态下的执行不同动作后的q值，重复以上过程，直至收敛，完成强化学习模型的训练，得到通信基站应急发电作业调度模型。

53、本发明还提供一种基于强化学习的通信基站应急发电作业调度系统，所述基于强化学习的通信基站应急发电作业调度系统用于执行上述的基于强化学习的通信基站应急发电作业调度方法，包括：

54、电力需求分析模块，用于采集在应急情况下，待监测通信基站的传输流量数据，结合通信基站的传输流量数据与地形特征数据，计算通信基站的信号接收功率和发射功率，结合信号接收功率、发射功率与通信基站内冷却系统的功率，计算得到通信基站的实时电力需求；

55、状态空间定义模块，用于采集待监测通信基站内设备数据，基于通信基站的实时电力需求、通信基站内设备数据以及通信基站所处环境的平均温度生成通信基站的状态空间，其中所述设备数据包括备用电源的电能储备剩余量和通信基站内发电设备的健康状态；

56、奖励及动作空间定义模块，用于定义通信基站的动作空间，所述通信基站的动作空间包括启动和关闭特定的发电设备、切换到备用电源、进行设备维护或检修和调整发电设备的输入功率，同时基于发电设备发电成本、电力供应均衡指数和设备损耗设计奖励函数；

57、调度模型训练模块，用于基于通信基站的状态空间、通信基站的动作空间和奖励函数建立强化学习模型，通过有限元分析采用q-learning算法对强化学习模型进行训练，得到通信基站应急发电作业调度模型；

58、发电作业调度模块，用于基于得到的通信基站应急发电作业调度模型，输入待监测通信基站实时的状态空间数据，模型输出当前状态空间下动作空间中最优的动作进行执行，其中所述动作空间中最优的动作为当前状态空间下动作空间中预期回报最大的特定动作。

59、与现有技术相比，本发明的有益效果是：

60、本方案通过引入先进的强化学习算法，解决了传统应急发电调度方法中响应慢、适应性差和资源浪费等问题，显著提升了通信基站在突发事件中的应对能力。通过采集和分析通信基站的传输流量数据、地形特征、设备数据等信息，方案能够实时计算基站的电力需求，从而进行电力调度，避免了因电力不足导致的通信中断。通过定义明确的状态空间和动作空间，并设计基于发电成本、电力供应均衡和设备损耗的奖励函数，强化学习模型得以在多种复杂场景中学习和优化调度策略。该模型能够在不同环境和状态下快速输出最优的调度动作，提高应急响应的速度和准确性。特别是在资源有限的情况下，能够合理分配备用电源和发电设备的使用，有效降低了能源消耗和设备损耗，从而延长了设备的使用寿命和服务时间。此外，采用q-learning算法进行模型训练，使得方案能够在有限数据和计算资源的条件下迅速收敛到最优策略。因此，基于强化学习的通信基站应急发电作业调度方法，通过智能化、自动化的调度流程，实现了高效、可靠的应急电力管理，为通信网络的稳定性和安全性提供了坚实的保障。