无人机控制方法、无人机控制装置、电子设备及存储介质与流程

本技术涉及控制，尤其涉及一种无人机控制方法、无人机控制装置、电子设备及存储介质。

背景技术：

1、无人机通信技术主要分为基于移动中继的通信技术和基于空中基站的通信技术两种。基于移动中继的通信技术是将无人机部署为无线网络中继进行通信传输。但是从基站到无人机之间的传输会带来巨大回程负担，忽略了无人机有限的电池容量，并限制了无人机为客户端传输高质量通信内容的有效性，造成整体传输性能瓶颈。这使得基于空中基站的通信技术成为一种可靠的缓解瓶颈的解决方案。基于空中基站的通信技术是将无人机部署为空中基站进行通信传输。当接收到客户端的数据请求时，控制无人机加载本地缓存的数据，为客户端提供服务。但是无人机仅能提供有限的存储容量和电池容量有限，基于空中基站的通信技术无法解决无人机的充电蓄能以及传输内容更新问题，无法为客户端提供可持续性的数据传输服务。

技术实现思路

1、本技术实施例的主要目的在于提出一种无人机控制方法、无人机控制装置、电子设备及存储介质，旨在解除因存储容量有限、电池容量有限给无人机通信传输带来的限制，使无人机为客户端提供可持续性的数据传输服务。

2、为实现上述目的，本技术实施例的第一方面提出了一种无人机控制方法，所述方法包括：

3、获取第一系统状态数据；

4、对所述第一系统状态数据进行强化学习，得到第一动作控制策略；所述第一动作控制策略包括通信功率策略、数据内容传输策略和飞行轨迹策略；

5、对无人机执行所述第一动作控制策略后的系统状态进行预测，得到第二系统状态数据；

6、对所述第二系统状态数据进行状态安全检测，得到安全检测数据；

7、若所述安全检测数据小于或者等于预设检测阈值，则控制所述无人机执行所述通信功率策略、所述数据内容传输策略和所述飞行轨迹策略。

8、在一些实施例，在所述对所述第二系统状态数据进行状态安全检测，得到安全检测数据之后，所述无人机控制方法还包括：

9、若所述安全检测数据大于所述预设检测阈值，则对所述第一动作控制策略进行策略调整，得到第二动作控制策略；

10、根据所述第二动作控制策略对所述无人机进行控制。

11、在一些实施例，所述对所述第一系统状态数据进行强化学习，得到第一动作控制策略，包括：

12、通过第一预设神经网络对所述第一系统状态数据进行强化学习，得到第一动作控制策略；

13、或者，

14、获取初始动作控制策略；通过第二预设神经网络，对所述初始动作控制策略进行评分得到评分数据，并根据所述评分数据更新所述初始动作控制策略，得到中间动作控制策略；根据所述初始动作控制策略和所述中间动作控制策略对第一预设神经网络进行网络参数更新；通过更新后的所述第一预设神经网络对所述第一系统状态数据进行强化学习，得到所述第一动作控制策略。

15、在一些实施例，在所述获取初始动作控制策略之后，所述无人机控制方法还包括：

16、根据初始动作控制策略计算时序差分数据；

17、根据所述时序差分数据更新所述第二预设神经网络的网络参数。

18、在一些实施例，所述第一系统状态数据包括第一队列请求状态、第一飞行位置状态、第一电池能量状态和第一缓存内容状态，所述对无人机执行所述第一动作控制策略后的系统状态进行预测，得到第二系统状态数据，包括：

19、确定待传输的数据内容以及所述数据内容能够传输至预设对象的预估传输信息；根据所述第一缓存内容状态、所述数据内容传输策略和所述预估传输信息得到预设对象的数据传输请求被响应的响应请求数目；根据所述第一队列请求状态、所述响应请求数目、预设新增请求数目和预设请求阈值得到第二队列请求状态；

20、根据所述飞行轨迹策略对所述第一飞行位置状态进行更新，得到第二飞行位置状态；

21、根据所述通信功率策略确定数据传输能耗；根据所述飞行轨迹策略确定第一飞行能耗；根据所述第一电池能量状态、所述数据传输能耗、所述第一飞行能耗、预设充电能量和预设电池容量得到第二电池能量状态；

22、确定缓存控制数据，根据所述缓存控制数据和所述第一缓存内容状态得到第二缓存内容状态；

23、根据所述第二队列请求状态、所述第二飞行位置状态、所述第二电池能量状态和所述第二缓存内容状态，得到所述第二系统状态数据。

24、在一些实施例，所述确定缓存控制数据，包括：

25、根据所述第一队列请求状态确定请求总数目；

26、根据所述请求总数目确定所述缓存控制数据。

27、在一些实施例，所述第二系统状态数据包括第二飞行位置状态和第二电池能量状态，所述对所述第二系统状态数据进行状态安全检测，得到安全检测数据，包括：

28、获取预设电池充能及内容补充基站的位置信息；

29、根据所述第二飞行位置状态和所述位置信息，确定所述无人机至所述预设电池充能及内容补充基站的距离；

30、根据所述距离和预设单位能耗得到所述无人机返回所述预设电池充能及内容补充基站的第二飞行能耗；

31、根据所述第二飞行能耗和所述第二电池能量状态得到所述安全检测数据。

32、为实现上述目的，本技术实施例的第二方面提出了一种无人机控制装置，所述装置包括：

33、获取模块，用于获取第一系统状态数据；

34、强化学习模块，用于对所述第一系统状态数据进行强化学习，得到第一动作控制策略；所述第一动作控制策略包括通信功率策略、数据内容传输策略和飞行轨迹策略；

35、状态预测模块，用于对无人机执行所述第一动作控制策略后的系统状态进行预测，得到第二系统状态数据；

36、安全检测模块，用于对所述第二系统状态数据进行状态安全检测，得到安全检测数据；

37、控制模块，用于若所述安全检测数据小于或者等于预设检测阈值，则控制所述无人机执行所述通信功率策略、所述数据内容传输策略和所述飞行轨迹策略。

38、为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的无人机控制方法。

39、为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的无人机控制方法。

40、本技术提出的无人机控制方法、无人机控制装置、电子设备及计算机可读存储介质,通过获取第一系统状态数据，对第一系统状态数据进行强化学习，得到第一动作控制策略，第一动作控制策略包括无人机的通信功率策略、数据内容传输策略和飞行轨迹策略。将无人机部署为移动中继，通过强化学习能够优化无人机的无线资源分配、数据传输内容调度以及飞行轨迹，以便及时响应客户端的数据请求，使无人机为客户端提供高质量的数据传输服务。同时，无人机作为空中基站时，其存储容量有限，仅能向客户端传输无人机本地缓存的固定内容。无人机作为移动中继时，可通过基站-无人机链接从基站获取多样的数据内容，并通过数据内容传输策略对数据内容进行调度，解决因存储容量有限造成的传输内容固定问题。通过优化飞行轨迹、无线资源分配可节省无人机的电量，延长无人机的电池使用寿命。对无人机执行第一动作控制策略后的系统状态进行预测，得到第二系统状态数据。对第二系统状态数据进行状态安全检测，得到安全检测数据，通过安全检测能够确保无人机在执行第一动作控制策略后有足够的电量返回基站进行充电及数据内容补充。若安全检测数据小于或者等于预设检测阈值，说明无人机在执行第一动作控制策略后电量充足，则控制无人机执行无人机的通信功率策略、数据内容传输策略和飞行轨迹策略，实现可续航的无人机通信传输，能够有效解决因无人机电池容量有限以及存储容量有限造成的通信传输问题。