一种无人机辅助车联网环境下基于DDPG的卸载和资源分配方法

本发明涉及车联网，特别涉及一种无人机辅助车联网环境下基于ddpg的卸载和资源分配方法。

背景技术：

1、近年来，随着物联网(internet of things,iot)和第五代移动通信技术(5thgeneration mobile communication technology,5g)的发展，车联网(internet ofvehicles,iov)的各种服务和应用不断涌现，包括信息识别、自动驾驶、增强现实等。随着各种应用的增加，车联网需要处理的任务数量也在迅速增长，其中大部分任务对计算和时效性要求较高。然而，由于车辆资源的限制，车辆无法在有限的时间内处理这些任务。移动边缘计算(the mobile edge computing,mec)是解决这个问题的有效方法。当车辆没有足够的资源来处理任务时，它们可以将相应的任务卸载到边缘服务器上。在这种情况下，mec可以为任务分配足够的计算资源，以保证任务能够及时处理。然后，计算结果将返回给相应的车辆。通过部mec服务器，可以减轻车辆的负载和服务延迟。然而，传统mec服务器无法满足资源有限或不足的场景下车辆的需求，例如基础设施不完善的偏远地区、资源不足的城市密集区等。由于无人机具有快速部署、低成本和视距通信的特点，在协助边缘服务器为车联网提供服务方面被广泛应用。因此，无人机辅助车联网的概念被提出并受到越来越多的关注。

2、在无人机辅助的车联网环境中，无人机可以与多个车辆连接，并被视为资源分配节点，然而，在无人机辅助的车联网环境中，通常无人机不考虑缓存内容对任务处理延迟的影响。

3、如果缓存内容从云端或mec服务器传输到处理相应任务的节点，由于通信原因，任务的处理延迟会很高。为了解决这一问题，现有的车联网的任务卸载和内容缓存的缓存方法，如申请公布号为cn115174481a的发明专利申请公开的一种无人机辅助边缘车联网服务和内容混合缓存的方法，存有以下几个方面的问题：

4、第一：现有的卸载方法采用了全卸载方式，全卸载可能导致大量数据同时传输到车联网中，增加了网络负载和拥塞的风险，增加了任务时延；

5、第二：现有的卸载和缓存方法没有考虑能源消耗，而在大量数据传输时，可能会导致无人机的能源消耗较大，影响任务处理效率。

6、申请公布号为cn116847293a的发明专利申请公开的一种无人机缓存决策和轨迹优化的方法，存有以下几个方面的问题：

7、第一：现有的缓存方法仅考虑了无人机的缓存决策，而没有考虑车辆和边缘服务器的缓存决策，这降低了缓存命中率，增加了任务处理时延；

8、第二：现有的方法没有对计算资源进行分配，这可能会导致性能不稳定，一些任务会面临资源不足的问题，因此任务时延会上升。

9、论文zhang t,wang z,liu y,et al.caching placement and resourceallocation for cache-enabling uav noma networks[j].ieee transactions onvehicular technology,2020,69(11):12897-12911。提出一种无人机网络中缓存和资源分配方法，其网络架构中只考虑到了单个无人机的情况，考虑到车联网分布的广泛性，这种方法可能会导致车联网响应时延变高。

10、论文zhang t,wang y,liu y,et al.cache-enabling uav communications:network deployment and resource allocation[j].ieee transactions on wirelesscommunications,2020,19(11):7470-7483。提出一种无人机网络中缓存和卸载方法，但它没有考虑到用户之间相互卸载任务，从而浪费了部分计算资源，导致了任务时延变高。

11、因此，有必要研发一种新的无人机辅助车联网环境的卸载和资源分配方法，以提高无人机辅助的车联网网络中任务执行和缓存策略的性能。

技术实现思路

1、本发明的目的是：针对现有技术的不足，提出一种基于ddpg的卸载和资源分配方法，使其能够同时考虑到任务卸载和内容缓存策略，达到有效地提升车联网的服务效率并降低了时延的目的。

2、本发明的技术方案是：

3、一种无人机辅助车联网环境下基于ddpg的卸载和资源分配方法，其特征在于：所述的无人机辅助车联网环境下基于ddpg的卸载和资源分配方法，包括如下步骤：

4、1)基于无人机辅助的iov计算环境中的缓存模型、通信模型、计算资源分配模型和计算模型，提出了计算卸载和内容缓存的联合优化问题，以最小化总任务处理延迟；

5、2)采用基于深度确定性策略梯度算法来解决所提出的联合优化问题，其中决策变量作为动作空间，可用资源被视为状态空间；

6、3)设计了基于ddpg的任务卸载和内容缓存的联合优化算法来求解改问题；

7、3.1、对每台车辆，建立车辆与车辆之间的通讯模型和车辆和无人机之间的上下行通讯模型；3.2、对每台无人机，建立无人机和边缘服务器之间的上下行通讯模型；

8、3.3、获取初始环境状态，并得出初始动作和下一步的状态；

9、3.4、对每个子任务建立其资源分配模型，并分别计算出本地任务计算时延，v2v任务计算时延，v2u任务计算时延；

10、3.5、获取奖励值和下一步的状态，并将当前状态、动作、奖励值、下一步状态，放入到经验池中,从经验池中随机取样训练神经网络参数。

11、上述步骤的优化问题具体表现形式为：

12、

13、s.t.

14、

15、

16、

17、

18、

19、

20、

21、其中，hit表示缓存决策变量的向量，b和α是车辆和无人机卸载决策变量的向量，为子任务本地计算的时延，和为子任务卸载到其他车辆和无人机的时延，v为车辆的集合，u为无人机的集合，kv为任务v的子任务集合，es表示边缘服务器。限制条件(2)表示任务v的子任务k所需缓存内容ov,k是否缓存在节点j。限制条件(3)表示任务v的子任务k是否卸载到节点j。限制条件(4)表示任务v的子任务k只能卸载到一个节点上。限制条件(5)表示卸载到无人机u上的任务v的子任务k是否卸载到边缘服务器es。限制条件(6)表示任务v的时延不能超过最大容忍时延，其中表示任务v的总时延，tv表示任务v的最大容忍时延。限制条件(7)表示节点j上缓存内容大小不能超过最大缓存容量，其中ov,k表示任务v的子任务k所需缓存内容大小，表示节点j的最大缓存容量。限制条件(8)表示无人机u消耗的能源不能超过最大能耗，其中eu表示无人机u的总能耗，表示无人机u的最大能耗。

22、本发明的优点在于：

23、当前已有与无人机辅助车联网环境的相关工作只关注边缘计算环境下的任务分配优化和计算卸载，而忽略了任务所需内容的最优放置问题。针对以上问题，本发明设计了基于ddpg的任务卸载和内容缓存的联合优化算法。在无人机辅助的互联网车辆计算环境中，基于缓存模型、通信模型、计算资源分配模型和计算模型，建立了计算卸载和内容缓存的联合优化问题，以最小化总任务处理延迟。然后，采用基于深度确定性策略梯度(ddpg)的算法来解决所提出的联合优化问题，其中决策变量作为动作空间，可用资源被视为状态空间。与此同时，任务处理延迟被作为奖励函数。