基于多智能体的车速感知的计算任务卸载和资源分配方法与流程

本发明属于无线通信
技术领域：
，涉及一种基于多智能体的车速感知的计算任务卸载和资源分配方法。
背景技术：
：随着物联网的快速发展，智能车载应用(包括自动驾驶，图像辅助导航和多媒体娱乐)已广泛应用于智能汽车，可以为驾驶员和乘客提供更加舒适、安全的环境。然而这些车载应用需要消耗大量的计算资源并且需要极低的处理时间，具有强大计算和存储能力的云服务器可以用于处理车辆的卸载计算任务，但由于长距离传输可能会导致较高的延时，为了应对云服务器的弊端，车辆边缘计算(vec)应运而生。vec服务器更靠近于车辆终端并拥有强大的计算能力，并密集部署在路边单元(rsu)旁，通过将计算消耗型任务卸载到vec服务器，可以显著减少车载应用的处理时延和能耗。vec的发展也面临很多挑战。例如，vec网络中车速对计算任务的时延门限的影响，任务处理时延和能耗与任务卸载和资源分配策略的相互影响。因此，车速感知的任务时延门限以及任务处理时延和能耗与任务卸载和资源分配策略的相互影响问题的研究对vec的整体性能至关重要。技术实现要素：本发明的目的在于克服上述现有技术的缺点，提供了一种基于多智能体的车速感知的计算任务卸载和资源分配方法，该方法能够有效提高vec服务器场景下车辆的整体性能。为达到上述目的，本发明所述的基于多智能体的车速感知的计算任务卸载和资源分配方法包括以下步骤：1)收集车辆端计算任务，根据车辆端计算任务的类型将车辆端计算任务划分为关键任务、高优先级任务及低优先级任务，再根据车速确定关键任务、高优先级任务及低优先级任务的时延门限；2)对于关键任务、高优先级任务及低优先级任务，分别计算不同计算资源及无线资源分配下，卸载到vec服务器、本地执行及继续等待对应的时延和能耗，然后在各任务的时延门限约束下，形成以减小车辆端处理任务能量消耗的目标函数；3)将步骤2)得到的目标函数转化为马尔科夫决策过程，初始化马尔科夫决策过程的状态空间、动作空间及奖励；4)根据多智能体增强学习网络得新的状态、动作和奖励，并将新的状态、动作和奖励存储到经验回放池中；5)当经验回放池中的数据达到阈值时，对多智能体增强学习网络进行训练，直到多智能体增强学习网络收敛为止；6)将待分配的车辆端和边缘服务器的状态输入到训练后的多智能体增强学习网络中，得任务卸载和资源分配结果，完成基于多智能体增强学习的车速感知的计算任务卸载和资源分配。根据车辆端计算任务的带宽和时延要求，将车辆端计算任务划分为关键任务φ1、高优先级任务φ2及低优先级任务φ3，关键任务φ1、高优先级任务φ2及低优先级任务φ3对应的时延门限分别为thr1、thr2及thr3，其中，关键任务φ1的时延门限为10ms，低优先级任务φ3的时延门限为100ms，高优先级任务φ2与当前车辆的行驶速度相关，其中，任务的时延门限为：其中，当时，当时，为车辆k的速度，thr2为道路限速vmax对应的时延门限。vec服务器分配给车辆k的上行信道n的传输速率为：其中，σ2为噪声功率，p为传输功率，为上行信道干扰，信道带宽为vec服务器的上行总带宽，为vec服务器的上行信道个数，为上行信道集合；设表示车辆k与vec服务器之间的上行信道n是否分配给车辆k，若分配，则为1，否则，则为0，得车辆k与vec服务器之间的上行传输速率为：vec服务器分配给车辆k的下行信道n的传输速率为：其中，σ2为噪声功率，p为传输功率，为下行信道干扰，信道带宽为vec服务器的下行总带宽，为vec服务器的下行信道个数，为下行信道集合；设表示车辆k与vec服务器之间的下行信道n是否分配给车辆k，若分配，则为1，否则，则为0，得车辆k与vec服务器之间的下行传输速率为：车辆k的任务卸载到vec服务器执行消耗的总时延为：其中，为向上取整函数，为车辆k的任务的文件大小，为处理车辆k的任务需要的计算密度，为车辆k下载的任务的文件大小相对于原上传任务缩小的比例，为vec服务器给车辆k的任务分配的计算资源比例，fvec为本地vec服务器的cpu频率，为车辆与vec服务器之间的上行传输速率，为下行传输速率。根据车辆k分配的cpu频率fk计算车辆k的任务在本地执行的时间消耗为：在时刻t，车辆k的任务能够选择继续等待、卸载到本地vec服务器以及本地执行，设表示车辆k的任务是否继续等待，当继续等待，则为1，否则，则为0，设继续等待时间为th，表示车辆k的任务是否卸载到本地vec服务器，当为1时，则表示车辆k的任务卸载到本地vec服务器，对于车辆k的任务从产生任务到执行动作完成需要花费的总时延为：其中，为根据车辆k的任务产生的时间。当车辆k的计算任务卸载到vec服务器时，卸载任务的能量消耗包括上传计算任务消耗的能量及下载任务消耗的能量，卸载到vec服务器的能量消耗为：当车辆k的计算任务在本地处理时，根据处理车辆k的任务所需要的能量密度得任务在本地处理的能量消耗为：在时刻t，当车辆执行卸载策略后，本地vec服务器服务范围内所有车辆消耗的能量e(t)为：在任务时延门限、计算资源和无线资源有限的条件下，形成的减少车辆端处理任务能量消耗的目标函数为：其中，本发明具有以下有益效果：本发明所述的基于多智能体的车速感知的计算任务卸载和资源分配方法在具体操作时，首先收集车辆端计算任务，根据车辆端计算任务的类型将任务划分为关键任务、高优先级任务和低优先级任务，结合车速得到不同计算任务的时延门限，对于不同的计算任务，分别计算不同计算资源和无线资源分配下，卸载到vec服务器、本地执行以及继续等待对应的时延和能耗，在任务的时延门限约束下，形成以降低车辆端能耗的目标函数，从而综合考虑车辆端的位置、速度、任务队列、计算资源、无线资源以及vec服务器端的计算资源和无线资源等因素，在任务处理时延门限内，可以有效地降低车辆端的能耗，然后将该目标函数转化为马尔科夫决策过程，再对多智能体增强学习网络进行训练，最后利用训练后的多智能体增强学习网络进行计算任务卸载和资源的分配，以提高vec服务器场景下车辆的整体性能。附图说明图1为本发明的流程示意图；图2为五种算法对应的车辆平均任务完成时延(车辆数为7)的分布图；图3为五种算法对应的车辆平均任务完成时延(车辆数为9)的分布图；图4为五种算法对应的车辆平均任务完成时延(车辆数为11)的分布图；图5为五种算法对应的车辆平均任务完成时延(车辆数为13)的分布图；图6为五种算法对应的车辆平均任务能耗(车辆数为7)的分布图；图7为五种算法对应的车辆平均任务能耗(车辆数为9)的分布图；图8为五种算法对应的车辆平均任务能耗(车辆数为11)的分布图；图9为五种算法对应的车辆平均任务能耗(车辆数为13)的分布图；图10为五种算法对应的车辆平均任务完成时延(车速范围为30-50km/h)的分布图；图11为五种算法对应的车辆平均任务能耗(车速范围为30-50km/h)的分布图；图12为五种算法对应的车辆平均任务完成时延(车速范围为50-80km/h)的分布图；图13为五种算法对应的车辆平均任务能耗(车速范围为50-80km/h)的分布图。具体实施方式下面结合附图对本发明做进一步详细描述：假设本地vec服务器服务范围内的车辆集合设为车辆的个数为k，在时刻t，车辆k需要处理的计算任务为任务产生的时间为任务在vec服务器处理消耗的时延为任务在本地执行消耗的时延为则对于任务从产生到执行动作完成需要花费的总时延为：其中，表示车辆k的任务是否继续等待，如果继续等待，则为1，否则，则为0，继续等待时间设为th，表示车辆k的任务是否卸载到本地vec服务器，为1，则车辆k的任务卸载到本地vec服务器。在时刻t，任务在vec服务器处理消耗的能量为任务在本地执行消耗的能量为当车辆执行卸载策略后，本地vec服务器服务范围内所有车辆消耗的能量e(t)为：本发明以最小化车辆端的能耗为优化目标，在任务时延门限、计算资源和无线资源有限的条件下，对应的优化问题为：s.t.本发明所述的基于多智能体的车速感知的计算任务卸载和资源分配方法包括以下步骤：1)收集车辆端计算任务，根据车辆端计算任务的类型将车辆端计算任务划分为关键任务、高优先级任务及低优先级任务，再根据车速确定关键任务、高优先级任务及低优先级任务的时延门限；2)对于关键任务、高优先级任务及低优先级任务，分别计算不同计算资源及无线资源分配下，卸载到vec服务器、本地执行及继续等待对应的时延和能耗，然后在各任务的时延门限约束下，形成以减小车辆端处理任务能量消耗的目标函数；3)将步骤2)得到的目标函数转化为马尔科夫决策过程，初始化马尔科夫决策过程的状态空间、动作空间及奖励；4)根据多智能体增强学习网络得新的状态、动作和奖励，并将新的状态、动作和奖励存储到经验回放池中；5)当经验回放池中的数据达到阈值时，对多智能体增强学习网络进行训练，直到多智能体增强学习网络收敛为止；6)将待分配的车辆端和边缘服务器的状态输入到收敛后的多智能体增强学习网络，得任务卸载和资源分配结果，完成基于多智能体增强学习的车速感知的计算任务卸载和资源分配。下面参考图1进行详细的说明：步骤11)根据任务的类型将任务划分为关键任务、高优先级任务及低优先级任务，结合车速得到不同计算任务的时延门限，具体过程为；根据车辆端计算任务的带宽和时延要求，将车辆端计算任务划分为关键任务φ1、高优先级任务φ2及低优先级任务φ3，关键任务φ1、高优先级任务φ2及低优先级任务φ3对应的时延门限分别为thr1、thr2及thr3，其中，关键任务φ1的时延门限为10ms，低优先级任务φ3的时延门限为100ms，高优先级任务φ2与当前车辆的行驶速度相关，得任务的时延门限为：其中，当时，当时，为车辆k的速度，thr2为道路限速vmax对应的时延门限。步骤12)对于不同的计算任务，当任务卸载到vec服务器处理时，消耗的时延为：其中，为向上取整函数，为车辆k的任务的文件大小，为处理车辆k的任务需要的计算密度，为车辆k下载的任务的文件大小相对于原上传任务缩小的比例，为vec服务器给车辆k的任务分配的计算资源比例，fvec为本地vec服务器的cpu频率，为车辆与vec服务器之间的上行传输速率，为下行传输速率；此时，对应的车辆端能耗为：其中，p为车辆的信号传输功率；当任务在本地执行时，根据车辆k分配的cpu频率fk，得车辆k的任务在本地执行的时间消耗为：此时，对应的车辆端能耗为：其中，处理车辆k的任务所需要的能量密度以最小化车辆端的能耗为优化目标，在任务时延门限、计算资源和无线资源有限的条件下，对应的优化问题为：s.t.计算不同卸载位置和资源分配的时延和能耗，并形成时延约束下降低车辆端能耗的优化目标；步骤13)初始化马尔科夫决策过程的状态、动作和奖励，在时刻t，将车辆k的状态空间定义为sk(t)，车辆k的状态空间包括其他车辆的状态信息和vec服务器的状态信息，sk(t)为：其中，vk(t),dk(t),ck(t)分别表示车辆k在时刻t的速度、位置以及需要处理的文件大小，rbvec(t)表示在时刻vec服务器的当前剩余计算能力，表示在时刻t车辆k是否选择卸载位置(·)，如果选择，则为1，否则，则为0，表示在时刻t，vec服务器给车辆k分配的计算资源比例，表示在时刻t，vec服务器的上行信道资源是否空闲，表示在时刻t，vec服务器的下行信道资源是否空闲，因此，系统的状态空间定义为：st＝(s1(t),...sk(t)...,sk(t))；对于车辆k来说，其动作空间为是否继续等待、是否卸载到vec服务器、vec分配的计算能力、vec服务器分配的上下行子信道，即：因此，在时刻t，车辆的动作空间为：at＝{a1(t),...ak(t)...,ak(t)}；当车辆k采取的动作ak(t)后的状态不满足条件(c1)-(c7)时，奖励函数为：其中，当不满足(·)的条件时，λ(·)为-1，否则，λ(·)为0，l1,γ1,γ2,γ3,γ4为实验参数。当车辆k采取动作后的状态满足全部条件(c1)-(c4)时，奖励函数定义为：rk(t)＝l2+exp(thrk(t)-dk(t))其中，l2为实验参数，exp(·)为指数函数，当车辆k采取动作后的状态满足全部条件(c1)-(c5)时，奖励函数为：r(t)＝l3+γ5·exp(ek(t))其中，l3,γ5为实验参数。步骤14)根据多智能体增强学习网络得到新的状态、动作和奖励，并存储在经验回放池；步骤15)判断经验回放池内的数据是否达到阈值，当经验回放池中的数据达到阈值时，对多智能体增强学习网络进行训练，直到多智能体增强学习网络收敛为止；对于集中训练的过程，由k个agents组成，多智能体增强学习网络的参数为θ＝{θ1,...,θk}，令表示所有agent的策略集合，则对于agentk的确定性策略μk，其梯度表示为：其中，为经验回放区，由一系列的状态、动作以及奖励组成，即：(s,a,s',r)，为集中式的动作-价值函数，输入为所有agents的动作和一些状态信息，输出为agentk的q值，对于评价网络根据loss函数进行更新，即：其中，γ为折扣因子，而动作网络通过最小化agent的策略梯度进行更新，即：其中，x为mini-batch的大小，j为样本的索引。步骤17)将待分配的车辆端和边缘服务器的状态输入到收敛后的多智能体增强学习网络，得任务卸载和资源分配结果，完成基于多智能体增强学习的车速感知的计算任务卸载和资源分配。仿真实验仿真平台在python3.7环境下实现，tensorflow版本为1.15.0，详细的仿真参数设置如表1及表2所示，实验结果中，现存的计算卸载和资源分配算法为al、av、rd和edg算法，本发明对应的算法为jdee-maddpg算法。表1表2参数设定值参数设定值层数3层类型fullyconnected隐藏单元数512评判网络学习率0.001优化器adam动作网络学习率0.0001周期100000激活函数relu采样池128缓存区大小20000五种算法的车辆的平均任务完成时延对比，该实验主要评估各算法对应平均任务完成时延在不同车辆数的分布情况。实验结果如图2、图3、图4及图5所示。由图2、图3、图4及图5可以看出，与al，av和rd算法相比，本发明提出的jdee-maddpg算法始终可以为每个车辆保持较低的任务完成时延，这是因为本发明可以根据任务优先级、任务大小、车速和车辆的通道状态将计算资源和无线资源更准确地分配给车辆，此外，edg算法的某些车辆的任务完成时延小于本发明提出的jdee-maddpg算法，因为本发明提出的算法在不超过任务时延门限的前提下，牺牲了一点任务完成延迟来降低车辆终端的能耗。五种算法的车辆平均任务能耗对比，实验结果如图6、图7、图8及图9所示，与其他算法相比，本发明始终可以保持较低的能耗水平，这是因为本发明根据任务优先级、任务大小、车辆速度和车辆的信道状态制定最佳的卸载和资源分配策略，并尽可能降低所有车辆的任务能耗。当车速范围分别为[30,50]km/h与[50,80]km/h，五种算法的车辆的平均任务完成时延与平均任务能耗对比，实验结果如图10、图11、图12及图13所示，与al，av和rd算法相比，本发明在任务时延和能耗方面表现地更好，这是因为本发明可以利用车辆终端和vec服务器的状态信息，即车辆位置，车速，任务队列，通道状态和剩余的计算资源来做出最佳卸载和资源分配策略。此外，本发明中某些车辆的任务完成时延高于edg算法的原因是，本发明提出的jdee-maddpg算法在不超过任务时延门限的前提下，为高速车辆分配更多的vec服务器的无线和计算资源，来降低车辆端的整体能耗，因此导致某些车辆的任务完成时延高于edg算法。以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。当前第1页12