面向移动边缘计算的车联网任务卸载与资源分配策略的制作方法

本发明涉及车辆异构网络中基于(mec)的任务卸载模式决策和资源分配问题技术领域，特别涉及基于移动边缘计算的v2v、v2i任务卸载问题。

背景技术：

车载通信可以提高道路安全和交通效率，为车辆提供更丰富的信息娱乐体验，最近得到了广泛研究。车辆到车辆(v2v)通信被认为是d2d(设备间通信)技术在车联网中的扩展模式，分为车对基础设施通信(v2i)、车对车通信(v2v)和v2i2v通信。车辆请求任务类型统一分为商娱类和智能交通类。商娱类任务涉及大量数据交换，需要频繁访问互联网或远程服务器，v2i链路可为该类任务提供高qos(服务质量)的通信。而智能交通类需要以周期性访问的形式向周围车辆传播安全消息，v2v链路会对其提供较好的支持。

车载单元计算资源和计算能力有限，故可以借助周围的有线或无线泛在网络环境将其计算任务卸载到云服务器。联合4glte蜂窝网络和车辆自组织网(vanet)提出了基于协作的业务传输算法，评估了车辆可卸载数据大小，制定了卸载决策，使用v2i和v2v通信来量化最大数据内容。然而，vanet需要更短的等待时间以实现更实时和更可靠的响应。因此，移动边缘计算(mec)作为一种新计算范例，通过将mec服务器部署在路边单元(rsu)侧，为车辆提供高带宽、低时延的高质量服务。

技术实现要素：

现有文献中用户仅通过授权频带与非授权频带的统筹划分来分配资源从而改善用户qos，却很少考虑到为用户提供因自身需求不同的差异化服务。基于以上讨论，本文首先考虑如何为不同车辆提供差异化服务进而确定通信模式；其次，考虑到频谱资源的有限性，如何为车辆高效分配资源，保证系统稳健性。本文主要工作如下：

(1)构建一个部署有多个mec和多个请求车辆的网络场景，其中服务节点(mec和车辆)都配备有限的无线和计算资源。

(2)引入有效容量的概念，并将用户qos要求建模为容量和延迟因子，组合这两个物理量为判定标准并采用k-means算法对qos较低的车载单元进行聚类从而确定任务卸载方案。

(3)为了减轻授权频谱上的同频干扰并保证与非授权频谱上的wifi用户共存，结合无竞争期(cfp)的lte-u模式，制定了联合频谱分配、功率控制和频谱共享策略，利用q-learning算法实现无线资源最优分配，最大化v2i链路遍历容量，并保证v2v链路可靠性。

具体实现方案包括以下步骤：

步骤101：构建基于mec服务的车辆网络；

步骤102：确立通信模型建立目标规划问题；

步骤103：最大化v2i链路遍历容量，并保证v2v链路可靠性问题，具体由三个步骤组成：首先联合建模容量和时延因子作为k-means算法特征输入进行分簇，从而确定车辆通信模式；最后基于分簇结果，采用q-learning算法作为增强型解决方案合理高效地配置资源从而最大化系统性能。

优选地，所述步骤101构建基于mec服务的车辆网络框架包括：

考虑rsu与wifi节点共存的v2x异构网络场景，mec服务器部署于rsu侧。采用正交频分多址(ofdma)来支持由rsu控制的授权频带中的车辆多路访问。对于非授权频带，采用载波侦听多址接入和冲突避免(csma/ca)机制实现与wifi共存的模式。车辆密集部署且服从泊松分布，任务类型不同的车辆其通信模式不同。这里将车辆分为四种类型。授权频带中存在需要高容量v2i通信的m个车辆(cue)，表示为c＝{1,2,…,m}，以及对时延要求高的k个v2v车辆(due)，用d＝{1,2,…,k}表示。在wifi节点与lte-u共同部署的通信范围内，有u个wifi用户(wue)将任务卸载到wifi节点，wifi用户集合为w＝{1,2,…,u}，在wifi与rsu覆盖范围重叠区域的v2v车辆(vue)表示为v＝{1,2,…,l}。

cue因计算能力有限，计算任务ni需要通过rsu卸载到mec服务器，由mec服务器计算后将结果回传，任务上传需要rsu调度正交的资源块rb。rsu总的频率资源表示为r＝{1,2,…,f}。due能有效利用v2v链路的可靠性优势，将任务卸载到周边车辆进行计算。离cue较远的due复用cue的rb，因此与cue存在一定的同层干扰。而离cue较近的due使用与cue正交的rb。关于lte-u技术，接入信道间隙可分为竞争期(cp)和静默期(cfp)。在cp期间，vue通过lte-u技术与wue竞争非授权频谱。然而，在cfp期间vue可以充分利用基于lte-u技术的非授权频谱。本文主要对基于cfp的lte-u模式进行分析，vue使用ca技术复用授权频谱和非授权频谱，从而提供系统容量。不难得出，vue任务类型对时延有较高的容忍度。

假设本文中的所有车辆都配备单个天线，为了提高频谱利用率，due复用部分cue上行链路的rbf，因此due与cue之间存在干扰。而vue在基于cfp的lte-u技术支持下，复用授权频带cue的rbf，因此cue与vue之间也存在干扰。因为rsu集中调度正交rb，所以我们假设vue与due之间不存在干扰。

我们考虑到基于瞬时信道统计信息(csi)进行资源管理时无法及时跟踪快速变化的无线信道，本文考虑缓慢衰落参数和csi，定义cuem与rsu之间信道增益hb,m如下：

其中，gb,m表示小尺度快速衰落功率参数，服从指数分布，βb,m是标准偏差为ζ的对数正态阴影衰落随机变量，a是路径损耗常数，lm,b是第m个cue与rsu之间的距离，α为衰减指数。第k个due到rsu的信道增益hb,k以及从第m个cue到第k个due的干扰信道增益的定义表达式与hb,m类似。假设信道的大尺度衰落分量在rsu处是已知的，因为它们通常取决于用户的位置。基站可以预测v2i车辆衰落参数。v2v车辆的衰落参数在接收车辆处检测得到并定期报告给rsu。

对于资源块f，cuem在rsu侧接收sinr(信干噪比)表示为：

其中，与分别表示cuem与duek的发射功率，σ²为噪声功率，ρk,m＝1表示第k个due复用第m个cue的rb，否则为0。同理，可类似定义duek在rsu侧接收sinr以及非授权频带中v2v链路的vuel复用cuem的资源块f'时的接收sinr

因此，用b0表示授权频带每个rb的带宽，b1表示非授权频带每个rb的带宽，则cuem、duek、vuel的容量分别表示为：

本文没有考虑vue与wue之间的干扰，只考虑vue复用cue资源时两者之间的干扰。

现有的物理层信道模型无法明确度量qos，因此结合时延因子形成有效容量(ec)的链路层信道模型来量化qos，用累积量生成函数表示容量与时延如下：

ec(ψ)＝loge{e^-ψq(t)}

其中，ψ为时延因子，表示帧持续时间t内容量r(t)累积和，考虑到信道系数在t内保持不变并且对于每个帧独立变化的情况，在持续时间t内容量为一常量r。ec可表示为：

ec(ψ)＝loge{e^-ψtr}

因为信道是缓慢变化的，因此定义车辆可容忍的时延满足以下公式：

式中，emax表示车辆可以容忍的最大时延。从上式可以看出，ψ越大表示链路质量越好，当ψ≈0时，ec收敛于遍历容量。

优选地，所述步骤102确立通信模型建立目标规划问题，建立目标优化问题；针对不同类型链路的差异化需求，即大容量的v2i链路和高可靠性的v2v链路需求，我们制定有效策略来最大化v2i总遍历容量，同时保证每个v2v链路的可靠通信。本文通过控制中断概率来保证v2v链路的可靠性，设置接收sinr低于预定阈值概率的门限值。系统的遍历容量是通过快衰落的长期平均值来计算的，这意味着在慢衰落的时间范围内码字长度跨越几个相干周期。应该指出，系统性能与遍历容量的接近程度取决于车载信道的时间变化快慢以及可容忍的延迟大小。在给定的时间段内，更快的变化会导致更多的信道状态，这使得系统性能更快地接近计算的遍历容量，因为码字需要遍历大部分(如果不是全部的话)信道状态来平均衰落效应。为此，将车载网络中的无线资源分配问题表述为：

优化目标的第一部分表示v2i链路没有复用rb的cue容量，第二部分表示授权频带due复用v2i链路rb的容量，第三部分表示频带重叠区域d2d用户即vue复用v2i链路cue的rb的容量；c1(c2)通过控制cue(due)的sinr低于设定阈值的中断概率p0(p1)来保证车辆的qos；c3、c4和c5分别表示cue、due和vue的发射功率限定，表示v2i(v2v)链路上行最大发射功率；c6、c7为通信模式的数学模型，c1(c2)表示表示一个资源块至多可以同时被一个cue和一个vue复用，ρm,k表示一个资源块至多同时被一个cue和一个due复用。

优选地，所述步骤103最大化v2i链路遍历容量，并保证v2v链路可靠性问题包括：联合建模容量和时延因子作为k-means算法特征输入进行分簇，从而确定车辆通信模式；其次基于分簇结果，采用q-learning算法作为增强型解决方案合理高效地配置资源来最大化系统性能。

当车辆部署密度增加时，会有越来越多的d2d对复用cue资源，随之产生强烈的同层干扰。本节将优化问题分解为模式选择和资源分配两部分。首先联合建模容量和时延因子作为k-means算法特征输入进行分簇，从而确定车辆通信模式；其次基于分簇结果，采用q-learning算法作为增强型解决方案合理高效地配置资源来最大化系统性能。

k-means作为一种无监督的机器学习算法，广泛用于聚类问题，我们在rsu覆盖范围内结合车辆任务请求类型，依据联合建模后的qos量化因子ec进行聚类，聚类形成v2i簇与v2v簇。对于v2v簇，建模车辆任务卸载为匹配模型来选择邻近车辆形成d2d对，下面详细介绍基于改进k-means算法的通信模式选择机制：

其中，u^j表示第j个簇，e表示最大簇数。num(u^j)表示簇j中车辆数目，u^j的簇心u^j可由下式得到：

两个车辆基于欧式距离判断两者之间特征差额tr：

其中，x^id、x^jd表示d维欧式空间中的两个车辆。算法目标是最小化的目标函数平方误差和(sse)，由以下等式给出：

利用k-means进行模式选择算法的时间复杂度接近线性，为o(met)，其中m表示车辆的数量，e代表簇的数量，t表示迭代次数。设置最大迭代次数为it，则算法如下：

103-1-a:输入：请求车辆qos数据集合为{ec1,ec2,…,ecmax}，最大簇为e

103-1-b:输出：连簇集合{u¹,u²,…,u^e}，且uⁱ＝{x¹,x²,x³,…}

103-1-c:所有数据集分为一个簇。

forr＝1:it

whilenum(u)≤e

fori＝1:e

随机选择uⁱ作为初始簇心。

whileuⁱ

根据式(1)计算从车辆j到uⁱ之间的tr，

并划分j到tr最短的簇，重新计算每个簇的簇心。

endwhile

根据式(2)计算e个簇两两之间的sse。

endfor

选择最小的sse作为划分的簇。

endwhile

endfor

基于用户qos的分簇结果，我们提出频谱和功率分配方案以改善车载通信性能。同时考虑到支持d2d的车载网络的独特特性，所提出的方案仅依赖于缓慢变化的大规模信道参数，并且仅需要每隔几百毫秒更新一次，从而与在车辆网络中直接应用传统的资源分配方案相比，显著降低了信令开销。我们借助q-learning算法来实现最优资源调度。算法模型由以下参数构成：s＝{s1,s2,s3,…}表示个体状态集合；行为集合为a＝{a1,a2,a3,…}；q函数q(s,a)矩阵中元素代表状态与行为一一对应的值；折扣因子θ反映未来回报相对当前回报的重要性且满足0＜θ＜1；学习速率δ(0＜δ＜1)定义为当前学习知识对先前学习知识的影响；策略π；回报函数r(s,a)。每个个体与环境交互得s∈s，按照策略π选择行为a∈a并继续与环境交互，随之更新s'∈s，同时产生回报函数r(s,a)反馈给学习个体，个体据此更新π和q函数，经过多次学习后收敛，个体可以找到最优策略π^*使优化目标达到最大。预期累计奖励函数由下式给出:

其中，rt^π(s,a)表示t时刻采用策略π得到的回报。最优策略假设在st状态下采取行为at后，状态变为st+1，则依据贝叶斯最优准则，矩阵q(s,a)可更新如下：

q^*(s,a)＝e{rt+1+θmaxa'q^*(st+1,a')|st＝s,at＝a}

根据t时刻状态对{st,at}得到的回报函数rt，预测t+1时刻状态st+1，并更新q矩阵如下所示：

在这里我们讨论一个分布式场景，每个车辆无从得知其他车辆信息，系统经过学习来更新行为和回报函数使性能资源配置最佳。为了在兼顾效率的同时遍历所有(s,a)，在迭代过程中本文采用ε贪婪算法来选择行为。我们用信道与功率矩阵表示每个车辆i的行为，即ai＝[ai,channel,ai,power]，我们定义行为函数：

由上式可知，车辆以1-ε的概率选择使q矩阵值最大的行为，而选择其他行为时服从均匀分布。将每次车辆选择的行为索引为状态矩阵，以此得出t时刻回报函数ri,t，我们将ri,t定义为车辆当前吞吐量与最大吞吐量比值：

其中，是车辆发射功率为pmax且无干扰状态下的吞吐量。分布式无状态q学习详细步骤如以下算法所述。该算法工作在物理层，允许操作当前的mac层协议，在ieee802.11中，信道访问由csma/ca机制来控制，因此该算法可以促进物理层资源复用，提高系统性能。具体实现步骤如下：

103-3-a:输入：可用信道channel，可用功率power，sinr,

{u¹,u²,…,u^e}，uⁱ＝{x¹,x²,x³,…,x^g}。

103-3-b:输出：每个车辆吞吐量ri,t

103-3-c:初始化：t＝1；折扣因子θ；学习率δ；探索速率ε；q＝0；最大迭代次数max_convergence_time。

fore＝1:1:e

whilet＜max_convergence_time+1

顺序排列每一个车辆。

forg＝1:1:g

根据式(4)给车辆x^g选择行为ag＝[ag,channel,ag,power]，更新状态矩阵s。

更新

根据式(5)计算回报函数。

根据式(3)更新q矩阵。

endfor

计算车辆x^g的遍历吞吐量。

t＝t+1。

endwhile

endfor

在基于分布式无状态q-learning的资源分配策略中，假设每个车辆按顺序选择行为，以便在每次学习迭代时，以有序的方式进行资源分配，因此每次迭代时首先选择行为的顺序在其开始时随机选择，车辆根据初始化参数决定当前所有可能行为以及下一刻行为a＝{a1,a2,a3,…}，得出状态矩阵s，更新q(s,a)矩阵。基于此，车辆以1-ε的概率在所有可能状态中选择使q值达到最大的行为，计算即刻回报函数，更新探索速率ε，继续执行下一次学习直至收敛或达到最大收敛次数。

本发明的有益效果在于：本发明针对车辆网系统中基于mec任务卸载问题，考虑到资源有限、资源异构、任务多样化以及通信要求，构建一个基于mec的卸载框架，提出一种多轮顺序组合拍卖机制，由层次分析法(ahp)排序、任务投标、获胜者决策三个阶段组成。实验结果表明，所提机制可以在时延和容量约束下，使请求车辆效益提高的同时最大化服务节点的效益。

附图说明

图1本发明所使用车联网系统任务卸载与资源分配模型图；

图2本发明所提车辆异构网中基于mec的任务卸载与资源分配实施流程图；

图3本发明所提基于k-means模式选择图；

图4本发明所提参数δ、θ、ε对网络性能影响图；

图5本发明迭代次数与遍历容量关系图；

图6本发明不同β下车辆数目与系统性能关系图；

具体实施方式

为使本发明的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施案例对本发明做进一步详细说明。

图1本发明所使用车联网系统任务卸载与资源分配模型图，具体包括：

考虑rsu与wifi节点共存的v2x异构网络场景，mec服务器部署于rsu侧。采用正交频分多址(ofdma)来支持由rsu控制的授权频带中的车辆多路访问。对于非授权频带，采用载波侦听多址接入和冲突避免(csma/ca)机制实现与wifi共存的模式。车辆密集部署且服从泊松分布，任务类型不同的车辆其通信模式不同。这里将车辆分为四种类型。授权频带中存在需要高容量v2i通信的m个车辆(cue)，表示为c＝{1,2,…,m}，以及对时延要求高的k个v2v车辆(due)，用d＝{1,2,…,k}表示。在wifi节点与lte-u共同部署的通信范围内，有u个wifi用户(wue)将任务卸载到wifi节点，wifi用户集合为w＝{1,2,…,u}，在wifi与rsu覆盖范围重叠区域的v2v车辆(vue)表示为v＝{1,2,…,l}。

图2本发明所提车辆异构网中基于mec的任务卸载与资源分配实施流程图，包括以下步骤：

步骤101：构建基于mec服务的车辆网络；

步骤102：确立通信模型建立目标规划问题；

步骤103：最大化v2i链路遍历容量，并保证v2v链路可靠性问题，具体由三个步骤组成：首先联合建模容量和时延因子作为k-means算法特征输入进行分簇，从而确定车辆通信模式；最后基于分簇结果，采用q-learning算法作为增强型解决方案合理高效地配置资源从而最大化系统性能。

所述步骤101构建基于mec服务的车辆网络框架包括：

考虑rsu与wifi节点共存的v2x异构网络场景，mec服务器部署于rsu侧。采用正交频分多址(ofdma)来支持由rsu控制的授权频带中的车辆多路访问。对于非授权频带，采用载波侦听多址接入和冲突避免(csma/ca)机制实现与wifi共存的模式。车辆密集部署且服从泊松分布，任务类型不同的车辆其通信模式不同。这里将车辆分为四种类型。授权频带中存在需要高容量v2i通信的m个车辆(cue)，表示为c＝{1,2,…,m}，以及对时延要求高的k个v2v车辆(due)，用d＝{1,2,…,k}表示。在wifi节点与lte-u共同部署的通信范围内，有u个wifi用户(wue)将任务卸载到wifi节点，wifi用户集合为w＝{1,2,…,u}，在wifi与rsu覆盖范围重叠区域的v2v车辆(vue)表示为v＝{1,2,…,l}。

cue因计算能力有限，计算任务ni需要通过rsu卸载到mec服务器，由mec服务器计算后将结果回传，任务上传需要rsu调度正交的资源块rb。rsu总的频率资源表示为r＝{1,2,…,f}。due能有效利用v2v链路的可靠性优势，将任务卸载到周边车辆进行计算。离cue较远的due复用cue的rb，因此与cue存在一定的同层干扰。而离cue较近的due使用与cue正交的rb。关于lte-u技术，接入信道间隙可分为竞争期(cp)和静默期(cfp)。在cp期间，vue通过lte-u技术与wue竞争非授权频谱。然而，在cfp期间vue可以充分利用基于lte-u技术的非授权频谱。本文主要对基于cfp的lte-u模式进行分析，vue使用ca技术复用授权频谱和非授权频谱，从而提供系统容量。不难得出，vue任务类型对时延有较高的容忍度。

假设本文中的所有车辆都配备单个天线，为了提高频谱利用率，due复用部分cue上行链路的rbf，因此due与cue之间存在干扰。而vue在基于cfp的lte-u技术支持下，复用授权频带cue的rbf，因此cue与vue之间也存在干扰。因为rsu集中调度正交rb，所以我们假设vue与due之间不存在干扰。

我们考虑到基于瞬时信道统计信息(csi)进行资源管理时无法及时跟踪快速变化的无线信道，本文考虑缓慢衰落参数和csi，定义cuem与rsu之间信道增益hb,m如下：

其中，gb,m表示小尺度快速衰落功率参数，服从指数分布，βb,m是标准偏差为ζ的对数正态阴影衰落随机变量，a是路径损耗常数，lm,b是第m个cue与rsu之间的距离，α为衰减指数。第k个due到rsu的信道增益hb,k以及从第m个cue到第k个due的干扰信道增益的定义表达式与hb,m类似。假设信道的大尺度衰落分量在rsu处是已知的，因为它们通常取决于用户的位置。基站可以预测v2i车辆衰落参数。v2v车辆的衰落参数在接收车辆处检测得到并定期报告给rsu。

对于资源块f，cuem在rsu侧接收sinr(信干噪比)表示为：

其中，与分别表示cuem与duek的发射功率，σ²为噪声功率，ρk,m＝1表示第k个due复用第m个cue的rb，否则为0。同理，可类似定义duek在rsu侧接收sinr以及非授权频带中v2v链路的vuel复用cuem的资源块f'时的接收sinr

因此，用b0表示授权频带每个rb的带宽，b1表示非授权频带每个rb的带宽，则cuem、duek、vuel的容量分别表示为：

本文没有考虑vue与wue之间的干扰，只考虑vue复用cue资源时两者之间的干扰。

现有的物理层信道模型无法明确度量qos，因此结合时延因子形成有效容量(ec)的链路层信道模型来量化qos，用累积量生成函数表示容量与时延如下：

ec(ψ)＝loge{e^-ψq(t)}

其中，ψ为时延因子，表示帧持续时间t内容量r(t)累积和，考虑到信道系数在t内保持不变并且对于每个帧独立变化的情况，在持续时间t内容量为一常量r。ec可表示为：

ec(ψ)＝loge{e^-ψtr}

因为信道是缓慢变化的，因此定义车辆可容忍的时延满足以下公式：

式中，emax表示车辆可以容忍的最大时延。从上式可以看出，ψ越大表示链路质量越好，当ψ≈0时，ec收敛于遍历容量。

所述步骤102确立通信模型建立目标规划问题，建立目标优化问题包括：

针对不同类型链路的差异化需求，即大容量的v2i链路和高可靠性的v2v链路需求，我们制定有效策略来最大化v2i总遍历容量，同时保证每个v2v链路的可靠通信。本文通过控制中断概率来保证v2v链路的可靠性，设置接收sinr低于预定阈值概率的门限值。系统的遍历容量是通过快衰落的长期平均值来计算的，这意味着在慢衰落的时间范围内码字长度跨越几个相干周期。应该指出，系统性能与遍历容量的接近程度取决于车载信道的时间变化快慢以及可容忍的延迟大小。在给定的时间段内，更快的变化会导致更多的信道状态，这使得系统性能更快地接近计算的遍历容量，因为码字需要遍历大部分(如果不是全部的话)信道状态来平均衰落效应。为此，将车载网络中的无线资源分配问题表述为：

优化目标的第一部分表示v2i链路没有复用rb的cue容量，第二部分表示授权频带due复用v2i链路rb的容量，第三部分表示频带重叠区域d2d用户即vue复用v2i链路cue的rb的容量；c1(c2)通过控制cue(due)的sinr低于设定阈值的中断概率p0(p1)来保证车辆的qos；c3、c4和c5分别表示cue、due和vue的发射功率限定，表示v2i(v2v)链路上行最大发射功率；c6、c7为通信模式的数学模型，c1(c2)表示表示一个资源块至多可以同时被一个cue和一个vue复用，ρm,k表示一个资源块至多同时被一个cue和一个due复用。

所述步骤103最大化v2i链路遍历容量，并保证v2v链路可靠性问题包括：

联合建模容量和时延因子作为k-means算法特征输入进行分簇，从而确定车辆通信模式；其次基于分簇结果，采用q-learning算法作为增强型解决方案合理高效地配置资源来最大化系统性能。

当车辆部署密度增加时，会有越来越多的d2d对复用cue资源，随之产生强烈的同层干扰。本节将优化问题分解为模式选择和资源分配两部分。首先联合建模容量和时延因子作为k-means算法特征输入进行分簇，从而确定车辆通信模式；其次基于分簇结果，采用q-learning算法作为增强型解决方案合理高效地配置资源来最大化系统性能。

k-means作为一种无监督的机器学习算法，广泛用于聚类问题，我们在rsu覆盖范围内结合车辆任务请求类型，依据联合建模后的qos量化因子ec进行聚类，聚类形成v2i簇与v2v簇。对于v2v簇，建模车辆任务卸载为匹配模型来选择邻近车辆形成d2d对，下面详细介绍基于改进k-means算法的通信模式选择机制：

其中，u^j表示第j个簇，e表示最大簇数。num(u^j)表示簇j中车辆数目，u^j的簇心u^j可由下式得到：

两个车辆基于欧式距离判断两者之间特征差额tr：

其中，x^id、x^jd表示d维欧式空间中的两个车辆。算法目标是最小化的目标函数平方误差和(sse)，由以下等式给出：

利用k-means进行模式选择算法的时间复杂度接近线性，为o(met)，其中m表示车辆的数量，e代表簇的数量，t表示迭代次数。设置最大迭代次数为it，则算法如下：

103-1-a:输入：请求车辆qos数据集合为{ec1,ec2,…,ecmax}，最大簇为e

103-1-b:输出：连簇集合{u¹,u²,…,u^e}，且uⁱ＝{x¹,x²,x³,…}

103-1-c:所有数据集分为一个簇。

forr＝1:it

whilenum(u)≤e

fori＝1:e

随机选择uⁱ作为初始簇心。

whileuⁱ

根据式(1)计算从车辆j到uⁱ之间的tr，

并划分j到tr最短的簇，重新计算每个簇的簇心。

endwhile

根据式(2)计算e个簇两两之间的sse。

endfor

选择最小的sse作为划分的簇。

endwhile

endfor

基于用户qos的分簇结果，我们提出频谱和功率分配方案以改善车载通信性能。同时考虑到支持d2d的车载网络的独特特性，所提出的方案仅依赖于缓慢变化的大规模信道参数，并且仅需要每隔几百毫秒更新一次，从而与在车辆网络中直接应用传统的资源分配方案相比，显著降低了信令开销。我们借助q-learning算法来实现最优资源调度。算法模型由以下参数构成：s＝{s1,s2,s3,…}表示个体状态集合；行为集合为a＝{a1,a2,a3,…}；q函数q(s,a)矩阵中元素代表状态与行为一一对应的值；折扣因子θ反映未来回报相对当前回报的重要性且满足0＜θ＜1；学习速率δ(0＜δ＜1)定义为当前学习知识对先前学习知识的影响；策略π；回报函数r(s,a)。每个个体与环境交互得s∈s，按照策略π选择行为a∈a并继续与环境交互，随之更新s'∈s，同时产生回报函数r(s,a)反馈给学习个体，个体据此更新π和q函数，经过多次学习后收敛，个体可以找到最优策略π^*使优化目标达到最大。预期累计奖励函数由下式给出:

其中，是车辆发射功率为pmax且无干扰状态下的吞吐量。分布式无状态q学习详细步骤如以下算法所述。该算法工作在物理层，允许操作当前的mac层协议，在ieee802.11中，信道访问由csma/ca机制来控制，因此该算法可以促进物理层资源复用，提高系统性能。具体实现步骤如下：

103-3-a:输入：可用信道channel，可用功率power，sinr,

{u¹,u²,…,u^e}，uⁱ＝{x¹,x²,x³,…,x^g}。

103-3-b:输出：每个车辆吞吐量ri,t

103-3-c:初始化：t＝1；折扣因子θ；学习率δ；探索速率ε；q＝0；最大迭代次数max_convergence_time。

fore＝1:1:e

whilet＜max_convergence_time+1

顺序排列每一个车辆。

forg＝1:1:g

根据式(4)给车辆xg选择行为ag＝[ag,channel,ag,power]，更新状态矩阵s。

更新

根据式(5)计算回报函数。

根据式(3)更新q矩阵。

endfor

计算车辆x^g的遍历吞吐量。

t＝t+1。

endwhile

endfor

在基于分布式无状态q-learning的资源分配策略中，假设每个车辆按顺序选择行为，以便在每次学习迭代时，以有序的方式进行资源分配，因此每次迭代时首先选择行为的顺序在其开始时随机选择，车辆根据初始化参数决定当前所有可能行为以及下一刻行为a＝{a1,a2,a3,…}，得出状态矩阵s，更新q(s,a)矩阵。基于此，车辆以1-ε的概率在所有可能状态中选择使q值达到最大的行为，计算即刻回报函数，更新探索速率ε，继续执行下一次学习直至收敛或达到最大收敛次数。

图3本发明所提基于k-means模式选择图，具体包括：

通过k-means算法决定哪些车辆将任务通过rsu卸载到mec服务器，哪些车辆通过v2v链路卸载任务到临近车辆。从图可知，距离rsu近的车辆(cue)因容量需求选择v2i通信方式，部分车辆(due)因对时延要求相比容量要求较高，因此选择v2v通信方式，due1与due2复用不同cue资源，两者之间不存在干扰。而距离rsu较远车辆(vue)为保证通信质量，通过rsu集中调度，在授权频带与非授权频带共存技术支持下感知并同时复用两种无线资源。

图4本发明所提参数δ、θ、ε对网络性能影响图，具体包括：

评估了学习速率δ、折扣因子θ、探索速率ε三者对系统遍历容量的影响。我们运行10000次迭代，并将每次迭代重复100次取平均结果。图4上方虚线表示网络最优遍历容量(无干扰)。从图可知，当θ＝0.95、δ＝1、ε＝0.9时网络性能最好，意味着为实现性能最优，必须考虑给定动作的直接回报(δ＝1)，而不是以前的信息。θ＝0.95表明最佳行动与当前行动之间要有足够的差额。另外当θ≈δ并且ε＞0.5时有较好的系统性能。

图5本发明迭代次数与遍历容量关系图，具体包括：

将本文所提分布式q-learning(qlra)算法与随机资源分配算法(rra)、穷举资源分配算法(eara)进行性能比较。eara算法通过牺牲运行时间遍历所有情况找到最优的分配解，因此在每次迭代中收敛到几乎最优。qlra算法可在车辆密集部署无线网络中改善资源复用机制，通过利用最有益的分配行为来提高性能，随着迭代次数的增加接近并收敛到最优。而rra算法随机分配资源，因此存在干扰导致性能最差。

图6本发明不同β下车辆数目与系统性能关系图，具体包括：

假设某时刻有t个车辆位于lte与lte-u技术重合区域，定义vue在基于cfp的lte-u模式下运行，运行比例为β，即有βt个车辆基于ca技术复用两种无线资源，有(1-β)t个车辆运行于cp的lte-u模式下。图6表明，当β固定时，由于复用频谱造成的同频干扰，总和速率随着车辆数目数量的增加而减少。当β从0.2增加到0.4时，性能大幅度增加，因为基于cfp的lte-u模式中存在更多的vue以实现更高的吞吐量。rra没有有效的资源调度，因此性能最差。所提qlra算法不仅有较优的性能，而且与eara相比，具有更低的计算复杂度而没有显著的性能损失。