一种车联网中视频语义驱动的通信和计算资源联合分配方法

本发明属于车联网领域，涉及车联网边缘计算场景下的视频传输和视频分析理解系统，具体是一种车联网中视频语义驱动的通信和计算资源联合分配方法。

背景技术：

随着5g网络和计算机视觉应用的快速发展，车联网(internetofvehicles，iov)系统中通过给车辆配备各种传感器和通信模块，新兴的车载应用大多涉及到视频传输或图像处理技术，而此类业务通常伴随着庞大的数据量和巨大的计算能力需求，难以在车载系统上单独处理。为了解决计算密集型应用和车辆端有限能力之间的冲突，移动边缘计算(mobileedgecomputing，mec)被认为是一种有前景的技术，车辆端通过将计算密集型业务卸载到资源丰富的mec服务器，利用边缘服务器强大的计算能力进行视频的分析理解，从而可以加速任务执行，降低时延并减少车辆端的能耗。然而，车联网场景下海量的视频传输和分析业务给传统无线通信资源和边缘服务器计算资源带来巨大压力，因此需要联合考虑通信资源和计算资源设计高效的资源分配方案。

在传统的无线视频传输研究中，优化标准是基于服务质量(qualityofservice，qos)，或基于用户体验质量(qualityofexperience，qoe)基于人类感知的设计。随着在车联网场景下以视频分析理解为目的(目标检测，目标追踪，动作识别)而收集的视频数据越来越多。现有的基于人类感知设计的无线视频传输方案可能不是基于视频分析理解为目的的最佳选择。因此，有必要为基于视频内容分析理解(qualityofcontent，qoc)的计算机视觉应用设计更有效的视频传输和资源分配方案。

现已有研究提出视频内容质量(qualityofcontent，qoc)的概念，以最大化平均目标检测精度为目标，给出了视频编码资源分配方案以及频谱限制下的资源分配方案。但并从计算资源角度考虑不同算力下的目标检测算法对最终检测精度的影响，且未联合考虑通信资源和边缘服务器计算资源限制下的联合资源分配。因此，有必要针对视频语义研究更高效的联合资源分配指导方式。

技术实现要素：

本发明为了解决上述问题，结合强化学习理论，提供了一种车联网中视频语义驱动的通信资源和计算资源联合分配方法，优化了车辆端到边缘服务器端的频谱分配以及边缘服务器端的计算资源分配，实现了在频谱，计算资源和系统时延约束下的平均目标检测精度最大化。

具体步骤包括：

步骤一、构建车辆端与边缘服务器端视频语义通信的车联网系统模型；

系统模型包括配备边缘服务器的蜂窝基站(basestation，bs)和m辆装有摄像头的智能网联汽车。

整个系统的通信和计算过程如下：1)车辆发起视频传输请求，对所采集的视频进行预处理，获取视频信息并将其上传到边缘服务器，同时边缘服务器获取信道状态信息(channelstateinformation，csi)；2)边缘服务器获取视频信息和csi，根据视频语义驱动的资源分配方法得到最优的频谱资源和计算资源分配结果；3)车辆根据频谱资源分配的结果完成视频的编码压缩，通过无线信道传输到边缘服务器；4)边缘服务器将接收到的视频进行解码，根据所分配的计算资源采用不同的语义理解算法，对视频进行语义理解并将结果反馈给各车辆。

步骤二、构建视频语义驱动的频谱资源分配指导模型；

以视频语义理解的基础任务——目标检测任务为例，视频的语义即待检测的目标类别和数量，视频语义的理解准确率即目标检测的准确率。详细的资源分配指导模型建模步骤如下：

步骤201、构建目标检测精度与qp值之间的关系；

采用h.265视频编码压缩标准对视频数据进行编码压缩处理，使得视频传输的码率小于或等于带宽限制下的传输速率。压缩编码过程中不同的视频量化参数(quantitativeparameters，qp)值对应不同的压缩步长，qp值越小，压缩步长越小，视频码率越接近原始视频码率，传输所需的带宽越大。

采用faster-rcnn算法对caltech数据集中不同压缩程度的视频进行目标检测，目标类型主要包括行人、车辆和交通信号灯等。根据数据结果拟合出如下的指数关系模型：

p(q)＝α·q^β+γ

q表示视频量化参数qp值，p表示目标检测精度，α,β,γ均为模型参数。引入均方误差值(meansquareerror，mse)作为损失函数，并利用回归方法求解模型参数。

步骤202、构建检测准确率和视频码率的关系；

qp值决定了视频压缩率的不同，而视频数据速率的大小与压缩率有关。因此根据实验研究qp和视频数据速率之间的关系。通过曲线拟合，qp和视频数据速率之间的关系可以近似表示为：

q＝a·exp(b·rdata)

其中q为视频量化参数(qp)，rdata为视频码率，a,b为模型参数。exp(·)表示以自然常数e为底的指数函数，相应的ln(·)表示以自然常数e为底的对数函数。

联合上述两步所得的关系模型，可得检测准确率与码率的关系模型如下：

pmap(q)＝α(aexp(b·rdata))^β+γ

其中pmap(q)表示频谱资源限制下的目标检测精度。

码率的大小与传输过程中的带宽资源有关，从而得到了面向视频语义理解准确率(即目标检测任务中的检测准确率)的带宽资源分配指导模型。上述目标检测准确率与码率的关系模型从理论上给出了语义驱动的频谱资源分配算法的优化方向。

步骤203、构建视频传输时延和频谱资源分配的关系；

车辆端通过将目标检测任务卸载到边缘服务器，可以解决车辆计算能力不足的问题。同时，它会花费额外的时间和能量来上传视频。基于上述通信资源分配结果，视频上传过程的时延可表示为：

其中表示视频从车辆上传到边缘服务器过程的时延，dm为视频数据的大小，rm表示视频数据传输速率。

步骤三、构建视频语义驱动的计算资源分配指导模型；

在收到各个车辆的视频数据后，边缘服务器基于视频内容重要性分配计算资源执行目标检测算法。在计算资源建模方面，尤其是在移动边缘计算场景中，边缘服务器的cpu资源是影响到计算任务执行性能指标的关键因素。目标检测算法精度直接取决于其dnn模型复杂度。对于dnn模型而言有一个趋势，即模型的规模越大，即神经网络层数越多的，所需要的计算资源越多，对视频内容理解的性能越好。详细的计算资源分配指导模型建模步骤如下：

步骤301、构建目标检测精度与其模型计算复杂度之间的关系；

根据fasterr-cnn、r-fcn和ssd三个经典目标检测算法上在coco数据集上做了大量实验，最终给出了一系列检测问题所能达到的平均检测性能。

步骤302、构建目标检测精度与其模型算力之间的关系；

由于所建立的dnn模型训练和推理性能与其复杂度之间的关系为一系列散点图，因此考虑将dnn模型复杂度抽象为算力，即执行算法所需要的cpu频率。对散点图进行曲线拟合，进而构建视频内容理解精度和算力之间的闭合表达式可近似表示为：

其中pmap(fm)表示计算资源限制下的目标检测精度，fm为边缘服务器所分配的计算资源，x,y,z,w均为模型参数。此处仍以均方误差值(meansquareerror，mse)作为损失函数。

目标检测算法模型的大小与边缘服务器所分配的计算资源有关，从而得到了面向视频语义理解准确率(即目标检测任务中的检测准确率)的计算资源分配指导模型。上述目标检测准确率与计算资源的关系模型从理论上给出了语义驱动的计算资源分配算法的优化方向。

步骤303、构建计算时延和计算资源分配的关系；

由步骤二可知，通过将目标检测任务卸载到边缘服务器，需要花费额外的时间和能量来上传视频，同时需要花费计算时延执行目标检测算法。基于上述计算资源分配结果，服务器端执行目标检测算法所需的计算时延以及卸载过程的总时延可以分别表示为：

其中，tm分别表示视频上传时延，边缘服务器计算时延和卸载过程的总时延。dm,xm分别表示当前任务的数据量和计算复杂度，fm表示边缘服务器为当前目标检测任务所分配的计算资源。

步骤四、视频语义驱动的通信资源和计算资源联合分配优化模型；

由于通信资源与计算资源相互独立存在，但共同影响到目标检测精度，拟将二者相乘，表示在仅分配通信资源优化视频内容理解精度的基础上，则改变算力带来的目标检测精度的变化符合步骤三中计算资源限制下目标检测精度的曲线趋势。基于以上理论分析，得到联合通信资源和计算资源的目标检测精度最大化优化模型可以表示为：

s.t.c1:rdata,m≤rm

c3:bmin≤bm≤btotal

c4:tm(bm,fm)≤τm

c6:fmin≤fm≤ftotal

其中m为车辆总数，ρ为补偿因子，补偿归一化的影响；im表示原视频中待检测的目标数量(密度)，即表征当前视频数据的重要程度；rdata,m表示第m辆车所采集视频的码率；rm表示香农公式下所允许的最大数据速率；和分别表示通信资源和计算资源分配下的平均检测精度；τm表示第m辆车的计算任务所允许的最大时延；bm是每个车辆所分配的带宽，fm是每个车辆所分配的计算资源；bmin,fmin分别表示系统限制带宽和计算资源的最小值；btotal,ftotal分别表示系统总带宽资源和mec计算资源。

约束条件c1表示传输视频的码率受到车辆的传输速率限制，由于视频传输过程受到无线通信资源的限制及信道条件的影响，进而研究建立视频内容理解精度与通信资源(带宽、信道、功率等)之间的关系。对于ofdma机制，由于独占子载波分配，可以忽略子载波间干扰。因此基于香农公式，借鉴传统传输损耗模型，车辆端通过上行子载波将一个计算任务am(dm,τm,xm)上传到边缘服务器数据速率如下所示：

其中rm为数据传输速率，bm为车辆m上传视频所占用的带宽，gm为车辆m的信道衰减系数，pm为车辆m的发射功率。

约束条件c2表示所有车辆分配的带宽之和不超过总带宽btotal；

约束条件c3表示每个车辆分配的带宽不小于限制bmin；

约束条件c4表示每个车辆当前目标检测任务的系统总时延不大于τm；

约束条件c5表示所有车辆分配的算力之和不超过边缘服务器总计算资源ftotal；

约束条件c6表示每个车辆分配的算力不小于限制fmin；

步骤五、在视频语义驱动的资源分配优化模型的基础上，构建强化q学习算法模型；

步骤501、设置超参数；

强化q学习算法训练的效果和它的主要参数有较强的相关性，本模型的主要参数设定如下：1)学习速率α取0.1，让算法保留历史训练结果的90％，更注重过往经验；2)折扣因子γ取0.9，让算法考虑下一步效益的90％，更重视长远利益；3)ε-greedy策略中的ε取0.8，让算法有20％的尝试空间，避免陷入局部最优。

步骤502、构建状态空间；

状态空间为m个车辆分配的带宽bm＝{b1,b2,…,bm}和计算资源fm＝{f1,f2,…,fm}，其中bm∈[bmin,btotal)，fm∈[fmin,ftotal)。

步骤503、构建动作空间；

动作空间为m个车辆带宽和计算资源的分配变化。为简化模型中的q值表，假设带宽变化的最小步长为总带宽的1％，算力变化的最小步长为总计算资源的1％。当m＝3时，每个动作对应只有两个车辆的带宽增减，因此整个动作空间可表示为：

am＝[bm1,bm2,...,bmn,fm1,fm2,...,fmn]

步骤504、构建环境反馈；

设奖励函数则环境反馈的奖励值为下一状态和当前状态的r的差值δr＝r′-r，由于训练的目标是r取得最优值，因此希望r往不断增大的方向优化，当r减小时，则将反馈函数为负值。

本发明的优点在于：

(1)一种车联网中视频语义驱动的联合资源分配方法，优化了车辆端到边缘服务器端的频谱分配和边缘服务器计算资源分配，实现了时延约束下的平均目标检测精度最大化；

(2)一种车联网中视频语义驱动的联合资源分配方法，构建了语义驱动的联合资源分配指导模型，从视频语义角度出发，考虑了不同视频的语义差异，从理论上给出了语义驱动的联合资源分配算法的优化方向；

(3)一种车联网中视频语义驱动的联合资源分配方法，引入了强化q学习算法模型，考虑了车联网非稳态信道条件，解决了车联网中针对视频语义任务的资源分配问题。同时满足了车联网场景下资源分配的实时性和环境的多变性，提供了较稳定且低复杂度的资源分配算法。

附图说明

图1为本发明构建的车联网中的移动边缘计算模型示意图；

图2为本发明构建的车辆端与边缘服务器端视频语义通信的车联网系统模型示意图；

图3为本发明的语义理解准确率建模过程示意图；

图4为本发明用于构建目标检测准确率与qp关系模型示意图；

图5为本发明构建的不同算法的目标检测精度与其计算复杂度之间的关系；

图6为本发明提出的联合资源分配算法指导下不同车辆视频的频谱资源分配结果；

图7为本发明提出的联合资源分配算法指导下不同车辆视频的计算资源分配结果；

图8为本发明与其他两种不同资源分配方案的平均目标检测精度与系统总带宽的关系；

图9为本发明与其他两种不同资源分配方案的平均检测精度与视频信息量标准差的关系；

图10为本发明与其他两种不同资源分配方案的平均检测精度与系统中车辆数目的关系；

具体实施方式

为了能够更加清楚地理解本发明的技术原理，下面结合附图，具体、详细地阐述本发明实施例。

一种车联网中视频语义驱动的通信和计算资源联合分配方法(videosemantics-drivenjointallocationofcommunicationandcomputingresourcesalgorithmsinvehicularnetworks)应用于车辆端与边缘服务器端视频语义通信的车联网系统中；首先构建面向视频语义理解准确率的带宽资源分配指导模型，建立检测准确率和视频码率的关系表达式；然后构建面向视频语义理解准确率的计算资源分配指导模型，建立检测准确率与目标检测算法模型复杂度之间的关系；由于通信资源与计算资源相互独立存在，但共同影响到目标检测精度，最终以最大化单位车辆的检测准确率为优化目标，构建车联网中视频语义驱动的联合资源分配优化模型；

根据优化模型，设计算法求解面临新的挑战：1)由于建模的联合资源分配模型是一个具有多约束的非线性规划问题，作为典型的nphard问题，难以通过凸优化等传统方法求其最优解；2)由于自动驾驶场景下资源分配的实时性和环境的多变性，对算法的复杂度和稳定性提出了较高的要求。因此构建用于车联网中视频语义驱动的联合资源分配的强化q学习算法模型的状态空间、动作空间和环境反馈。

整体流程包括建立系统模型，建立通信资源分配指导模型，建立计算资源分配指导模型，提出优化问题并建立优化模型，以及建立强化q学习算法模型并执行训练五个步骤；其中，建立视频语义驱动的频谱资源分配指导模型过程包括构建qp值和检测准确率的关系、构建qp值和视频码率的关系、以及视频传输时延和频谱资源分配的关系；建立视频语义驱动的计算资源分配指导模型过程包括建立目标检测精度与其模型计算复杂度之间的关系、目标检测精度与其模型算力之间的关系、以及计算时延和计算资源分配的关系；强化q学习算法模型并执行训练过程包括设置超参数、构建状态空间、构建动作空间和构建环境反馈；

具体步骤如下：

步骤一、构建车辆端与边缘服务器端视频语义通信的车联网系统模型；

如图1所示，系统模型包括一个bs和m辆装有摄像头的智能网联汽车。

整个系统的通信和计算过程如下：1)车辆端向边缘服务器发起视频传输请求，对所采集的视频进行预处理，获取视频信息并将其上传到边缘服务器，同时边缘服务器获取信道状态信息(channelstateinformation，csi)；2)边缘服务器获取视频信息和csi，根据视频语义驱动的资源分配方法得到最优的频谱资源和计算资源分配结果；3)车辆根据频谱资源分配的结果完成视频的编码压缩，通过无线信道传输到边缘服务器，该过程遵循无线视频传输协议；4)边缘服务器将接收到的视频进行解码，根据所分配的计算资源采用不同的语义理解算法，对视频进行语义理解并将结果反馈给各车辆，同时边缘服务器可将视频进行存储或用于其他任务，如道路交通情况分析等。

步骤二、构建视频语义驱动的频谱资源分配指导模型；

以视频语义理解的基础任务——目标检测任务为例，视频的语义即待检测的目标类别和数量，视频语义的理解准确率即目标检测的准确率。详细的资源分配指导模型建模步骤如下：

步骤201、构建目标检测精度与qp值之间的关系；

采用h.265视频编码压缩标准对视频数据进行编码压缩处理，使得视频传输的码率小于或等于带宽限制下的传输速率。压缩编码过程中不同的视频量化参数(quantitativeparameters，qp)值对应不同的压缩步长，qp值越小，压缩步长越小，视频码率越接近原始视频码率，传输所需的带宽越大。

采用faster-rcnn算法对caltech数据集中不同压缩程度的视频进行目标检测，目标类型主要包括行人、车辆和交通信号灯等。根据数据结果拟合出如下的指数关系模型：

p(q)＝α·q^β+γ

q表示视频量化参数qp值，p表示目标检测精度，α,β,γ均为模型参数。引入均方误差值(meansquareerror，mse)作为损失函数，并利用回归方法求解模型参数。

步骤202、构建检测准确率和视频码率的关系；

qp值决定了视频压缩率的不同，而视频数据速率的大小与压缩率有关。因此根据实验研究qp和视频数据速率之间的关系。通过曲线拟合，qp和视频数据速率之间的关系可以近似表示为：

q＝a·exp(b·rdata)

其中q为视频量化参数(qp)，rdata为视频源编码率，a,b为模型参数。表示以自然常数e为底的指数函数，相应的表示以自然常数e为底的对数函数。

联合上述两步所得的关系模型，可得检测准确率与码率的关系模型如下：

pmap(q)＝α(aexp(b·rdata))^β+γ

其中pmap(q)表示频谱资源限制下的目标检测精度。

码率的大小与传输过程中的带宽资源有关，从而得到了面向视频语义理解准确率(即目标检测任务中的检测准确率)的带宽资源分配指导模型。上述目标检测准确率与码率的关系模型从理论上给出了语义驱动的频谱资源分配算法的优化方向。

步骤203、构建视频传输时延和频谱资源分配的关系；

车辆端通过将目标检测任务卸载到边缘服务器，可以解决车辆计算能力不足的问题。同时，它会花费额外的时间和能量来上传视频。基于上述通信资源分配结果，视频上传过程的时延可表示为：

其中表示视频从车辆上传到边缘服务器过程的时延，dm为视频数据的大小。

步骤三、构建视频语义驱动的计算资源分配指导模型；

在收到各个车辆的视频数据后，边缘服务器基于视频内容重要性分配计算资源执行目标检测算法。在计算资源建模方面，尤其是在移动边缘计算场景中，边缘服务器的cpu资源是影响到计算任务执行性能指标的关键因素。目标检测算法精度直接取决于其dnn模型复杂度。对于dnn模型而言有一个趋势——模型的规模越大，即神经网络层数越多的，所需要的计算资源越多，对视频内容理解的性能越好。详细的计算资源分配指导模型建模步骤如下：

步骤301、构建目标检测精度与其模型计算复杂度之间的关系；

根据fasterr-cnn、r-fcn和ssd三个经典目标检测算法上在coco数据集上做了大量实验，通过改变目标检测算法，特征提取结构(卷积神经网络)，超参数(输入图像的大小、卷积核的步长、proposal的数目)，最终给出一系列不同复杂度的dnn模型所需要的计算资源以及所能达到的平均推理性能，从而得到目标检测精度与其模型计算复杂度之间的关系。

步骤302、构建目标检测精度与其模型算力之间的关系；

在上述研究的基础上作出以计算复杂度为横坐标，即执行目标检测算法所需要的gpu时间，以平均目标检测精度为纵坐标的一系列散点图如图5所示。通过图5可以发现算法复杂度越高，即执行算法的时间越长，则算法的平均检测性能越好。由于gpu是执行计算的主要引擎，gpu性能由gpu周期频率fm(也称为gpu时钟速度)控制，并且fm的值由边缘服务器总计算资源ftotal界定。因此考虑将dnn模型复杂度抽象为算力，即执行算法所需要的gpu频率。对散点图进行曲线拟合，进而构建视频内容理解精度和算力之间的闭合表达式可近似表示为：

其中pmap(fm)表示计算资源限制下的目标检测精度，fm为边缘服务器所分配的计算资源，x,y,z,w均为模型参数。此处仍以均方误差值(meansquareerror，mse)作为损失函数。

目标检测算法模型的大小与边缘服务器所分配的计算资源有关，从而得到了面向视频语义理解准确率(即目标检测任务中的检测准确率)的计算资源分配指导模型。上述目标检测准确率与计算资源的关系模型从理论上给出了语义驱动的计算资源分配算法的优化方向。

步骤303、构建计算时延和计算资源分配的关系；

由步骤二可知，通过将目标检测任务卸载到边缘服务器，需要花费额外的时间和能量来上传视频，同时需要花费计算时延执行目标检测算法。事实上，在车联网移动边缘计算系统中计算卸载的过程主要包括以下三个部分：

1)车辆端通过上行子载波将一个计算任务am(dm,τm,xm)上传到mec服务器；

2)mec服务器为其分配fm的计算资源并执行任务m；

3)mec服务器将输出数据发送回车辆端。

通常情况下由于输出数据的数据量通常比输入数据小得多，因此可以忽略返回输出数据的时延和能耗。基于上述计算资源分配结果，服务器端执行目标检测算法所需的计算时延以及卸载过程的总时延可以分别表示为：

其中，tm分别表示视频上传时延，边缘服务器计算时延和卸载过程的总时延。dm,xm分别表示当前任务的数据量和计算复杂度，fm表示边缘服务器为当前目标检测任务所分配的计算资源。

步骤四、视频语义驱动的通信资源和计算资源联合分配优化模型；

基于以上对通信资源和计算资源限制下的视频内容理解精度的表达式，考虑如何推导通信资源和计算资源限制下视频内容理解精度的统一表达式。由于通信资源与计算资源相互独立存在，但共同影响到目标检测精度。因此考虑将二者相乘的合理性：表示在通信资源分配下目标检测精度的基础上，则改变算力带来的检测精度的变化符合步骤三中计算资源限制下目标检测精度的曲线趋势。

因此根据图5将当前目标检测算法所需计算资源对应的检测精度进行归一化，由于目标检测精度总是小于1的，因此需要额外再乘一个补偿因子，将其数值调节到正常的水准。不难发现，补偿因子的存在仅仅是补偿了归一化过程中数值上的大小，并不会影响整体的资源分配以及后续的对比算法。基于以上理论分析，得到联合通信资源和计算资源的目标检测精度最大化优化模型可以表示为：

s.t.c1:rdata,m≤rm

c3:bmin≤bm≤btotal

c4:tm(bm,fm)≤τm

c6:fmin≤fm≤ftotal

其中m为车辆总数，ρ为补偿因子，补偿归一化的影响；im表示原视频中待检测的目标数量(密度)，即表征当前视频数据的重要程度；rdata,m表示第m辆车所采集视频的码率；rm表示香农公式下所允许的最大数据速率；和分别表示通信资源和计算资源分配下的平均检测精度；τm表示第m辆车的计算任务所允许的最大时延；bm是每个车辆所分配的带宽，fm是每个车辆所分配的计算资源；bmin,fmin分别表示系统限制带宽和计算资源的最小值；btotal,ftotal分别表示系统总带宽资源和mec计算资源。

约束条件c1表示传输视频的码率受到车辆的传输速率限制，由于视频传输过程受到无线通信资源的限制及信道条件的影响，进而研究建立视频内容理解精度与通信资源(带宽、信道、功率等)之间的关系。对于ofdma机制，由于独占子载波分配，可以忽略子载波间干扰。因此基于香农公式，借鉴传统传输损耗模型，车辆端通过上行子载波将一个计算任务am(dm,τm,xm)上传到边缘服务器数据速率如下所示：

其中rm为数据传输速率，bm为车辆m上传视频所占用的带宽，gm为车辆m的信道衰减系数，pm为车辆m的发射功率。

约束条件c2表示所有车辆分配的带宽之和不超过总带宽btotal；

约束条件c3表示每个车辆分配的带宽不小于限制bmin；

约束条件c4表示每个车辆当前目标检测任务的系统总时延不大于τm；

约束条件c5表示所有车辆分配的算力之和不超过边缘服务器总计算资源ftotal；

约束条件c6表示每个车辆分配的算力不小于限制fmin；

步骤五、在视频语义驱动的资源分配优化模型的基础上，构建强化q学习算法模型；

步骤501、设置超参数；

强化q学习算法训练的效果和它的主要参数有较强的相关性，本模型的主要参数设定如下：1)学习速率α取0.1，让算法保留历史训练结果的90％，更注重过往经验；2)折扣因子γ取0.9，让算法考虑下一步效益的90％，更重视长远利益；3)ε-greedy策略中的ε取0.8，让算法有20％的尝试空间，避免陷入局部最优。

步骤502、构建状态空间；

状态空间为m个车辆分配的带宽bm＝{b1,b2,…,bm}和计算资源fm＝{f1,f2,…,fm}，其中bm∈[bmin,btotal)，fm∈[fmin,ftotal)。

步骤503、构建动作空间；

动作空间为m个车辆带宽和计算资源的分配变化。为简化模型中的q值表，假设带宽变化的最小步长为总带宽的1％，算力变化的最小步长为总计算资源的1％。当m＝3时，每个动作对应只有两个车辆的带宽增减，因此整个动作空间可表示为：

am＝[bm1,bm2,...,bmn,fm1,fm2,...,fmn]

步骤504、构建环境反馈；

设奖励函数则环境反馈的奖励值为下一状态和当前状态的r的差值δr＝r′-r，由于训练的目标是r取得最优值，因此希望r往不断增大的方向优化，当r减小时，则将反馈函数为负值。

强化q学习算法对于每个训练回合，具体步骤如下：

(1)设置初始状态[bm,fm]；

(2)基于贪婪决策选择动作a：若随机数random小于ε，则根据q值表选择动作空间中q值最大的动作a；若随机数random大于ε，则随机选择动作a；

(3)执行所选择的动作a，观测下一带宽分配状态[b′m,f′m]和环境反馈的r′值，计算得到变化量δr；

(4)更新q值表：q′m(s,a)＝qm(s,a)+α(rm(s,a)+γ·maxqm(s′,a′)-qm(s,a))；

(5)更新当前状态：bm←b′m,fm←f′m；

(6)返回步骤(2)，直至bm＜bmin或fm＜fmin，回合结束。

通过将本发明视频语义驱动的联合资源分配方法与基于qoc的单一频谱资源分配方法、通信和计算资源平均分配方法分别做对比，验证本发明所提出算法的优越性；

资源分配仿真结果如图6和图7所示。就目标检测而言，视频重要程度与视频中所包含目标个数成正比。图6表示固定计算资源为2000mhz时，改变频谱资源1mhz—20mhz，各重要程度不同视频的频谱资源分配结果。图7表示固定频谱资源限制为10mhz时，改变计算资源1000mhz—3000mhz，各重要程度不同视频的计算资源分配结果。仿真结果表明，面向qoc的联合资源分配结果倾向于为重要程度更高的视频分配更多的通信资源和计算资源，从而提升整体的平均视频内容理解精度。

图8表示采用不同方案的平均检测精度与系统总带宽的关系。对于所有方案，系统总带宽越高，平均检测精度越高，因为更高的带宽资源可确保更好的视频质量。随着系统总带宽的增加，本发明提出的基于qoc的联合资源分配方案的平均检测精度始终优于其他两种资源分配方案。此外，当系统总带宽处于较低水平时，基于qoc的联合资源分配方案和单一频谱资源分配方案的平均检测精度明显高于资源平均分配方案。随着系统总带宽的增加，基于qoc的单一频谱资源分配方案的优势被慢慢稀释，而基于qoc的联合资源分配方案的优势则越来越明显。

图9表示在不同方案下平均检测精度与视频信息标准差的关系。当视频信息量标准差为0时，即各视频内容重要性相同，三种资源分配方案的平均检测精度相同。随着视频信息量标准差的增大，即各视频内容重要性差距逐渐变大，本发明提出的基于qoc的联合资源分配方案倾向于为信息量大的视频数据，即重要程度更高，分配更多的频谱资源和计算资源，因此其在平均检测精度上的优势就越来越明显。

图10表示不同方案的平均检测精度与mec系统中车辆数量的关系。随着mec系统中车辆数量的增加，每个车分配的资源越少，因此三种方案的平均检测精度逐渐下降。尽管如此，本发明提出的基于qoc的联合资源分配方案的平均检测精度始终优于其他两种资源分配方案。因此需要根据不同任务对检测精度的要求而确定当前mec系统的可容纳车辆的最大数量。

综上所述，通过实施本发明一种车联网中视频语义驱动的联合资源分配方法，可以优化车辆端到边缘服务器端的频谱分配以及边缘服务器端的计算资源分配，在时延约束下最大化平均目标检测精度。相比于基于qoe和qos的资源分配算法，本发明所设计的基于视频语义的资源分配算法，考虑了所传输的视频内容或语义信息，针对视频理解或分析的准确率提出资源分配方案。相比于基于qoc的资源分配算法，本发明从计算资源角度考虑不同算力下的目标检测算法对最终检测精度的影响，且联合考虑通信资源和边缘服务器计算资源限制下的联合资源分配。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。