基于ICN的移动边缘计算系统视频流自主边缘缓存方法

本技术属于移动边缘计算，具体涉及一种基于icn的移动边缘计算系统视频流自主边缘缓存方法。

背景技术：

1、随着互联网应用的发展和智能终端的普及，人们对多媒体服务的需求日益增长，移动无线网络中的视频类应用流量飞速增长，面对用户对qoe和qos要求越来越严格，传统的云计算模式受限于回程链路的带宽容量，大规模的视频请求会频繁的造成网络拥塞和过长的响应时延，导致网络服务质量和用户体验感急剧下降，为了克服现有模式的局限性，移动边缘计算(mobile edge computing，mec)应运而生，mec通过在靠近用户的网络边缘部署服务器，就近的为边缘提供计算和存储服务，用户可以直接从较近的边缘服务器中请求视频内容而不必从远处的云端获取，从而降低等待时延，提高用户qoe。

2、现有的mec架构通常是基于tcp/ip架构构建，ip网络以主机地址为中心对内容进行请求和分发，在面对海量的用户视频内容请求的场景下，基于主机地址建立通信的方式会造成大量内容的重复请求，导致网络拥塞和网络资源的浪费，并且在移动性，安全性和可拓展性方面都出现了诸多弊端。在用户大规模的数据请求中，用户所关心的并不是主机地址，而是内容信息本身，因此，考虑将信息中心网络(information-centricnetworking，icn)与mec结合，以减少网络重复流量，支持用户移动性。

3、缓存机制是icn的核心机制之一，在icn中，面对海量的内容分发问题时，设计合理的缓存放置方案能够提升系统的缓存命中率，降低内容请求时延，同时一个好的缓存放置方案也要考虑到缓存资源的有效利用，提高缓存多样性，降低缓存冗余。缓存放置方案需要考虑到两方面问题，一是选择缓存什么样的内容，二是缓存在哪里。目前icn的缓存策略大多基于流行度的缓存机制，但由于用户请求的不稳定性，导致内容热度实时变化，缓存策略不能适应内容的实时性，从而缓存命中率低。因此，设计一个能实时适应系统状态变化从而作出最优选择的缓存策略将大幅提升网络的缓存性能。

技术实现思路

1、本发明公开了一种基于icn的移动边缘计算系统视频流自主边缘缓存方法，其可以有效解决背景技术中涉及的至少一个技术问题。

2、为实现上述目的，本发明的技术方案为：

3、一种基于icn的移动边缘计算系统视频流自主边缘缓存方法，包括以下步骤：

4、步骤s1：构建基于icn的移动边缘计算网络架构模型，边缘层与用户层使用icn架构连接，以兴趣包与数据包的形式进行通信，边缘层与云层依靠核心网的物理连接进行通信；

5、步骤s2：提出用户内容请求的分发模式，对分发模式中的内容缓存命中情况进行建模，计算当前时刻的本地缓存命中率以及协作缓存命中率；

6、步骤s3：计算当前基站区域的全局内容流行度和动态流行度阈值，得到当前基站内全局流行的内容并缓存在基站内；

7、步骤s4：将基站作为智能体，实时学习用户偏好，并对用户长短期兴趣进行建模，然后结合当前时刻用户与基站的缓存状态信息作为状态输入，建立缓存决策；

8、步骤s5：对缓存决策进行马尔可夫决策过程建模，提出基于soft actor-critic算法的多智能体深度强化学习算法对模型进行训练，得出最优缓存放置方案。

9、作为本发明的一种优选改进，所述移动边缘计算网络架构模型包括一个云服务器，存储了用户能请求的所有内容，内容库中包含了f个大小均为δ的视频文件，并能够通过核心网的物理连接与边缘层的基站进行通信；边缘层有n个基站，每个基站的覆盖范围内有若干个用户，基站负责管理覆盖区域内用户的缓存信息，以便于协作缓存的进行；用户层的用户在同一时刻只归属于一个基站，并且会定期的向基站更新缓存信息，用户层与边缘层通过icn架构连接，用户以兴趣包的形式发送请求内容，缓存节点以数据包的形式进行响应。

10、作为本发明的一种优选改进，云服务器中存储的内容由集合f＝{1,2,…,f}表示，包含用户的评分r＝{ru，f,u∈u,f∈f}，其中，ru，f表示用户u对内容f的评分，取值为0时代表用户u没有对文件f进行评分，取值为0.5-5时则代表用户对该文件的喜好程度，数值越大表示越偏好该文件；基站b＝{1,2,…,n}，存储空间大小为cb；一个基站覆盖范围内的用户集合为u＝{1,2,…,u}，存储空间大小为cu；用户设备与基站基于icn的架构连接，并且均维护三个列表：

11、内容存储表，用于存储节点缓存的内容副本；

12、待定请求表，用于记录已转发出去但还未被相应的信息包以及其对应的转入接口；

13、转发信息表，用于记录已转发出去的信息包及其对应的转发接口。

14、作为本发明的一种优选改进，所述提出用户内容请求的分发模式，包括六种情况：

15、情况一，当用户请求某一个内容f时，在自身的内容存储表中缓存了内容f的副本；

16、情况二，当用户自身未缓存内容f的副本，则向其通信范围内的其他用户设备广播兴趣包，若其广播范围内存在缓存了内容f副本的用户设备，缓存用户将数据包直接返回给请求用户；

17、情况三，当用户广播范围内不存在缓存了内容f的设备，请求用户将兴趣包发送给归属基站，若归属基站对该内容进行了缓存，则归属基站将数据包返回给请求用户；

18、情况四，当归属基站未查找到内容f的缓存信息，则查找其覆盖范围内的其他用户设备，若找到了缓存该内容的设备则与其通信，并接收缓存设备中的数据包，然后再传给请求用户；

19、情况五，当归属基站未找到缓存了内容f的其他设备，则向相邻基站广播兴趣包，相邻基站进行与情况三和四相同的操作；

20、情况六，当上述情况均未找到兴趣包，则通过基站向云端发送请求。

21、作为本发明的一种优选改进，所述对分发模式中的内容缓存命中情况进行建模，具体为：

22、在每一个时隙t内，每个用户的内容请求reqt＝{reqt（u,f）,u∈u,f∈f}，其中reqt（u,f）代表用户u在t时刻请求内容f的次数；用户i在t时刻的缓存信息xi＝{xi（f,t),f∈f}，其中xi(f,t)＝true代表用户i缓存了内容f；基站h在t时刻的缓存信息yi＝{yi（f,t）,f∈f}，其中yi(f,t)＝true代表基站h缓存了内容f；定义一组二进制变量s＝{s1,s2,s3,s4,s5,s6}记录用户请求被满足的过程：

23、s1＝xi(f,t)

24、

25、

26、

27、

28、

29、其中，h表示用户i的归属基站，nei表示用户i的邻居用户集合。

30、作为本发明的一种优选改进，所述计算当前时刻的本地缓存命中率以及协作缓存命中率之后，还包括定义缓存收益以及定义最大化缓存收益目标函数。

31、作为本发明的一种优选改进，步骤s3中，全局内容流行度和动态流行度阈值的表达式分别为：

32、

33、

34、其中，表示t时刻内容f的全局流行度，表示内容f在t时刻的请求数量，表示权重参数，tt表示动态流行度阈值；当大于tt时，内容f被考虑为全局流行内容。

35、作为本发明的一种优选改进，步骤s4中，从用户对某些内容的高分反馈中提取用户的长期兴趣，记为slong＝{i1,i2,…,il}，采用长短期记忆网络来学习用户较长一段时间的高分评价记录以捕获用户的长期兴趣，然后整合成用户长期兴趣矩阵：

36、ft＝σ(wf·[ht-1,xt]+bf)

37、it＝σ(wi·[ht-1,xt]+bi)

38、

39、

40、ot＝σ(wo·[ht-1,xt]+bo）

41、ht＝ot*tanh(ct)

42、其中，ft为遗忘门，σ为sigmoid函数，wf、wi、wc以及wo分别为相应权重，ht-1为前一时刻隐藏状态信息，xt为当前输入信息，bf、bi、bc以及bo分别为相应的偏置，it为输入门，为临时单元状态，ct为当前时刻长期单元状态，ct-1为前一时刻长期单元状态，ot为输出门，ht为当前时刻隐藏状态信息；

43、用户短期时间内请求频率高的内容可以认为是用户的短期兴趣，短期兴趣可以从当前时刻节点流行度排名前n项的内容中提取出来，即sshort＝{i1,i2,…,in}，利用门控循环单元对用户短期兴趣进行捕捉，然后整合成用户短期兴趣矩阵：

44、

45、zt＝σ(xtwxz+ht-1whz+bz)

46、rt＝σ(xtwxr+ht-1whr+br)

47、

48、

49、其中，pop(u,f)为用户流行度，zt为更新门，rt为重置门，wxz、whz分别为更新门对当前输入向量和上一隐藏状态的权重，wxr、whr分别为重置门对当前输入向量和上一隐藏状态的权重，wxh、whh分别为候选隐藏状态对当前输入向量和上一隐藏状态的权重，bz、br、bh分别为更新门，重置门以及候选隐藏状态的偏置、为候选隐藏状态。

50、作为本发明的一种优选改进，所述对缓存决策进行马尔可夫决策过程建模，具体为，定义一个由状态空间s、动作空间a、状态转移p以及奖励函数r组成的四元组m＝<s,a,p,r>，其中，

51、状态空间：在每个决策时刻t，基站h从记录的信息中提取环境状态，将用户长期兴趣矩阵短期兴趣矩阵用户缓存状态信息xt以及基站缓存状态信息yt作为输入状态，表示为

52、动作空间：在t时刻，基站h需要决定内容f的缓存放置问题，表示为{au,f,u∈u,f∈f}；

53、状态转移：系统在t时刻更新缓存内容后，记录用户的请求信息以及反馈信息，状态转移到st+1，即更新t+1时刻用户的长短期兴趣以及缓存状态信息；

54、奖励函数：在执行缓存决策动作之后，每个基站会统计当前时刻得到的奖励值，将基站h在t时刻执行完缓存动作之后得到的奖励定义为t时刻的缓存收益。

55、作为本发明的一种优选改进，将基站作为智能体，每个基站包括actor网络、critic网络、目标actor网络和目标critic网络，只对actor网络和critic网络进行训练：根据ctde框架和sac算法，通过最小化目标来更新actor网络的参数，利用重参数的采样方法获得最小化目标的可微形式，然后采用随机梯度下降方法实现actor网络的更新；critic网络的参数通过最小化基站的贝尔曼误差进行更新。

56、本发明的有益效果如下：

57、1、本发明提出的方法，能够根据网络状态实时作出最优的缓存决策，在保障缓存命中率和提高用户体验质量的情况下，能同时优化网络资源利用率，降低缓存冗余；

58、2、本发明通过根据六种缓存命中情况并对其进行建模以计算缓存命中率，然后利用基站实时学习用户的偏好，在用户端缓存个性化内容，有效提高了边缘缓存命中率以及缓存多样性，降低了用户请求视频内容的延迟；

59、3、通过将icn与mec技术结合使用，支持用户移动性，减少网络重复流量，可以提高服务自动化部署的效率。