360度虚拟现实视频用户接入控制系统及控制方法

本发明属于移动通信，具体涉及一种基于边缘计算和主动缓存的360度虚拟现实视频用户接入控制系统及控制方法。

背景技术：

1、移动虚拟现实有望成为未来5g的杀手级应用之一，它是指通过多跳网络将移动虚拟现实视频和声音文件从云服务器传输到用户终端设备，从而实现云服务器或边缘服务器的存储和渲染的虚拟现实业务；借助云计算技术和稳定的千兆光纤网络，该应用已被证明是切实可行的。360度视频，也就是所谓的三自由度球形视频，可以为用户提供沉浸式体验；由于360度移动虚拟现实视频结合了5g中增强型移动宽带业务的高容量、超可靠低时延通信业务的严格时延和可靠性的多重要求，因此到目前为止要支持这一应用还存在许多技术难点。

2、目前，针对360度移动虚拟现实视频的研究主要集中在视频资源推送、用户视野同步预测、计算存储资源分配这三个方面。关于视频资源推送，公开号为cn112188302a的中国专利申请提出了应用于vr系统的数据多播通讯系统，该系统采用数据流多播形式进行下行数据传输，同时服务多个vr终端设备，但是该方法没有考虑到终端设备的接入、退出带来的影响。关于计算和存储资源的分配，文献[y.sun,communications,caching,and computingfor mobile virtual reality:modeling and tradeoff,ieee transactions oncommunications,vol.67,no.11,pp.7573-7586,nov.2019]中提到一种主动缓存和边缘计算联合优化方法，但是该方法仅针对单个vr终端设备，没有考虑多用户设备接入处理的情况。公开号为cn112995636a的中国专利申请提出了一种基于边缘计算和主动缓存的360度虚拟现实视频传输系统，该系统利用虚拟现实用户的视野预测来缓存视频数据，并将部分解码渲染任务卸载到mec服务器上，但该系统不具备多用户接入功能，也是只考虑了服务一个虚拟现实用户的情况。关于用户视野同步预测，公开号为cn108965858a的中国专利申请提出了一种支持vr的多视点立体视频多用户接入控制方法及装置，但是其所设计方法及装置仅通过带宽判断用户的接入数量与视点选取来达到网络资源最大化，未考虑不同用户观看视频过程中时延的影响。

3、上述提到的文献或专利有针对360度移动虚拟现实视频传输中的问题提出一些技术方案，但这些方案主要集中在给定用户、固定带宽的前提下提高系统资源利用率、优化用户体验。目前还没有系统设计在综合考虑边缘计算和主动缓存等技术的前提下，给出360度移动虚拟现实视频用户的接入控制方法。因此，为了合理地设计系统工作流程并有效地调整系统接入用户的数量，以便最大限度地保障用户的服务质量和提升用户的体验质量，我们需要一种综合使用边缘计算和主动缓存等技术的360度虚拟现实视频用户接入控制系统配置方法。

技术实现思路

1、鉴于上述，本发明提供了一种基于边缘计算和主动缓存的360度虚拟现实视频用户接入控制系统及控制方法，该接入控制方法利用系统中的云服务器、边缘计算服务器和用户端的通信、计算、存储功能，联合考虑了视频编码、主动缓存、计算卸载、数据传输对360度虚拟现实视频用户的影响，可在保障每个用户服务质量的前提下充分利用系统的资源，接入和服务尽可能多的360度虚拟现实视频用户。

2、一种基于边缘计算和主动缓存的360度虚拟现实视频用户接入控制系统，包括云服务器、mec服务器以及多个用户端；其中：

3、所述云服务器存储有360度虚拟现实视频并通过神经网络生成对应的显著图，在对视频进行编码时采用等距柱状投影的方式将其划分为n×m个tile，并将每个tile多个视频帧的数据压缩为一组图片序列，n和m均为自定义的自然数；同时云服务器根据显著图做进行预测，并向mec服务器传输相应的视频数据包或直接将视频数据包发送给对应的用户端；

4、所述mec服务器对云服务器下发的视频数据包进行缓存、解码和渲染后将视频数据发送给对应的用户端；

5、所述用户端用于收集不同用户的运动传感数据并上传给mec服务器，同时对云服务器提供的视频数据包进行解码计算，完成2维视频向360度球面视频的转换并进行播放；

6、系统采用周期性的工作方式，每个周期由缓存阶段和计算与传输阶段组成，视频数据在时域上进行划分，分为多个视频块，每个视频块的时长为d1，并且规定在第l个工作周期内每个接入用户同时观看的视频块索引为l-1，l为大于1的自然数；在缓存阶段，云服务器根据视野预测结果向mec服务器传输相应的视频数据包，缓存阶段时长为一个视频块时长即d1；在计算与传输阶段开始时刻，不同的用户端向mec服务器发出视野请求，mec服务器根据每个tile被不同用户命中的次数，按比例分配计算资源用于tile的计算卸载，并对相应的视频数据包进行解码处理后将视频数据传输给用户端，传输时按等速率为每个用户提供传输服务，不同用户端接收到来自mec服务器或云服务器的数据后，将其中未解码的视频数据包进行解码处理并播放。

7、进一步地，对于缓存阶段，在第l个工作周期开始时，云服务器根据第l个视频块的显著图预测用户在第l+1个工作周期开始时的视野概率分布pf(nl,ml)＝[pf(nl,ml)]n×m，其中pf(nl,ml)表示在第l+1个工作周期开始时用户视点落入坐标为(nl,ml)的tile中的概率，nl∈n，ml∈m，n＝{1,2,…,n}，m＝{1,2,…,m}；云服务器在缓存阶段根据各tile预测的请求概率矩阵pr(n,m)＝[pr(n,m)]n×m中对应元素按从大到小的顺序为mec服务器提供第l个视频块数据的主动缓存服务，其中pr(n,m)表示在第l+1个工作周期开始时坐标为(n,m)的tile至少有一部分落在用户视野区域内的概率，n∈n，m∈m。

8、进一步地，缓存阶段结束后即为计算与传输阶段，在这个阶段的开始时刻，不同的用户端会给mec服务器发送自己的视野请求，该视野请求中包含有位于用户视野中心的tile的横纵坐标；所述计算与传输阶段包括了mec服务器计算阶段、从mec服务器到用户端的传输阶段、从云服务器到用户端的传输阶段、用户端计算阶段；为了利用mec服务器的计算能力来减小用户端计算阶段的时延，可由mec服务器完成缓存视频数据包的解码和渲染任务并将视频数据传输给用户端，而云服务器也会把mec服务器没有缓存且用户需要的视频数据包直接发送给用户端，最后由用户端把未解码渲染的视频数据包进行解码渲染处理并进行播放。

9、进一步地，在mec服务器计算阶段，当收到不同用户新的视野请求，mec服务器会检查其缓存中是否有用户所需的视频数据包；在从mec服务器到用户端的传输阶段，对于不同用户向mec服务器请求的数据，mec服务器会根据用户端的信道质量，按不同用户端间维持相同传输速率为目标给用户端分配传输带宽和发送功率；在从云服务器到用户端的传输阶段，对于mec服务器没有缓存且用户需要的视频数据包，云服务器按不同用户端间维持相同传输速率为目标给用户端分配传输带宽；在用户端计算阶段，每个用户端对云服务器提供的视频数据包进行解码，当所有用户端完成计算解码后，此时第l个工作周期的通信和解码任务完成，用户端在第l+1个工作周期的开始时刻播放第l个视频块的视频帧。

10、为了最大限度地利用带宽资源并保障用户的服务质量，本发明还提供了上述系统的用户接入控制方法，若有i个用户希望同时接入系统观看相同的360度虚拟现实视频，即需要从2i个接入策略中找到用户最佳的接入策略；为了在保证每个接入用户服务质量的前提下最大化系统服务的用户数，通过以下目标函数决策用户接入策略：

11、

12、其中：x＝(x1,x2,...,xi)为用户接入指示向量即对应一组接入策略，xi＝1表示接入用户端i，xi＝0表示不接入用户端i，i＝1,2,…,i；1()为指示函数，当事件event为真时，1(event)＝1；当事件event为假时，1(event)＝0；表示采取给定的用户接入指示向量x后用户端i的时延中断概率，δ为用于保障接入用户服务质量的时延中断概率门限。

13、进一步地，所述时延中断概率的计算表达式如下：

14、

15、

16、其中：l为播放视频的总周期数，为系统在第l个工作周期从用户端i发出视野请求到其可以播放第l个视频块的端到端时延，为关于的概率密度函数，dth为给定的时延阈值，tl表示第l个工作周期内的时刻，d2,l为第l个工作周期中mec服务器计算阶段的时延，为第l个工作周期中从mec服务器到用户端i传输阶段的时延，为第l个工作周期中从云服务器到用户端i传输阶段的时延，为第l个工作周期中用户端i计算阶段的时延。

17、进一步地，所述概率密度函数的表达式如下：

18、

19、其中：ac,l为缓存矩阵且ac,l＝[ac,l(n,m)]n×m，其中的元素值ac,l(n,m)表示在第l个工作周期缓存阶段结束时刻坐标为(n,m)的tile在mec服务器中的缓存情况，ac,l(n,m)＝1表示该tile被mec服务器缓存，ac,l(n,m)＝0表示该tile未被mec服务器缓存；表示采取给定的用户接入指示向量x后用于刻画所有接入用户在第l个工作周期开始时视野位置的请求矩阵集合，为接入用户端i的请求矩阵且其中的元素值表示在第l个工作周期开始时坐标为(n,m)的tile是否在用户i的视野区域内，表示该tile在用户i的视野区域内，表示该tile不在用户i的视野区域内；gl表示在第l个工作周期缓存阶段mec服务器缓存的tile数量，g表示gl在其状态空间gl中的任一取值，每一个已知的缓存矩阵ac,l均对应一个确定的g，表示gl的概率分布；表示在第l+1个工作周期开始时用户i的视点落入坐标为的tile中的概率，n＝{1,2,…,n}，m＝{1,2,…,m}；表示在已知缓存矩阵ac,l和请求矩阵ar,l的情况下的条件概率密度函数。

20、进一步地，利用扩散过程近似法，用连续过程随机变量x1(t1)代表从本周期的缓存阶段零时刻开始后的时刻t1，mec服务器中主动缓存的数据包数量，可以得到概率分布的表达式如下：

21、

22、

23、

24、β1＝(α1)3v1

25、其中：f表示视频帧率，b表示tile中每帧视频的数据量大小，cr为视频编码压缩后与编码压缩前的数据量大小比值，s为每个视频数据包的大小，r1(t)表示从云服务器到mec服务器之间网络的瞬时传输速率，b1为从云服务器到mec服务器传输阶段的吸收边界，α1和β1分别为从云服务器到mec服务器传输阶段的漂移系数和扩散系数，e()表示均值，var()表示方差，p(k,d10)表示当mec服务器缓存数据包达到d1时长时缓存数据包个数k的条件概率密度函数。

26、进一步地，所述概率可由文献[m.xu,predicting head movement inpanoramic video:a deep reinforcement learning approach,ieee transactions onpattern analysis and machine intelligence,vol.41,no.11,pp.2693-2708,nov.2019]中提出的lstm视点预测网络利用滑动窗口内过去16个视频帧的显著图生成。

27、进一步地，所述条件概率密度函数的表达式如下：

28、

29、

30、

31、

32、

33、

34、β2,x＝(α2,x)3v2,x

35、β3,x＝(α3,x)3v3,x

36、其中：t2表示第l个工作周期从mec服务器到用户端i传输阶段内的时刻，t3表示第l个工作周期从云服务器到用户端i传输阶段内的时刻，为从mec服务器到用户端i传输阶段的吸收边界，为从云服务器到用户端i传输阶段的吸收边界，α2,x和β2,x分别表示采取给定的用户接入指示向量x后在等速率资源分配下从mec服务器到任一接入用户端传输阶段的漂移系数和扩散系数，α3,x和β3,x分别表示采取给定的用户接入指示向量x后在等速率资源分配下从云服务器到任一接入用户端传输阶段的漂移系数和扩散系数，表示在第l个工作周期内mec服务器命中用户端i所需要缓存的总数据量，表示在第l个工作周期内云服务器向用户端i补传的总数据量，表示第l个工作周期内缓存在mec服务器中且被用户端i请求的tile数量，表示第l个工作周期内用户端i请求的tile数量，r2,x(t)表示当用户接入指示向量为x，从mec服务器到任意用户端在等速率资源分配下时刻t的瞬时传输速率，r3,x(t)表示当用户接入指示向量为x，从云服务器到任意用户端在等速率资源分配下时刻t的瞬时传输速率，cr为视频编码压缩后与编码压缩前的数据量大小比值，s为每个视频数据包的大小，f表示视频帧率，b表示tile中每帧视频的数据量大小，h表示视频渲染后与渲染前的数据量大小比值，e()表示均值，var()表示方差。

37、进一步地，对所述目标函数进行优化求解的过程如下：

38、步骤1：初始化单用户接入指示向量

39、步骤2：计算

40、步骤3：对所有满足的单用户接入指示向量xi，按从小到大排列xi的接入用户索引，得到可单独接入的用户序列；

41、步骤4：令用户接入指示向量

42、步骤5：计算仅x中的待考察用户同时接入时，通过等速率资源分配服务这些用户，得到它们视频数据包从mec到达任意接入用户端的时间间隔变量的均值与方差v2,x，以及视频数据包从云服务器到达任意接入用户端的时间间隔的均值与方差v3,x；

43、步骤6：计算当前用户接入指示向量x下的

44、步骤7：如果更新x为多接入一个可单独接入用户序列中的下一个考察用户，并转入步骤5；否则，更新x为去掉最后加入的用户；

45、步骤8：输出x。

46、基于上述技术方案，本发明具有以下有益技术效果：

47、1.本发明从综合利用云服务器、边缘计算服务器和用户端的传输、存储和计算三种资源的角度设计基于边缘计算与主动缓存的360度虚拟现实视频用户接入控制系统，该系统联合考虑了视频编码、主动缓存、计算卸载、数据传输对多个用户同时做360度虚拟现实视频业务的服务质量的影响。

48、2.本发明为基于边缘计算与主动缓存的360度虚拟现实视频用户接入控制系统提出了时延中断概率约束下的最优接入控制问题和相应的决策方法，可在保障每个用户服务质量的前提下，充分利用系统的资源，接入和服务尽可能多的360度虚拟现实视频用户。