一种移动虚拟现实语言交际模拟学习计算系统和方法与流程

本发明属于移动虚拟现实技术领域，具体涉及一种移动虚拟现实语言交际模拟学习计算系统和方法。

背景技术：

随着人工智能计算的快速发展，自然语言处理在计算机人机交互的研究中已取得突破性进展，但是语言的学习基于场景和环境，而新兴的虚拟现实技术能够为语言的学习提供沉浸式的学习和交互环境，是未来语言交际模拟学习的新热点。

然而，虚拟现实技术需要大量的图像计算资源和极低的通信延时，往往需要专门的虚拟现实设备和专用的通信线路。因此目前的虚拟现实设备均为虚拟现实专用设备且大多基于有线通信或超短距离无线通信。此外，移动环境下移动终端往往能耗受限，虚拟现实系统的计算需要大量的能耗，因此目前移动端的虚拟现实大多是一些很短时间的应用，难以实现长时间的语言交际模拟练习。基于移动环境下虚拟现实系统的设计是一个巨大的技术挑战。

随着物联网技术的发展，使得能量收集和移动边缘计算技术日趋成熟，因此结合了能量收集及移动边缘计算的虚拟现实系统能够有效地解决以上问题。因此，本发明设计了一种具有能量收集功能的移动边缘计算系统，并应用于移动环境下的虚拟现实语言交际模拟学习，使得移动终端能够在满足时延和能耗的前提下，快速地进行沉浸式的语言交际模拟学习。

技术实现要素：

本发明的目的在于提供一种移动虚拟现实语言交际模拟学习计算系统和方法，将所述系统应用于虚拟现实语言交际训练，通过能量收集技术，移动终端的电池可以通过无线接口连续充电而无需更换电池；利用移动边缘计算层，移动终端可以将密集的虚拟现实计算任务和语言交际模拟学习计算任务卸载到附近的mec(移动边缘计算)服务器，以减少计算延迟和能耗。

为了达到上述目的，本发明提供以下技术方案：

一种移动虚拟现实语言交际模拟学习计算系统，该系统由云计算层、移动边缘计算层和用户层组成，所述的云计算层包含一个云服务器(虚拟现实教学资源中心)；

该系统由云计算层、移动边缘计算层和用户层组成，所述的云计算层包含一个云服务器；

所述的移动边缘计算层包括若干个安装在无人机及无人汽车上的移动边缘计算(mec)设备，形成异构的移动边缘网络，其中每个移动边缘计算设备包含能量发射模块、通信模块和mec服务器；

所述的用户层包括若干个移动虚拟现实设备，其中每个移动虚拟现实设备包含能量收集模块、通信模块和处理器以及电池；云服务器通过无线信道向移动边缘计算层的通信模块、用户层的通信模块传输虚拟现实数据，并激活对应的语言交际模拟学习计算任务；

所述的移动边缘计算设备中通信模块与mec服务器相连，能量发射模块与移动虚拟现实设备中的能量收集模块以无线链路的方式连接；所述的移动虚拟现实设备中的通信模块与处理器相连，电池对通信模块与处理器供能，并从能量收集模块接收能量。

本发明还提供一种基于深度强化学习的任务卸载方法，该方法包括以下步骤：

步骤一、根据当前用户的位置进行聚类分析，得到用户的分类，并根据分类用户的移动特性分配对应的无人机或无人汽车作为移动边缘计算设备；

步骤二、初始化一个深度神经网络dnn，网络参数θ随机产生；

步骤三、随机选择n个用户的信道增益h＝{hi,i＝1,...,n}作为dnn的输入，并基于当前的dnn网络函数fθ(·)输出任务卸载策略为二进制的任务卸载策略集合，表示如下：

式中n为用户数目；

步骤四、针对当前的任务卸载策略进行本地搜索，生成k个二进制的任务卸载策略x＝{xk，i|xk，i∈[0，1]，i＝1，...，n.k＝1，2，...k.}；

步骤五、根据下式计算每个任务卸载策略xk＝{xk，i|xk，i∈[0，1]，i＝1，...，n}的奖励值：

式(1)中xk,i为第i个用户的任务卸载策略(0代表本地执行，1代表卸载到mec服务器执行)，τi为第i个用户的数据传输时间(如果xi＝0，则τi＝0)，a为移动边缘端给用户设备进行充电的能量传输时间，wi表示第i个用户的权重；

为本地计算的速率，公式为：

式(2)中∈为本地计算常数，ki为计算能耗效率系数，hi为移动边缘端与第i个用户之间的信道增益；

为数据传输速率，公式为：

式(3)中μ为能量收集效率，p为传输功率，n为接收机噪声功率，b是通信带宽，u为通信开销；

步骤六、根据下式选择最佳的任务卸载动作

并将{h,}作为样本添加到dnn的样本库中；其中样本库采用有限的存储器，当存储空间已满，则采用先入先出的淘汰方法将早期样本淘汰；

步骤七、针对新的样本库，采用梯度下降法对dnn进行训练，训练的目标函数为：

式(5)中，s为本次训练被选出的样本集合，|s|表示集合的势；

步骤八、检查算法是否收敛，如果为是，则输出当前的dnn用于实时的任务卸载决策，如果为否，则转至步骤三，通过不断更新存储器中的样本来促使算法收敛。

利用上述算法，结合移动边缘计算层，移动终端可以将密集的虚拟现实计算卸载到附近的mec服务器，以减少计算延迟和能耗。

进一步，所述步骤四中，式中xk,i通过收缩本地搜索法获取，具体为：

式(6)中，rand为随机位置矢量；t为矢量长度，t为一个递减的整数，表示本地搜索范围逐渐减小。

进一步，所述步骤五中，由于公式中，τi和α取决于xi，所以一旦求解出xi后，可以根据下式求解最佳的τi*和α*：

式(7)～(8)中，m1是卸载动作中选择卸载到mec上任务的个数，ub和lb分别是卸载矩阵的上下限，为ν*的函数，公式为：

式(9)中，w(x)表示lambert-w函数，exp表示e为底的指数函数，

本发明方法首先通过构造一个具有能量收集功能的移动边缘计算系统，然后通过一个深度强化学习方法来生成边缘计算的任务卸载决策，不需要任何手动标记的训练数据作为输入，因此解决了dnn的样本标记问题。同时训练后的dnn能够根据信道增益实时进行任务卸载决策，适合无线通信过程中信道快速变化的情况。

与现有技术相比，本发明具有以下优点：

1)本发明不需要任何手动标记的训练数据，并从过去的任务卸载经验中学习，通过强化学习来改进dnn产生的任务卸载动作。

2)本发明通过收缩本地搜索法来提高算法的收敛速度，训练后的dnn网络能够实现在线实时的任务卸载决策。

3)本发明在考虑任务卸载计算的同时，兼顾了能量收集，能够解决移动终端的能量受限问题。

4)本发明利用移动边缘计算和云计算协同解决了虚拟现实、增强现实这些新兴领域中大规模计算的时延和能耗问题，能够让用户在移动环境下实现虚拟现实语言交际的模拟学习。

5)本发明采用了无人机及无人汽车相结合的异构移动边缘计算网络，可以根据用户的移动状态动态分配无人机或无人汽车提供移动边缘计算的服务，增强的系统的灵活性，同时降低了成本。

附图说明

图1是本发明虚拟现实语言交际训练系统的系统模型图。

具体实施方式

下面结合具体实施例和附图对本发明进行进一步说明：

如图1所示，一种基于深度强化学习和移动边缘计算的移动虚拟现实语言交际模拟学习计算系统，该系统由云计算层、移动边缘计算层和用户层组成，云计算层包含一个云服务器；移动边缘计算层包括若干个安装在无人机及无人汽车上的移动边缘计算(mec)设备，形成异构的移动边缘网络，其中每个移动边缘计算设备包含能量发射模块、通信模块和mec服务器；

用户层包括若干个移动虚拟现实设备，其中每个移动虚拟现实设备包含能量收集模块、通信模块和处理器以及电池；云服务器通过无线信道向移动边缘计算层的通信模块、用户层的通信模块传输虚拟现实数据，并激活对应的语言交际模拟学习计算任务；移动边缘计算设备中通信模块与mec服务器相连，能量发射模块与移动虚拟现实设备中的能量收集模块以无线链路的方式连接；移动虚拟现实设备中的通信模块与处理器相连，电池对通信模块与处理器供能，并从能量收集模块接收能量。

本发明还提供一种基于深度强化学习的任务卸载方法(mec服务器)，该方法包括以下步骤：

步骤一、根据当前用户的位置进行聚类分析，得到用户的分类，并根据分类用户的移动特性分配对应的无人机或无人汽车作为移动边缘计算设备；

步骤二、初始化一个深度神经网络dnn，网络参数θ随机产生；

步骤三、随机选择n个用户的信道增益h＝{hi,i＝1,...,n}作为dnn的输入，并基于当前的dnn网络函数fθ(·)输出任务卸载策略为二进制的任务卸载策略集合，表示如下：

式中n为用户数目；

步骤四、针对当前的任务卸载策略进行本地搜索，生成k个二进制的任务卸载策略x＝{xk，i|xk，i∈[0，1]，i＝1，...，n.k＝1，2，...k.}；式中xk,i的通过收缩本地搜索法获取，具体为：

式(6)中，rand为随机位置矢量；t为矢量长度，t为一个递减的整数，表示本地搜索范围逐渐减小；

步骤五、根据下式计算每个任务卸载策略xk＝{xk，i|xk，i∈[0，1]，i＝1，...，n}的奖励值：

式(1)中xk,i为第i个用户的任务卸载策略(0代表本地执行，1代表卸载到mec服务器执行)，τi为第i个用户的数据传输时间(如果xi＝0，则τi＝0)，a为移动边缘端给用户设备进行充电的能量传输时间，wi表示第i个用户的权重；

为本地计算的速率，公式为：

式(2)中∈为本地计算常数，ki为计算能耗效率系数，hi为移动边缘端与第i个用户之间的信道增益；

为数据传输速率，公式为：

式(3)中μ为能量收集效率，p为传输功率，n为接收机噪声功率，b是通信带宽，u为通信开销；

由于公式中，τi和α取决于xi，所以一旦求解出xi后，可以根据下式求解最佳的τi*和α*：

式(7)～(8)中，m1是卸载动作中选择卸载到mec上任务的个数，ub和lb分别是卸载矩阵的上下限，为ν*的函数，公式为：

式(9)中，w(x)表示lambert-w函数，exp表示e为底的指数函数，

步骤六、根据下式选择最佳的卸载动作

并将{h,}作为样本添加到dnn的样本库中；其中样本库采用有限的存储器，当存储空间已满，则采用先入先出的淘汰方法将早期样本淘汰；

步骤七、针对新的样本库，采用梯度下降法对dnn进行训练，训练的目标函数为：

式(5)中，s为本次训练被选出的样本集合，|s|表示集合的势；

步骤八、检查算法是否收敛，如果为是，则输出当前的dnn用于实时的任务卸载决策，如果为否，则转至步骤三，通过不断更新存储器中的样本来促使算法收敛；

利用上述算法，结合移动边缘计算层，移动终端可以将密集的虚拟现实计算卸载到附近的mec服务器，以减少计算延迟和能耗。

本发明的方法显著提高了虚拟现实数据在移动虚拟现实设备处理时的计算效率，降低了时延，同时无需考虑移动端的能耗，极大地提高了用户在交际模拟学习时的学习体验。