一种元宇宙区域场景重建方法及系统与流程

本发明属于人工智能领域，具体地，涉及一种元宇宙区域场景重建方法及系统。

背景技术：

1、元宇宙是整合多种新技术而产生的新型虚实相融的互联网应用和社会形态，它基于扩展现实技术提供沉浸式体验，以及数字孪生技术生成现实世界的镜像，这就涉及到元宇宙场景重建。

2、当前，在元宇宙场景重建的过程中，通常是用户端向存储元宇宙场景的云端请求区域场景资源，云端将请求的区域场景资源下发，用户端接收到区域场景资源后进行区域场景重建。发明人发现，这种方式存在以下问题：1、区域场景重建的资源大，用户端下载时间长，区域场景重建延时高；2、区域场景重建在用户端进行，对用户端的计算资源要求高。因此，亟需一种元宇宙区域场景重建方法，以提高区域场景重建效率、减少用户端计算资源。

技术实现思路

1、本发明提供了一种元宇宙区域场景重建方法及系统，旨在提高区域场景重建效率、减少用户端计算资源。

2、为了实现上述目的，本发明提供了一种元宇宙区域场景重建方法，所述方法包括：

3、当接收到用户端发送的指定区域场景数据的获取请求时，边缘节点确定其本地存储空间中是否存储有所述指定区域场景数据，若确定没有，所述边缘节点向云端发送所述指定区域场景数据的获取请求；

4、所述云端在接收到所述指定区域场景数据的获取请求后，查找其本地存储空间存储的所述指定区域场景数据的压缩数据，将所述压缩数据发送给所述边缘节点；

5、所述边缘节点接收到所述压缩数据后，采用其本地存储空间存储的解压缩模型解压缩所述压缩数据，将解压缩后的数据发送给所述用户端；

6、所述用户端接收到所述解压缩后的数据后，根据所述解压缩后的数据显示所述指定区域场景。

7、可选的，所述指定区域场景数据的压缩数据的压缩过程，包括：

8、对所述指定区域场景数据执行通道分离处理，得到颜色通道数据和深度通道数据；

9、分别对颜色通道数据和深度通道数据进行下采样处理，得到下采样后的颜色通道数据和下采样后的深度通道数据；

10、将下采样后的颜色通道数据和下采样后的深度通道数据合并，得到所述指定区域场景数据的压缩数据。

11、可选的，所述分别对颜色通道数据和深度通道数据进行下采样处理，得到下采样后的颜色通道数据和下采样后的深度通道数据，包括：

12、根据所述指定区域场景数据的数据量及边云传输速率要求，确定下采样倍数n；

13、分别将所述颜色通道数据和深度通道数据划分为n个区域，求取每个区域中数据的平均值；

14、拼接所述颜色通道数据的各个区域的平均值，得到下采样后的颜色通道数据；

15、拼接所述深度通道数据的各个区域的平均值，得到下采样后的深度通道数据。

16、可选的，在所述采用其本地存储空间存储的解压缩模型解压缩所述压缩数据之前，所述方法还包括：

17、所述云端将最新解压缩模型的参数发送给所述边缘节点；

18、所述边缘节点根据所述最新解压缩模型的参数，判断其本地存储空间中存储的解压缩模型是否为最新解压缩模型；

19、若判断为否，所述边缘节点根据所述最新解压缩模型的参数，更新本地存储空间中存储的解压缩模型。

20、可选的，所述最新解压缩模型的参数的确定过程，包括：

21、所述云端对区域场景数据样本集中的每个样本执行通道分离处理，得到每个样本对应的颜色通道数据和深度通道数据；

22、根据所述颜色通道数据生成每个样本的人眼关注点热力图；

23、获取每个样本的视场角通道数据；

24、将每个样本的颜色通道数据、深度通道数据、人眼关注点热力图及视场角通道数据输入解压缩模型，得到每个样本对应的解压缩后的数据；

25、将每个样本的原始数据和解压缩后的数据输入所述解压缩模型的损失函数，得到损失值，通过最小化损失值，训练所述解压缩模型，得到最新解压缩模型的参数。

26、可选的，所述解压缩模型的损失函数的确定过程，包括：

27、将所述区域场景数据样本集中的每个样本及其解压缩后的数据输入解压缩模型的特征提取网络，得到每个样本对应的第一特征向量及每个样本解压缩后的数据对应的第二特征向量；

28、基于所述第一特征向量及第二特征向量确定第一损失函数；

29、将每个样本的人眼关注点热力图及视场角通道数据输入所述解压缩模型的特征提取网络，得到每个样本的人眼关注点热力图对应的第三特征向量，及每个样本的视场角通道数据对应的第四特征向量；

30、将所述第三特征向量输入所述解压缩模型的多层解压缩网络，得到每层解压缩网络对应的第一解压缩值，基于所述第一解压缩值确定所述解压缩模型的第二损失函数；

31、将所述第四特征向量输入所述解压缩模型的多层解压缩网络，得到每层解压缩网络对应的第二解压缩值，基于所述第二解压缩值确定所述解压缩模型的第三损失函数；

32、基于所述第一、第二、第三损失函数确定所述解压缩模型的损失函数。

33、可选的，所述第一损失函数为：

34、

35、其中，l1为第一损失函数，c为区域场景数据样本集中样本的数量，ui为第i个第一特征向量，vi为第i个第二特征向量；

36、所述第二损失函数为：

37、

38、其中，l2为第二损失函数，c为区域场景数据样本集中样本的数量，m为解压缩网络的总层数，sj为第j层解压缩网络输出的图像尺寸，f(pij)为区域场景数据样本集中第i个样本的第j层解压缩网络输出的第一解压缩值，f(qj)为第j层解压缩网络输出的c个第一解压缩值中的最小值。

39、可选的，在所述采用其本地存储空间存储的解压缩模型解压缩所述压缩数据之前，所述方法包括：

40、所述云端将所述压缩数据的标准信息摘要值发送给所述边缘节点；

41、所述边缘节点计算所述压缩数据的信息摘要值；

42、所述边缘节点比对计算得到的信息摘要值与所述标准信息摘要值是否一致，若一致，执行所述采用其本地存储空间存储的解压缩模型解压缩所述压缩数据的步骤。

43、可选的，在所述边缘节点确定其本地存储空间中是否存储有所述指定区域场景数据之前，所述方法还包括：

44、所述边缘节点获取所述指定区域场景数据的获取请求中携带的用户信息、用户端设备信息；

45、所述边缘节点判断其用户信息集中是否含有所述用户信息；

46、若是，所述边缘节点判断其归属地设备信息集中是否含有所述用户端设备信息；

47、若是，则执行所述边缘节点确定其本地存储空间中是否存储有所述指定区域场景数据的步骤。

48、本发明实施例还提供一种元宇宙区域场景重建系统，所述系统包括用户端、边缘节点及云端，其中，

49、所述边缘节点用于当接收到用户端发送的指定区域场景数据的获取请求时，确定其本地存储空间中是否存储有所述指定区域场景数据，若确定没有，向云端发送所述指定区域场景数据的获取请求；在接收到所述云端发送的压缩数据后，采用其本地存储空间存储的解压缩模型解压缩所述压缩数据，将解压缩后的数据发送给所述用户端；

50、所述云端用于在接收到所述指定区域场景数据的获取请求后，查找其本地存储空间存储的所述指定区域场景数据的压缩数据，将所述压缩数据发送给所述边缘节点；

51、所述用户端用于在接收到所述解压缩后的数据后，根据所述解压缩后的数据显示所述指定区域场景。

52、本发明实施例的方法及系统具有下列优点：

53、本发明实施例中，边缘节点在接收到用户端发送的指定区域场景数据的获取请求时，确定其本地存储空间中是否存储有所述指定区域场景数据，若确定没有，向云端发送所述指定区域场景数据的获取请求；云端在接收到所述指定区域场景数据的获取请求后，查找其本地存储空间存储的所述指定区域场景数据的压缩数据，将所述压缩数据发送给所述边缘节点；边缘节点接收到所述压缩数据后，采用其本地存储空间存储的解压缩模型解压缩所述压缩数据，将解压缩后的数据发送给所述用户端；用户端接收到所述解压缩后的数据后，根据所述解压缩后的数据显示所述指定区域场景。本方案中云端将区域场景数据的压缩数据传输给边缘节点，减少了传输数据量，提高了传输效率，解压缩、场景数据的恢复是在边缘节点完成的，减少了用户端计算资源。