基于云渲染的大空间AR内容生成方法和系统与流程

本申请涉及增强现实(augmented reality，简称ar)领域，特别是涉及基于云渲染的大空间ar内容生成方法、系统、电子设备和存储介质。

背景技术：

1、随着元宇宙概念的兴起，人们对ar的需求也日益增长，ar体验越来越不再局限于小范围内(如桌面级交互，ar看房等)，能带给用户更加一体化体验的沉浸式大空间ar互动，逐渐变得流行起来。

2、大空间ar应用场景范围广，渲染内容丰富，便携式ar设备运算能力受硬件架构限制，在对大空间进行3d渲染时，不可避免会与定位算法模块抢夺计算资源，这不仅会导致定位算法的精准度降低，也会导致得到的渲染画面质量低。

3、与此同时，各种ar设备的品牌型号、设计参数、性能指标等方面参差不齐，大空间ar应用难以与各种设备完全兼容。

4、目前针对相关技术中便携式ar设备运算能力受硬件架构限制，进行大空间3d渲染时效果不佳的问题，尚未提出有效的解决方案。

技术实现思路

1、本申请实施例提供了一种基于云渲染的大空间ar内容生成方法、系统、电子设备和存储介质，以至少解决相关技术中便携式ar设备运算能力受硬件架构限制，进行大空间3d渲染时效果不佳的问题。

2、第一方面，本申请实施例提供了一种基于云渲染的大空间ar内容生成方法，所述方法包括：

3、终端设备获取用户交互信号、图像数据以及所述图像数据对应的传感器数据；

4、根据所述图像数据和所述传感器数据，确定当前帧的世界位姿；

5、将所述世界位姿和所述用户交互信号发送至云端服务器，指示所述云端服务器进行虚拟内容渲染，得到云渲染画面；

6、将所述云渲染画面与当前帧的图像叠加，得到增强现实画面。

7、在其中一些实施例中，根据所述图像数据和所述传感器数据，确定当前帧的世界位姿包括：

8、在所述当前帧为特定目标帧的情况下，通过定位服务模块确定所述当前帧的世界位姿；

9、在所述当前帧非所述特定目标帧的情况下，基于前置世界位姿确定所述当前帧的世界位姿，其中，所述前置世界位姿为上一帧的世界位姿。

10、在其中一些实施例中，在所述当前帧非所述特定目标帧的情况下，基于前置世界位姿确定所述当前帧的世界位姿包括：

11、根据所述图像数据和所述传感器数据，基于跟踪算法得到当前帧的局部空间位姿；

12、将所述局部空间位姿与所述前置世界位姿融合，得到所述当前帧的世界位姿。

13、在其中一些实施例中，根据所述传感器数据和所述图像数据，确定当前帧的世界位姿之前，所述方法还包括：

14、在所述当前帧为初始帧的情况下，将所述当前帧设置为所述特定目标帧；

15、在所述当前帧非初始帧的情况下，根据当前帧的图像采集时间戳和上一特定目标帧的图像采集时间戳，判断所述当前帧与上一特定目标帧的采集时间差是否达到预设阈值，若是，将所述当前帧设置为所述特定目标帧。

16、在其中一些实施例中，在所述当前帧为特定目标帧的情况下，通过定位服务模块确定所述当前帧的世界位姿包括：

17、通过定位服务模块，获取数字地图，

18、将所述当前帧的图像与所述数字地图匹配，确定所述当前帧的世界位姿，其中，所述数字地图为所述终端设备所在目标场景的三维地图。

19、在其中一些实施例中，根据所述图像数据和所述传感器数据，基于跟踪算法得到当前帧的局部空间位姿包括：

20、确定参考帧，并从所述参考帧的图像中提取跟踪特征；

21、将当前帧的图像特征与所述跟踪特征匹配得到目标特征对，并根据所述参考帧和所述当前帧对应的传感器数据，得到所述终端设备的位置变换量；

22、根据所述目标特征对和所述位置变换量，得到所述当前帧的局部空间位姿。

23、在其中一些实施例中，指示所述云端渲染器进行渲染，得到云渲染画面集包括：

24、指示所述云端服务器解析所述用户交互信号，得到渲染指令；

25、指示所述云端服务器根据所述世界位姿，设置渲染相机位姿；

26、指示所述云端服务器在所述渲染相机位姿下，根据所述渲染指令，进行虚拟内容渲染，生成所述云渲染画面。

27、第二方面，本申请实施例提供了一种基于云渲染的大空间ar内容生成系统，所述系统包括：数据采集模块、位姿确定模块、渲染模块、融合模块：

28、所述数据采集模块，用于获取用户交互信号、图像数据以及所述图像数据对应的传感器数据；

29、所述位姿确定模块，用于根据所述图像数据和所述传感器数据，确定当前帧的世界位姿；

30、所述渲染模块，用于将所述世界位姿和所述用户交互信号发送至云端服务器，指示所述云端服务器进行虚拟内容渲染，得到云渲染画面；

31、所述融合模块，用于将所述云渲染画面与当前帧的图像叠加，得到增强现实画面。

32、第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于云渲染的大空间ar内容生成方法。

33、第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于云渲染的大空间ar内容生成方法。

34、相比于相关技术，本申请实施例提供的基于云渲染的大空间ar内容生成方法，通过终端设备的定位模块和跟踪模块，基于传感器数据和图像数据确定当前终端设备的世界位姿，指示云端服务器根据该世界位姿和用户交互信号进行虚拟内容渲染，得到云渲染画面，进一步的，终端设备将云渲染画面和原始图像融合，生成增强现实画面。解决了便携式ar设备运算能力受硬件架构限制，进行大空间ar体验时3d渲染效果不佳且定位精准度低，以及大空间ar应用难以与各种设备兼容的问题，依托云端的海量计算资源和极致渲染性能，提高了图像渲染的质量和效率，将渲染任务转移到云端，设备端算力可以完全用于定位服务，提高了大空间环境中便携式ar设备的定位精准度，且通过定位算法和跟踪算法的结合获取世界位姿，避免了不必要的算力消耗。

技术特征：

1.一种基于云渲染的大空间ar内容生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，根据所述图像数据和所述传感器数据，确定当前帧的世界位姿包括：

3.根据权利要求2所述的方法，其特征在于，在所述当前帧非所述特定目标帧的情况下，基于前置世界位姿确定所述当前帧的世界位姿包括：

4.根据权利要求2所述的方法，其特征在于，根据所述传感器数据和所述图像数据，确定当前帧的世界位姿之前，所述方法还包括：

5.根据权利要求2所述的方法，其特征在于，在所述当前帧为所述特定目标帧的情况下，通过定位服务模块确定所述当前帧的世界位姿包括：

6.根据权利要求3所述的方法，其特征在于，根据所述图像数据和所述传感器数据，基于跟踪算法得到当前帧的局部空间位姿包括：

7.根据权利要求1所述的方法，其特征在于，指示所述云端渲染器进行渲染，得到云渲染画面集包括：

8.一种基于云渲染的大空间ar内容生成系统，其特征在于，所述系统包括：数据采集模块、位姿确定模块、渲染模块、融合模块：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于云渲染的大空间ar内容生成方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的基于云渲染的大空间ar内容生成方法。

技术总结
本申请涉及一种基于云渲染的大空间AR内容生成方法，该方法包括：终端设备通过定位模块和跟踪模块，基于传感器数据和图像数据确定当前终端设备的世界位姿，指示云端服务器根据该世界位姿和用户交互信号进行虚拟内容渲染，得到云渲染画面，进一步的，终端设备将云渲染画面和原始图像融合，生成增强现实画面。通过本申请，解决了便携式AR设备运算能力受硬件架构限制，进行大空间AR体验时3D渲染效果不佳且定位精准度低，以及大空间AR应用难以与各种设备兼容的问题，依托云端的海量计算资源和极致渲染性能，提高了图像渲染的质量和效率，将渲染任务转移到云端，设备端算力可以完全用于定位服务，提高了大空间环境中便携式AR设备的定位精准度。

技术研发人员：张少杰,徐宁浩,丛林
受保护的技术使用者：杭州易现先进科技有限公司
技术研发日：
技术公布日：2024/1/14