一种增强现实的方法、装置、存储介质及电子设备与流程

本说明书涉及计算机，尤其涉及一种增强现实的方法、装置、存储介质及电子设备。

背景技术：

1、增强/混合现实技术是将计算机模拟的数字化信息数据与现实场景环境无缝叠加，突破空间/时间限制，实现高沉浸、无割裂感的实时信息指引、虚实互动。其本质体现在“所见即得，所触即现”。借助此项技术，可以将借助屏幕显示/交互的信息替换成与实际环境对象强关联的三维信息，直观呈现于使用者眼前。也就意味着，使用者可以将面前的任何平面变为液晶屏幕，在任意视野空间放置任意虚拟物品（和真实物品一样摆放，甚至模拟物理属性）。打破空间虚实壁垒，直接完成虚实空间交流。即通过手势识别、深度识别、人工智能等技术，采集、理解用户意图，数字虚拟空间与真实环境之间不存在有割裂，借助使用者自身完成信息交流。

2、由于增强/混合现实的设备和系统应用还处于发展阶段，特别是针对通用应用的框架设计还没有统一的规范和方法。因此本发明从应用系统的架构、模块设计、多人协同等关键模块出发，提出一种通用的应用系统框架，可以满足未来增强/现实环境的实际应用需求。

技术实现思路

1、本说明书提供一种增强现实的方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供了一种增强现实的设备，所述设备中设有数据驱动交互界面模块、通用可扩展业务模块、识别追踪模块、多人协同模块、混合网络通信模块；

4、所述数据驱动交互界面模块，用于针对与用户进行交互的交互界面中包含的每个界面元素，在该界面元素对应的类实例化得到第一实例化对象的同时，对预先与该界面元素绑定的元素数据类进行实例化，得到第二实例化对象，并针对所述第一实例化对象中包含的每个指定变量，将该指定变量与所述第二实例化对象中包含的各指定变量中与该指定变量名称相同的指定变量相绑定，以在所述第二实例化对象中与所述第一实例化对象绑定的任意一个指定变量的值改变时，使得所述第一实例化对象中与所述任意一个指定变量相绑定的指定变量对应的界面元素在所述交互界面中的呈现进行同步改变；

5、所述通用可扩展业务模块，用于预先保存所述增强现实设备所执行的各业务对应的容器，并在执行目标业务时，调用所述目标业务对应容器中的组件，以基于调用出的组件，执行目标业务；通过预设的各个组件，创建新的待扩展业务，并管理所述待扩展业务的创建状态；

6、所述识别追踪模块，用于对所述增强现实设备采集到的图像数据进行图像识别，以确定出所述用户所处的增强现实交互场景中目标对象的位姿；

7、所述多人协同模块，用于响应数据同步指令，并向其他增强现实设备发送本地设备所产生的数据同步指令，所述数据同步指令用于对所述增强现实交互场景中的目标对象进行控制或对目标对象的状态进行更新；

8、所述混合网络通信模块，用于将所述增强现实交互场景中产生不同类型的待传输数据确定传输策略，并分别按照不同的传输策略，将各类型的待传输数据进行传输。

9、可选的，所述数据驱动交互界面模块还用于根据后端的与所述增强现实设备的显示界面中的界面元素所绑定的数据的更新情况来实时更新所述界面中的元素。

10、本说明书还提供了一种增强现实的方法，包括：

11、基于接收到的用户所发送的增强现实交互场景创建请求，创建增强现实交互场景；

12、通过为各个界面元素预设有元素变量，为各个元素数据预设有数据变量，针对每个界面元素，将该界面元素的元素变量与渲染该界面元素所需的元素数据的数据变量相绑定，实现该界面元素与该界面元素对应的元素数据的绑定，以使通过定义的指定对象类，在增强现实交互场景中对用户的交互动作所影响的界面元素以及渲染界面元素所需的元素数据进行绑定，其中，所述指定对象类包含有界面元素对应的对象类、界面元素数据对应的对象类；

13、当监测到用户执行的交互动作时，确定用户在所述增强现实设备中所要展示的增强现实交互场景，并调用所述增强现实交互场景中所需的业务场景数据以及在不同增强现实交互场景中所使用的通用数据，以在所述增强现实设备的显示界面中展示用户所要展示的虚拟界面对象，并确定出所述用户所处的增强现实交互场景中目标对象的位姿；

14、将所述位姿以及所述用户执行的交互动作所对应的同步指令发送给其他增强现实设备，以使得其他增强现实设备根据所述位姿以及同步指令来同步该增强现实设备所呈现的增强现实交互场景。

15、可选地，所述方法还包括：根据后端的与所述增强现实设备的显示界面中的界面元素所绑定的数据的更新情况来实时更新所述界面中的元素。

16、可选地，

17、确定出所述用户所处的增强现实交互场景中目标对象的位姿，具体包括：

18、采集所述增强现实场景的图像数据；

19、根据预设的识别模型识别所述目标对象在所述图像数据所表示的图像中的位姿作为初始位姿；

20、根据所述初始位姿以及所述图像数据，确定出所述用户所处的增强现实交互场景中目标对象的位姿。

21、可选地，

22、将所述位姿以及所述用户执行的交互动作所对应的同步指令发送给其他增强现实设备，具体包括：

23、确定所述位姿以及所述用户执行的交互动作所对应的同步指令在所述增强现实交互场景中所对应的场景数据；

24、将所述场景数据传输给其他增强现实设备。

25、可选地，将所述场景数据传输给其他增强现实设备，所述方法还包括：

26、获取用户所确定的数据传输策略；

27、根据所述用户所确定的数据传输策略，将所述场景数据传输给其他增强现实设备。

28、可选地，所述方法还包括：

29、获取用户发送的新增业务需求指令；

30、响应于所述新增业务需求指令，确定待扩展业务，通过指定容器，将待扩展业务实例化，根据所述实例化的待扩展业务，更新所述增强现实设备中的可执行业务。

31、本说明书提供了一种增强现实的装置，包括：

32、创建模块，用于基于接收到的用户所发送的增强现实交互场景创建请求，创建增强现实交互场景；

33、绑定模块，用于通过为各个界面元素预设有元素变量，为各个元素数据预设有数据变量，针对每个界面元素，将该界面元素的元素变量与渲染该界面元素所需的元素数据的数据变量相绑定，实现该界面元素与该界面元素对应的元素数据的绑定，以使通过定义的指定对象类，在增强现实交互场景中对用户的交互动作所影响的界面元素以及渲染界面元素所需的元素数据进行绑定，其中，所述指定对象类包含有界面元素对应的对象类、界面元素数据对应的对象类；

34、确定与展示模块，用于当监测到用户执行的交互动作时，确定用户在所述增强现实设备中所要展示的增强现实交互场景，并调用所述增强现实交互场景中所需的业务场景数据以及在不同增强现实交互场景中所使用的通用数据，以在所述增强现实设备的显示界面中展示用户所要展示的虚拟界面对象，并确定出所述用户所处的增强现实交互场景中目标对象的位姿；

35、同步模块，用于将所述位姿以及所述用户执行的交互动作所对应的同步指令发送给其他增强现实设备，以使得其他增强现实设备根据所述位姿以及同步指令来同步该增强现实设备所呈现的增强现实交互场景。

36、可选的，所述装置还包括：

37、更新模块，用于根据后端的与所述增强现实设备的显示界面中的界面元素所绑定的数据的更新情况来实时更新所述界面中的元素。

38、可选的，所述确定与展示模块具体用于，采集所述增强现实场景的图像数据；根据预设的识别模型识别所述目标对象在所述图像数据所表示的图像中的位姿作为初始位姿；根据所述初始位姿以及所述图像数据，确定出所述用户所处的增强现实交互场景中目标对象的位姿。

39、可选的，所述同步模块具体用于，确定所述位姿以及所述用户执行的交互动作所对应的同步指令在所述增强现实交互场景中所对应的场景数据；将所述场景数据传输给其他增强现实设备。

40、可选的，所述同步模块还用于，获取用户所确定的数据传输策略；根据所述用户所确定的数据传输策略，将所述场景数据传输给其他增强现实设备。

41、可选的，所述装置还包括：

42、业务拓展模块，用于获取用户发送的新增业务需求指令；响应于所述新增业务需求指令，确定待扩展业务，通过指定容器，将待扩展业务实例化，根据所述实例化的待扩展业务，更新所述增强现实设备中的可执行业务。

43、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述增强现实的方法。

44、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述增强现实的方法。

45、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

46、本说明书提供的增强现实的方法，基于接收到的用户所发送的增强现实交互场景创建请求，创建增强现实交互场景；通过为各个界面元素预设有元素变量，为各个元素数据预设有数据变量，针对每个界面元素，将该界面元素的元素变量与渲染该界面元素所需的元素数据的数据变量相绑定，实现该界面元素与该界面元素对应的元素数据的绑定，以使通过定义的指定对象类，在增强现实交互场景中对用户的交互动作所影响的界面元素以及渲染界面元素所需的元素数据进行绑定，其中，所述指定对象类包含有界面元素对应的对象类、界面元素数据对应的对象类；当监测到用户执行的交互动作时，确定用户在所述增强现实设备中所要展示的增强现实交互场景，并调用所述增强现实交互场景中所需的业务场景数据以及在不同增强现实交互场景中所使用的通用数据，以在所述增强现实设备的显示界面中展示用户所要展示的虚拟界面对象，并确定出所述用户所处的增强现实交互场景中目标对象的位姿；将所述位姿以及所述用户执行的交互动作所对应的同步指令发送给其他增强现实设备，以使得其他增强现实设备根据所述位姿以及同步指令来同步该增强现实设备所呈现的增强现实交互场景。

47、从上述方法中可以看出，通过为增强现实设备部署包含多个可以互相进行协作的模块的系统，使得使用增强现实设备的用户能够使用增强现实设备执行完成虚拟与现实的交互，并且所述用户在执行所述交互业务时所做出的操作可同步给其他用户，以使得该用户能够与其他用户共享所述虚拟与现实的交互。