扩展现实的处理方法、装置及电子设备与流程

本技术涉及扩展现实技术，尤其涉及一种扩展现实的处理方法、装置、电子设备及计算机可读存储介质。

背景技术：

1、随着计算机图形与仿真技术的不断发展，产生了扩展现实(extended reality，xr)技术，扩展现实技术是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境。

2、扩展现实通常依托于扩展现实设备实现，在相关技术提供的方案中，通常是对外界场景进行实时建模，并由扩展现实设备来显示建模得到的虚拟世界。然而，由于建模需要大量算力支撑，导致通过相关技术提供的方案实现扩展现实的成本过高。

技术实现思路

1、本技术实施例提供一种扩展现实的处理方法、装置、电子设备及计算机可读存储介质，能够在保证扩展现实的交互效果的同时降低实现成本。

2、本技术实施例的技术方案是这样实现的：

3、本技术实施例提供一种扩展现实的处理方法，包括：

4、获取对外部现实场景进行多方向拍摄得到的多个现实图像；其中，所述外部现实场景表示内部现实场景之外的现实场景；所述内部现实场景表示用于作为扩展现实设备的载体的现实场景；

5、对所述多个现实图像进行图像融合处理，得到融合现实图像；

6、对所述扩展现实设备进行姿态估计处理，得到所述扩展现实设备相对于所述外部现实场景的目标姿态；

7、将所述融合现实图像以及所述目标姿态发送至所述扩展现实设备，以使所述扩展现实设备根据所述目标姿态显示所述融合现实图像。

8、通过上述方案，对外部现实场景进行多方向拍摄并进行图像融合，得到适合在扩展现实设备显示的图像，同时通过姿态估计的方式得到适合观看图像的姿态，从而在提升扩展现实交互效果的同时，降低实现成本，提升处理效率。

9、在上述方案中，所述对所述多个现实图像进行图像融合处理，得到融合现实图像，包括：

10、根据所述多个现实图像分别对应的拍摄方向，对所述多个现实图像进行排序处理；

11、对排序后的所述多个现实图像进行拼接处理，得到融合现实图像。

12、通过上述方案能够依序融合多个现实图像，提升得到的融合现实图像与外部现实场景的贴合性。

13、在上述方案中，对排序后的所述多个现实图像进行拼接处理，得到融合现实图像，包括：

14、针对排序后的所述多个现实图像执行以下处理：

15、识别每相邻两个现实图像之间的重叠区域，并对处于重叠区域的图像进行层级叠加处理；

16、将未处于重叠区域的图像、以及经过层级叠加处理得到的图像按顺序拼接为融合现实图像。

17、通过上述方案，考虑到存在重叠区域的情况，进行相应的层级叠加处理，能够有效综合多个现实图像中的信息，提升图像融合的效果。

18、在上述方案中，所述拍摄方向包括中心拍摄方向以及非中心拍摄方向；所述获取对外部现实场景进行多方向拍摄得到的多个现实图像之后，所述方法还包括：

19、以所述中心拍摄方向对应的现实图像为基准，对所述非中心拍摄方向对应的现实图像进行景深校准处理。

20、通过上述方案，以景深校准的方式提升了多个现实图像的景深之间的和谐程度，也提升了得到的融合现实图像的画面效果。

21、在上述方案中，所述对所述扩展现实设备进行姿态估计处理，得到所述扩展现实设备相对于所述外部现实场景的目标姿态，包括：

22、确定所述内部现实场景相对于所述外部现实场景的第一姿态；

23、确定所述扩展现实设备相对于所述内部现实场景的第二姿态；

24、对所述第一姿态和所述第二姿态进行姿态融合处理，得到所述扩展现实设备相对于所述外部现实场景的目标姿态。

25、通过上述方案，基于第一姿态和第二姿态进行推理，提升了计算目标姿态的准确性。

26、在上述方案中，获取对外部现实场景进行多方向拍摄得到的多个现实图像，包括：

27、获取对所述外部现实场景进行多方向拍摄得到的多个现实视频流；

28、确定所述多个现实视频流中对应同一时间戳的现实图像；

29、所述方法还包括：

30、根据所述同一时间戳与所述扩展现实设备进行时间戳同步，以使所述扩展现实设备同步显示所述融合现实图像。

31、通过上述方案，使得扩展现实设备能够进行同步显示，避免了过分的显示迟延，保证了扩展现实交互的实时性。

32、在上述方案中，所述对所述多个现实图像进行图像融合处理，得到融合现实图像之后，所述方法还包括：

33、对所述融合现实图像进行目标识别处理，得到现实目标所在的目标区域；

34、其中，所述目标区域用于显示所述现实目标对应的虚拟目标。

35、通过上述方案，同时显示实景以及虚拟目标，以便捷、有效的方式实现了混合现实，提升了交互体验。

36、本技术实施例提供一种扩展现实的处理方法，包括：

37、获取融合现实图像以及目标姿态；

38、根据所述目标姿态显示所述融合现实图像；

39、其中，所述融合现实图像是对多个现实图像进行图像融合处理得到的；所述多个现实图像是对外部现实场景进行多方向拍摄得到的；所述外部现实场景表示内部现实场景之外的现实场景；所述内部现实场景表示用于作为扩展现实设备的载体的现实场景；

40、其中，所述目标姿态是对所述扩展现实设备进行姿态估计处理得到的、所述扩展现实设备相对于所述外部现实场景的姿态。

41、通过上述方案，根据目标姿态来显示融合现实图像，能够保证与用户实际视角的一致性，加强用户在扩展现实交互过程中的代入感及沉浸感，提升扩展现实交互效果。

42、本技术实施例提供一种扩展现实的处理装置，包括：

43、图像获取模块，用于获取对外部现实场景进行多方向拍摄得到的多个现实图像；其中，所述外部现实场景表示内部现实场景之外的现实场景；所述内部现实场景表示用于作为扩展现实设备的载体的现实场景；

44、图像融合模块，用于对所述多个现实图像进行图像融合处理，得到融合现实图像；

45、姿态估计模块，用于对所述扩展现实设备进行姿态估计处理，得到所述扩展现实设备相对于所述外部现实场景的目标姿态；

46、发送模块，用于将所述融合现实图像以及所述目标姿态发送至所述扩展现实设备，以使所述扩展现实设备根据所述目标姿态显示所述融合现实图像。

47、本技术实施例提供一种扩展现实的处理装置，包括：

48、显示数据获取模块，用于获取融合现实图像以及目标姿态；

49、显示模块，用于根据所述目标姿态显示所述融合现实图像；

50、其中，所述融合现实图像是对多个现实图像进行图像融合处理得到的；所述多个现实图像是对外部现实场景进行多方向拍摄得到的；所述外部现实场景表示内部现实场景之外的现实场景；所述内部现实场景表示用于作为扩展现实设备的载体的现实场景；

51、其中，所述目标姿态是对所述扩展现实设备进行姿态估计处理得到的、所述扩展现实设备相对于所述外部现实场景的姿态。

52、本技术实施例提供一种电子设备，包括：

53、存储器，用于存储可执行指令；

54、处理器，用于执行所述存储器中存储的可执行指令时，实现本技术实施例提供的扩展现实的处理方法。

55、本技术实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本技术实施例提供的扩展现实的处理方法。

56、本技术实施例提供了一种计算机程序产品，该计算机程序产品包括可执行指令，用于引起处理器执行时，实现本技术实施例提供的扩展现实的处理方法。