一种扩展现实设备的多模态信息展示方法和装置与流程

本申请实施例涉及扩展现实领域，具体的，涉及扩展现实设备的多模态信息展示方法、装置、电子设备及存储介质，其中，该存储介质包括计算机可读存储介质。

背景技术：

1、随着智能手机、智能手表等智能设备的普及，人们已经习惯了通过这些设备获取各种信息。扩展现实设备可以帮助人们对看到的人或场景进行识别、理解、反应，增强人们的能力。随着计算机图形技术的发展，虚拟现实(virtual reality，vr)、增强现实(augmented reality，ar)、混合现实(mixed reality，mr)等扩展现实设备逐渐应用到人们的生活中。

2、在现代社会中，人们经常需要在各种场景下与各种各样的人进行交流，交流种类包括但不限于娱乐社交、日常工作、商业谈判、约会等。在这些交流中，理解对方的真实意图、情感状态以及判断其言辞是否属实等显得尤为重要。然而，传统的沟通分析方式往往仅仅停留在表面信息的获取，难以深入挖掘对话背后的深层含义。

3、为了解决这个问题，并提供更便捷的信息展示方式，扩展现实技术应运而生。扩展现实技术通过将虚拟信息与现实世界进行融合，使用户能够在对应的实际场景中获取想要的信息。

4、然而，目前的扩展现实技术在信息展示方面仍存在一些局限性。

技术实现思路

1、本申请实施例提供了一种扩展现实设备的多模态信息展示方法、装置、电子设备以及存储介质，可以向用户展示多模态信息，提高用户决策的准确性和即时性。

2、本申请实施例提供一种扩展现实设备的多模态信息展示方法，应用于扩展现实设备，该方法包括：

3、获取目标对象的多模态数据；

4、分析所述目标对象的多模态数据，确定所述目标对象的多模态数据对应的推断结果；

5、根据所述推断结果向用户展示所述推断结果对应的所述多模态信息。

6、一种可能的实现方式中，所述确定所述目标对象的多模态数据对应的推断结果，包括：

7、根据所述目标对象的多模态数据确定所述目标对象的多维度信息；

8、根据所述目标对象的多维度信息确定所述推断结果。

9、一种可能的实现方式中，所述多模态信息包括以下一项或多项：视觉信息，听觉信息，触觉信息，或者，嗅觉信息。

10、可选地，在获取目标对象的多模态数据之前，本申请实施例提供的扩展现实设备的多模态信息展示方法还包括：

11、生成所述目标对象的第一标签；

12、根据所述第一标签多次收集和分析所述目标对象的多模态数据，生成所述第一标签对应的多个多维度信息；

13、根据所述多个多维度信息的推断结果向所述用户展示所述多个推断结果对应的综合多模态信息。

14、一种可能的实现方式中，所述视觉信息包括可视化成有质量的3d环绕表现形式的信息。

15、一种可能的实现方式中，所述听觉信息包括所述目标对象对应的提示音效。

16、一种可能的实现方式中，所述触觉信息包括马达的震动。

17、一种可能的实现方式中，所述嗅觉信息包括所述目标对象对应的气味。

18、相应的，本申请实施例还提供了一种扩展现实装置，该装置包括：

19、获取模块，用于获取目标对象的多模态数据；

20、分析模块，用于分析所述目标对象的多模态数据，确定所述目标对象的多模态数据对应的推断结果；

21、展示模块，用于根据所述推断结果向用户展示所述推断结果对应的所述多模态信息。

22、一种可能的实现方式中，所述分析模块用于确定所述目标对象的多模态数据对应的推断结果，包括：

23、所述分析模块用于根据所述目标对象的多模态数据确定所述目标对象的多维度信息；

24、所述分析模块用于根据所述目标对象的多维度信息确定所述推断结果。

25、一种可能的实现方式中，所述多模态信息包括以下一项或多项：视觉信息，听觉信息，触觉信息，或者，嗅觉信息。

26、可选地，在所述获取模块获取目标对象的多模态数据之前，本申请实施例提供的扩展现实装置还包括：

27、生成模块，用于生成所述目标对象的第一标签；

28、所述分析模块，还用于根据所述第一标签多次收集和分析所述目标对象的多模态数据，生成所述第一标签对应的多个多维度信息；

29、所述展示模块，还用于根据所述多个多维度信息的推断结果向所述用户展示所述多个推断结果对应的综合多模态信息。

30、一种可能的实现方式中，所述视觉信息包括可视化成有质量的3d环绕表现形式的信息。

31、一种可能的实现方式中，所述听觉信息包括所述目标对象对应的提示音效。

32、一种可能的实现方式中，所述触觉信息包括马达的震动。

33、一种可能的实现方式中，所述嗅觉信息包括所述目标对象对应的气味。

34、第三方面，本申请实施例还提供了一种电子设备，电子设备包括存储器、处理器及存储在存储器中并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述的扩展现实设备的多模态信息展示方法中的步骤。

35、第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的扩展现实设备的多模态信息展示方法中的步骤。

36、第五方面，本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例所述的各种可选实现方式中提供的方法。

37、本申请实施例中，扩展现实设备获取目标对象的多模态数据，对目标对象的多模态数据进行分析，获取目标对象的多模态数据对应的目标对象的多维度信息，进而，扩展现实设备根据目标对象的多维度信息的推断结果向用户展示推断结果对应的多模态信息。本申请实施例提供的扩展现实设备的多模态信息展示方法，可以向用户展示多模态信息，进而，可以提高用户决策的准确性和及时性。

技术特征：

1.一种扩展现实设备的多模态信息展示方法，其特征在于，应用于扩展现实设备，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述确定所述目标对象的多模态数据对应的推断结果，包括：

3.根据权利要求2所述的方法，其特征在于，所述多模态信息包括以下一项或多项：视觉信息，听觉信息，触觉信息，或者，嗅觉信息。

4.根据权利要求2所述的方法，其特征在于，在获取所述目标对象的多模态数据之前，所述方法还包括：

5.根据权利要求3所述的方法，其特征在于，所述视觉信息包括可视化成有质量的3d环绕表现形式的信息。

6.根据权利要求3所述的方法，其特征在于，所述听觉信息包括所述目标对象对应的提示音效。

7.根据权利要求3所述的方法，其特征在于，所述触觉信息包括马达的震动。

8.根据权利要求3所述的方法，其特征在于，所述嗅觉信息包括所述目标对象对应的气味。

9.一种扩展现实装置，其特征在于，所述装置包括：

10.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的扩展现实设备的多模态信息展示方法。

11.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的扩展现实设备的多模态信息展示方法。

技术总结
本申请实施例公开了一种扩展现实设备的多模态信息展示方法、装置、电子设备及存储介质，该方法包括：获取目标对象的多模态数据；分析所述目标对象的多模态数据，确定所述目标对象的多模态数据对应的推断结果；根据所述推断结果向用户展示所述推断结果对应的所述多模态信息。本申请实施例提供的扩展现实设备的多模态信息展示方法，可以向用户展示多模态信息，提高用户决策的准确性和即时性。

技术研发人员：李宏伟,姬晨曦,陈志业,张洁明
受保护的技术使用者：雷鸟创新技术（深圳）有限公司
技术研发日：
技术公布日：2025/1/9