增强现实设备的控制方法、计算机设备和存储介质与流程

本发明属于扩展现实，具体地讲，涉及一种增强现实设备的控制方法、计算机设备和计算机可读存储介质。

背景技术：

1、增强现实(augmentedreality，ar)技术、混合现实(mixedreality，mr)技术等扩展现实技术是一种可以创建和体验虚拟世界的计算机仿真技术，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。

2、随着增强现实技术的应用场景于越来越多，目前ar眼镜能够集成ai功能识别物体，其中物体识别的基本过程是：ar眼镜采集图像，利用图像识别技术对图像进行识别，然后可以根据图像识别得到少量的识别信息，例如物体名称等，进一步地可以将信息ar显示给用户。故而，目前的ar眼镜图像识别应用较为简单，单一图像识别向用户显示的信息量有限，甚至反馈的信息与用户需求的内容不匹配，造成信息反馈不准确，同时现有的ar眼镜在ai功能应用上的交互显示方式也比较单一。在ar眼镜应用于阅读、学习、旅行、购物等越来越多的场景下，目前的ai功能和交互方式已无法满足用户获取更多、更准确的信息的需求。

技术实现思路

1、本发明解决的技术问题是：如何使ar识物的功能应用更丰富和识别结果更加贴合用户需求。

2、本申请公开了一种增强现实设备的控制方法，所述方法包括：

3、响应于第一触发指令，调取所述增强现实设备的摄像头并在所述增强现实设备的显示区域内显示图像采集界面，其中所述图像采集界面包括图像采集框以及至少两个功能应用选项；

4、响应于第二触发指令，确定被选中的功能应用选项，基于所述被选中的功能应用选项匹配对应预设的人工智能模型；

5、响应于第三触发指令，采集显示于所述图像采集框内的目标对象的图像，并基于采集的所述目标对象的图像以及所述预设的人工智能模型获取所述目标对象的识别结果，并在所述增强现实设备的显示区域内显示目标对象的识别结果。

6、可选地，所述功能应用选项包括：物品识别、文本翻译、文本总结、文本学习和/或朗读。

7、可选地，所述响应于第三触发指令，采集显示于所述图像采集框内的目标对象的图像，还包括：

8、响应于第三触发指令，所述增强现实设备的摄像头获取所述目标对象的实时视频流，基于所述实时视频流采集所述目标对象的图像。

9、可选地，所述响应于第二触发指令，确定被选中的功能应用选项，基于所述被选中的功能应用选项匹配对应预设的人工智能模型，包括：

10、所述响应于第二触发指令，确定被选中的功能应用选项为物品识别选项，则基于所述物品识别选项匹配对应预设的人工智能模型。

11、可选地，所述预设的人工智能模型包括图像识别模型，所述基于采集的所述目标对象的图像以及所述预设的人工智能模型获取所述目标对象的识别结果，并在所述增强现实设备的显示区域内显示目标对象的识别结果包括：

12、基于采集的所述目标对象的图像提取图像特征，基于所述图像特征利用所述图像识别模型获取物品的识别结果，识别结果为所述物品的第一属性信息，并在所述增强现实设备的显示区域内显示所述物品的第一属性信息。

13、可选地，所述预设的人工智能模型包括图像识别模型和自然语言理解模型，所述基于采集的所述目标对象的图像以及所述预设的人工智能模型获取所述目标对象的识别结果，并在所述增强现实设备的显示区域内显示目标对象的识别结果包括：

14、基于采集的所述目标对象的图像提取图像特征，基于所述图像特征利用所述图像识别模型获取物品的第一属性信息；

15、基于所述第一属性信息，利用所述自然语言理解模型获取所述物品的第二属性信息；

16、在所述增强现实设备的显示区域内显示所述物品的第一属性信息和第二属性信息。

17、可选地，所述第一属性信息包括物品名称、类别、品牌和/或用途。

18、可选地，所述方法还包括：

19、接收针对所述物品的查询指令，基于所述查询指令和所述自然语言理解模型，修正显示于所述增强现实设备的显示区域内的所述物品的第一属性信息。

20、可选地，所述响应于第二触发指令，确定被选中的功能应用选项，基于所述被选中的功能应用选项匹配对应预设的人工智能模型，包括：

21、所述响应于第二触发指令，确定被选中的功能应用选项为文本翻译选项或文本总结选项或文本学习选项或朗读选项，则基于所述文本翻译选项或文本总结选项或文本学习选项或朗读选项匹配对应预设的人工智能模型。

22、可选地，所述预设的人工智能模型包括文本识别模型和自然语言理解模型，所述基于采集的所述目标对象的图像以及所述预设的人工智能模型获取所述目标对象的识别结果，并在所述增强现实设备的显示区域内显示目标对象的识别结果包括：

23、基于采集的所述目标对象的图像确定文本特征，基于所述文本特征利用所述文本识别模型获取文本的识别内容；

24、基于所述文本的识别内容，利用所述自然语言理解模型获取所述文本的文本翻译结果或文本总结结果或文本学习结果或文本朗读结果；

25、在所述增强现实设备的显示区域内显示所述文本的文本翻译结果或文本总结结果或文本学习结果或文本朗读结果。

26、本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有增强现实设备的控制程序，所述增强现实设备的控制程序被处理器执行时实现如上所述的增强现实设备的控制方法。

27、本申请还公开了一种计算机设备，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的增强现实设备的控制程序，所述增强现实设备的控制程序被处理器执行时实现如上所述的增强现实设备的控制方法。

28、本发明公开的一种增强现实设备的控制方法、计算机设备和计算可读存储介质，具有如下技术效果：

29、在增强现实设备的显示区域显示可供用户选择的多个识别功能，并显示基于人工智能模型生成的识别结果，使识别结果更能贴合用户需求。

技术特征：

1.一种增强现实设备的控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的增强现实设备的控制方法，其特征在于，所述功能应用选项包括：物品识别、文本翻译、文本总结、文本学习和/或朗读。

3.根据权利要求2所述的增强现实设备的控制方法，其特征在于，所述响应于第三触发指令，采集显示于所述图像采集框内的目标对象的图像，还包括：

4.根据权利要求3所述的增强现实设备的控制方法，其特征在于，所述响应于第二触发指令，确定被选中的功能应用选项，基于所述被选中的功能应用选项匹配对应预设的人工智能模型，包括：

5.根据权利要求4所述的增强现实设备的控制方法，其特征在于，所述预设的人工智能模型包括图像识别模型，所述基于采集的所述目标对象的图像以及所述预设的人工智能模型获取所述目标对象的识别结果，并在所述增强现实设备的显示区域内显示目标对象的识别结果包括：

6.根据权利要求4所述的增强现实设备的控制方法，其特征在于，所述预设的人工智能模型包括图像识别模型和自然语言理解模型，所述基于采集的所述目标对象的图像以及所述预设的人工智能模型获取所述目标对象的识别结果，并在所述增强现实设备的显示区域内显示目标对象的识别结果包括：

7.根据权利要求5或6所述的增强现实设备的控制方法，其特征在于，所述第一属性信息包括物品名称、类别、品牌和/或用途。

8.根据权利要求6所述的增强现实设备的控制方法，其特征在于，所述方法还包括：

9.根据权利要求3所述的增强现实设备的控制方法，其特征在于，所述响应于第二触发指令，确定被选中的功能应用选项，基于所述被选中的功能应用选项匹配对应预设的人工智能模型，包括：

10.根据权利要求9所述的增强现实设备的控制方法，其特征在于，所述预设的人工智能模型包括文本识别模型和自然语言理解模型，所述基于采集的所述目标对象的图像以及所述预设的人工智能模型获取所述目标对象的识别结果，并在所述增强现实设备的显示区域内显示目标对象的识别结果包括：

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有增强现实设备的控制程序，所述增强现实设备的控制程序被处理器执行时实现如权利要求1至10任一项所述的增强现实设备的控制方法。

12.一种计算机设备，其特征在于，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的增强现实设备的控制程序，所述增强现实设备的控制程序被处理器执行时实现权利要求1至10任一项所述的增强现实设备的控制方法。

技术总结
本发明公开了一种增强现实设备的控制方法、计算机设备和存储介质。该方法包括：响应于第一触发指令，调取增强现实设备的摄像头并在增强现实设备的显示区域内显示图像采集界面，其中图像采集界面包括图像采集框以及至少两个功能应用选项；响应于第二触发指令，确定被选中的功能应用选项，基于被选中的功能应用选项匹配对应预设的人工智能模型；响应于第三触发指令，采集显示于图像采集框内的目标对象的图像，并基于采集的目标对象的图像以及预设的人工智能模型获取目标对象的识别结果，并在增强现实设备的显示区域内显示目标对象的识别结果。该方法使得增强现实设备的识物功能应用更丰富和识别结果更加贴合用户需求。

技术研发人员：李竹
受保护的技术使用者：珠海莫界科技有限公司
技术研发日：
技术公布日：2024/2/8