动态增强的现实覆盖显示的制作方法

本申请涉及人工智能领域，并且更具体地，涉及使用人工智能技术生成显示覆盖的领域。

背景技术：

1、本节中描述的方法是能够致力于的方法，但不一定是先前已经设想或致力于的方法。因此，除非另有说明，否则不应假设本节中描述的任何方法仅由于其包含在本节中而被称为现有技术。

2、增强现实能够用于在环境的视频馈送上提供视觉覆盖显示。能够以这种方式传达大量信息，并提供增强的用户体验。例如，能够向用户呈现现实世界中的环境的视频馈送，其中，多个增强现实图标和指示符被覆盖在视频馈送上以增强用户对视频馈送中描绘的环境的体验。导航指南、兴趣点图标和文本串能够让用户知道去哪里以及环境中存在什么业务和服务。能够考虑到元素相对于用户的有利点的位置来完成ar元素在图像中的放置。在一些应用中，基于中间对象是否位于用户和ar元素之间、ar元素是否作为环境中的物理对象存在，能够部分地或完全地阻挡ar元素。这为用户提供了ar元素的更逼真的外观。检测中间对象并遮蔽相关ar元素的现有技术能够是不准确的和/或可能重新发送被遮蔽或部分被遮蔽的ar元素的不完整或不准确的渲染。因此，需要改进的系统和方法来增强ar元素的放置，并且更稳健地考虑中间对象。

技术实现思路

1、本公开的一个方面涉及一种方法，该方法包括：接收用户的环境的视频流，所述视频流包括多个图像帧，所述多个图像帧中的每个图像帧包括环境点到该图像帧的一个或多个像素中的投影；生成所述视频流中的图像帧的深度图，其中所述深度图包括图像像素和像素距离，每个像素距离指示与一个或多个图像像素相对应的环境点距所述用户的距离；确定所述环境中的虚拟现实图标的图标位置，所述虚拟现实图标包括多个图标点；基于所述多个图标点到所述图像帧中的图标像素中的投影，确定所述图像帧中的所述虚拟现实图标的图标像素坐标；确定所述环境中所述多个图标点距所述用户的图标距离；至少部分地基于所述图标像素坐标、所述图标距离和所述深度图，检测所述环境中所述用户和所述图标位置之间的中间对象的潜在存在；至少部分地基于所述深度图和一个或多个对象信息模型的输出来确定所述中间对象的中间对象像素；确定所述虚拟现实图标中与所述中间对象像素重叠的图标像素；以及生成所述虚拟现实图标，其中重叠的图标像素被擦除。

2、本公开的另一个方面涉及一种存储可执行程序指令的非暂时性计算机可读存储介质，所述可执行程序指令在由一个或多个计算设备执行时，配置所述一个或多个计算设备以执行以下操作：接收用户的环境的视频流，所述视频流包括多个图像帧，所述多个图像帧中的每个图像帧包括环境点到该图像帧的一个或多个像素中的投影；生成所述视频流中的图像帧的深度图，其中所述深度图包括图像像素和像素距离，每个像素距离指示与一个或多个图像像素相对应的环境点距所述用户的距离；确定所述环境中的虚拟现实图标的图标位置，所述虚拟现实图标包括多个图标点；基于所述多个图标点到所述图像帧中的图标像素中的投影，确定所述图像帧中的所述虚拟现实图标的图标像素坐标；确定所述环境中所述多个图标点距所述用户的图标距离；至少部分地基于所述图标像素坐标、所述图标距离和所述深度图，检测所述环境中所述用户和所述图标位置之间的中间对象的潜在存在；至少部分地基于所述深度图和一个或多个对象信息模型的输出来确定所述中间对象的中间对象像素；确定所述虚拟现实图标中与所述中间对象像素重叠的图标像素；以及生成所述虚拟现实图标，其中重叠的图标像素被擦除。

3、本公开的再一个方面涉及一种系统，该系统包括一个或多个处理器以及存储指令的计算机可读存储介质，所述指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行以下操作：接收用户的环境的视频流，所述视频流包括多个图像帧，所述多个图像帧中的每个图像帧包括环境点到该图像帧的一个或多个像素中的投影；生成所述视频流中的图像帧的深度图，其中所述深度图包括图像像素和像素距离，每个像素距离指示与一个或多个图像像素相对应的环境点距所述用户的距离；确定所述环境中的虚拟现实图标的图标位置，所述虚拟现实图标包括多个图标点；基于所述多个图标点到所述图像帧中的图标像素中的投影，确定所述图像帧中的所述虚拟现实图标的图标像素坐标；确定所述环境中所述多个图标点距所述用户的图标距离；至少部分地基于所述图标像素坐标、所述图标距离和所述深度图，检测所述环境中所述用户和所述图标位置之间的中间对象的潜在存在；至少部分地基于所述深度图和一个或多个对象信息模型的输出来确定所述中间对象的中间对象像素；确定所述虚拟现实图标中与所述中间对象像素重叠的图标像素；以及生成所述虚拟现实图标，其中重叠的图标像素被擦除。

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，其中，检测中间对象的潜在存在包括：

3.根据权利要求1所述的方法，其中，所述一个或多个对象信息模型包括人工智能模型，所述人工智能模型包括语义分割模型和对象检测模型。

4.根据权利要求1所述的方法，其中，确定所述中间对象的中间对象像素包括：

5.根据权利要求1所述的方法，其中，确定所述中间对象的中间对象像素包括：

6.根据权利要求1所述的方法，进一步包括：

7.根据权利要求1所述的方法，进一步包括：

8.一种存储可执行程序指令的非暂时性计算机可读存储介质，所述可执行程序指令在由一个或多个计算设备执行时，配置所述一个或多个计算设备以执行操作，所述操作包括：

9.根据权利要求8所述的非暂时性计算机可读存储介质，其中，检测中间对象的潜在存在包括：

10.根据权利要求8所述的非暂时性计算机可读存储介质，其中，所述一个或多个对象信息模型包括人工智能模型，所述人工智能模型包括语义分割模型和对象检测模型。

11.根据权利要求8所述的非暂时性计算机可读存储介质，其中，确定所述中间对象的中间对象像素包括：

12.根据权利要求8所述的非暂时性计算机可读存储介质，其中，确定所述中间对象的中间对象像素包括：

13.根据权利要求8所述的非暂时性计算机可读存储介质，其中，所述操作进一步包括：

14.根据权利要求8所述的非暂时性计算机可读存储介质，其中，所述操作进一步包括：

15.一种系统，所述系统包括一个或多个处理器以及存储指令的计算机可读存储介质，所述指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：

16.根据权利要求15所述的系统，其中，检测中间对象的潜在存在包括：

17.根据权利要求15所述的系统，其中，所述一个或多个对象信息模型包括人工智能模型，所述人工智能模型包括语义分割模型和对象检测模型。

18.根据权利要求15所述的系统，其中，确定所述中间对象的中间对象像素包括：

19.根据权利要求15所述的系统，其中，确定所述中间对象的中间对象像素包括：

20.根据权利要求15所述的系统，其中，所述操作进一步包括：

技术总结
本公开涉及动态增强的现实覆盖显示。当生成AR显示覆盖时，能够使用三维遮挡。深度信息能够被用来基于观看者和AR元素之间的中间对象来删除部分AR元素。在深度信息没有赋予中间对象的完整图片的情况下，能够使用附加的图像处理和对象检测系统和技术来进一步改进遮挡的精确度。

技术研发人员：蔡易轩,余正平,梅维克托·特兰
受保护的技术使用者：谷歌有限责任公司
技术研发日：
技术公布日：2024/1/14