基于三维空间的感知预测方法、装置、介质和设备与流程

本公开涉及计算机视觉技术，尤其是一种基于三维空间的感知预测方法、装置、计算机可读存储介质和电子设备。

背景技术：

1、3d感知与场景理解是指计算机系统通过感知和理解环境中的三维信息，从而能够对场景进行准确的识别和理解。随着计算机视觉和深度学习的发展，3d感知与场景理解在图像处理、智能交通、机器人等领域有着广泛的应用。在计算机视觉领域，3d感知与场景理解是指通过从图像或视频中提取出的三维信息来理解和推断场景中的几何结构和语义信息。

2、但目前基于3d感知与场景理解对图像进行处理时，只能对固定尺寸的空间进行识别预测，在识别预测推理时缺乏灵活性，从而降低识别效率。

技术实现思路

1、为了解决上述技术问题，本公开的实施例提供了一种基于三维空间的感知预测方法、装置、介质和设备。

2、根据本公开实施例的一个方面，提供了一种基于三维空间的感知预测方法，包括：

3、获取目标场景多视角对应的多个图像，基于所述多视角对应的多个图像得到二维图像特征；

4、基于预设维度，对所述目标场景中预设大小的三维空间区域进行第一次采样和至少一次第二次采样，得到第一采样点向量和至少一个第二采样点向量；其中，所述第一采样点向量和至少一个所述第二采样点向量的维度为所述预设维度；

5、基于所述二维图像特征、所述第一采样点向量和至少一个所述第二采样点向量，确定所述目标场景中三维空间区域内的感知预测结果。

6、根据本公开实施例的另一方面，提供了一种基于三维空间的感知预测装置，包括：

7、图像特征提取模块，用于获取目标场景多视角对应的多个图像，基于所述多视角对应的多个图像得到二维图像特征；

8、区域采样模块，用于基于预设维度，对所述目标场景中预设大小的三维空间区域进行第一次采样和至少一次第二次采样，得到第一采样点向量和至少一个第二采样点向量；其中，所述第一采样点向量和至少一个所述第二采样点向量的维度为所述预设维度；

9、网格预测模块，用于基于所述二维图像特征、所述第一采样点向量和至少一个所述第二采样点向量，确定所述目标场景中三维空间区域内的感知预测结果。

10、根据本公开实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的基于三维空间的感知预测方法。

11、根据本公开实施例的还一方面，提供了一种电子设备，所述电子设备包括：

12、处理器；

13、用于存储所述处理器可执行指令的存储器；

14、所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一实施例所述的基于三维空间的感知预测方法。

15、基于本公开实施例提供的基于三维空间的感知预测方法、装置、介质和设备。本公开实施例通过采集目标场景多视角对应的图像，得到对应的二维图像特征，在目标场景中预设大小的三维空间区域进行多次采样得到对应的采样向量，基于二维图像特征和采样向量确定目标场景中预设大小的三维空间区域的预测信息，其中，三维空间区域的大小可根据关注的区域点进行设置。因此，本公开中基于用户关注的区域来进行对应区域的感知预测，从而增加信息感知预测的灵活性，并提高了三维空间区域内感知预测的效率。

16、下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

技术特征：

1.一种基于三维空间的感知预测方法，包括：

2.根据权利要求1所述的方法，所述基于预设维度，对所述目标场景中预设大小的三维空间区域进行第一次采样和至少一次第二次采样，得到第一采样点向量和至少一个第二采样点向量，包括：

3.根据权利要求2所述的方法，其中，所述基于所述预设维度对所述目标场景中三维空间区域进行第一次采样和至少一次第二次采样，得到第一采样点组和至少一个第二采样点组，包括：

4.根据权利要求2所述的方法，其中，所述分别对所述第一采样点组和至少一个所述第二采样点组进行编码，得到所述第一采样点向量和至少一个所述第二采样点向量，包括：

5.根据权利要求1-4任一所述的方法，其中，所述基于所述二维图像特征、所述第一采样点向量和至少一个所述第二采样点向量，确定所述目标场景中三维空间区域内的感知预测结果，包括：

6.根据权利要求5所述的方法，其中，所述解码器包括第一空间交叉注意力模块和至少一个第二空间交叉注意力模块；

7.根据权利要求6所述的方法，其中，所述利用所述第一空间交叉注意力模块，基于所述初始化点查询向量、所述第一采样点向量和所述二维图像特征，确定更新点查询向量，包括：

8.一种基于三维空间的感知预测装置，包括：

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的基于三维空间的感知预测方法。

10.一种电子设备，所述电子设备包括：

技术总结
本公开实施例公开了一种基于三维空间的感知预测方法、装置、介质和设备，其中，方法包括：获取目标场景多视角对应的多个图像，基于所述多视角对应的多个图像得到二维图像特征；基于预设维度，对所述目标场景中预设大小的三维空间区域进行第一次采样和至少一次第二次采样，得到第一采样点向量和至少一个第二采样点向量；其中，所述第一采样点向量和至少一个所述第二采样点向量的维度为所述预设维度；基于所述二维图像特征、所述第一采样点向量和至少一个所述第二采样点向量，确定目标场景中三维空间区域内的感知预测结果。本公开实施例基于用户关注的区域来进行对应区域的感知预测，从而增加信息感知预测的灵活性。

技术研发人员：石以昂,张骞
受保护的技术使用者：北京地平线机器人技术研发有限公司
技术研发日：
技术公布日：2024/9/2