一种描述子确定方法、装置、设备及介质与流程

本公开涉及计算机，尤其涉及一种描述子确定方法、装置、设备及介质。

背景技术：

1、随着虚拟现实(virtual reality，vr)技术和增强现实(augmented reality)，ar)技术的不断发展，vr/ar设备日渐成熟，人们对vr/ar设备要求越来越高。vr/ar设备具有视觉定位系统(visual positioning system，vps)，而vps严重依赖图像的描述子。

2、相关技术中，vps通过采用基于深度学习的描述子，能够对复杂多变的场景有较好的鲁棒性。但是由于基于深度学习的描述子在训练时需要不断对图像做仿射变换，旋转鲁棒性不能满足需求。

技术实现思路

1、为了解决上述技术问题，本公开提供了一种描述子确定方法、装置、设备及介质。

2、本公开实施例提供了一种描述子确定方法，所述方法包括：

3、获取深度相机采集的图像帧以及所述深度相机的位置和姿态，所述图像帧包括深度图像和rgb图像；

4、基于所述深度图像以及所述深度相机的姿态进行三维平面拟合，得到点云平面；

5、基于所述深度相机的位置确定成像平面，并基于所述点云平面和所述成像平面确定角平分面；

6、基于所述rgb图像和所述角平分面确定所述图像帧的目标描述子。

7、本公开实施例还提供了一种描述子确定装置，所述装置包括：

8、获取模块，用于获取深度相机采集的图像帧以及所述深度相机的位置和姿态，所述图像帧包括深度图像和rgb图像；

9、点云平面模块，用于基于所述深度图像以及所述深度相机的姿态进行三维平面拟合，得到点云平面；

10、角平分面模块，用于基于所述深度相机的位置确定成像平面，并基于所述点云平面和所述成像平面确定角平分面；

11、确定模块，用于基于所述rgb图像和所述角平分面确定所述图像帧的目标描述子。

12、本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的描述子确定方法。

13、本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的描述子确定方法。

14、本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的描述子确定方案，获取深度相机采集的图像帧以及深度相机的位置和姿态，图像帧包括深度图像和rgb图像；基于深度图像以及深度相机的姿态进行三维平面拟合，得到点云平面；基于深度相机的位置确定成像平面，并基于点云平面和成像平面确定角平分面；基于rgb图像和角平分面确定图像帧的目标描述子。采用上述技术方案，基于深度相机的位置和姿态、深度相机采集的深度图像，可以确定一个点云平面和成像平面的角平分面，基于该角平分面和rgb图像可以确定优化后的描述子，有效提升了图像的描述子的旋转鲁棒性。

技术特征：

1.一种描述子确定方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于所述深度图像以及所述深度相机的姿态进行三维平面拟合，得到点云平面，包括：

3.根据权利要求1所述的方法，其特征在于，基于所述深度相机的位置确定成像平面，包括：

4.根据权利要求1所述的方法，其特征在于，基于所述点云平面和所述成像平面确定角平分面，包括：

5.根据权利要求1所述的方法，其特征在于，基于所述rgb图像和所述角平分面确定所述图像帧的目标描述子，包括：

6.根据权利要求1-5中任一所述的方法，其特征在于，当所述图像帧的数量为多个，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，基于各所述三维点的特征点集合以及对应的多个目标图像帧中目标深度图像，确定各所述三维点的全局点云法向量，包括：

8.根据权利要求7所述的方法，其特征在于，针对所述待处理三维点的特征点集合中的每个目标特征点，以该目标特征点在对应目标深度图像所在深度像素块作为中心访问预设数量的深度像素块，拟合得到对应局部点云法向量，包括：

9.根据权利要求6所述的方法，其特征在于，针对每个所述三维点，基于对应的多个目标图像帧的z方向与所述全局点云法向量的夹角，确定对应的最佳观测视图帧，包括：

10.根据权利要求9所述的方法，其特征在于，针对每个所述三维点，基于删除之后的目标图像帧确定最佳观测视图帧，包括：

11.一种描述子确定装置，其特征在于，包括：

12.一种电子设备，其特征在于，所述电子设备包括：

13.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-10中任一所述的描述子确定方法。

技术总结
本公开实施例涉及一种描述子确定方法、装置、设备及介质，其中该方法包括：获取深度相机采集的图像帧以及深度相机的位置和姿态，图像帧包括深度图像和RGB图像；基于深度图像以及深度相机的姿态进行三维平面拟合，得到点云平面；基于深度相机的位置确定成像平面，并基于点云平面和成像平面确定角平分面；基于RGB图像和角平分面确定图像帧的目标描述子。采用上述技术方案，基于深度相机的位置和姿态、深度相机采集的深度图像，可以确定一个点云平面和成像平面的角平分面，基于该角平分面和RGB图像可以确定优化后的描述子，有效提升了图像的描述子的旋转鲁棒性。

技术研发人员：范帝楷
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/1/22