一种确定位姿的方法、电子设备及存储介质与流程

本申请涉及终端，尤其涉及一种确定位姿的方法、电子设备及存储介质。

背景技术：

1、视觉定位技术是一种根据机器视觉完成定位任务的技术。视觉定位技术是扩展显示(extend reality，xr)领域的研究热点。目前，电子设备厂商利用电子设备图像采集装置和视觉定位服务(visual positioning service，vps)在电子设备上实现部分xr功能，比如通过增强显示(augmented reality，ar)技术进行实景导航等。

2、现有技术利用视觉定位技术进行视觉导航等xr功能时，需要将实时采集的图像与云端存储的地图进行特征匹配，匹配的精确度直接影响了定位的精确度。然而，当定位场景具有相似纹理时，比如定位场景具有相似的建筑体、正反面相似的墙壁等，实时采集的图像与云端存储的地图进行匹配时会存在误匹配问题，导致定位精度低，从而影响用户体验。

技术实现思路

1、本申请的目的在于：提供一种确定位姿的方法、电子设备以及存储介质，旨在通过提高电子设备的当前位姿估算精度，提升视觉定位的精度，提升用户体验。

2、第一方面，本申请提供了一种确定位姿的方法，应用于电子设备，所述方法包括：

3、获取与查询图像匹配的多个候选图像。其中，查询图像用于指示当前场景的图像信息；将多个候选图像按照相同对象进行聚类，得到至少一个聚类结果。以确保每一类聚类结果都包括同一对象的多个角度信息。确定与每个聚类结果对应的查询图像的特征点点对。由于聚类结果包括同一对象的多个角度信息，因此，可以从多个角度对查询图像的特征点进行匹配，匹配出查询图像的特征点点对信息。

4、确定与每个聚类结果对应的查询图像的特征点点对，特征点点对包括特征点的像素点以及投影出像素点的空间点。根据匹配出的特征点点对，计算出与每个聚类结果对应的相机位姿。当电子设备处于相似纹理时，查询图像的图像信息与每个聚类结果进行特征点匹配时，获取的特征点点对也会存在差别，如此导致与每个聚类结果对应的相机位姿存在不同。获取不同相机位姿下查询图像的实际像素点与重投影像素点的误差。其中重投像素点为实际像素点在聚类结果下匹配出空间点在该聚类结果对应的相机位姿下，重新投影到查询图像上获取的像素点。当相机位姿正确时，实际像素点对应的空间点按照相机位姿进行重新投影到查询图像，在查询图像上获取的重投影像素点与实际像素点会重合，即误差最小或几乎为0。如此，可以准确获取电子设备的当前位姿。

5、在一种可能的实现方式中，可以通过多个候选图像中每两个候选图像的对象相似度；将对象相似度超过第一预设相似度阈值的两个候选图像聚类，以得到一个聚类结果。

6、可选地，根据候选图像中相同的对象标注标签的数量，确定对象相似度。其中，对象相似度与相同的对象标注标签的数量呈正相关关系。相同对象标注标签数量越过，对象相似度越大。多个候选图像为对象标注标签标注后的图像。如此，可以直接通过相同对象标注标签的数量，直接进行聚类，降低了计算复杂度。

7、可选的，当对象标注标签为空间点实例标签，可以通过以下方式获得：

8、根据待标注图像的目标点云数据，生成多个第一提案特征向量。第一提案特征向量用于描述提案的几何信息，提案指示目标点云数据对应的每个空间点所属的实例中心点；根据多个第一提案特征向量，生成包含提案间关联关系的多个第二提案特征向量；提案间关联关系指示两个提案之间的距离小于预设距离阈值；根据多个第二提案特征向量，生成待标注图像的空间点实例标签，并对待标注图像进行离线标注。比如可以选择点云实例分割网络实现空间点实例标签标注，提高标注标签的准确度和速度。

9、在一种可能的实现方式中，可以根据多个候选图像，构建以多个候选图像为节点的无向加权图，无向加权图中节点之间的权重为节点对应的候选图像间相同对象标注标签的数量；每两个候选图像的对象相似度为候选图像对应的节点之间的权重；当无向加权图中节点之间的权重超过第一预设相似度阈值时，将节点对应的两个候选图像聚类，得到至少一个聚类结果。

10、可选的，可以对无向加权图进行分割，以使相同区域中节点之间的所述权重超过第一预设相似度阈值，且使不同区域中节点之间的权重和最小；将分割后节点对应的所述候选图像聚类，得到多个聚类结果。比如，利用ncut算法实现切割，以保证聚类结果的速度和准确度。

11、在一种可能的实现方式中，将查询图像的空间点，按照聚类结果对应的相机位姿，重新投影到查询图像上，获取重投影像素点；计算空间点对应的实际像素点与重投影像素点的距离；误差大小与距离值正相关；将距离最小的重投影像素点对应的相机位姿作为电子设备的当前位姿。

12、如果一个聚类结果与查询图像相似度越高，也即几何一致性越好，获得的相机位姿准确度越高，利用该相机位姿获取的重投影像素点与实际像素点的距离越小。同样的，选择距离最小的重投影像素点对应的相机位姿，该相机位姿对应的聚类结果与查询图像的相似度最高。即利用重投影误差，即使在定位场景具有相似纹理的情况中，电子设备也能够获取高精度的相机位姿。

13、在一种可能的实现方式中，根据查询图像中目标对象的特征点的特征描述符，从每个聚类结果的候选图像中匹配出与每个聚类结果对应的目标特征点；所示目标特征点为特征描述符在候选图像中的表示；根据与每个聚类结果对应的目标特征点，从每个聚类结果的候选图像中获取目标特征点的特征点点对。

14、可选的，根据与每个聚类结果对应的目标特征点的特征点点对，利用位姿估计算法pnp，计算与每个聚类结果对应的相机位姿。

15、在一种可能的实现方式中，根据查询图像的图像描述符，确定云端图像库中每个特征地图与查询图像的图像相似度，图像描述符用于描述图像中的目标对象；根据图像相似度，从图像库的特征地图中匹配出图像相似度大于第二预设相似度阈值的特征图像作为多个候选图像。如此可以保证获取的候选图像包括与查询图像相同或相似的多个图像。

16、第二方面，本申请提供了实现确定位姿的方法的电子设备，包括：

17、存储器和处理器，所述存储器与所述处理器耦合；

18、所述存储器存储有程序指令，当所述程序指令由所述处理器执行时，使得所述电子设备执行如第一方面任一项所述的方法。

19、第三方面，本申请提供了一种存储介质，包括：包括计算机可读指令，当所述计算机可读指令在计算设备上运行时，使得所述计算设备执行如第一方面任一项所述的方法。

技术特征：

1.一种确定位姿的方法，其特征在于，应用于电子设备，所述方法包括：

2.根据权利要求1所述方法，其特征在于，所述将所述多个候选图像按照是否具有相同对象进行聚类，得到至少一个聚类结果，包括：

3.根据权利要求2所述方法，其特征在于，所述确定所述多个候选图像中每两个所述候选图像的描述对象相似度，包括：

4.根据权利要求3所述方法，其特征在于，所述对象标注标签为空间点实例标签，所述对象标注标签标注的步骤，包括：

5.根据权利要求2所述方法，其特征在于，所述确定所述多个候选图像中每两个所述候选图像的对象相似度，包括：

6.根据权利要求5所述方法，其特征在于，所述当所述无向加权图中节点之间的权重超过第一预设相似度阈值时，将所述节点对应的两个所述候选图像聚类，得到一个聚类结果，包括：

7.根据权利要求1-6任一项所述方法，其特征在于，所述获取所述查询图像的实际像素点与重投影像素点的误差，并将误差最小的所述重投影像素点对应的所述相机位姿作为所述电子设备的当前位姿，包括：

8.根据权利要求1-7任一项所述方法，其特征在于，所述确定与每个所述聚类结果对应的所述查询图像的特征点点对，包括：

9.根据权利要求8所述方法，其特征在于，所述根据与每个所述聚类结果对应的所述特征点点对，确定与每个所述聚类结果对应的相机位姿，包括：

10.根据权利要求1-9任一项所述方法，其特征在于，所述获取与查询图像匹配的多个候选图像，包括：

11.一种电子设备，其特征在于，所述电子设备包括：

12.一种计算机可读存储介质，其特征在于，包括计算机可读指令，当所述计算机可读指令在计算设备上运行时，使得所述计算设备执行权利要求1-10任一项所述的方法。

技术总结
本申请提供了一种确定位姿的方法、电子设备及存储介质，应用在终端技术领域。该方法将与查询图像匹配的多个候选图像进行聚类，将相同对象的多个候选图像作为一类，以确保每一个聚类结果都包括同一对象的多个角度信息。确定与每个聚类结果对应的查询图像的特征点点对。根据匹配出的特征点点对，计算出与每个聚类结果对应的相机位姿。获取不同相机位姿下查询图像的实际像素点与重投影像素点的误差。用重投影像素点与实际像素点的误差表示该聚类结果下获取的相机位姿的精度，误差越小，该聚类结果对应的相机位姿精度越高。将该误差最小的重投影像素点对应的相机位姿作为电子设备的当前位姿，以提高电子设备定位的精度。

技术研发人员：赵渊,曹鹏蕊
受保护的技术使用者：荣耀终端有限公司
技术研发日：
技术公布日：2024/1/16