用于全向地点识别的提升语义图嵌入的制作方法

本文描述的实施例总体地涉及用于地点识别(place recognition)的方法和装置以及用于训练用于地点识别的图嵌入网络(graph embedding network)的方法和装置。

背景技术：

1、视觉地点识别包括在给定相机的当前视图的情况下确定相机的位置。地点识别是计算机视觉和机器人技术中的重要问题，并且适用于广泛的应用，包括但不限于自动驾驶和增强现实。

2、视觉地点识别的已知方法是将问题表述为图像检索任务。该方法通常涉及从捕获的图像中提取特征。然后将捕获的图像的特征与已从参考数据集中的图像中提取的特征进行比较，其中参考数据集中的每个图像都与标识地点的信息(例如gps坐标)相关联。在该方法中，通过基于提取的特征确定参考数据集中的哪个图像在视觉上与捕获的图像最相似来获得与捕获的图像相关联的地点。

3、用于地点识别的基于视觉特征的方法通常难以处理捕获的图像和参考数据集中的关联图像之间的外观变化。这些变化可能是由于照明和外观变化(例如，由于年度季节性变化)，以及捕获的图像和参考图像之间的视点变化。鉴于此，需要视觉地点识别的新的方法。

技术实现思路

技术特征：

1.一种用于地点识别的计算机实现的方法，包括：

2.根据权利要求1所述的计算机实现的方法，其中，所述图像包括多个像素，所述多个像素包括与所述第一像素簇相关联的第一组像素和与所述第二像素簇相关联的第二组像素，并且生成所述特征向量集包括：

3.根据任一前述权利要求所述的计算机实现的方法，其中，生成所述图的向量表示包括：

4.根据权利要求3所述的计算机实现的方法，其中，所述图中的所述第二节点通过所述第一边连接到所述图中的所述第一节点，并且生成所述第一节点向量包括：

5.根据权利要求4所述的计算机实现的方法，其中，生成所述第二节点和所述第一节点之间的消息包括：

6.根据权利要求5所述的计算机实现的方法，其中：

7.根据权利要求5或6所述的计算机实现的方法，其中，基于所述第一节点向量的值和所述消息来更新所述第一节点向量包括：

8.根据权利要求3至7中的任一项所述的计算机实现的方法，其中，基于所述第一节点向量与所述第二节点向量的和来生成所述查询图表示包括：

9.根据权利要求8所述的计算机实现的方法，其中，所述第五机器学习模型和所述第六机器学习模型实现行内核，使得所述最终的第一节点表示和所述最终的第二节点表示各自包括具有单列的矩阵。

10.根据权利要求8或9所述的计算机实现的方法，其中，生成所述查询图表示包括：

11.根据权利要求4所述的计算机实现的方法，其中，生成所述第一节点向量还包括：

12.根据任一前述权利要求所述的计算机实现的方法，其中，所述图像是等矩形图像。

13.根据权利要求12所述的计算机实现的方法，其中，在标识所述图像的信息中标识所述多个像素簇包括：

14.根据任一前述权利要求所述的计算机实现的方法，其中，使用局部特征聚合描述符来表示所述第一特征向量。

15.根据任一前述权利要求所述的计算机实现的方法，其中，确定与所述第一像素簇相关联的第一属性类似于与所述第二像素簇相关联的第二属性包括：

16.根据权利要求15所述的计算机实现的方法，其中，确定与所述第一像素簇相关联的第一组3维坐标包括：

17.一种包括计算机程序指令的非暂时性计算机可读介质，所述计算机程序指令在由处理器执行时，使该处理器执行任一前述权利要求所述的方法。

18.一种用于地点识别的装置，该装置被配置为：

19.根据权利要求18所述的装置，其中，所述图像包括多个像素，所述多个像素包括与所述第一像素簇相关联的第一组像素和与所述第二像素簇相关联的第二组像素，并且所述装置还被配置为，在生成所述特征向量集时：

20.根据权利要求18或19中的任一项所述的装置，其中，所述装置还被配置为，在生成所述图的向量表示时：

21.根据权利要求20所述的装置，其中，所述图中的所述第二节点通过所述第一边连接到所述图中的所述第一节点，并且所述装置还被配置为，在生成所述第一节点向量时：

22.根据权利要求21所述的装置，其中，所述装置还被配置为，在生成所述第二节点和所述第一节点之间的消息时：

23.根据权利要求22所述的装置，其中：

24.一种用于训练用于地点识别的图匹配网络的计算机实现的方法，其中所述图匹配网络包括机器学习模型，所述计算机实现的方法包括：

25.根据权利要求24所述的计算机实现的方法，其中，基于所述三联体损失来训练所述机器学习模型包括：

技术总结
用于全向地点识别的提升语义图嵌入。一种用于地点识别的计算机实现的方法，包括：获得标识第一场景的图像的信息；识别该图像中的多个像素簇；生成与像素簇相关联的特征向量集；生成场景的图；响应于确定与第一像素簇相关联的第一属性类似于与第二像素簇相关联的第二属性，在第一节点和第二节点之间添加第一边；生成图的向量表示；计算图的向量表示和与第二场景相关联的参考向量表示之间的相似性的度量；以及响应于确定相似性的度量小于阈值而确定第一场景和第二场景与同一地点相关联。

技术研发人员：张超,I·布德维提斯,S·立维奇
受保护的技术使用者：株式会社东芝
技术研发日：
技术公布日：2024/1/11