基于多模态数据的重定位方法和装置与流程

本公开涉及高精地图，具体涉及基于多模态数据的重定位方法和装置。

背景技术：

1、移动机器人在地图中的定位，可以分为连续定位和重定位两种。连续定位指移动机器人在运动过程中连续进行位姿的获取和更新，往往发生在环境地图建立之后的连续位姿估计；而重定位是指机器人初始位姿的获取，一般发生在位姿估计失效/已知环境中的首次定位/或者“绑架”问题导致的机器人位置突然变化等情况下，在附近环境gps信号缺失时，机器人需要根据自身建立的地图完成全局重定位。因此，如何准确获取全局重定位信息，是当前亟需解决的问题。

技术实现思路

1、有鉴于此，本公开提供了一种基于多模态数据的重定位方法、装置、设备、存储介质及程序产品，以解决如何准确获取全局重定位信息的问题。

2、第一方面，本公开提供了一种基于多模态数据的重定位方法，方法包括：基于当前地点的多模态帧数据，生成当前帧地点表征向量，其中，多模态帧数据是多个不同模态的数据的集合，集合中不同模态的数据的时间戳之间的差值小于阈值；基于当前帧地点表征向量，从全局地图的各个局部节点地图对应的关键帧地点表征向量中，确定预设数量的预选关键帧地点表征向量；其中，局部节点地图包括一帧关键帧和关键帧前后预设数量的历史帧；获取与预设数量的预选关键帧地点表征向量分别对应的局部节点地图的历史帧地点表征向量；基于当前帧地点表征向量，从各个局部节点地图的历史帧地点表征向量中，确定目标历史帧地点表征向量；基于当前地点的多模态帧数据和目标历史帧地点表征向量对应的历史帧，生成重定位信息。

3、本技术实施例提供的基于多模态数据的重定位方法，采用当前地点的多模态帧数据生成的当前帧地点表征向量，从全局地图的各个局部节点地图对应的关键帧地点表征向量中，确定预设数量的预选关键帧地点表征向量，实现了基于不同模态的数据生成的当前帧地点表征向量，粗粒度筛选局部节点地图，由于采用了基于不同模态的数据生成的当前帧地点表征向量，提升了当前帧地点表征向量的信息含量，又由于仅对关键帧地点表征向量进行匹配，从而提升了确定重定位信息的速度，之后获取局部节点地图的历史帧地点表征向量，从各个局部节点地图的历史帧地点表征向量中，确定与当前帧地点表征向量相似的目标历史帧地点表征向量，实现了对局部节点地图内历史帧的细粒度匹配，由于采用了包括高信息含量的当前帧地点表征向量与包括不同细节信息的历史帧地点表征向量进行了匹配，提升了匹配结果的精确度，进而基于当前地点的多模态帧数据和目标历史帧地点表征向量对应的历史帧，生成重定位信息，从而实现了对当前地点的多模态帧数据的精细化匹配，提升了生成的重定位信息的速度和精确度。

4、在一种可选的实施方式中，基于当前帧地点表征向量，从全局地图的各个局部节点地图对应的关键帧地点表征向量中，确定预选关键帧地点表征向量，包括：确定当前帧地点表征向量与全局地图中各个局部节点地图对应的关键帧地点表征向量之间的第一相似度，得到第一相似度集合；从第一相似度集合中，根据数值从小到大，选取预设数量的第一相似度；将选取的第一相似度对应的关键帧地点表征向量，作为预选关键帧地点表征向量。

5、本技术实施例提供的基于多模态数据的重定位方法，基于当前帧地点表征向量与全局地图中各个局部节点地图对应的关键帧地点表征向量之间的第一相似度，按照相似度从小到大选取了对应的关键帧地点表征向量，提升了所确定的预选关键帧地点表征向量的准确度，从而提升了生成的重定位信息的准确度。

6、在一种可选的实施方式中，基于当前帧地点表征向量，从各个局部节点地图的历史帧地点表征向量中，确定目标历史帧地点表征向量，包括：确定当前帧地点表征向量与各个局部节点地图的历史帧地点表征向量序列中每个向量之间的第二相似度，得到预设数量的第二相似度集合；从每个第二相似度集合中，确定数值最大的目标第二相似度，得到预设数量的目标第二相似度；在目标第二相似度中存在大于相似度阈值的目标第二相似度时，将大于相似度阈值的目标第二相似度对应的历史帧地点表征向量，确定为目标历史帧地点表征向量。

7、本技术实施例提供的基于多模态数据的重定位方法，明确了从各个局部节点地图的历史帧地点表征向量中，确定与当前帧地点表征向量相似的目标历史帧地点表征向量的过程，提升了确定目标历史帧地点表征向量的准确性，从而提升了生成的重定位信息的准确度。

8、在一种可选的实施方式中，基于当前地点的多模态帧数据，生成当前帧地点表征向量，包括：基于当前地点的图像帧和点云帧，生成当前帧地点表征向量。

9、本技术实施例提供的基于多模态数据的重定位方法，通过明确多模态帧数据包括图像帧和点云帧，可以基于图像帧和点云帧的特性，提升所生成的当前帧地点表征向量的信息含量，之后进行后续的生成重定位信息的过程，提升了所生成的重定位信息的准确性。

10、在一种可选的实施方式中，基于当前地点的多模态帧数据，生成当前帧地点表征向量，包括：基于当前地点的图像帧、点云帧、地点表征向量、天气类别标签，生成当前帧地点表征向量；地点表征向量基于图像帧和点云帧确定；天气类别标签基于图像帧确定。

11、本技术实施例提供的基于多模态数据的重定位方法，通过明确多模态帧数据包括：图像帧、点云帧、基于图像帧和点云帧所确定的地点表征向量、基于图像帧所确定的天气类别标签，可以基于当前地点的图像帧、点云帧、地点表征向量、天气类别标签的特性，提升所生成的当前帧地点表征向量的信息含量，之后进行后续的生成重定位信息的过程，提升了所生成的重定位信息的准确性。

12、在一种可选的实施方式中，基于当前地点的多模态帧数据和目标历史帧地点表征向量对应的历史帧，生成重定位信息，包括：基于天气类别标签，确定用于重定位的目标模态帧；将目标历史帧地点表征向量对应的历史帧，添加至候选位置序列；将当前地点的多模态帧数据中的目标模态帧与候选位置序列中历史帧的目标模态帧进行匹配，确定目标模态帧的匹配结果；基于目标模态帧的匹配结果，生成重定位信息。

13、本技术实施例提供的基于多模态数据的重定位方法，在生成重定位信息时，基于天气类别标签，确定了与天气类别适配的、可以呈现更多信息细节的用于重定位的目标模态帧，再基于目标模态帧与候选位置序列中历史帧的目标模态帧的匹配结果，生成重定位信息，提升了所确定的重定位信息的准确度。

14、在一种可选的实施方式中，基于当前地点的多模态帧数据的天气类别标签，确定用于重定位的目标模态帧，包括以下至少一项：在天气类别标签指示黑夜、雨和/或雪天气时，确定点云帧作为目标模态帧；在天气类别标签指示白天、晴天和/或多云天气时，确定图像帧作为目标模态帧。

15、本技术实施例提供的基于多模态数据的重定位方法，在天气类别标签指示黑夜、雨和/或雪天气时，确定点云帧作为目标模态帧，由于点云帧相比图像帧，在黑夜、雨和/或雪天气时具有良好的穿透性，提升了目标模态帧所包含的环境信息的信息量；在天气类别标签指示白天、晴天和/或多云天气时，确定图像帧作为目标模态帧，由于图像帧相比点云帧具有更丰富的细节信息，提升了目标模态帧所包含的环境信息的信息量。

16、在一种可选的实施方式中，将当前地点的多模态帧数据中的目标模态帧与候选位置序列中历史帧的目标模态帧进行匹配，确定目标模态帧的匹配结果，包括：利用四点全等集合算法，对当前地点的多模态帧数据中的目标模态帧与候选位置序列中历史帧的目标模态帧进行初步匹配，得到位姿变换矩阵的初始矩阵；利用迭代最近点算法，基于初始矩阵，确定位姿变换矩阵的目标矩阵；在目标矩阵指示重叠率大于预定阈值时，确定当前地点的多模态帧数据中的目标模态帧与候选位置序列中历史帧的目标模态帧匹配。

17、本技术实施例提供的基于多模态数据的重定位方法，明确了将当前地点的多模态帧数据中的目标模态帧与候选位置序列中历史帧的目标模态帧分别进行粗粒度、细粒度的匹配，进而确定目标模态帧的匹配结果，提升了目标模态帧的匹配效率和匹配精度。

18、第二方面，本公开提供了一种基于多模态数据的重定位装置，装置包括：向量生成模块，用于基于当前地点的多模态帧数据，生成当前帧地点表征向量，其中，多模态帧数据是多个不同模态的数据的集合，集合中不同模态的数据的时间戳之间的差值小于阈值；第一确定模块，用于基于当前帧地点表征向量，从全局地图的各个局部节点地图对应的关键帧地点表征向量中，确定预设数量的预选关键帧地点表征向量；其中，局部节点地图包括一帧关键帧和关键帧前后预设数量的历史帧；向量获取模块，用于获取与预设数量的预选关键帧地点表征向量分别对应的局部节点地图的历史帧地点表征向量；第二确定模块，用于基于当前帧地点表征向量，从各个局部节点地图的历史帧地点表征向量中，确定目标历史帧地点表征向量；信息生成模块，用于基于当前地点的多模态帧数据和目标历史帧地点表征向量对应的历史帧，生成重定位信息。

19、第三方面，本公开提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的基于多模态数据的重定位方法。

20、第四方面，本公开提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的基于多模态数据的重定位方法。

21、第五方面，本公开提供了一种计算机程序产品，包括计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的基于多模态数据的重定位方法。