一种基于视觉语义信息的快速重定位方法及装置与流程

本发明涉及机器人及导航技术领域，特别涉及一种基于视觉语义信息的快速重定位方法及装置。

背景技术：

随着机器人相关技术的快速发展，人们对机器人的需求越来越高，特别是机器人的自主导航功能。而机器人的重定位问题已成为该领域备受关注的热点问题。

现有技术中，基于视觉传感器的导航系统，在重定位时，通常要将当前图像帧的图像特征点，分别与地图数据所有关键帧的图像特征点进行匹配，确定出匹配度大于一定阈值的目标关键帧，并根据确定出的目标关键帧，实现机器人的重定位。该方法在环境数据较大时，会使得关键帧数据库特别巨大，会造成重定位方法计算量巨大、重定位延时较大。

现有技术中，申请号为cn201810709562.1(重定位方法、设备及存储介质)的专利申请中，提供了一种基于关键帧的标签位置信息加速重定位的方法，但该方法需要其他传感器辅助获得标签位置信息，使得视觉导航系统的部署更复杂。

综上所述，现有技术存在在大场景中重定位方法计算量巨大、重定位延时较大以及需要多种传感器造成部署困难等问题。

技术实现要素：

本发明的目的是克服上述背景技术中不足，提供一种基于视觉语义信息的快速重定位方法及装置，可有效解决现有技术存在的在大场景中重定位方法计算量巨大、重定位延时较大以及需要多种传感器造成部署困难等问题。

为了达到上述的技术效果，本发明采取以下技术方案：

一种基于视觉语义信息的快速重定位方法，包括以下步骤：

a.建立关键帧数据库，其中，所述关键帧数据库用于存储获取的关键帧信息，所述关键帧信息包括关键帧的全局位置信息、特征点信息和视觉语义信息；

b.将当前帧的视觉语义信息与所有关键帧的视觉语义信息进行匹配，得到重定位候选关键帧，再将当前帧的特征点信息与重定位候选关键帧的特征点信息进行匹配，更新重定位候选关键帧；

c.在重定位候选关键帧选取一个目标关键帧，根据所述目标关键帧与当前帧的特征点信息，得到当前帧与所述目标关键帧的相对位置信息，并根据所述目标关键帧的全局位置信息，得到当前帧的全局位置信息。

进一步地，所述关键帧的所述视觉语义信息至少包括关键帧对应的视觉图像中的物体信息。

进一步地，所述步骤a中获取关键帧的视觉语义信息时，具体包括以下步骤：

s1.采集物体样本，构成物体模型训练数据库，并训练物体检测模型；

s2.根据图像帧及物体检测模型，得到视觉语义信息。

进一步地，所述关键帧的特征点信息包括关键点和描述子。

进一步地，所述步骤c中在重定位候选关键帧选取一个目标关键帧时具体是在重定位候选关键帧中，选取与当前帧特征点信息匹配度最高的作为目标关键帧。

进一步地，所述步骤c中得到当前帧与所述目标关键帧的相对位置信息时具体是采用ransac基本矩阵算法或单应矩阵或ransacpnp算法或bundleadjustment算法或icp算法，得到当前帧与目标关键帧的相对位置信息。

同时，本发明还公开了一种基于视觉语义信息的快速重定位装置，包括关键帧数据库模块、重定位候选关键帧选择模块、全局位置获取模块，所述关键帧数据库模块用于建立和维护关键帧数据库，所述关键帧数据库用于存储获取的关键帧信息，所述关键帧信息包括关键帧的全局位置信息、特征点信息和视觉语义信息；所述重定位候选关键帧选择模块将当前帧的视觉语义信息与所有关键帧的视觉语义信息进行匹配，得到重定位候选关键帧，再将当前帧的特征点信息与重定位候选关键帧的特征点信息进行匹配，更新重定位候选关键帧；所述全局位置获取模块用于在重定位候选关键帧选取一个目标关键帧，并根据所述目标关键帧与当前帧的特征点信息，得到当前帧与所述目标关键帧的相对位置信息，再根据所述目标关键帧的全局位置信息，得到当前帧的全局位置信息。

进一步地，还包括视觉语义信息获取模块，所述视觉语义信息获取模块用于获取图像帧的视觉语义信息。

进一步地，所述视觉语义信息获取模块获取图像帧的视觉语义信息时，具体方法为：先采集物体样本，构成物体模型训练数据库，并训练物体检测模型；然后根据图像帧及物体检测模型，得到视觉语义信息。

进一步地，重定位候选关键帧选择模块在重定位候选关键帧选取一个目标关键帧时具体是在重定位候选关键帧中，选取与当前帧特征点信息匹配度最高的作为目标关键帧，同时，重定位候选关键帧选择模块具体是采用ransac基本矩阵算法或单应矩阵或ransacpnp算法或bundleadjustment算法或icp算法，得到当前帧与目标关键帧的相对位置信息。

本发明与现有技术相比，具有以下的有益效果：

本发明的基于视觉语义信息的快速重定位方法及装置，仅使用单一的视觉传感器，结合视觉语义信息，在大场景重定位中，减少了重定位计算量，提升了重定位的实时性，有效解决了现有技术存在的在大场景中重定位方法计算量巨大、重定位延时较大以及需要多种传感器造成部署困难等问题。

附图说明

图1是本发明的基于视觉语义信息的快速重定位方法的示意图。

图2是本发明的基于视觉语义信息的快速重定位装置的示意图。

具体实施方式

下面结合本发明的实施例对本发明作进一步的阐述和说明。

实施例：

实施例一：

如图1所示，一种基于视觉语义信息的快速重定位方法，包括以下步骤：

步骤1.建立关键帧数据库；

其中，关键帧数据库用于存储获取的关键帧信息，关键帧信息包括关键帧的全局位置信息、特征点信息和视觉语义信息；本实施例中，关键帧的视觉语义信息至少包括关键帧对应的视觉图像中的物体信息，关键帧的特征点信息包括关键点和描述子，即关键帧的特征点信息可以为sift、surf、orb等。

作为优选，本实施例中，关键帧数据库是在slam过程中建立，因此关键帧的全局位置信息也在slam过程中获取。

具体的，获取关键帧的视觉语义信息时，具体方法为：先采集物体样本，构成物体模型训练数据库，并训练物体检测模型；然后再根据图像帧及物体检测模型，得到视觉语义信息。如本实施例中具体为：基于yolov3的目标检测与识别。

即在训练目标检测模型之前，需要准备训练样本库；根据使用场景的特点，指定待检测的目标类别，如空调、电视、洗衣机、灯具等，根据指定的目标类别进行训练样本的采集与整理，并针对机器人的相机视角进行训练样本的补充，则这些样本组成设备模型训练数据库，然后由该数据库训练得到多目标检测与识别的yolov3模型，该模型能够同时检测一副图像中不同种类的目标，并得到该目标在图像中的位置信息。因此，本发明的方法是根据使用场景的特点，指定待检测的目标类别，可以有效提升目标检测的速度。

步骤2.将当前帧的视觉语义信息与所有关键帧的视觉语义信息进行匹配，得到重定位候选关键帧，再将当前帧的特征点信息与重定位候选关键帧的特征点信息进行匹配，更新重定位候选关键帧；

具体为：将当前帧的视觉语义信息与所有关键帧的视觉语义信息进行匹配，若当前帧和某关键帧的图像中含有相同类别的物体，如都含有电视，则当前帧位置与关键帧的位置可能比较接近，因此将该关键帧作为重定位候选关键帧。

由于视觉导航中计算两帧之间的运动估计时，需要两帧间具有良好的特征点匹配，因此将当前帧与重定位候选关键帧的特征点信息进行匹配，若没达到匹配点数的阈值的关键帧，则从重定位候选关键帧删除，从而完成更新重定位候选关键帧。本方法中，这一步可以保证重定位候选关键帧的质量。

步骤3.在重定位候选关键帧选取一个目标关键帧，根据目标关键帧与当前帧的特征点信息，得到当前帧与目标关键帧的相对位置信息，并根据目标关键帧的全局位置信息，得到当前帧的全局位置信息。

具体的，选取目标关键帧的一种实现方法为：在重定位候选关键帧中，选取与当前帧特征点信息匹配度最高的作为目标关键帧。即最简单的准则就是在重定位候选关键帧中、选取与当前帧的特征点匹配数最多的作为目标关键帧；然后采用ransac基本矩阵算法或单应矩阵或ransacpnp算法或bundleadjustment算法或icp算法，得到当前帧与目标关键帧的相对位置信息，并根据目标关键帧的全局位置信息，得到当前帧的全局位置信息。

由上可知，本发明提供的基于视觉语义信息的快速重定位方法，实现时仅使用单一的视觉传感器，结合视觉语义信息，在大场景重定位中，减少了重定位计算量，提升了重定位的实时性。

实施例二

如图2所示，一种基于视觉语义信息的快速重定位装置，包括关键帧数据库模块、重定位候选关键帧选择模块、全局位置获取模块、视觉语义信息获取模块。

其中，关键帧数据库模块用于建立和维护关键帧数据库，关键帧数据库用于存储获取的关键帧信息，关键帧信息包括关键帧的全局位置信息、特征点信息和视觉语义信息。

重定位候选关键帧选择模块将当前帧的视觉语义信息与所有关键帧的视觉语义信息进行匹配，得到重定位候选关键帧，再将当前帧的特征点信息与重定位候选关键帧的特征点信息进行匹配，更新重定位候选关键帧。

作为优选，本实施例中，重定位候选关键帧选择模块在重定位候选关键帧选取一个目标关键帧时具体是在重定位候选关键帧中，选取与当前帧特征点信息匹配度最高的作为目标关键帧，同时，重定位候选关键帧选择模块具体是采用ransac基本矩阵算法或单应矩阵或ransacpnp算法或bundleadjustment算法或icp算法，得到当前帧与目标关键帧的相对位置信息。

全局位置获取模块用于在重定位候选关键帧选取一个目标关键帧，并根据目标关键帧与当前帧的特征点信息，得到当前帧与目标关键帧的相对位置信息，再根据目标关键帧的全局位置信息，得到当前帧的全局位置信息。

视觉语义信息获取模块用于获取图像帧的视觉语义信息。具体的，视觉语义信息获取模块获取图像帧的视觉语义信息时，具体方法为：先采集物体样本，构成物体模型训练数据库，并训练物体检测模型；然后根据图像帧及物体检测模型，得到视觉语义信息。

其中，上述的视觉语义信息至少包括关键帧对应的视觉图像中的物体信息，特征点信息包括关键点和描述子。

通过本实施例的基于视觉语义信息的快速重定位装置实现的一种基于粒子滤波器的快速初始定位的机器人设备中，该机器人能在任意位置、不需运动的情况下，由用户方便快捷的指定初始位置、并获取相对准确的粒子滤波器初始化参数，且经过静止状态下的粒子滤波器采样、重采样，可以实现得到更为准确的初始位置估计。

需要说明的是，本实施例中，本实施例中的各模块是逻辑意义上的，具体实现时，多个模块可以合并成一个模块或单元，一个模块也可以拆分成多个模块或单元。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，的程序可以存储于计算机可读取存储介质中，该程序在执行时，可包括如上各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。