视觉定位方法、装置、自移动设备及存储介质与流程

本技术涉及计算机，尤其涉及一种视觉定位方法、装置、自移动设备及存储介质。

背景技术：

1、机器人因为具有灵活移动、精确定位及连续性作业等优良特性，已经被广泛应用于生产生活中，在机器人执行的抓取、避障、物体位姿估计、导航定位等一系列任务中，对目标对象进行姿态估计或者对自身状态进行姿态估计，以完成视觉定位是十分重要的。

2、在相关技术中，一般使用人工设计的特征提取器，对目标图像做特征提取，然后将特征提取得到的特征点以相应的编码形式表达出来，然后在不同图像间进行特征点匹配，以解算出相机的位姿变换。但是，采用人工设计的特征提取器进行特征提取准确度较低，鲁棒性较差。

技术实现思路

1、本技术的多个方面提供一种视觉定位方法、装置、自移动设备及存储介质，整个视觉定位方法较为灵活，且全程无需人工参与，准确度较高，鲁棒性较好。

2、本技术实施例提供一种视觉定位方法，包括：获取图像采集设备采集的目标对象的第一图像信息，其中，所述目标对象上设有具有视觉可分辨性的目标标识；通过关键点检测模型识别所述第一图像信息中所述目标标识的第一关键点位置数据，其中，所述关键点检测模型具有识别至少一种标识的关键点位置数据的能力，所述目标标识为所述至少一种标识中的一种；根据所述目标标识的第一关键点位置数据，确定所述目标对象或所述图像采集设备的位姿信息，以完成视觉定位。

3、在一可选的实施例中，所述方法还包括：创建所述至少一种标识各自对应的三维模型；基于设定渲染条件，对所述至少一种标识各自对应的三维模型进行渲染，以得到所述至少一种标识各自对应的渲染图像；在所述至少一种标识各自对应的渲染图像中对应地标注所述至少一种标识各自对应的关键点位置数据，以标注后的渲染图像作为训练样本数据对所述关键点检测模型进行训练。

4、在一可选的实施例中，所述设定渲染条件包括多种不同渲染环境。

5、在一可选的实施例中，所述根据所述目标标识的第一关键点位置数据，确定所述目标对象或所述图像采集设备的位姿信息，以完成视觉定位，包括：获取所述目标对象处于设定位姿下所述目标标识对应的三维的第二关键点位置数据；根据所述第一关键点位置数据、所述第二关键点位置数据，以及所述图像采集设备的内参，确定所述目标对象或所述图像采集设备的位姿信息，以完成视觉定位。

6、在一可选的实施例中，所述图像信息中包含所述目标标识的深度数据；所述根据所述目标标识的第一关键点位置数据，确定所述目标对象或所述图像采集设备的位姿信息，以完成视觉定位，包括：获取所述目标对象处于设定位姿下所述目标标识对应的三维的第二关键点位置数据；根据所述深度数据、所述第一关键点位置数据，以及所述第二关键点位置数据，确定所述目标对象或所述图像采集设备的位姿信息，以完成视觉定位。

7、在一可选的实施例中，所述方法还包括：获取所述图像采集设备在采集的所述目标对象的第二图像信息；通过所述关键点检测模型识别所述第二图像信息中所述目标标识的第三关键点位置数据；根据所述第一关键点位置数据和所述第三关键点位置数据，确定所述目标对象的位姿变换数据或所述图像采集设备的位姿变换数据。

8、本技术实施例还提供一种视觉定位装置，所述装置包括：信息获取模块，用于获取图像采集设备采集的目标对象的第一图像信息，其中，所述目标对象上设有具有视觉可分辨性的目标标识；数据获取模块，用于通过关键点检测模型识别所述第一图像信息中所述目标标识的第一关键点位置数据，其中，所述关键点检测模型具有识别至少一种标识的关键点位置数据的能力，所述目标标识为所述至少一种标识中的一种；视觉定位模块，用于根据所述目标标识的第一关键点位置数据，确定所述目标对象或所述图像采集设备的位姿信息，以完成视觉定位。

9、在一种可选的实施例中，所述装置还包括：模型创建模块，用于创建所述至少一种标识各自对应的三维模型。模型渲染模块，用于基于设定渲染条件，对所述至少一种标识各自对应的三维模型进行渲染，以得到所述至少一种标识各自对应的渲染图像。数据标注模块，用于在所述至少一种标识各自对应的渲染图像中对应地标注所述至少一种标识各自对应的关键点位置数据，以标注后的渲染图像作为训练样本数据对所述关键点检测模型进行训练。

10、在一种可选的实施例中，所述设定渲染条件包括多种不同渲染环境。

11、在一种可选的实施例中，所述视觉定位模块进一步用于：获取所述目标对象处于设定位姿下所述目标标识对应的三维的第二关键点位置数据；根据所述第一关键点位置数据、所述第二关键点位置数据，以及所述图像采集设备的内参，确定所述目标对象或所述图像采集设备的位姿信息，以完成视觉定位。

12、在一种可选的实施例中，所述图像信息中包含所述目标标识的深度数据；所述视觉定位模块进一步用于：获取所述目标对象处于设定位姿下所述目标标识对应的三维的第二关键点位置数据；根据所述深度数据、所述第一关键点位置数据，以及所述第二关键点位置数据，确定所述目标对象或所述图像采集设备的位姿信息，以完成视觉定位。

13、在一种可选的实施例中，所述装置还包括：信息获取模块，用于获取所述图像采集设备在采集的所述目标对象的第二图像信息。数据识别模块，用于通过所述关键点检测模型识别所述第二图像信息中所述目标标识的第三关键点位置数据。位姿变换确定模块，用于根据所述第一关键点位置数据和所述第三关键点位置数据，确定所述目标对象的位姿变换数据或所述图像采集设备的位姿变换数据。

14、本技术实施例还提供一种自移动设备，所述自移动设备包括：设备本体、与所述设备本体电连接的图像采集设备，所述设备本体上设有一个或多个处理器、以及存储有计算机程序的一个或多个存储器；所述图像采集设备用于采集目标对象的第一图像信息，并将所述第一图像信息传至所述处理器；所述一个或多个处理器，用于执行所述计算机程序，以用于：获取图像采集设备采集的目标对象的第一图像信息，其中，所述目标对象上设有具有视觉可分辨性的目标标识；通过关键点检测模型识别所述第一图像信息中所述目标标识的第一关键点位置数据，其中，所述关键点检测模型具有识别至少一种标识的关键点位置数据的能力，所述目标标识为所述至少一种标识中的一种；根据所述目标标识的第一关键点位置数据，确定所述目标对象或所述图像采集设备的位姿信息，以完成视觉定位。

15、在一可选的实施例中，所述图像采集设备为深度相机。

16、本技术实施例还提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述视觉定位方法。

17、在本技术实施例中，通过获取图像采集设备采集的目标对象的第一图像信息，并使目标对象上设有具有视觉可分辨性的目标标识，通过关键点检测模型识别第一图像信息中目标标识的第一关键点位置数据，再根据目标标识的第一关键点位置数据，即可确定目标对象或图像采集设备的位姿信息，即本技术通过获取目标对象上目标标识的关键点位置数据，即可自动确定目标对象或图像采集设备的位姿信息，无需关注目标对象的图像特征，整个视觉定位方法较为灵活，且全程无需人工参与，准确度较高，鲁棒性较好。