融合视觉和超宽带技术的机器人导航方法、装置和设备与流程

本申请涉及移动机器人，特别是涉及一种融合视觉和超宽带技术的机器人导航方法、装置、计算机设备以及存储介质。

背景技术：

1、随着室内移动机器人在家居、餐厅、商场和工厂等场景中的广泛应用，基于视觉的移动机器人定位导航技术已成为研究热点，其中，基于视觉的同步定位与地图构建(simultaneous localization and mapping，slam)技术是最具代表性的技术之一。

2、目前主流的视觉slam技术需要在离线构建的、与世界坐标匹配的视觉地图的基础上才能实现机器人到给定世界坐标系下目标点的导航，这使得移动机器人难以在陌生环境直接开始点对点的导航。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够在线生成视觉地图，提高机器人室内定位精度并精确导航至给定目标位置的融合视觉和超宽带技术的机器人导航方法、装置、计算机设备以及存储介质。

2、第一方面，本申请提供了一种融合视觉和超宽带技术的机器人导航方法。

3、所述方法包括：

4、实时获取机器人在视觉坐标系的第一位姿以及在超宽带坐标系的第二位姿；

5、获取所述视觉坐标系与所述超宽带坐标系的第一转换关系，基于所述第一转换关系，将所述第二位姿转换到所述视觉坐标系中，得到第三位姿；

6、确定所述第一位姿以及所述第三位姿的位姿差异，将所述位姿差异与设定阈值进行比较，得到比较结果；

7、基于所述比较结果，更新所述机器人在所述视觉坐标系下移动到目标位置的移动路线。

8、在其中一个实施例中，所述获取机器人在超宽带坐标系的第二位姿包括：

9、获取所述机器人在所述超宽带坐标系下的至少两个uwb标签的标签位置；所述uwb标签搭载在所述机器人上；

10、基于所述至少两个uwb标签的标签位置以及水平面约束，获取所述机器人在所述超宽带坐标系下的第二位姿。

11、在其中一个实施例中，所述基于所述至少两个uwb标签的标签位置以及水平面约束，获取所述机器人在所述超宽带坐标系下的第二位姿包括：

12、获取所述uwb标签的测量残差以及先验残差，确定所述测量残差以及所述先验残差的和的最小值，得到所述uwb标签的标签位置；

13、根据所述标签位置，利用水平面约束，求得所述机器人在所述超宽带坐标系下的第二位姿。

14、在其中一个实施例中，所述获取所述视觉坐标系与所述超宽带坐标系的第一转换关系，基于所述第一转换关系，将所述第二位姿转换到所述视觉坐标系中，得到第三位姿包括：

15、判断所述视觉坐标系与所述超宽带坐标系是否存在第一转换关系；

16、若是，则获取所述第一转换关系；若否，则获取初始化单位矩阵，将所述初始化单位矩阵作为所述第一转换关系；

17、基于所述第一转换关系，将所述第二位姿转换到所述视觉坐标系下，得到所述第三位姿。

18、在其中一个实施例中，所述确定所述第一位姿以及所述第三位姿的位姿差异，将所述位姿差异与设定阈值进行比较，得到比较结果包括：

19、获取所述第三位姿与所述第一位姿之间的位姿差异，将所述位姿差异与设定阈值进行比较；

20、若所述位姿差异大于所述设定阈值，则计算所述第一转换关系的估计值，基于所述估计值对所述第一转换关系进行更新，得到第二转换关系；所述第二转换关系用于将所述机器人在所述超宽带坐标系中的所述第二位姿转换到所述视觉坐标系中；

21、若所述位姿差异小于等于所述设定阈值，则基于所述第一位姿以及所述第三位姿，更新所述机器人在所述视觉坐标系下移动到目标位置的移动路线。

22、在其中一个实施例中，所述基于所述比较结果更新所述机器人在所述视觉坐标系下移动到目标位置的移动路线包括：

23、若所述位姿差异大于所述设定阈值，则基于所述第二转换关系，将所述第二位姿转换到所述视觉坐标系，得到更新的第三位姿，并基于所述第一位姿以及所述更新的第三位姿，利用rrt*算法，实时更新所述机器人在所述视觉坐标系下移动到目标位置的移动路线；

24、若所述位姿差异小于等于所述设定阈值，则基于所述第一位姿以及所述第三位姿，利用rrt*算法，实时更新所述机器人在所述视觉坐标系下移动到目标位置的移动路线。

25、在其中一个实施例中，所述方法还包括：

26、基于词袋模型持续构建图像数据库，所述图像数据库存储有所述第一位姿所对应的关键帧图像以及历史闭环图像；所述历史闭环图像中包含所述机器人在视觉坐标系下的第四位姿；

27、获取所述第一位姿与所述第四位姿的闭环位姿差异；

28、当所述闭环位姿差异小于等于设定的闭环差异阈值时，对所述第一位姿所对应的关键帧图像进行后端图优化处理。

29、第二方面，本申请还提供了一种融合视觉和超宽带技术的机器人导航装置。所述装置包括：

30、位姿获取模块，用于实时获取机器人在视觉坐标系的第一位姿以及在超宽带坐标系的第二位姿；

31、位姿转换模块，用于获取所述视觉坐标系与所述超宽带坐标系的第一转换关系，基于所述第一转换关系，将所述第二位姿转换到所述视觉坐标系中，得到第三位姿；

32、差异比较模块，用于确定所述第一位姿以及所述第三位姿的位姿差异，将所述位姿差异与设定阈值进行比较，得到比较结果；

33、路线更新模块，用于基于所述比较结果，更新所述机器人在所述视觉坐标系下移动到目标位置的移动路线。

34、第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面的内容。

35、第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的内容。

36、上述融合视觉和超宽带技术的机器人导航方法、装置、计算机设备以及存储介质，通过实时获取机器人在视觉坐标系的第一位姿以及在超宽带坐标系的第二位姿；获取所述视觉坐标系与所述超宽带坐标系的第一转换关系，基于所述第一转换关系，将所述第二位姿转换到所述视觉坐标系中，得到第三位姿；确定所述第一位姿以及所述第三位姿的位姿差异，将所述位姿差异与设定阈值进行比较，得到比较结果；基于所述比较结果，更新所述机器人在所述视觉坐标系下移动到目标位置的移动路线，无需离线建图即可实现机器人到目标位置的导航，在视觉的同步定位与地图构建上融合uwb定位信息，提高视觉的同步定位与地图构建中闭环优化的准确率，从而提高机器人室内定位和导航的精度。

技术特征：

1.一种融合视觉和超宽带技术的机器人导航方法，其特征在于，所述方法包括：

2.根据权利要求1所述的融合视觉和超宽带技术的机器人导航方法，其特征在于，所述获取机器人在超宽带坐标系的第二位姿包括：

3.根据权利要求2所述的融合视觉和超宽带技术的机器人导航方法，其特征在于，所述基于所述至少两个uwb标签的标签位置以及水平面约束，获取所述机器人在所述超宽带坐标系下的第二位姿包括：

4.根据权利要求1所述的融合视觉和超宽带技术的机器人导航方法，其特征在于，所述获取所述视觉坐标系与所述超宽带坐标系的第一转换关系，基于所述第一转换关系，将所述第二位姿转换到所述视觉坐标系中，得到第三位姿包括：

5.根据权利要求1所述的融合视觉和超宽带技术的机器人导航方法，其特征在于，所述确定所述第一位姿以及所述第三位姿的位姿差异，将所述位姿差异与设定阈值进行比较，得到比较结果包括：

6.根据权利要求5所述的融合视觉和超宽带技术的机器人导航方法，其特征在于，所述基于所述比较结果更新所述机器人在所述视觉坐标系下移动到目标位置的移动路线包括：

7.根据权利要求5所述的融合视觉和超宽带技术的机器人导航方法，其特征在于，所述方法还包括：

8.一种融合视觉和超宽带技术的机器人导航装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种融合视觉和超宽带技术的机器人导航方法、装置、计算机设备以及存储介质。所述方法包括：实时获取机器人在视觉坐标系的第一位姿以及在超宽带坐标系的第二位姿；获取视觉坐标系与超宽带坐标系的第一转换关系，将所述第二位姿转换到所述视觉坐标系中得到第三位姿；确定第一位姿以及第三位姿的位姿差异，将位姿差异与设定阈值进行比较得到比较结果；基于比较结果，更新机器人在视觉坐标系下移动到目标位置的移动路线。采用本方法无需离线建图即可实现机器人到目标位置的导航，在视觉的同步定位与地图构建上融合UWB定位信息，提高视觉的同步定位与地图构建中闭环优化的准确率，从而提高机器人室内定位和导航的精度。

技术研发人员：张泽清,宛敏红,张春龙,原崧育,周洋,潘晨,张晶
受保护的技术使用者：之江实验室
技术研发日：
技术公布日：2024/4/17