一种基于YOLOv6算法改进的动态环境SLAM方法与流程

本发明涉及机器人，尤其是一种基于yolov6算法改进的动态环境slam方法。

背景技术：

1、随着机器人技术的发展，移动机器人的应用场合逐渐多样化和复杂化，而同步定位与建图(simultaneous localization and mapping,slam)技术是研究移动机器人如何在一个完全陌生的环境中估计自身的位姿和周围环境信息，正成为移动机器人领域一个重要的研究方向。

2、传统的视觉slam算法通过低成本的相机图像数据实现slam，技术正愈发成熟。然而现有的方法大多针对静态环境，在高动态环境中精度较低，且纯视觉算法还对光照变化和缺失纹理场合缺乏鲁棒性。

3、专利cn201911394459.3公开了一种基于yolo算法及gms特征匹配的动态场景slam方法；但是，该专利的方法只能识别像素语义。

4、专利cn202210594240.3公开了一种室内移动机器人三维语义地图构建方法，该专利的方法使用了单纯的视觉数据进行slam建图。

技术实现思路

1、针对现有技术的不足，本发明提供一种基于yolov6算法改进的动态环境slam方法，本发明具有实时性强、建图误差小、系统鲁棒性高的优点。

2、本发明的技术方案为：一种基于yolov6算法改进的动态环境slam方法，所述的方法包括追踪线程、局部建图线程、回环检测线程、语义识别线程、显示线程；其中，所述的追踪线程属于slam系统前端，对输入的rgb图像数据进行追踪得到位姿、地图点和imu预积分并筛选关键帧；

3、所述的局部建图线程进行imu初始化、对局部关键帧和地图点以及imu状态量进行视觉惯导联合ba优化；

4、所述的回环检测线程用于回环和融合区域检测并执行sim3优化、地图融合和回环矫正；

5、所述的语义识别线程用于检测图像并提取动态目标语义框；显示线程将地图和关键帧位姿进行可视化实时显示。

6、作为优选的，所述的方法具体包括以下步骤：

7、s1)、slam系统输入rgb图像数据，所述的rgb图像数据分别进入追踪线程以及语义识别线程；通过追踪线程提取orb特征点，并根据特征点対的匹配程度进行初筛；另一方面通过义识别线程进行语义框提取；

8、s2)、追踪线程与上一张关键帧进行匹配，判断当前帧是否有资格被选作关键帧，若被选作关键帧便通过语义框架将相应的特征点归为外点，送入局部建图线程队列中；

9、s3)、slam系统输入imu数据，进入追踪线程进行预积分，根据imu运动模型估计位姿；

10、s4)、局部建图线程对新的关键帧与关键帧库中匹配度强的一组关键帧进行地图点合并，根据当前激活地图的关键帧数量是否充足而进行imu初始化，最后进行ba联合优化，优化过程中剔除了orb外点，最后放入回环检测队列中；

11、s5)、回环检测线程通过检测地图点集中公共区域判断当前关键帧是否为回环或者融合帧，如果是融合帧会进行地图融合，修正当前地图所有位姿和地图点的尺度信息以及imu的预积分状态量，并且进行ba优化。

12、作为优选的，步骤s2)中，在进行语义处理时先用yolov6目标检测框架识别出画面中会运动的物体之后；在识别出来的语义区域结合深度信息将动态物体从语义区域分割出来，得到掩码图像，在掩码白色区域的点就视为orb外点。

13、作为优选的，步骤s2)中，所述的语义区域的深度范围的计算采用直方图来计数语义区域中像素的数量；将直方图的组距离设置为1800，并按深度顺序给每个组加上索引；然后对直方图按每组中的点云数进行降序排序，并按顺序将每组的数目相加，直到相加的数目之和大于总数的85％；如果添加的组的数量大于预设阈值，则认为语义区域深度不集中。

14、作为优选的，步骤s3)中，根据imu运动模型估计位姿具体如下：

15、s31)、在imu预积分计算时，从初始时刻开始，对imu的输出进行积分，得到位移和速度的估计值；

16、s32)、根据估计的速度和加速度计测量值，对姿态进行预测；

17、s33)、将imu的测量值与预测的姿态进行比较，得到残差；

18、s34)、通过最小化残差，对相机的位姿进行估计。

19、作为优选的，步骤s4)中，所述的匹配度强是指共视关系较好，即视觉特征或者地图点分布重合度高，然后这些地图点合并起来。

20、作为优选的，步骤s4)中，所述的ba联合优化是指将观测值的误差项，通过非线性优化，不断迭代的方法来减小误差，从而剔除orb外点。

21、本发明的有益效果为：

22、1、本发明具有实时性强、建图误差小、系统鲁棒性高的优点；

23、2、本发明利用yolov6目标检测算法，使得本发明具有更强的表征能力和更高效的gpu利用率，而且还具有更快的图像处理速度；不仅能够提高slam系统的实现性，更让本发明能在硬件配置较低的平台上运行，扩宽了该发明的应用范围；

24、3、本发明通过将深度信息与语义图像相结合，从而提高了图像的任务提取准确度；

25、4、本发明同时利用了视觉和imu的信息，使定位时有更多地参考，从而降低了少数不准确点的干扰，提高了系统的鲁棒性；

26、5、本发明通过回环检测线程通过检测地图点集中公共区域判断当前关键帧是否为回环或者融合帧，如果是融合帧会进行地图融合，修正当前地图所有位姿和地图点的尺度信息以及imu的预积分状态量。

技术特征：

1.一种基于yolov6算法改进的动态环境slam方法，其特征在于：所述的方法包括追踪线程、局部建图线程、回环检测线程、语义识别线程、显示线程；

2.根据权利要求1所述的一种基于yolov6算法改进的动态环境slam方法，其特征在于：slam系统输入rgb图像数据，所述的rgb图像数据分别进入追踪线程以及语义识别线程；通过追踪线程提取orb特征点，并根据特征点対的匹配程度进行初筛；另一方面通过义识别线程进行语义框提取。

3.根据权利要求2所述的一种基于yolov6算法改进的动态环境slam方法，其特征在于：所述的追踪线程与上一张关键帧进行匹配，判断当前帧是否有资格被选作关键帧，若被选作关键帧便通过语义框架将相应的特征点归为外点，送入局部建图线程队列中。

4.根据权利要求3所述的一种基于yolov6算法改进的动态环境slam方法，其特征在于：slam系统输入imu数据，进入追踪线程进行预积分，根据imu运动模型估计位姿。

5.根据权利要求4所述的一种基于yolov6算法改进的动态环境slam方法，其特征在于：局部建图线程对新的关键帧与关键帧库中匹配度强的关键帧进行地图点合并，根据当前激活地图的关键帧数量是否充足而进行imu初始化，最后进行ba联合优化，优化过程中剔除了orb外点，最后放入回环检测队列中。

6.根据权利要求5所述的一种基于yolov6算法改进的动态环境slam方法，其特征在于：回环检测线程通过检测地图点集中公共区域判断当前关键帧是否为回环或者融合帧，如果是融合帧会进行地图融合，修正当前地图所有位姿和地图点的尺度信息以及imu的预积分状态量，并且进行ba优化。

7.根据权利要求3所述的一种基于yolov6算法改进的动态环境slam方法，其特征在于：在进行语义处理时先用yolov6目标检测框架识别出画面中会运动的物体之后；在识别出来的语义区域结合深度信息将动态物体从语义区域分割出来，得到掩码图像，在掩码白色区域的点就视为orb外点。

8.根据权利要求7所述的一种基于yolov6算法改进的动态环境slam方法，其特征在于：所述的语义区域的深度范围的计算采用直方图来计数语义区域中像素的数量；将直方图的组距离设置为1800，并按深度顺序给每个组加上索引；然后对直方图按每组中的点云数进行降序排序，并按顺序将每组的数目相加，直到相加的数目之和大于总数的85％；如果添加的组的数量大于预设阈值，则认为语义区域深度不集中。

9.根据权利要求4所述的一种基于yolov6算法改进的动态环境slam方法，其特征在于：根据imu运动模型估计位姿具体如下：

10.根据权利要求5所述的一种基于yolov6算法改进的动态环境slam方法，其特征在于：所述的匹配度强是指共视关系较好，即视觉特征或者地图点分布重合度高，然后这些地图点合并起来；

技术总结
本发明提供一种基于YOLOv6算法改进的动态环境SLAM方法，所述的方法包括追踪线程、局部建图线程、回环检测线程、语义识别线程、显示线程；其中，所述的追踪线程属于SLAM系统前端，对输入的RGB图像数据进行追踪得到位姿、地图点和IMU预积分并筛选关键帧；所述的局部建图线程进行IMU初始化、对局部关键帧和地图点以及IMU状态量进行视觉惯导联合BA优化；所述的回环检测线程用于回环和融合区域检测并执行sim3优化、地图融合和回环矫正；所述的语义识别线程用于检测图像并提取动态目标语义框；所述的显示线程用于将地图和关键帧位姿进行可视化实时显示。本发明具有实时性强、建图误差小、系统鲁棒性高的优点。

技术研发人员：苏锴南,黄浩晖,杨辰光,戴诗陆
受保护的技术使用者：佛山纽欣肯智能科技有限公司
技术研发日：
技术公布日：2024/1/15