一种基于在线终身记忆的同步定位与建图方法

本发明涉及机器人定位导航，尤其涉及一种基于在线终身记忆的同步定位与建图方法。

背景技术：

1、随着机器人技术的进步发展，机器人部署在无先验信息的开放世界中的情况越来越多。机器人的首要任务是执行同步定位与建图(slam)任务获取环境信息，以促进路径规划和导航。在开放世界中，slam系统需要考虑在大规模环境下长期运行。在过去时间中提出了各种slam算法，可分为传统方法和基于学习的方法。传统slam算法通常依赖于手工制作的低级特征，即主要在环境条件(如季节、天气、光照)一致的情况下运行，且大多数为静态环境。基于学习的方法在提取高级特征方面具有显著的优势，尤其是在处理复杂的视觉信息时。相对来说，深度学习模型对训练集数据的分布具有很强的依赖性，这会使模型缺乏对分布外数据的泛化能力较差。当前研究尝试放宽单一类型的数据集，利用深度神经网络的领域适应技术适应多样化环境。然而，在新环境中所学习到的知识会影响模型在先前环境中的定位精度和准确度，这种情况被称为“灾难性遗忘”。

2、在现实世界中，不同地区的环境是各不相同的，每个地点都有独特的地点识别。机器人不可能一次性收集到所有环境的数据集，并使用监督学习方式训练模型。对于增量观测，可以通过获取新环境的更多数据对模型进行调整，但当长期运行时，这种调整会引发对先前知识的灾难性遗忘。此外，环境变化可能是突然发生的，如天气和光照的变化，传统基于学习的方法可能需要很长时间才能适应环境的变化。因此，终身slam的主要挑战包括：

3、1)不同的环境条件：同一个区域会存在具有相同的基本结构，但具体特征不同的环境。

4、2)环境的多样性：机器人获取环境信息时会遇到不同的三维环境，且大多数环境是不同类型的组合。

5、3)不间断的训练：对于长期自主运行的机器人，通过不断积累新的数据集对模型进行微调，以提高新环境下的适应能力。

6、无论是适用于短期定位导航的传统的slam方法，还是缺乏领域适应能力的传统基于学习的slam方法都无法解决上述问题。针对上述问题，目前提出的cl-slam终身slam系统框架，采用了由专家和泛化器组成的双网络架构，以实现有效的领域适应和知识保留以及经验回放。但是，cl-slam没有考虑到现实情况下的有限记忆存储问题。其次，网络权重需要从泛化器转移到专家中使用，每次新数据输入时的vo估计网络权重都需要更新，网络的高频率更新会引起模型自适应能力不足。

技术实现思路

1、本发明提供一种基于在线终身记忆的同步定位与建图方法，以解决上述技术问题。

2、为解决上述技术问题，本发明提供一种基于在线终身记忆的同步定位与建图方法，包括如下步骤：

3、步骤1：在slam模型中输入数据三元组，所述数据三元组包括当前帧和前两帧的图像数据及其相应的imu数据；

4、步骤2：检测所述数据三元组的差异性，基于记忆存储区的更新机制，决定是否将此数据三元组添加到记忆存储区中；

5、步骤3：从所述记忆存储区中采样并将样本与输入的数据三元组组成整合数据；

6、步骤4：基于所述整合数据估计深度图和相机运动；

7、步骤5：计算所述slam模型的损失并通过反向传播更新网络权重；

8、步骤6：重复步骤4和5进行多次迭代；

9、步骤7：将所述slam模型的输出作为同步定位与建图的结果。

10、较佳地，所述记忆存储区包括用于存储当前环境知识的动态记忆存储区和用于长期保存和回顾以前的环境知识的静态记忆存储区。

11、较佳地，所述动态记忆存储区的大小(即动态记忆存储区中存储的数据三元组的个数)为6，所述静态记忆存储区的大小(即静态记忆存储区中存储的数据三元组的个数)为100。

12、较佳地，刷新所述动态记忆存储区中的动态记忆，并根据数据的重要性筛选新获取的图像是否需要转化为动态记忆。

13、较佳地，当加入新图像后使所述动态记忆存储区的容量超出了最大值，则基于时间跨度从所述动态记忆存储区中删除部分动态记忆。

14、较佳地，如果动态记忆刷新后，存在删除记忆，则根据差异性决定是否将该删除记忆添加到所述静态记忆存储区中。

15、较佳地，如果当前静态记忆存储区中的静态记忆数量大于最大记忆容量，则计算每个图像之间的相似度，然后移除与所有其他图像最相似的静态记忆。

16、较佳地，步骤5中，所述反向传播的步骤数为5。

17、较佳地，步骤5中，所述损失包括光度重投影损失、图像平滑度损失、速度监督损失以及参数敏感度损失。

18、较佳地，基于网络权重参数敏感度计算所述参数敏感度损失。

19、与现有技术相比，本发明提供的基于在线终身记忆的同步定位与建图方法具有如下优点：

20、1)本发明提出了一种olm-slam终身系统框架，可以不间断地了解不断变化的环境，并对变化环境进行适应；

21、2)本发明提出了网络权重参数敏感度分析的方法，加强了模型的领域自适应能力，减轻了模型参数的灾难性遗忘，提高了模型的泛化性；

22、3)本发明提出了固定大小的双记忆存储区，其中的动态记忆存储区(dms)用于存储短期记忆，静态记忆存储区(sms)用于长期记忆保留，双记忆存储区可最大限度的提高图像多样性，解决嵌入式设备存储容量有限的问题。

技术特征：

1.一种基于在线终身记忆的同步定位与建图方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于在线终身记忆的同步定位与建图方法，其特征在于，所述记忆存储区包括用于存储当前环境知识的动态记忆存储区和用于长期保存和回顾以前的环境知识的静态记忆存储区。

3.如权利要求2所述的基于在线终身记忆的同步定位与建图方法，其特征在于，所述动态记忆存储区的大小为6，所述静态记忆存储区的大小为100。

4.如权利要求2所述的基于在线终身记忆的同步定位与建图方法，其特征在于，刷新所述动态记忆存储区中的动态记忆，并根据数据的重要性筛选新获取的图像是否需要转化为动态记忆。

5.如权利要求4所述的基于在线终身记忆的同步定位与建图方法，其特征在于，当加入新图像后使所述动态记忆存储区的容量超出了最大值，则基于时间跨度从所述动态记忆存储区中删除部分动态记忆。

6.如权利要求5所述的基于在线终身记忆的同步定位与建图方法，其特征在于，如果动态记忆刷新后，存在删除记忆，则根据差异性决定是否将该删除记忆添加到所述静态记忆存储区中。

7.如权利要求6所述的基于在线终身记忆的同步定位与建图方法，其特征在于，如果当前静态记忆存储区中的静态记忆数量大于最大记忆容量，则计算每个图像之间的相似度，然后移除与所有其他图像最相似的静态记忆。

8.如权利要求1所述的基于在线终身记忆的同步定位与建图方法，其特征在于，步骤5中，所述反向传播的步骤数为5。

9.如权利要求8所述的基于在线终身记忆的同步定位与建图方法，其特征在于，步骤5中，所述损失包括光度重投影损失、图像平滑度损失、速度监督损失以及参数敏感度损失。

10.如权利要求9所述的基于在线终身记忆的同步定位与建图方法，其特征在于，基于网络权重参数敏感度计算所述参数敏感度损失。

技术总结
本发明涉及一种基于在线终身记忆的同步定位与建图方法，包括如下步骤：步骤1：在SLAM模型中输入数据三元组，数据三元组包括图像数据及其相应的IMU数据；步骤2：检测数据三元组的差异性，基于记忆存储区的更新机制，决定是否将此数据三元组添加到记忆存储区中；步骤3：从记忆存储区中采样并将样本与输入的数据三元组组成整合数据；步骤4：基于整合数据估计深度图和相机运动；步骤5：计算SLAM模型的损失并通过反向传播更新网络权重；步骤6：重复步骤4和5进行多次迭代；步骤7：将SLAM模型的输出作为同步定位与建图的结果。本发明采用无监督训练方案，可以不间断地了解不断变化的环境，并对变化环境进行适应，从而明确解决了现有SLAM模型的不足之处。

技术研发人员：沈晔湖,牛雪梅,卢灏然,蒋全胜,朱其新,李景彬,付贵忠
受保护的技术使用者：苏州科技大学
技术研发日：
技术公布日：2024/9/19