融合深度视觉约束的视觉里程计方法、装置、终端及介质与流程

本发明涉及人工智能，尤其涉及的是一种融合深度视觉约束的视觉里程计方法、装置、终端及介质。

背景技术：

1、视觉里程计(visual odometry，vo)通过一个或多个相机所捕捉的连续图像，来估计相机的相对运动。

2、传统的视觉里程计算法通过对输入图像进行特征检测和提取，对相邻序列的图像进行特征匹配，剔除图像中的异常值，将匹配好的特征进行运动估计并输出位姿。

3、然而，由于传统的vo的输入是基于真实环境的二维图像进行特征提取及匹配，故算法的性能非常依赖于环境，且算法对环境中的光照条件比较敏感，对弱纹理甚至无纹理环境易产生较大的里程计误差，进而影响所估计的位姿的准确性。

4、采用深度学习模型预测视觉里程计，虽然可以适应各种预设置的场景和任务，例如在特定的光照条件、弱纹理环境和地形下进行里程计算，表现了较为不错的预测准确率和稳定性。然而，由于深度学习模型是以数据为驱动，故比较依赖于训练数据，当模型遇到未曾在训练数据中存在的场景时候，该算法容易给出错误的预测信息，从而导致里程计失效。

5、因此，现有技术有待改进和提高。

技术实现思路

1、本发明的主要目的在于提供一种融合深度视觉约束的视觉里程计方法、装置、智能终端及存储介质，能够解决不能在各种场景下高精度、稳定地输出视觉里程计信息的问题。

2、为了实现上述目的，本发明第一方面提供一种融合深度视觉约束的视觉里程计方法，所述方法包括：

3、获取拍摄装置采集的当前帧图像和参考关键帧，所述参考关键帧为保存在滑动窗口中的最新的关键帧；

4、将所述当前帧图像和所述参考关键帧输入视觉里程计模型以预测拍摄装置的位置和姿态，获得第一位姿，所述视觉里程计模型基于深度学习模型构建而成；

5、基于所述当前帧图像和所述参考关键帧，采用视觉里程计算法求解拍摄装置的相对运动，获得第二位姿；

6、将所述第二位姿设为视觉里程计信息并输出；

7、当所述当前帧图像为关键帧时，将当前帧作为关键帧保存至所述滑动窗口，采用位姿约束和重投影约束对所述滑动窗口中的关键帧位姿和地图点进行非线性优化，所述位姿约束用于表征所述第一位姿与所述关键帧位姿之间的误差，所述重投影约束用于表征地图点投影到对应关键帧上的像素偏移误差。

8、可选的，所述视觉里程计模型包括卷积神经网络和两个多层感知机，所述将所述当前帧图像和所述参考关键帧输入视觉里程计模型以预测拍摄装置的位置和姿态，获得第一位姿，包括：

9、拼接所述当前帧图像和所述参考关键帧，获得拼接后图像；

10、将所述拼接后图像输入所述卷积神经网络提取图像特征；

11、将所述图像特征输入每个所述多层感知机，分别获得拍摄装置的位置和姿态，根据所述位置和所述姿态，获得所述第一位姿。

12、可选的，所述采用位姿约束和重投影约束对所述滑动窗口中的关键帧位姿和地图点进行非线性优化，包括：

13、计算所述滑动窗口中关键帧位姿与所述第一位姿之间的误差，获得所述位姿约束；

14、计算地图点投影至对应关键帧上的像素偏移误差，获得所述重投影约束；

15、采用光束法平差最小化所述位姿约束和所述重投影约束所构成的误差项以优化所述滑动窗口中的关键帧位姿和地图点。

16、可选的，训练所述视觉里程计模型的损失函数包括：所述第一位姿和真值位姿标签之间的误差。

17、可选的，判定所述当前帧图像是否为关键帧，包括：

18、对所述当前帧图像和所述参考关键帧进行特征匹配，获得特征匹配数量；

19、当所述特征匹配数量小于预设阈值时，设定所述当前帧图像为关键帧；否则，设定所述当前帧图像为普通帧。

20、可选的，所述基于所述当前帧图像和所述参考关键帧，采用视觉里程计算法求解拍摄装置的相对运动，获得第二位姿，包括：

21、对所述当前帧图像和所述参考关键帧进行特征匹配，获得特征匹配对；

22、根据所述特征匹配对进行运动估计，获得所述第二位姿。

23、本发明第二方面提供一种融合深度视觉约束的视觉里程计装置，其中，上述装置包括：

24、采集模块，用于获取拍摄装置采集的当前帧图像和参考关键帧，所述参考关键帧为保存在滑动窗口中的最新的关键帧；

25、位姿预测模块，用于将所述当前帧图像和所述参考关键帧输入视觉里程计模型以预测拍摄装置的位置和姿态，获得第一位姿，所述视觉里程计模型基于深度学习模型构建而成；

26、位姿求解模块，基于所述当前帧图像和所述参考关键帧，采用视觉里程计算法求解拍摄装置的相对运动，获得第二位姿；

27、优化模块，用于当所述当前帧图像为关键帧时，将当前帧作为关键帧保存至所述滑动窗口，采用位姿约束和重投影约束对所述滑动窗口中的关键帧位姿和地图点进行非线性优化，所述位姿约束用于表征所述第一位姿与所述关键帧位姿之间的误差，所述重投影约束用于表征地图点投影到对应关键帧上的像素偏移误差；

28、输出模块，用于将所述第二位姿设为视觉里程计信息并输出。

29、可选的，所述优化模块包括位姿约束单元、重投影约束单元和优化单元，所述位姿约束单元用于计算所述滑动窗口中关键帧位姿与所述第一位姿之间的误差，获得所述位姿约束；所述重投影约束单元用于计算地图点投影至对应关键帧上的像素偏移误差，获得所述重投影约束；所述优化单元用于采用光束法平差最小化所述位姿约束和所述重投影约束所构成的误差项以优化所述滑动窗口中的关键帧位姿和地图点。

30、本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的融合深度视觉约束的视觉里程计程序，上述融合深度视觉约束的视觉里程计程序被上述处理器执行时实现任意一项上述融合深度视觉约束的视觉里程计方法的步骤。

31、本发明第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有融合深度视觉约束的视觉里程计程序，上述融合深度视觉约束的视觉里程计程序被处理器执行时实现任意一项上述融合深度视觉约束的视觉里程计方法的步骤。

32、由上可见，本发明首先利用视觉里程计模型根据当前帧图像和参考关键帧预测拍摄装置的位置和姿态，利用视觉里程计模型得到的第一位姿和关键帧位姿产生的位姿约束，结合视觉里程计算法求解的重投影约束，对滑动窗口中的关键帧位姿和地图点进行非线性优化。然后，在利用视觉里程计算法求解相机的相对运动时，参考了滑动窗口中的最新的关键帧，使得视觉里程计算法能够更加准确地估计相机的位姿，能够在各种场景下高精度、稳定地输出视觉里程计信息。

技术特征：

1.融合深度视觉约束的视觉里程计方法，其特征在于，所述方法包括：

2.如权利要求1所述的融合深度视觉约束的视觉里程计方法，其特征在于，所述视觉里程计模型包括卷积神经网络和两个多层感知机，所述将所述当前帧图像和所述参考关键帧输入视觉里程计模型以预测拍摄装置的位置和姿态，获得第一位姿，包括：

3.如权利要求1所述的融合深度视觉约束的视觉里程计方法，其特征在于，所述采用位姿约束和重投影约束对所述滑动窗口中的关键帧位姿和地图点进行非线性优化，包括：

4.如权利要求1所述的融合深度视觉约束的视觉里程计方法，其特征在于，训练所述视觉里程计模型的损失函数包括：所述第一位姿和真值位姿标签之间的误差。

5.如权利要求1所述的融合深度视觉约束的视觉里程计方法，其特征在于，判定所述当前帧图像是否为关键帧，包括：

6.如权利要求1所述的融合深度视觉约束的视觉里程计方法，其特征在于，所述基于所述当前帧图像和所述参考关键帧，采用视觉里程计算法求解拍摄装置的相对运动，获得第二位姿，包括：

7.融合深度视觉约束的视觉里程计装置，其特征在于，所述装置包括：

8.如权利要求7所述的融合深度视觉约束的视觉里程计装置，其特征在于，所述优化模块包括位姿约束单元、重投影约束单元和优化单元，所述位姿约束单元用于计算所述滑动窗口中关键帧位姿与所述第一位姿之间的误差，获得所述位姿约束；所述重投影约束单元用于计算地图点投影至对应关键帧上的像素偏移误差，获得所述重投影约束；所述优化单元用于采用光束法平差最小化所述位姿约束和所述重投影约束所构成的误差项以优化所述滑动窗口中的关键帧位姿和地图点。

9.智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的融合深度视觉约束的视觉里程计程序，所述融合深度视觉约束的视觉里程计程序被所述处理器执行时实现如权利要求1-6任意一项所述融合深度视觉约束的视觉里程计方法的步骤。

10.计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有融合深度视觉约束的视觉里程计程序，所述融合深度视觉约束的视觉里程计程序被处理器执行时实现如权利要求1-6任意一项所述融合深度视觉约束的视觉里程计方法的步骤。

技术总结
本发明公开了一种融合深度视觉约束的视觉里程计方法、装置、终端及介质，首先利用视觉里程计模型预测拍摄装置的位置和姿态，利用视觉里程计模型得到的第一位姿和关键帧位姿产生的位姿约束，结合视觉里程计算法求解的重投影约束，对滑动窗口中的关键帧位姿和地图点进行非线性优化。然后，在利用视觉里程计算法求解相机的相对运动时，参考了滑动窗口中的关键帧位姿，使得视觉里程计算法能够更加准确地估计相机的位姿，能够在各种场景下高精度、稳定地输出视觉里程计信息。

技术研发人员：钟小容,李清泉,于文率,庄礼聪,田春宝,吴海明,黄奇
受保护的技术使用者：人工智能与数字经济广东省实验室（深圳）
技术研发日：
技术公布日：2024/5/19