一种惯性神经网络辅助的视觉惯性里程计方法

本发明涉及计算机视觉，更具体的说是涉及一种惯性神经网络辅助的视觉惯性里程计方法。

背景技术：

1、室内定位技术作为导航定位与授时技术的一部分目前已被应用于室内机器人导航、增强现实、物联网与室内搜救等领域。大多数室内定位方案通常使用wifi、蓝牙或uwb代替gnss信号实现被动定位，然而这类方法的定位精度易受到信号质量以及基站布置位置影响。还有一些室内定位通过激光雷达或相机实现较为准确的主动定位，其中视觉惯性里程计由于其成本较低且环境感知能力被广泛关注并获得快速发展。然而，使用视觉惯性里程计在室内行人定位问题上表现并不理想。在视觉部分，当行人携带相机运动时，较大的图像视场变化或遮挡易导致特征点丢失，从而使系统无法正常工作。在惯性部分，消费级imu的零偏、噪声以及温漂使得测量误差较大，且由于行人运动具有较强的无序性，基于运动学或步态追踪的位置推算结果也并不佳。

2、因此，如何提供一种可对室内行人位姿进行稳定准确估计的视觉惯性里程计方法是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种惯性神经网络辅助的视觉惯性里程计方法，能有效实现室内行人位姿的稳定准确估计。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种惯性神经网络辅助的视觉惯性里程计方法，包括以下步骤：

4、s1、利用行人携带相机和imu，采集环境信息与运动信息；对相机采集的图像进行畸变矫正，并进行imu运动信息的预积分；

5、s2、利用惯性神经网络预测图像帧间相对运动，进行数据时间同步，并为图像帧间光度误差计算提供初始值；

6、s3、利用图像光度误差、imu预积分残差与惯性神经网络预测残差，构建位姿解算目标函数，并根据目标函数计算携带相机和imu行人的位姿与运动情况。

7、进一步的，所述步骤s1具体内容包括：

8、s11、利用行人携带相机和imu采集环境信息与运动信息；

9、s12、根据相机的内参数进行图像畸变矫正，并根据光度标定进行图像光度矫正；

10、s13、对imu采集的运动信息进行预积分。

11、进一步的，所述步骤s2具体内容包括：

12、s21、将imu采集的运动信息由imu坐标系转换至视觉惯性里程计坐标系，并修正重力及偏置影响，利用处理后的imu数据作为惯性神经网络输入，获得惯性神经网络预测的行人运动位姿；

13、s22、利用插值法实现imu预积分数据与图像数据时间同步，利用外推法实现步骤s21中惯性神经网络预测数据与图像数据时间同步；

14、s23、将按照步骤s22时间同步后的惯性神经网络预测位姿作为两连续图像帧间的初始位姿，根据该初始位姿计算两帧图像间光度误差作为初始光度误差。

15、进一步的，所述步骤s21中，所述惯性神经网络的结构由resnet18残差网络、lstm长短期记忆网络与全连接层级联构成；

16、在使用惯性神经网络进行行人位姿预测时，需将imu数据从imu坐标系转化至视觉惯性里程计坐标系，并消除重力及偏置对输入数据影响；将预处理后的imu测量数据作为惯性神经网络输入即可获得行人位置相对变化与其对应的协方差预测值；

17、所述惯性神经网络的数学模型表示为：

18、

19、式中，f(·)为神经网络拟合获得的函数；an和ωn为第n个imu时刻从imu传感器中所读取的原始加速度和角速度数据；wi与wj为i与j时刻的视觉惯性里程计坐标系；为imu坐标系与i时刻视觉惯性里程计坐标系间的旋转矩阵；ba和bg为相应的偏置，由滤波器所得到；为重力向量；和分别为i时刻视觉惯性里程计坐标系中第n个imu时刻人体运动的加速度和角速度；hn-n为lstm在最后一个时间步产生的隐藏状态；相对位移及其协方差为网络输出；在每个时刻，网络根据隐藏状态hn-n、惯性系中包含n个加速度和角速度数据的的局部窗口来推断运动，类似于带有噪声的加速度和角速度。

20、进一步的，所述步骤s23中，所述初始光度误差为：

21、

22、式中，f为用于优化的关键帧集合，pi为关键帧i中的点集，key(p)为关键帧共同观测到的点的集合，pk为关键帧共同观测到的点；因此，初始光度误差为当前图像与关键帧中共同观测到点的初始光度误差之和；

23、具体的，任意一点p的初始光度误差为：

24、

25、式中，np表示为点p附近的小邻域，ωp为梯度相关的权重，i为图像帧，i与j为图像帧序号，t为曝光时间，γ与β为修正仿射亮度变换的因子，pi′nitial为使用网络预测结果作为初始位姿投影之后的初始投影点。

26、进一步的，所述步骤s3具体内容包括：

27、s31、利用图像光度误差、imu预积分残差与惯性神经网络预测位姿残差构建目标函数；

28、s32、将行人位姿作为待优化变量，利用优化方法最小化目标函数，获得行人位姿动态最优估计。

29、进一步的，所述步骤s31中，所述目标函数为：

30、etotal＝λephoto+einertial+enetwork

31、式中，ephoto为图像光度误差，einertial为imu预积分残差，enetwork为惯性神经网络预测位姿残差；

32、所述图像光度误差为：

33、

34、式中，f为用于优化的关键帧集合，pi为关键帧i中的点集，key(p)为关键帧共同观测到的点的集合，pk为关键帧共同观测到的点；因此，光度误差为当前图像与关键帧中共同观测到点的光度误差之和；

35、具体的，任意一点p的光度误差为：

36、

37、式中，np表示为点p附近的小邻域，i为图像帧，i与j为图像帧序号，t为曝光时间，γ与β为修正仿射亮度变换的因子，ωp为梯度相关的权重，p′为使用优化过程中位姿状态量投影之后的投影点；

38、所述imu预积分残差为：

39、

40、式中，为惯导预积分递推所获得的状态，为第j帧图像时刻的待优化的位姿，为该帧的位姿的协方差，⊙为李代数减法运算；

41、所述惯性神经网络预测位姿残差为：

42、

43、式中，为惯性神经网络预测所获得的状态，为第j帧图像时刻的待优化的位姿，为惯性神经网络预测该帧的位姿的协方差，⊙为李代数减法运算。

44、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种惯性神经网络辅助的视觉惯性里程计方法，利用惯性神经网络预测结果为初始光度误差计算提供初始帧间相对位姿，同时利用该预测结果计算残差，合并光度误差、imu预积分残差与惯性神经网络残差构建目标函数，实现了室内行人位姿的稳定准确估计。

技术特征：

1.一种惯性神经网络辅助的视觉惯性里程计方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种惯性神经网络辅助的视觉惯性里程计方法，其特征在于，所述步骤s1具体内容包括：

3.根据权利要求1所述的一种惯性神经网络辅助的视觉惯性里程计方法，其特征在于，所述步骤s2具体内容包括：

4.根据权利要求3所述的一种惯性神经网络辅助的视觉惯性里程计方法，其特征在于，所述步骤s21中，所述惯性神经网络的结构由resnet18残差网络、lstm长短期记忆网络与全连接层级联构成；

5.根据权利要求3所述的一种惯性神经网络辅助的视觉惯性里程计方法，其特征在于，所述步骤s23中，所述初始光度误差为：

6.根据权利要求1所述的一种惯性神经网络辅助的视觉惯性里程计方法，其特征在于，所述步骤s3具体内容包括：

7.根据权利要求6所述的一种惯性神经网络辅助的视觉惯性里程计方法，其特征在于，所述步骤s31中，所述目标函数为：

技术总结
本发明公开了一种惯性神经网络辅助的视觉惯性里程计方法，包括以下步骤：利用行人携带相机和IMU，采集环境信息与运动信息；对相机采集的图像进行畸变矫正，并进行IMU运动信息的预积分；利用惯性神经网络预测图像帧间相对运动，以此为图像帧间光度误差计算提供初始值；利用图像光度误差、IMU预积分残差与惯性神经网络预测残差，构建位姿解算目标函数，并根据目标函数计算携带相机和IMU行人的位姿与运动情况。本发明利用惯性神经网络预测结果为视觉惯性里程计方法提供了初始光度误差，并在目标函数中添加了惯性神经网络位姿预测残差，实现了行人位姿的准确稳定估计。

技术研发人员：赵龙,赵毅琳
受保护的技术使用者：北京航空航天大学
技术研发日：
技术公布日：2024/10/31