技术特征：
1.一种基于多任务特征提取网络的视觉惯性slam系统，包括：多任务特征提取网络与三维地图构建模块；其特征在于，获取图像数据信息，将图像数据信息输入多任务特征提取网络，对特征进行检测跟踪，传感器数据处理完成后，检查系统是否已完成初始化，如果未初始化，则对系统进行视觉惯性联合初始化；初始化完成后，使用滑动窗口对固定数目的关键帧的位姿、imu偏差进行优化，从而进行位姿估计，三维地图构建模块将结合系统估计出的相机位姿与相机视频流，利用surfel模型和变形图完成三维重建。2.根据权利要求1所述的一种基于多任务特征提取网络的视觉惯性slam系统，其特征在于，利用surfel模型和变形图完成三维重建，具体包括：通过位姿估计和优化得到精确的相机位姿，将双目相机获得的每幅图像的像素点投影到世界坐标系中，通过点云数据融合，得到surfel三维地图。3.根据权利要求1所述的一种基于多任务特征提取网络的视觉惯性slam系统，其特征在于，多特征提取网络由一个共享的主干网和两个子模块组成，两个子模块包括位置模块与描述子模块，位置模块包括两个卷积层，其中一个卷积层使用relu激活函数，另一个卷积层使用sigmoid激活函数，描述子模块接收主干网处理后的图片，有两个卷积层，信道数均为256，在每个卷积层之后是relu激活函数，根据位置模块输出的特征点相对位置坐标p
relative
，采用双三次插值生成对应的描述子d
image
。4.根据权利要求3所述的一种基于多任务特征提取网络的视觉惯性slam系统，其特征在于，主干网包括四个卷积层，四个卷积层中的信道数为32-64-128-256，积层之间都有一个最大池化层，共三个最大池化层，每个最大池化层的跨距和内核大小都为2，在每个最大池层之后，后续卷积层的通道数将增加一倍，因此通过主干网处理后，输出图片的一个像素是输入图片的8x8个像素。5.根据权利要求4所述的一种基于多任务特征提取网络的视觉惯性slam系统，其特征在于，所述位置模块预测输入图像的特征点的相对位置坐标p
relative
，从相对位置坐标p
relative
转换到图像像素坐标p
image
的映射由以下公式计算：p
image,x
＝(c+p
relative,x
)
·
fp
image,y
＝(r+p
relative,y
)
·
f其中，c是x坐标的列输入索引，r是y坐标的行输入索引。f是下采样因子，并且f＝8。6.根据权利要求1所述的一种基于多任务特征提取网络的视觉惯性slam系统，其特征在于，所述surfel模型包括若干个surfel面元，变形图包括若干个节点。7.根据权利要求6所述的一种基于多任务特征提取网络的视觉惯性slam系统，其特征在于，每个节点σ
n
包含了旋转矩阵σ
r
，平移矩阵σ
t
，时间和位置σ
g
，受到变形图影响后的面元的位置由以下公式给出：
其中ω
n
(m
s
)表示节点σ
n
对面元影响的权重，则ω
n
(m
s
)可以表示为：其中d
max
表示m
s
到最近面元的欧式距离。8.根据权利要求1所述的一种基于多任务特征提取网络的视觉惯性slam系统，其特征在于，还包括自监督训练框架，所述自监督训练框架包括若干张用于训练的图像，每张用于训练的图像会被分成两张，其中一张是保持不变的原始图像a，另一张是通过变换矩阵和随机非空间图像增强变换后的的图像b；通过多任务网络分别检测a、b两张图像的特征点和描述子，然后从a、b两张图像中建立点对应；在损失函数中使用点对应来训练模型；假设a、b两张图像中共有n个点对，每个点对的距离用欧氏距离表示：其中，表示图像a中特征点的位置，表示图像b中特征点的位置，t表示变换矩阵，并且变换矩阵t与图像a到图像b的变换矩阵相同。
技术总结
本发明公开的一种一种基于多任务特征提取网络的视觉惯性SLAM系统，包括多任务特征提取网络与三维地图构建模块；获取图像数据信息，将图像数据信息输入多任务特征提取网络，对特征进行检测跟踪，传感器数据处理完成后，检查系统是否已完成初始化，如果未初始化，则对系统进行视觉惯性联合初始化；初始化完成后，使用滑动窗口对固定数目的关键帧的位姿、IMU偏差进行优化，从而进行位姿估计，三维地图构建模块将结合系统估计出的相机位姿与相机视频流，利用surfel模型和变形图完成三维重建。建。建。
技术研发人员：余雷 李光强 方一凡
受保护的技术使用者：江苏省中以产业技术研究院 苏州晨尔诺光电科技有限公司
技术研发日：2022.01.28
技术公布日：2022/6/4