基于卷积神经网络多层特征融合的机器人闭环检测方法与流程

文档序号:22472038发布日期:2020-10-09 22:04阅读:来源:国知局

技术特征:

1.一种基于卷积神经网络多层特征融合的闭环检测方法,其特征在于,包括以下步骤:

s1、将移动机器人搭载的传感器采集的当前位置图像与历史关键图像进行缩放预处理,采用最邻近插值算法对图像进行缩放后输入预训练卷积神经网络;

s2、利用卷积神经网络作为特征提取器,选择overfeat网络提取当前位置图像与历史关键图像不同卷积层的特征图;

s3、设计并建立浅层几何特征与深层语义特征的融合模块,浅层几何特征与深层语义特征融合模块用于对图像更好的表征,将不同层特征进行加权融合;

s4、将融合特征进行l2归一化后采用主成分分析pca降维处理;

s5、为检测是否产生闭环,将当前位置图像与历史关键图像的融合特征降维处理后进行相似性评分,得到最终闭环检测的结果。

2.根据权利要求1所述的一种基于卷积神经网络多层特征融合的闭环检测方法,其特征在于,所述步骤s1将获取到的当前位置图像与历史关键图像进行最邻近插值算法对图像进行缩放预处理,历史关键图像指的是机器人之前访问过的位置生成的关键图,将图像传递给预训练卷积神经网络,预训练卷积神经网络指的是本文选择的overfeat,需要先对网络进行预先的学习训练,学习后的网络才能应用于图像检索,具体原始图像尺寸为640×480,通过以下公式缩小为221×221:

式中w,h为原图像的像素大小,w,h缩小后图像的像素大小,假设缩小前的一个像素点为(x,y),缩小后的像素点为(x,y),因此缩放后像素点的像素值如下:

最邻近插值算法使用的方法就是四舍五入法,式中表示为[.]。

3.根据权利要求1所述的一种基于卷积神经网络多层特征融合的闭环检测方法,其特征在于,所述步骤s2利用卷积神经网络作为特征提取器,选择overfeat网络提取图像不同卷积层的特征图,具体包括:

将图像输入给overfeat网络提取图像不同卷积层的特征图,overfeat网络由卷积层、最大池层、全连接层组成,并整流线性单元(relu),对网络进行修改,将全连接层改为卷积层,其卷积核大小为5×5,步长为1卷积核个数为4096,具体功能如下:

卷积层用于提取图像的特征;最大池化层保持特征的位置和旋转不变性以增强检测的鲁棒性;relu作为非线性激活函数,由下式表示:

relu(x)=max(0,x)

relu的使用,使得网络可以自行引入稀疏性,同时大大地提高了训练速度;

训练网络参数设置:训练的min-batchs选择128,神经网络学习是从训练数据中选择一批数据称为min-batchs,小批量,然后对每个min-batchs进行学习;

权重初始化选择高斯分布的随机初始化:

(μ,σ2)=(0.1×10-2)

μ,σ分别表示高斯分布的期望值、标准差。采用随机梯度下降法,进行优化更新,动量项参数大小选择0.6,l2权重衰减系数大小选择10-5次方,学习率η初始选择0.05,随着迭代次数的增加,η逐渐减小到0.01。

4.根据权利要求3所述的一种基于卷积神经网络多层特征融合的闭环检测方法,其特征在于,所述步骤s3中建立浅层几何特征与深层语义特征融合模块,将不同层特征进行加权融合,具体包括:为将不同层的特征图调整到同一尺度和通道数目,设计调整网络模块,该模块用于调整特征图尺寸,由下采样(subsampled)和卷积层(conv)组成,下采样通过max-pooling来实现,将浅层特征图的尺寸降为5×5;

其中调整网络模块的输出大小可通过下式计算得出下采样及卷积层的参数设置:

式中(h,w)为输入大小,h、w分别表示特征图的高和宽,滤波器大小为fh×fw,输出大小为(oh,ow),步幅为s;

卷积层参数设置为:滤波器大小为1×1,卷积核个数为4096,该卷积层是为了改变特征图的通道数;

采用加权求和的方式对多层特征进行融合,计算公式如下:

v=ω1v1+ω2v2+ω3v3

式中v为overfeat网络提取的每个融合后的特征向量,ω1,ω2,ω3为各层对应的权重,最终得到融合特征大小为1024×5×5。

5.根据权利要求4所述的一种基于卷积神经网络多层特征融合的闭环检测方法,其特征在于,所述步骤s4将融合特征进行l2归一化后采用主成分分析pca降维处理,具体包括:

上式d表示向量的维度,预处理后假设获得n个归一化融合特征向量,并且组成矩阵x,其中i表示输入图像:

对融合特征矩阵进行pca降维处理,步骤为:

(1)将原始特征零中心化:

表示各个维度的特征向量,表示零中心化后的特征向量。

(2)计算数据的协方差矩阵cov,并对其进行奇异值分解(svd),以便可以得到列为特征向量的矩阵u,矩阵s的对角项是cov的奇异值:

cov=xtx

[u,s,w]=svd(cov)

(3)根据下式将矢量投影到较低维空间,最终将维度减小到500:

表示降维后的融合特征向量。

6.根据权利要求5所述的一种基于卷积神经网络多层特征融合的闭环检测方法,其特征在于,所述步骤s5为检测是否产生闭环,将当前位置图像与历史关键图像的融合特征降维处理后进行相似性评分,得到最终闭环检测的结果,具体包括:

定义不同图像的融合特征之间的欧几里得距离为闭环检测的相似性评分体系,公式如下:

式中d(i,j)是帧i和j之间的距离,||·||2是向量l2范数,帧间的相似性评分定义为:

使用归一化后计算距离来获得的得分值位于[0,1]中,以判断是否检测到闭环。


技术总结
本发明请求保护一种基于卷积神经网络多层特征融合的机器人闭环检测方法,该方法包括步骤:S1,利用卷积神经网络作为特征提取器,将环境图像输入预训练的网络提取不同层特征;S2,建立浅层几何特征与深层语义特征融合模块,将不同层特征进行加权融合;S3,当前图像与历史关键图像的融合特征进行L2归一化后采用PCA降维处理;S4,定义相识性评分体系,将处理后的两组融合特征输入评分体系检测闭环。本发明在光照变化的环境下,闭环检测的算法相较于其他算法,不仅保证了输出特征图的细节信息和语义信息,而且本算法在实现实时性的同时具有更强的鲁棒性和较高的准确性。

技术研发人员:胡章芳;冯淳一;罗元;刘家瑜;陈一鑫;李越豪
受保护的技术使用者:重庆邮电大学
技术研发日:2020.06.28
技术公布日:2020.10.09
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1