基于孪生卷积网络和特征混合的sift误匹配检测方法

文档序号:25886975发布日期:2021-07-16 19:21阅读:来源:国知局

技术特征:
1.基于孪生卷积网络和特征混合的sift误匹配检测方法,其特征在于,具体按照以下步骤实施:步骤1,采用sift算法将需要匹配的两幅原始图像进行处理,得到错误样本集合和正确样本集合,并得到训练集和测试集;步骤2,获取测试集和训练集中所有样本对应特征点的领域图像,并对领域图像进行预处理,并输入到孪生卷积网络,提取领域图像的特征图;步骤3,获取测试集和训练集中样本所对应特征点的sift描述子,并将每个样本位置坐标输入到mlp网络进行融合,将mlp网络的输出与该样本所对应的特征点的sift描述子结合,得到sift描述子数据的特征;步骤4,获取训练集和测试中样本所对应特征点的harris矩阵;步骤5,将到领域图像的特征图,sift描述子数据的特征,harris矩阵进行特征融合,并用全连接层和交叉熵损失函数对融合后的特征进行二分类判断,并反向传播更新网络参数;重复步骤2到5,用训练集数据训练网络,并保存训练网络的权重偏置参数;步骤6,将权重偏置参数载入到sift误匹配检测网络中,将待检测的样本数据输入到sift误匹配检测网络,并得出待测样本的预测结果。2.根据权利要求1所述的基于孪生卷积网络和特征混合的sift误匹配检测方法,其特征在于,所述步骤1中,具体为:步骤1.1,使用sift算法处理需要匹配的两幅原始图像,得到图像的数个匹配对,每个匹配对由原始图像上两个特征点组成;步骤1.2,若每个匹配对应的两个特征点在真实场景中代表的是同一个位置,则这个匹配对属于正确样本集合,如果不是同一个位置,则这个匹配对属于错误样本集合;步骤1.3,分别从正确样本集合和错误样本集合中任意选取500个样本作为训练集,再分别从正确样本集合和错误样本集合中任意选取100个样本作为测试集。3.根据权利要求2所述的基于孪生卷积网络和特征混合的sift误匹配检测方法,其特征在于,所述步骤2中,具体为:步骤2.1,选取测试集和训练集中所有样本,每个样本代表一个匹配,每个匹配对应两个特征点,找到两个特征点分别在步骤1.1中原始图像上的位置坐标,以该位置坐标为中心,选取长为64像素,宽为64像素范围内,对原始图像进行分割,分割后的图像作为该特征点的领域图像,即每个样本可以得到两张领域图像,以此,获得测试集和训练集所有样本的领域图像;步骤2.2,对训练集和测试集中的所有样本对应的领域图像进行灰度化处理和归一化处理;步骤2.3,经步骤2.2后,将每个样本对应的两张领域图像均输入到孪生卷积神经网络中,得到样本所对应的两张领域图像的特征图。4.根据权利要求3所述的基于孪生卷积网络和特征混合的sift误匹配检测方法,其特征在于,所述步骤3中,具体为:步骤3.1,构建共包含6层的mlp网络模型,依次为输入层、卷积层1、bn层1、卷积层2、bn层2、卷积层3、bn层3;步骤3.2,获取由步骤1.1输入的两张原始图像,对两张图像分别进行不同尺度的高斯
卷积,构造两个高斯差分金字塔;步骤3.3,在步骤3.2所得到的高斯差分金字塔上做阈值化和空间极值的检测,找到候选极值点,对候选极值点进行拟合来精确确定极值点的位置以及所在的尺度,并舍去低对比度和有边缘响应的点,从而确定最终极值点,每个图像所有最终极值点即为关键点;步骤3.4,获取每个关键点的坐标,一个关键点的坐标对应一个描述子,以此构造关键点坐标描述子集合;步骤3.5,在训练集和测试集中,任选一个样本,在样本中选取一个特征点,获取这个特征点的坐标,在步骤3.4获得的关键点坐标描述子集合中,根据这个坐标来获取这个特征点的描述子,以此类推,获得另外一个特征点的描述子,一个样本对应的描述子有两个,重复上述操作,获得测试集和训练集所有样本所对应的描述子,并对测试集和训练集所有样本所对应的描述子进行归一化处理;步骤3.6,经步骤3.5后,在测试集和训练集中,选取一个样本,在该样本中选取一个特征点,获取这个特征点在步骤1.1中输入的原始图像上的位置坐标,将该位置坐标输入到步骤3.1所构造的mlp网络中,并把mlp网络的输出与该特征点所对应的sift描述子进行数据相加,得到该特征点的sift描述子数据的特征,重复上述过程,可得到该样本另外一个特征点的sift描述子数据的特征,以此,得到测试集和训练集中所有样本所对应特征点的sift描述子数据的特征。5.根据权利要求4所述的基于孪生卷积网络和特征混合的sift误匹配检测方法,其特征在于,所述步骤4中,具体为:步骤4.1,在训练集或者测试集中选取一个样本,在该样本中选取一个特征点;步骤4.2,经步骤4.1后,寻找该特征点在步骤1.1中输入的原始图像上的位置坐标,在原始图像上,以这个位置坐标为中心,选取长为10像素,宽为10像素范围的图像,作为计算harris矩阵所需要的领域范围;步骤4.3,计算领域范围内的每个像素在x和y梯度方向的内积,分别用ixx,iyy,ixy表示,对领域范围内的每个像素的ixx,iyy,ixy进行高斯加权滤波;步骤4.4,经步骤4.3后,对领域范围内的每个像素的ixx,iyy,ixy分别进行累加,从而得到harris矩阵中的每个分量,即可得到该特征点的harris矩阵;步骤4.5,重复步骤4.1到步骤4.4,可得到该样本另外一个特征点的harris矩阵,以此类推,得到训练集和测试集所有样本所对应特征点的harris矩阵。6.根据权利要求5所述的基于孪生卷积网络和特征混合的sift误匹配检测方法,其特征在于,所述步骤5中,具体为:步骤5.1,构建共包含4层的ann网络模型,依次为全连接层1、全连接层2、全连接层3、全连接层4、全连接层5;其中每一层的输出即为下一层的输入;步骤5.2,在训练集中选取一个样本,把该样本所对应特征点的领域图像的特征图和harris矩阵展开成一维向量的形式,并把这些一维向量和该样本所对应特征点的sift描述子数据的特征水平拼接在一起;步骤5.3,把步骤5.2得到的结果作为ann网络模型的输入,并得到输出结果;步骤5.4,将步骤5.3所得到的结果进行softmax计算,将softmax的计算结果作为交叉熵损失函数的输入,计算出交叉熵损失函数的输出值,这个输出值就是损失值,根据损失
值,进行反向传播计算,并更新网络中的权重偏置参数;步骤5.6,重复步骤5.2到步骤5.4,用训练集中的所有样本数据训练网络32个epcho,并根据网络loss曲线调节网络的学习率参数,使得loss曲线趋于收敛,训练完成后,导出网络的权重偏置参数并进行保存。7.根据权利要求6所述的基于孪生卷积网络和特征混合的sift误匹配检测方法,其特征在于,所述步骤6中,具体为:步骤6.1,根据步骤5的结果,导入网络的权重偏置参数;步骤6.2,在测试集中选取一个样本,获取该样本的领域图像,位置坐标,sift的描述子数据,harris矩阵;步骤6.3,将步骤6.2的结果输入到sift误匹配检测网络,并将输出结果进行softmax运算,选取最大的数值所对应的标签作为网络的预测结果;步骤6.4,根据步骤6.3所获得到的结果,如果所预测到的标签为right,那么此匹配为正确匹配,如果所预测到的标签为wrong,那么此匹配为错误匹配。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1