基于自然特征的增强现实地图空间匹配方法及移动设备

1.本发明属于地图识别技术领域，具体涉及一种基于自然特征的增强现实地图空间匹配方法及移动设备。


背景技术：

2.地图服务是保障空间权益、联络现实民生的重要抓手，以往的地图服务主要指纸质地图。传统的纸质地图作为表达、传输和研究地理信息的重要载体，由于其方便阅读、信息表达鲜明、收藏价值高等优点，曾经被人们在旅游、测绘、生态等各领域广泛使用，但纸质地图也存在个性化不足、表达内容有限、表现形式单调、传播方式单向、更新周期较长等缺陷，因此越来越难以满足用户在交互、定位、导航、周边环境搜索等需求。针对这种情况，结合ar技术与地图数据的各项研究逐步开展，通过增强现实技术对纸质地图进行增强表达，可以对地图内容和其他地理信息进行扩展，如叠加增强型符号、地形地貌、三维模型等数据，让虚拟信息成为真实可感地图的补充与升华，提升地图表达内容的丰富感和全面性；另外纸质地图缺少用户交互功能，利用增强现实技术，可以为用户提供交互平台，如点击、手势等交互操作，提升用户体验。
3.基于增强现实技术的交互式地图将增强现实技术与传统纸质地图相融合，在一定程度上弥补了两者的缺陷，不仅可以扩展纸质地图表达的信息，还可以丰富地图的表现形式。交互式地图的关键技术在于地图识别，以往增强现实技术中研究的识别原型一般是图像，这些图像一般具有颜色对比鲜明、内容丰富、清晰度高、质量优等特点，作为样本在训练中能够提取到数量多、分布均匀的特征点序列，从而达到比较理想的图像识别目标。但是地图数据相对于一般图像，线条密集且不够尖锐、清晰度低、颜色对比不够鲜明，使用传统sift算法提取的特征点较少且分布不均匀，导致地图图像识别效果较差，识别率较低、出错率较高，并且地图繁杂的线条影响识别效果。


技术实现要素：

4.为解决上述技术问题，本发明提供一种基于自然特征的增强现实地图空间匹配方法，使得尺度空间更加清晰，特征点分布更加均匀，提升了提取特征点匹配的正确率，缩短了匹配时间，能够较好适用于地图数据识别场景。
5.本发明所采用的技术方案如下：一种基于自然特征的增强现实地图空间匹配方法，步骤如下：
6.步骤一：首先对参考地图图像和待匹配地图图像进行图像预处理操作，首先使用双边滤波的方法去除地图数据中清晰度低且内容冗杂的噪声数据；然后使用直方图均衡化的方法减少图像的灰度级别，增强局部对比度；接着对图像边缘进行增强处理和锐化处理，更清晰地显示地图界线数据；最后选取地图中信息分布均匀且丰富的地区进行地图局部提取处理；
7.步骤二：使用基于sift算法改进的特征点提取方法进行地图数据特征点提取，步
骤具体如下；
8.步骤二一：基于canny算子进行边缘检测，提取地图中的外围界线数据；
9.步骤二二：尺度空间构建，对对参考地图图像和待匹配地图图像分别进行尺度变换，获得多尺度空间中的图像表示序列，提取尺度空间中主轮廓，并以此作为特征向量，实现关键点提取；
10.步骤二三：在获取的空间内进行极值点检测，对每个像素点与周围所有的相邻点进行比较，选取范围内的极大值和极小值，获取的局部极值点即为关键点；在二维图像空间，中心点与它3
×
3邻域内的8个点做比较，在同一组内的尺度空间上，中心点和上下相邻的两层图像的2
×
9个点作比较，保证检测到的关键点在尺度空间和二维图像空间上都是局部极值点；
11.步骤二四：上述步骤获取的极值点是在尺度空间中，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9
×
2个点共26个点比较而获取的局部极值，是离散采样中搜索到的极值点，不一定是真实空间的极值点。因此需要对每个局部极值点采用三维二次函数拟合，然后对函数求极值从而精确确定关键点的位置和尺度，尺度空间函数在极值点处泰勒展开，求其导数并将其值设为0，得到的极值公式如下：
[0012][0013]
其中，为关键点图像的对比度,是极值点的偏移量，d是尺度空间函数在关键点取值矩阵，d
t
是d的转置矩阵，wi为第i个关键点的位置权重，根据关键点与地图县界界线位置关系设置的权重,范围为0-1，越靠近界线，权重越大，关键点极值越大，当公式中极值认为该关键点对比度与位置权重均较低，该关键点极值不符合要求，属于错误极值点，被剔除；
[0014]
步骤二五：对获取的关键点确定特征方向，这个关键点方向信息需要对图像角度和旋转具有不变形，以保证后续特征匹配的准确性和效率，方向信息是通过计算每个关键点的梯度来实现的，任一关键点的梯度幅值m(x,y)如式(6)所示：
[0015][0016]
梯度方向θ(x,y)如式(7)所示：
[0017][0018]
其中l为关键点所在的尺度空间值；
[0019]
首先计算以关键点为中心的领域内所有点位的梯度方向，然后将这些梯度方向归一化到36个方向内，每个方向代表10度范围；然后分别计算落在每个方向域内的关键点个数，由此生成梯度方向直方图，梯度方向直方图中y值最大的方向作为当前关键点的主方向。
[0020]
然后对关键点进行描述，生成参考地图图像和待匹配地图图像的中心特征点描述子，方法具体如下：以关键点为中心取16*16的256个小窗格，每个小格代表关键点和邻域点所在尺度空间的一个像素，根据公式(6)和(7)求得每个小格的梯度幅值和方向，箭头方向即为梯度方向，箭头长度即为梯度幅值，然后使用高斯加权计算，然后将16*16的格子分成16个4*4的子区域，每个子区域计算8个方向的梯度方向直方图，形成一个种子点，这个试验
区共有16个种子点，每个种子点有8个方向向量信息，这个4*4*8共128维的特征向量，就是中心特征点描述子，即图像的特征点，判断两个特征点之间的关系是根据128维特征向量的关系来判断的；
[0021]
步骤三：取出参考地图图像中的某个特征点，然后在待匹配地图图像中找到与其欧氏距离最近的两个特征点，分别计算该特征点与对应特征点的最近欧氏距离和次近欧式距离，如果最近的距离除以次近的距离小于阈值，则初步接受这一对匹配点，同样的方法获取所有特征点的相似性，然后结合步骤二四中根据关键点与地图县界界线位置关系设置的权重，通过加权方式计算整体相似度，弱化易受影响区域对识别准确性的影响，图像整体相似度的计算公式如式(8)所示：
[0022][0023]
其中，si为第i个关键点的相似率；
[0024]
待匹配地图图像与参考地图图像中界线数据越相似，则识别率越高，根据整体相似度确定图像匹配度；
[0025]
步骤四：用ransac算法来估计参考地图图像和待匹配地图图像之间的基础矩阵，并去除不符合该变换矩阵的异常点对，消除误匹配，最终确定正确的匹配点。
[0026]
进一步的，步骤一具体如下：
[0027]
步骤一一：使用双边滤波的方法去除地图数据中影响特征点提取的信息，双边滤波器使用二维高斯函数生成距离模板，使用一维高斯函数生成值域模板，距离模板系数的生成公式如下：
[0028][0029]
其中,(k,l)为模板窗口的中心坐标点；(i,j)为模板窗口的其他系数的坐标点，σd为生成距离模板系数的二维高斯函数的标准差；值域模板系数的生成公式如下：
[0030][0031]
其中，f(i,j)和f(k,l)分别表示图像在坐标点(i,j)和坐标点(k,l)处的像素值，σr为生成值域模板系数的一维高斯函数的标准差；将上述两个模板相乘就得到了双边滤波器的模板：
[0032][0033]
步骤一二：使用直方图均衡化的方法减少图像的灰度级别，进行图像增强；直方图均衡化的灰度值h(v)的计算公式如式(4)所示，
[0034][0035]
其中，cd(v)为累积分布函数值，cdf
min
为累积分布函数最小值，m和n分别代表了图像的长宽像素个数，而l’则是灰度级数，
[0036]
步骤一三：对地图数据进行图像边缘增强的方法以更清晰地显示地图界线；
[0037]
步骤一四：选取地图中信息分布均匀且丰富的地区进行地图局部提取处理。
[0038]
进一步的，步骤一四中设定地图信息阈值，舍弃地图中大于或小于该阈值的地图信息，最终获取到数据量分布均匀的地图信息。
[0039]
进一步的，步骤三中两个特征点之间的欧氏距离计算公式为：
[0040][0041]
其中，d
ij
为两个特征点之间的欧氏距离，di(l)和dj(j)是特征分量，dn是两点之间最近距离，ds是次近距离，t为设置的给定阈值。
[0042]
本发明的另一目的是提供一种用于扫描识别待匹配地图图像的便携式移动设备，包括摄像头模块、处理器、显示模块和能够在移动设备上运行的应用程序，其特征在于，所述摄像头模块能够扫描待匹配地图图像，所述处理器能够执行所述应用程序实现如上所述的一种基于自然特征的增强现实地图空间匹配方法，用于地图数据识别，所述显示模块能够显示识别结果。
[0043]
本发明具有如下有益效果及优点：本发明针对矢量底图数据能够实施有效地提取特征点，匹配结果的精准度明显提高，能够较好适用于地图数据识别场景。本发明采用的改进的sift算法，利用了边缘检测结果参与关键点计算与挑选，根据关键点与地图县界界线的位置关系设置权重，计算每个关键点总价值，价值较高的关键点继续进行特征点提取，价值较低的关键点可忽略，此方法不仅可以减少运算量，而且可以减少地图中地名地址、街道、河流等细小、繁琐、重复性较强的数据对总体界线识别造成的混淆干扰，弱化了易受影响区域对整体识别率的影响。
附图说明
[0044]
图1是本发明的总流程图；
[0045]
图2是本发明使用的参考地图图像；
[0046]
图3是基于图2的参考地图图像提取的特征点的图；
[0047]
图4是直方图均衡化后图片提取特征点的图；
[0048]
图5是边缘增强处理后的图；
[0049]
图6是特征提取与匹配流程图；
[0050]
图7是dog金字塔(差分金字塔)处理后的地图；
[0051]
图8是尺度空间构建结果图；
[0052]
图9是特征点描述子的图，(a)梯度方向；(b)特征向量；
[0053]
图10是特征点匹配阈值图；
[0054]
图11是哈尔滨市农业耕地面积专题图；
[0055]
图12是哈尔滨市劳动力专题图；
[0056]
图13是哈尔滨市工业产值专题图；
[0057]
图14是特征点提取及确定特征方向图；
[0058]
图15是原始地图数据匹配结果图；
[0059]
图16是本发明的方法匹配结果图；
具体实施方式
[0060]
下面结合附图举例对本发明做进一步的描述：
[0061]
实施例1：
[0062]
如图1所示，一种基于自然特征的增强现实地图空间匹配方法，步骤如下：
[0063]
步骤一：对参考地图图像和待匹配地图图像进行图像预处理操作，突出主要内容、弱化次要信息，以提高地图数据特征点提取和匹配能力，达到较好的地图识别效果，图2为本实施例使用的参考地图图像，图3为参考地图图像提取的特征点，可以看到，未经处理的地图数据提取的特征点比较少且分布十分不均匀；具体步骤为：
[0064]
步骤一一：使用双边滤波的方法去除地图数据中影响特征点提取的信息，尽量保留地图细节特征的情况下对地图数据中存在的噪声进行抑制，这种噪声不同于一般图像中的椒盐噪声(黑白强度值)、脉冲噪声(单纯白强度值或者黑强度值)、高斯噪声(随机分布的任意幅值噪声)，我们针对的噪声是指地图数据中影响特征点提取的信息，如等级低、范围小、线条琐碎的复杂界线数据，如社区、学校、医院界线，重复度较高的地名地址数据等，地图数据缩放到普通图像大小时，这些噪声数据清晰度低但内容冗杂，会导致地图图像对比度低、特征不明显。这种噪声属于服从高斯分布的噪声，即每一点都存在噪声，且噪声的幅值随机分布，这种噪声适合采用高速滤波器对地图数据进行滤波，高斯滤波器是一种线性滤波器，能够有效的抑制噪声，但会在一定程度上平滑图像，这与提高对比度的目标有些出入，所以使用了双边滤波器，双边滤波是一种非线性滤波器，可以达到保持边缘、降噪平滑的效果。双边滤波器使用二维高斯函数生成距离模板，使用一维高斯函数生成值域模板。距离模板系数的生成公式如下：
[0065][0066]
其中,(k,l)为模板窗口的中心坐标点；9i,j)为模板窗口的其他系数的坐标点；σd为生成距离模板系数的二维高斯函数的标准差，
[0067]
值域模板系数的生成公式如下：
[0068][0069]
其中，f(i,j)和f(k,l)分别表示图像在坐标点(i,j)和坐标点(k,l)处的像素值，σr为生成值域模板系数的一维高斯函数的标准差；
[0070]
将上述两个模板相乘就得到了双边滤波器的模板：
[0071][0072]
本实施例采用opencv类库中的函数bilateralfilter实现相应的双边滤波器，即：
[0073]
public static void bilateralfilter(mat src,mat dst,int d,double sigmacolor,double sigmaspace)，其中src和dst分别是输入图像和输出图像，d表示在过滤过程中每个像素邻域的直径范围，sigmacolor表示颜色空间过滤器的sigma值，这个参数的值越大，表明该像素邻域越宽广的颜色会被平滑处理到同一值域，sigmaspace表示坐标空间中滤波器的sigma值，如果该值较大，则表明较大的区域内相似颜色的像素将被影响。
[0074]
步骤一二：使用直方图均衡化的方法减少图像的灰度级别，进行图像增强，直方图
均衡化能够减少图像的灰度级别，从而淡化某些细节，另外对于某些有高峰的直方图，经处理后能够得到较大程度增强的效果，尤其对于地图图像内部线条颜色相近、对比度较接近，通过直方图均衡化能够使灰度值可以更好地在直方图上分布，能够增强局部的对比度而不影响整体的对比度,原始图像经直方图均衡化处理后如图4所示，直方图均衡化的灰度值h(v)计算公式如式(4)所示，
[0075][0076]
其中，cd(v)为累积分布函数值，cdf
min
为累积分布函数最小值，m和n分别代表了图像的长宽像素个数，而l’则是灰度级数(如图像为8位深度，则灰度级别共有2^8＝256级数，这也是最常见的灰度级数)，
[0077]
本实施例采用opencv类库中的函数equalizehist实现相应的直方图均衡化，即：
[0078]
public void equalizehist(inputarraysrc,outputarraydst)，其中src和dst分别是输入图像和输出图像；
[0079]
步骤一三：对地图数据进行图像边缘增强的方法以更清晰地显示地图界线，由于地图图像内部线条颜色相近、对比度较接近，通过直方图均衡化能够使灰度值可以更好地在直方图上分布，能够增强局部的对比度而不影响整体的对比度；本实施例对于地图数据的识别很大程度上是对于地图界线数据的识别，如省界、县界等，这些界线在地图中往往位于图像边缘部分，这些边缘在图像中处于图像信息突变点处，但这些界线数据一般是边缘圆滑的弧形几何，所以为了提高边缘检测的准确性，我们需要对图像边缘进行增强处理和锐化处理。图像边缘增强是按特定的要求将一幅图像中的某些信息突出，同时消弱某些信息的处理方法，将图像(或影像)相邻像元(或区域)的亮度值(或色调)相差较大的边缘(即影像色调突变或地物类型的边界线)处加以突出强调的技术方法。经边缘增强后的图像能更清晰地显示出不同的物类型或现象的边界，或线形影像的行迹，以便于不同的物类型的识别及其分布范围的圈定，本实施例采用opencv类库实现了基于laplacian算子的图像边缘增强，效果如图5所示。
[0080]
步骤一四：选取地图中信息分布均匀且丰富的地区进行地图局部提取处理；地图作为地理信息数据的载体，具有丰富的信息表达形式，地图所呈现的点、线、面以及其衍生出来的符号、形状、颜色等均蕴含了丰富的信息，统称为地图信息。地图信息在地图中的表现是多样的，城市建成区内政府机关、企事业单位、公共交通线路等数据信息，以及森林、草原、耕地、湖泊等区域内植被种类分布、耕地轮作休耕、河流时令性走势等信息均属于地图信息的范畴。地图信息的分布并不均匀，在人类活动较为密集的城市地区，地图信息的分布较为集中并丰富，而对于远离人类活动区域的自然地域，地图信息表现的较为稀疏并分散。对于地图数据所涵盖信息的丰富程度，本实施例对这些信息进行了提取与分析，即设定地图信息阈值，舍弃地图中大于或小于该阈值的地图信息，最终获取到数据量分布均匀的地图信息。
[0081]
例如某常规地级市行政区信息图，由于其范围涵盖了地级市辖区内的全部地形数据，因此其地图数据所涵盖的信息分布并不均匀，具体表现为城市、乡镇等建成区所在地点地图信息相对丰富且密集，山林、耕地、河流等区域地图信息相对简单并稀疏。本实施例中对于该地图数据的特点，舍弃了一些地貌信息简单的山地林地，保留了线条相对尖锐，信息
较丰富的地区地图数据。
[0082]
步骤二：使用基于sift算法改进的特征点提取方法进行地图数据特征点提取，如图6所示，首先进行改进的边缘检测的方法提取外层县界，然后根据sift算法查找的关键点与县界的位置关系设置相应权重，根据权重结合算子计算每个关键点总价值，价值较高的关键点继续进行特征点提取，价值较低的关键点可忽略，具体步骤为：
[0083]
步骤二一：基于canny算子进行边缘检测，提取地图中的外围界线数据，canny边缘检测算子是一个多级边缘检测算法，是在一阶微分的基础上，增加了非最大值抑制和双阈值检测，其目标就是找到最优的边缘检测算法，即尽可能多地标识出图像中的实际边缘，检测到的边缘点应该与实际边缘点一一对应。该算法的步骤主要包括：高斯滤波器平滑处理、计算图像的梯度强度和角度方向、应用非最大抑制方法消除误检测、利用双阈值方法挑选潜在边界，本实施例采用opencv类库进行canny算子边缘检测：
[0084]
publicvoid canny(inputarray image,outputarray edges,double threshold1,double threshold2,intaperturesize＝3,bool l2gradient＝false)；
[0085]
其中image和edges分别是输入图像和输出图像，threshold1表示第一个滞后性阈值，threshold2表示第二个滞后性阈值，aperturesize表示应用sobel算子的孔径大小，l2gradient表示一个计算图像梯度幅值的标识；
[0086]
步骤二二：尺度空间构建，对地图图像进行尺度变换，获得多尺度空间中的图像表示序列，提取尺度空间中主轮廓，并以此作为特征向量，实现关键点提取；尺度空间构建就是对原始地图图像进行尺度变换，获得多尺度空间中的图像表示序列，提取尺度空间中主轮廓，并以此作为特征向量，实现关键点提取。尺度空间构建的基础是dog金字塔(差分金字塔)，图像金字塔是一种以多分辨率来解释图像的结构，高斯金字塔是原始图像经过高斯低通滤波器进行滤波后，在特定尺寸条件下，经不同高斯核模糊的图像的集合，而dog金字塔是在高斯金字塔基础上构建的。经过实验可得到各尺度原始图像不同模糊度效果图像，能够模拟人眼在距离目标由近到远时目标图像在视网膜上的形成过程，如图7是dog金字塔(差分金字塔)处理后的地图，如图8是尺度空间构建结果图；
[0087]
步骤二三：在步骤二二获取的空间内进行极值点检测，对每个像素点与周围所有的相邻点进行比较，选取范围内的极大值和极小值，获取的局部极值点称为关键点。在二维图像空间，中心点与它3
×
3邻域内的8个点做比较，在同一组内的尺度空间上，中心点和上下相邻的两层图像的2
×
9个点作比较，保证检测到的关键点在尺度空间和二维图像空间上都是局部极值点；
[0088]
步骤二四：上述步骤获取的极值点是在尺度空间中，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9
×
2个点共26个点比较而获取的局部极值，是离散采样中搜索到的极值点，不一定是真实空间的极值点。因此需要对尺度空间内数字函数的每个极值点处进行曲线拟合，然后对函数求极值从而精确确定关键点的位置和尺度，得到的极值公式如下：
[0089][0090]
其中，表明关键点图像的对比度，是极值点的偏移量，d是尺度空间函数在关键点取值矩阵，d
t
是d的转置矩阵，wi为第i个关键点的位置权重，根据关键点与地图县界
界线位置关系设置的权重,范围为0-1，越靠近界线，权重越大，关键点极值越大，当公式中极值认为该关键点对比度与位置权重均较低，该关键点极值不符合要求，属于错误极值点，被剔除；
[0091]
步骤二五：对上述步骤二四获取的关键点确定特征方向，这个关键点方向信息需要对图像角度和旋转具有不变形，以保证后续特征匹配的准确性和效率。方向信息是通过计算每个关键点的梯度来实现的，任一关键点的梯度幅值如下所示：
[0092][0093]
梯度方向为：
[0094][0095]
其中l为关键点所在的尺度空间值，
[0096]
首先计算以关键点为中心的领域内所有点位的梯度方向，然后将这些梯度方向归一化到36个方向内，每个方向代表10度范围，然后分别计算落在每个方向域内的关键点个数，由此生成梯度方向直方图，梯度方向直方图中y值最大的方向作为当前关键点的主方向。
[0097]
提取特征点并确定方向后，对关键点进行描述，生成参考地图图像和待匹配地图图像的中心特征点描述子，方法具体如下：以关键点为中心取16*16的256个小窗格，每个小格代表关键点和邻域点所在尺度空间的一个像素，根据公式(6)和(7)求得每个小格的梯度幅值和方向，箭头方向即为梯度方向，箭头长度即为梯度幅值，然后使用高斯加权计算，然后将16*16的格子分成16个4*4的子区域，每个子区域计算8个方向的梯度方向直方图，形成一个种子点，这个试验区共有16个种子点，每个种子点有8个方向向量信息，这个4*4*8共128维的特征向量，就是中心特征点描述子，即图像的特征点，如图9所示。
[0098]
步骤三：匹配特征点，计算参考地图图像和待匹配地图图像中特征点特征向量的欧氏距离来判断相似性，两个特征点之间的欧氏距离计算公式为：
[0099][0100]
其中，d
ij
为两个特征点之间的欧氏距离，di(l)和dj(j)是特征分量，dn是两点之间最近距离，ds是次近距离。取出参考地图图像中的某个特征点，然后在待匹配地图图像中找到与其欧氏距离最近的两个特征点，分别计算该特征点与对应特征点的最近欧氏距离和次近欧式距离，如果最近的距离除以次近的距离小于阈值，则初步接受这一对匹配点，阈值设置为0.5-0.7效果最佳，阈值较低时，匹配率较低，阈值较高时，匹配率虽然很高，但是准确率较低，容易识别错误，所以本实施例采用的阈值为0.7，如图10所示；
[0101]
同样的方法获取所有特征点的相似性，然后结合步骤二四中计算的特征点与边缘界线的位置权重，通过加权方式计算整体相似度，弱化易受影响区域对识别准确性的影响，图像整体相似度的计算公式如式(9)所示：
[0102][0103]
其中，si为第i个特征点的相似率；
[0104]
待匹配地图图像与参考地图图像中界线数据越相似，则识别率越高，根据整体相似度确定图像匹配度；
[0105]
步骤四：由于地图图像的高重复性、清晰度低等特点，造成该方法可能存在一定程度不正确的特征点匹配，用ransac算法来估计两幅影像之间的基础矩阵，并去除不符合该变换矩阵的异常点对，消除误匹配，来获取符合ransac模型的内点，最终确定正确的匹配点；ransac算法是从一组包含误匹配点的数据中通过迭代训练的方法得到最优的参数模型，不符合最优参数模型的即为误匹配点。本实施例采用opencv类库实现ransac算法，首先根据特征向量匹配特征点，然后使用findfundamentalmat方法求出各向量基础矩阵ransacstatus，ransacstatus描述的是在三维场景中像素点之间的对应关系，根据基础矩阵的结果删除误匹配点，即ransacstatus[0]＝0的点。
[0106]
实施例2：
[0107]
试验结果与分析
[0108]
1.试验数据
[0109]
本实施例使用《哈尔滨城市地图集》数据进行试验，该数据集以全市及区、县(市)现状地图为主，辅以照片及文字说明，地图由分区、县(市)街区概况图、政区图及哈尔滨市区分幅详图三部分组成。本实施例的试验数据采用地图集中哈尔滨市行政区划图、哈尔滨市农业耕地面积专题图、哈尔滨市劳动力专题图、哈尔滨市工业产值专题图作为底图数据，进行图像处理和样本特征提取，并使用纸质地图集内地图内页进行特征匹配，以测试真实环境中本实施例地图识别效果，本实施例为准确表达不同方法下地图识别对比效果，截取纸质地图内页中一部分图片进行特征匹配。
[0110]
2.试验成果分析
[0111]
使用本发明的地图识别方法，先对四幅地图数据分别进行图像预处理，然后使用改进的sift算法进行特征提取与匹配，最后使用ransac算法消除误匹配。底图训练完成后，使用《哈尔滨城市地图集》纸质地图进行识别匹配，通过样本训练、特征匹配、用时等三个方面参数分别对比四幅地图识别效果。
[0112]
2.1地图集地图识别对比
[0113]
地图识别效果与参考地图图像质量息息相关，底图线条复杂程度、清晰程度、颜色对比度等都会影响样本训练质量，因此本试验首先选取《哈尔滨城市地图集》中哈尔滨市行政区划图、哈尔滨市农业耕地面积专题图、哈尔滨市劳动力专题图、哈尔滨市工业产值专题图四幅地图进行识别质量对比。使用本研究的地图识别方法，先对四幅地图数据分别进行图像预处理，然后使用改进的sift算法进行特征提取与匹配，最后使用ransac算法消除误匹配。底图训练完成后，使用《哈尔滨城市地图集》纸质地图进行识别匹配，通过样本训练、特征匹配、用时等三个方面参数分别对比四幅地图识别效果。
[0114]
可以看到，哈尔滨市行政区划图相对于其他地图线条更复杂，清晰度更低，颜色对比度更低，其他三幅专题图线条复杂程度较相近，哈尔滨市劳动力专题图颜色对比度最高，哈尔滨市农业耕地面积专题图清晰度最高，试验结果表明，哈尔滨市行政区划图特征点数量最多，匹配数最高，匹配率稍低，预处理和匹配时间较长，其他三幅专题图特征点数量较少，但是由于特征点质量较高，所以正确匹配数和匹配正确率较高，哈尔滨市劳动力专题图线条相对简单、颜色对比度较高、清晰度更高，所以预处理用时与匹配用时最短。
[0115]
表1是对比四幅地图数据，在截取500
×
500分辨率大小的示例地图数据时，在特征点数量、总匹配数、正确匹配数、匹配正确率、预处理用时、匹配用时、总时长五方面进行对比：
[0116]
表1为四幅地图数据
[0117][0118]
2.2特征点提取匹配质量
[0119]
地图识别效果与多种因素有关，如地图数据精度、样本训练质量、场景图像质量等，特征点提取作为样本训练的关键环节，直接影响地图识别的效果，因此本试验重点对特征点提取的质量进行评估。为了检验本方法对不同重叠度、不同旋转角度、不同材质地图数据的特征点提取能力，本试验选取同一地图不同表现形式，分别拍摄挂图识别，拍摄地图集内业识别，以及选取部分电子矢量地图拍摄识别，三种地图数据进行特征点提取，分辨率均为500
×
500，得到的特征点数量、匹配点数量、匹配准确率如下表所示，其中，匹配准确率为正确匹配点数与本方法得到所有特征点数量的比值。
[0120]
由此可见，挂图和地图集属于纸质地图，挂图和地图集摆放角度和位置不同，拍摄场景和光线影响，都会导致照片拍摄可能出现反光、褶皱等情况，所以特征点提取数量相对较少，但相差不超15％。但从结果中可以看出，使用本方法得到的特征点数量相差均在14％内，另外与识别地图特征匹配率均在90％以上。
[0121]
表2特征点质量对比
[0122][0123]
2.3地图识别效率分析
[0124]
本实施例的试验平台选用的是dell-7520移动图形工作站，配置为8核cpu，主频2.7g，内存64g，nvidia quadro m4000显卡。试验原型系统是利用vs2012基于opencv开源库实现。系统运行稳定后，地图识别的平均耗时包括场景采集、数据处理、特征提取、特征匹配、虚拟现实场景展示，统计各阶段的平均耗时如下表所示：
[0125]
表3地图识别效率对比
[0126][0127]
3.方法对比
[0128]
方法1，参考一般的图像识别，直接使用基于sift算法改进的特征提取与匹配算法识别地图图像，由于没有进行灰度处理、滤波、直方图均衡化等图像处理方法，原始地图数据对比度较低、亮度较高、线条细密，使用sift算法构建的尺度空间较模糊，特征点提取较少，使用纸质地图识别匹配时匹配率相对较低，识别运行时间较长。
[0129]
方法2，先对地图数据进行图像预处理，即地图局部处理、灰度处理、图像滤波、直方图均衡化，然后直接使用sift算法进行特征提取与匹配，不进行边缘增强处理，也不根据边缘权重筛选关键点，直接使用sift算法提取的关键点进行特征描述与匹配，这种方法由于没有进行边缘增强和权重筛选，另外由于地图中文字较多，特征提取后会提取出大量文字处关键点，忽略地图界线，在于纸质地图特征对比时，由于摄像头拍摄纸质地图清晰度与对比度不高，致使文字匹配效果不理想。
[0130]
方法3，先对地图数据进行图像预处理，然后使用改进的sift算法进行特征提取与匹配，对于匹配的结果不使用ransac算法消除误匹配，可以通过对比结果看到，地图识别速度稍有提高，但是匹配准确率稍低。
[0131]
最后使用本实施例的地图识别方法，先对地图数据进行图像预处理，然后使用改进的sift算法进行特征提取与匹配，最后使用ransac算法消除误匹配，可以看到，本方法运行时间相对较短、地图图像匹配率较高、地图识别准确率较高、整体识别效果比较理想。
[0132]
下表是我们对比四种方法，在处理500*500分辨率大小的示例地图数据时，在特征点数量、总匹配数、正确匹配数、匹配正确率、预处理用时、匹配用时、总时长五方面进行对比：
[0133]
表4四种方法对比
[0134][0135]
4.结果讨论
[0136]
从上述成果和对比分析可以看到，原始数据不经过图像预处理，由于地图数据内容较多、主次不清，导致特征提取会得到大量特征点，但是正确匹配数不高，耗时长但匹配准确率较低，大量的错误匹配会影响后续地图识别和虚拟现实展示。
[0137]
不使用边缘权重筛选关键点的方法进行地图识别，会导致边缘界线与内部注记互相混淆，注记字体匹配误差较大，导致提取的特征点较多但是匹配正确率不高。
[0138]
按照第三种方法不进行ransac算法改进，虽然经过预处理适当提高特征点匹配数量，缩短了地图识别时长，但是匹配正确率较低。
[0139]
本发明的算法首先对地图数据进行预处理，增强图像对比度，突出数据中地图识别技术关心的界线数据、模糊相对辨识度低的文字注记等信息，能够提高特征点提取效率，同时按照边缘增强的结果进行特征点筛选，能够筛选掉部分错误特征点，利用sift算法获得大量的正确匹配点，并使用ransac算法消除误匹配，提高匹配正确率，在特征提取和匹配上耗时最短，综合效率、精度以及效果，因此，本发明的方法更具优越性。