一种基于终端拍摄图像匹配的精确定位及街景库采集方法与流程

本发明涉及图像处理和精确定位领域，尤其涉及室外街景采集和行人导航定位技术领域。

背景技术：

近些年来地图app的发展给行人和车辆的出行带来众多的便利，地图开发者们同时提出能够反映目的地真实环境的全景地图技术。但是全景地图的采集需要专业的图像设备获取，耗费的人力和物力很高。同时全景图像主要覆盖于主干道路，且拍摄时间大部分在一年之前，导致环境数据覆盖面不广和更新不及时的问题，给行人和车辆的出行带来不便。

目前，应用于行人车辆定位的方法有：gps定位、基站定位、惯性导航定位等。其中，民用gps定位基本满足日常的活动需要，但在高楼林立的城市地带卫星信号容易收到遮挡，导致定位不准确；基站定位的精度与所在位置的基站数量有关，因此大部分地区难以实现较精确的定位；惯性导航定位的器件容易随着时间的增加产生积分误差，从而难以单独使用。

随着计算机及电子器件的发展，更有效的高清街景库采集及精确定位方法将服务于社会。

技术实现要素：

发明目的：本发明的目的是提出一种基于终端拍摄图像匹配的街景库采集及精确定位方法，弥补目前地图app的全景地图库覆盖范围小、更新不及时和采集成本高的问题。同时通过新创建的高清街景库进行视觉定位可以使定位误差缩小，大大方便行人车辆的外出。

为实现上述目的，本发明采用如下技术方案：

一种基于终端拍摄图像匹配的精确定位方法，包括如下步骤：

1)通过终端设备的地图app获取用户当前坐标附近全景图像作为参考路图，利用终端摄像头模块获取前方高清实时街景作为校正路图，并实时记录参考路图拍摄地点的定位经纬度(x1，y1)和对应的偏航角β1，实时记录校正路图拍摄地点的定位经纬度(x2，y2)和对应的偏航角β2；

2)提取参考路图和校正路图的特征点，进行特征点匹配，找到匹配正确率最高的一组特征点，利用单目视觉定位算法和三角函数知识解算出校正路图拍摄点的实际经纬度对(x2,y2)进行校正。

优选的，步骤1)中，所述终端设备为手机、导航仪等具有摄像头的设备。

优选的，步骤1)中，所述参考路图的选取方法为：利用地图app调用坐标附近全景地图，连接待校正点与全景地图参考点作为基准线，选用全景地图库中以此基准线向左或向右偏30-90度方向的图片作为参考路图。

优选的，步骤2)中，采用surf(speededuprobustfeatures)算法提取出校正路图和参考路图的特征点，采用flann匹配器实现校正路图和参考路图的特征点的匹配。

优选的，步骤2)中，利用单目视觉定位算法和三角函数知识解算出校正路图拍摄点的实际经纬度，具体步骤包括：

已知参考路图拍摄地点a的位置坐标(x1,y1)、点a与特征点c之间的距离l1、校正路图拍摄地点b与特征点c之间的距离l2、偏航角β1、β2，则点a相对于点b的方向角η计算公式为：

利用式(2)分别计算出l1,l2；

其中，fx，fy为逻辑焦距，d为每个像素的物理尺寸，(if,jf)和(io,jo)分别为特征点c在图像坐标系中的二维像素坐标、摄像头光心在图像坐标系中的二维像素坐标；

根据三角函数关系可知点a与点b之间的距离l3计算公式为：

已知距离l3、方向角η和参考路图拍摄地点a的经纬度信息后，根据坐标系变换知识可以求出校正路图拍摄地点b的经纬度位置信息。

基于上述精确定位方法的街景库采集方法，包括如下步骤：

1)对经纬度解算成功的实时街景图像进行清晰度参数计算和内容合法性检测；

2)将符合条件的街景图像与对应的经纬度信息一同打包录入网络服务器端进行存储构建成高清街景库。

有益效果：本发明采用以地图app现有的全景地图库为基础构建的高清街景库来进行定位，可以使定位区域覆盖到传统全景图像没有涉及的小区街道等区域。本发明应用于基于位置服务需求日益提升的互联网时代中，弥补全景地图库覆盖范围小、更新不及时和采集成本高的问题。同时用户在定位时可选择点的增多和图片清晰度的优化，实现视觉定位精度的大大提升。

附图说明

图1为本发明基于终端拍摄图像匹配的街景库采集方法流程图；

图2为本实施例终端地图app的全景地图数据源图片；

图3为本实施例surf特征提取算法示意图；

图4为本实施例终端拍摄图片与全景匹配图片特征提取匹配结果图；

图5为本实施例目标直线测距模型的原理图；

图6为本实施例计算用户经纬度位置信息示意图。

具体实施方式

下面结合附图对本发明做更进一步的解释。

本发明采用的是国内普及率较高的手机、导航仪等终端作为高清街景库的采集设备，相比于需要多车辆多数码相机进行采集的全景地图库而言，能够提高数据库的采集效率和采集成本。

由于本发明使用的是基于图像特征点提取和匹配的视觉定位技术，以全景地图库作为定位基础库，而目前的全景地图库包含的数据仅限于主干道路，因此本发明仅适用于室外定位与导航。

全景地图也称为全景环视地图，指的是把三维图片模拟成真实物体三维效果的地图，浏览者可以拖拽地图从不同的角度浏览真实事物的效果。运用数码相机对现有场景进行多角度环视拍摄之后，再利用计算机进行后期缝合，并加载播放程序来完成三维虚拟展示。

本发明提出一种基于终端拍摄图像匹配的高清街景库采集方法，其全景地图数据源图片如图2所示，选用的实验图片地点为南京航空航天大学西门，图像分辨率为756×434，全景地图拾取后的经纬度坐标为118.793467,31.94281，俯仰角为6.313968561389864，偏航角为73.5777451151586，缩放等级为3级。

该数据源图片存在以下特征，拍摄视角基本上处于水平的状态，图像色彩差大且包含的环境事物较复杂，能够有效地验证特征提取算法的效率。

本实施例基于终端拍摄图像匹配的街景库采集方法，如图1所示，该方法包括以下步骤：

(1)利用全景地图库和终端设备获取参考路图和校正路图数据：调用app附近全景地图，连接待定位点与全景地图参考点，选用基准线向左或向右偏30-90度方向的图像作为参考路图，实时记录此参考路图的定位经纬度(x1，y1)和对应的偏航角β1；

同时需要打开终端蜂窝移动网络和定位服务开关，实时记录拍摄时刻的定位经纬度(x2，y2)和磁罗盘陀螺仪输出的偏航角β2。

(2)将参考路图和校正路图打包上传到互联网云端：由于终端处理器的运算速度无法实时进行图像匹配和解算出用户坐标信息，所以利用地图app自带的上传云端功能在服务器上进行上述操作。

(3)利用surf算法和flann匹配器实现图像匹配：首先采用surf算法提取出拍摄图像和全景匹配图像的全部特征点，其实现方案如图3所示：

步骤1是构建hessian矩阵，生成所有的兴趣点，用于特征的提取。对于图像f(x,y),其hessian矩阵计算公式如下：

当hessian矩阵的判别式取得局部极大值时，则能判定当前点比周围邻域内其他点更亮或更暗，从而来确定可能定位特征点的位置。

步骤2是构建尺度空间：由于物体的尺度不变特性，为了方便寻找特征点和提高计算效率需要构建尺度空间，采用矩形滤波代替高斯滤波，生成不同组间图像的原始尺寸是一致的，而不同组间使用的滤波器模板尺寸逐渐增大，因此改变滤波器大小对原始图像进行滤波即可构建尺度不同的尺度空间，同时采用积分图像为中介加速卷积运算。

步骤3是特征点定位：将hessian矩阵处理的每个像素点与二维图像和尺度空间邻域内的26个点进行比较，初步定位出特征点，再滤除能量比较弱以及错误定位的特征点，筛选出最终稳定的特征点。

步骤4是特征点主方向分配：统计特征点圆形邻域内的harr小波特征，将60度扇形内水平和垂直harr小波特征总和值最大的扇形方向作为该特征点的主方向。

步骤5是生成特征点描述子：在特征点周围选取4*4的矩形区域块，统计每个区域25个像素的水平方向和垂直方向的haar小波特征值构建成特征向量作为描述特征点有用信息的描述子。

将拍摄街景图像和全景匹配图像上的特征点提取成功之后，通过flann匹配器构建特征点的特征量集合，对特征量进行比较、筛选，得到可能正确匹配集合，不断更改阈值，消除错误匹配，直至获取到匹配正确率最高的一组匹配点，特征点提取与匹配效果如图4所示。

根据特征点提取后的效果图可以看出，两幅图中均有多于一千多个的特征点，随后通过计算两个特征点间的欧式距离来确定匹配度，其具体消除错误匹配的方法是：

计算出特征点之间欧式距离的最大值max_dist和最小值min_dist，设置阈值h，如果被检测特征点的欧氏距离小于h*min_dist,则认定为匹配成功的特征点；

观察匹配后的效果，不断调整阈值h，直至获取到匹配正确率最高的一组匹配点。

(4)单目视觉定位解算用户坐标校正原始坐标：目标直线测距模型的原理如图5所示：

将摄像头到图像的距离转化为在图像中已经寻找到的匹配正确率最高的特征点图像坐标，通过图像处理程序对特征点坐标提取，根据特征点坐标与光心坐标建立点到点的直线测距模型计算出摄像头到被测物体的完全距离。

假定光轴沿水平方向，则任意空间点坐标p为(xw,yw,0),根据图像坐标相关知识可以得出相应图像点p的位置(i,j)计算公式为：

其中fx,fy为逻辑焦距，d为每个像素的物理尺寸，(cx,cy)为图像坐标系下的原点坐标；

根据相关数学知识可知物体表面与目标图像的面积映射关系为：

其中s2为目标的图像面积；

目标物体距离表示为：

其中lw为世界坐标系下特征点p到原点ow的距离，(if,jf)和(io,jo)为焦点与光心的图像坐标系坐标；

计算出目标特征点分别到全景匹配图像拍摄点和街景图像拍摄点的距离l1,l2，则拍摄点的经纬度计算示意图如图6所示：

已知参考路图拍摄地点a的位置坐标(x1,y1)、点a与点特征c之间的距离l1、校正路图拍摄地点b与点c之间的距离l2、偏航角β1、β2，则点a相对于点b的方向角η计算公式为：

根据三角函数关系可知点a与点b之间的距离l3计算公式为：

已知距离l3、方向角η和参考路图拍摄地点a的经纬度信息后，根据坐标系变换知识可以求出校正路图拍摄地点b的经纬度位置信息。

(5)图像筛选，完成高清街景库采集：对经纬度解算成功的实时街景图像进行清晰度参数计算和内容合法性检测，将符合条件的街景图像与对应的经纬度信息一同打包录入网络服务器端进行存储构建成高清街景库。

鉴于某些终端拍摄的街景图像因为软硬件和拍摄环境等问题会产生模糊不清和分辨率较低等情况，目前评价一幅街景图像清晰程度的方法是获取该图像的灰度图片，如果灰度分布广且低灰度点与高灰度点相邻或相近情况多而图像噪声少的话则图像清晰度好，分辨率检测则需要app云端设置图片可用阈值查看上传街景图像属性来筛选；

目前街景图像合法性检测的主要方法是采用基于卷积神经网络的深度学习方法构建训练集进行特征提取和标签分类，然后再对上传云端的街景图像提取特征进行图像分类和合法性检测。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。