专利名称：利用手持设备的平面区域定位方法
技术领域：
本发明涉及手持设备上的无线定位以及图像匹配技术，特别涉及一种利用手持设备的平面区域定位方法。
背景技术：
信息时代，人们对于个性化、智能化精确定位的需求不断提高。同时手持设备硬件得到了长足的发展，据美国移动通信市场分析公司Flurry统计数据显示，中国已成为全球第二大手机应用程序市场，中国手机用户达到了 9.52亿，其中智能手机市场占比已达25.0%。随着手持设备硬件的发展与无线网络环境的普及，手持设备上的定位技术得到了长足的进步和发展，如何自然高效地在手持设备上进行个性化、智能化精确定位成为当前研究和应用的热点。目前，在手持设备上的定位方式主要有以下几种:( I) GPS 定位手持设备上的GPS定位技术是目前在定位导航中运用最广泛的技术。其通过四颗卫星得到的四对数据进行单点定位或差分定位，并计算位置。GPS定位较为准确，但是受限于需要GPS信号，所以不适合用于室内。且GPS首次捕获信号时间可能要2到3分钟。(2) AGPS辅助全球卫星定位系统该方式通过基站辅助GPS定位，可以弥补GPS定位在室内不能使用的缺点，且在室外等空旷区域，其精度可达10米左右，精度很高。同时其首次捕获GPS信号时间一般仅需几秒钟。AGPS的缺点在于其定位实现需要通过多次网络传输，受网络状态影响较大，且耗电量较大，不适宜在手持设备上长期使用。(3)基站定位基站定位通过手持设备使用基站的物理位置进行定位，运算简单，易于使用，但是受限于基站的数量和密度，其精度存在较大误差。(4) RFID 定位射频识别技术(Radio Frequency Identification)起源于上世纪80年代，它利用射频方式进行非接触式双向通信交换数据以达到识别目的。RFID可以通过电子标签、读卡器以及传递射频信号的微型天线进行室内定位。射频识别技术的优点是成本低廉，部署简单，但是RFID不能准确定位，只能确定标签是否在可读区内。标签的可扩展性不高。(5) 二维码定位二维码，是用某种特定的几何图形按一定规律在平面分布的黑白相间的图形记录数据符合信息，其可通过图像输入设备或光电扫描设备自动识读以实现信息自动处理。二维码定位可以将相应的位置信息嵌入到二维码中，将二维码黏贴在显著位置。用户可以利用自己的手持设备对二维码进行识读从而获取定位信息。二维码定位的优点是原理简单，成本低廉易于普及，缺点是识别距离较短，同时不是所有的地方均适合黏贴二维码，适用范围有限。综上所述，GPS方法由于只适合用于室外且定位精度较低，AGPS与基站方法受限于基站的密度和数量且主要也是用于室外，RFID定位不够准确且可扩展性不高，二维码定位由于黏贴二维码会破坏二维平面本身且交互方式不够直接自然，因此上述定位方法均不能很好的实现针对平面区域的手持设备上的定位。
发明内容
本发明提供了一种利用手持设备的平面区域定位方法，能够便捷、实时、高效的实现平面区域的精细化定位。一种利用手持设备的平面区域定位方法，包括如下步骤:(I)针对实际场景获取对应的平面全景图；(2)在所述平面全景图中建立平面坐标系；(3)在所述平面全景图中获取全景图特征点及其在所述平面坐标系下对应的坐标，针对所有全景图特征点建立索引；(4)利用手持设备采集目标区域图像并上传至服务器；(5)服务器在所述目标区域图像中获取目标区域图像特征点，并在步骤(3)的索引中查找与目标区域图像特征点相匹配的全景图特征点，根据目标区域图像特征点与全景图特征点的匹配关系建立用于坐标转换的仿射变换矩阵H ；(6)服务器根据所述仿射变换矩阵H将目标区域图像的坐标映射到平面全景图中，实现目标区域图像在实际场景中的定位，并将对应定位信息回传至手持设备。本发明提出的方法以广为普及的智能手机和平板电脑等手持设备为基点，以基于局部特征的图像匹配技术为基础，实现一个利用手持设备对平面目标区域进行拍照并上传，利用服务器端进行图像匹配并将定位结果返回手持设备，来对平面中的目标区域进行定位。定位前，需先获得实际场景对应的平面全景图，通常，针对实际场景的不同区域分别获取对应的图像，将这些图像进行拼接获取所述平面全景图。步骤(2)中，建立平面坐标系时，以所述平面全景图的左上角为原点，水平方向为X轴，垂直方向为Y轴建立所述平面坐标系。由于采集拼接形成的平面全景图可能过大，我们不能一次导入内存进行全景图特征点的采集和索引，因此，步骤(3)中，在所述平面全景图中获取全景图特征点时，是将所述平面全景图切割成规则的图片集并按规律存储，通过批处理的方式从图片集中提取所述全景图特征点。步骤(3)中，对所有全景图特征点建立索引时，是将所有全景图特征点储存到文本文件中，读取该文本文件中的全景图特征点并建立成一棵KD-Tree，即得到所述的索引。这样可以提高特征点匹配速度，方便后续特征检索与匹配。为减少上传时间，步骤(4)中，利用手持设备采集目标区域图像后，先经过预处理及压缩再上传至服务器。
所述预处理为尺寸缩小以及灰度图操作。步骤(5)中，将目标区域图像特征点与全景图特征点进行匹配时，是通过在KD-Tree上的BBF算法进行SIFT特征匹配，再通过RANSAC算法去除误匹配点，根据正确的匹配点计算得到仿射变换矩阵H。所述正确的匹配点至少为四个。若少于四个，则特征点匹配失败。步骤(6)中，所述服务器根据所述仿射变换矩阵H将目标区域图像中坐标值最小点和坐标值最大点的坐标映射到平面全景图中。所述坐标值最小点的坐标为(1，1)，所述坐标值最大点的坐标为(Xtl, Y。)。本发明充分利用了手持设备强大的计算能力，手持设备与二维平面的几何约束关系以及移动互联网的特性，提出了一种新型的利用手持设备的平面区域定位方法，其优势主要表现在以下几点:(I)本发明的方法通过服务器客户端的模式以及基于局部特征的图像匹配，充分利用了手持设备强大的计算能力、移动互联网能力以及手持设备与平面全景图的几何约束关系对用户感兴趣的目标区域进行识别定位，从而实现个性化、精确化和智能化定位。(2)由于本发明的方法是基于图像局部特征与匹配的方法，所以可以扩展到任意图像特征较为丰富的二维平面全景图中。 ( 3)本发明的方法可以同时为多个用户提供个性化定位服务。(4)本发明的方法中，用户可利用自己的手机等手持设备，方便快捷，成本低廉，无需设备维护以及消毒，方便推广和普及。
图1为利用手持设备的平面区域定位方法的核心算法流程图。
具体实施例方式图1为一种利用手持设备的平面区域定位方法的核心算法流程图，下面结合图1和具体实施例进一步阐释本发明。(I)离线的平面全景图的获取对于任意特征丰富的实际场景我们需要用高精度相机对其进行图像采集，并通过图像拼接的方法，将采集的图像序列拼接成一幅完整的平面全景图，用于后续的全景图特征点的提取和采集。比如我们以榆林三窟普贤菩萨大壁画为例，其经过采集拼接后的平面全景图尺寸为分辨率是15000X26250像素，单张图片大小为216M。(2)离线的平面坐标系的建立根据实际需要以平面全景图的左上角为原点，水平方向为X轴，垂直方向为Y轴，建立平面坐标系，便于后续的特征匹配、定位过程。具体来说，以平面全景图左上角的像素点为(0，0)原点，以水平方向为X轴，以垂直方向为Y轴建立平面坐标系。(3)离线的全景图特征点的获取与索引的建立由于步骤(I)中采集拼接形成的平面全景图过大，我们不能一次导入内存进行全景图特征点的采集和索引，而需要将平面全景图切割成规则尺寸的图片集，通过批处理的方式从图片集中提取全景图特征点，储存到文本文件中。全景图特征点获取时，通常采用SIFT图像局部特征算法，它是具有128维的高维特征向量，且在平面全景图中提取出的SIFT特征点(全景图特征点)数量较多，所以如果采用一般的存储和查找方式会让全景图特征点的查找匹配时间变得难以忍受，所以我们这里采用KD-Tree对全景图特征点进行存储和索引。又为了进行平面全景图的全局信息定位，本实施例不采用对每张小图片都建立KD-Tree的方式,而将整个平面全景图的全部全景图特征点建立成一棵KD-Tree (索引),便于后续特征检索与匹配，同时将该KD-Tree —直保存在内存中，从而提高特征匹配的速度，实现实时的图像识别。比如以步骤(I)中的榆林三窟普贤菩萨大壁画形成的平面全景图为例，我们将整张平面全景图切割成规则的如800X800像素的图片集，并以小图片列号为文件夹名称，以小图片行号为图片名称，对图片集进行存储和索引，并形成相应的索引配置文件。通过批处理程序，从图片集中提取整个平面全景图的全部的SIFT特征点(全景图特征点)，并根据平面坐标系获取全景图特征点所对应的坐标，同时将所有的全景图特征点储存在文本文件中，这里我们共提取了 213409个全景图特征点，文本文件大小为77.7M。随后，将文本文件以二进制的方式导入内存，并建立全景图特征点的KD-Tree，并将KD-Tree —直保存在内存中。(4)在线的目标区域图像采集、预处理及传输用户通过手持设备对目标区域进行拍摄并上传至服务器，为了减少上传的时间，我们可以在不影响匹配定位效果的情况下，对目标区域图像进行压缩并通过尺寸缩小以及灰度图操作等预处理，进一步缩小目标区域图像的大小。因为对于SIFT算子，其对尺寸缩小鲁棒，同时其完全基于灰度图像进行操作，所以这里的尺寸缩小以及灰度图操作不会影响图像识别的效果。具体来说，本实施例将用手持设备拍摄的一张1024X600像素的目标区域图像的尺寸缩小为256X 150像素，并进行预处理使其变成灰度图。这样会将待传输的目标区域图像的大小由几百K缩小为IOK左右，减少了网络传输的压力和时间。(5)特征匹配与仿射变换矩阵H的计算在基于局部特征的图像特征匹配过程中(即目标图像特征点与全景图特征点的匹配)，我们采用当前综合性能最好的SIFT局部特征算子作为基础，通过对SIFT特征向量的欧式距离的大小计算来度量图像之间的相似度。这里图像特征匹配的模块是集成在网络服务器(服务器)中的，其通过对平面全景图提取SIFT特征点(全景图特正点)来建立全景图特征点的库，并通过KD-Tree对于海量的全景图特征点进行管理和索引，通过KD-Tree上的BBF算法快速的进行目标区域图像特征点与全景图特征点的匹配，再通过RANSAC算法删除误匹配点以提高匹配精度，并且根据正确匹配的点(至少为四个)对计算出仿射变换矩阵H，本实施例通过JNI将图像特征匹配的模块与网络服务器进行集成。主要步骤具体如下:①利用KD-Tree上的BBF算法进行SIFT特征匹配。首先对于用户拍摄上传到网络服务器上的目标区域图像，我们对其提取SIFT特征点(目标区域图像特征点)，对于目标区域图像上的每一个目标区域图像特征点，我们在KD-Tree上的BBF算法进行最近邻查找。BBF (Best Bin First)算法,借助优先队列实现。从根结点开始,在KD-Tree上寻找查找路径，将错过的结点暂时存储到优先队列里，先进行深度遍历扫描到叶子结点，然后再从队列里取出结点分裂维度上值最小的结点，再重复上述过程扫描到叶子结点，直到优先队列为空，或者重复了若干步则停止查找。通过BBF算法可以在KD-Tree上快速进行K近邻查找，在这里我们取K为1，即进行特征向量的最近邻查找。②利用RANSAC算法消除误匹配点。通过①查找的特征匹配点集，会存在一定程度的误匹配。此时我们通过RANSAC算法消除误匹配点。RANSAC为Random Sample Consensus的缩写,它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。RANSAC算法可以较好地消除误匹配点，从而得到正确匹配的特征点。③根据正确的匹配点计算仿射变换矩阵H。(6)定位与反馈将手持设备拍摄的目标区域图像中的坐标值最小点和坐标值最大点的坐标通过步骤(5)得到的仿射变换矩阵H映射到平面全景图中，再通过步骤(2)中的平面坐标系确定目标区域图像在实际场景中的位置，并将对应的定位信息回传至手持设备。具体来说，对于用户上传的256X 150像素的目标区域图像，以该目标区域图像的左上角为原点，以水平方向为X轴，以垂直方向为Y轴建立坐标系，该目标区域图像中最小点的坐标为(1,1),坐标值最大点的坐标为(256,150),将坐标(1,1)和坐标(256,150)通过仿射变换矩阵H映射到平面全景图中，再结合平面坐标系中的位置信息，返回确切的定位信息到手持设备。
权利要求
1.一种利用手持设备的平面区域定位方法，其特征在于，包括如下步骤: (1)针对实际场景获取对应的平面全景图； (2)在所述平面全景图中建立平面坐标系； (3)在所述平面全景图中获取全景图特征点及其在所述平面坐标系下对应的坐标，针对所有全景图特征点建立索引； (4)利用手持设备采集目标区域图像并上传至服务器； (5)服务器在所述目标区域图像中获取目标区域图像特征点，并在步骤(3)的索引中查找与目标区域图像特征点相匹配的全景图特征点，根据目标区域图像特征点与全景图特征点的匹配关系建立用于坐标转换的仿射变换矩阵H ； (6)服务器根据所述仿射变换矩阵H将目标区域图像的坐标映射到平面全景图中，实现目标区域图像在实际场景中的定位，并将对应定位信息回传至手持设备。
2.如权利要求1所述的利用手持设备的平面区域定位方法，其特征在于，步骤(I)中，针对实际场景的不同区域分别获取对应的图像，将这些图像进行拼接获取所述平面全景图。
3.如权利要求1所述的利用手持设备的平面区域定位方法，其特征在于，步骤(2)中，以所述平面全景图的左上角为原点，水平方向为X轴，垂直方向为Y轴建立所述平面坐标系O
4.如权利要求1所述的利用手持设备的平面区域定位方法，其特征在于，步骤(3)中，在所述平面全景图中获取全景图特征点时，是将所述平面全景图切割成规则的图片集并按规律存储，通过批处理的方式从图片集中提取所述全景图特征点。
5.如权利要求1所述的利用手持设备的平面区域定位方法，其特征在于，步骤(3)中，对所有全景图特征点建立索引时，是将所有全景图特征点储存到文本文件中，读取该文本文件中的全景图特征点并建立成一棵KD-Tree，即得到所述的索引。
6.如权利要求1所述的利用手持设备的平面区域定位方法，其特征在于，步骤(4)中，利用手持设备采集目标区域图像后，先经过预处理及压缩再上传至服务器。
7.如权利要求6所述的利用手持设备的平面区域定位方法，其特征在于，所述预处理为尺寸缩小以及灰度图操作。
8.如权利要求1所述的利用手持设备的平面区域定位方法，其特征在于，步骤(5)中，将目标区域图像特征点与全景图特征点进行匹配时，是通过在KD-Tree上的BBF算法进行SIFT特征匹配，再通过RANSAC算法去除误匹配点，根据正确的匹配点计算得到仿射变换矩阵H。
9.如权利要求8所述的利用手持设备的平面区域定位方法，其特征在于，正确的匹配点至少为四个。
10.如权利要求1所述的利用手持设备的平面区域定位方法，其特征在于，步骤(6)中，所述服务器根据所述仿射变换矩阵H将目标区域图像中坐标值最小点和坐标值最大点的坐标映射到平面全景图中。
全文摘要
本发明公开了一种利用手持设备的平面区域定位方法，包括如下步骤针对实际场景获取对应的平面全景图；在所述平面全景图中建立平面坐标系；在所述平面全景图中获取全景图特征点及其在所述平面坐标系下对应的坐标，针对所有全景图特征点建立索引；利用手持设备采集目标区域图像并上传至服务器；服务器在所述目标区域图像中获取目标区域图像特征点，将目标区域图像特征点与全景图特征点进行匹配，根据匹配关系建立用于坐标转换的仿射变换矩阵H；服务器根据所述仿射变换矩阵H将目标区域图像的坐标映射到平面全景图中，实现目标区域图像在实际场景中的定位，并将对应定位信息回传至手持设备。本发明的方法便捷、实时、高效、准确。
文档编号G06T7/00GK103106252SQ20131001546
公开日2013年5月15日 申请日期2013年1月16日 优先权日2013年1月16日
发明者鲁东明, 刘昱杰, 赵磊, 郑斌 申请人:浙江大学