适用于移动终端的户外增强现实无标志点跟踪注册方法
【专利摘要】本发明提供一种适用于移动终端的户外增强现实无标志点跟踪注册方法，具体步骤为，在训练准备阶段中针对每一个样本场景都获取一用于表达该场景的样本图像，建立各场景样本图像的全局特征描述符矩阵的索引表；在跟踪注册阶段中移动终端采集当前场景的待匹配图像；提取待匹配图像在不同尺度下的全局特征描述符矩阵；从样本图像中选取相似度最高的关键帧图像；将待匹配图像局部特征点和关键帧图像上局部特征点进行匹配，并剔除误匹配的匹配点对；然后基于当前剩下的匹配点对计算待匹配图像相对于关键帧图像的单应矩阵，再利用所述单应矩阵计算移动终端的位姿矩阵，基于位姿矩阵实现对关键帧图像的跟踪注册。
【专利说明】适用于移动终端的户外增强现实无标志点跟踪注册方法
【技术领域】
[0001]本发明属于移动增强现实【技术领域】，具体涉及ー种适用于移动终端的户外增强现实无标志点跟踪注册方法。
【背景技术】
[0002]增强现实(AugmentedReality,简称 A R)是虚拟现实(Virtual Reality,简称VR)技术的ー个重要分支。由于其潜在的广阔应用空间成为近年来国际上的研究热点。VR技术强调使用者在感官效果上的完全浸沉感，即沉浸在由计算机描绘的虚拟环境中，而新兴的AR技术则是要借助显示技术、交互技术、多种传感技术和计算机图形与多媒体技术将计算机生成的虚拟环境与使用者周围的现实环境融为一体，使用户从感官效果上确信虚拟环境是其周围真实环境的组成部分，同时AR技术也克服了ー些VR技术对于逼真虚拟环境的苛刻要求:AR技术充分利用周围业已存在的大量信息，在其基础上加以扩充，这太大降低了对计算机图形能力的要求；
[0003]总体地说，增强现实技术是借助计算机图形技术和可视化技术产生现实环境不存在的虚拟对象，并通过传感技术将虚拟对象准确“放置”在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者ー个感官效果真实的新环境；所以增强现实系统具有虚实结合、实时交互、三维注册的新特点为实现虚实间的完美结台，三维跟踪注册(Registration)技术至关重要。三维注册主要是指将计算机产生的虚拟物体与用户周围的真实环境全力位对准，要求用户在真实环境运动的过程中維持正确的对准关系，三维跟踪注册所要完成的任务是由计算机视觉系统实时地检测出用户头部的相对位置和视线方向，根据这些信息确定所要添加的虚拟物体在真实空间坐标的映射位置，并将这些信息实时地显示头盔显示器的正确位置。然而目前大多数增强现实系统的注册对象均为空间坐标位置已知的静止物体。如笔画、室外风景、建筑物等。采用人为放置标志点的方法以简化图像处理与识别的计算量。利用3D-2D特征点匹配的方法确定用户的视点位姿，实现系统的三维注册，然而在实际生活中，往往需要对运动物体添加增强信息以增强人们对客观事物的感知和认识，例如在机械装配维修过程中，为运动的机械部件添加注释性说明文字或图像，以告诉用户该部件当前的运行状况等类似的应用广泛存在于医学、军事、娱乐、教学等各个方面，因而对运动物体进行跟踪注册的增强现实系统具有广阔的应用前景和极强的实用性。
[0004]以智能手机为平台的户外增强现实应用，使得增强现实技术摆脱了大体积PC平台的限制，算法的功耗低、所需存储空间小。一些经典的应用有增强现实浏览器-LayAR，该浏览器可运行于Android手机平台之上，用户只需要将手机的摄像头对准感兴趣场景，首先通过GPS定位用户所在位置，然后利用罗盘判断摄像头所面对的方向，用户就能在手机的屏幕上看到所拍摄的场景相关信息，甚至还包括周边房屋出租、酒吧及餐馆的打折信息、招聘启事以及ATM等实用性的信息。Wikitude发布了两款针对智能手机的增强现实的应用Drive和WorldBrowser。Drive是关于增强现实实景导航的应用，用户看到的不是地图，而是前方街道的实时视图，以及叠加在视频上方的导航数据。现在已经在欧洲、澳大利亚、北美市场得到了应用。World Browser也是一款另类但是很先进导航的软件，使用时需要开启GPS定位，以获得较为准确的位置。当你到一处景点、大楼或者城市的某个角落的时候，打开这个软件对着你想了解的地方拍照，屏幕上马上会显示这个地方的有用信息，比如大楼内部的餐馆数量，订座电话，酒店信息，景点名胜的有用信息，相关YouTuBe视频，甚至其他网友发布上去的有关信息等等
[0005]以上介绍的户外增强现实系统均采用GPS、罗盘等技术对用户位置进行定位，然后实现虚拟物体的显示。然而物理传感器通常存在刷新频率和定位精度较低的问题，定位的准确性和实时性都存在问题，特别是在天气比较恶劣的情况下，定位的精度误差较大，影响了基于位置的增强现实应用的整体性能。
【发明内容】
[0006]有鉴于此，本发明的主要目的针对移动终端处理器的计算能力和存储器的容量不如PC机的强大，同时户外环境范围大、场景数量多的特点，提出了一种适用于移动终端的户外增强现实无标志点跟踪注册方法。
[0007]实现本发明的技术方案如下:
[0008]一种适用于移动终端的户外增强现实无标志点跟踪注册方法，主要包括训练准备阶段和跟踪注册阶段，具体步骤为:
[0009]训练准备阶段:
[0010]①针对每一个样本场景都获取一用于表达该场景的样本图像，并获取样本图像对应场景的GPS信息和终端采集样本图像时的重力方向；
[0011]②提取每一样本图像在不同尺度下的全局特征描述符矩阵，并提取样本图像上各特征点的梯度主方向；然后将样本图像分成多个子区域，针对每一子区域计算其梯度方向和重力方向的夹角；
[0012]③以GPS信息为索引，建立各场景样本图像的全局特征描述符矩阵的索引表；
[0013]跟踪注册阶段:
[0014]④移动终端采集当前场景的待匹配图像，并获取当前场景的GPS信息和移动终端采集图像时的重力方向信息；
[0015]⑤利用边缘检测算法对待匹配图像进行特征点检测，并计算所检测到的各特征点的梯度主方向；然后针对待匹配图像，提取其在不同尺度下的全局特征描述符矩阵；
[0016]⑥将待匹配图像均匀分成多个子区域，针对每一子区域计算其边缘特征点的梯度方向，再基于所述重力方向信息计算重力方向与各梯度方向的夹角；
[0017]⑦从样本图像库索引表中选取与待匹配图像的GPS信息最近的GPS信息对应的链表，将待匹配图像不同尺度的特征描述符矩阵与该链表中的样本图像不同尺度特征描述符矩阵进行匹配，选取相似度最高的样本图像，将其定义为关键帧图像；
[0018]⑧将待匹配图像局部特征点和关键帧图像上局部特征点进行匹配，并计算所有匹配点对的梯度方向与重力方向夹角的差值，设定一个阈值为θ α，将夹角的差值小于θ α的匹配点对保留下来；
[0019]⑨对步骤⑧中保留下来的匹配点对，运用PROSAC算法进行几何一致性校验，剔除误匹配的匹配点对；然后基于当前剩下的匹配点对计算待匹配图像相对于关键帧图像的单应矩阵，再利用所述单应矩阵计算移动终端的位姿矩阵[R It]，基于位姿矩阵[R|t]实现对 关键帧图像的跟踪注册。
[0020]进一步地，本发明在步骤⑤特征点检测之前，对待匹配图像进行降采样处理。
[0021]进一步地，本发明在步骤⑤特征点检测完成后，在待匹配图像上选取一中心点，计 算中心点的梯度方向，并将待匹配图像绕中心点逆时针旋转到该梯度方向下；后续步骤皆 为在旋转后的图像上进行的。
[0022]有益效果
[0023](1)在本发明中通过在样本库的建立过程中，建立样本图像不同尺度(相当于即金 字塔尺度）矩阵特征描述符和当前场景的待匹配图像的不同尺度空间矩阵特征描述符，然 后将两者进行矩阵匹配，寻找相似图像，提高了匹配的准确性和鲁棒性。
[0024](2)本发明中引入了地理位置GPS信息的约束，建立区域场景的聚类中心坐标的 GPS值为链表的索引，在很大程度上缩小了基于视觉方法的场景识别的检索范围，因此进一 步缩短了后续场景识别过程的处理时间，实现了较高的场景识别率。
[0025](3)本发明中运用重力方向与边缘特征的梯度主方向的夹角，对匹配点进行过滤， 再利用场景的不同视图之间的几何一致性关系来剔除误匹配点对，确保了无标跟踪注册的 鲁棒性，又满足了增强现实对于跟踪注册的快速、准确的要求。
【专利附图】
【附图说明】
[0026]图1为本发明中移动终端上的户外增强现实无标注册算法流程图；
[0027]图2为本发明中图像不同尺度的边缘特征示意图；
[0028]图3为本发明中边缘特征的梯度主方向与重力方向的夹角示意图；
[0029]图4为本发明中图像边缘特征的全局描述矩阵结构图；
[0030]图5为本发明中室外场景样本图像的边缘特征向量的索引结构图。
【具体实施方式】
[0031]下面将结合附图对本发明的跟踪注册方法做详细描述。
[0032]如图1所示，本发明适用于移动终端的户外增强现实无标志点跟踪注册方法，主 要包括训练准备阶段和跟踪注册阶段，具体步骤为：
[0033]训练准备阶段：
[0034]①针对每一个样本场景都获取一用于表达该场景的样本图像，并获取样本图像对 应场景的GPS信息和终端采集样本图像时的重力方向；
[0035]一般来说可以按场景获取图像，例如从智能手机或者带GPS、重力传感的摄像机等 图像采集设备实地拍摄，每个场景从不同角度获取几幅样本图像，场景的GPS信息就是样 本图像的GPS信息。
[0036]②提取每一样本图像在不同尺度下的全局特征描述符矩阵；为了提高后续待匹配 图像与样本图像之间匹配的准确性，在本发明中，提取样本图像上各特征点的梯度主方向； 然后将样本图像分成多个子区域，针对每一子区域计算其梯度方向和重力方向的夹角；如 图3所示。将所述各特征点的梯度主方向和所述夹角作为后续进一步匹配的条件，这样可 以大大提高匹配的准确性。[0037]③对场景的GPS值进行聚类，即找出各场景所属区域的GPS信息，建立以GPS信息为索引特征链表，将样本图像的特征描述符矩阵、夹角及子区域梯度主方向，存储到距离自己最近GPS信息的链表中，如图5所示，在图5的链表中，每ー索引节点对应ー个样本图像，在每一索引所指向的后续表格用于存储样本图像的相关信息，在本发明中用于存储样本图像的特征描述符矩阵、夹角及子区域梯度主方向，同时还可以存储样本图像的ID、边缘特征位置坐标等等。
[0038]跟踪注册阶段:
[0039]SI:用户打开移动终端(可以为智能手机)的拍摄设备，移动终端采集当前场景的待匹配图像；再调用移动终端的GPS传感器和重力传感器接ロ，获取移动终端采集图像时的重力方向イM息和当如场景的GPSイg息。
[0040]S2:为了降低运算量，終端对采集到的待匹配图像进行降采样处理(即降低图像分辨率)，将图像分辨率统ー降为320X240 ;然后采用Sobel边缘检测算法对待匹配图像的进行特征点检测，获得待匹配图像的边缘特征点，并计算各边缘特征点的梯度主方向。
[0041]户外环境中的场景复杂，不同场景所具有的典型特征各不相同。例如建筑物、车辆等物体的边缘特征要较 其纹理特征更为明显。因此若要用纹理特征区分边缘特征比较丰富的图像可能效果欠佳。纹理特征通常用图像中以特征点为中心的图像块来表示。本发明提取边缘特征点采用目前较为常用的Sobel边缘检测，能有效的抑制噪声，快速确定边缘的位置。在使用Sobel边缘算子时，首先建立图像的金字塔尺度空间，设尺度抽样层的图像为
I(X，y; O ),在姆ー层使用5x5的高斯核和Sobel算子沿着x和y方向计算图像ー阶近似的梯度VI(x,y; a)，选择局部梯度值最大的像素，并且满足该梯度值大于一个阈值Q1的点为边缘特征点，一般0 !设为50 ;然后，将同一尺度的边缘特征，按梯度值进行降序排列，边
缘特征点的梯度主方向设为0通过arctan 获得。
[0042]S3:选取一中心点，计算中心点的梯度方向，将待匹配图像绕中心点旋转到该梯度方向下；中心点选取的原则是:在原始图像层(原始图像就是没有进行任何的高斯平滑处理的图像)中选取边缘特征点的16 O邻域内存在的其它边缘特征点的个数最多的边缘像素点为中心点，其中0表示高斯平滑的尺度參数，值越大图像就越模糊，它模拟了人的眼睛，当人离物体越近看到的东西就越清晰，离得越远看到的东西就越模糊，O的大小代表了模糊程度。
[0043]S4:针对S3旋转后的待匹配图像，提取其不同尺度下的全局特征描述符矩阵，如图2所示。
[0044]本实施例中提取不同尺度下的全局特征描述符矩阵采用现有技术实现，下面对某一尺度下全局特征描述符矩阵的提取方法进行简单说明:
[0045]将待匹配图像分割成均匀的子区域，针对每一子区域计算梯度值最大的像素点，并计算该像素点的梯度方向；然后将梯度方向量化为8bit的梯度向量，并将所有子区域对应的梯度向量链接生成全局特征描述符矩阵对待匹配图像进行表示。例如，在图4所示的待匹配图像中，一共分割成RXR个子区域，子区域大小是SubXSub，图像区域大小是RSubXRSub,区域中心点是(x, y, Orientation)。
[0046]设梯度方向角为r，量化的位数为B，C(r)为子区域的量化的向量并且属于{0，1}B，Ci (r)为C向量中第i个元素，具体量化公式如下:
【权利要求】
1.一种适用于移动终端的户外增强现实无标志点跟踪注册方法，其特征在于，主要包 括训练准备阶段和跟踪注册阶段，具体步骤为:训练准备阶段:①针对每一个样本场景都获取一用于表达该场景的样本图像，并获取样本图像对应场 景的GPS信息和终端采集样本图像时的重力方向；②提取每一样本图像在不同尺度下的全局特征描述符矩阵，并提取样本图像上各特征 点的梯度主方向；然后将样本图像分成多个子区域，针对每一子区域计算其梯度方向与所 述重力方向的夹角；③以GPS信息为索引，建立各场景样本图像的全局特征描述符矩阵的索引表；跟踪注册阶段:④移动终端采集当前场景的待匹配图像，并获取当前场景的GPS信息和移动终端采集 图像时的重力方向信息；⑤利用边缘检测算法对待匹配图像进行特征点检测，并计算所检测到的各特征点的梯 度主方向；然后针对待匹配图像，提取其在不同尺度下的全局特征描述符矩阵；⑥将待匹配图像均匀分成多个子区域，针对每一子区域计算其边缘特征点的梯度方 向；再基于所述重力方向信息计算重力方向与各梯度方向的夹角；⑦从样本图像库的索引表中选取与待匹配图像的GPS信息最近的GPS信息对应的链 表，将待匹配图像不同尺度的特征描述符矩阵与该链表中的样本图像不同尺度的特征描述 符矩阵进行匹配，选取相似度最高的样本图像，将其定义为关键帧图像；⑧将待匹配图像局部特征点和关键帧图像上局部特征点进行匹配，并计算所有匹配点 对的梯度方向与重力方向夹角的差值，设定一个阈值为9 a，将夹角的差值小于9 a的匹配 点对保留下来；⑨对步骤⑧中保留下来的匹配点对，运用PROSAC算法进行几何一致性校验，剔除误匹 配的匹配点对；然后基于当前剩下的匹配点对计算待匹配图像相对于关键帧图像的单应矩 阵，再利用所述单应矩阵计算移动终端的位姿矩阵[R It]，基于位姿矩阵[R|t]实现对关键 帧图像的跟踪注册。
2.根据权利要求1所述适用于移动终端的户外增强现实无标志点跟踪注册方法，其特 征在于，在步骤⑤特征点检测之前，对待匹配图像进行降采样处理。
3.根据权利要求1或2所述适用于移动终端的户外增强现实无标志点跟踪注册方法， 其特征在于，在步骤⑤特征点检测完成后，在待匹配图像上选取一中心点，计算中心点的梯 度方向，并将待匹配图像绕中心点逆时针旋转到该梯度方向下；后续步骤皆为在旋转后的 图像上进行的。
【文档编号】G06F17/30GK103530881SQ201310483333
【公开日】2014年1月22日 申请日期:2013年10月16日 优先权日:2013年10月16日
【发明者】桂振文, 刘越, 王涌天 申请人:北京理工大学