一种面向室内场景的移动增强现实方法
【技术领域】
[0001] 本发明涉及计算机技术应用领域，具体涉及一种面向室内场景的移动增强现实方 法。
【背景技术】
[0002] 增强现实（Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及 角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行 互动，相比于虚拟现实，增强现实结合真实环境与虚拟物体进行真实世界的增强，而不是构 建一个完全虚拟的世界。这种技术由1990年提出。随着智能移动终端的广泛普及，增强现 实在移动平台中也有着越来越多的研究与应用。
[0003] 增强现实主要通过计算机视觉等技术将虚拟物体融合在真实环境中，从而达到超 越现实体验的目的。相比于虚拟现实，增强现实的目标是结合真实环境与虚拟物体得以进 行真实世界的增强，而不是构建一个完全虚拟的世界。
[0004] 随着智能移动终端的广泛普及，增强现实在移动平台中也有着越来越多的研究与 应用。现阶段的移动增强现实技术主要是通过智能移动终端（例如手机、平板电脑等），在 真实环境中显示数字对象并进行交互操作等。
[0005] 移动增强现实可以充分利用移动平台的特性，生成移动多模态数据，从而更好地 在增强现实技术中发挥优势。相机运动跟踪技术是移动增强现实中的核心技术之一，其中 基于视觉的运动跟踪方法由于成本低、适用性强，已经成为现阶段主流的运动跟踪技术，这 种跟踪方法需要对真实环境所获取的图像进行分析，并根据图像特征得到相机所在的方位 信息，从而将数字对象准确地叠加到真实环境中，按照图像中是否含有标志物将基于视觉 的运动跟踪分为基于人工标志的运动跟踪以及基于自然特征的运动跟踪两类。
[0006] 基于人工标志的运动跟踪通过人工标志物为场景提供更为准确的图像信息，这种 方法在实际的应用中存在一定的弊端，当人工标志物在真实场景中发生遮挡时容易出现因 无法准确估计相机位置而导致运动跟踪不稳定的情况，而且该方法在图像检测时用固定阈 值进行二值化，容易受光线变化的影响。作为一种改进的技术通过将人工标志物制作成与 真实环境相近的颜色，将其放在真实空间的角落作为标记元素，通过标记元素的组合成为 标记单元，从而能够减弱人工标志物的突兀感，减弱了人工标志物对用户视觉感官的影响。 就整体而言，尽管图像中的人工标志物可以降低真实场景的纹理特征要求，在一些图像特 征较少的环境中可以得到相对稳定的相机位置运动跟踪，但是在一些特定的场景中人工标 志物容易与周围环境产生相对不和谐的情况，减弱了增强现实的沉浸感，因此在增强现实 领域出现了许多基于自然特征的运动跟踪技术研究。自然特征的运动跟踪技术采用相机运 动的过程中扩展真实场景中新的自然特征，从而更新相机位置，这样可以在因相机运动而 没有最初自然特征的情况下，依旧可以进行运动跟踪。总而言之，无论是基于人工标志还 是基于自然特征，我们都需要在相机实时运动跟踪时根据输入的图像获取特征信息，如常 见的点特征、线特征等，对这些图像特征进行提取和匹配，为相机实时运动跟踪提供重要基 础。
[0007] 根据所需的图像特征可以将基于自然特征的相机运动跟踪主要分为基于点特征 的运动跟踪和基于线特征的运动跟踪两大类。基于点特征的运动跟踪是增强现实中最常用 的一种图像特征，通过提取图像的特征点，与运动跟踪技术结合，在增强现实领域得到了大 量的应用，其中 Harris 特征点、FAST(Features from Accelerated Segment Test)特征点 以及SIFT(Scale-Invariant Feature Transform)特征点等都是较为经典的图像特征点。
[0008] 基于线特征的运动跟踪是除过图像的点特征以外，在真实世界中还具有大量的直 线、曲线等图像特征，特别是在人造建筑等场景环境中，这些特征通常出现在图像的一个物 体表面到另一个物体表面边界上，从而形成颜色、光亮等突变的边缘。通过一些边缘检测算 子与图像做卷积便可得到图像的边缘强度信息，如用Sobel算子、Roberts算子等实现灰度 图像的边缘检测。
[0009] 移动增强现实与基于普通计算机平台的增强现实技术不同，由于受到移动终端计 算能力的制约，目前移动增强现实中或采用基于人工标记的相机运动跟踪，或仅采用简单 特征点作为场景特征描述。但是由此带来的直接问题是，当物理环境中的特征点比较少时， 极容易出现相机跟踪不稳、运动漂移等问题；而如果直接采用特征边作为特征描述，则往往 由于相机参数求解计算量过大而导致实时性不能得到保证。
【发明内容】
[0010] 本发明的主要目的在于提供一种面向室内场景的移动增强现实方法，能够在移动 平台上相机实时运动跟踪的稳定性和计算实时性之间取得良好平衡，从而获得移动增强现 实中稳定可信的虚实融合效果，有效应对移动增强现实中相机运动跟踪计算实时性与相机 运动跟踪稳定性之间的矛盾。
[0011] 为达到以上目的，本发明采用的技术方案为：
[0012] -种面向室内场景的移动增强现实方法，包括以下步骤：特征点的提取和优化、特 征线的提取和优化、迭代式特征线的筛选、混合特征构造、混合特征匹配、相机位置参数反 求与虚实融合绘制；所述的特征点的提取、特征线的提取是通过借助移动终端的摄像头获 取场景的实时图像序列；所述的特征点的提取和优化基于FAST角点作为特征点进行提取， 并利用Shi和Tomasi算法对所得到的特征点进行优化。
[0013] FAST角点检测中，对图像的候选角点c的灰度值记为fc，并选择以c为中心、3个 像素为半径的离散化Bresenham圆作为角点提取的圆形窗口模板；对该模板边缘像素点进 行顺时针依次编号为1-16,并设像素灰度值为fp，其中1彡p彡16 ;当这16个像素点的其 中η个像素值，fc与fp的差值都超过所设定的某一个阈值，则将该像素点c作为图像中的 一个FAST角点，将η取为10,遍历图像中的像素点可提取当前帧所有通过FAST检测计算得 出的特征点。
[0014] 对于灰度图像I，通过图像窗口 w(x，y)平移[u, V]后得到灰度变化E(u, V)，公式 如下：
[0015] 而图像中的像素点可以利用二阶导数得到图像的自相关矩阵M : CN 105184825 A 说明书 3/8 页
[0016] 在自相关矩阵M的两个特征值（λ〇, λ?)中，当其中较小的一个特征值大于所设 定阈值时，可得到该特征值所对应的特征点，对图像的FAST角点用Shi和Tomasi方法生成 自相关矩阵M的较小特征值，并将所有角点根据特征值大小进行排序，当图像中FAST角点 的个数超过所设定阈值时，按照特征值排序选取不少于30个角点作为后续跟踪所需的特 征点。
[0017] 进一步的，所述的特征线的提取和优化通过Canny算子进行图像边缘检测，再利 用Hough算法提取图像中的特征线。
[0018] Canny算子首先通过高斯滤波对灰度图像进行平滑处理，在图像中通过像素值的 领域加权平均值，去除高斯噪声得到平滑处理后的灰度图像I，然后通过一阶微分得到灰度 图像I各像素的梯度幅值和方向；在获得梯度幅值G(i，j)以及梯度方向Θ (i，j)后进行非 极大值抑制，将图像中的像素值（i，j)邻域沿Θ (i，j)插值，当该点G(i，j)大于插值点时， 将像素值（i，j)作为候选边缘点，最后通过双阈值法删选出候选边缘点得到图像边缘。
[0019] Hough算法中，点线变换时将平面转化为参数空间，其直线X-Y构成的平面转化为 参数空间，其直线极坐标方程为： P=x cos Θ +y sin θ,ρ ^：〇,〇^Ξ θ
[0020] 其中P为图像空间中直线到坐标原点的距离，θ为直线与χ轴正向的夹角，在当 前帧图像中设像素坐标为（x，y)，将ρ-θ参数空间细分为多个累加器单元，将图像平面的 第i个像素点（xi，yi)通过上述方程转换到p - θ参数空间，并将对应的累加器单元加1， 图像上的一条直线映射到参数空间中即为累加器的局部极大值，找出图像平面中共线像素 点的累加器局部极大值，得到该图像共线点直线的参数，提取出当前帧中的特征线。
[0021] 以特征线的长度为标准，通过一定的阈值筛选出所需的长边结构的特征线，依据 特征线长度进行特征线的初始优化；在进行场景分析的基础上，对筛选后的线特征进行横 向水平、竖向垂直结构优化；对场景中的斜线进行过滤，仅保留图像特征线中的横线以及竖 线；对于当前帧图像的特征线L(P1，P2)，其中Pl(xl，y2)和P2(x2，y2)为其两个端点，则特 征线为横线