基于图像特征匹配的增强现实的系统和方法
【专利摘要】本发明涉及一种基于图像特征匹配的增强现实的系统和方法。其利用图像的自然特征信息处理图像的匹配技术，实现多模板的无标识增强现实技术。在特征点匹配过程中使用了去误匹配算法，提高了图像匹配的准确性；利用corse-to-fine策略，两次提取特征参数的方法；匹配失败或者跟踪失败时，系统只需执行粗特征提取，提高了系统的执行速度；在目标图像与标识图像特征点匹配过程中，利用跟踪算法由当前匹配的特征点估计下一帧的匹配特征点位置，得到变化稳定的特征点对，保证模型显示的稳定性，提高了用户体验感。
【专利说明】基于图像特征匹配的增强现实的系统和方法
【技术领域】
[0001] 本发明涉及增强现实的系统和方法，尤其涉及一种基于图像特征匹配的增强现实 的系统和方法。
【背景技术】
[0002] 增强现实借助计算机图形技术和可视化技术生成现实环境中不存在的虚拟对象， 并通过图像识别定位技术将虚拟对象准确"放置"在真实环境中，借助显示设备将虚拟对象 与真实环境融为一体，并呈现给使用者一个真实的视觉感受。增强现实技术利用标识物建 立虚拟三维空间，标识物在虚拟空间与现实空间之间起到连接的作用。根据标识物类别目 前分为有标识（Marker)增强现实技术和无标识（Markless)增强现实技术两类。相比于 有标识的增强现实技术，无标识的增强现实技术利用识别模板图像本身的内容进行识别， 这样可以避免人为的标记对真实感的破坏，并且识别准确性会更好。缺点则是，目标的跟 踪与识别的技术变得复杂，稳定性降低。在无标识增强现实技术中，利用图像的随机厥特 征（RandomFern)进行图像识别与姿态估计，可以得到较好的跟踪与识别效果。然而，由于 随机厥特征计算复杂，特征数据量很大，在多个模板的无标识的AR应用中具有很大的局限 性，尤其是当标识数量达到几十甚至上百数目时候。图像的0RB特征相较于随机厥特征，在 图像特征表示方面具有同样的理想效果，0RB特征具有尺度不变性与旋转不变性，并且比随 机厥特征计算简单，数据量小。然而，图像的0RB特征计算具有一定的随机性，就是说，对相 同图像计算0RB特征，得到的特征在图像上位置分布具有随机性，这种差异使得0RB特征在 图像识别方面稳定性较差。201310208905. 3涉及利用图像捕获和识别技术实现增强现实的 方法，其公开了可行的图像捕获与匹配方案，但是直接进行特征匹配，数据处理量大，系统 响应慢。
【发明内容】
[0003] 本发明要解决的技术问题在于提出一种基于图像特征匹配的增强现实的系统和 方法，有效地解决大量图像标识识别和叠加三维模型的稳定性等问题。
[0004] 本发明的技术方案是这样实现的：
[0005] -种基于图像特征匹配的增强现实的系统，其特征在于包括：
[0006] 图像捕获单元，用于捕获目标物的目标图像；
[0007] 特征存储单元，用于存储多个特征文件的多尺度特征；
[0008] 模型存储单元，用于存储至少一个的与特征文件对应的模型；
[0009] 第一特征提取单元，用于提取目标图像的自然特征；
[0010] 第一特征匹配单元，用于分别匹配多个特征文件的特征与目标图像的特征，并查 找与目标图像最优匹配的特征文件；
[0011] 第二特征提取单元，用于进一步提取目标图像的自然特征；
[0012] 第二特征匹配单元，用于匹配最优特征文件的特征与目标图像的特征，并剔除所 述第二特征匹配单元的误匹配；
[0013] 位置标定单元，用于根据目标图像的特征匹配结果计算目标图像中目标平面与相 机平面的单应性矩阵，再利用相机标定算法计算相机内参数，由单应性矩阵以及相机内参 数，计算出目标物相对相机平面的位移与旋转；
[0014] 图像处理单元，用于根据目标物相对相机平面的旋转参数确定对应模型的对应视 角的模型；
[0015] 图像显示单元，用于根据目标物相对相机平面的平移参数在特定显示区域显示该 视角；
[0016] 特征跟踪单元，用于跟踪目标图像的特征并将该图像特征的状态反馈至第二特征 匹配单元；
[0017] 在本发明增强现实的系统中，所述特征跟踪单元根据光流法跟踪目标图像的特 征；
[0018] 在本发明增强现实的系统中，所述模型为三维模型、三维动画、二维图片或视频；
[0019] 在本发明增强现实的系统中，所述目标物为载有图像数据的二维模板。
[0020] -种基于图像特征匹配的增强现实的方法，其特征在于，包括以下步骤：
[0021] 捕获目标物的目标图像；
[0022] 提取目标图像的自然特征；
[0023] 比较已存储的多个特征文件的特征与该目标图像的特征，查找与目标图像最优匹 配的特征文件；
[0024] 进一步提取目标图像的自然特征；
[0025] 匹配最优匹配的特征文件的特征与该目标图像的特征，剔除误匹配；
[0026] 根据特征匹配结果计算目标图像中目标与相机平面的单应性矩阵，再利用相机标 定算法计算相机内参数，由单应性矩阵以及相机内参数，计算出目标物相对相机平面的位 移与旋转；
[0027] 根据目标物相对相机平面的旋转参数确定在最优特征文件对应的模型的对应视 角；
[0028] 根据目标物相对相机平面的位移参数在特定显示区域显示模型该视角；
[0029] 跟踪上述进一步提取的目标图像的特征，跟踪成功后，则对最优匹配的特征文件 的特征与特征跟踪结果的特征进行匹配，继续计算目标物的位移与旋转参数；跟踪失败则 反馈捕获目标物的目标图像。
[0030] 在本发明增强现实的方法中，根据捕获目标图像并进行跟踪目标图像特征，不断 地识别目标物的位置与三维姿态，使得模型随目标物同步运动。
[0031] 在本发明增强现实的方法中，由多个预存图像提取特征文件。
[0032] 在本发明增强现实的方法中，捕获目标物的目标图像后进行降噪、增强处理。
[0033] 实施本发明的基于图像特征匹配的增强现实的系统和方法，具有以下有益效果： 利用图像的自然特征信息处理图像的匹配问题，在特征点匹配过程中使用了去误匹配算 法，提高了图像匹配的准确性；采用两次提取特征参数的方法，匹配失败或者跟踪失败时， 系统只需执行粗特征提取，提高了系统的执行速度；在目标图像与标识图像特征点匹配过 程中，利用跟踪算法由当前匹配的特征点估计下一帧的匹配特征点位置，得到变化稳定的 特征点对，保证模型显示的稳定性，提高了用户体验感。
【专利附图】
【附图说明】
[0034] 图1为本发明的基于图像特征匹配的增强现实的系统的示意图；
[0035] 图2为本发明的基于图像特征匹配的增强现实的方法的流程图；
[0036] 图3为在剔除误匹配之前，最优匹配的特征文件与该目标图像的匹配结果；
[0037] 图4为在剔除误匹配之后，最优匹配的特征文件与该目标图像的匹配结果；
[0038] 图5为模板对应于注册三维模型的显示图像的一种视角；
[0039] 图6为图5的三维显示图像的另一视角。
【具体实施方式】
[0040] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述。
[0041] 如图1、2所示的本发明的这种基于图像特征匹配的增强现实的系统，包括：图像 捕获单元、特征存储单元、模型存储单元、第一特征提取单元、第一特征匹配单元、第二特征 提取单元、第二特征匹配单元、位置标定单元、图像处理单元、图像显示单元、特征跟踪单 J Li 〇
[0042] 图像捕获单元捕获目标物的目标图像，第一特征提取单元提取目标图像的自然特 征。特征存储单元存储多个特征文件的多尺度特征，模型存储单元存储至少一个的与特征 文件对应的模型。多尺度特征包括不同参数下的粗略的特征和精细的特征，多尺度特征的 提取方法与目标图像的自然特征的提取方法相同。第一特征匹配单元分别匹配多个特征文 件的特征与目标图像的特征，并查找与目标图像最优匹配的特征文件。第二特征提取单元 进一步提取目标图像的自然特征，该自然特征为更为精细的自然特征。第二特征匹配单元 匹配最优匹配特征文件的特征与目标图像的特征，并查找某些误匹配，剔除误匹配。位置标 定单元根据第二特征匹配单元的特征匹配结果，计算目标图像中目标平面与相机平面的单 应性矩阵，再利用相机标定算法计算相机内参数，由单应性矩阵以及相机内参数，计算出目 标物相对相机平面的位移与旋转。图像处理单元根据目标物相对相机平面的旋转参数确定 对应模型的对应视角的模型，该模型为模型存储单元存储的与最优匹配的特征文件对应的 模型。图像显示单元根据目标物相对相机平面的位移在特定显示区域显示该视角。至此完 成模型注册。
[0043] 为了提高人机交互能力，要求目标物的运动，模型的视角也应发生变化。特征跟踪 单元根据光流法跟踪目标图像的特征，并将该图像特征的状态反馈至第二特征匹配单元。 特征跟踪单元在跟踪过程中判断目标图像的特征下一帧状态。不需要重新计算各个特征点 的位置，提高了特征匹配速度和模型注册速度。
[0044] 所述模型为三维模型、三维动画、二维图片或视频。所述目标物为载有图像数据的 二维模板。
[0045] 一种基于图像特征匹配的增强现实的方法，包括以下步骤：捕获目标物的目标图 像，降噪、增强处理；提取目标图像的自然特征；比较已存储的多个特征文件的特征与该目 标图像的特征，查找与目标图像最优匹配的特征文件；进一步提取目标图像的自然特征； 比较最优匹配的特征文件的特征与该目标图像的特征，剔除误匹配；根据第二特征匹配单 元的特征匹配结果，计算目标图像中目标平面与相机平面的单应性矩阵，再利用相机标定 算法计算相机内参数，由单应性矩阵以及相机内参数，计算出目标物相对相机平面的位移 与旋转；根据目标物相对相机平面的旋转参数确定在最优特征文件对应的模型的对应视 角；根据目标物相对相机平面的位移参数在特定显示区域显示模型该视角；跟踪上述进一 步提取的目标图像的特征，跟踪成功则匹配最优匹配的特征文件的特征与特征跟踪的结果 的预测特征，继续计算目标物的位移与旋转参数；跟踪失败则反馈捕获目标物的目标图像； 根据捕获目标图像并进行跟踪目标图像特征，不断地识别目标物的位置与三维姿态，使得 模型随目标物同步运动。
[0046] 特征文件由多个预存图像提取出来，特征文件中含有预存图像不同尺度下的多尺 度特征。如果寻找到的最优匹配模板与目标图像匹配的特征点数目小于预设的阈值，可以 认为匹配失败，重新捕获目标图像。如果跟踪失败，即追踪到的特征数量小于阈值，可以认 为跟踪失败，重新捕获目标图像。利用多线程处理技术，最优匹配特征搜索与目标物位移旋 转参数计算分开处理，采用coarse-to-fine策略解决了算法实时性与算法有效性的平衡问 题。在第一次匹配失败时，不进行第二次匹配，降低了系统运行负荷。
[0047] 图3和图4显示了剔除误匹配前后的特征匹配图。模板1上的特征通过人为连线 的方式对应至显示界面2上的特征，图3存在不正确匹配的特征，图4剔除不正确匹配关 系。图5、6显示了注册三维模型后的增强现实，显示界面在模板上注册三维模型，并随模板 的运动而显示模型的不同视角。
[0048] 本发明具体可以采下述步骤实施。
[0049] 步骤1，获取目标图像T，计算其自然特征。
[0050] 对目标图像T，计算其角点特征，特征包括特征点Κτ以及特征描述算子DT。
[0051] 步骤2,计算每个模板图像Mk, k e {1，2, · · ·，η}的多尺度自然特征。
[0052] 计算每个模板图像Mk，k e {1，2, . . .，η}的特征点和特征描述子，其中，η 是模板图像的个数。
[0053] 步骤3,求解出模板图像％，其中模板图像吣与目标图像Τ的特征匹配最优。
[0054] 利用特征匹配算法，对每个模板图像Mk，k e {l，2，...，n}特征与目标图像T进行 特征点匹配，得到匹配的特征点数目最多时对应的模板图像％，即模板图像％包含在目标 图像T中，此时得到模板％对应的虚拟对象Models
[0055] 步骤4,计算模板图像吣与目标图像T的精确匹配特征点。
[0056] 修改参数，计算模板图像吣的特征点Γ Mi和特征描述子D' Mi，并与目标图像T 进行特征匹配，得到精确匹配的特征点对，并对所得的匹配特征点，滤除误匹配点。
[0057] 步骤5,特征点跟踪。
[0058] 对目标图像匹配的特征点进行跟踪，下一帧利用跟踪的特征点进行特征点匹配；
[0059] 步骤6,计算模板图像吣相对相机的位移参数S和旋转参数R。
[0060] 利用新的匹配特征点计算模板图像Mi相对相机平面的单应性矩阵H，由相机标定 算法计算相机内参和外参，根据单应性矩阵Η以及相机内参数估计模板图像Mi相对相机的 位移参数S和旋转参数R。
[0061] 步骤7,注册虚拟三维模型。
[0062] 利用相机外部参数，以及模板图像％相对相机的位移参数S和旋转参数R，在目标 图像T中绘制出与模板图像吣对应的三维模型Models
[0063] 算法实际样例
[0064] 目标图像与标识图像使用StefanLeutenegger等人提出的算法计算BRISK特征， 该算法用AGAST算法进行角点检测，用BRIEF算法生成特征描述符。标识图像在3层金字 塔结构上提取特征点，特征点计算的距离阈值设为90,检测图像在原尺度上提取特征点，阈 值设置相同为90。特征点匹配时使用Hamming距离。
[0065] 表1是利用随机厥特征、0RB特征以及BRISK特征对模板图像进行特征提取和匹 配时间比较。单位为毫秒（ms)。
[0066]
【权利要求】
1. 一种基于图像特征匹配的增强现实的系统，其特征在于包括： 图像捕获单元，用于捕获目标物的目标图像； 特征存储单元，用于存储多个特征文件的多尺度特征； 模型存储单元，用于存储至少一个的与特征文件对应的模型； 第一特征提取单元，用于提取目标图像的自然特征； 第一特征匹配单元，用于分别匹配多个特征文件的特征与目标图像的特征，并查找与 目标图像最优匹配的特征文件； 第二特征提取单元，用于进一步提取目标图像的自然特征； 第二特征匹配单元，用于匹配最优特征文件的特征与目标图像的特征，并剔除所述第 二特征匹配单元的误匹配； 位置标定单元，用于根据目标图像的特征匹配结果计算目标图像中目标平面与相机平 面的单应性矩阵，再利用相机标定算法计算相机内参数，由单应性矩阵以及相机内参数，计 算出目标物相对相机平面的位移与旋转； 图像处理单元，用于根据目标物相对相机平面的旋转参数确定对应模型的对应视角的 模型； 图像显示单元，用于根据目标物相对相机平面的平移参数在特定显示区域显示该视 角； 特征跟踪单元，用于跟踪目标图像的特征并将该图像特征的状态反馈至第二特征匹配 单元。
2. 根据权利要求1所述的增强现实的系统，其特征在于，所述特征跟踪单元根据光流 法跟踪目标图像的特征。
3. 根据权利要求1所述的增强现实的系统，其特征在于，所述特征跟踪单元跟踪目标 图像特征的过程中，进行特征匹配并剔除误匹配，同时估计下一帧目标图像特征的位置。
4. 根据权利要求1所述的增强现实的系统，其特征在于，所述模型为三维模型、三维动 画、二维图片或视频。
5. -种基于图像特征匹配的增强现实的方法，其特征在于，包括以下步骤： 捕获目标物的目标图像； 提取目标图像的自然特征； 比较已存储的多个特征文件的特征与该目标图像的特征，查找与目标图像最优匹配的 特征文件； 进一步提取目标图像的自然特征； 匹配最优匹配的特征文件的特征与该目标图像的特征，剔除误匹配； 根据特征匹配结果计算目标图像中目标与相机平面的单应性矩阵，再利用相机标定算 法计算相机内参数，由单应性矩阵以及相机内参数，计算出目标物相对相机平面的位移与 旋转； 根据目标物相对相机平面的旋转参数确定在最优特征文件对应的模型的对应视角； 根据目标物相对相机平面的位移参数在特定显示区域显示模型该视角； 跟踪上述进一步提取的目标图像的特征，跟踪成功则匹配最优匹配的特征文件的特征 与特征跟踪的结果的预测特征，继续计算目标物的位移与旋转参数；跟踪失败则反馈捕获 目标物的目标图像。
6. 根据权利要求5所述的增强现实的方法，其特征在于，根据目标图像的跟踪结果，不 断更新目标物的位置，使得模型随目标物同步运动。
7. 根据权利要求5或6所述的增强现实的方法，其特征在于，由多个预存图像提取特征 文件。
8. 根据权利要求5或6所述的增强现实的方法，其特征在于，捕获目标物的目标图像后 降噪、增强处理。
【文档编号】G06T7/00GK104050475SQ201410275712
【公开日】2014年9月17日 申请日期:2014年6月19日 优先权日:2014年6月19日
【发明者】樊晓东, 孟俊华, 唐文平, 刘家宾, 樊晓莉, 惠艳萍, 冯欣, 冯宾, 田明 申请人:樊晓东