基于快速定位图像尺度和区域的三维跟踪方法及系统的制作方法
【技术领域】
[0001] 本发明涉及计算机视觉技术领域，特别涉及一种基于快速定位图像尺度和区域的 二维跟踪方法。
【背景技术】
[0002] 三维跟踪技术可以应用到虚拟现实，增强现实等热门领域中，其中，对二维平面自 然图像进行三维跟踪是非常重要的一个方向。随着近几年移动设备的性能的快速发展，移 动增强现实技术也取得了快速的发展。一方面，移动设备在计算能力，存储能力和续航能力 等方面相比PC端存在着比较大的差距。另一方面，移动设备具有更好的便携性，并且配备 了更多的传感设备，例如GPS，加速计，陀螺仪等。这些传感设备使得移动设备可以从外界获 得更多的方位和移动信息。由于移动设备具有这样的优缺点，人们在移动设备上实现了三 维跟踪算法，并对算法进行了计算上的优化，使得三维跟踪系统可以在移动设备上流畅的 运行。
[0003] 传统的二维图像进行三维跟踪算法大体可以分为两个阶段，预处理阶段和实时跟 踪阶段，预处理阶段从模板图像中提取特征点，并存放在一个特征点数组中。传统的三维跟 踪算法为了实现特征的尺度不变性，对模板图像构建金字塔结构，对不同的尺度图像分别 提取特征点。提取特征点之后，将各个不同尺度图像上提取到的特征点保存在一个特征点 数组中。在实时跟踪阶段，对获取到的每一帧屏幕图像提取特征点，并与预处理阶段得到的 模板特征点数组进行特征匹配，进而计算摄像机位姿。
[0004] 传统的二维图像跟踪算法都是将模板图像上提取到的特征点保存在一个数组中， 没有按照特征点在模板上出现的位置和尺度分别存放管理。所以在实时跟踪过程中，屏幕 图像特征点需要与模板图像上各尺度下的整个图像的特征点进行匹配。由于实现尺度不变 性需要对模板图像构建尺度金字塔，并对不同尺度的图像分别提取特征点，会进一步降低 三维跟踪的效率，所以很多传统的算法都因为效率原因没有加入尺度不变性。一些算法加 入了尺度不变性，但是以降低了系统效率为代价。在实际中，屏幕图像可能只会与模板图像 的某个尺度或某个区域匹配成功。其余的大部分特征匹配都是无效的。这无疑浪费了大量 的计算资源。
【发明内容】
[0005] 本发明的目的旨在解决上述的技术缺陷。
[0006] 为此，本发明的一个目的在于提出一种基于快速定位图像尺度和区域的三维跟踪 方法。该方法具有三维跟踪速度快的优点。
[0007] 本发明的另一个目的在于提出一种基于快速定位图像尺度和区域的三维跟踪系 统。
[0008] 为了实现上述目的，本发明的第一方面的实施例公开了一种基于快速定位图像尺 度和区域的三维跟踪方法，包括以下步骤：获取模板图像，并根据所述模板图像构建尺度金 字塔；从所述尺度金字塔中每一尺度下的图像中提取第一特征点；对所述尺度金字塔中每 一尺度下的图像进行区域划分，并根据区域信息和区域对应的第一特征点生成关键帧数据 结构；利用摄像机采集屏幕图像；从所述屏幕图像中提取第二特征点；估计所述摄像机的 位姿，并判断位姿的估计值是否正确；如果正确，则将关键帧区域边界投影到所述屏幕图像 上；根据关键帧投影到所述屏幕图像上的投影结果选择候选关键帧序列；根据所述屏幕图 像的第二特征点和所述候选关键帧序列的第一特征点进行特征点的匹配；根据特征点的匹 配结果得到单应性矩阵；根据所述单应性矩阵计算所述摄像机的位姿。
[0009] 另外，根据本发明上述实施例的基于快速定位图像尺度和区域的三维跟踪方法还 可以具有如下附加的技术特征：
[0010] 在一些示例中，在判断所述位姿的估计值是否正确之后，还包括：如果所述位姿的 估计值不正确，则采用传统方法计算所述摄像机的位姿。
[0011] 在一些示例中，根据以下公式选择候选关键帧序列，其中，所述公式为：
[0012]
【主权项】
1. 一种基于快速定位图像尺度和区域的三维跟踪方法，其特征在于，包括以下步骤： 获取模板图像，并根据所述模板图像构建尺度金字塔； 从所述尺度金字塔中每一尺度下的图像中提取第一特征点； 对所述尺度金字塔中每一尺度下的图像进行区域划分，并根据区域信息和区域对应的 第一特征点生成关键帧数据结构； 利用摄像机采集屏幕图像； 从所述屏幕图像中提取第二特征点； 估计所述摄像机的位姿，并判断位姿的估计值是否正确； 如果正确，则将关键帧区域边界投影到所述屏幕图像上； 根据关键帧投影到所述屏幕图像上的投影结果选择候选关键帧序列； 根据所述屏幕图像的第二特征点和所述候选关键帧序列的第一特征点进行特征点的 匹配； 根据特征点的匹配结果得到单应性矩阵； 根据所述单应性矩阵计算所述摄像机的位姿。
2. 根据权利要求1所述的基于快速定位图像尺度和区域的三维跟踪方法，其特征在 于，在判断所述位姿的估计值是否正确之后，还包括： 如果所述位姿的估计值不正确，则采用传统方法计算所述摄像机的位姿。
3. 根据权利要求1所述的基于快速定位图像尺度和区域的三维跟踪方法，其特征在 于，根据以下公式选择候选关键帧序列，其中，所述公式为：
其中，所述〇为所述屏幕图像和关键帧投影图像的重合因子。
4. 根据权利要求1-3任一项所述的基于快速定位图像尺度和区域的三维跟踪方法，其 特征在于，在所述利用摄像机采集屏幕图像之后，还包括： 获取前一帧图像的特征点集； 根据所述前一帧图像的特征点集，利用光流算法求解所述屏幕图像与模板图像匹配的 特征点； 根据所述匹配特征点得到单应性矩阵； 根据所述单应性矩阵计算所述摄像机的位姿。
5. -种基于快速定位图像尺度和区域的三维跟踪系统，其特征在于，包括： 尺度金字塔生成模块，用于根据模板图像构建尺度金字塔； 特征点提取模块，用于从所述尺度金字塔中每一尺度下的图像中提取第一特征点，并 从屏幕图像中提第二特征点； 关键帧生成模块，用于对所述尺度金字塔中每一尺度下的图像进行区域划分，并根据 区域信息和区域对应的第一特征点生成关键帧数据结构； 位姿估计模块，用于估计所述摄像机的位姿，并判断位姿的估计值是否正确； 关键帧投影模块，用于在所述位姿估计模块估计的位姿的估计值正确时，将关键帧投 影到所述屏幕图像上； 候选关键帧序列获取模块，用于根据关键帧区域边界投影到所述屏幕图像上的投影结 果选择候选关键帧序列； 特征点匹配模块，用于根据所述屏幕图像的第二特征点和所述候选关键帧序列的第一 特征点进行特征点的匹配； 位姿计算模块，用于根据特征点的匹配结果得到单应性矩阵，并根据所述单应性矩阵 计算所述摄像机的位姿。
6. 根据权利要求5所述的基于快速定位图像尺度和区域的三维跟踪系统，其特征在 于，所述位姿估计模块还用于：在判断所述位姿的估计值不正确时，采用传统方法计算所述 摄像机的位姿。
7. 根据权利要求5所述的基于快速定位图像尺度和区域的三维跟踪系统，其特征在 于，所述候选关键帧序列获取模块根据以下公式选择候选关键帧序列，其中，所述公式为：
其中，所述〇为所述屏幕图像和关键帧投影图像的重合因子。
8. 根据权利要求5-7任一项所述的基于快速定位图像尺度和区域的三维跟踪系统，其 特征在于，还包括： 获取前一帧图像的特征点集； 根据所述前一帧图像的特征点集，利用光流算法求解所述屏幕图像与模板图像匹配的 特征点； 根据所述匹配特征点得到单应性矩阵； 根据所述单应性矩阵计算所述摄像机的位姿。
【专利摘要】本发明提供一种基于快速定位图像尺度和区域的三维跟踪方法及系统，该方法包括：根据模板图像构建尺度金字塔；从金字塔中提取第一特征点；对金字塔中每一尺度下的图像进行区域划分，并根据区域信息和区域对应的第一特征点生成关键帧数据结构；从屏幕图像中提取第二特征点；估计摄像机的位姿，将关键帧区域边界投影到屏幕图像上；根据投影结果选择候选关键帧序列；根据屏幕图像的第二特征点和候选关键帧序列的第一特征点进行特征点的匹配；根据特征点的匹配结果计算摄像机的位姿。本发明实施例的方法具有三维跟踪速度快的优点。
【IPC分类】G06T7-00, G06T17-00
【公开号】CN104778697
【申请号】CN201510172547
【发明人】孙延奎, 赵奇可
【申请人】清华大学
【公开日】2015年7月15日
【申请日】2015年4月13日