一种ptam摄像机跟踪方法及装置的制造方法
【技术领域】
[0001 ] 本发明涉及摄像机跟踪与制图技术领域，尤其涉及一种PTAM(Parallel tracking and mapping，并行式跟踪与制图）摄像机跟踪方法及装置。
【背景技术】
[0002] SLAM(Simultaneous Localization and Mapping)，也称同步定位与制图技术，最 早由Smith、Self和Cheeseman于1988年提出。由于其重要的理论与应用价值，被很多学者认 为是实现真正全自主移动机器人的关键。SLAM问题可以描述为:机器人在未知环境中从一 个未知位置开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位 的基础上建造增量式地图，实现机器人的自主定位和导航。
[0003] 在SLAM框架中，有两个核心步骤，一个是根据场景的结构信息求取摄像机姿态，另 一个是根据求取的摄像机姿态来重建场景的三维结构。我们将第一个步骤称为跟踪，将第 二个步骤称为制图。在SLAM框架中，跟踪和制图的任务是交替进行的，跟踪依赖于制图得到 的场景结构信息，而制图反过来又依赖于跟踪求取的摄像机姿态。
[0004] 尽管在机器人领域SLAM方法已被研究多年，但直到2003年才由Andrew Davison引 入到计算机视觉领域，实现了第一个实时的基于视觉的SLAM系统。从此，SLAM方法在摄像机 姿态估计领域被广泛的研究和采用。并行式跟踪与制图（Parallel tracking and mapping，PTAM)技术将摄像机跟踪分为跟踪和制图两个独立的任务，在两个独立的线程上 分别运行，这样可以在不影响摄像机跟踪实时性的条件下，将低时间效率、高精确性的运动 求取结构（Structure From Motion，SFM)技术引入到制图的任务中，并且通过捆集调整方 法优化恢复的场景结构信息，这大幅度提高了摄像机跟踪算法的鲁棒性和精确性，同时减 轻了系统运行时每帧图像的处理时间。在PTAM的摄像机跟踪线程中，特征点匹配搜索是摄 像机姿态估计的重要环节，在PTAM技术的实现中，系统采用基于像素差平方和(SSD，Sum of Squared Differences)描述方法的匹配进行特征点匹配，但是我们发现在摄像机快速运动 或者光照变化情况下，该方法变得不可靠。
【发明内容】
[0005] 本发明实施例提供一种PTAM摄像机跟踪方法及装置，以提尚摄像机系统在摄像机 快速运动和光照变化下的跟踪能力。
[0006] -方面，本发明实施例提供了一种并行式跟踪与制图PTAM摄像机跟踪方法，所述 方法包括：
[0007] 根据摄像机输入的图像信息，获取所述摄像机在当前图像帧的估计姿态；
[0008] 根据所述摄像机在当前图像帧的估计姿态，将真实场景中已知位置的三维特征点 投影到所述摄像机的图像平面上，通过改进的独立二元鲁棒初级特征I-BRIEF算法进行特 征点匹配，计算所述摄像机在当前图像帧的实际姿态；
[0009] 利用所述摄像机在当前图像帧的估计姿态和实际姿态进行匹配，获取匹配结果；
[0010]利用所述匹配结果进行所述摄像机的姿态调整，以进行所述摄像机的图像跟踪。 [0011]另一方面，本发明实施例提供了一种并行式跟踪与制图PTAM摄像机跟踪装置，所 述装置包括：
[0012] 估计姿态获取单元，用于根据摄像机输入的图像信息，获取所述摄像机在当前图 像帧的估计姿态；
[0013] I-BRIEF算法匹配单元，用于根据所述摄像机在当前图像帧的估计姿态，将真实场 景中已知位置的三维特征点投影到所述摄像机的图像平面上，通过改进的独立二元鲁棒初 级特征I-BRIEF算法进行特征点匹配，计算所述摄像机在当前图像帧的实际姿态;利用所述 摄像机在当前图像帧的估计姿态和实际姿态进行匹配，获取匹配结果；
[0014] 姿态调整单元，用于利用所述匹配结果进行所述摄像机的姿态调整，以进行所述 摄像机的图像跟踪。
[0015] 上述技术方案具有如下有益效果:本发明实施例提出用I-BRIEF算法进行特征点 匹配，从而大大提高摄像机系统在摄像机快速运动和光照变化下这两种复杂情况下的跟踪 稳定性，具有更高的鲁棒性。
【附图说明】
[0016] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
[0017] 图1为本发明实施例一种并行式跟踪与制图PTAM摄像机跟踪方法流程图；
[0018] 图2为本发明实施例一种并行式跟踪与制图PTAM摄像机跟踪装置结构示意图；
[0019] 图3a为本发明实施例1-BRIEF算法匹配单元组成结构示意图；
[0020]图3b为本发明实施例姿态调整单元组成结构示意图；
[0021 ]图4为本发明应用实例跟踪部分的算法流程示意图；
[0022]图5为本发明应用实例给出了 PTAM进行特征点搜索匹配的示意图；
[0023]图6为本发明应用实例I-BRIEF算法计算过程示意图；
[0024]图7为本发明应用实例根据I-BRIEF算法在两组用于测试特征描述方法在图片模 糊(bikes图片序列）和光照$父暗下（light图片序列）效果的两组图片；
[0025]图8为本发明应用实例根据I-BRIEF算法在两组用于测试特征描述方法在图片模 糊(bikes图片序列）和光照较暗下（light图片序列）效果的标准测试序列上的实验结果示 意图。
【具体实施方式】
[0026]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0027]如图1所示，为本发明实施例一种并行式跟踪与制图PTAM摄像机跟踪方法流程图， 所述方法包括：
[0028] 101、根据摄像机输入的图像信息，获取所述摄像机在当前图像帧的估计姿态；
[0029] 102、根据所述摄像机在当前图像帧的估计姿态，将真实场景中已知位置的三维特 征点投影到所述摄像机的图像平面上，通过改进的独立二元鲁棒初级特征I-BRIEF算法进 行特征点匹配，计算所述摄像机在当前图像帧的实际姿态；
[0030] 103、利用所述摄像机在当前图像帧的估计姿态和实际姿态进行匹配，获取匹配结 果；
[0031] 104、利用所述匹配结果进行所述摄像机的姿态调整，以进行所述摄像机的图像跟 足示。
[0032]优选的，所述通过改进的独立二元鲁棒初级特征I-BRIEF算法进行特征点匹配的 方法，包括:输入一个以特征点为中心的图像面片;在以所述特征点为中心的预设大小的图 像面片上选取一系列的由两个像素位置组成的像素测试点对，这些测试点对组成一个测试 点对集合;在所述测试点对集合中选取一个点对，在该点对的每个点先局部平滑滤波，然后 测试比较该点对的两个像素的灰度值，获取测次结果;对所述测试点对集合中每一个点对 重复上述操作过程，然后将测试结果串联在一起，组成对所述特征点的描述符;输出所述特 征点的描述符，以根据所述描述符中的测次结果进行特征点匹配。
[0033]优选的，所述测次结果包括:暗、亮、相似，分别用二进制数01表示暗，二进制数10 表示亮，二进制数00表示相似。
[0034] 优选的，所述摄像机的姿态包括:摄像机的视角信息。
[0035] 优选的，所述利用所述匹配结果进行所述摄像机的姿态调整，以进行所述摄像机 的图像跟踪，具体包括:根据所述匹配结果中每帧图像中三维特征点在图像平面投影中特 征点匹配的正确率，估计所述摄像机的跟踪质量，根据跟踪质量进行所述摄像机的姿态调 整:如果正确匹配的正确率大于或等于预置的第一阈值，则确认跟踪质量好，不进行姿态调 整，跟踪照常进行;如果正确匹配的正确率低于预置的第一阈值且不低于预置的第二阈值， 则确认跟踪质量一般，不进行姿态调整，跟踪照常进行，但是不允许再向跟踪的图像中添加 新的关键帧，其中，所述第一阈值高于所述第二阈值;如果正确匹配的正确率低于预置的第 二阈值，则确认跟踪质