合并多个地图以用于基于计算机视觉的跟踪的系统及方法
【专利说明】合并多个地图以用于基于计算机视觉的跟踪的系统及方法
[0001]相关申请案的交叉参考
[0002]本申请案主张2013年3月14日申请的标题为“合并多个地图以用于基于计算机视觉的移动装置跟踪的系统及方法(Systems and Methods of Merging Multiple Mapsfor Computer Vis1n Based Mobile Device Tracking) ” 的第 13/830，664 号美国申请案的权益，所述美国申请案又主张2012年10月31日申请的标题为“合并多个地图以用于基于计算机视觉的移动装置跟踪的系统及方法(Systems and Methods of Merging MultipleMaps for Computer Vis1n Based Mobile Device Tracking)，，第61/720，804号美国临时申请案的权益。前述美国申请案的全文特此以引用的方式并入。
技术领域
[0003]本发明涉及无线通信、计算机视觉及扩增实境的领域。明确地说，本发明涉及合并多个地图以用于基于计算机视觉的跟踪的系统及方法。
【背景技术】
[0004]众多常规方法可用于从多个子地图产生总地图。这些常规方法将冗余子地图存储在存储器中以支持合并所述多个子地图。此类冗余子地图对于总地图的质量可能贡献不大。然而，其可消耗大量存储空间。此外，可能浪费宝贵的计算资源及时间来处理此类冗余子地图。
【发明内容】
[0005]本发明涉及合并多个地图以用于基于计算机视觉的跟踪的系统及方法。在一个实施例中，一种合并多个地图以用于基于计算机视觉的跟踪的方法包括:从至少一个移动装置接收场馆中的场景的多个地图；识别所述场景的所述多个地图的多个关键帧；以及合并所述多个关键帧以产生所述场景的全局地图。所述方法进一步包括跟踪所述至少一个移动装置在所述场馆中的地点。
[0006]接收场馆中的场景的多个地图的方法包括从多个移动装置接收所述场景的所述多个地图。所述方法进一步包括:评估来自多个移动装置的所述场景的所述多个地图的所述多个关键帧的冗余；以及去除冗余关键帧。所述方法进一步包括:使用来自多个移动装置的所述场景的所述多个地图产生同时定位与制图(SLAM)地图；以及在所述多个移动装置之间共享所述SLAM地图。
[0007]识别所述场景的所述多个地图的多个关键帧的方法包括以下各者中的至少一者:识别表示从多个角度看所述场景的多个视点的所述多个关键帧；以及识别表示用多个比例看所述场景的多个视点的所述多个关键帧，其中所述多个关键帧包含所述多个地图的共同特征、地点坐标及外观。所述多个比例包括以下各者中的至少一者:所述至少一个移动装置与所述场景之间的多个距离；以及来自所述至少一个移动装置的所述场景的多个纵横比。
[0008]合并所述多个关键帧以产生所述场景的全局地图的方法包括:对于所述多个关键帧中的每一关键帧，至少部分基于所述关键帧的角度分集及所述关键帧的比例分集来确定贡献分数；以及响应于所述贡献分数低于预定阈值而去除所述关键帧。至少部分基于所述关键帧的角度分集及比例分集确定贡献分数的方法包括:通过将第一权重因子应用于所述关键帧的所述角度分集而计算角度分集评分度量；通过将第二权重因子应用于所述关键帧的所述比例分集而计算比例分集评分度量；以及组合所述角度分集评分度量与所述比例分集评分度量以产生所述贡献分数。
[0009]合并所述多个关键帧以产生所述场景的全局地图的方法进一步包括:对于所述多个关键帧中的每一关键帧，至少部分基于所述关键帧的角度分集确定贡献分数；以及响应于所述贡献分数低于预定阈值而去除所述关键帧。合并所述多个关键帧以产生所述场景的全局地图的方法进一步包括:对于所述多个关键帧中的每一关键帧，至少部分基于所述关键帧的比例分集确定贡献分数；以及响应于所述贡献分数低于预定阈值而去除所述关键帧。
[0010]合并所述多个关键帧以产生所述场景的全局地图的方法进一步包括:在角度直方图中记录所述多个关键帧，其中所述角度直方图包含表示所述场景的不同观看角度的多个区间(bin)，且所述多个区间中的每一区间包含表示所述场景的不同观看比例的多个区段。所述方法进一步包含:对于所述角度直方图中的所述多个关键帧中的每一关键帧，至少部分基于所述关键帧的角度分集及所述关键帧的比例分集确定贡献分数；以及响应于所述贡献分数低于预定阈值而去除所述关键帧。
[0011]至少部分基于所述关键帧的角度分集及比例分集确定贡献分数的方法包括:通过将第一权重因子应用于所述关键帧的所述角度分集而计算角度分集评分度量，其中所述第一权重因子是至少部分基于所述关键帧所处于的区间中的关键帧的数目；通过将第二权重因子应用于所述关键帧的所述比例分集而计算比例分集评分度量，其中所述第二权重因子是至少部分基于所述关键帧所处于的区段中的关键帧的数目；以及组合所述角度分集评分度量与所述比例分集评分度量以产生所述贡献分数。
[0012]在另一实施例中，一种设备包括:经配置以从至少一个移动装置接收场馆中的场景的多个地图的逻辑；经配置以识别所述场景的所述多个地图的多个关键帧的逻辑；以及经配置以合并所述多个关键帧以产生所述场景的全局地图的逻辑。
[0013]在又一实施例中，一种计算机程序产品包括非暂时性媒体，其存储指令以供一或多个计算机系统执行。所述指令包括:用于从至少一个移动装置接收场馆中的场景的多个地图的指令；用于识别所述场景的所述多个地图的多个关键帧的指令；以及用于合并所述多个关键帧以产生所述场景的全局地图的指令。
[0014]在又一实施例中，一种系统包括:用于从至少一个移动装置接收场馆中的场景的多个地图的装置；用于识别所述场景的所述多个地图的多个关键帧的装置；以及用于合并所述多个关键帧以产生所述场景的全局地图的装置。
【附图说明】
[0015]在结合以下图式阅读本发明的实施例的详细描述之后，本发明的前述特征及优点以及其额外特征及优点将更明显地可理解。
[0016]图1说明根据本发明的一些方面的示范性场馆。
[0017]图2说明根据本发明的一些方面的从多个角度俘获场景的多个视点的方法。
[0018]图3说明根据本发明的一些方面的从多个距离俘获场景的多个视点的方法。
[0019]图4说明根据本发明的一些方面的以多个纵横比俘获场景的多个视点的方法。
[0020]图5说明根据本发明的一些方面的用于实施合并多个地图以用于基于计算机视觉的跟踪的方法的示范性设备。
[0021]图6说明根据本发明的一些方面的用于实施合并多个地图以用于基于计算机视觉的跟踪的方法的示范性流程图。
[0022]图7说明根据本发明的一些方面的移动装置的示范性框图。
[0023]图8说明根据本发明的一些方面的用于确定关键帧的角度及比例分集的示范性方法。
[0024]图9说明根据本发明的一些方面的用于确定关键帧的角度及比例分集的另一示范性方法。
[0025]贯穿各图使用相同数字。
【具体实施方式】
[0026]揭示合并多个地图以用于基于计算机视觉的跟踪的实施例。呈现以下描述以便使得所属领域的技术人员能够进行并使用本发明。特定实施例及应用的描述仅是作为实例提供。所属领域的技术人员将容易明白本文所述的实例的各种修改及组合，且在不脱离本发明的范围的情况下，本文中所界定的一般原理可应用于其它实例及应用。因此，本发明并不希望限于所描述及展示的实例，而是应符合与本文中揭示的原理及特征一致的最宽范围。
[0027]根据本发明的一些方面，基于同时定位与制图(SLAM)的应用建立且维持关于通过至少一个移动装置观测的环境或场馆的信息以跟踪所述至少一个移动装置在所述环境或场馆中的地点。此信息包含但不限于特征的结构(3D地点)及外观，其也可称为环境地图。用于为建筑物制图的技术可有益于支持不同环境或场馆中的各种使用情况。举例来说，使用多个移动装置建立大地点的全局地图可用于跟踪多个移动装置在环境中的地点。注意，相较于使用单个移动装置建立全局地图，使用多个移动装置建立全局地图可为优选的。
[0028]在一些实施方案中，这些全局地图可由环境中的多个移动装置在实施定位时共享。在具有来自不同移动装置的场景的多个地图的情况下，一个方法是合并这些地图以获得全局地图。根据本发明的方面，可实时地产生全局地图，或可在服务器中离线产生全局地图。另一方法是移除冗余，而合并多个地图可导致较小的全局地图大小及使用全局地图的较低跟踪时间。在以下部分中描述以有效方式产生表示关于环境或场馆的信息的合并地图的方法。
[0029]根据本发明的一些方面，场景的地图可表示为关键帧，关键帧为从各种视点俘获的图像。每一关键帧可包含场景中的3D特征(点、线，等)中的特征的一组图像及观测结果(点/线的地点坐标及外观)。在一些实施方案中，过去的观测结果及关键帧经存储且用以用新传入的观测结果或约束改进几何结构。一个方法是将特征观测结果存储在关键帧中。地图中的关键帧可以不同视点俘获场景特征的观测结果。此外，关键帧可提供场景的不同部分的观测结果，且在所存储信息中具有最少冗余。对于使用外观进行特征跟踪，具有来自多个视点(如结合图2所描述)及多个比例(如结合图3及图4所描述)的特征的观测结果是有用的。此类特征跟踪方法可用于改善跟踪质量及稳健性。
[0030]注意，在合并地图之间的信息时，保留所有关键帧在存在冗余信息的情况下可能增大联合地图大小。此外，需要精简(舍弃)关键帧不会影响跟踪质量，因为关键帧对于跟踪性能是至关重要的。在一个方法中，可保留以不同角度观看特征的关键帧，但可舍弃以不同比例观看特征的关键帧。然而，此方法不保留用于在不同距离连续地跟踪特征的信息。其仅保留对于对结构执行三角测量或解算所必要的信息。在另一方法中，观测较近特征的关键帧可