移动设备上的同步定位与映射的制作方法
【专利摘要】本发明公开了一种在真实环境中跟踪包括至少一个相机的移动设备的方法，该方法包括以下步骤：接收与由至少一个相机所捕获的至少一个图像相关联的图像信息；基于由车辆的至少一个传感器在采集过程中所采集的环境数据或车辆状态数据来生成真实环境的至少一部分的第一几何模型，该车辆不同于移动设备；以及基于与至少一个图像相关联的图像信息并且至少部分地根据第一几何模型来执行跟踪过程，其中该跟踪过程确定移动设备相对于真实环境的姿态的至少一个参数。本发明还涉及一种使用来自移动设备的至少一个相机的图像信息来生成真实环境的至少一部分的几何模型的方法。
【专利说明】
移动设备上的同步定位与映射
【背景技术】
[0001]本公开涉及一种在真实环境中跟踪包括至少一个相机的移动设备的方法，并且涉及一种使用来自移动设备的至少一个相机的图像信息来生成真实环境的至少一部分的几何模型的方法，该方法包括接收与由至少一个相机所捕获的至少一个图像相关联的图像信息。
[0002]真实环境的相机姿态估计和/或数字重组是许多应用或领域诸如机器人导航、3D对象重建、增强现实可视化等中常见的富有挑战性的任务。例如，已知系统和应用诸如增强现实(AR)系统和应用可通过提供将计算机生成的虚拟信息与真实环境的视图叠加的可视化来增强真实环境的信息。虚拟信息可以是任何类型的视觉感知数据，诸如对象、文本、图片、视频或它们的组合。真实环境的视图可作为视觉印象由用户的眼睛感知和/或作为由用户所持的相机捕获或在用户所持的设备上附接的一个或多个图像来采集。
[0003]相机姿态估计的任务在于计算相机和参考对象(或环境)之间的空间关系或变换。相机运动估计在于计算相机在一个位置与相机在另一位置之间的空间关系或变换。相机运动也被称为相机姿态，该相机姿态描述相机在一个位置相对于同一相机在另一位置的姿态。相机姿态或运动估计也被称为跟踪相机。空间关系或变换描述3D空间中的平移、旋转或它们的组合。
[0004]基于视觉的方法被称为用于计算相机姿态或运动的稳健且受欢迎的方法。基于视觉的方法基于由相机所捕获的环境的一个或多个图像来计算相机相对于环境的姿态(或运动)。此类基于视觉的方法依赖于所捕获的图像并且需要图像中的可检测到的视觉特征。
[0005]基于计算机视觉(CV)的同步定位与映射(SLAM)(如参考文献[I]所述的)是用于在无需环境的任何预备知识的情况下确定相机相对于真实环境的姿态和/或取向并创建真实环境的几何模型的熟知的技术。真实环境的几何模型的创建也被称为环境的重建。基于视觉的SLAM可促成许多应用，诸如机器人系统或车辆的导航。具体地，支持未知真实环境中的移动增强现实(AR)将是很有前途的技术。
[0006]许多SLAM系统必须初始化，以便获得环境模型的初始部分。初始化必须利用相机在采集真实环境的两个图像之间的不同移动来完成。不同移动需要从两个不同相机位置捕获两个图像，该两个不同相机位置相比于到环境的距离具有足够的位移。需注意，仅旋转的相机运动产生不良结果(见参考文献[3])。使用AR中的特别是手持式或移动AR中的SLAM设备的主要限制中的一个主要限制在于其绝不容易使用而需要用户以某种方式移动设备以使系统工作。如Gaugl i tz等人在参考文献[3 ]中所指出的，仅旋转的相机移动是用户在真实环境中环顾四周的自然运动并且通常发生在许多AR应用中。然而，仅旋转的相机运动对于单目SLAM可产生不良结果。
[0007]此外，单个相机并不测量度量尺度。使用AR中的单目SLAM系统的另一限制在于取决于作为待定因数的尺度的复原的相机姿态和环境的几何模型(见参考文献[4])。待定缩放因数对将虚拟视觉信息准确地叠加到相机图像中的真实环境提出了挑战。
[0008]当前，许多城市或建筑物的几何模型是从3D重建或由它们的蓝图获得的。然而，由于城市建设的频繁发展或变化，大多数这些模型并非是最新的。具体地，由于停放车辆随时间变化，因此停车场通常没有几何模型或最新模型。
[0009]图4A中示出了示例性场景。用户4a05将他的车辆4a03停放在停车场。在停放车辆之后，用户可使用其配备有相机的移动设备4a04根据基于视觉的跟踪例如SLAM来运行导航或增强现实应用。相机的搜索范围/映射空间由区域4a06(源于用户手中的移动设备)可视化地示出。用户需要在不同移动中手动地移动相机(S卩，移动设备4a04)，以采集至少两个图像以便初始化SLAM(S卩，根据所采集的两个图像来创建几何模型)。另外，尺度和精确配准对于初始化可能存在问题。
[0010]针对AR应用并且尤其针对移动手持式AR应用，已开发出各种基于单目视觉的SLAM系统。它们的使用中常见的挑战和局限性包括SLAM系统的初始化和度量缩放因数的确定。SLAM系统的初始化需要相机的不同移动以采集真实环境的两个图像，使得从两个不同的相机位置捕获两个图像，该两个不同的相机位置相比于到环境的距离具有足够的位移。相机姿态估计和任何所生成几何模型的质量明确地取决于初始化。
[0011 ]实现相机的不同移动以得到合格的SLAM初始化在手持式AR应用中富有挑战性，其中手持相机的用户可能对相机移动的重要性并无意识甚至难于实现不同的移动，如图4A的场景中可能就是这种情况。因此，希望使启动简化或乃至使其对用户不可见。
[0012]此外，单个相机并不测量度量尺度。相机姿态和来自基于单目视觉的SLAM的所重建的环境模型取决于待定缩放因数。合适的缩放因数限定真实的相机姿态和重建环境模型在真实世界中的尺寸。
[0013]第一熟知的基于单目视觉的SLAM系统是由Davison等人(参考文献[I])开发的。他们需要相机在采集针对区域环境的每个新近观察到的部分的图像之间具有足够的位移。为了确定合适的度量缩放因数，他们引入具有已知几何尺寸的附加标定对象。
[0014]Lemaire等人在参考文献[5]中提出使用立体相机系统来解决要求相机移动和确定缩放因数的问题。然而，使用立体相机仅为部分解决方案，因为两个相机之间的位移相对于到环境的距离必须很显著，以便可靠地计算出环境的深度。因此，手持式立体系统将无法完全解决问题，并且需要用户提供附加的不同移动仍为不可或缺的。
[0015]Lieberknecht等人在参考文献[6]中通过采用提供与图像像素相关的深度信息的RGB-D相机来将深度信息结合到基于单目视觉的SLAM中，以允许准确缩放的相机姿态估计。可根据已知深度信息来确定缩放因数。然而，相比于正常RGB相机，RGB-D相机设备在手持式设备例如移动电话或PDA中并不常用。另外，应作为集成到手持式设备中的候选者的常见的低成本RGB-D相机通常基于红外投影，诸如来自Microsoft的Kinect系统或来自Asus的Xt1n Pro。这些系统为现成的商品廉价消费型设备。
[0016]US 8 150 142 B2和US 7 433 024 B2描述了RGB-D传感器的详细的可能的实现方式。然而，在日间于户外使用时，由于日光的存在，这些系统存在问题。
[0017]Gauglitz等人在参考文献[3]中开发了可用于一般相机运动和仅旋转的相机运动的相机姿态估计和环境模型生成系统。对于仅旋转的运动，他们的方法创建了真实环境的全景地图，而不是真实环境的3D几何模型。
【发明内容】
[0018]本公开的一个目的在于提供一种在真实环境中跟踪包括至少一个相机的移动设备的方法，以及一种使用来自移动设备的至少一个相机的图像信息来生成真实环境的至少一部分的几何模型的方法，其中使用SLAM方法的挑战和局限性(诸如初始化)减小并且对于用户来说启动得到简化。
[0019]根据一个方面，提供了一种在真实环境中跟踪包括至少一个相机的移动设备的方法，该方法包括:接收与由至少一个相机所捕获的至少一个图像相关联的图像信息;基于由车辆的至少一个传感器在采集过程中所采集的环境数据或车辆状态数据来生成真实环境的至少一部分的第一几何模型，该车辆不同于移动设备；以及基于与至少一个图像相关联的图像信息并且至少部分地根据第一几何模型来执行跟踪过程，其中该跟踪过程确定移动设备相对于真实环境的姿态的至少一个参数。
[0020]根据另一方面，提供了一种使用来自移动设备的至少一个相机的图像信息来生成真实环境的至少一部分的几何模型的方法，该方法包括:接收与由至少一个相机所捕获的至少一个图像相关联的图像信息;基于由车辆的至少一个传感器在采集过程中所采集的环境数据或车辆状态数据来生成真实环境的至少一部分的第一几何模型，该车辆不同于移动设备；以及基于与至少一个图像相关联的图像信息并且至少部分地根据第一几何模型来生成真实环境的至少一部分的第二几何模型。
[0021]根据本发明，在真实环境中跟踪配备有至少一个相机的移动设备和/或使用至少一个相机来生成环境的几何模型通过使用与由至少一个相机所捕获的至少一个图像相关联的图像信息来执行。跟踪移动设备或生成第二几何模型至少部分地根据已知真实环境或真实环境的一部分的第一几何模型来执行。第一几何模型基于由车辆的至少一个传感器所采集的环境数据来创建。具体地，在车辆行驶在环境中时采集环境数据。
[0022]移动设备可在用于采集环境数据的采集过程或采集过程的一部分期间被车辆传送。这样，采集过程在移动设备被车辆传送时至少部分地被执行。跟踪移动设备或生成第二几何模型可在环境数据的采集过程或采集过程的一部分之后的某一时间段内执行。某一时间段可为2小时、12小时或24小时。
[0023]车辆具体地为可运送一个或多个人或货物的移动式机器。车辆可以是诸如不限于自行车、摩托车、汽车、卡车、铲车、飞机或直升机。车辆可具有或不具有发动机。
[0024]采集用于创建第一几何模型的环境数据可在任何时间或仅在满足某些条件时例如在车辆接近导航系统已知的设定目的地时、在车辆的速度低于某一阈值等时开始。某一条件也可以是车辆的若干种状态中的一种状态，例如速度、里程仪、发动机的状态、制动系统、齿轮的位置、光线、飞机逃生椅(即，弹射椅)的状态等。某一条件还可以是移动设备的若干种状态中的一种状态，例如移动设备处于车辆内部或外部、移动设备到目的地的距离、移动设备与车辆运动不一致的突发运动(例如，相对于车辆的突发加速)等。
[0025]根据一个实施方案，第一几何模型的至少一部分可根据由至少一个相机所捕获的一个或多个图像而生成。
[0026]根据一个实施方案，生成第二几何模型在采集过程或采集过程的一部分之后的设定时间段内被执行，优选地在24小时内被执行。
[0027]根据另一个实施方案，生成第二几何模型进一步基于与由至少一个相机所捕获的至少一个另外的图像相关联的所接收的图像信息或进一步基于与至少一个图像相关联的所接收的深度信息。
[0028]根据一个实施方案，第二几何模型通过延伸第一几何模型而生成。
[0029]优选地，采集过程在车辆正在移动时至少部分地被执行并且传感器数据是在不同车辆位置处从车辆的至少一个传感器采集的。
[0030]根据一个实施方案，根据车辆的位置和车辆的至少一个设定目的地来采集环境数据。例如，环境数据在车辆到达至少一个目的地之后被采集，或者环境数据在车辆在距至少一个目的地的距离内的情况下被采集，或者环境数据根据车辆的位置、车辆的速度和至少一个目的地而被采集。
[0031]根据一个实施方案，第一几何模型进一步基于与由被放置在真实环境中的另外的相机所捕获的至少一个图像相关联的图像信息而生成，该另外的相机不同于移动设备的相机。
[0032]根据一个实施方案，车辆的至少一个传感器包括至少两个车用相机，在车用相机之间具有已知空间关系，并且第一几何模型的度量尺度根据空间关系来确定。
[0033]根据另一个实施方案，生成第一几何模型或第一几何模型的一部分由车辆的处理设备来执行，并且第一几何模型从车辆传输至移动设备。例如，第一几何模型经由服务器计算机、经由车辆和移动设备之间的点到点通信或经由广播或多播通信(例如车辆数据)从车辆传输至移动设备。
[0034]根据一个实施方案，环境数据从车辆传输至移动设备，并且生成第一几何模型或第一几何模型的一部分在移动设备上执行。例如，环境数据经由服务器计算机或经由车辆和移动设备之间的点到点通信从车辆传输至移动设备。
[0035]根据另一个实施方案，环境数据从车辆传输至服务器计算机，并且生成第一几何模型或第一几何模型的一部分在服务器计算机上执行。
[0036]根据一个实施方案，第一几何模型具有由车载传感器诸如雷达、距离传感器和/或渡越时间传感器，和/或加速度计，和/或陀螺仪，和/或GPS，和/或星体跟踪器所确定的和/或基于车辆的状态诸如车辆的速度的合适的度量尺度。
[0037]例如，提供到目的地的一条或多条路线并采集环境数据，和/或根据所提供的路线中的一条或多条路线来生成第一几何模型。
[0038]根据一个实施方案，第一几何模型和第二几何模型中的至少一者至少描述了真实环境的深度信息。
[0039]优选地，移动设备为用户便携的设备，尤其为手持式设备、移动电话、头戴式眼镜或头盔、可穿戴设备或植入式设备。
[0040]在优选的实施方案中，该方法被适配为用于用于在移动设备上运行的增强现实和/或导航应用的方法。
[0041]根据一个实施方案，在跟踪过程中或为了生成第二几何模型，执行基于视觉的跟踪。例如，基于视觉的跟踪为基于视觉的同步定位与映射(SLAM)。基于视觉的跟踪可包括特征提取、特征描述、特征匹配和姿态确定。例如，所使用的特征为以下各项中的至少一者或它们的组合:强度、梯度、边缘、线段、区段、拐角、描述性特征、基元、直方图、极性和取向。
[0042]因此，本发明描述了一种支持基于视觉的跟踪或环境重建的方法。本发明所公开的方法还可去除对不同相机移动的要求，以初始化单目SLAM，如上所述。
[0043]根据另一方面，本发明还涉及包括软件代码段的计算机程序产品，所述软件代码段被适配为执行根据本发明所述的方法。具体地，软件代码段被包含在非暂态计算机可读介质上。软件代码段可被加载到本文所述的一个或多个处理设备的存储器中。任何所使用的处理设备可经由通信网络例如经由本文所述的服务器计算机或点到点通信进行通信。
【附图说明】
[0044]现在将相对于附图来描述本发明的方面和实施方案，其中:
[0045]图1示出了根据本发明的实施方案的使用SLAM的方法的流程图，
[0046]图2示出了检测、描述和匹配可用于跟踪或重建方法的特征的示例性实施方案，
[0047]图3示出了根据本发明的实施方案的基于由车辆的传感器所采集的环境数据生成环境的几何模型并基于所生成的环境模型来跟踪设备的方法的流程图，
[0048]图4A示出了用户将其车辆停放在如上所述的停车场的示例性场景，
[0049]图4B示出了根据本发明的实施方案的在停放车辆时的示例性应用场景，
[0050]图5示出了基于相机的图像来使一组当前特征与一组参考特征相匹配的跟踪方法的实施方案的流程图，
[0051 ]图6示出了三角测量的标准概念。
【具体实施方式】
[0052]虽然下文参考某些部件描述了各种实施方案，但在实现这些实施方案中的任何实施方案时，也可使用本文所述或对本领域技术人员显而易见的部件的任何其他配置。
[0053]在下文中，描述了实施方案和示例性场景，它们不得理解为限制本发明。
[0054]增强现实:
[0055]增强现实系统可通过计算机生成信息来呈现真实环境的增强信息。真实环境可通过提供计算机生成的音频信息来增强。一个示例为基于使用GPS数据或其他跟踪技术通过计算机生成的口头指令在真实环境中对视障者进行导航。计算机生成信息也可以是触觉反馈，例如移动电话的振动。在导航应用中，AR系统可生成振动，以在用户走错路的情况下警告该用户。
[0056]公认的增强现实在于通过提供将计算机生成的虚拟视觉信息与真实环境的视觉印象或图像叠加的可视化来在视觉上增强真实环境。虚拟信息可以是任何类型的视觉感知数据，诸如对象、文本、图片、视频或它们的组合。真实环境可作为视觉印象由用户的眼睛捕获或者作为一个或多个图像由用户所佩戴的或在用户所持的设备上附接的相机来采集。虚拟视觉信息在适当时间、适当地点并且以适当方式与相机图像或视觉印象中的真实环境或真实环境的一部分相叠合或叠加，以向用户提供满意的视觉感知。
[0057]例如在具有半透明玻璃的熟知的光学透视式显示器中，用户可看到虚拟视觉信息与真实环境的叠加信息。然后用户透过半透明玻璃看到利用融入到玻璃中的虚拟视觉信息增强的真实环境的对象。用户也可在具有相机和正常显示设备诸如显示屏的熟知的视频透视式显示器中看到虚拟信息与真实环境的叠加。真实环境由相机来捕获并且在显示器中虚拟数据与真实环境的叠加被显示给用户。
[0058]虚拟视觉信息应在图像内或视觉印象内的期望像素位置处与真实环境相叠加，例如以透视式合适方式，即来源于所观察的真实环境。为了实现这一目标，相机或用户眼睛的姿态即相对于真实环境或真实环境的一部分的取向和位置必须是已知的(例如，见参考文献[2])。此外，优选虚拟视觉信息与真实环境相叠加以实现虚拟视觉信息与真实环境之间的视觉上合适的遮挡感知或深度感知。为此，通常需要真实环境的几何模型或深度地图，如参考文献[2]中所述的。
[0059]基于单目视觉(S卩，基于单个相机)的SLAM是一种用于生成相机姿态并创建针对AR应用的几何环境模型的有前途的技术。单目SLAM对于运行在配备有单个相机的手持式设备上的移动AR应用特别有益，这是因为捕获真实环境的相机图像通常是用于相机姿态估计和环境模型生成的方式。对于光学透视式显示器，在相机与眼睛具有固定关系的情况下，用户眼睛的姿态可根据相机姿态而确定。
[0060]本发明的一个示例性场景:
[0061]当前，人们通常利用从导航系统提供的指导开车到目的地，就像在一个未知的城市一样。导航系统可具有运行在移动计算设备上或汽车的嵌入式系统上的导航软件。导航系统(或软件)可计算到目的地的一条或多条路线。然而，通常无法在目的地处或其附近找到停车位。因此，人们不得不将车停放在不同于路线最终目的地的另一地点并切换成其他交通方式(例如，步行)，以到达最终目的地。在陌生环境中，人们可能有困难或花更多努力来找到从车辆停放地点通往目的地的路线。针对这种情况，本发明提出根据基于由汽车的传感器所采集的环境数据所创建的环境的几何模型来在配备有相机的手持式设备上运行导航。
[0062]通常，人们可开车到达他们可能找不到停车位的目的地，因此他们将可能继续开车直到找到免费停车位。然后，人们将从车辆停放地返回到目的地。可在车辆到达目的地之后或时开始用于采集环境数据(例如，图像、GPS数据等)的采集过程并且在停放车辆时(例如，关闭发动机)结束该采集过程。然后，可基于所采集的环境数据来创建目的地和实际停放车辆的地点之间的真实环境的数字几何模型。该几何模型连同配备有相机的手持式设备可用于指导人们通往目的地。
[0063]作为进一步的场景，用户将他的车停放在真实环境中，然后可运行其配备有相机的手持式设备上的导航或增强现实(AR)应用。导航和AR应用可能需要设备相对于环境的已知姿态。为此，环境的几何模型可用于确定设备的姿态，如本文前面所述的。
[0064]附接至移动设备的相机是用于跟踪设备并重建环境的几何模型的适当传感器。基于视觉的跟踪常常需要环境的已知几何模型并且姿态估计可基于几何模型与相机图像之间的对应关系。基于单目视觉的SLAM可执行真实环境中的相机的跟踪并同时在预先没有环境的几何模型的情况下生成环境的几何模型(见参考文献[I])。然而，必须通过使相机移动不同位移来创建环境的初始模型以初始化单目SLAM。
[0065]从头开始手动地初始化单目SLAM很具有挑战性，因为对于用户来说，使手持式设备的相机移动足够的位移并不直观。用户必须手动地初始化单目SLAM。具体地，基于尺度和图像的跟踪或重建可能存在问题。
[0066]返回到上述示例性场景并且现在参见图4B，假设有两辆车4b21和4b22停放在停车场(见图4B，描述4b01)。根据本发明的实施方案，在车辆在环境4bl0中行驶以寻找停车位时，真实环境4bl0的几何模型4b09是由车辆4bll的车用相机4bl4的一个或多个图像生成的(见图4B，描述4b02、4b03和仙04)。41312指示车用相机4bl4的视野。所生成的几何模型4b09的范围由描述4b06中的圆点示意性地表示。在停车之后，环境的几何模型4b09在配备有车辆乘客41313的相机的移动设备41308处是可用的。41307不出了附接至移动设备41308的相机的视野。然后，乘客可使用几何模型4b09或模型4b09的一部分以及由移动设备4b08的相机所捕获的图像来跟踪真实环境中的移动设备4b08、创建真实环境的另一几何模型，和/或扩展几何模型4b09。
[0067]图3示出了根据本发明的实施方案的基于由车辆的传感器所采集的环境数据来生成真实环境的几何模型并基于所生成的环境模型来跟踪移动设备的方法的流程图。假设车辆正在真实环境中行驶(图3，步骤301)。
[0068]在环境中或在整个环境中驾驶车辆期间，可由被安装在车辆上的一个或多个传感器来采集环境数据H)。可由用户手动地启动、恢复、暂停/或停止环境数据ED的采集过程。在满足某些条件的情况下，采集过程也可自动地启动、恢复、暂停/或停止(步骤302)，例如在车辆接近导航系统已知的设定目的地时，或者在车辆的速度低于某一阈值时，等等。某一条件还可以是车辆的若干种状态中的一种状态，例如速度、里程计、发动机的状态、制动系统、齿轮的位置、光线、另一对象到车辆前方或后方的距离、驾驶室门的开/关状态、方向盘锁、手刹、车尾行李箱的开/关状态、飞机逃生椅(即，弹射椅)的状态、飞机机舱压力或上述的组合。某一条件还可以是移动设备408的若干种状态中的一种状态，例如移动设备处于车辆内部或外部、移动设备到目的地的距离、移动设备与车辆运动不一致的突发运动(例如，相对于车辆的突发加速)等。
[0069]在满足启动或恢复采集环境数据的一个或多个条件时，或者在用户手动地触发启动或恢复时，环境数据ED的采集被启动或恢复(步骤303)。然后，如果环境数据ED的采集被自动地或手动地触发而必须停止或暂停(步骤304)，则停止或暂停采集过程(步骤305)。这些步骤在车辆中执行。
[0070]如果环境数据ED对配备有用户(例如，车辆的驾驶员或乘客)的相机的手持式设备可用，则车辆的任何处理器设备(在附图中未示出)基于环境数据ED来生成环境的几何模型Md(步骤307)，然后将该模型传输至手持式设备(步骤308)，或者将环境数据ED传输至手持式设备(步骤311)，然后基于手持式设备中的环境数据ED来生成环境模型Md(步骤312)。
[0071]还可将环境数据ED传送至另一计算机例如远离移动设备和车辆的服务器计算机，并且例如由运行在服务器计算机上的应用基于此类服务器计算机上的环境数据ED来创建环境的几何模型Md。在此类配置下，服务器计算机在客户端-服务器架构中与作为客户端设备的移动设备和车辆通信。然后，将环境数据H)和/或几何模型Md从服务器计算机传送至移动设备。
[0072]几何模型Md可在环境数据或环境数据的一部分可用的任何时候执行，例如在环境数据的采集过程期间联机，或在采集环境数据之后脱机。例如，在新的环境数据可用的任何情况下，集成新的环境数据以用于生成几何模型Md。
[0073]在必须在环境中跟踪手持式设备的情况下(步骤309)，假设几何模型Md在手持式设备中可用，则至少部分地根据几何模型Md来执行跟踪(步骤310)。步骤309和310可在手持式设备中执行。
[0074]可提供或计算到目的地的一条或多条路线。可根据车辆或手持式设备的当前位置来进一步更新这些路线。目的地可由用户手动地给出或在导航系统中定义。可根据路线来采集环境数据ED和/或创建几何模型MD。例如，仅在用户可能沿路线行进的地点采集环境数据ED的相关部分，和/或创建几何模型MD的相关部分。
[0075]环境的几何模型使用来自车辆的传感器的数据:
[0076]例如，在环境中驾驶车辆时，真实环境的几何模型可由车辆的深度传感器所提供的环境的深度数据生成，例如来自被安装在车辆中的距离传感器或渡越时间相机。可采用诸如在参考文献[14，15，16]中所公开的许多方法以根据深度数据来重建真实环境的3D表面。可使用推扫式扫描仪来创建3D表面。
[0077]真实环境的几何模型(本文中也被称为环境模型)可在环境中驾驶车辆(例如，汽车)时并且通过采用被安装在汽车中的基于视觉的SLAM和至少一个相机来创建或生成。已开发出各种基于视觉的31^^方法(例如，见参考文献[1，3，4，5，6，11，12，13]中所公开的)并且可采用这些方法以使用由车辆的至少一个相机所捕获的图像来创建环境模型。也可采用车辆的其他传感器来支持对环境模型的构造。
[0078]来自基于单目视觉的SLAM的环境的所创建的几何模型取决于待定缩放因数。
[0079]使环境模型达到度量尺度所需的合适的缩放因数可通过使用被安装在车辆中的相机在环境中捕获在其间具有已知距离的两点的图像或具有已知物理尺寸的真实对象的图像来有效地确定。例如，可采用交通灯、具有已知3D模型的车辆或其他道路设施(白线距离、道路边的“粧”)来估计缩放因数。
[0080]合适的缩放因数也可根据车辆和环境之间的距离来恢复。距离可从车载传感器诸如雷达、距离传感器或渡越时间相机来测量，并且也可用于确定缩放因数。如果捕获两个图像的一个(或两个)相机之间的参考距离已知，则也可确定合适的缩放因数。参考距离例如可从使用车轮的旋转速度的度量里程计或GPS坐标获得。对于立体相机，两个相机中心之间的基线距离可用作参考距离。
[0081]如果车辆在环境中的位置已知，则也可确定合适的缩放因数。车辆在环境中的位置可从GPS或从被固定在环境中的传感器(如安全相机)来确定。
[0082]现在参见图1，给定至少一个相机，基于由至少一个相机所捕获的图像来创建或生成几何模型和/或计算相机姿态的过程可由特征检测(步骤102或105)、特征描述(步骤102或105)、特征匹配(步骤106)、三角测量(步骤107)和可选的(全局)地图细化来构成，该地图细化调整三角测量位置和/或相机姿态，和/或从三角测量移除和/或添加点。
[0083]创建几何模型和/或计算相机姿态的过程也可基于使用立体相机系统来实现。
[0084]还可采用来自相机的光流来生成几何模型或支持生成模型。
[0085]为了重建环境模型，必须由相机在不同位置处捕获至少两个图像。例如，在步骤101中由相机以姿态PA来捕获图像IA，然后相机移动不同位移M，从而以在不同于姿态PB的位置处的姿态来捕获图像IB(步骤103和104)。
[0086]可使用具有高重复性的方法来执行特征检测，以用于识别图像IA和IB中的特征。换句话讲，该方法将选择图像中的与相同物理3D表面对应的一部分作为用于不同视角、不同旋转和/或光照设定的特征(例如，作为SIFT的局部特征描述符，见参考文献[7]，形状描述符，见参考文献[8]，或技术人员已知的其他方法)的概率很高。通常在尺度空间中即以不同尺度来提取特征。因此，每个特征除其二维位置之外，还具有可重复尺度。此外，可重复取向(旋转)从区域中的围绕特征的像素的强度来计算，例如作为强度梯度的主导方向。
[0087]特征描述是将所检测到的图像区域变换成典型的特征描述符，这些特征描述符对某些类型的变化(例如，(不均匀)光照、旋转和遮挡)稳健或不变。确定特征描述符，以便允许特征的比较和匹配。常见方法使用特征的所计算尺度和取向来变换特征描述符的坐标，其提供对旋转和尺度的不变性。例如，描述符可为η维实数向量，其通过连接局部图像强度的函数诸如梯度的直方图(如在参考文献[7]中)来构造。另选地，描述符可为η维二元向量(如在参考文献[9]中)。
[0088]此外，每个所检测到的特征可(任选地)与相对于环境和/或相对于相机的先前姿态中的一个姿态的(局部)位置和取向相关联。(局部)位置可从GPS传感器/接收器、IR或RFID三角测量或者通过使用宽带或无线基础结构的定位法来获得。(局部)取向可从诸如指南针、加速度计、陀螺仪或重力传感器获得。由于相机被安装在车辆中，相对于相机的先前姿态中的一个姿态的(局部)位置和取向可从车辆的速度或转向来获得。
[0089]在一个图像中，可检测到多个特征。特征匹配是针对一个特征集中的每个特征来找到另一特征集中的具有最相似描述符的特征并将两个特征存储作为对应关系(匹配)。例如，给定在图像IA和IB中检测到并描述的两个特征集FA和FB，目标是针对特征集FA中的每个特征来找到特征集FB中的具有最相似描述符的一个特征。就这一点而言，参见图2，其示出了具有特征c和特征c的相应描述符d(c)以及参考特征r的描述符d(r)的图像Cl。
[0090]使特征集FA与特征集FB匹配可通过确定特征集FA中的每个相应特征描述符和特征集FB中的每个相应特征描述符之间的相应相似性测量来完成。图像相似性测量的常见示例包括负的或反向差值平方和(SSD)、负的或反向绝对差值和(SAD)、(标准化)互相关和交互信息。相似性的结果为实数。相似性测量结果越大，两个视觉特征越相似。
[0091]特征匹配的最简单的方法在于通过穷举搜索找到当前特征描述符的最近邻并选择对应参考特征作为匹配。更先进的方法采用描述符域中的空间数据结构来加速匹配。常见方法使用近似最近邻搜索来代替，例如由空间分割数据结构诸如kd-树所支持的(见参考文献[7])。
[0092]在特征匹配之后，创建来自特征集FA和特征集FB的特征之间的对应关系。对应关系可为2D-2D或2D-3D。基于对应关系，确定相对于环境或相对于先前相机姿态中的一个先前相机姿态的相机姿态。此后，通常(但为可选的)具有(全局)细化步骤，该(全局)细化步骤可能重新评估在初始阶段舍弃的对应关系。存在用于细化的多种方法和启发法(见参考文献[10，11])。
[0093]特征可不具有相关联的特征描述符(例如，SIFT)，见参考文献[7]，而可由图像块来表示。特征的比较和匹配可通过使用方法诸如差值平方和(SSD)、归一化互相关(NCC)、绝对值差和(SAD)、交互信息(MI)计算图像块之间的差值(例如，像素强度差)来执行。
[0094]在以下的三角测量期间，根据特征对应关系来计算真实环境的几何模型(3D点)和相机姿态。
[0095]三角测量是指给定特征在两个或更多个图像上的投影(图像特征)的情况下确定特征在3D空间中的位置的过程。参见图6，例如3D点P通过与每个相机焦点01和02相交的线条Lx和Ly在两个相机图像Ix和Iy上投影成图像点Px和Py(见图6)。因此，已知焦点01和02和针对两个相机图像所检测的特征对应点Px和Py，可计算线条Lx和Ly并且可由Lx和Ly的交叉点确定点P的3D位置。
[0096]创建模型可通过直接使用它们的强度或色值，即不使用抽象概念诸如点、线或斑点特征来注册图像。致密重建方法可构建成本量，其中穷举地测试针对每个像素的多个不同假设(参考文献[12])。它们也可基于先前的稀疏重建(参考文献[13])。致密方法通常计算量很大并且采用GHJ实时地运行。
[0097]在基于车辆的场景中，来自多个相机的图像可为可用的。常见的设置包括四个车用相机，其中相机背向车辆左对齐、右对齐、前对齐以及后对齐。车用相机可在旋转和平移时相互参照。集束调整可用于基于由多个车用相机所拍摄的图像来细化环境的重建模型，尤其是对于具有已知空间关系的多个相机。在参考文献[23]中已评述各种集束调整方法，并且已在参考文献[24]中公开若干个实施细节。
[0098]为了生成环境的几何模型，被安装在车辆上的一个或多个相机可为标定的或非标定的。相机标定计算非线性系数和线性系数，这些系数将具有已知外观、几何结构和姿态(相对于相机)的真实世界对象映射到图像传感器上。在将一个或多个相机用于3D重建之前，通常执行标定程序以标定一个或多个相机。还可同时使用非标定相机图像来执行3D重建(见参考文献[21])。还可在采集图像期间改变相机的参数(例如，通过放大或聚焦)，以用于3D重建[22]。
[0099]来自基于车辆的重建的优质几何模型:
[0100]在大多数情况下，基于由车辆的传感器捕获的环境数据所创建的未知环境的几何模型在准确性和稳定性方面应优于由手持式移动设备所创建的模型。这是因为车辆中存在可用于交叉检查重建过程的(中间)结果的更多个传感器。例如，对应关系可通过来自同一时间的两个相机图像之间的叠加或通过根据里程计预测对象位置来验证;具体地，前轮的转向角和车辆的速度可用于预测某一真实对象的图像可如何从一个相机帧(相机图像)移动到另一相机帧，其中该预测取决于真实对象相对于相机的深度。
[0101]另外，汽车的运动比手持式设备的运动更受约束。由于更大质量并且从而更强惯性(相比于移动手持式设备)，因此可利用少于六个自由度(即，用于平移的三个自由度和用于旋转的三个自由度)和约束性运动而很好地进行近似。由于车辆通常在2D地平面上移动并且不“跳跃”或“滚动”，因此通常两个自由度足以模拟平移运动，并且一个自由度足以模拟旋转移动。当然，如果必要的话，车辆的运动常常由完整的六个自由度来模拟。
[0102]基于视觉的跟踪(可在移动设备中执行):
[0103 ]基于视觉的跟踪的标准方法可被分成四个主要构件:特征检测、特征描述、特征匹配和姿态估计。具有真实环境或真实环境的一部分的已知几何模型可支持基于标准视觉的跟踪，以确定相机相对于环境的姿态。
[0104]另外，还可采用来自相机的光流以计算环境中的相机姿态或运动或支持相机姿态估计(见参考文献[20])。
[0105]特征检测也被称为特征提取。特征是例如但不限于强度、梯度、边缘、线段、区段、拐角、描述性特征或任何其他类型的特征、基元、直方图、极性或取向、或者它们的组合。
[0106]为了确定相机的姿态，必须由相机以待确定的姿态来捕获当前图像。首先，执行特征检测以识别当前图像中的特征。特征描述是将所检测到的图像区域变换成典型的特征描述符。确定特征描述符来允许特征的比较和匹配。一个重要任务是特征匹配。给定在当前图像中检测到并根据其描述的当前特征，目标在于找到在将被称为参考特征的一组所提供特征中的与相同物理3D或2D表面对应的特征。参考特征可从真实环境的参考几何模型中获得。参考几何模型基于车辆的传感器而获得。参考特征也可来自由相机所捕获的其他图像(例如，由相机以不同于捕获当前图像所处的姿态的姿态所捕获的图像)中的一个图像，或来自预先定义的特征列表。
[0107]使当前特征与参考特征相匹配可通过确定每个相应当前特征描述符和每个相应参考特征描述符之间的相应相似性测量来完成。在完成特征匹配之后，创建来自当前图像的特征和参考特征之间的对应关系。对应关系可为2D-2D或2D-3D。基于对应关系，确定相对于环境或其他相机姿态中的一个其他相机姿态的相机姿态。
[0108]此外，真实环境的第二几何模型可基于当前图像和由相机所捕获的其他图像中的一个图像的特征对应关系通过三角测量由参考几何模型生成或扩展。当前图像和其他图像中的一个图像必须具有重叠部分，然后基于三角测量来重建重叠部分。可将重建部分添加至参考几何模型。
[0109]现在参见图5(结合图2)，图5示出了用于使一组当前特征与一组参考特征相匹配的标准相机跟踪方法的流程图。在步骤501中，提供由相机所捕获的真实环境的当前图像Cl。然后下一步骤502检测并描述当前图像Cl中的特征(可选的:根据所估计的模型特征位置的已选择的提取)，其中每个所得的当前特征c具有特征描述符d(c)和在相机图像中的2D位置。在步骤503中提供一组参考特征r，每个参考特征具有描述符d(r)并且可选地具有相对于真实环境或先前相机姿态中的一个先前相机姿态的(局部)位置和/或取向。(局部)位置可从GPS传感器/接收器、IR或RFID三角测量或者通过使用宽带或无线基础结构的定位法来获得。(局部)取向可从传感器设备诸如指南针、加速度计、陀螺仪和/或重力传感器获得。参考特征可从参考图像或几何模型或有关真实环境或环境的一部分的其他信息提取。需注意，在视觉搜索和分类任务的情况下，相对于真实环境的位置和/或取向是可选的。在步骤504中，将来自步骤502的当前特征c和来自步骤503的参考特征r进行匹配。例如，对应每个当前特征，搜索相对于某一距离测量具有与当前特征的描述符最接近的描述符的参考特征。根据步骤505，可基于特征匹配(对应关系)来确定相机的位置和取向。这可支持使空间注册的虚拟3D对象结合到相机图像中的增强现实应用。
[0110]从车辆到移动设备的数据切换(可在移动设备和车辆中执行):
[0111]如果在车辆在环境中行进期间由车辆的传感器所捕获的环境数据是可用的，则可将环境数据传输至准备下车的用户(例如，车辆的乘客或驾驶员)的移动设备。将数据从车辆传输至移动设备可经由服务器计算机或基于点到点通信。可基于移动设备中所接收的环境数据来重建环境的几何模型。用户继而可使用几何模型来进行跟踪。
[0112]也可基于环境数据在车辆中生成几何模型，然后将其经由服务器计算机或基于点到点通信传输至移动设备。
[0113]还可基于环境数据来在服务器计算机中生成几何模型。在这种情况下，将所捕获的环境数据从车辆传输至服务器计算机，然后将所生成的几何模型从服务器计算机传输至移动设备。
[0114]点到点通信可经由无线连接或有线连接、基于推送或基于拉取、经由单播通信或广播通信。后者允许例如移动设备的池同时配备有来自车辆的相同数据。这些移动设备例如可为其他乘客的移动设备或用户的辅助设备。例如，点到点通信可为基于蓝牙的通信或基于USB缆线的通信。
[0115]从车辆移交数据(几何模型或环境数据)或将数据移交至移动设备可由用户手动地触发或自动触发。数据(例如，模型)传输的自动触发可基于到导航系统已知的目的地的距离、车辆的速度、发动机的状态、车辆的行驶方向(例如，向后行驶)、车辆与街道的相对方向(例如，行驶至单向停车位或停车道)、另一对象到车辆前方或后方的距离、驾驶室门的开/关状态、方向盘锁、手刹、车尾行李箱的开/关状态，或上述的组合。例如在从有线连机器将其移除或检测到与车辆的一般运动不兼容的上升运动(例如，在驾驶员下车时)时，自动触发还可基于移动设备的状态。用于触发数据(例如，模型)传输的状况的检测或确定可由车辆、移动设备或两者来执行。数据(模型)传输的过程可由车辆、移动设备或两者来发起。
[0116]在所描述的应用示例中，相比于参考图4A所述的特定场景，本发明的一个方面在于在停车场中跟踪移动设备可由在车辆行驶至停车场期间由车辆的传感器所采集的环境数据所支持。
[0117]如图4B所示，用户4bl3正驾驶车辆4bll行往停车场，即真实环境。相机4bl4(车辆的一个或多个传感器)被安装在车辆的前方。在搜索停车位并停车时(见图4B，描述4b02)，由相机4bl4捕获环境数据(例如，停车场的图像)，并且基于环境数据来生成停车场的几何模型。可以合适的度量尺度来创建几何模型，例如基于车辆所提供的里程仪和GPS数据。合适的缩放因数可限定真实的相机姿态和重建几何模型在真实世界中的尺寸。
[0118]在停车之后(见图4B，描述4b05)，几何模型被传输至用户的配备有相机的移动设备4b08(例如，智能电话)(或从所传输的环境数据在用户移动设备4b08处生成)。然后，在停车场中跟踪移动设备可基于由移动设备4b08的相机所捕获的至少一个图像在理想情况下无缝地继续(见图4B，描述4b05)。相比于于现有方法，本发明向用户在其移动设备上提供环境的初始几何模型和最新几何模型。这便消除了要求约束性相机移动的初始步骤的需要。
[0119]当前，通常从3D重建过程来获得真实环境的几何模型，例如城市或建筑物。然而，由于城市建设的频繁发展或变化，大多数这些模型并非是最新的。具体地，由于停放车辆随时间变化，因此停车场通常没有几何模型或最新模型。就这一点而言，本发明提供了将支持更准确地跟踪相机的最新模型。
[0120]车辆可以是可运送人或货物的移动式机器。车辆可以是例如但不限于自行车、摩托车、汽车、卡车或铲车。车辆可以具有或不具有发动机。
[0121]采集用于创建第一几何模型的环境数据可在任何时间或仅在满足某些条件时例如在车辆接近导航系统已知的目的地时和/或在车辆的速度低于某一阈值等时开始。某一条件也可以是车辆的某些状态中的一种状态，例如速度、发动机的状态、制动系统的状态、齿轮的位置、光线等。某一条件还可以是移动设备的状态中的一种状态，例如移动设备处于车辆内部或外部、移动设备到目的地的距离等。
[0122]环境数据可根据车辆的位置和包含至少一个目的地的预定义的路线来采集。
[0123]在一个具体实施中，在车辆到达至少一个目的地之后，采集环境数据或者可开始环境数据的采集过程的至少一部分。在另一个具体实施中，在车辆在距至少一个目的地的距离内的情况下，采集环境数据或者可开始环境数据的采集过程的至少一部分。具有了车辆的速度、车辆的位置和至少一个目的地，可估计车辆将到达至少一个目的地的时间段。在另一个具体实施中，如果时间段小于阈值，则采集环境数据或者可开始环境数据的采集过程的至少一部分。
[0124]生成第一几何模型或第一几何模型的一部分可在车辆的处理设备处执行，并且将第一几何模型从车辆传输至移动设备。第一几何模型可经由服务器计算机或基于点到点通信从车辆传输至移动设备。第一几何模型或第一几何模型的一部分也可在环境数据经由服务器计算机或基于点到点通信从车辆传输至移动设备之后，由移动设备的一个或多个处理设备生成。
[0125]生成第一几何模型或第一几何模型的一部分可由服务器计算机来执行，并且将环境数据从车辆传输至服务器计算机。然后，将第一几何模型例如经由车辆或基于点到点通信从服务器计算机传输至移动设备。
[0126]车辆的一个或多个传感器可以是能够捕获可用于生成几何模型或其一部分的环境数据的任何类型的传感器。传感器的实例可以是但不限于光学相机、基于红外光谱、光学光谱、紫外光谱、X射线光谱和/或γ射线光谱的相机、RGB-D相机、深度传感器、渡越时间相机和超声波传感器。
[0127]环境数据可以是描述真实环境的至少一个视觉特征或几何特征的任何类型的数据。视觉特征或几何特征可以是形状、颜色、距离等中的一者。环境数据可以是环境的光学图像、环境和车辆之间的距离、车辆在环境中的取向、或者车辆在真实环境中的速度。
[0128]生成第一几何模型可在环境数据或环境数据的一部分可用的任何时候执行，例如在采集环境数据期间联机，或在采集环境数据之后脱机。
[0129]第一几何模型可具有合适的度量尺度，该度量尺度根据车载传感器诸如雷达、距离传感器或渡越时间相机来确定。合适的度量尺度可通过使用被安装在车辆中的相机在环境中捕获其间具有已知距离的两点的图像或具有已知物理尺寸的真实对象的图像来确定。
[0130]第一几何模型也可根据车辆相对于环境的姿态来生成。车辆相对于环境的位置可从GPS获得。然而，GPS并不准确，尤其是在车辆处于建筑物内部时。存在类似于相机(例如，安全相机)的可被安装在环境中并且在环境中具有已知的位置的许多不同的传感器。可基于由安全相机所捕获的车辆图像来执行对象识别或姿态估计，以便确定车辆相对于环境的姿态。
[0131]此外，被定位在真实环境中的视觉系统(例如，一个或多个安全相机)可用于捕获可用于创建第一几何模型的至少一部分的环境数据。
[0132]在另一具体实施中，被定位在真实环境中的视觉系统(例如，安全相机)也可用于捕获用于创建第一几何模型的环境数据，而不使用由车辆的至少一个传感器所采集的数据。例如，用户可持有包含相机的移动设备，并进入安置有一个或多个安全相机的真实环境。真实环境的最新环境数据可在采集过程期间由视觉系统(例如，一个或多个安全相机)捕获并且第一几何模型可基于所捕获的环境数据来创建。可在采集过程或采集过程的一部分之后的设定时间段内(优选地，在24小时内)根据所创建的第一几何模型和移动设备的相机所捕获的图像来跟踪移动设备。
[0133]车辆相对于环境的姿态还可根据行驶在路上的车辆的特定特性来获得。例如，可假设车辆的移动为平行于地平面的。车辆的取向可根据2D街道地图来确定。
[0134]在一个实施方案中，仅用户按其路线可能经过的地点的环境数据可被采集并被添加至第一几何模型。
[0135]在另一个实施方案中，环境数据可根据导航数据例如路线、起始位置或目的地被采集。例如，可仅采集沿路线的环境数据，从而第一几何模型可仅针对沿路线的环境信息。导航数据可由用户手动地输入到车辆和/或设备。
[0136]在一个实施方案中，第一几何模型的生成可至少部分地基于在采集过程中由车辆的至少一个传感器所采集的车辆状态数据。例如，用于生成第一几何模型的环境数据的至少一部分可由并非车辆的一部分的独立传感器采集。所采集的环境数据的至少一部分可与由车辆的一个或多个传感器所采集的车辆状态数据一起使用，以便创建第一几何模型的至少一部分。例如，由坐在车里的乘客所持的独立于车辆的相机可捕获真实环境的图像，而车辆的里程仪和/或速度传感器可用于采集有关车辆的里程数据或速度数据。真实环境的图像和里程数据或速度数据可一起被使用，以创建第一几何模型的至少一部分。这便可发挥乘客所持的相机具有相对于车辆的已知移动或位置的优势。移动可以是相机相对于车辆静止(无运动)。相机也可能具有相对于车辆的运动。可在车辆的坐标系中跟踪相机。例如，图像捕获设备可被安装在车辆中并确定相机相对于车辆的姿态。在另一示例中，可使用由相机所捕获的车辆的至少一部分的图像来确定相机相对于车辆的姿态。
[0137]在另一个实施方案中，由车辆的至少一个传感器所采集的数据可能不足以创建第一几何模型的至少一部分。类似地，由移动设备的相机所采集的数据也可能不足以创建第一几何模型的至少一部分。然而，可同时使用由车辆的至少一个传感器和由移动设备的相机所采集的数据来创建第一几何模型的至少一部分。例如，可能无法通过仅使用由车辆的相机所捕获的一个图像或通过仅使用由移动设备的相机所捕获的一个图像来创建第一几何模型。然而，可通过使用由车辆的相机所捕获的图像和由移动设备的相机所捕获的图像来创建第一几何模型。
[0138]另外，可能无法使用由车辆的至少一个传感器所采集的数据或由移动设备的相机所采集的数据来创建具有合适的度量尺度的第一几何模型的至少一部分。然而，可同时使用由车辆的至少一个传感器和由移动设备的相机所采集的数据来创建具有合适的度量尺度的第一几何模型的至少一部分。如上述示例，可能无法通过使用由车辆的传感器所捕获的速度或里程来创建第一几何模型。可能无法通过仅使用由移动设备的相机所捕获的图像来创建具有合适的度量尺度的第一几何模型。然而，可使用由移动设备的相机所捕获的图像和有关车辆的里程数据或速度数据来创建具有合适的度量尺度的第一几何模型。
[0139]将第一几何模型传输至移动设备可由用户手动地触发或自动触发。自动触发可基于到导航系统已知目的地的距离、车辆的速度、发动机的状态、车辆的方向(例如，向后行驶)、车辆与街道的相对方向(行驶至单向停车位或停车道)、另一对象到车辆前方或后方的距离、驾驶室门的开/关状态、方向盘锁、手刹、车尾行李箱的开/关状态，或上述的组合。
[0140]本发明对在设备上运行的移动AR和导航应用尤其有益。
[0141]根据本发明的移动设备可来自用户可能携带的各种设备，诸如手持式移动设备(例如，移动电话)、头戴式眼镜或头盔、和可穿戴设备。
[0142]在环境中跟踪配备有至少一个相机的移动设备是为了确定设备的姿态，即相对于环境的位置和取向，或者为了确定设备的运动，即相对于设备的其他位置中的一个其他位置的位置和取向。由于相机与移动设备具有固定的空间关系，因此跟踪移动设备可由基于视觉的跟踪来实现，例如使用第一几何模型和由至少一个相机所捕获的图像以确定相机的姿态。相机相对于环境的姿态可基于几何模型和相机图像之间的对应关系来计算。
[0143]环境的第二几何模型可使用第一几何模型并使用由至少一个相机所捕获的不具有深度数据的至少两个图像或使用具有深度数据的至少一个图像来创建。为此，可首先确定在捕获至少两个图像或至少一个图像时的相机姿态。然后，可使用至少两个图像或使用至少一个图像和相关联的深度数据基于三角测量来构建第二几何模型。
[0144]使用不具有深度数据的一个所捕获相机图像来生成环境的具有待定度量尺度的模型信息。具有待定度量尺度的模型信息可用于在相机经受纯旋转时估计相机姿态。
[0145]第一几何模型或该模型的一部分可能不覆盖感兴趣的真实环境的整个区域。第二几何模型可通过延伸第一几何模型或第一几何模型的一部分而创建，以覆盖环境的更多区域。
[0146]基于视觉的跟踪的标准方法包括特征提取、特征描述、特征匹配和姿态确定。
[0147]特征为例如强度、梯度、边缘、线段、区段、拐角、描述性特征或任何其他类型的特征、基元、直方图、极性或取向。
[0148]跟踪移动设备和/或生成第二几何模型还可由基于单目视觉的同步定位与映射(SLAM)来实现。生成第二几何模型还可包括不同时运行但使用成批/准脱机重建方法的重建算法。
[0149]基于单目视觉的SLAM是在真实环境中移动单个相机以确定相机相对于真实环境的姿态并创建真实环境的模型。通常在环境的至少一部分具有未知几何模型时采用SLAM以用于跟踪。
[0150]相机在真实环境中的姿态描述了相对于环境或环境的一部分的位置和取向。在3D空间中，由三个参数例如沿三个正交轴的位移来限定位置，并且由三个欧拉角参数来限定取向。还可在其他数学公式中表示取向，例如轴角和四元数。通常可使旋转的数学表示相互转换。本发明中的姿态可由位置和取向在三维空间中的固有的六个参数中的至少一个参数来限定。
[0151]所提出的发明可简单地被应用于被安装到提供图像格式(彩色或灰度)的移动设备的任何相机。并不限于用于提供RGB格式的彩色图像的捕获系统。也可适用于任何其他颜色格式并且也适用于单色图像，例如适用于提供灰度格式图像的相机。
[0152]真实环境可为真实世界中的任何真实场景，诸如自然场景、室内环境场景或城市场景。真实环境包括一个或多个真实对象。真实对象诸如地点、建筑物、树木或山脉位于并占据真实环境中的区域。
[0153]环境的几何模型(也被称为模型或地图)至少描述环境的深度信息。模型还可包括但不限于以下属性中的至少一个属性:形状、对称性、平面性、几何尺寸、颜色、质地和密度。几何模型可包括各种特征。
[0154]几何模型还可包括有关真实环境(的一部分)的质地、颜色和/或它们的组合(SP，材料)的信息。第一模型的很常见的表示组合用于提供几何结构的稀疏空间描述的3D点。几何模型还可具有相关联的特征描述符，该特征描述符描述围绕3D点的图像块中的特征的质地(作为材料的一部分)。特征描述符是描述图像或图像块中的局部特征的数学表示，诸如SIFT(尺度不变特征转换)、SURF(快速稳定特征)和LESH(基于局部能量的形状直方图)。特征是例如但不限于强度、梯度、边缘、线段、区段、拐角、描述性特征或任何其他类型的特征、基元、直方图、极性或取向。
[0155]几何模型可进一步被表示为包括3D顶点和由这些顶点所扩展成的多边形面和/或边缘的模型。模型的边缘和面还可被表示为样条或NURBS表面。几何模型还可由一组3D点来表示。点可承载有关它们颜色或强度的附加信息。
[0156]贯穿本文档，其描述了捕获图像并提供或接收与图像相关联的图像信息。技术人员已知这可包括提供或接收图像、图像的一部分和/或图像的特征的任何经处理或未经处理的信息(版本)，该信息允许姿态估计(跟踪)或重建。本发明不需要提供或接收任何未经加工的初始图像数据。因此，处理包括压缩(例如，JPEG、PNG、ZIP)、加密(例如，RSA加密、Schnorr签名、El-Gamal加密、PGP)、转换成另一色彩空间或灰度、基于特征描述符来修剪或缩放图像或转换成稀疏表示、提取中的任一者，以及它们的组合。所有这些图像处理方法可被任选地执行并且由与图像相关联的图像信息的术语所涵盖。
[0157]参考文献:
[0158]I.Davison ,Andrew J.等人 “MonoSLAM: Real-time single camera SLAM.，，Pattern Analysis and Machine Intelligence, IEEE Transact1ns on 29.6(2007):第1052 页-1067 页。
[0159]2.SanniSiltanen,Theory and applicat1ns of marker-based augmentedreality.Espoo 2012.VTT Science 3.http://www.vtt.fi/inf/pdf/science/2012/S3.pdf
[0160]3.Gaugl itz，Steffen等人 “Live tracking and mapping from both generaland rotat1n only camera mot1n ,Mixed and Augmented Reality(ISMAR),2012IEEEInternat1nal Symposium on.1EEE,2012.
[0161]4.Strasdat,Hauke,J.M.M.Montiel,and Andrew J.Davison.“Scale drift-aware large scale monocular SLAM ,Proceedings of Robotics: Science and Systems(RSS).第2卷.Νο.3.2010.
[0162]5.Lemaire，Thomas等人 “Vi s1n—based slam: Stereo and monocularapproaches , Internat1nal Journal of Computer Vis1n 74.3(2007):第343页-364页。
[0163]6.Lieberknecht,Sebastian等人“RGB-D camera-based parallel tracking andmeshing ,Mixed and Augmented Reality(ISMAR),2011 10th IEEE Internat1nalSymposium on.1EEE,2011.
[0164]7.Lowe ,David G.“Distinctive Image Features from Scale-1nvariantKeypoints.，，Internat1nal Journal of Computer Vis1n 60.2(2004):第91 页_110页。
[0165]8.Bosch，A，Andrew Zisserman,and X Munoz.“Representing shape with aspatial pyramid kernel.，，Image Processing 5(2007):第401 页_408页。
[0166]9.Leutenegger，Stefan,Margarita Chli,and Roland Y.Siegwart.“BRISK:Binary robust invariant scalable keypoints.，，Computer Vis1n(ICCV),201IIEEEInternat1nal Conference on.1EEE,2011.
[0167]10.Triggs，Bill等人“Bundle ad justment-a modern synthesis ,Vis1nalgorithms:theory and practice(2000):第153页-177页。
[0168]11.Klein，Georg，and David Murray.“Parallel tracking and mapping forsmall AR workspaces/’Mixed and Augmented Reality,2007.1SMAR2007.6th IEEE andACM Internat1nal Symposium on.1EEE,2007.
[0169]12.Newcombe,Richard A.,Steven J.Lovegrove,and Andrew J.Davison.uDTAM:Dense tracking and mapping in real-time.，，Computer Vis1n(ICCV),2011IEEEInternat1nal Conference on.1EEE,2011.
[0170]13.Newcombe ,Richard A., and Andrew J.Davison.uLive densereconstruct1n with a single moving camera.，，Computer Vis1n and PatternRecognit1n(CVPR),2010IEEE Conference on.1EEE，2010.
[0171]14.Fuchs，Stefan，and Stefan May.''Calibrat1n and registrat1n forprecise surface reconstruct1n with time-of-flight cameras.，，Internat1nalJournal of Intelligent Systems Technologies and Applicat1ns 5.3(2008):第274页-284页。
[0172]15.Hilton，Adrian等人“Reliable surface reconstruct1n from multiplerange images/’Computer Vis1n—ECCV，96(1996):第 117页_126页0
[0173]16.WhitakerjRoss Τ.“Α level-set approach to 3D reconstruct1n fromrange data.，，Internat1nal Journal of Computer Vis1n 29.3(1998):第203页-231页。
[0174]17.US 8150142 B2
[0175]18.US 7433024 B2
[0176]19.Snavely,Noah,Steven M.Seitz,and Richard Szelisk1.uPhoto tourism:exploring photo collect1ns in 3D.，，ACM Transact1ns on Graphics(TOG).第25卷.N0.3.ACM，2006.
[0177]20.Chojnacki,Michael J.Brooks Wojciech,and Luis Baume la.u3dreconstruct 1n from optical flow generated by an uncalibrated cameraundergoing unknown mot1n.，，
[0178]21.Hartley ,Richard.aEuclidean reconstruct1n from uncalibratedviews ,Applicat1ns of invariance in computer vis1n(1994):第235页_256页。
[0179]22.Pollefeys，Marc等人“Automated reconstruct1n of 3D scenes fromsequences of images.，，ISPRS Journal of Photogrammetry and Remote Sensing 55.4(2000):第 251 页-267 页。
[0180]23.Triggs，Bi 11 等人 “Bundle adjustment—a modern synthesis ,Vis1nalgorithms:theory and practice.Springer Berlin Heidelberg，2000.第298页_372页。
[0181]24.Lourakis,ManoIisjand Antonis Argyros.The design and implementat1nof a generic sparse bundle adjustment software package based on thelevenberg-marquardt algorithm.第I卷.N0.2.Technical Report 340, Institute ofComputer Science-FORTHjHerakl1njCrete,Greece,2004.
【主权项】
1.一种在真实环境中跟踪包括至少一个相机的移动设备的方法，包括: -接收与由所述至少一个相机所捕获的至少一个图像相关联的图像信息， -基于由车辆的至少一个传感器在采集过程中所采集的环境数据或车辆状态数据来生成所述真实环境的至少一部分的第一几何模型，所述车辆不同于所述移动设备， -基于与所述至少一个图像相关联的所述图像信息并且至少部分地根据所述第一几何模型来执行跟踪过程，其中所述跟踪过程确定所述移动设备相对于所述真实环境的姿态的至少一个参数。2.—种使用来自移动设备的至少一个相机的图像信息来生成真实环境的至少一部分的几何模型的方法，包括: -接收与由所述至少一个相机所捕获的至少一个图像相关联的图像信息， -基于由车辆的至少一个传感器在采集过程中所采集的环境数据或车辆状态数据来生成所述真实环境的至少一部分的第一几何模型，所述车辆不同于所述移动设备， -基于与所述至少一个图像相关联的所述图像信息并且至少部分地根据所述第一几何模型来生成所述真实环境的至少一部分的第二几何模型。3.根据权利要求1或2所述的方法，其中跟踪所述移动设备或生成所述第二几何模型在所述采集过程或所述采集过程的一部分之后的设定时间段内执行，优选地在24小时内执行。4.根据权利要求2或3所述的方法，其中生成所述第二几何模型进一步基于与由所述至少一个相机所捕获的至少一个另外的图像相关联的所接收的图像信息或进一步基于与所述至少一个图像相关联的所接收的深度信息。5.根据权利要求2至4中一项所述的方法，其中所述第二几何模型通过延伸所述第一几何模型而生成。6.根据权利要求1至5中一项所述的方法，其中所述第一几何模型的至少一部分根据由所述至少一个相机所捕获的一个或多个图像而生成。7.根据权利要求1至6中一项所述的方法，其中所述采集过程在所述移动设备正由所述车辆传送时至少部分地被执行。8.根据权利要求1至7中一项所述的方法，其中所述采集过程在所述车辆正在移动时至少部分地被执行并且传感器数据是在不同车辆位置处从所述车辆的所述至少一个传感器米集的。9.根据权利要求1至8中一项所述的方法，其中所述环境数据根据所述车辆的位置和所述车辆的至少一个设定目的地而被采集。10.根据权利要求9所述的方法，其中 -所述环境数据在所述车辆到达所述至少一个目的地之后被采集，或者 -所述环境数据在所述车辆在距所述至少一个目的地的距离内的情况下被采集，或者 -所述环境数据根据所述车辆的所述位置、所述车辆的速度和所述至少一个目的地而被采集。11.根据权利要求1至10中一项所述的方法，其中所述第一几何模型进一步基于与由被放置在所述真实环境中的另外的相机所捕获的至少一个图像相关联的图像信息而生成。12.根据权利要求1至11中一项所述的方法，其中所述车辆的所述至少一个传感器包括至少两个车用相机，在车用相机之间具有已知空间关系，并且所述第一几何模型的度量尺度根据所述空间关系来确定。13.根据权利要求1至12中一项所述的方法，其中生成所述第一几何模型或所述第一几何模型的一部分由所述车辆的处理设备来执行，并且所述第一几何模型从所述车辆传输至所述移动设备。14.根据权利要求13所述的方法，其中所述第一几何模型经由服务器计算机或经由所述车辆和所述移动设备之间的点到点通信从所述车辆传输至所述移动设备。15.根据权利要求1至14中一项所述的方法，其中所述环境数据从所述车辆传输至所述移动设备，并且生成所述第一几何模型或所述第一几何模型的一部分在所述移动设备上执行。16.根据权利要求15所述的方法，其中所述环境数据经由服务器计算机或经由所述车辆和所述移动设备之间的点到点通信从所述车辆传输至所述移动设备。17.根据权利要求1至16中一项所述的方法，其中所述环境数据从所述车辆传输至服务器计算机，并且生成所述第一几何模型或所述第一几何模型的一部分在所述服务器计算机上执行。18.根据权利要求1至17中一项所述的方法，其中所述第一几何模型具有从车载传感器诸如雷达、距离传感器和/或渡越时间传感器所确定的和/或基于所述车辆的状态诸如所述车辆的速度的合适的度量尺度。19.根据权利要求1至18中一项所述的方法，其中 -到目的地的一条或多条路线被提供，并且 -根据所提供的路线中的一条或多条路线，所述环境数据被采集和/或所述第一几何模型被生成。20.根据权利要求1至19中一项所述的方法，其中所述第一几何模型和所述第二几何模型中的至少一者至少描述所述真实环境的深度信息。21.根据权利要求1至20中一项所述的方法，其中所述移动设备为用户便携的设备，尤其为手持式设备、移动电话、头戴式眼镜或头盔、或可穿戴设备。22.根据权利要求1至21中一项所述的方法，其中所述方法被适配为用于用于在所述移动设备上运行的增强现实和/或导航应用的方法。23.根据权利要求1至22中一项所述的方法，其中在所述跟踪过程中或为了生成所述第二几何模型，执行基于视觉的跟踪。24.根据权利要求23所述的方法，其中所述基于视觉的跟踪为基于视觉的同步定位与映射(SLAM)。25.根据权利要求23或24所述的方法，其中所述基于视觉的跟踪包括特征提取、特征描述、特征匹配和姿态确定。26.根据权利要求25所述的方法，其中所使用的特征为以下各项中的至少一者或它们的组合:强度、梯度、边缘、线段、区段、拐角、描述性特征、基元、直方图、极性和取向。27.—种包括软件代码段的计算机程序产品，所述软件代码段被适配为执行根据权利要求I至26中任一项所述的方法。
【文档编号】G06T7/00GK105849771SQ201380081725
【公开日】2016年8月10日
【申请日】2013年12月19日
【发明人】P·迈耶, S·利伯克内希特
【申请人】Metaio有限公司