具有至少一个摄像机的可穿戴信息系统的制作方法

具有至少一个摄像机的可穿戴信息系统的制作方法
【专利摘要】本发明涉及一种具有至少一个摄像机的可穿戴信息系统，该信息系统可操作的具有低功率模式和高功率模式。该信息系统被配置为使高功率模式通过至少一个摄像机的至少一个视野中的至少一个对象的检测激活。
【专利说明】具有至少一个摄像机的可穿戴信息系统
【技术领域】
[0001]本发明是关于一种能够在减少电池耗费的条件下向用户提供多媒体信息的方法及其系统。
【背景技术】
[0002]标准的方法，局限性和现有的解决方案:
[0003]近年来智能手机，语音导览和类似的信息系统已流行起来。增强现实技术，作为一个新型的用户界面范例，已有很大的进步，特别是基于被用做对象识别和位姿估计的计算机视觉算法。人们已经了解装备有摄像机的头戴式显示器有一段时间了(例如，美国专利7，245，273 权利要求 22)。
[0004]对于能随时观察用户周围以获得感兴趣对象的普适信息系统的真正成功而言，一个主要障碍在于运行在应用处理器或GPU上的图像处理算法的高功耗。本专利描述了一种创新系统和方法，能够极大地减少这个问题。
[0005]我们能找到的与本发明最接近的现有技术是美国专利号为7302089的专利。该专利描述了将移动设备运行在低功率模式(待机)和高功率模式(活跃)的想法。在低功率模式下，摄像机可获取一个低分辨率图像并针对一个已知像元与它匹配(例如，手机用户的面部或一幅图像)。如果在该低分辨率图像中发现已知像元，手机可被唤醒并采用更高分辨率的图像来验证结果，并且基本将手机解锁以便接电话或类似的事情。该专利的目的是基于图像实现节能解锁。一个情景可能是放置在周围的手机一旦接到电话，就试图检查是否用户在视野内以便解锁手机屏幕。
[0006]本发明的不同之处，首先在于目的和可能的应用，因为我们不是要解锁设备，而是设法在节能的方式下为用户提供关于在用户周围的对象的信息。本发明特别适合用于头戴式显示器和指向用户前方的空间的摄像机(如图12所示)。一个可能的情景是用户步行通过一个展出200幅图像的博物馆，其中20幅是导览器的部分内容。用户开启导览器，例如作为他的信息系统上的一个应用，并开始步行通过博物馆。一定时间后，该系统移至低功率模式。用户现在可以享受数小时步行通过博物馆，而不用担心自己信息系统的电池。根据本发明，信息系统能够为感兴趣的对象扫描用户的环境(例如展览中感兴趣的作品)，这可以在几乎不耗能的情况下做到。只要感兴趣的作品进入视野，系统可以“醒来”并移至高功率模式，例如为了下载感兴趣的内容并使用增强现实技术显示它或为了启动音频剪辑，解释作品。
[0007]本发明的另一个优点是为诸如室内导航的应用改进反应时间。低功率模式允许当它识别出新的数据需要下载时或当一个新的导航模型或新的计算机视觉模型需要被存储在存储器中时唤醒系统。一切就绪后，系统可再次移至低功率模式。一旦一个路标进入视野，系统可迅速上电并迅速地为用户提供相关信息。用户还可以自行激活系统(例如，当他迷路时)，系统可以立即提供导航信息。
[0008]不同于现有技术，本方法可以在低功耗下提供更复杂的检测算法，相比如US7302089。因为它工作在更高级的特征描述，并工作在不同的图像分辨率，它可以处理许多更大的对象数据库并能更可靠检测这些对象。该对象也可以是任意的3D形状。
[0009]在对摄像机拍摄的图像进行处理的许多任务，比如在增强现实应用和计算机视觉中，要求在同一个对象或场景的多个图像中发现对应于同一物理3D表面的点或特征。例如，在增强现实技术中，存在的主要问题是确定摄像机相对于世界的位置和指向(摄像机位姿)。
[0010]光学跟踪的初始化的标准方法(即当来自前一帧的信息不可用的时候)可被分为三个主要组成模块:特征检测，特征描述和特征匹配(见图1)。如技术人员应当理解的，如果来自前一帧的信息不可用，这并不意味着来自诸如GPS或指南针的非光学传感器的信息不被容许。特征检测也被称为特征提取。
[0011]首先，为识别特征，使用具有高度重复性的方法在一幅图像中执行特征检测。换而言之，该方法将在一幅图像中选择与相同物理3D表面一致的部分作为不同观察点，不同的旋转和/或照明设置的特征(例如，局部特征描述符如SIFT参考文献[I]，形状描述符参考文献[18]或技术人员已知的其他方法)的可能性高。通常在尺度空间内提取特征，即以不同的尺度。因此，除其二维位置之外每个特征有一个可复验的尺度。此外，从在围绕该特征的区域中的各像素点的强度计算可复验的指向(旋转)，例如作为强度梯度的主导方向。
[0012]其次，为使特征能够比较和匹配而确定特征描述符。常见的方法使用经过计算的特征的尺度和指向来转换特征描述符的坐标，其为旋转和尺度提供不变性。例如，描述符可以是η维实数的矢量，其是通过连接各局部图像强度的函数直方图来构建，如梯度渐变(如在参考文献[I] (Lowe, David G.“Distinctive Image Features from Scale-1nvariantKeypoints.，，International Journal of Computer Vision60.2 (2004): 91-110))。作为一种选择，描述符可能是一个n维的二元向量(如在参考文献[22](Leutenegger, Stefan, Margarita Chli, and Roland Y.Siegwart.〃BRISK:Binary robustinvariant scalable keypoints."Computer Vision (ICCV), 2011IEEE InternationalConference on.1EEE, 2011) X
[0013]最后，一个重要的任务是特征匹配。给定一个自当前强度图像中检测和描述的当前特征，目的是在一组被称为参考特征的给定特征中，找到一个与相同物理3D或2D表面一致的特征。特征匹配最简单的方法是通过穷举搜索找到当前特征的描述符的最近邻，并选择相应的参考特征作为匹配。更先进的方法是在描述符域中采用空间数据结构来加速匹配。不幸的是，没有已知的方法能在高维空间中实现比穷举搜索快得多的最近邻搜索。这就是为什么常见的方法使用近似最近邻搜索来代替，如通过空间划分数据结构实现，如KD-树在参考文献[I] (Lowe, David G.“Distinctive Image Features from Scale-1nvariantKeypoints.，，International Journal of Computer Vision60.2(2004):91_110)o
[0014]图1 (结合图2)显示了以一组参考特征匹配一组当前特征的标准方法的流程图。在步骤Sll中，由一个拾取装置提供当前图像Cl。然后下一步骤S12在当前图像Cl中检测和描述特征(可选:根据估计模型-特征-位置选择性提取)，其中在摄像图像Cl中每个所产生的当前特征c具有一个特征描述符d (c)和一个2D位置。能够用来进行特征检测和描述的可行方法在下面参照典型实施例更详细地解释。在步骤S13中提供一组参考特征r，每个参考特征具有一个描述符d (r)和在全局坐标系中任选的一个(部分)位置和/或指向。参考特征可以是提取自参考图像或3D模型或关于对象的其他信息。请注意，在全局坐标系中位置和/或指向在可视化搜索和分类任务的情况中是可选择的。在步骤S14中，匹配来自步骤S12的当前特征c和来自步骤S13的参考特征r。例如，对于每个当前特征，搜索具有与当前特征的描述符关于一定距离度量最接近的描述符的参考特征。根据步骤S15，应用程序(application)使用该特征匹配,如为了在一个增强现实应用(application)中非常准确地判断拾取装置的位置和指向，将空间校准的虚拟3D对象集成入摄像图像中。
[0015]已有的解决方案
[0016]参考文献[3](Bleser, Gabriele, and Didier Strieker.“Advanced trackingthrough efficient image processing and visual -1nertial sensor fusion.”Computers&Graphics33.1 (2009): 59-72)的视觉惯性跟踪方法应用惯性传感器测量摄像机自之前帧到当前帧的相对运动。这方面的知识是用于预测位置以及为逐帧跟踪特征而在图像空间中定义2D搜索空间。由于该技术仅使用相对摄像机转换的测量，它不适合摄像机位姿跟踪的初始化或视觉搜索任务。
[0017]因此，在执行视觉计算任务时，提供一致的信息系统和操作方法是有益的，这能在减少处理和功耗要求下实现更高的性能和更高的算法灵活性，从而能够减少电池消耗。
[0018]发明目的
[0019]本发明涉及一种根据权利要求1的信息系统和一种操作信息系统的方法。

【发明内容】

[0020]根据本发明的一个方面，一种图像特征匹配参考特征的方法包括以下步骤:提供一个由拾取装置拾取的当前图像，提供参考特征，其中每个参考特征包括至少一个参考特征描述符，在当前图像中确定当前特征并与每个当前特征的至少一个相应当前特征描述符相关联，并通过在每个相应当前特征描述符和每个相应参考特征描述符之间确定相应相似性度量将当前特征与至少一些参考特征匹配，在集成电路上由电路逻辑或可配置逻辑执行相似性度量的确定，电路逻辑或可配置逻辑为确定相似性度量处理逻辑函数。
[0021]根据本发明，提出一种新的方法，关于如何通过执行硬件中专用部件使视觉计算任务优化并且在实时运行中更加鲁棒。
[0022]本发明的进一步效果是基于先验数据(参考特征)改善光学跟踪系统的初始化，以便在减少处理和功耗要求下实现较高性能。
[0023]根据本发明的另一方面，提供了一种用于将图像特征与参考特征匹配的集成电路，它包括一个用于接收通过拾取装置拾取的当前图像中获得的相应当前特征的多个当前特征描述符的接口，一个用于接收相应参考特征的多个参考特征描述符的接口，和一个用于在每个相应当前特征描述符和每个相应参考特征描述符之间确定相应相似性度量的逻辑电路，用于匹配当前特征与参考特征，其中逻辑电路包括为确定相似性度量处理逻辑函数的电路逻辑或可配置逻辑。
[0024]在一个优选的实施例中，本方法在专门的硬件模块上实现，并且仅由通用处理器部分地执行。当然硬件模块可以是作为通用处理器的同一集成电路(也被称为硅片或芯片)的部分。
[0025]在一个优选的实施例中，专门的硬件模块是一个不可编程单元，其中，可编程指的是执行通用指令的动态序列。
[0026]在一个优选的实施例中，当前的图像可以是强度图像或深度图像。
[0027]当我们在这公开内容中通篇论及强度图像时，我们指的图像表示自环境反射的不同数量的光，大多取决于环境的材质和光线的情况。强度图像可以将强度按照不同的位分辨率(例如8位或高动态范围)编入个(如灰度级)或多于一个的通道(如RGB-红-绿-蓝)。
[0028]在下面的段落将描述几种可应用于基于本发明的匹配过程的方法，可在一幅图像中提供深度图像或包括诸如像素或特征的元素深度的稀疏深度信息。
[0029]根据一个在强度图像中确定至少一个元素的深度的实施例，具有已知相对位置和/或指向的至少两个拾取装置各拾取一个相应强度图像，其中在图像中寻找对应关系，并且拾取装置的相对位置和/或指向用于计算强度图像中至少一个元素深度，元素深度是至少一个对应关系的部分。在这种情况下，匹配过程将由两个通用步骤实施。首先匹配当前帧I和当前帧2的特征，以便从拾取装置I和2之间的给定位姿计算它们的深度信息。其后的步骤中，当前特征随后与参考特征相匹配，在匹配过程中利用深度信息或推导的位置信息。
[0030]根据另一在强度图像中确定至少一个元素的深度的实施例，至少一个拾取装置从不同位置拾取在不同时间点的强度图像，其中对应关系在不同图像中被找到，并且恢复不同图像之间的拾取装置的相对位置和/或指向以及对应关系的结构并将其用于计算强度图像中至少一个元素深度，元素深度是至少一个对应关系的部分。如上面的情况，匹配可以通过几个过程再次进行，最近的图像特征相互匹配，然后针对一个匹配过程中的附加信息与较早的参考特征合并。
[0031]根据另一在强度图像中确定至少一个元素的深度的实施例，提供至少一个强度图像数据库，其中已知对每个强度图像的全局深度，或至少一幅图像区域的深度，或一个或更多像素的深度，并将拾取装置拾取的强度图像(当前强度图像)与这个数据库相匹配。匹配的结果用于计算在当前强度图像中的至少一个元素的深度。
[0032]根据另一在强度图像中确定至少一个元素的深度的实施例，提供一个环境模型，以及当相对于环境模型(也许是个初始估计)获取强度图像时关于拾取装置的位置和/或指向信息，其中环境模型和关于拾取装置的位置和/或指向的信息相结合，并用于计算强度图像中至少一个元素的深度或位置估计。
[0033]根据另一在强度图像中确定至少一个元素的深度的实施例，提供至少一个用于检索深度信息或范围数据的传感器，以及至少一个传感器相对于拾取装置的至少一个相对位置和/或指向，其中深度信息或范围数据用于计算强度图像中至少一个元素的深度。优选地，传感器和拾取装置两者的位姿(位置和指向)和固有参数是已知的。
[0034]根据一个实施例，从至少一个已经由不同于拾取装置的第二拾取装置记录的参考图像中提取参考特征。根据一个实施例，至少一个参考图像的拾取时间是至少比当前图像的拾取时间早一天。
[0035]根据本发明的相似性度量，例如可使用距离度量。根据一个实施例，本发明的方法可以包括通过将距离度量与至少一个相应阈值比较来确定至少一个相应校验参数，其中校验参数用作确定是否执行匹配的条件，或用于影响距离度量。如果执行匹配，在匹配过程中使用相应已确定的相似性度量。
[0036]根据本发明的一个实施例，在集成电路上以流水线的方式并行执行用于确定相应距离度量或其部分，以及相应校验参数(将在下文更详细地解释)的计算。例如，集成电路的时钟信号的每个时钟周期计算相应距离度量和/或校验参数。
[0037]在本发明的一方面，确定相应相似性度量之后，该方法进一步包括存储自相似性度量确定之时最相似和次最相似的相似性度量，以及与最相似的相似性度量关联的相应当前特征描述符的指针。
[0038]根据一个实施例，最相似的相似性度量与次最相似的相似性度量的导数相比较，其中如果该比较满足预定条件，就在为进一步处理提供最相似和次最相似的相似性度量，指针，以及关联的参考特征描述符。
[0039]该方法可以进一步包括从已计算的距离度量来确定最小距离度量，以及存储相应当前特征描述符的指针，由此确定最小距离度量。
[0040]根据一方面，该方法可进一步包括在集成电路的存储器(例如SRAM)上存储当前特征描述符，其从存储器中检索无需等待状态。
[0041]根据一个实施例,该方法进一步包括与每个当前特征至少一个当前特征描述符向量关联的步骤，其中每个参考特征包括至少一个参考特征描述符向量，并在参考特征的每个参考特征描述符向量和当前特征的每个当前特征描述符向量之间计算相应相似度度量。
[0042]在一个可能的实现中，当前图像的至少一个像素设置为当前图像的相应当前特征，即图像的每一个像素可以代表一个特征。
[0043]根据本发明的一个实施例，该方法在图像的不同分辨率下运行。
[0044]根据本发明的一个实施例，第一特征提取处理可用于提取的第一组当前特征和为第一组当前特征而设的第一组当前特征描述符，且第二特征提取处理可用于提取第二组当前特征和为第二组当前特征而设的第二组当前特征，其中第一特征提取处理和第二特征提取处理，或第一特征描述符创建过程和第二特征描述符创建过程彼此不同，并且第一和第二组当前特征描述符的特征匹配过程由电路逻辑或可配置逻辑执行。第一和第二组的匹配过程理想情况下由电路逻辑彼此独立地执行。图3显示了整个过程，在此1..η表示不同的特征提取方法，1..m表示不同的特征描述符处理过程和不同的所得到的描述符集匹配，并发生对象检测。所有这些，可在低功率子系统中根据本发明发生在低功率模式下和理想情况下。
[0045]如果检测到一个相关对象，高功率应用程序可被自动启动，并为用户提供相关信息。理想情况下，这可是音频导览或增强现实接口，如参考文献[6] (Miyashita, T., etal.〃An augmented reality museum guide."Proceedings of the7th IEEE/ACMInternational Symposium on Mixed and Augmented Reality.1EEE ComputerSociety, 2008)中描述。
[0046]再一方面，该方法可包括在特征匹配之后进行几何验证以去除错误的特征匹配或去除分类情况中的误报。因此在参考数据库中，存储许多特征。每个特征都对应一类或先验对象。根据当前图像特征和一个先验对象的特征之间的匹配的数量和匹配的距离度量中的至少一个，对象可假设被匹配或一个以上对象被假设为候选对象。在这两种情况下，可开启高功率模式。可选地，本例中低功耗子系统能够导通几何验证，只有对象几何验证成功后，高功率模式才可开启。
[0047]根据本发明的一个实施例，该方法可进一步包括提供一组参考特征的步骤，其中每个参考特征包括至少一个第一参数，第一参数至少部分地表示相对于全局坐标系的参考特征的位置和/或指向，其中全局坐标系为地理坐标系或对象坐标系，或第一参数至少部分地表示相对于高度的参考特征的位置；与相应当前特征至少一个第二参数关联的步骤，第二参数至少部分地表示相对于全局坐标系的当前特征的位置和/或指向，或至少部分地表示相对于高度的当前特征的位置；和通过在至少一个第一参数和至少一个第二参数之间确定相似性度量，匹配当前特征与一组参考特征中至少一个参考特征的步骤。
[0048]例如，该方法可包括当匹配相应当前特征时，用一组参考特征内数量减少的参考特征定义搜索空间的步骤，其中搜索空间是基于至少一个第二参数确定。
[0049]根据一个实施例，该方法可以包括综合考虑特征提取过程中的指标的步骤，例如从特征提取器中产生符号。例如，SURF特征的符号相当于特征提取过程高斯函数的拉普拉斯算子的符号。
[0050]根据本发明的一个实施例，在构造特征描述符的方法中，自图像提取特征点来在2维描述(参数a0，al)中获取特征点。以及使用由跟踪系统提供的关于拾取装置的空间信息(参数b0，bl，b2)为所提取的特征点计算特征指向。例如，跟踪系统给出拾取装置相对于地理坐标系的指向作为Euler角，且特征描述符应与万有引力校准。一个非常简单的获取所有特征的指向的方法是首先用Euler角将万有引力转换至属于拾取装置的坐标系，然后将它投射在图像平面上。从而，图像中万有引力的方向被计算并用于图像中所有特征。这种技术假定的正交投影通常不是这样。虽然结合摄像机的固有参数放松这一假设，但所有基于2D图像的技术假设在图像中所有可视的物体位于一个平面，因此是近似值。根据本发明的一个实施例，基于临近像素的像素强度计算以及相对于通用坐标系存储至少一个特征的一个或多个方向。在匹配阶段，仅相对于通用坐标系具有相似方向的特征进行匹配，以减少所需要的比较次数，并减少错误匹配率。
[0051]根据本发明的一方面，至少一个当前特征描述符或参考特征描述符是一个对象的较高级描述，使其尺度和/或旋转和/或光线不变。
[0052]根据本发明的实施例，该方法还可包括从强度图像中检测和描述特征的方法，其中由拾取装置和对象之间的距离产生的尺度是不变的，但对各种应用中对象的实际(物理)尺度敏感。因此建议在强度图像中使用元素的深度(例如，一个像素)为特征检测和/或描述在强度图像中特定元素(象素)。由此，特征可在实际(物理)尺度被检测和描述，提供一种相对于强度图像上标准尺度不变特征描述符的显著改进，没有对摄像机移动引入任何约束。在一个实施例中，该方法可包括提供由摄像机拾取的强度图像的步骤，提供一种用于确定强度图像中至少一个元素的深度的方法，在特征检测过程中检测强度图像中至少一个元素的深度，其中通过在一个尺度上处理强度图像的图像强度信息执行特征检测，该尺度取决于强度图像中的至少一个元素的深度，以及提供至少一个已检测特征的特征描述符。
[0053]在全局坐标系中的拾取装置的位置测量值可由GPS传感器/接收器，IR或RFID三角测量，或通过使用宽带或无线基础设施的定位法提供。在全局坐标系中的拾取装置的取向测量值可由惯性传感器，加速计，陀螺仪，罗盘，或机械的，电磁的，声学的或光学的跟踪系统中的至少一个提供。在本发明的上下文中，惯性传感器可诸如连续地提供包括对象或设备相对于环境的位置和/或指向的传感器信息，通过使用以下的任意组合:磁力计(例如指南针)，运动传感器/旋转传感器(加速计/陀螺仪)，重力传感器和提供此信息的其他传 感器。
【专利附图】

【附图说明】
[0054]本发明的实施例将参照如下附图进一步描述，在此:
[0055]图1显示了一个将一组当前特征与一组参考特征匹配的标准方法的流程图，
[0056]图2是用于说明与图1相关的特征的检测，描述和匹配的描述，
[0057]图3描述了一个特征匹配的过程的实施例和一个可能的应用，其中特定算法组成模块在低功耗下实施其他部分在高功耗下实施，
[0058]图4显示了应用本发明实施例的方法的示例性场景，
[0059]图5显示了根据本发明实施例在集成电路上匹配过程中相似性度量的确定的一种可能的实现，
[0060]图6描述了根据本发明的一个实施例在集成电路上匹配过程中相似性度量的确定的另一种可能的实现，
[0061]图7显示了如参考图5和6描述的过程的一般工作流程的流程图，
[0062]图8描述了根据一些过程步骤准备低功率模式，切换到低功率模式和切换到高功率模式的过程的实施例，
[0063]图9显示了根据本发明的一个实施例的在光学位姿判断中使用的利用物理度量特征描述符的深度提取机制的可能组合的流程图，
[0064]图10描述了根据本发明另一个实施例的方法的流程图，在此其先于匹配过程检验特征是否在理论上成立。
[0065]图11显示了低功耗子系统可能的体系结构，
[0066]图12显示了系统的一个可能的实施例，
[0067]图13显示了一个处理系统整体的一个实施例的概述，
[0068]图14显示了系统的另一可能的实施例。
【具体实施方式】
[0069]初始化过程在开始已经简要介绍过，并示于图1。在应用处理单元运行此过程中，通常要求超过IGHz的时钟率。因此，今天，由于电池快速耗尽，移动设备上的对象检测应用程序只可能短时间使用。
[0070]根据优选实施例，有可能分类对象(视觉搜索过程)，这是当前图像与预先生成的类别描述匹配的过程，或有可能匹配独立特征(特征匹配过程)，那么理想情况下独立特征可由应用处理单元使用来运行位姿优化过程。请记住，视觉搜索可以匹配每幅图像的多个特征为基础。同时，整幅图像可能是一个特征。这两种方法都被本发明支持。
[0071]根据本发明，视觉搜索过程和特征匹配过程都能以存在于数据库以及存在于当前图像中的不同特征和特征描述符工作。在这种情况下，不同特征使用不同特征提取和/或特征描述方法提取，并由硬件单元在两个独立执行上匹配(如图3所示)。例如，首先提取和匹配SIFT特征，然后提取和匹配SURF特征。
[0072]图3描述了一个类似于上述关于图1的特征匹配过程以及用于位姿估计的匹配的一种应用，渲染3D对象或播放音频文件。渲染可发生在图形处理器单元(GPU)。[0073]本发明的一个优点是省去了处理步骤的可能性，这在以前是必要的，或在一个完全不同的有利配置中运行它们的可能性。例如，特征提取过程中可被忽略不计或不作考虑，创造了非常大量的描述符。相反，每个象素或非常大量随机地选择的像素可被选作描述中心。在这种情况下，依据本发明每个像素或每个被选像素被看做是一个特征。代替选择随机像素，网格可以被用于提取描述符中心，例如，一行中每第10个像素，其中分析每个第10象素行。大量增加特征来匹配(约每幅图像10.000特征)导致在几千图像的测试数据库中成功初始化增加至76%。
[0074]有利的是，它可在特征对是否在理论上成立的过程期间被检测。这可以通过检查当前特征的估计位置相对于参考特征的记录位置实现。根据本发明的这一方面，建议缩小搜索空间或通过考虑其在世界坐标(或全局坐标)中的位置的(局部)信息影响为匹配由拾取装置拾取的当前图像的图像特征的距离测度。全局坐标系统可以是地理坐标系统或对象的坐标系统(例如，建筑物或产品包装或汽车)，它有一个固定的高度或关于地球引力的固定的取向。作为可确定的特征的位置的自由度严重依赖于关于拾取装置的位置和指向的可利用信息，本发明的各方面的不同示例性实施方式相对于图4和图10在下面解释更多的细节。
[0075]本发明的另一方面考虑特征提取过程的指标，如从SURF特征提取器(高斯的正或负拉普拉斯算子)产生的符号。
[0076]本发明的另一方面，不仅考虑到了两个特征描述符之间的最小距离，还考虑最小距离和次最佳距离之间的距离。具体地，如果乘以一个小于0.9的标量因子后的次最佳距离大于最佳匹配的距离，两个描述符被认为是一个匹配。这样就避免了误报(错误地匹配特征)的发生，这将导致在位姿估计中错误分类或问题。
[0077]在本发明的另一个方面，当前图像的所有当前特征彼此相匹配，去除彼此非常相似(该距离度量低于一定阈值)的特征。过滤后的一组当前特征随后与参考特征匹配。
[0078]本发明非常适用于对象分类。本发明也非常适用于摄像机位姿初始化，在此缺失或不完整的关于摄像机的对象位姿的先验信息是可用的。
[0079]特征检测:
[0080]特征是在图像中的显著元素，它可以是一个点，一条线，一条曲线，一个连接区域或任何其它像素集。同样，一个像素，一幅图像的所有像素，或每一组已选像素可依据本发明被定义为一个特征。
[0081]特征检测算法是通常的显著性检测器。例如，他们发现线，边，或微分算子的局部极值。特征检测器可以被视为一个函数映射的区域像素响应。在文献中，这个区域被称为采样窗口或特征检测器的测量孔径。响应是决定哪些元素是特征哪些不是的最终阈值。为了在一定尺度下提取特征，要么采样窗口可被相应地度量，要么图像在计算特征检测器的响应之前被度量。特征的尺寸随后被定义为用于检测它的采样窗口的尺寸。
[0082]对于关键点检测方法的常见例子包括高斯的拉普拉斯(LoG)，高斯差函数(DoG)，Hessian行列式(DoH),最大稳定的极值区域(MSER), Harris特征,或基于学习的转角检测器如FAST。
[0083]3D特征也代表了用于本发明的一个可能的数据源。3D特征可通过许多方法从深度图像或3D模型中提取，例如识别局部极值。[0084]在本发明的一方面，整个图像也可被看作一个特征。
[0085]在本发明的另一方面，3D数据和强度数据的组合可被用作输入数据，例如在参考文献[19] (Wu, Changchang et al.“3D model matching with Viewpoint-1nvariantPatches(VIP).，’IEEE Conference on Computer Vision and PatternRecognition(2008)0(2008):1-8)中所述。
[0086]特征/图像描述
[0087]已提取的视觉特征(特征点，边缘，转角，局部极值等)必须是可重复的，这意味着尽管视点(方向，尺度等)，光线条件和/或图像噪声不同，它们的提取应该是可能的。
[0088]匹配的过程包括发现至少一个自两个或更多图像提取的相应视觉特征。它常常需要创建描述符，它们允许相对于一些相似点或距离度量，不同图像中相同的自然特征以类似的方式描述。一些特征点描述符的概述和比较在参考文献[21] (Mikolajczyk, K.and Schmid, C.,,A Performance Evaluation of Local Descriptors.，，2005IEEE Trans.Pattern Anal.Mach.1ntell.27，10 (2005): 1615-1630)中给出。一旦为每个已提取的特征创建了一个或多个描述符，它们根据相似度或距离度量进行匹配:对在查询图像中的每个特征，匹配使用最接近的描述符或基于参考文献[I] (Lowe, David G.“Distinctive ImageFeatures from Scale-1nvariant Keypoints.”International Journal of ComputerVision60.2(2004):91-110)的比率检验法分配。
[0089]参考文献[I8](Bosch, A, Andrew Zisserman, and X Munoz.“Representing shapewith a spatial pyramid kernel.，，Image Processing5 (2007): 401 - 408)描述了一种代表局部图像形状及其空间布局的描述符，连同一个空间金字塔内核。
[0090]参考文献[20](Uchiyama, Hideaki, and Marchand, Eric.“TowardAugmenting Everything: Detecting and Tracking Geometrical Features onPlanar Objects.，，2011 International Symposium on Mixed and AugmentedReality (2011):17-25)描述了一种基于特征的空间关系的描述符，这也是一种可能性。该方法是在一个集合Pn中选择一个点X的η个最近邻。从Pm中选择m〈n个点。计算所有可能的基于m个点中的f个点(对于相交比率f=5，以及对于仿射不变量f=4)的不变量。在固定顺序中不变量的序列是点X的一个描述符。该仿射不变量是两个三角形之间的面积之比:A(a，c，d)/A(a，b，c)。透视不变量是三角形面积的相交比:(A (a, b, c) *A (a, d, e)) / (A (a, b, d) *A (a, c, e))。在参考文献[20] (Uchiyama, Hideaki, andMarchand, Eric.“Toward Augmenting Everything!Detecting and Tracking GeometricalFeatures on Planar Objects.，，2011 International Symposium on Mixed and AugmentedReality (2011):17-25)中，一个散列过程用于匹配特征，其可不作考虑，使用我们的引擎。
[0091]参考文献[15](Taati, Babak: ^Generation and Optimization of Local ShapeDescriptors for Point Matching in3_D Surfaces.^Thesis(Ph.D, Electrical&ComputerEngineering) -Queen’s University, Kingston, Ontario, Canada, August2009)给出了很好的综述关于3D和基于用于匹配的描述符的深度图像。
[0092] 本发明总体来说，描述符可有利地为一个向量，其源于一个2D图像或2D图像的一部分或3D数据，其创建不只是将像素转换到不同颜色空间或标准化其值。在本发明的另一方面，描述符源自直方图，统计或关于像素，形状或深度值的相关关系。匹配过程:[0093]该匹配过程是本发明的解决方案中一个关键组成部分。一个可能的布局基于图5所示的实施例。一个可能的流程图由图7所示。根据一个实施例，它结合了下列计算:
[0094]根据本发明作为相似性度量，例如，可使用距离度量。根据我们的发明，D(c，r)描述了在两个描述符之间的有利距离度量。具体地说，它描述了当前特征c的当前特征描述符d(c)和参考特征r的参考特征描述符d(r)之间的距离度量。例如，如上文相对于图1所描述的，当前特征c和参考特征r以及它们的特征描述符d(c)和d(r)被确定并分别提供。
[0095]通常，相应距离度量D (c，r)可在包括相应当前特征描述符d (C)的相应当前特征c的一个或多个属性和包括相应参考特征描述符d(r)的相应参考特征r的一个或多个属性之间确定。
[0096]本发明的方法可包括在每个相应当前特征描述符d(c)和每个相应参考特征描述符d(r)之间确定相应第一距离度量d，用于相似性度量D (c，r)的确定。
[0097]根据一个实施例，本发明的方法可包括在当前图像中相应当前特征描述符d(c)的位置信息X(c)和/或y(c)和通用坐标系中相应参考特征描述符d(r)的相应位置信息x(r),y(r)之间确定相应第二距离度量(此处x和/或y)，用于相似性度量D (c，r)的确定。例如，这可被计算为由d(c)描述的相应当前特征的3D位置信息X(C)和由d(r)描述的相应参考特征的3D位置信息X(r)之间的Euclidian距离。
[0098]根据进一步的实施例，本发明的方法可包括确定相应第三距离度量z来表示当前图像中相应当前特征描述符d(C)的位置信息Z (C)和通用坐标系中相应参考特征描述符d(r)的位置信息z(r)之间的角度，用于相似性度量D(c，r)的确定。例如，这可被计算为由摄像机中心定义的第一向量z (c)及其相应当前特征的3D位置信息和由摄像机中心定义的第二向量z (r)及其相应参考向量的3D位置信息之间的标量积。
[0099]在另一实施例中，z可表示关于全局坐标系的摄像机指向和特征的独立方向属性之间的角度，例如源于一个已知表面的曲面法线，在其上定位特征。
[0100]根据进一步的实施例，本发明的方法可包括在当前图像中相应当前特征描述符d(c)的标量属性u(c)和/或V(C)与相应参考特征描述符d(r)的相应标量属性u(r)，V(r)之间确定相应第四距离度量(此处，u和/或V)，用于相似性度量D(c，r)的确定。例如，这可从SURF (高斯正或负拉普拉斯算子)的符号计算。
[0101]根据进一步的实施例，本发明的方法可包括通过至少一个相应第一，第二，第三和第四距离度量与至少另一个相应第一，第二，第三和第四距离度量组合确定相应组合距离度量D (c，r)，用于相应相似性度量的确定。
[0102]例如，D(c，r)可以是Au, Δ ν, Δ χ, Δ y, Δ ζ,和 / 或 Ad 的组合。
[0103]P(c,r)描述了本发明的匹配过程中另一个适用的可选部分。它可用于检查两个描述符是否应完全匹配。通常，这是有助于避免错误匹配。P检查，是否满足特定条件，取决于给定的阈值。
[0104]根据一个实施例，本发明的方法可包括确定检查参数P，其为确定是否特征对c，r与当前特征之一和参考特征之一有资格为有效匹配而计算。
[0105]根据一个实施例，本发明的方法可包括通过将至少一个相应第二距离度量Λχ和/或Λ y，第三距离度量Λ ζ和第四距离度量Au，Λ ν与至少一个相应阈值相比较来确定至少一个相应检查参数P (C，r)，其中该检查参数P (C，r)用于确定是否具有当前特征之一和参考特征之一的特征对c，r有资格为有效匹配。
[0106]例如,该方法可以进一步包括加权相应当前特征c和参考特征r的至少一个属性，或在一个或多个属性之间的至少一个距离度量。进一步，该方法可包括当确定组合距离度量D (c，r)时，加权至少一个第一，第二，第三和/或第四距离度量。
[0107]具体地，每个上述组件可给予权重(如，wu, wv, Wx等)，这取决于为系统提供的可用信息。这里所使用的信息可以是来自特征提取过程或来自在全局坐标系或摄像机坐标系(例如用于利用对极几何约束的立体匹配)中当前特征的位置估计。如果这种信息不可用，在公式D(c，r)中的相应权重可被设置为零或一个值，例如取决于信息的不确定性。如果信息不完整或没有给出有关Διι, Δ ν, Δχ, Ay, Δ ζ信息或没有可用信息，阈值可被设置为一个很高的值或进行缩放，这取决于不确定信息。
[0108]根据一个实施例,距离度量D (c, r)的部分如上所述,如Au, Δ ν, Δ χ, Δ y, Δζ和Δ d可如下确定:
[0109]Δ u= (u (c) -u (r)) 2
[0110]Δ ν= I ν (c) -ν (r):?
【权利要求】
1.具有至少一个摄像机的可穿戴信息系统，所述信息系统可操作的具有低功率模式和高功率模式，其中所述信息系统被配置为使高功率模式通过至少一个摄像机的至少一个视野中的至少一个对象的检测激活。
2.如权利要求1所述的信息系统，所述系统包括一头戴式显示器和至少一个附着于所述显示器为接收所述头戴式显示器的取景方向上的信息而配置的摄像机。
3.如权利要求1所述的信息系统，其中所述摄像机能够记录强度信息，色彩信息，深度信息中的至少一种。
4.如权利要求1所述的信息系统，其中在低功率模式下至少一个应用处理单元的时钟速率低于高功率模式。
5.如权利要求1所述的信息系统，其中低功率模式下至少一个外围子模块能被断接电源。
6.如权利要求1所述的信息系统，其中所述系统包括至少一个应用处理单元和附加处理单元(具体 地，低功率子系统)，在至少一个摄像机的至少一个视野中的对象的检测由所述附加处理单元实施。
7.如权利要求6所述的信息系统，其中所述附加处理单元包含至少之一的:CPU，用于匹配特征的电路逻辑，至少一个用于从图像中提取特征的电路逻辑，至少一个用于描述从图像中提取的特征的电路逻辑，至少一个用于生成摄像图像的不同分辨率图像的缩放单元，用于存储在图像中找到的当前特征的存储器以及用于存储参考特征的数据库的存储器。
8.如权利要求1所述的信息系统，其中所述对象并不是人。
9.如权利要求1所述的信息系统，其中所述对象的检测包括来自摄像图像的特征的提取，建立所述特征的较高级描述以及将所述特征与事先存储的来自先验对象的特征的较高级描述相匹配。
10.如权利要求8或9所述的信息系统，其中所述特征为点特征。
11.如权利要求8或9所述的信息系统，其中所述描述符为旋转不变量。
12.如权利要求8或9所述的信息系统，其中所述描述符为尺度不变量，特别通过在原始摄像图像的不同尺度版本上执行特征提取和/或特征描述，或通过运行特征提取和/或描述算法在不同尺度下提取信息。
13.如权利要求1所述的信息系统，其中所述系统被配置为使图像仅被存储和和/或检测仅被试验，如果另一传感器已触发这样的事件，特别是如果加速计或指南针或陀螺仪之一记录所述可穿戴信息系统的微小运动和或记录该装置还在移动。
14.如权利要求1所述的信息系统，其中所述系统能被用户置于低功率模式。
15.如权利要求14所述的信息系统，其中低功率模式通过手势识别激活。
16.如权利要求15所述的信息系统，其中手势识别是经由手或手臂的运动，该运动为“擦”过被检测对象。
17.如权利要求14所述的信息系统，其中如果之前，所述信息系统由用户置于低功率模式下，而之前特殊对象已被检测，所述系统将不会被置于高功率模式。
18.如权利要求14所述的信息系统，其中所述低功率模式由用户使用语音命令激活。
19.如权利要求1所述的信息系统，其中在所述高功率模式，所述系统显示关于被检测对象的增强现实信息。
20.如权利要求1所述的信息系统，其中当在摄像图像中不再检测被检测对象和/或多媒体内容已被充分显示时，所述低功率模式自动激活。
21.如权利要求1所述的信息系统，其中根据传感器测量值或用户互动，从远程服务器下载新的参考特征。
【文档编号】G06T7/00GK104007817SQ201410060643
【公开日】2014年8月27日 申请日期:2014年2月21日 优先权日:2013年2月21日
【发明者】彼得·米尔, 托马斯·斯维林 申请人:Metaio有限公司