用于视觉搜索的图像拓扑编码的制作方法

用于视觉搜索的图像拓扑编码的制作方法
【专利摘要】一种用于处理图像的方法和设备，其基于第一数目的点的拓扑信息，从所述图像的第一数目的点中生成所述图像的第一数目维数的第一矢量，并且在生成所述图像时，所述图像的所述第一矢量的旋转度与尺度不变。所述第一数目的点可以是所述图像的一组旋转度与尺度不变的特征点的位置，并且所生成的第一矢量可以是从所述图像的所述第一数目的点中生成的成对距离矩阵的图谱。
【专利说明】用于视觉搜索的图像拓扑编码
[0001]本发明要求2011年12月29日递交的发明名称为“用于视觉搜索的图像拓扑编码(Image Topological Coding for Visual Search)” 的第 13/340，398 号美国非临时申请案的在先申请优先权，并且要求2011年7月11日递交的发明名称为“采用图形频谱分析的拓扑编码和验证(Topological Coding and Verification with Graph SpectralAnalysis)”的第61/506，612号美国临时申请案的在先申请优先权，这两个在先申请的内容以全文引入的方式并入本文本中。
【技术领域】
[0002]本发明大体涉及图像处理，且确切地说，涉及可以在视觉搜索中应用的提供用于图像的点集的拓扑编码的实例实施例。
【背景技术】
[0003]现代的移动电话、手机、平板电脑、移动终端、移动装置或用户设备已发展为强大的图像和视频处理装置，该图像和视频处理装置配备有高分辨率相机、彩色显示器和硬件加速图形。随着像android、iPhone等的移动装置迅速发展,基于移动的多媒体视觉服务正经历着深刻的变革和发展。移动视觉搜索服务的应用场景可以是基于位置的服务、徽标搜索等等，其中从移动装置中发送的一个图像或多媒体与存储在数据库或图像存储库中的另一图像或多媒体相匹配。移动视觉搜索系统的第一推广应用包括谷歌的Goggles、诺基亚的Point and Find、Kooaba和 Snaptell。
[0004]移动装置通过无线网络而发送的图像查询通常在计算上开销很大，需要相当高的通信成本，而且无法支持实时操作。在受欢迎的应用中，其中移动装置捕获某些对象的图片，并在无线网络上将这一图片作为查询来发送以搜索较大的存储库，降低比特率同时保持匹配准确度是在MPEG下进行标准化努力所面临的主要问题和主要焦点。
[0005]出于视觉搜索的目的，视觉描述符或图像描述符可以代替图像用作查询。然而，对于移动装置来说，视觉描述符通常还是非常大的，这是因为它们由数百个尺度与旋转度不变的特征点及其位置组成。尺度不变特征变换(SIFT)的一个实例特征点由具有2048个位的128维组成。快速鲁棒特征(SURF)的另一实例特征点由具有1024个位的64维组成。减小特征点的大小可能损害视觉搜索服务的搜索性能以及匹配准确度。
[0006]图像的点集而非完整图像可以由移动装置发送以搜索图像存储库。可以在发送用于视觉搜索的图像的特征点的同时发送点集，或者单独发送点集。因此点集除了可以用于搜索特征点之外，还可以用于在视觉搜索中对图像进行搜索和匹配。

【发明内容】

[0007]随着互联网中视觉内容存储库的飞速发展，可以在无线链路上支持通过捕获进行的查询的视觉搜索方案在多种应用中都存在着很大的吸引力。在本发明中，公开了一种视觉搜索系统，所述系统可以操纵图像的点集，从而生成用于表示所述图像的拓扑编码矢量，所述矢量可以用于对图像进行搜索和识别。图像点集的拓扑编码矢量较小，从而可以促进对图像进行有效的搜索和识别。拓扑编码矢量在生成图像时旋转度与尺度也是不变的。
[0008]根据一项实例实施例，提供了一种用于处理图像的方法。所述方法基于第一数目的点的拓扑信息，从图像的第一数目的点中生成了图像的第一数目维数的第一矢量，并且在生成图像时，图像的第一矢量的旋转度与尺度不变。
第一数目的点可以是图像的一组旋转度与尺度不变的特征点的位置，并且生成的第一矢量可以是从图像的第一数目的点中生成的成对距离矩阵的图谱。另外，图谱作为图的拉
普拉斯矩阵L=S-W的本征值eigenvalue (L)进行计算,其中S是具有项*5"*，* =^wj.k的对角
矩阵，η是第一数目的点，而W是由m，/;定义的关联矩阵，I |XrXk| I是第一数目的
点中的第一点\与第二点Xk之间的距离。
[0009]根据一项实例实施例，提供了一种用于处理图像的方法。所述方法从图像的第一数目的点中生成了图像的第一数目维数的第一矢量。所述方法可以进一步通过压缩方法对第一数目维数的第一矢量进行压缩，以生成第二数目维数的第二矢量。例如，所述压缩方法可以是离散余弦变换(DCT)。
[0010]根据一项实例实施例，提供了一种用于处理图像的方法。所述方法从图像的第一数目的点中生成了图像的第一数目维数的第一矢量。当图像的第一矢量与额外图像的第二矢量之间的距离小于阈值时，所述方法可以进一步对图像和额外图像进行匹配，其中额外图像的第二数目维数的第二矢量是基于第二数目的点的拓扑信息从额外图像的第二数目的点中生成的，并且额外图像的第二矢量在生成额外图像时旋转度与尺度不变。根据一些实施例，所述阈值可以从含有额外图像的图像存储库中生成，所述第一数目等于所述第二数目。所述方法可以用于视觉搜索中，从而将图像与存储在图像存储库中的额外图像进行匹配。
[0011]根据一项实例实施例，提供了一种用于处理图像的设备。所述设备包括:接收器，其用于接收图像的第一数目的点；以及拓扑编码单元，其位于无线系统的用户设备或基站中。所述拓扑编码单元可以用于基于第一数目的点的拓扑信息，从图像的第一数目的点中生成图像的第一数目维数的第一矢量，并且在生成图像时，图像的第一矢量的旋转度与尺度不变。所述第一数目的点可以是一组旋转度与尺度不变的特征点的位置。所述第一矢量可以是从图像的第一数目的点中生成的成对距离矩阵的图谱。根据一些实施例，图谱作为








η
图的拉普拉斯矩阵L=S-W的本征值eigenvalue (L)进行计算，其中S是具有项









J-=I
的对角矩阵，η是第一数目的点，而W是由n,A yHM11定义的关联矩阵，I X.-XJ I是第
一数目的点中的第一点&与第二点Xk之间的距离。所述设备可以进一步包括压缩单元，所述压缩单元用于通过压缩方法对第一数目维数的第一矢量进行压缩，以生成第二数目维数的第二矢量，例如，可以使用离散余弦变换(DCT)压缩方法。
[0012]根据一项实例实施例，提供了一种用于处理图像的设备。所述设备可以包括:接收器，其用于接收基于第一图像的第一数目的点的拓扑信息生成的第一拓扑编码矢量，其中第一图像的第一拓扑编码矢量在生成第一图像时旋转度与尺度不变；以及搜索单元，其用于在第一拓扑编码矢量与第二拓扑编码矢量之间的距离小于阈值时，将第一图像的第一拓扑编码矢量与基于第二图像的第二数目的点的拓扑信息生成的第二拓扑编码矢量进行匹配，其中所述第二图像的第二拓扑编码矢量在生成第二图像时旋转度与尺度不变，所述第二图像存储在图像存储库中，并且所述阈值是由关于图像存储库的信息确定的。根据一些实施例，第一数目的点是第一图像的第一组旋转度与尺度不变的特征点的位置；第二数目的点是第二图像的第二组旋转度与尺度不变的特征点的位置；第一拓扑编码矢量是从第一图像的第一数目的点中生成的成对距离矩阵的图谱；并且第二拓扑编码矢量是从第二图像的第二数目的点中生成的成对距离矩阵的图谱。另外，第二拓扑编码矢量是在搜索单元要将第一拓扑编码矢量与第二拓扑编码矢量进行匹配时，由装置从第二图像的第二数目的点中生成的，或者第二拓扑编码矢量是在搜索单元要将第一拓扑编码矢量与第二拓扑编码矢量进行匹配之前，由装置从第二图像的第二数目的点中生成的。
【专利附图】

【附图说明】
[0013]为了更完整地理解本发明及其优点，现在参考以下结合附图进行的描述，其中:
[0014]图1 (a)和图1 (b)描绘了具有移动装置的内容分布网络和视觉搜索系统的一个实例；
[0015]图2描绘了在图像上执行的操作顺序，从而用点集来表示图像、执行点集的拓扑编码，并且对拓扑编码进行压缩；
[0016]图3描绘了用于拓扑编码的过程；
[0017]图4描绘了对由两个点集表示的两个图像进行匹配的过程；以及
[0018]图5描绘了所述方法的一个实例实施方案。
【具体实施方式】
[0019]下文详细论述当前优选实施例的制作和使用。然而，应了解，本发明提供可以在各种具体上下文中体现的许多适用发明性概念。所论述的具体实施例仅仅说明用以制作和使用本发明的具体方式，而不限制本发明的范围。
[0020]如下文中更加详细地描述，本发明公开了一种视觉搜索系统，所述系统可以操纵图像的点集，从而生成用于表示所述图像的拓扑编码矢量，所述矢量可以用于对图像进行搜索和识别。图像点集的拓扑编码矢量较小，从而可以促进对图像进行有效的搜索和识别。拓扑编码矢量在生成图像时旋转度与尺度也不变。
[0021]图1 (a)描绘了视觉搜索系统的一个实例，其中移动装置或用户设备(UE)UEllOl或UE2103通过基站105和内容分布网络(⑶N) 107发送多媒体查询111或113。以可互换的方式使用术语移动电话、手机、平板电脑、移动终端、移动装置或用户设备。所述查询由服务器129内的接收器121接收为查询117，搜索单元119将查询117用于在图像存储库109中搜索。UE1101、UE2103或基站eNB105可以统称为客户端，并且包括接收器、搜索单元以及图像存储库的服务器129可以统称为服务器129。
[0022]视觉搜索系统可以是基于位置的服务、徽标搜索等等。UElOl和103可以通过无线通信信道连接到基站eNB105。UElOl和103可以是移动电话、用户终端、移动台、iPHONE或任何其他类似的装置。连接到基站eNB105的UE数目可能不同。一个UE可以将多个查询发送到基站。
[0023]UE101、103、基站105和CDN107可以是长期演进(LTE)无线系统、长期演进高级(LTE-A)系统、IEEE802.16m系统，或任何其他种类的无线系统的一部分。图1 (a)中描绘的视觉搜索系统可以通过其他方式来实施，并且可以通过图1 (b)中描绘的抽象级(abstractlevel)来表示，其中UEllOl连接到图像存储库109，并且UEllOl将由服务器接收为查询117的查询111进行发送，该查询用于搜索服务器129内的图像存储库109。
[0024]查询111和113从UElOl或103发送到基站105。基站105可以直接将查询111或113传送到服务器，并且由接收器121来接收所述查询以生成查询117。基站105可以对查询111或113执行某些操作以生成不同的查询115，然后通过⑶N107发送查询115，并且由接收器121来接收该查询。
[0025]如果从UE中发送的查询111以及所接收的查询117是图像，那么图像查询可以用于对存储在数据库或图像存储库109中的图像进行搜索和匹配。通常使用特殊的索引结构来实现这一操作。基于图像的查询通常在计算上开销很大，需要相当高的额外通信成本，并且无法支持CDN应用所需的实时操作。
[0026]查询111或查询117可以是视觉描述符。视觉描述符或图像描述符是对图像、视频中或生成此类描述的部件或模块中的内容的视觉特征点的描述。这些描述符描述了形状、颜色、纹理或动作等基本特性，以及其他基本特性，并且这些描述实现了音频-视频内容的快速有效搜索。具有较大区别的描述符包括快速鲁棒特征(SURF)和尺度不变特征变换(SIFT)，这些是鲁棒图像(robust image)检测符和描述符。在视觉搜索应用中，查询图像的描述符与数据库图像的描述符之间的匹配能力对于成功匹配来说非常关键。
[0027]视觉描述符可以将视觉对象及兴趣点表示为一个特征点集合，该特征点集合可以具有尺度与旋转度不变性或任何其他性质。当视觉描述符用于匹配图像时，查询117可以是从图像中提取的特征点集合。对于这些特征点及其拓扑信息的组合，例如特征点集合{匕I j=l，...，!!}，其中每一特征AFj位于图像位置{Xj，yj}处，提供了尺度、旋转度及视角变化度数不变的某些对象的唯一表示。该集合可以由数百个(例如242个)特征点组成。匹配两个图像可以与匹配图像中的两个特征点集合相同，并且匹配的特征的数目用作匹配的指示符。
[0028]特征点匕为中的点，其中为特征点匕的维数，并且特征点匕的特征维数丨 e_ R11具有用Pi个位表示的Pji精度。这可以称为特征点在维数i下的分辨率。对于特征点集合来说，该集合中的特征点可以具有相同的维数或不同的维数。
[0029]然而，对于移动装置来说，视觉描述符通常还是非常大的，这是因为它们由数百个尺度与旋转度不变的特征点及其位置组成。尺度不变特征变换(SIFT)的一个实例特征点由具有2048个位的128维组成。快速鲁棒特征(SURF)的另一实例特征点由具有1024个位的64维组成。减小特征点的大小可能损害视觉搜索服务中的搜索性能及匹配准确度。
[0030]查询111或查询117可以是由移动装置发送以搜索图像存储库的图像的点集或视觉描述符，而不是整个图像的点集。可以在发送用于视觉搜索的图像的特征点的同时发送点集，或者单独发送点集。因此点集除了可以用于搜索特征点之外，还可以用于在视觉搜索中对图像进行搜索和匹配。点集可以用于独立地在视觉搜索中对图像进行搜索和匹配，而无需与特征点一起使用。[0031]图2描绘了由一种设备执行的操作流程，所述设备可以在使用点集以在本发明的一项实施例中执行视觉搜索时使用。图2中描绘的操作可以由移动装置、基站来执行，或者由移动装置和基站的组合，或网络中的任何其他部件来执行。
[0032]在201处提供图像。点集203可以从接收器205中的图像中提取出来。根据一项实施例，可以关于特征点集合提取点集，这一操作是由移动装置或基站执行的。当SURF和SIFT特征点等尺度与旋转度不变的特征点组合的集合可以用作视觉描述符时，通过多个尺度的边缘检测可以在视觉对象中找到这些特征点。在一项实例实施例中，仅仅将具有与尺度一致的强边缘信息的那些点选择为特征点。旋转不变性是由描述边缘定向的描述符来实现的。特征点集合可以由数百个尺度与旋转度不变的特征点，以及这些特征点在原始图像中的位置组成。特征点集合在原始图像中的位置可以是在接收器205中生成的点集203。也可以提取其他视觉描述符特征点来代替SURF或SIFT。SURF和SIFT的使用仅仅是出于说明的目的，而并非是限制性的。也可以在步骤203中使用图像的其他点集来代替SURF或SIFT特征点的位置。 [0033]生成了点集203的拓扑编码矢量，例如，拓扑编码单元209可以用于生成点集203的拓扑编码矢量。图像的拓扑编码矢量在生成图像时旋转度与尺度不变，并且可以是基于点集的拓扑信息生成的。在一项实例实施例中，拓扑编码矢量可以是从图像的点集中生成的成对关联矩阵2091的图谱。拓扑编码矢量可以计算为拉普拉斯矩阵L=S -W的本征值
2093，其中W为由w# =e—定义的关联矩阵，I |Xj-XkI |是图像点集中的第一点Xj与第
二点Xk之间的距离。
[0034]根据一项实施例，压缩单元211可以使用压缩方法来执行压缩，所述方法对点集的拓扑编码矢量进行压缩，以生成压缩矢量。例如，所述压缩方法可以是离散余弦变换(DCT)0也可以使用其他压缩方法。可以按顺序使用多种压缩方法以对点集的拓扑编码矢量进行压缩。
[0035]图3描绘了如何找到点集的拓扑编码矢量的一项实施例。点集{(Xj，yj) I j =I,..., η}的拓扑编码矢量取决于在步骤301中由关联单元生成的关联矩阵。作为一项实
例实施例，关联矩阵可以定义为w# 夂—Χ?Ι1, I IXj-XkI I是点集的第一点\与第二点Xk
之间的距离，而关联矩阵的大小是η*η，其中η是点集中点的数目。接下来，通过拉普拉斯






η
单元303来计算拉普拉斯矩阵L=S-W,其中S是具有项st，k = 的对角矩阵，其中η是

M
第一数目的点。最后，通过本征单元305将图谱作为图的拉普拉斯矩阵L=S-W的本征值eigenvalue (L)进行计算。多种图像分割成本(graph cut cost)可以通过解决其拉普拉斯本征值问题来计算。所生成的拓扑代码是可扩展的，即，第一本征值k可以用于表示该点集。
[0036]图4描绘了设备400的一项实施例，以使用第一图像的点集的拓扑编码矢量来搜索第一图像，所述拓扑编码矢量可以是图像存储库109中的第一图像的图谱。这种搜索可以由图1中描绘的服务器129来执行。所述搜索是基于第一图像的拓扑编码矢量确定的，所述拓扑编码矢量可以作为图谱由图3中描绘的设备生成。由拓扑编码单元209生成的图谱可以由查询接收器117接收。搜索单元119使用接收到的第一图像的拓扑编码矢量来搜索图像存储库109。作为一项实例实施例，如果接收到的查询是压缩的拓扑编码矢量，那么可以执行任何必要的操作以对压缩的拓扑编码矢量进行解压缩，从而恢复所述拓扑编码矢量。
[0037]根据一项实施例，搜索单元119用于将第一图像的第一图谱与第二拓扑编码矢量进行匹配，所述第二拓扑编码矢量是存储在图像存储库109中的第二图像的第二图谱。第二拓扑编码矢量是基于第二图像的第二数目的点的拓扑信息生成的。
[0038]作为一项实例实施例，图像存储库109除了存储图像本身之外也可以存储所述图像的点集，所述点集含有第二图像的第二数目的点。第二图像的点集可以存储在与图像存储库109分开的装置中。每个图像中，用于生成拓扑编码矢量的第一图像的点集和第二图像的点集可能具有相同数目的点。第二数目的点可以是第二图像的第二组旋转度与尺度不变的特征点的位置。
[0039]如图4所述，第二拓扑编码矢量可以在搜索单元要将第一拓扑编码矢量与第二拓扑编码矢量进行匹配时，由装置从第二图像的第二数目的点中生成。这种拓扑编码矢量也可以在搜索单元要将第一拓扑编码矢量与第二拓扑编码矢量进行匹配之前，由装置从第二图像的第二数目的点中生成。在一项实例实施例中，预匹配生成的拓扑编码矢量可以存储在图像存储库109中，或者可以存储在单独的存储单元中。
[0040]对于搜索单元119来判定两个拓扑编码矢量之间的匹配而言，当第一图像的第一拓扑编码矢量与第二图像的第二拓扑编码矢量之间的距离小于阈值时，搜索单元119可以判定已发现匹配。例如，阈值可以从含有第二图像的图像存储库109中生成。由匹配单元执行的搜索和匹配方法可以用于视觉搜索中，以将第一图像与存储在图像存储库中的第二图像进行匹配。
[0041]通过前述实施例的描述，本发明可以仅仅使用硬件来实施，或者可以使用软件和必要的通用硬件平台来实施。图5描绘了根据本发明的一项实施例的单元或控制器500的一个实例。单元500可以结合本发明而使用，并且可以执行本发明中所描述的功能。在相同的实施例或替代实施例中，控制器500可以存在于一或多个UE、eNB和服务器中，成为其部件，或者可以由一或多个UE、eNB和服务器使用。
[0042]单元500可以含有处理器502，其通过执行定义控制器500的总体操作的计算机程序指令来控制此类操作。处理器502可以包括一或多个中央处理单元，只读存储器(ROM)装置和/或随机存取存储器(RAM)装置。处理器502可以是ASIC、通用处理器、数字信号处理器、处理器的组合、具有专用电路的处理器、用作处理器的专用电路，以及上述项的组合。
[0043]计算机程序指令可以存储在存储装置504 (例如，磁盘、数据库等)中，并且在需要执行计算机程序指令时载入到存储器506中。因此，用于执行本文中所述的预编码、计划、发射和接收数据等的方法步骤的应用可以由存储在存储器506或存储装置504中的计算机程序指令定义，并且由执行这些计算机程序指令的处理器502控制。
[0044]在替代实施例中，硬连线电路或集成电路可以用来代替用于实施本发明的过程的软件指令，或与所述软件指令结合使用。因此，本发明的实施例并不限制于硬件、固件或软件的任何特定组合。存储器506可以存储用于控制器500的软件，该软件可以适于执行软件程序，且由此根据本发明，且尤其根据上文详细描述的方法进行操作。然而，如本文中所描述的本发明可以使用各种编程技术以及通用硬件子系统或专用控制器而按照很多不同方式来实施。
[0045]单元500还可以包括用于经由网络而与其他装置通信的一或多个网络接口 508。在网络的无线部分中，网络接口可以包括天线及相关处理。在网络的有线部分，网络接口可以包括将该单元连接到其他单元的到电缆的连接。在每一种情况中，所述网络接口都可以被视作用于接入物理通信部分(例如天线)的电路。
[0046]单元500也可以包括能够实现用户与控制器500的交互的输入/输出装置510(例如，显示器、键盘、鼠标、扬声器、按钮等)。这些用户I/o装置是可选的，并且如果单元500仅仅由网络接口接入，则不需要这些装置。
[0047]单元500的一项实施方案也可以含有其他部件，并且出于说明性目的，图5的控制器为此类控制器的一些部件的高层次表示。
[0048]本发明的各项实施例提供了许多新颖的有利特征。例如，一项实施例提供一种新颖的视觉特征描述压缩方案，该方案可以在非常低的位速率下获得非常高的准确度。另一项实施例提供一种位速率和准确度可扩展的压缩方案。本发明的各项实施例可以用于多种产品、过程和服务中。这些实施方案的一些实例包括基于云的媒体处理、下一代⑶N产品、CDN方法及操作。需要各项实施例，这是因为它们可以在客户端提供实时的、低计算/通信成本的体验质量(Q0E)估计。例如，可以获得在计算和通信资源中具有较轻重量的视频签名(video signature)以及最小成本的鲁棒QoE估计器。这在⑶N和无线多媒体市场中将会非常有用。
[0049]尽管详细描述了各项实施例及其优势，但应理解，可以在不脱离由所附权利要求书界定的所述实施例的精神和范围的前提下，在本文中做出各种改变、替代和更改。例如，上文所论述的许多特征和功能可以由软件、硬件、固件或其组合来实施。
[0050]此外，本申请案的范围不希望限于本说明书中所描述的过程、机器、制造、物质成分、构件、方法和步骤的特定实施例。如所属领域的技术人员将从本发明的揭示内容容易了解，可根据本发明利用执行与本文中所描述的对应实施例大致相同的功能或实现与本文中所描述的对应实施例大致相同的结果的目前存在或稍后将开发的过程、机器、制造、物质成分、构件、方法或步骤。因此，所附权利要求书既定在其范围内包括此类过程、机器、制造、物质成分、构件、方法或步骤。
【权利要求】
1.一种用于处理图像的方法，所述方法包括: 基于第一数目的点的拓扑信息，从所述图像的第一数目的点中生成所述图像的第一数目维数的第一矢量，并且在生成所述图像时，所述图像的所述第一矢量的旋转度与尺度不变。
2.根据权利要求1所述的方法，其中所述第一数目的点是所述图像的一组旋转度与尺度不变的特征点的位置。
3.根据权利要求1所述的方法，其中所述第一矢量是从所述图像的所述第一数目的点中生成的成对距离矩阵的图谱。
4.根据权利要求3所述的方法，其中所述图谱作为图的拉普拉斯矩阵L=S-W的本征值eigenvalue (L)进行计算，


其中S是具有项.
5.根据权利要求1所述的方法，其进一步包括: 通过压缩方法对所述第一数目维数的所述第一矢量进行压缩，以生成第二数目维数的第二矢量。
6.根据权利要求5所述的方法，其中所述压缩方法是离散余弦变换(DCT)。
7.根据权利要求1所述的方法，其进一步包括: 当所述图像的所述第一矢量与额外图像的第二矢量之间的距离小于阈值时，对所述图像和额外图像进行匹配， 其中基于所述第二数目的点的拓扑信息，从所述额外图像的第二数目的点中生成所述额外图像的第二数目维数的所述第二矢量，并且在生成所述额外图像时，所述额外图像的所述第二矢量的旋转度与尺度不变。
8.根据权利要求7所述的方法，其中所述阈值是从含有所述额外图像的图像存储库中生成的。
9.根据权利要求7所述的方法，其中所述第一数目等于所述第二数目。
10.根据权利要求7所述的方法，其中所述方法用于视觉搜索，以将所述图像与存储在图像存储库中的所述额外图像进行匹配。
11.一种用于处理图像的设备，所述设备包括: 接收器，其用于接收所述图像的第一数目的点； 拓扑编码单元，其用于基于所述第一数目的点的拓扑信息，从所述图像的所述第一数目的点中生成所述图像的所述第一数目维数的第一矢量，并且在生成所述图像时，所述图像的所述第一矢量的旋转度与尺度不变。
12.根据权利要求11所述的设备，其中所述第一数目的点是一组旋转度与尺度不变的特征点的位置。
13.根据权利要求11所述的设备，其中所述第一矢量是从所述图像的所述第一数目的点中生成的成对距离矩阵的图谱。
14.根据权利要求13所述的设备，其中所述图谱作为图的拉普拉斯矩阵L=S-W的本征值eigenvalue (L)进行计算，


η 其中S是具有项的对角矩阵，


7=1 其中η是第一数目的点，并且 其中W是由M ‘定义的关 联矩阵，I IXj-XkI I是所述第一数目的点中的第一点&与第二点Xk之间的距离。
15.根据权利要求11所述的设备，其进一步包括: 压缩单元，其用于通过压缩方法对第一数目维数的所述第一矢量进行压缩，以生成第二数目维数的第二矢量。
16.根据权利要求15所述的设备，其中所述压缩方法是离散余弦变换(DCT)压缩。
17.根据权利要求11所述的设备，其中所述拓扑编码单元位于无线系统的用户设备或基站中。
18.一种用于处理图像的设备，所述设备包括: 接收器，其用于接收基于第一图像的第一数目的点的拓扑信息生成的第一拓扑编码矢量，其中所述第一图像的所述第一拓扑编码矢量在生成所述第一图像时，旋转度与尺度不变；以及 搜索单元，其用于在所述第一拓扑编码矢量与所述第二拓扑编码矢量之间的距离小于阈值时，将所述第一图像的所述第一拓扑编码矢量与基于第二图像的第二数目的点的拓扑信息生成的第二拓扑编码矢量进行匹配，其中所述第二图像的所述第二拓扑编码矢量在生成所述第二图像时，旋转度与尺度不变，所述第二图像存储在图像存储库中，并且所述阈值是由关于所述图像存储库的信息确定的。
19.根据权利要求18所述的设备，其中: 所述第一数目的点可以是所述第一图像的第一组旋转度与尺度不变的特征点的位置； 所述第二数目的点是所述第二图像的第二组旋转度与尺度不变的特征点的位置；所述第一拓扑编码矢量是从所述第一图像的所述第一数目的点中生成的成对距离矩阵的图谱；以及 所述第二拓扑编码矢量是从所述第二图像的所述第二数目的点中生成的成对距离矩阵的图谱。
20.根据权利要求18所述的设备，其中: 所述第二拓扑编码矢量是在所述搜索单元要将所述第一拓扑编码矢量与所述第二拓扑编码矢量进行匹配时，由装置从所述第二图像的所述第二数目的点中生成的，或者所述第二拓扑编码矢量是在所述搜索单元要将所述第一拓扑编码矢量与所述第二拓扑编码矢量进行匹配之前，由装置从所述第二图像的所述第二数目的点中生成的。
【文档编号】G06K9/62GK103649955SQ201280034809
【公开日】2014年3月19日 申请日期:2012年1月4日 优先权日:2011年7月11日
【发明者】朱理, 辛欣, 阿切雷斯·凯特撒切雷斯 申请人:华为技术有限公司