专利名称：一种多模态联合的图像重排序方法
技术领域：
本发明涉及对图像搜索引擎搜索结果的重新排序，具体地说是一种联合利用图像 多模态特征的图像重排序算法。
背景技术：
现存的图像检索系统大多是基于文本关键字的。它们根据网页上图像周围的文字 与查询关键字的相关程度来搜索图像。但是由于网页文本往往不能正确反映图像的内容， 或者称，存在噪声，基于文本的图像检索结果不能令人满意。图像重排序是指利用一些附加信息对图像检索结果的重新排序，这些附加信息包 括图像内在特征和一些外部假设等。图像特征一般包括图像可视特征和图像相关联文本的 特征，对每一种特征称之为一个模态。图像重排序算法可以分为三类，基于分类的，基于聚类的和基于图模型的。基于分 类的算法假设搜索引擎返回的搜索结果中，排名靠前的图像是与查询相关的，而排名靠后 的图像与查询不相关。算法利用这些图像作为训练样本，训练一个二分类器来判定一幅图 像是否与查询相关。然后他们利用图像分类概率作为图像的排序分数对图像进行重新排 序。基于聚类的算法通过聚类来发掘与查询相关或不相关图像的一些潜在的模式，然后利 用这些潜在模式进行重新排序。基于图模型的算法将图像集合构造成一个图，图的节点是 每幅图像，节点之间的边衡量图像的相似性。然后利用一些链接分析技术来进行图像排序。上述图像排序算法通常只考虑图像单模态，排序结果不尽人意。也有很多学者利 用多模态进行图像排序。他们通常是将多模态特征先融合成一个单一特征，然后利用这个 特征进行排序，或者是将多模态特征先单独用于排序，然后将排序结果融合，作为最后的排 序结果。然而他们都忽略了一个事实图像多模态特征只是一幅图像的在不同侧面的表示， 它们的背后还是同一个对象。在对图像进行排序时，图像多模态特征之间会有相互作用，提 升排序结果，因此图像多模态应该联合对待，不应该分开处理。
发明内容
本发明为克服上述现有技术的不足，将图像多模态看作是同一个对象的两个特征 属性，提供一种多模态联合的图像重排序方法。该方法不仅对排序结果有很大提高，并且收 敛速度快，适合实际检索系统的应用。本方法在图像进行特征提取的基础上，构造一个多重图来表示图像间的关系。在 多重图中两个节点之间允许有多条边。其中每个节点是一副图像，每两个节点之间有四条 加权的边，衡量了图像多模态之间的相似性。之后利用随机游走算法计算每个节点的排序 得分用于图像排序。为实现上述目的，本发明采用如下技术方案一种多模态联合的图像重排序方法，该方法的实现步骤如下Stepl 对需要重新排序的图像，提取其可视特征及相关文本特征；St印2 计算图像之间的模态内和模态间的相似度，并构建多重St印3 将多重图退化为完全图；St印4 在完全图上随机游走，计算图像排序得分；St印5 根据随机游走得分，对图像重新排序。所述stepl中，提取图像文本特征的方法为首先收集图像关联文本，利用线性判 别分析方法LDA将这些文本聚成多个潜在主题，然后利用词袋Bag-of-Words的形式表示图 像文本特征。所述step2中，计算模态内相似度采用余弦cosine距离计算设s(Vi，Vj)表示图像i和j在图像可视特征上的相似度，s (ti; tj)表示图像i和 j在图像文本特征上的相似度，则与图像关联的可视特征的相似性计算公式为
权利要求
1.一种多模态联合的图像重排序方法，其特征是，该方法的实现步骤如下Stepl 对需要重新排序的图像，提取其可视特征及相关文本特征；Step2 计算图像之间的模态内和模态间的相似度，并构建多重图；St印3 将多重图退化为完全图；St印4 在完全图上随机游走，计算图像排序得分；St印5 根据随机游走得分，对图像重新排序。
2.如权利要求1所述的一种多模态联合的图像重排序方法，其特征是，所述stepl中， 提取图像文本特征的方法为首先收集图像关联文本，利用线性判别分析方法LDA将这些 文本聚成多个潜在主题，然后利用词袋Bag-of-Words的形式表示图像文本特征。
3.如权利要求1所述的一种多模态联合的图像重排序方法，其特征是，所述step2中， 计算模态内相似度采用余弦cosine距离计算设s(Vi，Vj)表示图像i和j在图像可视特征上的相似度，s (ti; tj)表示图像i和j在 图像文本特征上的相似度，则与图像关联的可视特征的相似性计算公式为Vi - V .S(H) =---]IvJ-Iv, I与图像关联的文本特征的相似性计算公式为 tt - t,Sit1J,) =1 I^l-Iol其中Vi和、分别是图像i和图像j的可视特征，ti和、分别是图像i和图像j的文 本特征。
4.如权利要求1所述的一种多模态联合的图像重排序方法，其特征是，所述step2中， 构建多重图的过程如下对于两幅图像，首先将每幅图像的可视特征及其文本特征作为一 个点，那么多重图中两个点之间存在4条边，分别对两个点内的可视特征和文本特征两两 之间的相似度进行度量，得到多重图。
5.如权利要求1所述的一种多模态联合的图像重排序方法，其特征是，所述step2中， 计算模态间相似度的公式如下s(ti Vj) = α c(ti; v^s^i, Vj) + (l-a )c(tj, vJ)s(ti, tj)S(Vptj) = a c(tj, v^s^i, Vj) + (l-a )c(ti; vi)s(ti, tj)其中，8(、，、)表示图像i的文本特征与图像j的可视特征之间的匹配程度，s(Vi，tp 表示图像i的可视特征与图像j的文本特征之间的匹配程度，c(ti; Vi)表示图像i的一致 性，c(ti，Vi)表示图像j的一致性，α的范围为(0，1)，α的范围可根据可视特征和文本特 征的重要度来调整其大小。
6.如权利要求1所述的一种多模态联合的图像重排序方法，其特征是，所述step3中， 将多重图退化为完全图的过程如下将每个点拆分为两个点，即可视特征点和文本特征点， 在退化的完全图中，每两个点之间的边表示一个样本的可视或者文本特征和另外一个样本 的文本或者可视特征的相似性。
7.如权利要求1所述的一种多模态联合的图像重排序方法，其特征是，所述step4中， 在完全图中随机游走公式如下Pr(t+1) = ω · W · Pr(t)+ (I-ω) ·Ρ其中表示第t+1次迭代中图中节点的排序得分，Pr(t)表示第t次迭代中图 中节点的排序得分，P = [P_t,P_v]是图节点的初始排序得分，P_t和P_v分别是所有、和 所有Vi的初始排序分数，ω是一个平衡参数来平衡从邻居得到的信息和初始化信息之间的 权重，ω的范围为(0，1)。
8.如权利要求1所述的一种多模态联合的图像重排序方法，其特征是，所述step5中， 计算图像最后的排序得分，具体公式为Pr(Cli) = γ ‘ Pr_v(vi) + (l-y ) ‘ Pr_t (tj),其中，Pr(Cli)为图像i的最后排序得分，Prj(Vi)和Pr_t (t,)分别表示图像i的可视 特征和文本特征的随机游走后的得分， 是对两者进行平衡的参数， 的范围为(0，1)。
全文摘要
本发明公开了一种针对图像检索的结果重排序方法，该方法在对图像进行排序过程中可以充分利用多模态信息，使用该方法可以在现有检索的结果基础上，进一步改善图像的排序结果，提高其准确率，非常适合在网络环境下或者基于本地系统的图像检索系统使用。其方法步骤为(1)提出图像的可视特征和文本特征。(2)检索图像之间的模态内(单模态之间)和模态间(多模态之间)的相似度。并根据这些相似度来构建多重图。(3)将多重图进行处理，使其退化为一个完全图。(4)在完全图上进行随机游走，并计算图像排序得分。(5)根据随机游走的得分情况，对图像进行重新排序，得到最终结果。
文档编号G06F17/30GK102129477SQ20111010241
公开日2011年7月20日 申请日期2011年4月23日 优先权日2011年4月23日
发明者彭亮, 王刚, 许信顺, 陈竹敏 申请人:山东大学