一种高效的图像检索性能预测方法
【专利摘要】本发明公开了一种高效的图像检索性能预测方法，该方法包括：基于伪相关反馈技术从检索结果中自适应的选择样例图片；基于投票决策机制，并根据所述检索结果中每一张图片与所述样例图片的视觉相似度来确定每一张图片的投票数，进而估计所述检索结果中每一张图片与输入的查询请求之间的相关性概率；综合检索结果中所有图片与输入的查询请求之间的相关性概率来计算本次图像检索的平均准确率，实现高效的图像检索性能预测。本发明公开的方法复杂度较低，便于实现，不易受噪声影响且能较为准确的对图像检索性能进行预测。
【专利说明】-种高效的图像检索性能预测方法
【技术领域】
[0001] 本发明涉及图像检索【技术领域】，尤其涉及一种高效的图像检索性能预测方法。
【背景技术】
[0002] 图像检索技术是在给定查询文本或者图像的前提下，依据内容信息或者指定查询 标准，从图像数据库中搜索与用户查询相关的图片，并按照图片与查询间的相关程度从高 到低对图片进行排序并将排序结果返回给用户。图像检索技术的研究已经取得了巨大的 进展，许多检索模型被相继提出并在实践中不断得到校验、改进和验证，但是大多数检索系 统还存在严重的鲁棒性问题，例如，对于某些查询，检索结果质量高，而对于其它查询，检索 结果含有很多查询无关的图像。针对不同查询其检索结果间往往存在较大的差异；更有甚 者，即使那些平均检索性能很好的检索系统，但对某些查询，它们的检索结果也不能令人满 意。因此，我们希望检索系统能够自动识别那些检索结果比较差的查询，并对它们做相应的 处理。
[0003] 查询性能预测是信息检索领域研究的前沿问题。该技术尝试在没有相关信息（即 不知道检索结果与查询的相关程度）的情况下，评估检索系统对某一查询其返回结果的好 坏程度。查询性能预测能够同时对用户和检索系统产生有益的影响。从用户的角度讲，该 技术可W提供有价值的反馈信息，比如，当检索系统预测出某用户的查询结果比较差的时 候，可W将该信息反馈给用户，然后用户可W重构他的查询，甚至进一步与检索系统互动W 获得更好地检索结果；对检索系统来说，在理想情况下，如果一个检索系统能够预测某一查 询的性能，那么它就可W自动地调整其参数或者算法来适应不同的查询，从而获得更好的 检索性能。
[0004] 相对于长期为提高检索系统性能在检索模型上的探索，图像检索查询性能预测的 研究还处于初级阶段。最初关于图像检索查询性能预测的研究是基于文本信息的，主要通 过研究检索返回图片周围的文本信息（上下文文本，图片U化等）与输入查询文本之间的 相互关系，例如文本的具体性、一般性、歧义性和形象性等。该些研究主要存在两点不足：1) 忽略图像的视觉内容仅依赖于文本信息，然而文本不足W描述丰富的视觉信息W及文本信 息往往包含很多"噪声";2)没有估计真实的图像检索结果质量，而只是简单将查询分为容 易和困难两类。
[0005] 目前大部分研究是针对检索返回图片视觉内容的查询性能预测。该研究的主要 思想是首先将图片表示成由视觉单词组成的"文档"，然后借用文本分析的方法统计一些特 性，比如计算由返回图片构成的语言模型和由整个图片集构成的语言模型之间的概率分布 差异性；估计返回图片之间的空间一致性；研究针对检索返回列表排名靠前的图片视觉一 致性；W及研究返回图片的视觉相似性分布等等。该些研究先提出合理的假设，然后充分利 用图片的视觉信息，来估计检索结果的查询性能，推动了图像检索查询性能预测技术的发 展。但是该些方法只是给出了一个查询性能高低的指示值，并没有估计出检索结果质量的 真值。
[0006] 目前的研究方法中，除了上述方法外，还有从直接估计真实检索性能方面研究的 方法。该方法的大致思想是，首先估计每个返回图片与给定查询的相关性概率，然后利用得 到的相关性概率来估计平均准确率，其关键点就是如何准确得估计相关性概率。由于该方 法是一种直接估计检索结果质量真值的方法，所W如果无法准确估计出相关性概率，那么 势必会影响最终结果的准确性。
【发明内容】
[0007] 本发明的目的是提供一种高效的图像检索性能预测方法，该方法复杂度较低，便 于实现，不易受噪声影响且能较为准确的对图像检索性能进行预测。
[0008] 本发明的目的是通过W下技术方案实现的：
[0009] 一种高效的图像检索性能预测方法，该方法包括：
[0010] 基于伪相关反馈技术从检索结果中自适应的选择样例图片；
[0011] 基于投票决策机制，并根据所述检索结果中每一张图片与所述样例图片的视觉相 似度来确定每一张图片的投票数，进而估计所述检索结果中每一张图片与输入的查询请求 之间的相关性概率；
[0012] 综合检索结果中所有图片与输入的查询请求之间的相关性概率来计算本次图像 检索的平均准确率，实现高效的图像检索性能预测。
[0013] 进一步的，所述基于伪相关反馈技术从检索结果中自适应的选择样例图片包括：
[0014] 利用图像检索重排序方法对检索结果进行重新排序，再基于伪相关反馈技术从重 新排序的检索结果中自适应的选择样例图片；所述样例图片包括正样例图片集合与负样例 图片集合，或者仅包括正样例图片集合；所述正样例图片集合为重新排序的检索结果中排 名为前K的图片，所述负样例图片集合为重新排序的检索结果中排名为后K的图片；其中， K的数值通过一致性得分CoS的方法来确定，表示为：
[0015]
【权利要求】
1. 一种高效的图像检索性能预测方法，其特征在于，该方法包括： 基于伪相关反馈技术从检索结果中自适应的选择样例图片； 基于投票决策机制，并根据所述检索结果中每一张图片与所述样例图片的视觉相似度 来确定每一张图片的投票数，进而估计所述检索结果中每一张图片与输入的查询请求之间 的相关性概率； 综合检索结果中所有图片与输入的查询请求之间的相关性概率来计算本次图像检索 的平均准确率，实现高效的图像检索性能预测。
2. 根据权利要求1所述的方法，其特征在于，所述基于伪相关反馈技术从检索结果中 自适应的选择样例图片包括： 利用图像检索重排序方法对检索结果进行重新排序，再基于伪相关反馈技术从重新排 序的检索结果中自适应的选择样例图片；所述样例图片包括正样例图片集合与负样例图片 集合，或者仅包括正样例图片集合；所述正样例图片集合为重新排序的检索结果中排名为 前K的图片，所述负样例图片集合为重新排序的检索结果中排名为后K的图片；其中，K的 数值通过一致性得分CoS的方法来确定，表示为：
其中，矿表示K的最优值，L和M分别表示K值的最小值和最大值；CoS (K)为所选择的 正样例图片中满足一致性的图片对所占的百分比，表示为：
上式中，S(I^P)表示图片Ii和P之间的视觉相似度，U为预设的阈值。
3. 根据权利要求1或2所述的方法，其特征在于，计算检索结果中每一张图片与所述样 例图片的视觉相似度的步骤包括： 采用视觉词袋模型和向量空间模型将所有图片表示成一组向量，包括：采用密集采 样尺度不变特征转换技术Dense SIFT提取每一图片的SIFT特征；然后，使用聚类算法 K-means将得到的所有SIFT特征聚成包含S个视觉单词visual word的码本；按照最近邻 准则将所有SIFT特征量化到对应的visual word上；再使用TF-IDF权重机制来衡量每个 visual word在每张图片中的重要性；最后，用向量空间模型来表示每张图片； 图片Ii的向量表达式为f =[#￥，...，<]，Xi中每维向量勺计算如下： X11 , I-1,2, ...,S ； 其中，tf\表示视觉单词W1在图片Ii中出现的频率，Idf1表示逆文档频率，用于衡量视 觉单词W1在整个图片集中的重要性； 采用余弦函数cosine来计算检索结果中图片Ii和样例图片Dk的视觉相似度s (Ii, Dk)， 表示为：
4. 根据权利要求1或2所述的方法，其特征在于，所述基于投票决策机制，并根据所述 检索结果中每一张图片与所述样例图片的相似度来确定每一张图片的投票数包括： 将检索结果中每一张图片分别与样例图片中的正样例图片集合P中的每一样例图片 以及负样例图片集合N中每一样例图片进行视觉相似度计算，若计算结果大于阈值，则该 图片获得一张相应的初始投票，表示为：
其中，与VO^分别表示图片Ii与正样例图片集合p中第k个图片以及负样例图 片集合N中第k个图片进行视觉相似度计算后获得的初始正负票数，M表示检索结果中的 图片数量，U为预设的阈值； 再根据每一图片获得的初始投票总数确认其最终投票数，表示为：
其中，与分别表示图片Ii最终的正投票数与负投票数。
5. 根据权利要求4所述的方法，其特征在于，所述估计所述检索结果中每一张图片与 输入的查询请求之间的相关性概率包括： 若所述样例图片包括正样例图片集合与负样例图片集合，则图片Ii与输入的查询请求 之间的相关性概率Pi计算公式为：
若所述样例图片仅包括正样例图片集合，则将所述正样例图片集合中每一正样例图片 做为一个分类器，再利用回归算法来整合每个分类器的分类结果，获得图片Ii与输入的查 询请求之间的相关性概率Pi :
其中，fkdO表示第k个分类器对图片Ii的分类结果，当图片获得一张正投票时，L(Ii)=1，否贝U，4(1) = 〇。
6.根据权利要求5所述的方法，其特征在于，所述综合检索结果中所有图片与输入的 查询请求之间的相关性概率来计算本次图像检索的平均准确率包括： 对于样例图片包括正样例图片集合与负样例图片集合的情况，计算本次图像检索的平 均准确率的公式为：
其中，T表示对检索结果进行重新排序后排名前T的所有图片，rel(i)为一个二值函 数，表示当排名第i的图片与输入的查询请求相关，则rel (i) = 1，否则，rel (i) = 0, i属 于[1，T]，j属于[1，i] ;ZT为一个归一化系数； 对于样例图片仅包括正样例图片集合的情况，计算本次图像检索的平均准确率的公式 为：
其中，E表示数学期望。
【文档编号】G06F17/30GK104331513SQ201410685896
【公开日】2015年2月4日 申请日期:2014年11月24日 优先权日:2014年11月24日
【发明者】贾强槐, 田新梅 申请人:中国科学技术大学