专利名称：一种交互式图像检索方法
技术领域：
本发明属于图像处理技术领域，涉及基于移动虚拟分类面的交互式 图像检索方法。
背景技术：
随着多媒体技术的发展和计算机数据处理能力的提高，网络上的各 类资源日益丰富，尤其是直观形象的数字图像更是以惊人的速度增长。 在全世界范围内，每天都会产生数量巨大的图像，这就要求有一种能够 快速而且准确地查找访问图像的技术，也就是所谓的图像检索技术。
基于内容的图像检索(Content-Based Image Retrieval,简称CBIR)，
是当前较为常用的一种有效的图像检索方法，其主要的难点在于如何跨 越图像高层语义和底层特征的鸿沟。相关反馈(Relevance Feedback)己 被证明是一种能够较好地处理上述问题的技术，其主要思想是在图像检 索过程中引入人机交互，每次返回一些图像给用户标注，然后利用这些 己标注图像的信息去提高图像检索的准确度。在每轮相关反馈中，返回 给用户标注的图像相对于庞大的图像数据库而言是非常少的，如何有效 利用有限的标注图像和大量的未标注图像以尽可能地提高图像检索系 统的性能，是相关反馈技术中的一个关键问题。
主动学习(Active Learning)是针对机器学习中"标注数据少，未 标注数据多"的情况提出的一种有效的学习算法，其主要思想是只选 取"最有信息"的数据进行标注，使得由这些数据所训练出的新分类器其 性能得到尽可能大的提高。将主动学习运用到相关反馈中以提高图像检 索的效果，是当前图像检索的一个趋势，其中最具代表性的是S.Tong 和E.Chang提出的SVM勿^他们认为距离当前训练所得分类超平面最 近的数据点为"最有信息"的数据，因此在每轮相关反馈中，他们返回一 批距离分类面最近的图像给用户标注，并用这些标注图像训练出一个新
的分类器。本发明认为，上述传统的"成批标注"的选点策略忽略了未标 注数据点之间的相互关系，因此减少了所标注数据总的信息量，进而影 响了整个图像检索系统的性能。
发明内容
传统的选点方法往往选取距离当前分类面最近的一批数据进行一 次性标注，这种成批标注的方法忽略了数据点之间的关系，使得系统检 索不够高效，为了解决现有技术的问题，本发明的目的是采用高效选点 策略、增加所标注数据总的信息量，提高整个图像检索系统的性能，为
此，本发明提出了一种基于新型的移动虚拟分类面策略(Moving Virtual Boundary策略，简称MVB策略)的交互式图像检索方法。
为了实现所述的目的，本发明交互式图像检索方法的技术方案如下 所述
步骤h采用移动虚拟分类面选取图像的数据点； 步骤2:对图像数据点进行逐一标注；
步骤3:利用前一个标注的图像数据点选取下一个图像数据点； 步骤4:利用标注的图像数据点作为训练样本对分类器进行更新，
得到改进后的检索结果，完成交互式图像检索。
根据本发明的实施例，所述的图像数据点，所述的图像数据点，是 用图像数据点到分类面的距离度量图像数据点信息量，即利用图像数据 点到分类面的距离判断分类类别的不确定性，从而作为标注该图像数据 点所能获得的信息量。距离越近，不确定性越大，从而标注该图像数据 点所能获得的信息量越大。
根据本发明的实施例，所述的图像数据点的标注步骤 步骤31:标注一个图像数据点；
步骤32:用移动的虚拟分类面适时调整其它各图像数据点的信息
步骤33:选取靠近真实分类面的图像数据点进行标注。 根据本发明的实施例，所述的虚拟分类步骤如下 步骤41:将所有图像数据点按照其到当前分类面的距离映射到一维
坐标轴上，被分为正类的图像数据点映射到正半轴，被分为负类的图像 数据点映射到负半轴，原点对应于当前分类面；
步骤42:每次移动选取一个数轴上坐标绝对值最小即距离原点最近 的图像数据点进行标注；
步骤43:如果标注结果即该图像数据点的真实类别与当前分类面的 分类结果一致，则保持原点位置不变；否则，移动原点位置使得移动后 该图像数据点的分类结果与其真实类别一致。
根据本发明的实施例，所述在每次移动虚拟分类面，使原先被错分 的标注点被虚拟分类面正确地分类。
根据本发明的实施例，所述的交互式图像检索方法，其特征在于 所述每次移动虚拟分类面的步长选取是将原点移至标注点与其相邻数 据点的中点处。
根据本发明的实施例，所述原点移动步骤-
步骤71:原点移动到多个图像数据点并被标注；
步骤72:将这些标注好的图像数据点加入训练集；
步骤73:利用训练集训练出一个新的分类器。
根据本发明的实施例，所述信息量中未标注数据的信息量在每轮相 关反馈中随标注动态变化。 本发明的积极效果
在图像检索的相关反馈过程中，主动学习常常被用来减轻人工标注 的数据量，其主要思想是每次仅仅选取信息量最大的数据进行标注。传 统的选点方法往往选取距离当前分类面最近的一批数据迸行一次性标 注，这种"成批标注"的方法忽略了数据点之间的关系，因此不够高效。 本发明提出了一种新型的选点策略"移动虚拟分类面"策略(Moving Virtual Boundaiy策略，简称MVB策略)。采用了"逐一标注"的策略取代 了传统的"成批标注"的方法，利用前一个标注的数据去为下一个数据的 选取提供指导，从而在不增加标注数据量的条件下提高了所标注数据总 的信息量。本发明中，未标注数据的信息量在每轮相关反馈中是随标注 动态变化的，而非固定不变的常量。本发明采用的移动的"虚拟分类面" 去逼近数据的真实分类面，并在此过程中选取最有信息数据点进行标
注。实验证明，采用了MVB选点策略的主动学习算法性能得到了显著提 高。实验证明，该策略对于改进相关反馈中主动学习算法的效率、提高 图像检索系统的性能具有重要的理论和实际意义。
图1所示为距离当前分类面最近的数据点往往不是"最有信息"的数
据点；
图2所示为MVB选点策略与传统选点策略的比较；
图3所示为原点移动示意图；图4所示为带相关反馈的图像检索系统流程图 图5采用MVB选点策略的相关反馈流程图 图6a和图6b所示分别为三轮和五轮相关反馈后的精确度曲线； 图7a和图7b所示为30和50幅图像精确度与相关反馈轮数的关系 曲线。
具体实施例方式
下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。 应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起 任何限定作用。
在图像检索的相关反馈过程中，主动学习常常被用来减轻人工标注 的数据量，其主要思想是每次仅仅选取信息量最大的数据进行标注。传 统的选点方法往往选取距离当前分类面最近的一批数据进行一次性标 注，这种"成批标注"的方法忽略了数据点之间的关系，因此不够高效。 本发明提出了一种新型的选点策略"移动虚拟分类面"策略(Moving Virtual Boundary策略，简称MVB策略)。本发明采用了"逐一标注"的 方法，利用前一个标注的数据去为下一个数据的选取提供指导，从而在 不增加标注数据量的条件下提高了所标注数据总的信息量。实验证明， 采用了 MVB选点策略的主动学习算法性能得到了显著提高。
主动学习的关键问题在于如何选取"最有信息"的数据，在图像检索 中当前流行的选点策略通常选取一批距离当前训练所得分类面最近的图像给用户标注。但是，如图l所示为距离当前分类面最近的数据点往 往不是"最有信息"的数据点，由于当前训练所得分类面实线所示往往不 是数据点真实的分类面虚线所示，而事实上距离真实分类面最近的图像 才是"最有信息"的数据，所以按照传统的选点策略选取的数据点其信息 量往往不是很大，从而对于分类器性能的改善非常有限。
如图l所示A表示负类数据；《表示正类数据；*表示最有信息数 据；o表示未标注数据；
本发明提出了"移动虚拟分类面"(Moving Virtual Boundary,简称 MVB)的选点策略。不同于以往的"成批标注"，本发明采用了"逐一标 注"的方法，利用前一个标注的数据去为下一个数据的选取提供指导， 如图2所示为MVB选点策略与传统选点策略的比较，从而在不增加标 注数据量的条件下提高了所标注数据总的信息量。
如图2所示，MVB选点策略与传统选点策略的比较，和传统的方 法一样，本发明把数据点距离分类面的距离作为其信息量的一种度量.-数据点距离分类面越近，其类别的不确定性就越大，从而标注该点所能 获得的信息量就越大。不同之处在于在一轮相关反馈中，传统方法把 数据点的信息量看作是不变的常量，每次选取距离当前分类面最近的一 批数据点标注；而本发明则在每标注一个数据点之后，适时地对其它各 点的信息量进行调整，使得选出的数据点尽可能更靠近真实分类面，而 非当前分类面。
下面详细介绍本发明的MVB选点策略
首先，本发明将所有数据点按照其到当前分类面的距离映射到一维 坐标轴上，被分为正类的数据点映射到正半轴，被分为负类的数据点映 射到负半轴，原点对应于当前分类面。
每次，本发明选取一个数轴上坐标绝对值最小(即距离原点最近) 的数据点进行标注。如果标注结果(即该点的真实类别)与当前分类面 的分类结果一致，则保持原点位置不变；否则，本发明移动原点位置使 得移动后该数据点的分类结果与其真实类别一致。以图3所示原点移动 示意图为例，在标注之前，距离原点最近的数据点为点A，它被当前分 类面分为正类，而标注之后的结果却是点A属于负类，因此需要将原点
向数轴正方向移动，使得点A相对于移动后的原点而言属于负类。上述 移动原点的过程实质上相当于在高维空间中移动一个"虚拟分类面"的 过程(之所以称之为"虚拟分类面"，是因为它并不是通过训练所获得的 分类面，而是对真实分类面可能位置的一种更为合理的假设)，这也就 是MVB选点策略名称的由来。在每次移动之后，都保证原先被错分的 标注点能够被虚拟分类面正确地分类。对于每次移动的步长，有不同的 选取方法， 一种最简单、最稳定的方法是将原点移至标注点与其相邻数 据点的中点处。
如图3所示原点移动示意图，重复以上过程，直到一定数目的数据
点被标注。然后将这些标注好的数据点加入训练集，从而训练出一个新 的分类器。
现将图像检索过程中MVB选点策略的具体实施步骤总结如下 已知当前分类面f，训练图像集合L(己标注)，未标注图像集
合U，每一轮相关反馈所需标注的图像数N。
步骤1:初始化虚拟分类面fv为当前分类面f;将未标注图像集合U 中每一幅未标注图像映射到一维坐标轴上，图像x对应于坐标轴上坐标 为f"x)的点；原点对应于虚拟分类面fv。
步骤2:重复以下流程N次
(1) 选择距离原点最近的图像数据点，即坐标绝对值lfv(X)l最小的
图像数据点进行标注，假设为x,。
(2) 如果x,位于原点的正方向(即右侧)，但被标注为"不相关"
(即负样本)，则将原点移至x,及其右邻点的中点处； 如果x,位于原点的负方向(即左侧)，但被标注为"相关" (即正样本)，则将原点移至X,及其左邻点的中点处；
否则，保持原点位置不变。
('3)将Xl从未标注图像集合U中剔除，并加入训练图像集合L。 (4)根据新的原点位置重新计算各未标注图像数据点x的坐标 f、,(x)。
步骤3:用训练图像集合L训练出一个新的分类面f 。
由于虚拟分类面始终向能够正确分类标注点的方向移动，故可以认
为它是在尽可能地趋近于真实的分类面，从而使得每次选出的距离虚拟 分类面最近的数据点也在不断地靠近真实分类面附件的最有信息数据 点。显然，通过MVB策略选取出来的数据点比仅仅局限在当前分类面 附件选取的数据点具有更多的信息量，因此对于分类器性能的提高更有 帮助。
带相关反馈的图像检索系统流程如图4所示，具体解释如下
① 利用特征提取技术，从数据库图像中提取出图像特征(如颜色、 纹理、形状等)，并保存在图像特征数据库中，该步骤可以离 线完成。
② 对于用户提交的查询图像，需要通过特征提取获得与图像特征 数据库中相对应的特征，该步骤在线完成。
③ 将图像特征输入分类器，得到査询结果，即数据库中图像按照 与査询图像相关性的降序排列。如果用户对査询结果满意，则
査询结束；否则，用户需要提供反馈信息，以使分类器获得更
好的结果。
采用MVB选点策略的相关反馈流程如图5所示，具体解释如下
(1) 使用MVB选点策略，从图像库中选取一幅"最有信息"的图像(即 距离分类面最近的图像)，由用户进行标注，标注结果将决定 虚拟分类面的移动与否及移动方向、位置，进而指导下一幅"最 有信息"的图像的选取。该步骤可以循环N次，从而获得N幅已 标注图像。
(2) MVB选点标注过程结束后，将标注好的N幅图像作为训练图像， 对分类器进行训练，以获得更新后的分类器。
实施效果
为证明MVB选点策略的有效性，本发明在Coral图像集的一个子 类上运用不同的选点策略进行图像检索实验。在本发明的图像集中有 5000幅图像，分为50个具有不同语义的类别，每类100幅图像。实验 中，本发明用每类的前IO幅图像作为査询图像，最后计算出平均的检 索精确度。
本发明选取颜色和纹理特征作为图像的底层特征表达。颜色特征由
RGB空间125维的颜色直方图和6维的颜色矩组成。纹理特征按如下
方法提取首先对图像进行3层的离散小波变换，然后用IO个子带上
各自的均值和方差组成共20维的特征向量，作为图像的纹理特征。
本发明将MVB选点策略应用于SVM^,w，和采用传统选点策略原
始SVM,自进行比较。采用的分类器是图像检索中常用的SVM分类器，
选择RBF核，参数通过交叉验证获得。在每轮相关反馈中，两种方法
均标注相同数量的图像(20幅)。
图6a和图6b给出了分别经过三轮和五轮相关反馈后图像检索精确
度的曲线，其中纵坐标为精确度值，横坐标表示在返回的前x幅图像范
围内的精确度。
图7a和图7b所显示的分别是返回的前30和50幅图像中精确度与 相关反馈轮数的关系曲线，其中纵坐标为精确度值，横坐标为相关反馈 的轮数。
图6a和图6b、图7a和图7b中带o的曲线表示采用MVB选点策略 的SVM^,w，带A的曲线表示原始SVM,c^。从图中本发明可以看出采 用MVB选点策略之后，SVM力^的性能得到了明显改进，返回图像的 精确度比原始的SVM^,w有了显著提高。例如，在经过3轮相关反馈之 后，返回的前30幅图像的准确率由原来的33.97%提高到43.69%;而在 5轮相关反馈之后，返回的前50幅图像的准确率由原来的37.45%提高 到49.58%。这说明了运用MVB策略选取出来标注的数据点比传统选点 策略具有更多的信息量，从而能够更加有效地提高图像检索系统的性 能。
以上所述，仅为本发明中的具体实施方式
，但本发明的保护范围并 不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理 解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发 明的保护范围应该以权利要求书的保护范围为准。
权利要求
1、一种交互式图像检索方法，其特征在于，步骤1采用移动虚拟分类面选取图像的数据点；步骤2对图像数据点进行逐一标注；步骤3利用前一个标注的图像数据点选取下一个图像数据点；步骤4利用标注的图像数据点作为训练样本对分类器进行更新，得到改进后的检索结果，完成交互式图像检索。
2、 根据权利要求1所述的交互式图像检索方法，其特征在于所 述的图像数据点，是用图像数据点到分类面的距离度量图像数据点信息 量，即利用图像数据点到分类面的距离判断分类类别的不确定性，从而 作为标注该图像数据点所能获得的信息量。距离越近，不确定性越大， 从而标注该图像数据点所能获得的信息量越大。
3、 根据权利要求1所述的交互式图像检索方法，其特征在于所 述的图像数据点的标注步骤步骤31:标注一个图像数据点；步骤32:用移动的虚拟分类面适时调整其它各图像数据点的信息步骤33:选取靠近虚拟分类面的图像数据点进行标注。
4、 根据权利要求2所述的交互式图像检索方法，其特征在于所 述的虚拟分类步骤如下步骤41:将所有图像数据点按照其到当前分类面的距离映射到一维 坐标轴上，被分为正类的图像数据点映射到正半轴，被分为负类的图像 数据点映射到负半轴，原点对应于当前分类面；步骤42:每次移动选取一个数轴上坐标绝对值最小即距离原点最近的图像数据点进行标注；步骤43:如果标注结果即该图像数据点的真实类别与当前分类面的分类结果一致，则保持原点位置不变；否则，移动原点位置使得移动后 该图像数据点的分类结果与其真实类别一致。
5、 根据权利要求3所述的交互式图像检索方法，其特征在于所 述在每次移动虚拟分类面，使原先被错分的标注点被虚拟分类面正确地 分类。
6、 根据权利要求4所述的交互式图像检索方法，其特征在于所 述每次移动虚拟分类面的步长选取是将原点移至标注点与其相邻数据 点的中点处。
7、 根据权利要求6所述的交互式图像检索方法，其特征在于所 述原点移动步骤步骤71:原点移动到多个图像数据点并被标注； 步骤72:将这些标注好的图像数据点加入训练集； 步骤73:利用训练集训练出一个新的分类器。..
8、 根据权利要求2所述的交互式图像检索方法，其特征在于所述信息量中未标注数据的信息量在每轮相关反馈中随标注动态变化。
全文摘要
本发明基于移动虚拟分类面的交互式图像检索方法，采用移动虚拟分类面选取图像的数据点；对图像数据点进行逐一标注；利用前一个标注的图像数据点选取下一个图像数据点；利用标注的图像数据点查找访问图像，完成交互式图像检索。在图像检索的相关反馈过程中，主动学习常常被用来减轻人工标注的数据量，其主要思想是每次仅仅选取信息量最大的数据进行标注。传统的成批标注的方法忽略了数据点之间的关系，因此不够高效。本发明提出移动虚拟分类面选点策略，利用前一个标注的数据去为下一个数据的选取提供指导，从而在不增加标注数据量的条件下提高了所标注数据总的信息量。移动虚拟分类面选点策略使主动学习算法性能得到了显著提高。
文档编号G06F17/30GK101377776SQ200710121079
公开日2009年3月4日 申请日期2007年8月29日 优先权日2007年8月29日
发明者卢汉清, 张晓宇, 健 程, 马颂德 申请人:中国科学院自动化研究所