专利名称：一种结合自底向上和自顶向下的图像感兴趣区域提取方法
技术领域：
本发明属于图像检索和图像识别技术领域，涉及一种结合自底向上和自顶向下的 图像感兴趣区域提取方法。
背景技术：
传统的基于内容的图像检索中，只是提取了图像的底层特征，而没有考虑用户对 图像的理解问题，因此检索结果并不理想。现有的研究表明，用户在观察图像时，最容易引 起用户注意的部分往往是用户感兴趣的部分，也是图像中与周围其它部分对比更显著的部 分。视觉注意模型就是用来得到图像中最容易引起注意的部分，同时由于图像检索系统检 索结果的好坏与人们对图像的理解直接相关，不同的人因各种条件的不同，导致对同一图 像的理解不一定相同。视觉注意模型能够得到图像中最显著的部分，因此将视觉注意模型 引入图像检索能够有效地缩小图像底层特征与高层次语义之间的鸿沟。同时通过视觉注意 模型提取用户感兴趣区域，可以缩小用户查询意图与图像检索系统理解间的差异，从而提 高检索结果的相关度。人们产生注意力主要有两方面的原因一方面是由于视觉刺激引起的注意，另一 方面是携带了观察任务，发现与所观察任务相匹配的特定对象所引起的注意。基于此，视觉 注意模型分为两种类型自底向上的注意模型和自顶向下的注意模型。自底向上模型是由 视觉刺激驱动或数据驱动的信息处理过程，是基于输入图像的特征显著度来计算的。执行 过程中，不考虑特定的认知任务对视觉注意和眼动的影响，属于低级的认知过程。实现自底 向上注意模型大都采用适当的滤波器对场景的不同特征(如纹理、颜色、方向、运动等)进 行滤波，把特征的响应作为显著度，然后对特征显著度进行建模，选出显著度大的点作为注 意焦点。自顶向下模型是由观察任务驱动的信息处理过程，是通过调整选择准则，以适应外 界命令的要求，从而达到将注意力集中于特定对象，属于高级的认知过程，是慢速的注意机 制。自顶向下模型属于高级视觉的注意力，通常由作为高层知识的观察任务驱动，根据任务 需求有意识地控制其内部信息处理过程，从而获得用户期望的感兴趣区。由于高层知识的 参与，因此，自顶向下比自底向上模型更加复杂，目前这方面的研究成果比较少。视觉注意模型比较成熟的主要是自底向上注意模型，如Itti-Koch模型、 Mentiford模型等。Itti和Koch根据生物学上的依据，模拟哺乳动物的视觉处理过程，提 出了经典的视觉注意模型——Itti-Koch模型。该模型能够快速的得到一幅图片中的“显 著区”，即能够吸引用户兴趣的区域。Itti-Koch模型的优势在于其寻找显著区的速度比较 快，而且由于加入反馈抑制机制，使得同一个显著点只能被系统发现一次。但Itti-Koch模 型得到的显著区域较小，且其显著区呈圆形，与物体的实际形状不符。而Mentiford模型 的显著区虽然比较大，也符合生物研究结果，但其需要大量的计算时间，效率比较低。Navalpakkam和Itti于2006年提出通过对Itti-Koch模型中的每一个初始显著 图赋予不同的权重来实现Top-Down和Bottom-Up相结合的观点。一个特征维的显著度Sj 的计算，是将该维内的Bottom-Up显著度Sij乘以一个Top-Down权重gij而得到；在得到
4一个特征维的显著度后，再通过不同的特征维显著度乘以不同的Top-Down权重gj将多个 特征维的显著度结合起来，从而得到整体图像的显著度图。2006年，Marques和Mayron等 人提出将Itti-Koch模型和Mentiford模型相结合的观点，首先根据Itti-Koch模型产生 潜在的显著区，然后再根据Mentiford模型对显著区的扩展边界进行限制，从而得到感兴 趣区域。 已有的提取图像的感兴趣区域方法中，基本上只提取了图像颜色、亮度和方向等 的底层特征，并没有考虑用户对图像的处理要求和用户对图像的不同理解，因此检索结果 对于用户的某个具体要求来说可能并不理想。实际上用户在处理同一幅图像时，不同的时 候有着不同的要求，不同的要求导致用户对图像有不同的理解。如处理同一幅图像时，有 时需要重点考虑颜色对图中物体的影响，有时需要重点考虑亮度对图中物体的影响，有时 需要综合考虑颜色、亮度、方向等因素对图中物体的影响等，这时就必须加入用户对图中颜 色、亮度和方向等底层特征的设置，本发明通过用户对不同特征权重值的设置即可达到人 为地改变底层特征对图中物体的影响。本发明基于经典的自底向上视觉注意模型，同时加 上用户对图像的理解等自顶向下的高层信息，并将用户对图像的不同理解通过对颜色、亮 度和方向等不同特征显著图设置不同权重的方式来实现，从而使图像底层特征与高层次语 义信息相结合，形成一种自底向上和自顶向下相结合的提取感兴趣区域的方法。同福哦此 方法，我们能准确地提取与用户意图相匹配的感兴趣区域。
发明内容
本发明的目的是提出一种结合自底向上和自顶向下的图像感兴趣区域提取方法， 通过将用户所携带的观察任务等自顶向下的信息和图像的底层特征的结合，即将用户对图 像的理解转换成为显著图权重的方式，通过对底层特征加以相应权重来影响显著图的求 解，同时结合Itti-Koch模型与Mentiford模型，吸取各自的优点。在缩短用户查询意图 与图像底层特征间的语义鸿沟的同时，求出的感兴趣区域也能保持物体原有形状，从而使 得所选出来的感兴趣区域更加符合用户的要求，以便于后续图像检索的处理。本发明的技术解决方案如下一种结合自底向上和自顶向下的图像感兴趣区域提取方法，包括以下步骤 步骤1 提取出输入的源图像在亮度、颜色和方向三个特征上不同尺度的图像
特征； 步骤2 采用交互式的方式，用户输入亮度特征、颜色特征和方向特征相应的权重
值，然后由下式求出源图像加权的Itti-Koch模型显著权利要求
1.一种结合自底向上和自顶向下的图像感兴趣区域提取方法，其特征在于，包括以下 步骤步骤1 提取出输入的源图像在亮度、颜色和方向三个特征上不同尺度的图像特征； 步骤2 采用交互式的方式，用户输入亮度特征、颜色特征和方向特征相应的权重值， 然后由下式求出源图像GR加权的Itti-Koch模型显著2.根据权利要求1所述的结合自底向上和自顶向下的图像感兴趣区域提取方法，其特 征在于，步骤1中，提取不同尺度的图像特征的过程为1)将源图像Q分解为r，g，b三个通道，分为红色，绿色，蓝色三幅单色图像，通过公式 I = (r+g+b)/3产生亮度图，将这幅亮度图作为高斯金字塔I的基础级别，通过高斯金字塔， 产生九个不同尺度图像，即从1 1的O级、1 2的1级，...，一直到1 256的8级，从而提取 出不同尺度的亮度信息；2)分离出颜色信息以R= r-(g+b)/2代表红色，G = g-(r+b)/2代表绿色，B = b- (r+g) /2代表蓝色，Y = (r+g) /2-1 r-g | /2_b代表黄色，其中R、G、B及Y的负值设置为0， 产生了一个新的颜色空间，将这四幅调整后的颜色图作为高斯金字塔的基础输入级别进行 处理；四个高斯金字塔R，G，B, Y来代表这四个颜色频道；3)采用伽柏金字塔提取源图像GR的不同尺度的方向信息采用伽柏滤波器提取图像 0°，45°，90°，135°四个方向的方向信息，然后再经过伽柏金字塔提取出不同尺度的方 向信息。
3.根据权利要求1所述的结合自底向上和自顶向下的图像感兴趣区域提取方法， 其特征在于，步骤3中，利用Itti-Koch模型的反馈抑制机制，根据GI中的结果对加权 Itti-Koch模型显著图进行修改，使已经选取过的显著点不再被选中，迭代计算其它显著点。
4.根据权利要求1所述的结合自底向上和自顶向下的图像感兴趣区域提取方法，其 特征在于，步骤3中，区域增长采用种子填充法建立一个队列Q ；初始时，Q仅包含最开始的那个点，对于每一个出队的元素，将它周围符合条件的元素入队列；设置一个访问标志数 组，用于记录每一个元素是否已经被访问过，避免重复访问。
全文摘要
本发明提出一种结合自底向上和自顶向下的图像感兴趣区域提取方法。该方法采用交互式的方式，由用户将其携带的观察任务等自顶向下信息转换为输入图像底层特征的不同权重值，同时结合Itti-Koch模型和Stentiford模型，吸取两模型优点，实现用户任务与图像视觉刺激相结合的感兴趣区域提取方法。将用户的查询意图以及对图像的理解转换为显著图权重的方式，即通过对底层特征加以相应权重来影响显著图的求解，缩短了用户查询意图与图像底层特征间的鸿沟，提取出来的感兴趣区域更符合用户的要求。对多幅图像的处理结果表明使用该方法提取用户感兴趣区域具有较好的结果。
文档编号G06K9/46GK102063623SQ20101060993
公开日2011年5月18日 申请日期2010年12月28日 优先权日2010年12月28日
发明者向遥, 廖胜辉, 梁毅雄, 沈海澜, 王磊, 辛国江, 邹北骥, 陈再良 申请人:中南大学