专利名称：一种自底向上的注意信息提取方法
技术领域：
本发明涉及一种自底向上的注意信息提取方法，属于计算机应用技术 领域。
技术背景注意作为心理活动的状态，在近代心理学发展的初期就已受到重视。 视觉注意的作用是将人类注意快速指向感兴趣的目标。用于选择的注意机 制既使用来自图像的自底向上的信息，也使用来自高层视觉结构组织的自 顶向下的信息。当整幅图像是某个目标的特写镜头时，目标在图像中占主要部分。只 用自底向上的注意就可以完成目标检测。但是，当场景环境在图像中占主 要部分时，完成目标检测首先要通过自顶向下的注意过滤环境信息，然后 再与自底向上的注意信息相结合。因此，不论在哪种情况，选择怎样的信 息作为自底向上的注意信息，对建立计算机模拟人类视觉感知机制的模型 尤为重要。本发明集中研究自底向上的注意信息的提取算法，为构建视觉 注意感知模型提供重要基础。现有的自底向上的注意信息通常来自多通道多尺度滤波器组对图像滤波的结果。三类典型的滤波器是Gaussian及Gaussian函数的各种变换形 式滤波器，基于一阶微分的滤波器和基于二阶微分的滤波器。在实际应用 中，可以根据具体的图像特性和视觉任务选择合适的滤波器。如果要提取 自然图像中对朝向敏感的初级视觉特征，通常采用Gabor滤波器。Gabor 滤波器是对Gaussian函数的正弦或余弦调制，它可以模拟不同位置、不同尺度的感受野，因而被广泛应用于自底向上注意信息的提取算法中。Rybak 在《Vision Research》(《视觉研究》，2387-2400页)上发表的文章"A model of attention-guided visual perception and recognition"("注意弓I导的视觉感失口 和识别模型")中提出提取自底向上的注意信息时，先对自然图像中的每一 点进行类高斯巻积的递归计算，将原始图像变换成视网膜图像。然后，采 用Gaussian差分滤波器进行自底向上注意信息的提取。在"Face recognition by dynamic link matching"("基于动态连接匹配的人脸识别")模型中，Wiskott 采用了基于Gabor变换的小波滤波器。邹琪在《电子学报》上发表的文章"利用多尺度分析和编组的基于目标的注意计算模型"中，提出将Gaussian 滤波器的滤波结果用于多尺度分析，以获取图像在某一尺度下的重要边缘。 如果要提取用于边缘检测的初级视觉特征，还可以选择基于一阶或二阶微 分的滤波器。常用的基于一阶微分的滤波器有Roberts, Sobd, Prewitt和 Harris滤波器。最典型的基于二阶微分的滤波器是Laplacian滤波器。还有 一种LOG (Laplacian-of-Gaussian)滤波器，滤波时先对图像进行平滑处理， 然后进行二阶微分。也可以将其看成是对Gaussian函数的拉普拉斯变换。 Lindeberg在《International Journal of Computer Vision》(《计算机视觉》， 79-116页)上发表的文章"Feature detection with automatic scale selection"("具有自动尺度选择的特征检测")中，就采用了 LOG滤波器来提取底层 信息。这些由不同滤波器得到的自底向上的注意信息都具有原始图像的某种 特定形态特性。这些形态特性与所采用的滤波器的特性密切相关。例如单 个Gabor滤波器具有特定的频率和朝向，当图像在对应频率和朝向上有最 明显的特征时，这个Gabor滤波器就会有最大响应。如果滤波器本身存在 一些缺点，那么提取的注意信息也会有类似的不足。例如，虽然Harris滤波器具有很强的噪声和光照条件变化不变性，但它对图像尺度的变化非常敏感。所以，由Harris滤波器得到的注意信息不能很好地完成变尺度图像 匹配任务。Laplacian滤波器虽然具有精确定位特性，但是对噪声敏感，从 而使得注意信息同样对噪声敏感。为了克服这些不足，研究者们提出一些 其它方法来提取自底向上的注意信息。相位一致和相关局部熵方法根据傅 里叶分量的相位相干性来定义特征，但是该方法仅适用于提取一维或两维 具有特定几何形状的特征，不能广泛用于提取各种类型的特征。还有一些 方法根据图像的全局统计特性来定义图像的显著性，得到的注意信息将会 受到图像全局变换的影响。 发明内容为了克服现有技术结构的不足，本发明提供一种自底向上的注意信息提 取方法。本发明解决其技术问题所采用的技术方案是一种自底向上的注意信息提取方法，自底向上的注意信息由图像中每个 点对应区域的显著性构成，区域的尺度自适应于局部特征的复杂度，综合 考虑了三方面特性来定义显著性根据特征空间中的不可预测性来衡量特 征的复杂度；在尺度空间中衡量特征的统计不相似特性；同时考虑特征空 间和尺度空间，衡量特征的一些初级视觉特性；包含以下步骤；有计算局部复杂度显著性的步骤；有计算统计不相似显著性的步骤；有计算初级视觉特征显著性的步骤；有计算图像区域显著性的步骤；有提取自底向上的注意信息的步骤。步骤l.计算局部复杂度显著性；对于图像/(w)中的每个像素位置"(w)的每个尺度,c ，"自-(1) /'(w)表示图像/(w)中以Hw)点为中心，以^为半径的图像区域对 应的亮度信息；(2) 用亮度直方图估计/'(w)的局部概率密度函数p(^,/) (p(屮c,/)表示在 /'(w)对应图像区域内，亮度信息取值为&的概率)；(3) 根据局部概率密度函数p(,e,，/)计算局部熵H(^)的值； H(sc,/) = - Z p(/e,sc，/)log2; (i-e，sc，/)步骤2.计算统计不相似显著性；对于每个满足条件H^-U^H^^H—+ 的w ，根据熵H^,/)计算统计不相似性度量s4w/)辟c,/) = ^^(H(sc,/) - H(化-1,/))JT 一 1 、步骤3.计算初级视觉特征显著性；(1) 用4个朝向、4个频率的Gabor滤波器对图像/(w)滤波,力表示 Gabor滤波器)v(x, >>) = /Cx,力* 一 - W - A )形成16幅朝向、频率特征图(一，力,hU,K,16"x4);(2) 用全局加强法合并16幅特征图，形成一幅初级视觉特征显著图w(/);步骤4.计算图像区域显著性；对于图像/(w)中的每个像素位置/=(w)的每个满足条件H(sc -1，/) < H(sc，/) > H(sc +1,(1) wa)表示图像/(w)中以/"^)点为中心，以^为半径的图像区域对 应的初级视觉特征显著性；(2) 根据局部熵H(W)、统计不相似性度量S斧c,/)和初级视觉特征显著性W(w)，计算图像显著性度量标准SA—，/) SA(化,/) = H(w，/) x辟c，/)x W'(/)(3) 以点"(w)为中心，以尺度"为半径的图像区域的显著值定义为SC f=i尸i步骤5.提取自底向上的注意信息；(1) 对于图像/(w)中的每个像素位置"(w)，比较不同尺度^下的显著值。用最大的显著值SS(SC,/) (SCwgmax(刮K,/)))作为以"(;c,"点为中 心，以SC为半径的图像区域对应的自底向上的注意信息；(2) 图像/(w)中所有的点对应区域的显著值刮SC,/)就构成了整幅图像的自底向上的注意信息。本发明的有益效果；提出了一种新的自底向上的注意信息提取算法 (L0CEV)。通过将该算法应用于多幅自然图像的实验证实，该算法是一种 行之有效的自底向上的注意信息提取方法，并具有旋转、平移、比例縮放 不变性和一定的抗噪能力，从而使得该算法适用于多种视觉任务，如目标 跟踪、匹配和识别等。同时，该算法还存在有待改进之处。因为采用了圆形的采样窗，所以 LOCEV算法倾向于寻找具有各向同性的显著特征。下一步的工作将研究提取 具有各向异性的显著特征。需要指出的一点是，圆形的采样窗只需要一个 尺度参数(半径)和中心点的位置坐标就可以完全确定下来。而用于提取 具有各向异性的特征的采样窗则需要更多的参数，这无疑会使计算量大幅 增加。也就是说，算法的复杂度和计算效率是无法同时满足的，要力图在 两者之间寻求最佳折中方案。 一个可以考虑的方法是根据自顶向下的注意 提供的指导，对于不同的任务选取不同的采样窗，并确定采样窗的部分参数。
图l (a)视觉显著性示例； 图l (b)视觉显著性示例； 图2统计不相似特性A.;(a)原始图像；(al)将(a)图的熵看成是尺度的函数，画出对应的 熵函数图；(a2) (a)图部分尺度下的熵值变化直方图；(b)原始图像以图 像的中心点为起始点、 一条半径为起始边的旋转放射梯度亮度排列；(bl) 将(b)图的熵看成是尺度的函数，画出对应的熵函数图；(b2) (b)图部 分尺度下的熵值变化直方图；(c)原始图像以图像中心点为起始点的放射 梯度亮度排列；(cl)将(c)图的熵看成是尺度的函数，画出对应的熵函数图；(C2) (C)图部分尺度下的熵值变化直方图；(d)原始图像按婴儿脸图像亮度分布排列；(d 1)将(d)图的熵看成是尺度的函数，画出对应的 熵函数图；(d2) (d)图部分尺度下的熵值变化直方图； 图3统计不相似特性B;(a)将图2 (c)看成子图，把它镶嵌在一个白色的大图中；(al)将 (a)图的熵看成是尺度的函数，画出对应的熵函数图；(a 2) (a)图部分 尺度下的熵值变化直方图；(b)将图2 (d)看成子图，把它镶嵌在一个白 色的大图中；(bl)将(b)图的熵看成是尺度的函数，画出对应的熵函数 图；(b2) (b)图部分尺度下的熵值变化直方图；图4 LOCEV算法的旋转、平移和比例縮放不变性；(a)原始图像；(b)旋转、平移的图像；(c) 0.5倍采样的图像； 图5显著区域检测结果；(al)原始图像；(bl)本发明实验结果；(cl) Itti实验结果； (a2)原始图像；(b2)本发明实验结果；(c2) Itti实验结果； 图6 LOCEV算法的步骤流程图。下面结合附图和实施例对发明进一步说明。
具体实施方式
实施例l:根据视觉显著性，基于局部复杂度和初级视觉特征，提出了一种新的自底向上的注意信息提取算法LOCEV (Integration of local complexity and early visual features )。与现有技术相比，本发明具有以下几 个突出的特点第一，LOCEV算法基于图像的局部信息，并采用圆形采样 窗，所以图像的全局变换，如旋转、比例縮放等对提取的注意信息几乎没 有影响。第二，尽管用来定义局部复杂度的函数不具有平移不变性，但是 LOCEV算法将图像中像素点的位置当作变量，从而使得算法具有了平移不 变性。第三，LOCEV算法用区域的显著性代替点的显著性，并通过在尺度 空间中衡量特征的统计不相似特性使得提取的注意信息不易受噪声干扰。 这样，即使显著区域中的单个像素会受到噪声的影响，用LOCEV算法得到 的整个区域的显著性并不会有太大改变。第四，显著区域的尺度根据区域 的局部复杂程度自适应地变化，而且尺度大小的确定与区域显著性的计算 同时进行，提高了计算效率，也更符合人类视觉感知的特点。第五，LOCEV 算法通过对区域的初级视觉特征显著性度量，将图像的形态特性引入了注 意信息中。第六，LOCEV算法在定义显著性时，同时考虑了特征空间和尺 度空间，得到的显著区域在两个空间中同时具有最高的显著性。 视觉显著性分析；视觉显著性使场景中的特定区域被预先注意到，并在人类视觉系统的 初级阶段产生特定形式的重要视觉刺激。 一般认为显著性就是稀有性，如图1所示，那些具有与相邻区域不同特性的区域更显著并能够吸引注意。Gilles在他的博士论文"Robust description and matching of images" ("图像的鲁棒描述和匹配")中研究提出用局部特征的Shannon熵定义显 著性。但是用这种基于局部信号不可预测性的方法来定义视觉显著性还存 在问题。如果采用具有很高区分度的特征，所有的区域都趋向稀有。如果 选择区分度很低的特征，那么所有的区域都不再显著。决定特征区分度的 一个关键因素是尺度，选择不同尺度的特征就会产生不同的显著区域。这就涉及到一个问题，在提取自底向上的注意信息时，到底是选择在 多个尺度下都存在的特征？还是选择在不同尺度下出现得少的特征？在邹 琪的"利用多尺度分析和编组的基于目标的注意计算模型"中，那些在多 个尺度下都存在的边缘被定义为重要的边缘，具有更高的显著性。在本发 明中，想要提取的显著特征基于图像区域的局部复杂度。区域的显著性与 边缘的显著性不同。边缘的尺度特性仅体现在垂直边缘朝向的方向上，沿 边缘的正切方向，并不存在尺度特性。而区域的尺度特性体现在各个方向 上，那些在不同尺度下都显著的特征往往属于具有自相似特性的区域。也 就是说，这些图像区域是由相似的特征(如不规则的几何碎片)拼接而成 的。通常认为这样的图像区域不是显著区域。所以，在提取自底向上的注 意信息时倾向于选择在不同尺度下出现得少的特征。基于局部复杂度和初级视觉特征的自底向上注意信息提取； 根据视觉显著性分析，基于局部复杂度和初级视觉特征的自底向上注 意信息提取算法(LOCEV)算法综合考虑了三方面特性来定义显著性第一， 根据特征空间中的不可预测性来衡量特征的复杂度；第二，在尺度空间中 衡量特征的统计不相似特性；第三，同时考虑特征空间和尺度空间，衡量 特征的一些初级视觉特性。下面分别进行详细介绍。局部复杂度显著性；最早提出用局部复杂度作为显著性度量的是Gilles。给定一个点/ = (W)，它的局部邻域碼，和某个特定的描述特征,e (取值范围假设为=卜.e,"'e2,…， p，局部Shannon熵定义为<formula>formula see original document page 13</formula>其中，pfe,叫)表示在点/的局部邻域碼内，描述特征取值为,e,的概率。但是，仅用局部复杂度来衡量显著性是不能满足要求的。在统计意义 下估计特征显著性，熵只能统计局部邻域内的信号复杂度或不可预测性， 所有的结构和空间信息都丢失了。因此，会有显著特征在不同尺度下的自 相似问题，这就需要在尺度空间中对特征的不可预测性进行分析。 统计不相似显著性；本节在尺度空间中衡量特征的统计不相似特性。知道，将一幅图像经 过任意像素置换后得到另一幅图像，这两幅图像的熵值相同。按局部复杂 度算法的定义，这两幅图像具有相同的显著性。图2中有四幅图像。其中，图2 (a)是一幅人脸图像的子图(大小为65x65的8bits灰度图)，将(a) 图经过不同的像素置换可以到图2 (b)、 (c)和(d)。得到图2 (b)和(c)的像素置换分别是以图像的中心点为起始点、 一条半径为起始边的旋转放射梯度亮度排列，和以图像中心点为起始点的放射梯度亮度排列。以一幅婴儿脸图像的亮度分布为索引，将图2 (a)的所有像素重新排列，就得 到了图2 (d)。在本发明的实验中，用图像的亮度信息作为描述特征。因为图像是8bitS灰度图，所以描述特征,e的取值范围为0:255 。四幅图像的熵值相同，均为6.7986，但是很明显它们的显著性是不同的。将每一幅图像 的熵看成是尺度的函数，可以画出对应的熵函数图，如图2 (al)、 (bl)、(Cl)和(dl)所示。每幅图像的中心点,-(33,33)就是采样窗的中心，邻域的半径大小从1到32。为了可以清楚地看出熵值随尺度的变化情况，图2 中还给出了每幅图像部分尺度下的熵值变化直方图，如图2 (a2)、 (b2)、 (c2)和(d2)所示。从图2中可以看出，虽然各幅图像的熵值相同，但是随尺度变化得到的 熵值的曲线形状差别很大。在图2 (al)中，曲线在尺度25出现峰值；在图 2 (dl)中，曲线在尺度17和29出现峰值(局部极大值点)；而在图2 (bl) 和(cl)中都不存在峰值。图2 (bl)中曲线的形状相对比较平坦，熵值随 尺度变化只有微量增加。这是因为在这幅图像中不同尺度的采样区域具有 很强的自相似特性，而具有自相似性的区域不是显著区域。所以，用峰值 处熵函数的形状变化来表示图像特征的自相似程度&/(/￡，^,/) = ^"^11(/￡, ;,/) —H(/￡, :-U》 (2)其中，s4/i^，0为图像的统计不相似显著性度量，^为尺度参数，熵H是尺 度^的函数。根据公式(2)，当采样区域的大小(M表示区域的半径)变化时，如果H(ffi^,/)的变化比较大，那么对应的统计不相似显著性^ffi,M也会 比较大。在图2 (cl)中，虽然熵值随尺度变化有比较大的变化，但是在变化的 过程中不存在峰值，所以这幅图像并不显著。但是，如果将图2 (c)和2 (d) 都看成子图，把它们分别镶嵌在一个白色的大图中，构成图3 (a)禾口3 (b)， 那么两幅新图的熵函数曲线都会出现峰值(在图3 (al)中，曲线在尺度32 出现峰值；在图3 (bl)中，曲线在尺度17和29出现峰值)。而且，按照公 式(2)的定义，图3 (a)在峰值处的熵函数值与邻近尺度的熵函数值相比 变化更大，也就是说图3 (a)比图3 (b)更显著，但事实并非如此。因为 图3 (a)缺乏一定的形态结构特性，所以它不是一幅具有实际意义的显著 图像。也就是说，通过局部复杂度及其统计不相似特性定义的显著性与特征的形态特性相互独立。根据近代神经解剖学和心理学中有关视觉系统的 研究成果，大多数初级视皮层细胞感受野都具有选择特性。也就是说，人 们会更'喜欢'某种特定形态的显著特征。因此，有必要将图像的形态结 构特性引入显著性的定义中。 初级视觉特征显著性；根据人类视觉感知系统的初级视觉特性，视觉信息的处理过程都是从视网膜开始，经过侧膝体(LGN)，最先到达初级视皮层区域(V1)。作为第 一个进行视觉处理的区域，初级视皮层区域主要负责提取图像的颜色、朝 向和亮度等多方面的信息。它具有局部性、方向性和带通性。因为Gabor 滤波器与简单细胞的感受野性质相似，对于类似于线段的刺激具有最大响 应，所以选择Gabor滤波器提取显著性度量中的初级视觉特征。这种初级 视觉特征具有一定频率、朝向和位置特性。二维Gabor滤波器的时域公式 如下(3)(4)其中ww)和Ww)分别表示偶对称和奇对称的Gabor滤波器，w，力为高斯函数，这里的/"cos"一(9 ， / = -xsin(9 +戶s(9 ， g(;c，力- exp(--~。
6是Gabor滤2 波器的朝向，/。是中心频率。参数A和 是在空域V， /方向的高斯方差。 使用的滤波器包括4个朝向"—/^/2,3龙/4}和4个频率/。￡ {0.1,0.2,0.3,0.4}。图像 /(W)经过滤波后的输出可以表示为V(W)"h"力]2+[V。"力]2 (5)其中，Ve(;c,力"(;c,力化"-;c。,y-y。) ， v。"力=/(x,力*y。) ， "j。)为感受野中心位置，*表示巻积。每个Gabor滤波器相当于一个神经元，对原始输入图像/(w)在某个频率和朝向上给出响应，从而得出16幅朝向、频率特征图 h(W),"!,2，K,^4一 。变量A表示不同空间频率和朝向的滤波器。然后用全局加强法，将各个特征图的特征值归一化到0 1后，找出每 一幅特征图的全局极大A/和除此全局极大之外的其它局部极大的平均值^ 给每一幅特征图乘以加强因子(M-^，这就是每幅特征图的权。最终的显著 图W是各个特征显著图的加权和，用它来衡量原始图像的初级视觉特征显著 性。L0CEV算法；基于上述分析，提出了一种新的自底向上的注意信息提取算法L0CEV (Integration of local complexity and early visual features)。 算 法的具体步骤如下如图6LOCEV算法的步骤流程图所示；1. 计算局部复杂度显著性对于图像/(w)中的每个像素位置/ = (w)的每个尺度^ ， wmi ^"^i:(1) /'o^)表示图像/(x,力中以"Oc，w点为中心，以"为半径的图像区域对应的亮度信息；(2) 用亮度直方图估计/'(w)的局部概率密度函数p(^w (/^具/)表示在 /'(W对应图像区域内，亮度信息取值为,e的概率)；(3) 根据局部概率密度函数;^^,o计算局部熵H^,/)的值(在本发明的实 验中，图像为8bits灰度图，所以&的取值范围/￡ = {。,1,2,...，255})H(sc，/)--Z / ('e,sc,/)log2/>0e，sc,/) (6)2. 计算统计不相似显著性；对于每个满足条件H^ —1，0<H—,/)>H^ + l，/)的w ，根据熵H^，/)计算统计不相似性度量&/^,0 辟c,/) = ^"(H(",/) - H(sc _ ( 7 )3. 计算初级视觉特征显著性；(1) 用4个朝向、4个频率的Gabor滤波器对图像+，力滤波(v^,力表示 Gabor滤波器)v(w) = /(jc，y)，(xui) (8) 形成16幅朝向、频率特征图h^),"l,2,K，16-4,;(2) 用全局加强法合并16幅特征图，形成一幅初级视觉特征显著图w(/);4. 计算图像区域显著性；对于图像/(w)中的每个像素位置的每个满足条件H(jc-l,/卜H(sc,/)〉H(sc + l,/)的m(1) ^(0表示图像/0^)中以/=0^)点为中心，以"为半径的图像区域对应 的初级视觉特征显著性；(2) 根据局部熵H—,/卜统计不相似性度量w^,/)和初级视觉特征显著性W'(w)，计算图像显著性度量标准SA(^) SA(sc，/) = H(^,/)x&/( 7,/)x W'(/) ( 9 )(3) 以点"(w)为中心，以尺度^为半径的图像区域的显著值定义为= (10)5. 提取自底向上的注意信息；G)对于图像/(w)中的每个像素位置"(w)，比较不同尺度^下的显著值。用最大的显著值幼(sc,O ( SC = argmax (辟c,/)))作为以/ = (w)点为中心， 以sc为半径的图像区域对应的自底向上的注意信息；(2)图像/(x,"中所有的点对应区域的显著值M(SCJ)就构成了整幅图像的 自底向上的注意信息。 基于LOCEV算法的注意模型；通过L0CEV算法，得到了图像中以每个象素点为中心的大小不同的区 域的显著性信息。视觉显著区域是按照显著性由强到弱的顺序排列的一组 图像区域。所以，为了获取原始图像中的视觉显著区域，先按照显著值刮^) 的大小将所有区域进行排序。然后，确定显著值最大的区域为第一个当前 显著区域。其它的区域都是显著区域转移的潜在目标。在显著区域转移之 前，计算其它所有图像区域与当前显著区域中心点之间的距离<formula>formula see original document page 18</formula>(ID其中，^(W。)为当前显著区域的中心点位置，/,+,^为其它任一区域的中 心点位置。^和S^分别表示这两个区域的半径，如果<formula>formula see original document page 18</formula> (12)就从显著区域转移的潜在目标集合中去掉该区域。这是因为满足不等式 (12)的以~=^,力)为中心的区域会完全落在当前显著区域中。剩余的所有 的潜在显著区域都试图将注视区吸引到它自己所在的位置。根据胜者为王 (winner-take-all)的竞争机制，这种吸引效果是相互抑制的，具有最强吸 引力的目标将成为下一个显著区域。考虑到人眼注视焦点移动的两个特点 第一，距离优先(proximity)，人眼倾向于优先选择与当前显著区域距离近的 显著区域；第二，禁止返回(inhibition of return),焦点转移时抑制返回已被 选择过的显著区域。在显著区域转移时要综合考虑显著性、距离优先性和 禁止返回的影响，计算潜在显著区域的吸引力。有关吸引力的详细定义可 以参考本发明作者的另一篇论文。这个过程将会循环进行，在每次显著区 域转移的过程中，潜在显著区域的吸引力随着当前显著区域的不同需要重 新计算。如此多次循环，就可以得到原始图像中一系列显著区域。实验结果及分析；实验环境是PentiumlV2.4GHz CPU， 256M内存的计算机，测试图像包括室内、室外场景中各种类型的真实图像。实验中训练图像的大小从65x65到512x5i2不等，灰度级为0 255。为了验证上述算法的有效性，将LOCEV算法 应用到下面几类视觉应用中。图4中的测试图像来自Karl-Wilhdm-Strafie交通序列图。其中，图4 (a)和4 (b)是视频中的两帧，大小均为384x384 。图4 (c)是图4 (a)经过0.5倍采样得到的，大小为i92xi92。在实验中，对 于图4(a)和4(b),参数 m"o， 、=3o。对于图4(c)，参数 =5， Mmax = i5。 实验结果给出了每幅图像中显著性最高的前20个图像区域。图4 (b)与图4 (a)相比，场景没有发生变化，不同之处是图像中的几辆汽车发生了程度 不同平移和旋转。图4 (c)与图4 (a)相比，不同之处是图像尺度縮小了一 半。可以看出，三幅图像中的显著区域之间有很强的对应性。这些实验结 果可以证明LOCEV算法具有旋转、平移和比例縮放不变性。这是因为，首 先，LOCEV算法将尺度和位置都当作变量，这样，即使图像中的目标发生 平移或比例縮放，该算法也会在新的位置或尺度下对它的显著性进行度量。 其次，LOCEV算法在定义显著性标准时用圆形的采样窗获取图像的局部信 息，而图像或目标的旋转不会改变这些局部信息，从而使得算法具有了旋 转不变性。图像库DatabaseofCars and Faces in Context。该数据库由2500多 幅图像组成，从中选择50幅室外图像和50幅室内图像进行测试。实验中测 试图像的大小均为256x256 。图5 (al)和(a2)的两幅原始图像分别属于室 外图像和室内图像，图像中包含了建筑物、人、家具等多种类型的目标。 图5 (bl)和(b2)的两幅图像显示了由的注意模型获取的多个显著区域。在 实验中，第一幅图像的尺度参数的取值范围是4 20，第二幅图像的尺度参 数的取值范围是4 32。图5 (cl)和(c2)给出了对应的Itti算法的实验结果。从图5 (bl)和(b2)可以看出，LOCEV算法更倾向于发现那些具有各向同性 的显著区域，那些大的显著值对应的采样区域边缘通常就是有意义的图像 边缘。与Itti的实验结果相比，的显著区域的尺寸是变化的，而且由于引入 了区域中心点距离限制和注视焦点移动特性因子，的显著区域转移路线比 较规整，从而使得算法的检测结果更加符合人类视觉感知。在LOCEV算法 中，显著区域尺度大小的确定与区域显著性的计算同时进行，从而提高了 计算效率。
权利要求
1.一种自底向上的注意信息提取方法，自底向上的注意信息由图像中每个点对应区域的显著性构成，区域的尺度自适应于局部特征的复杂度，综合考虑了三方面特性来定义显著性根据特征空间中的不可预测性来衡量特征的复杂度；在尺度空间中衡量特征的统计不相似特性；同时考虑特征空间和尺度空间，衡量特征的一些初级视觉特性；其特征是包含以下步骤；有计算局部复杂度显著性的步骤；有计算统计不相似显著性的步骤；有计算初级视觉特征显著性的步骤；有计算图像区域显著性的步骤；有提取自底向上的注意信息的步骤。
2. 根据权利要求l所述的一种自底向上的注意信息提取方法，其特征是包 含以下步骤；步骤1.计算局部复杂度显著性；对于图像/(w)中的每个像素位置/ = (^)的每个尺度^ ， m q"k皿(1) /(w)表示图像/(w)中以"(w)点为中心，以^为半径的图像区域对应的 亮度信息；(2) 用亮度直方图估计/'(w)的局部概率密度函数疯w) U吵,/)表示在/(w) 对应图像区域内，亮度信息取值为&的概率)；(3 )根据局部概率密度函数;Hb")计算局部熵h(w)的值；H (sc, 0 = - Z P('e， "， Z) log2 sc, 0步骤2.计算统计不相似显著性；对于每个满足条件H^ — U)<H(^)>H— + U)的^ ，根据熵H^，/)计算统计不相似性度量辟c，/)<formula>formula see original document page 3</formula>步骤3.计算初级视觉特征显著性；(1) 用4个朝向、4个频率的Gabor滤波器对图像/(x,"滤波(岭,力表示Gabor滤波器)<formula>formula see original document page 3</formula>形成16幅朝向、频率特征图b"力,"l,2,K,^4x4);(2) 用全局加强法合并16幅特征图，形成一幅初级视觉特征显著图w卩)； 步骤4.计算图像区域显著性；对于图像/(W)中的每个像素位置"(W)的每个满足条件H(H小叫c小H—+的w(1) W(0表示图像/(w)中以/";c,力点为中心，以w为半径的图像区域对应的初级视觉特征显著性；(2) 根据局部熵H^，/)、统计不相似性度量w(W)和初级视觉特征显著性W'0c,力，计算图像显著性度量标准SA(W) SA( ;,/) = H( ;,/) x S+J) x F/'(/)(3) 以点"(w)为中心，以尺度^为半径的图像区域的显著值定义为步骤5.提取自底向上的注意信息； (1)对于图像/(w)中的每个像素位置"(w)，比较不同尺度"下的显著值。用最大的显著值SS(SC,O (SC = argmax(SS(K,/)))作为以/ = (^，力点为中心，以SC为半径的图像区域对应的自底向上的注意信息；(2)图像/(w)中所有的点对应区域的显著值刮SC,/)就构成了整幅图像的 自底向上的注意信息。
3.根据权利要求1或2所述的一种自底向上的注意信息提取方法，其特征是:基于图像的局部信息，并采用圆形采样窗； 将图像中像素点的位置当作变量；用区域的显著性代替点的显著性，通过在尺度空间中衡量特征的统计不相 似特性。
4.根据权利要求l或2所述的一种自底向上的注意信息提取方法，其特征 是显著区域的尺度根据区域的局部复杂程度自适应地变化，而且尺度大小的 确定与区域显著性的计算同时进行，通过对区域的初级视觉特征显著性度量， 将图像的形态特性引入了注意信息中。
5.根据权利要求1或2所述的一种自底向上的注意信息提取方法，其特征 是在定义显著性时，同时考虑了特征空间和尺度空间，得到的显著区域在两个空间中同时具有最高的显著性。
全文摘要
一种借鉴心理学中有关视觉注意的研究成果，提出了一种自底向上的注意信息提取方法。自底向上的注意信息由图像中每个点对应区域的显著性构成，区域的尺度自适应于局部特征的复杂度。新的显著性度量标准综合考虑了局部复杂度、统计不相似和初级视觉特征这三个方面的特性。显著区域在特征空间和尺度空间中同时显著。获取的自底向上的注意信息具有旋转、平移、比例缩放不变性和一定的抗噪能力。基于这种算法开发出了一个注意模型，将其应用于多幅自然图像的实验证明了算法的有效性。
文档编号A61B5/16GK101334834SQ20071011816
公开日2008年12月31日 申请日期2007年6月29日 优先权日2007年6月29日
发明者娟 田, 罗四维 申请人:北京交通大学