专利名称：基于人类视觉注意系统的图像感兴趣区域自动提取方法
技术领域：
本发明涉及提取图像感兴趣区域的方法，特别涉及通过模拟人类视觉注意系 统提取图像感兴趣区域的方法，用于图像分析和图像压缩技术领域。
背景技术：
随着计算机网络通信技术的快速发展，互联网提供信息服务，尤其是图像信 息，正在迅速发展。
图像信息的数据量庞大，如何有效地处理图像信息成为图像信息服务的研究 热点。对于人类视觉系统，图像所提供的信息并非处处同等重要。图像的某些区 域提供了人们理解图像所需的主要内容，称之为感兴趣区域；而另外一些区域仅 提供一些次要的背景内容。寻找出图像感兴趣区域，对图像分析、图像压縮等都 有重要的意义。
W. 0sberger 禾B A. J. Maeder在文章，，Automatic identification of perceptually important regions in the image" ， in Proc. Int， 1 Conf. Pattern Recognition, 1998， pp. 17-20中，提出一种基于人类视觉注意系统提 取感兴趣区域的方法。该方法以图像的分割为基础来分析图像特征因素，然后确 定感兴趣区域。因此该方法的成败取决于分割算法。Itti Laurent等人在文 章"A model of saliency-based visual attention for rapid scene analysis": IEEE Trans. Pattern Analysis and Machine Intelligence,vol.20， no.11， pp 1254-1259， 1998中，提出一种通过分析每个像素点的颜色、方向和亮度这三个 特征因素提取感兴趣区域的方法。该方法易于分析和实现，且能准确的定位出感 兴趣区域的大致位置。由于该方法中采用高斯金字塔模型来分析图像的特征，这 是一种下采样的算法，因此操作中无法避免的会失去图像的一些具体信息，如边 缘信息等。C. M. Priviter和L. W. Stark在文章"Algorithms for defining visual region-of-interesting: Comparison with eye fixations" ， IEEE Trans. Pattern Anal. Machine Intell. vol. 22' no.9， pp. 970-982， 2000
4中，提出了基于图像单个特征，运用分割算法直接从图像中提取感兴趣区域。这 种方法操作简单，易于实现。对于简单的图像，能有效提取出其感兴趣区域；但 对于具有复杂背景的图像，该方法效果比较差。SooYeong Kwak等在文 章，，Automatic salient-object extraction using the contrast map and salient point" ， in Advances in Multimedia Information Processing - PCM 2004. vol. 3332 of LNCS， pp. 138-145， Springer Berlin.以及K. B. Chul 等在文章"Automatic object-of-interest segmentation from nature images ，， ， in PR0C. Int' 1 Conf Pattern Recognition, 2006, pp.45-48中，提出的应用关注窗口检测显著目标的方法。这些方法 由于都是采用Itti的模型来建立显著图，因此在操作过程中也会丢失 边缘等细节信息，而且当图像中同时出现多个目标时，应用关注窗口 法检测多个显著目标会失效。
发明内容
本发明的目的在于克服上述已有技术中存在的缺陷和不足，提 供一种操作简单的基于人类视觉注意系统的图像感兴趣区域自动提 取方法，以有效提取具有复杂背景的图像的感兴趣区域，以及图像中 出现的多个目标物体。
为实现上述目的，本发明模拟人类视觉注意系统，分析图像中 影响人类视觉系统的低级因素和高级因素，本发明主要分析影响视觉 系统的局部亮度对比度、全局亮度对比度和边缘这三个低级因素建立 的对比度图，以及位置这个高级因素建立的权重图，结合对比度图和
权重图建立显著图，实现步骤如下
(1) 分别计算输入图像每个像素点的局部亮度对比度、全局亮 度对比度和边缘这三个低级特征因素；
(2) 应用全局非线性归一化合并算法融合输入图像的局部亮度 对比度、全局亮度对比度和边缘这三个低级特征因素，生成对比度(3) 根据输入图像每个像素点在图像中的位置计算该像素点在 图像中的权重，得到输入图像对应的权重(4) 由所述的对比度图和权重图，生成输入图像的显著5(5)根据显著图的指示确定输入图像的感兴趣区域。 所述的计算局部亮度对比度，是计算出每个像素点与其周边局 部范围内的亮度差，计算步骤如下
(2a)采用高斯函数对输入图像做平滑处理
/0,) = /(8)(70,) I为输入图像的原图，G(力为高斯函数，/(a,)为平滑处理
其中，
后的图像；
(2b)
值
用高斯差函数计算像素与其周边小领域内的绝对亮度差
<formula>formula see original document page 6</formula>其中O",的值决定中心像素点与周边小领域内像素点的关联度， 这里设巧=1， /Oc,y,q)为经过第一方差。高斯函数平滑处理后图像的 像素点，/";;,2)为经过第二方差(72高斯函数平滑处理后图像的像素 点，DoG(x,;;,q,c72)为局部亮度对比度值；
(2c)取两个不同的0"2值，分别得到两幅亮度差值图Z)oGl和
Z)oG2，通过全局非线性归一化融合方法对这两幅图像进行合并，得 到局部亮度对比度图。
所述的根据输入图像每个像素点在图像中的位置计算该像素点 在图像中的权重，利用如下公式进行计算
<formula>formula see original document page 6</formula>
其中'center，为图像中心丄x丄区域，r为点(x,力到输入图像中
<formula>formula see original document page 6</formula>
心区域的距离，R是输入图像边缘到其中心的距离。 本发明具有如下优点-
1)本发明由于采用模拟人类视觉系统的方法，根据图像中影响人类视觉体系关注的多个因素分析输入图像，提取人眼感兴趣区域， 所以能准确提取输入图像感兴趣区域。
2) 本发明基于输入图像的每个像素点做运算，所以设计过程简 单，易于实现。
3) 本发明由于分析输入图像每个像素点的局部亮度对比度、全
局亮度对比度和边缘这三个特征，所以能提取出物体的边缘信息。
4) 本发明由于采用根据显著图的指示寻找感兴趣区域，因而能 同时提取多个感兴趣区域。
具体实施例方式
参照图l，本发明的具体实现步骤如下
步骤l,分别计算输入图像每个像素点的局部亮度对比度、全局 亮度对比度和边缘这三个低级特征因素。
(la)计算局部亮度对比度 高斯差(Differential of Gaussian)函数能有效地表示中心像素点 与其周围领域像素间的差别，所以采用高斯差函数来计算局部区域内 的亮度对比度。
参照图2，本发明中局部亮度对比度的计算如下 首先，采用高斯函数对输入图像做平滑处理-
/(cr,W②G(cr,)
其中，I为输入图像的原图，G(cr)为高斯函数，/(a,)为平滑处理
后的图像，②为巻积符号；
其次，采用高斯差函数计算像素与其周边小领域内的绝对亮度差 值，当A值从小变大时，图像被平滑处理的越模糊，同时每个中心像
素点也包含了更多的周围像素点的信息，当取不同的巧值时，高斯差 函数为
"oG(x, >>; ， cr2) = |/(x, _y; cr,) - /(x， <r2 )| ( A)
其中/(x,少，q)为经过第一方差cr,所对应的高斯巻积核Gl平滑处理后图像的像素点，/(x,乂^)为经过第二方差^高斯函数平滑处理后图 像的像素点，这里我们设O",l，且^-0"2,/)^(;^,0"1,(72)为高斯差函数 在(X,力处的值;
然后，利用高斯差函数检测图像中目标物体时，其效果与q的 取值以及目标物体的尺寸大小相关，对于尺寸小的目标物体，取其相 应小的 值，局部对比度检测效果较好；而对于尺寸大的目标物体，
取其大的0"2值，局部对比度检测效果较好；在没有任何关于图像中
目标物体先验知识的情况下，取其最小的C7;值及其最大的0^值得到 两个高斯巻积核G21和G22，根据式(A)得到两幅亮度差值图DoGl和
最后，用非线性归 一 化合并法融合这两幅亮度差值图"oGl和 Z oG2，得到局部对比度。
(lb)计算全局亮度对比度
当一幅图中某个区域的亮度在整幅图中凸出时，势必吸引观察者 的注意力，全局亮度对比度表示每个像素点与全图在亮度上的对比， 计算公式如下
<formula>formula see original document page 8</formula>
其中^(x,力是以点(x,力为中心的7x7领域的平均灰度值，k是
全图的平均灰度值。
(lc)计算边缘区域
边缘区域是图像中人类视觉系统非常敏感的区域，通常采用 canny算子提取图像的边缘特征，阈值设为0.5。
步骤2，建立输入图像的对比度图。
建立输入图像的对比度图是通过全局非线性归一化合并算法进 行，该算法能全局提升那些仅有少数峰值的特征图，全局压制那些在 整幅图像中有很多地方都存在相似大小峰值的特征图，其具体步骤如下
(2a)将由步骤(la)、 (lb)和(lc)计算得到的局部亮度对比 度图、全局亮度对比度图和边缘图归一化到同一个动态范围(0-1); (2b)分别寻找这三幅图的全局最大值M，并计算所有局部最大
值的平均值^;
(2c)分别对这三幅图全局相应放大(M-M)M咅，得到三幅归一 化后的(2d)将归一化后的三幅图相加得到亮度对比度图。 步骤3，建立输入图像的权重图。
人类视觉系统更加关注输入图像的中心区域，所以输入图像的中 区域像素点权值大，而其边缘区域的像素点权值小，具体计算公式
心 如
下
<formula>formula see original document page 9</formula>
其中'
域的距 步骤4
根据上 像对应
2center'为图像中心丄x丄区域，r为点(x,力到输入图像中
4 4
离，R是边缘到输入图像中心的距离。
建立输入图像的显著图。 述步骤2和步骤3所得输入图像的对比度图和权重图，建 立图像对应的显著图为
<formula>formula see original document page 9</formula>
其中，CM为输入图像的对比度图，『w为输入图像的权重图。
该显著图中每个点的亮度值代表其对应图像像素点的敏感度，显 著图中某点的亮度值越大，表示该点在原图中的显著性越高，吸引视 觉系统更多的注意力。
步骤5，提取输入图像的感兴趣区域。 (5a)根据显著图亮度高的地方吸引视觉系统更多的关注的特点，设定阈值提取出显著图中亮度值高的区域-
L 0 e/se (B)
其中，i (9/为输入图像二值化后的图，1代表有效区域，0代表 无效区域；T为分割阈值，这里我们设T值为SM图中最大值的一半。 (5b)根据式(B)得到一幅二值图，对该二值图作形态学处理， 以去除一些因噪声而造成的干扰小区域，经过处理后的二值图中其值 为1的区域即为感兴趣区域。
权利要求
1. 一种基于人类视觉注意系统的图像感兴趣区域自动提取方法，包括如下步骤(1)分别计算输入图像每个像素点的局部亮度对比度、全局亮度对比度和边缘这三个低级特征因素；(2)应用全局非线性归一化合并算法融合输入图像的局部亮度对比度、全局亮度对比度和边缘这三个低级特征因素，生成对比度图；(3)根据输入图像每个像素点在图像中的位置计算该像素点在图像中的权重，得到输入图像对应的权重图；(4)由所述的对比度图和权重图，生成输入图像的显著图；(5)根据显著图的指示确定输入图像的感兴趣区域。
2. 如权利要求1所述的方法，其步骤(1)所述的计算局部亮 度对比度，是计算出每个像素点与其周边局部范围内的亮度差，计算 步骤如下(2a)采用高斯函数对输入图像做平滑处理其中，/为输入图像的原图，GO,)为高斯函数，/(巧)为平滑处理 后的图像；(2b)用高斯差函数计算像素与其周边小领域内的绝对亮度差值DoG(x, y, 。, cr2) = _y, CTj) - /(x, _y, cr2 )| 其中A的值决定中心像素点与周边小领域内像素点的关联度， 这里设q =1，/(X,乂q)为经过第一方差q高斯函数平滑处理后图像的像素点，/Oc,乂q)为经过第二方差^高斯函数平滑处理后图像的像素点， Z3oG(;c,乂(T,0"2)为局部亮度对比度值；(2c)取两个不同的0"2值，分别得到两幅亮度差值图Z)oGl和Z)oG2，通过全局非线性归一化融合方法对这两幅图像进行合并，得 到局部亮度对比度图。
3.如权利要求1所述方法，其中步骤(3)所述的根据输入图像 每个像素点在图像中的位置计算该像素点在图像中的权重，利用如下 公式进行计算-<formula>formula see original document page 3</formula>其中(center'为图像中心丄x丄区域，r为点(x，力到输入图像中 心区域的距离，R是输入图像边缘到其中心的距离。
全文摘要
本发明公开了一种基于人类视觉注意系统的图像感兴趣区域自动提取的方法，主要解决现有的提取感兴趣区域方法不能提取多个感兴趣区域和边缘信息的问题。其步骤是先计算输入图像的局部亮度对比度、全局亮度对比度和边缘；再通过全局非线性归一化合并算法融合这三个特征对应的特征图生成对比度图；然后计算输入图像的位置特征建立权重图；由对比度图和权重图来建立输入图像对应的显著图；最后根据显著图来分割出输入图像的感兴趣区域。本发明可有效提取输入图像中多个感兴趣区域，用于图像分析和图像压缩技术领域。
文档编号G06T7/00GK101533512SQ20091002219
公开日2009年9月16日 申请日期2009年4月24日 优先权日2009年4月24日
发明者焱 刘, 吴金建, 石光明, 飞 齐 申请人:西安电子科技大学