一种基于层次化稀疏建模的图像显著性检测方法

一种基于层次化稀疏建模的图像显著性检测方法
【专利摘要】本发明公开了一种基于层次化稀疏建模的图像显著性检测方法，主要解决在计算机视觉领域内通过模拟灵长类动物的视觉注意机制，在复杂场景中迅速定位感兴趣区域以进行快速场景分析的问题，其主要步骤包括：(1)构造基于颜色和方向信息的多尺度特征图；(2)创建基于逐层自表示建模的颜色显著图；(3)形成基于多尺度信息融合的显著图；(4)提取基于Otsu最优阈值分割的显著物体。本发明具有较高的检测率和较低的虚警率，并取得了较经典显著检测方法更优的性能，可以用于图像分割等领域。
【专利说明】-种基于层次化稀疏建模的图像显著性检测方法

【技术领域】
[0001] 本发明属于计算机视觉研究领域，具体是一种基于层次化稀疏建模的图像显著性 检测方法，可用于模拟灵长类动物的视觉注意机制，对场景的显著区域进行提取和分析。

【背景技术】
[0002] 灵长类动物在有限的神经元处理速度下可以对复杂场景实现实时高效的解译，归 因于它们所特有的视觉注意机制。Itti等人的视觉注意理论将视觉注意模型分为两个阶 段：快速的、潜意识的、自底向上的、数据驱动的显著性提取；以及慢速的、基于任务的、自 顶向下的、目标驱动的显著性提取。本发明受生物视觉注意机制中层次化感知特点的启发， 通过逐层稀疏建模的方式建立起视觉显著性的计算框架。在计算机视觉领域，显著图可以 对感兴趣物体的提取、目标识别、自适应压缩和图像检索等应用提供支持，具有重要的意 义。
[0003] 目前，显著性检测可大致分为3个研究方向，即基于人眼跟踪的聚焦点预测、显著 物体提取和显著物体估计。人眼聚焦模型旨在预测人在观察场景时所关注的特定点，显著 物体检测旨在从场景中发现感兴趣物体并且将其从整个内容中分割出来，显著物体估计旨 在用一小组边界盒来定位出显著物体的区域，以提高传统滑动窗口的在物体定位上的效 率。显著物体提取的现有方法可以被大致分为基于生物启发的、基于纯计算的和两者结合 的。多数的方法一般都通过比较图像区域和它们周围区域在亮度、颜色和方向上的相对差 异来进行显著性的度量。
[0004] 生物启发的显著性检测方法中最具代表性的是1998年Itti等人所提出的模型。 Itti的显著检测方法基于Koch等人提出的用特征集成理论来解释人类视觉搜索策略的生 物结构模型。视觉输入被分为亮度通道、红绿和蓝黄颜色通道、Gabor方向通道，不同的空间 位置在每幅图中竞争显著性使得只有与局部相比突出的位置可以被保持。所有通道上得到 的特征图依据自底向上的方式来融合成最终的显著图。这种模型用动态高斯金字塔来产生 9个尺度的图像，通过线性的中心周围差异操作来模拟视觉接收场的特性，并提出了符合视 觉皮层的显著图归一化方法，得到了较为理想的结果。
[0005] 纯计算的显著性检测方法没有太多生物视觉原理上的支持，但大多都有坚实的理 论框架支持，其中以Hou等人在2007年所提出的基于谱残差和2012年基于图像符号的谱 理论最具代表性。谱残差从信息论的观点出发将图像分为Innovation和Prior Knowledge 两部分，并结合自然图像在log-log尺度上所呈现出的线性特性，认为显著性部分是平滑 的log-log曲线以外的部分。借助于对图像谱域的平滑结果来逼近Prior Knowledge的谱， 最终的显著部分的谱是原图的谱和Prior Knowledge的谱之差，并取残差谱的傅里叶逆变 换来得到最终的显著图。这种方法计算得到的为低分辨的显著图，并且倾向于突出图像中 的边缘部分。给定一幅输入图像I (X)，其计算过程如下。
[0006]

【权利要求】
1. 一种基于层次化稀疏建模的图像显著性检测方法，其特征在于：包括如下步骤： (1) 基于颜色和方向信息的多尺度特征图构造： la) 将一幅输入图像在水平方向和垂直方向上隔行隔列采样，形成大小为原图1/2的 低分辨率图像，对此低分辨率图像继续进行下采样，得到大小为原图1/4的更低分辨率的 图像，将原图和这两幅降采样后的图像作为3个尺度上的输入图像； lb) 对于3个尺度上的输入图像，将红绿蓝三个彩色通道作为颜色特征图的元素，用于 稀疏建模的特征，对于每一个尺度上输入图像的亮度图，使用Gabor滤波器在0, 45, 90和 135度四个方向上对其进行方向滤波得到描述图像方向信息的四幅方向滤波图，作为后续 方向显著图的基础； (2) 基于逐层自表示建模的颜色显著图创建： 2a)将3个尺度上输入图像的颜色特征图按照16*16的分块大小无重叠地分为大小相 同的子块，每一个子块作为显著性描述的基本单元； 2b)按照自表示模型的数据组织形式，把每个子块的所有颜色特征组合起来并形成一 个代表子块结构特性的特征向量，所有子块的特征向量依次排列成为一个大的矩阵作为自 表示模型中的原始数据矩阵Y ; 2c)将数据矩阵Y作为优化问题 min專 L+全 ||<-树以 lrC = lT 的输入，使用交替乘子方向ADMM优化算法求解此自表示模型的解，优化算法中对系数 矩阵C施加行稀疏的约束，以用尽量少的元素来表示所有数据；经过多次迭代之后便会得 到自表示模型的解；按照所提出的显著性和稀疏系数之间的求解公式得到每个子块在第一 层次的显著描述， eiiqi / = 1,2, I j=i 其中，Si表示第i个子块的显著值，Cu为系数矩阵中第i行j列的元素，V为子块的个 数； 2d)对于第1个尺度上的各子块，将其显著值和所有子块显著值均值的2倍做比较，如 果小于均值的2倍则认为此子块在第1个尺度上是非显著的，否则认为是显著的；在第2个 层次上丢弃那些被认为是非显著的子块，对每一个显著的子块进行进一步的自表示建模； 2e)将每个显著子块进一步分割为大小为8*8的更小的子块，并将对应的颜色特征组 织成自表示模型的数据矩阵，经过ADMM优化算法优化求解之后会得到进一步分割后的各 子块的稀疏系数； (3) 基于多尺度信息融合的显著图形成： 3a)经过以上步骤之后，在每个尺度上形成了两幅颜色显著图和四幅方向滤波图，将两 幅不同层次上得到的颜色显著图相加形成每个尺度上的颜色显著图，代表图像逐层递进的 颜色显著信息；同时将四幅方向滤波图也相加形成每个尺度上的方向显著图，代表每个尺 度上图像的边缘显著信息； 3b)将每个尺度上得到的颜色显著图和方向显著图进行归一化操作，使得两者具有相 同的描述范围，之后对以上结果相加形成每个尺度上融合后的显著图，用以表示特定尺度 上所得到的显著描述结果； 3c)最后将3个尺度上的显著图进行尺度上的统一，亦即将每一幅显著图调整到原始 图像的大小，通过对所有的结果按位置求平均便可以得到最终的显著图； (4)基于Otsu最优阈值分割的显著物体提取： 4a)将通过以上步骤所得显著图的灰度级范围调整在0到255的8位灰度级下，运用具 有二值分割效果的Otsu算法对其进行分割，得到前景和背景区域，前景区域为在此规则下 得到的显著区域，背景是非显著区域； 4b)根据分割后的索引图像，从原图中提取出前景部分的区域，将背景部分的区域设为 黑色，自此便完成了显著检测的所有阶段，之后用受试者运行曲线、正确率召回率曲线和平 均正确率、召回率及F-measure值常用数字评价指标对所得显著图的好坏进行客观评价， 并和经典的显著检测算法进行比较验证其有效性。
2.如权利要求1所述的一种基于层次化稀疏建模的图像显著性检测方法，其特征在 于：步骤（2)中的2d)步骤所述的对每一个显著的子块进行进一步的自表示建模，其具体方 法如下： 将显著值大于平均值Th倍的子块保留用作下一层的自表示建模，并舍弃其余子块，按 照如下的准则进行子块的取舍： if -%->Th label. ιΔΣ? i-i else 13-be 1 ^ - 0 其中，Th为预设的阈值，将其设定为2, labeli表示第i个子块是否被保留，如果为1则 表明保留，并进行下一层的自表示建模，为〇则表示舍弃此子块。
【文档编号】G06T7/00GK104240256SQ201410499111
【公开日】2014年12月24日 申请日期:2014年9月25日 优先权日:2014年9月25日
【发明者】杨淑媛, 焦李成, 王士刚, 张凯, 侯彪, 刘红英, 马晶晶, 马文萍, 熊涛, 刘赵强 申请人:西安电子科技大学