一种基于区域候选样本选择的显著性检测方法与流程

本发明属于人工智能技术领域，涉及到计算机视觉，特别涉及到一种图像显著性检测方法。

背景技术：

随着科技的发展，人们接收到的图像、视频等信息呈现爆炸式的增长。如何快速有效的处理图像数据成为摆在人们面前的一道亟待解决的难题。通常，人们只关注图像中吸引人眼注意的较为显著区域，即前景区域或显著目标，同时忽视背景区域。因此，人们利用计算机模拟人类视觉系统进行显著性检测。目前，显著性的研究可以广泛应用到计算机视觉的各个领域，包括图像检索、图像压缩、目标识别和图像分割等。

在显著性检测中，如何精准的从图像中将显著目标检测出来是一个非常重要的问题。传统的显著性检测方法存在很多不足，尤其面对比较复杂的多目标图像或者显著目标与背景之间很相似的情况时，检测的结果往往不准确。

技术实现要素：

本发明要解决的技术问题是：弥补上述现有方法的不足，提出一种新的图像显著性检测方法，使得检测的结果更加准确。

本发明的技术方案：

一种基于区域样本选择的显著性检测方法，步骤如下：

(1)提取待处理图像对应的区域候选样本以及区域候选样本的深度特征；

(2)采用由粗到细的选择机制处理区域候选样本，首先根据多个先验知识定义用于评价区域候选样本目标性和显著性的评价指标，具体的定义如下：

区域候选样本对应的目标区域中心周围对比度(cs)：其中，aij表示超像素i和j之间的相似度，nf和ns分别表示区域候选样本的目标区域和对应的周围背景区域中所包含的超像素的数量；

区域候选样本对应的目标区域内部相似度(hg)：

区域候选样本对应的目标区域全局边界一致性(ge)：其中，和λ为常数，e和p分别表示待处理图像边缘轮廓先验图和区域候选样本的边缘轮廓像素集，函数|*|计算给定集合中所包含样本的数量；

区域候选样本对应的目标区域局部边界一致性(le)：其中，表示超像素i中位于区域候选样本前景区域中的像素个数，ni表示超像素i包含的所有像素个数。δ(i)是一个指示函数，用来判断超像素是否包含不同区域的像素，ρ²为常数。

区域候选样本对应的目标区域位置先验(lc)：其中，和cp和ce分别表示区域候选样本和待处理图像边缘轮廓先验图的重心，npb表示区域候选样本的目标区域占据待处理图像边界的像素数量。

根据定义上述的评价指标，对区域候选样本分两个阶段进行排序；

在第一阶段，首先将目标区域大小占图像面积低于3％或者超过85％的区域候选样本去除，然后用上述五个评价指标评价余下的区域候选样本，保留排序分数最大的前40％的区域候选样本进行多尺度聚类；叠加每个聚类中心的所有区域候选样本，采用自适应的阈值二值化叠加的结果，为每个聚类中心产生一个代表样本；

最后再次采用上述五个评价指标评价每个聚类中心的代表样本，输出排序分数最高的样本作为伪真值，用于第二阶段处理；

在第二阶段，根据第一阶段得到的伪真值，在整个图像库中计算区域候选样本与它们伪真值之间的fmeasure值，选择值最大的前三个作为正样本，值最小的后三个作为负样本，然后训练一个分类器wp，通过分类器按照的方式对区域候选样本重新评价，其中xi和fi(x)分别表示第i个区域候选样本的特征和排序分数；加权叠加排序分数最大的前16个区域候选样本并归一化得到显著图sp；

(3)步骤(2)得到的显著图sp不能完整的突出显著目标，因此采用超像素进一步优化检测结果。在单幅图像中，显著图sp中显著值大于0.8的超像素选为正样本，小于0.05的超像素作为负样本，训练一个与步骤(2)中同类型和参数的分类器ws；同时将待处理图像过分割成不同尺度的超像素；根据得到的分类器ws，按照的方式重新为超像素赋予权值，其中si和fi(s)分别表示第i个超像素的特征和显著性值；在多个不同尺度下得到多个显著图最后通过公式融合得到优化后的显著图ss。

(4)显著图sp和ss彼此相互补充，按照的方式加权融合两个显著图，其中用于强调显著图ss；将s归一化之后得到最终的检测结果。

本发明提出的基于区域候选样本选择的显著性检测方法，在现有先验知识的基础上，通过引入深度特征和分类器并采用由粗到细的选择机制，评价区域候选样本的显著性和目标性，然后又利用超像素进一步优化检测结果，从而可以有效的检测图像中的显著目标。与传统方法相比，检测结果更加准确。特别是对于多目标或者目标与背景很相似的图像，本发明方法的检测结果更加符合人类的视觉感知，得到的显著图也更加准确。

附图说明

图1是本发明方法的基本流程图。

图2是本发明方法具体实施在多目标图像上的检测结果。

图3是本发明方法具体实施在目标与背景较为相似图像上的检测结果。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

本发明的构思是：结合现有的先验知识，通过定义用于评价区域候选样本目标性和显著性的评价指标，选择出最优的区域候选样本并用于显著目标检测。在检测过程中，除了传统的中心周围对比度、内部相似度、位置先验等先验知识外，还针对性的从全局和局部的角度评价区域候选样本的轮廓信息。为了更加准确的描述区域候选样本，我们还引入了深度特征，使得检测的结果更加符合人眼视觉感受。进一步的，本发明还引入结构化分类器，通过无监督学习的方式优化选择机制，使得选择出来的样本更具有显著性和目标性。更进一步地，利用超像素优化区域候选样本存在的不足，使得检测结果更加准确。

本发明具体实施如下：

(1)提取待处理图像对应的区域候选样本以及区域候选样本的深度特征；

(2)采用由粗到细的选择机制处理区域候选样本，首先根据多个先验知识定义用于评价区域候选样本目标性和显著性的评价指标，具体的定义如下：

区域候选样本对应的目标区域中心周围对比度(cs)：其中，aij表示超像素i和j之间的相似度，nf和ns分别表示区域候选样本的目标区域和对应的周围背景区域中所包含的超像素的数量；

区域候选样本对应的目标区域内部相似度(hg)：

区域候选样本对应的目标区域全局边界一致性(ge)：其中，和λ为常数，e和p分别表示待处理图像边缘轮廓先验图和区域候选样本的边缘轮廓像素集，函数|*|计算给定集合中所包含样本的数量；

区域候选样本对应的目标区域局部边界一致性(le)：其中，表示超像素i中位于区域候选样本前景区域中的像素个数，ni表示超像素i包含的所有像素个数。δ(i)是一个指示函数，用来判断超像素是否包含不同区域的像素，ρ²为常数。

区域候选样本对应的目标区域位置先验(lc)：其中，和cp和ce分别表示区域候选样本和待处理图像边缘轮廓先验图的重心，npb表示区域候选样本的目标区域占据待处理图像边界的像素数量。

根据定义上述的评价指标，对区域候选样本分两个阶段进行排序；

在第一阶段，首先将目标区域大小占图像面积低于3％或者超过85％的区域候选样本去除，然后用上述五个评价指标评价余下的区域候选样本，保留排序分数最大的前40％的区域候选样本进行多尺度聚类；聚类的个数分别为6、10和12；叠加每个聚类中心的所有区域候选样本，采用自适应的阈值二值化叠加的结果，为每个聚类中心产生一个代表样本；

最后再次采用上述五个评价指标评价每个聚类中心的代表样本，输出排序分数最高的样本作为伪真值，用于第二阶段处理；

在第二阶段，根据第一阶段得到的伪真值，在整个图像库中计算区域候选样本与它们伪真值之间的fmeasure值，每幅图像选择值最大的前三个作为正样本，值最小的后三个作为负样本，然后训练一个具有优化分类排序功能的分类器wp，通过分类器按照的方式对区域候选样本重新评价，其中xi和fi(x)分别表示第i个区域候选样本的特征和排序分数；加权叠加排序分数最大的前16个区域候选样本并归一化得到显著图sp；

(3)步骤(2)得到的显著图sp不能完整的突出显著目标，因此采用超像素进一步优化检测结果。在单幅图像中，显著图sp中显著值大于0.8的超像素选为正样本，小于0.05的超像素作为负样本，再次训练一个与步骤(2)中同类型和参数的分类器ws；同时将待处理图像过分割成不同尺度的超像素；根据得到的分类器ws，按照的方式重新为超像素赋予权值，其中si和fi(s)分别表示第i个超像素的特征和显著性值；在五个不同尺度下得到五个显著图最后通过公式融合得到优化后的显著图ss。

(4)显著图sp和ss彼此相互补充，按照的方式加权融合两个显著图，其中用于强调显著图ss；将s归一化之后得到最终的检测结果。