一种基于条件随机场的显著性检测方法
【专利摘要】本发明公开了一种基于条件随机场的显著性检测方法，主要将显著性检测看做一个图像标注问题，运用多尺度对比，中央—周围直方图和颜色空间分布这三种不同的显著度计算得到显著特征图。通过CRF学习计算各个显著特征图的显著度的权重，采用最大似然估计方法获取模型参数估计得到最优解。最后利用CRF检测测试图像。本发明提供的方法能够更加精确地检测显著目标，检测得到的结果分辨率高，目标边界定义精准，方法计算复杂度小。
【专利说明】一种基于条件随机场的显著性检测方法
【技术领域】
[0001]本发明属于图像处理和图像目标检测领域，特别涉及一种基于条件随机场的显著性检测方法。
【背景技术】
[0002]视觉是人类最重要的感知觉，人脑所能接受的外界信息90%以上源于人眼的视觉感知。视觉的主要功能就是解释人们生活的周围环境，并与其发生信息交互，信息技术的迅速发展促使各种图像信息日益膨胀，人们不得不借助计算机系统来处理和分析这些海量数据。但值得注意的是:一方面，图像数据的增加速度远比计算机处理能力的提高速度要快；另一方面，人们所关心的内容通常只是整个数据集合中很小的一部分。为此，一视同仁全面处理所有图像数据是不现实的，也是不必要的。如何尽快地从整个数据集中找到并提取与任务相关的那部分重要的、有用的和值得关注的信息，即视觉显著性检测问题，一直就是机器视觉和信息处理研究中长期面临的重要难题。以视觉注意为代表的图像显著性区域检测技术成为提高海量数据筛选实时性和分析准确性的重要技术途径之一。显著性检测是图像处理中一个重要内容，有着广泛的应用，如基于显著性的图像分割，图像检索，图像自动裁剪以及图像视屏压缩等。
[0003]显著性检测的本质是一种视觉注意模型，这种模型是依据视觉注意机制而建立的模型，它能够对有限的信息加工资源进行分配，使感知具备选择能力。利用视觉注意机制得到图像中最容易引起注意的显著部分，并用一幅灰度图像表示其显著度。视觉心理学研究发现，人类视觉注意可分为两种类型:自底向上的数据驱动模式和自顶向下的任务驱动模式。自底向上是在视觉处理初期，不受经验和目前任务的影响，人类对场景存在特殊关注区域即显著性区域。自顶向下是视觉处理后期，人类依据自身的经验和任务选择关注的目标，对目标进行认识。
[0004]条件随机场(下文简称:CRF)是一种判别式模型。简单地讲随机场可以看成是一组随机变量的集合，当给每一个位置按照某种分布随机赋予一个值之后，其全体就叫做随机场。与生成式隐马尔科夫模型(下文简称:HMM)相比，CRF可以选择上下文相关特征，不存在标记偏置问题。CRF是一个无向图模型，该模型是在给定需要标记的观察序列的条件下，计算整个标记序列的联合概率。CRF模型主要有三个基本任务:1.特征函数的选择，这直接关系到模型性能。2.参数评估，从已经标记号的训练数据学习CRF模型的参数，即各个特征函数的权重向量。3.模型推断，在给定条件随机场模型参数下，预测出最可能的状态序列。
[0005]早期的图像显著性算法其主要缺点在于分辨率低，目标边界定义差，计算复杂度闻。
【发明内容】
[0006]发明目的:针对现有技术存在的问题，本发明提供了一种分辨率高、计算复杂度高的条件随机场的显著性检测方法。
[0007]
【发明内容】
:本发明提供了一种基于条件随机场的显著性检测方法，包括如下步骤:
[0008]步骤10:采集图像数据；
[0009]步骤20，对步骤10得到的图像用三种不同的方法进行显著性特征提取，得到与三种不同的显著性特征函数对应的显著性特征图；
[0010]步骤30:采用条件随机场模型的机器学习法对步骤10中采集的图像进行训练，并获得步骤20中得到的每个显著性特征图的最优权重；
[0011]步骤40:对步骤20得到的三种不同的显著性特征函数用分配函数Z进行归一化处理；
[0012]步骤50:建立条件随机场模型，对步骤40得到的三个归一化显著性特征函数用条件随机场模型进行组合；
[0013]步骤60:用最大似然准则对步骤50获得的组合求得最优解，得到最优化的线性组合；
[0014]步骤70:将步骤60计算得到的显著性像素用一个最小的矩形框，其中最小的矩形框至少框出95%以上的显著性像素，得到最终的结果。
[0015]进一步，所述步骤20中，所述三种进行特征提取的方法分别为:多尺度对比法、中央周围直方图法和颜色空间分布法；
[0016]其中，所述多尺度对比法，包括以下步骤:
[0017]步骤211，对步骤10中采集到的图像基于高斯模糊之后向下采样，得到不同分辨率的图像；
[0018]步骤212，将步骤211得到的六层高斯金字塔图像中每层对比度线性组合得到多尺度对比特征函数与其对应的显著性特征图；
[0019]所述中央周围直方图法，包括以下步骤:
[0020]步骤221:用多个不同长宽比例的矩形区域R标出步骤10得到的图像中的显著物体，在多个矩形区域R的周围构造多个对应的面积相等的周围矩形区域Rs ；
[0021]步骤222:在步骤221获得的图像上计算每个以像素点X为中心的显著矩形区域R与周围矩形区域Rs在RGB颜色直方图之间的X2距离；
[0022]步骤223:比较每个不同长宽比例的矩形区域R与周围矩形区域Rs在RGB颜色直方图之间的X2距离，现在X2距离最大的矩形区域R为最优的矩形区域R*(X)；
[0023]步骤224:以相邻像素V为中心的中央-周围直方图特征函数定义为步骤221中所有以相邻像素V为中心的最优周围矩形区域RsW )的高斯加权X2距离之和；
[0024]所述颜色空间分布法，包括以下步骤:
[0025]步骤231:对步骤10得到的图像中的所有颜色用高斯混合模型表示；
[0026]步骤232:利用步骤231中模型的参数计算计算每个像素被分配给一种颜色成分的条件概率；
[0027]步骤233:对步骤232中每一个颜色成分计算对应的水平方差和垂直方差，得到对应成分的空间方差；
[0028]步骤234:颜色空间分布特征函数定义为步骤433得到的空间方差中央加权之和。
[0029]进一步，步骤50中，所述用条件随机场模型组合显著性特征过程如下:
[0030]步骤501，对步骤40得到的三个归一化显著性特征，分别计算一元势函数Fk (ax, I), Fk (ax, I)表示第k个显著特征；
[0031]步骤502，对步骤40得到的三个归一化显著性特征，分别计算二元势函数S(ax，ax，，I)配对特征，其中，二元势函数S(ax，ax，，I)表示对相邻像素标记为不同值的惩罚项的值，ax表示X像素点的显著性，ax，表示X相邻像素点的显著性；
[0032]步骤503，结合步骤30得到的每个显著性特征图的最优权重和步骤501、502中得到的显著特征和配对特征，根据公式
【权利要求】
1.一种基于条件随机场的显著性检测方法，其特征在于，包括如下步骤: 步骤10:采集图像数据； 步骤20，对步骤10得到的图像用三种不同的方法进行显著性特征提取，得到与三种不同的显著性特征函数对应的显著性特征图； 步骤30:建立随机场模型，采用条件随机场模型的机器学习法对步骤10中采集的图像进行训练，并获得步骤20中得到的每个显著性特征图的最优权重； 步骤40:对步骤20得到的三种不同的显著性特征函数用分配函数Z进行归一化处理；步骤50:建立条件随机场模型，对步骤40得到的三个归一化显著性特征函数用条件随机场模型进行组合； 步骤60:用最大似然准则对步骤50获得的组合求得最优解，得到最优化的线性组合；步骤70:将步骤60计算得到的显著性像素用一个最小的矩形框，其中最小的矩形框至少框出95%以上的显著性像素，得到最终的结果。
2.根据权利要求1所述的一种基于条件随机场的显著性检测方法，其特征在于:所述步骤20中，所述三种进行特征提取的方法分别为:多尺度对比法、中央周围直方图法和颜色空间分布法； 其中，所述多尺度对比法，包括以下步骤: 步骤211，对步骤10 中采集到的图像基于高斯模糊之后向下采样，得到不同分辨率的图像； 步骤212，将步骤211得到的六层高斯金字塔图像中每层对比度线性组合得到多尺度对比特征函数与其对应的显著性特征图； 所述中央周围直方图法，包括以下步骤: 步骤221:用多个不同长宽比例的矩形区域R标出步骤10得到的图像中的显著物体，在多个矩形区域R的周围构造多个对应的面积相等的周围矩形区域Rs ； 步骤222:在步骤221获得的图像上计算每个以像素点X为中心的显著矩形区域R与周围矩形区域Rs在RGB颜色直方图之间的X 2距离； 步骤223:比较每个不同长宽比例的矩形区域R与周围矩形区域Rs在RGB颜色直方图之间的X2距离，现在X 2距离最大的矩形区域R为最优的矩形区域R*(X)； 步骤224:以相邻像素V为中心的中央-周围直方图特征函数定义为步骤221中所有以相邻像素V为中心的最优周围矩形区域RsW )的高斯加权X2距离之和； 所述颜色空间分布法，包括以下步骤: 步骤231:对步骤10得到的图像中的所有颜色用高斯混合模型表示； 步骤232:利用步骤231中模型的参数计算计算每个像素被分配给一种颜色成分的条件概率； 步骤233:对步骤232中每一个颜色成分计算对应的水平方差和垂直方差，得到对应成分的空间方差； 步骤234:颜色空间分布特征函数定义为步骤433得到的空间方差中央加权的之和。
3.根据权利要求1所述的一种基于条件随机场的显著性检测方法，其特征在于:步骤50中，所述用条件随机场模型组合显著性特征过程如下: 步骤501，对步骤40得到的三个归一化显著性特征，分别计算一元势函数Fk(ax，I)，Fk (ax, I)表示第k个显著特征； 步骤502，对步骤40得到的三个归一化显著性特征，分别计算二元势函数S (ax，ax,，I)配对特征，其中，二元势函数S (ax，ax，，I)表示对相邻像素标记为不同值的惩罚项的值，\表示X像素点的显著性，ax，表示X相邻像素点的显著性； 步骤503，结合步骤30得到的每个显著性特征图的最优权重和步骤501、502中得到的显著特征和配对特征，根据公式
进行线性组合，其中，A为采集图像I中标签状态集合，Z为分配函数，Xk表示第k个显著特征图的权重，K为显著特征图的总数，Fk(ax, I)是单一变量的势函数，Fk(ax, I)表示第k个显著特征图，S(ax，ax'，1)是双变量交互势函数，S(ax，ax'，I)表示相邻像素x，x'之间的相互作用关系。
【文档编号】G06K9/66GK104077609SQ201410302009
【公开日】2014年10月1日 申请日期:2014年6月27日 优先权日:2014年6月27日
【发明者】王敏, 范佳佳 申请人:河海大学