基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法
【专利摘要】本发明公开了一种基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法，步骤如下：三维体数据生成阶段，首先将二维图像进行超像素分解并进DT行三角化，得到二维图像对应的三维体数据；Biharmonic分布计算阶段，得到各超像素点的Biharmonic扩散结果；描述子生成阶段，对超像素点的Biharmonic等值线上的采样点之间的L2距离进行直方图统计，形成对各等值线的形状描述；多尺度低秩分解阶段，该阶段基于各超像素点的Biharmonic等值线形状描述，并对不同尺度下低秩分解得到的稀疏矩阵进行作差，通过残差矩阵求和，得到最终显著性物体检测结果。本发明基于GPU并行实现，可对图像中单个、多个显著性物体进行检测，具有显著性物体检测精度高，显著性物体检测全面，抗噪性好等特点。
【专利说明】基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法
【技术领域】
[0001]本发明涉及到一种基于对图像超像素点的图形热扩散信息进行多尺度低秩分解的图像显著性物体检测方法。
【背景技术】
[0002]九十年代末期至今，针对显著性物体检测的研究已经发展了近15年。该领域涉及对单张含复杂背景图像进行单个、多个显著性物体进行检测。显著性物体检测通常用于图像的预处理阶段，能够帮助后续工作很好的指引出图像场景中的相对有意义的物体，通常应用于图像重定位，图像压缩，视频会议等。近几年来，随着人们对显著性物体特性的逐步理解，显著性物体检测的精度已经得到了很大的提高，并逐渐成为了图像视觉领域最具影响的研究方法之一。
[0003]显著性物体检测常用方法通常依赖于建立一种能够区分显著性物体以及非显著性背景的衡量标准，包括局部、全局对比度检测，全局唯一性度量等。遗憾的是，由于图像场景的复杂程度高，始终存在某些特殊的情况，显著性物体和非显著性背景在其特征描述空间存在重叠，导致基于单一的显著性衡量标准的显著性检测方法效果并不理想。因此，近一段时间，人们尝试通过复杂的数学建模的方法，如马尔科夫随机场、能量最小化方程等，同时考虑多种显著性衡量标准来对显著性物体进行检测，其结果是带来了显著性物体检测结果的性能获得了进一步提升。然而，基于多种显著性衡量标准的显著性物体检测方法遇到了瓶颈，即多种不同特征空间的衡量标准的结合所导致的特征空间复杂化，导致某些原本在单一特征空间上很容易区分的显著性物体和非显著性背景变得很难区分，从而使得出现某些极端的错误检测。
[0004]为了解决上述问题，本发明采用采用基于等值线上采样点的L2距离的直方图描述方法，使得生成的特征空间能够对显著性物体以及非显著性背景做到很好的区分，并在此特征空间中采用多尺度低秩分解来获得相对完整的显著性物体检测。该方法对显著性物体检测精度高，显著性物体检测完整，适用领域广，抗噪性好等特点。
【发明内容】
[0005]本发明解决的技术问题是:通过采用图形学中几何扩散方法生成一种全新的特征空间，该特征空间能够将局部信息和全局信息有效的结合来对显著性物体以及非显著性背景进行区分；基于该特征空间，采用多尺度低秩分解的方法对显著性物体进行完整且准确的检测。
[0006]本发明采用的技术方案为:一种基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法，其特征在于包括以下四个步骤:
[0007]步骤(I)、二维图像到三维体数据的转换:通过对二维图像进行超像素分解，以各超像素中心点，进行Delaunay三角划分，依据三角划分拓扑结构信息，并以超像素中心点RGB均值作为Z轴，最终将二维图像数据转换为三维体数据；
[0008]步骤(2)、Biharmonic分布计算:基于步骤(I)中得到的三维体数据，通过构建拉普拉斯矩阵，并对其进行特征值、特征向量分解，从而计算每一个超像素点对应的Biharmonic 分布；
[0009]步骤(3)、描述子生成阶段:对于每一个超像素点，基于步骤(2)得到的Biharmonic分布结果,计算并形成其对应的Biharmonic等值线,并对各等值线上采样点之间的L2距离进行直方图统计，从而获得各像素点的描述子描述结果；
[0010]步骤(4)、多尺度低秩分解阶段:基于步骤(3)生成的超像素多尺度描述结果，对不同尺度下低秩分解得到的稀疏矩阵进行作差，并最终将各残差稀疏矩阵进行求和，得到图像的显著性物体检测结果。
[0011]进一步的，步骤(I)中所述的二维图像到三维体数据的转换方法，该方法以超像素分解得到的各超像素中心点作为顶点进行Delaunay三角形划分，然后依据超像素点的平均RGB值作为Z轴，将二维图像拉伸到三维空间。
[0012]进一步的,步骤(2)中所述的Biharmonic分布计算时,其拉普拉斯矩阵的构建依赖于步骤(I)中生成的三维体数据拓扑结构信息，然后对拉普拉斯矩阵进行特征值、特征向量分解，并利用谱分析的方法求得每一个超像素点的Biharmonic分布情况。
[0013]进一步的，步骤(3)中对各超像素点的描述方法，该方法基于各超像素点的Biharmonic扩散部分,从而计算得到其对应的Biharmonic等值线,并对等值线上的采样点之间的L2距离进行直方图统计，最终将多条等值线的直方图统计结果作为该超像素点的描述。
[0014]进一步的，步骤(4)中，首先对于步骤(3)获取的特征空间进行不同预定义秩级的低秩分解，并将相邻的秩级低秩分解得到的稀疏矩阵进行作差，并将得到的残差稀疏矩阵进行求和，得到最终的显著物体检测结果。
[0015]本发明的原理在于:
[0016](I)通过超像素分解，将原二维图像的数据规模进行压缩，并以超像素中心点作为Delaunay三角划分的顶点，从而将二维图像转换为三维体数据，保证了赖于拉普拉斯矩阵的Biharmonic距离的可行性以及正确性。
[0017](2)对于给定的Biharmonic分布的各等值线，分别对其上面的采样点之间的L2距离进行直方图统计，并将属于不同等值线的直方图统计结果作为给定Biharmonic分布起始超像素点的描述，从而成功的将局部信息与全局信息有效、统一的进行了结合。
[0018](3)对于基于等值线采样点之间L2距离直方图统计的描述子空间，采用多尺度低秩分解，通过将相邻秩级的低秩分解得到的稀疏矩阵进行求差得到的残差稀疏矩阵，并将不同秩级之差得到的残差矩阵进行求和，得到最终的显著值计算结果，从而尽可能的得到完整且正确的显著性物体检测结果。
[0019]本发明与现有技术相比的优点在于:
[0020]1、本发明提出的通过对二维图像进行超像素分解，并以超像素中心点作为三角划分的顶点来完成二维图像到三维体数据的转换，使得传统的三维几何扩散的度量方法成功的应用到了二维图像领域。
[0021 ] 2、本发明提出的通过对Biharmonic等值线上采样点之间的L2距离的直方图统计作为各超像素点的描述方法将局部信息与全局信息结合到了统一的多尺度特征空间，增加了显著性物体与非显著性背景之间的可分性。
[0022]3、本发明提出的多尺度低秩分解能够很好的发挥本文提出的多尺度特征空间对显著性物体检测的优势，从而能够较传统的单尺度低秩分解更为完整得对显著性物体进行检测。
[0023]4、由于本发明基于采用几何扩散方法作为显著性物体的衡量基础，因此较其它显著性检测方法具有更好的抗噪性。
【专利附图】
【附图说明】
[0024]图1为基于多尺度低秩分解且结果信息敏感的图像显著性物体检测方法的总体处理流程；
[0025]图2为二维图像的超像素分解,并以超像素中心点为顶点进行Delaunay三角划分；
[0026]图3为基于Delaunay三角划分的结果，将二维图像拉伸到三维空间，并对各超像素点计算Biharmonic分布；
[0027]图4为对以各超像素点为中心的Biharmonic分布趋势采用等值线进行描述；
[0028]图5为对单条等值线上的采样点之间的L2距离的直方图统计示意图；
[0029]图6为多尺度低秩分解示意图；
[0030]图7为最终显著性检测结果示意图；
[0031]图8为本发明对于噪声图像的显著性物体检测结果示意图。
【具体实施方式】
[0032]下面结合附图及【具体实施方式】进一步说明本发明。
[0033]图1给出了基于多尺度低秩分解且结果信息敏感的图像显著性物体检测方法的总体处理流程。
[0034]本文发明一种基于多尺度低秩分解且结果信息敏感的图像显著性物体检测方法，主要步骤介绍如下:
[0035]1.三维体数据形成
[0036](I)超像素分解
[0037]该方法首先通过SLIC超像素分解，将原二维图像分解为以超像素点为最小单位的超像素图，其中，SLIC超像素分解参数sigma_s设为60，sigma_r设为0.01，超像素分解结果如附图2 (b)所示。
[0038](2) Delaunay 三角划分
[0039]以超像素分解结果为基础，计算每一个超像素的中心点，并以R、G、B三通道各自的均值作为该中心点的颜色值。并以此中心点作为顶点，进行DeIaunay三角划分，其中，三角划分仅仅考虑超像素中心点的x、y坐标。Delaunay三角划分结果如附图2 (C)所示。
[0040]( 3)三维体数据形成
[0041]基于Delaunay三角划分的结果，以各超像素点之间的三角划分拓扑结构作为x轴、y轴信息，以各超像素点的RGB颜色均值作为z轴，对二维三角拓扑结构进行三维拉伸，拉伸结果如附图3 (a)所示。
[0042]至此，完成了从二维图像到三维体数据的转换，P= (P1, P2, , PJ包含三维体数据上的全部顶点信息。
[0043]2.Biharmonic 分布计算
[0044]( I)拉普拉斯矩阵构建
[0045]基于上述二维到三维转换的体数据P，构建拉普拉斯矩阵L = A4M,其中A为对角矩阵，对角元素:馬i等比于与顶点:Ι?共边的三角形面积，M矩阵的计算方法如下:
【权利要求】
1.一种基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法，其特征在于包括以下四个步骤: 步骤(I)、二维图像到三维体数据的转换:通过对二维图像进行超像素分解，以各超像素中心点，进行Delaunay三角划分，依据三角划分拓扑结构信息，并以超像素中心点RGB均值作为Z轴，最终将二维图像数据转换为三维体数据； 步骤(2)、Biharmonic分布计算:基于步骤(I)中得到的三维体数据，通过构建拉普拉斯矩阵，并对其进行特征值、特征向量分解，从而计算每一个超像素点对应的Biharmonic分布； 步骤(3)、描述子生成阶段:对于每一个超像素点，基于步骤(2)得到的Biharmonic分布结果,计算并形成其对应的Biharmonic等值线,并对各等值线上采样点之间的L2距离进行直方图统计，从而获得各像素点的描述子描述结果； 步骤(4)、多尺度低秩分解阶段:基于步骤(3)生成的超像素多尺度描述结果，对不同尺度下低秩分解得到的稀疏矩阵进行作差，并最终将各残差稀疏矩阵进行求和，得到图像的显著性物体检测结果。
2.根据权利要求1所述的基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法，其特征在于:步骤(I)中所述的二维图像到三维体数据的转换方法，该方法以超像素分解得到的各超像素中心点作为顶点进行Delaunay三角形划分,然后依据超像素点的平均RGB值作为Z轴，将二维图像拉伸到三维空间。
3.根据权利要求1所述的基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法，其特征在于:步骤(2)中所述的Biharmonic分布计算时,其拉普拉斯矩阵的构建依赖于步骤(I)中生成的三维体数据拓扑结构信息，然后对拉普拉斯矩阵进行特征值、特征向量分解，并利用谱分析的方法求得每一个超像素点的Biharmonic分布情况。
4.根据权利要求1所述的基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法，其特征在于:步骤(3)中对各超像素点的描述方法，该方法基于各超像素点的Biharmonic扩散部分,从而计算得到其对应的Biharmonic等值线,并对等值线上的采样点之间的L2距离进行直方图统计，最终将多条等值线的直方图统计结果作为该超像素点的描述。
5.根据权利要求1所述的基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法，其特征在于:步骤(4)中，首先对于步骤(3)获取的特征空间进行不同预定义秩级的低秩分解，并将相邻的秩级低秩分解得到的稀疏矩阵进行作差，并将得到的残差稀疏矩阵进行求和，得到最终的显著物体检测结果。
【文档编号】G06T5/40GK103700091SQ201310632546
【公开日】2014年4月2日 申请日期:2013年12月1日 优先权日:2013年12月1日
【发明者】郝爱民, 陈程立诏, 李帅 申请人:北京航空航天大学