显著区域检测方法和检测系统与流程

本发明实施例涉及图像处理技术领域，尤其是涉及一种显著区域检测方法和检测系统。

背景技术：

人类视觉系统具有注意功能，使其能够快速地锁定关键区域，只选择进入视野的其中一部分信息用于后续更深层次的信息抽取与处理，从而获得高效的视觉感知。启发于人类视觉注意机制的显著性检测模型，可以为计算机系统实现快速高效地抽取有用的信息提供解决途径。基于视觉注意的认知理论以及生理模型，计算机领域的研究者提出了很多显著性检测模型。视觉显著性检测作为视觉任务的前处理过程，具有非常广阔的应用前景，可以应用于很多不同的高层次复杂视觉处理任务，诸如物体检测、视觉目标跟踪、物体识别、图像压缩和机器人认知等。

近年来，很多基于边框背景先验的显著物体检测方法被不断地提出，它们获得了很好的检测效果。例如：

Xiaohui Li,Huchuan Lu,Lihe Zhang,Xiang Ruan,and Ming-Hsuan Yang.Saliency detection via dense and sparse reconstruction.In IEEE International Conference on Computer Vision(ICCV),pages2976–2983,2013；

Wangjiang Zhu,Shuang Liang,YichenWei,and Jian Sun.Saliency optimization from robust background detection.In IEEE Conference on Computer Vision and Pattern Recognition(CVPR),pages 2814–2821,2014；

Chuan Yang,Lihe Zhang,Huchuan Lu,Xiang Ruan,and Ming-Hsuan Yang.Saliency detection via graph-based manifold ranking.In IEEE Conference on Computer Vision and Pattern Recognition(CVPR),pages 3166–3173,2013。

然而，这些方法在利用图像区域与边框区域的拓扑关系推断显著值的过程中，往往更偏重于全局显著性。以现有基于边框背景先验的显著性检测方法为例，会导致可能存在如下问题：当显著物体区域与图像边框区域相似时，显著物体的局部显著性被错误地抑制；当图像背景区域与图像边框区域极不相似时，背景区域的显著性可能被错误夸大，从而产生错误的显著性检测结果。

有鉴于此，特提出本发明。

技术实现要素：

本发明实施例提供一种显著区域检测方法，以解决如何快速有效地抽取图像显著区域的技术问题。此外，本发明实施例还提供一种显著区域检测系统。

为了实现上述目的，根据本发明的一个方面，提供以下技术方案：

一种显著区域检测方法，所述方法可以包括：

对输入图像进行超像素分割，获得图像超像素处理单元；

基于所述图像超像素处理单元，度量所述输入图像的拓扑背景置信度；

基于所述输入图像的所述拓扑背景置信度，计算图像颜色和空间位置特征上的对比度，获得图像初级显著值；

利用紧凑性扩散方法修正所述图像初级显著值，得到紧凑性显著图；

利用所述输入图像的所述拓扑背景置信度与所述紧凑性显著图，进行显著值赋值，得到图像单尺度显著图；

利用多尺度融合的方法对所述图像单尺度显著图进行处理，得到尺度显著图，从而获得图像显著物体区域。

进一步地，所述基于所述图像超像素处理单元，度量所述输入图像的拓扑背景置信度，具体可以包括：

基于所述图像超像素处理单元，计算所述输入图像的超像素延伸面积；

计算所述输入图像中超像素沿着所述输入图像边框的长度；

基于所述超像素延伸面积和所述长度，计算所述输入图像超像素的边框连接度；

基于所述边框连接度，计算所述输入图像的拓扑背景置信度。

进一步地，所述基于所述输入图像的所述拓扑背景置信度，计算图像颜色和空间位置特征上的对比度，获得图像初级显著值，具体可以包括：

基于所述输入图像的所述拓扑背景置信度，并依据下式计算所述图像颜色特征对比度：

其中，所述p和所述pi表示超像素，所述i＝1,...,N；所述N表示所述输入图像中所包含的超像素个数；所述bi表示所述输入图像的所述拓扑背景置信度；所述dcolor(p,pi)表示所述超像素p和所述pi在CIE L*a*b*颜色空间上的欧氏距离；所述contrastcolor(p)表示所述图像颜色特征对比度；

其中，所述wpos(p,pi)由下式来确定：

其中，所述dpos(p,pi)表示所述p和所述pi中心位置的欧氏距离；所述σpos表示对比度操作范围调节系数；

基于所述输入图像的所述拓扑背景置信度，并依据下式计算所述空间位置特征对比度：

其中，wcolor(p,pi)表示所述超像素p和pi在颜色特征上的相似性；所述contrastpos(p)表示所述空间位置特征对比度；

其中，

其中，所述σcolor表示所述空间位置特征对比度对所述颜色特征敏感程度的调节系数；所述dcolor(p,pi)表示所述超像素p和pi在CIE L^*a^*b^*颜色空间上的欧氏距离；

基于所述图像颜色特征对比度和所述空间位置特征对比度，并依据下式计算所述图像初级显著值：

CS(p)＝contrastcolor(p)·exp(-k·contrastpos(p))

其中，所述k表示所述图像颜色特征和所述空间位置特征对所述超像素显著值的贡献的权重系数。

进一步地，所述利用紧凑性扩散方法修正所述图像初级显著值，得到紧凑性显著图，具体可以包括：

构造k-regular闭环图，其中，所述闭环图中各连接边由关联矩阵来衡量；

基于所述图像初级显著值和所述关联矩阵，利用图论中的流形平滑约束，确定基于非归一化拉普拉斯矩阵的流形排序函数，从而得到所述紧凑性显著图。

进一步地，所述利用所述输入图像的所述拓扑背景置信度与所述紧凑性显著图，进行显著值赋值，得到图像单尺度显著图，具体可以包括：

利用所述输入图像的所述拓扑背景置信度与所述紧凑性显著图及所述超像素在CIE L*a*b*颜色空间上的欧氏距离，进行显著值赋值，得到所述输入图像超像素的显著值；

将所述输入图像超像素的所述显著值赋予所述输入图像中该超像素内的所有像素，作为该些像素的显著值，从而得到所述图像单尺度显著图。

进一步地，所述关联矩阵由下式确定：

其中，所述wij表示连接强度；所述n取正整数；所述dcolor(pi,pj)表示超像素pi和pj在CIE L^*a^*b^*颜色空间上的欧氏距离；所述σ表示调节系数；所述i和所述j取1……N,所述N表示超像素个数。

进一步地，所述利用所述输入图像的所述拓扑背景置信度与所述紧凑性显著图及所述超像素在CIE L^*a^*b^*颜色空间上的欧氏距离，进行显著值赋值，得到所述输入图像超像素的显著值，具体可以包括：

利用以下目标函数得到所述输入图像超像素的显著值：

其中，所述si表示超像素pi的显著值；所述sj表示超像素pj的显著值；所述i,j＝1,...,N；所述N表示超像素的个数；所述bi表示所述输入图像的所述拓扑背景置信度；所述fi表示紧凑性显著图；所述λ表示调节因子；所述dcolor(pi,pj)表示所述超像素pi和pj在CIE L^*a^*b^*颜色空间上的欧氏距离；所述σcolor表示调节系数；所述μsm表示抑制噪声的调节系数。

为了实现上述目的，根据本发明的另一个方面，还提供一种显著区域检测系统，所述系统包括：

分割模块，用于对输入图像进行超像素分割，获得图像超像素处理单元；

度量模块，与所述分割模块相连，用于基于所述图像超像素处理单元，度量所述输入图像的拓扑背景置信度；

计算模块，与所述度量模块相连，用于基于所述输入图像的所述拓扑背景置信度，计算图像颜色和空间位置特征上的对比度，获得图像初级显著值；

修正模块，与所述计算模块相连，用于利用紧凑性扩散方法修正所述图像初级显著值，得到紧凑性显著图；

赋值模块，分别与所述度量模块和所述修正模块相连，用于利用所述输入图像的所述拓扑背景置信度与所述紧凑性显著图，进行显著值赋值，得到图像单尺度显著图；

融合模块，与所述赋值模块相连，用于利用多尺度融合的方法对所述图像单尺度显著图进行处理，得到尺度显著图，从而获得图像显著物体区域。

本发明实施例提供一种显著区域检测方法和检测系统。其中，该方法包括对输入图像进行超像素分割，获得图像超像素处理单元；接着，基于图像超像素处理单元，度量输入图像的拓扑背景置信度；然后，基于输入图像的拓扑背景置信度，计算图像颜色和空间位置特征上的对比度，获得图像初级显著值；再利用紧凑性扩散方法修正图像初级显著值，得到紧凑性显著图；接着又利用输入图像的拓扑背景置信度与紧凑性显著图，进行显著值赋值，得到图像单尺度显著图；最后，利用多尺度融合的方法对图像单尺度显著图进行处理，得到尺度显著图，从而获得图像显著物体区域。通过采用上述技术方案，在检测过程中兼顾了图像全局显著性和局部显著性，实现了快速有效地抽取图像显著区域的有益效果。

附图说明

图1为根据本发明实施例的显著区域检测方法的流程示意图；

图2为根据本发明实施例的显著区域检测系统的结构示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。本实施例在以本发明技术方案为前提下进行实施，结合详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。

现有技术在利用图像区域与边框区域的拓扑关系推断显著值的过程中，往往更偏重于全局显著性，因为这类方法利用边框区域近似图像全局背景，且边框区域并不一定处在图像区域的局部近邻内，从而可能导致错误地抑制显著物体区域的显著性或者错误地夸大背景区域的显著性。

本发明实施例基本思想是：对输入图像进行超像素分割，获得图像处理单元；接着，根据边框连接度计算图像背景置信度，并基于背景置信度计算图像显著值；然后，对所得显著图进行紧凑性扩散，修正图像显著性，获得更准确更紧凑的显著图；再利用背景置信度与紧凑性显著图及空间近邻信息进行显著值优化赋值；最后，利用多尺度融合的方法获得多尺度显著图。

为此，本发明实施例提供一种显著区域检测方法。如图1所示，该方法可以通过步骤S100至步骤S150来实现。其中：

S100：对输入图像进行超像素分割，获得图像超像素处理单元。

具体地，本步骤可以利用超像素分割方法对输入图像进行超像素分割，以获得图像超像素处理单元。

S110：基于图像超像素处理单元，度量输入图像的拓扑背景置信度。

具体地，本步骤可以包括：

S111：基于图像超像素处理单元，计算输入图像的超像素延伸面积。

作为示例，本步骤可以根据以下公式计算输入图像的超像素延伸面积：

其中，p和pi表示超像素，i＝1,...,N；N表示输入图像中所包含的超像素个数；σgeo表示调节系数；dgeo(p,pi)表示超像素p和pi在CIE L^*a^*b^*颜色空间上的测地距离；SpanArea(p)表示输入图像的超像素延伸面积。

为了表述清楚，本文将dgeo(p,pi)表述为dgeo(p,q)，其可以通过下式来实现：

其中，dcolor(pi，pi+1)表示超像素pi和pi+1在CIE L^*a^*b^*颜色空间上的欧氏距离；n取正整数；dgeo(p,q)表示超像素p和q在CIE L^*a^*b^*颜色空间上的测地距离。

S112：计算输入图像中超像素沿着输入图像边框的长度。

作为示例，本步骤可以根据下式来计算输入图像中超像素沿着输入图像边框的长度：

其中，pi表示超像素，i＝1,...,N；N表示输入图像中所包含的超像素个数；δ(·)表示指示函数，当超像素在输入图像边框上时，其值为1，否则为0；B表示输入图像边框上的超像素集合；σgeo表示调节系数；dgeo(p,pi)表示超像素p和pi在CIE L^*a^*b^*颜色空间上的测地距离；LB(p)表示输入图像中超像素沿着输入图像边框的长度。

S113：基于超像素延伸面积和输入图像中超像素沿着输入图像边框的长度，计算输入图像超像素的边框连接度。

作为示例，本发明实施例可以通过下式来计算输入图像超像素的边框连接度：

其中，LB(p)表示输入图像中超像素沿着输入图像边框的长度；SpanArea(p)表示输入图像的超像素延伸面积；BC(p)表示输入图像边框连接度。

S114：基于边框连接度，计算输入图像的拓扑背景置信度。

作为示例，本发明实施例可以通过下式来计算输入图像的拓扑背景置信度：

其中，BC(pi)表示输入图像边框连接度；σbc表示用于调节输入图像超像素的边框连接度对输入图像的拓扑背景置信度的影响权重；bi表示输入图像的拓扑背景置信度。

S120：基于输入图像的拓扑背景置信度，计算图像颜色和空间位置特征上的对比度，获得图像初级显著值。

具体地，本步骤可以包括：

S121：基于输入图像的拓扑背景置信度，并依据下式计算图像颜色特征对比度：

其中，p和pi表示超像素，i＝1,...,N；N表示输入图像中所包含的超像素个数；bi表示输入图像的拓扑背景置信度；dcolor(p,pi)表示超像素p和pi在CIE L^*a^*b^*颜色空间上的欧氏距离；contrastcolor(p)表示图像颜色特征对比度。

其中，wpos(p,pi)由下式来确定：

其中，dpos(p,pi)表示p和pi中心位置的欧氏距离；σpos表示对比度操作范围调节系数。

S122：基于输入图像的拓扑背景置信度，并依据下式计算空间位置特征对比度：

其中，dpos(p,pi)表示p和pi中心位置的欧氏距离；bi表示输入图像的拓扑背景置信度；wcolor(p,pi)表示超像素p和pi在颜色特征上的相似性；contrastpos(p)表示空间位置特征对比度。

其中，

其中，σcolor表示空间位置特征对比度对颜色特征敏感程度的调节系数；dcolor(p，pi)表示超像素p和pi在CIE L^*a^*b^*颜色空间上的欧氏距离。

S123：基于图像颜色特征对比度和空间位置特征对比度，并依据下式计算图像初级显著值：

CS(p)＝contrastcolor(p)·exp(-k·contrastpos(p))；

其中，k表示图像颜色特征和空间位置特征对超像素显著值的贡献的权重系数；contrastpos(p)表示空间位置特征对比度；contrastcolor(p)表示图像颜色特征对比度。

S130：利用紧凑性扩散方法修正图像初级显著值，得到紧凑性显著图。

具体地，在一些可选的实施方式中，本步骤可以进一步包括：

S131：构造k-regular闭环图，其中，该闭环图中各连接边由关联矩阵来衡量。

在一些可选的实施方式中，关联矩阵由下式确定：

其中，wij表示连接强度；n取正整数；dcolor(pi，pj)表示超像素pi和pj在CIE L^*a^*b^*颜色空间上的欧氏距离；σ表示调节系数；i和j取1……N,N表示超像素个数。

σ用于控制连接边的权重，在具体实施过程中，可以取1/σ²＝10。

S132：基于图像初级显著值和关联矩阵，利用图论中的流形平滑约束，确定基于非归一化拉普拉斯矩阵的流形排序函数，从而得到紧凑性显著图。

在实际应用中，基于非归一化拉普拉斯矩阵的流形排序函数的扩散过程可以根据下式来计算：

f^*＝(D-αW)^-1y；

其中，D表示连接矩阵，D＝diag{d11,...,dnn}，dii＝Σjwij，wij表示连接强度；y＝[y1,...,yn]，yi＝CS(pi)；CS(pi)表示图像初级显著值，pi表示超像素；α表示调节系数；i、j、n取正整数；f^*表示紧凑性显著图，f^*可以为经过流形排序扩散过程所得的数值，其可以用于表示图像中各超像素的显著值，也即图像中每个超像素的显著值为fi＝fi^*。

优选地，上述α取0.99。

通过步骤S130，利用紧凑性扩散过程来增强模型对图像局部显著性的描述能力，从而可以得到更准确更紧凑的显著图。

S140：利用输入图像的拓扑背景置信度与紧凑性显著图，进行显著值赋值，得到图像单尺度显著图。

具体地，本步骤可以包括：

S141：利用输入图像的拓扑背景置信度与紧凑性显著图及超像素在CIE L^*a^*b^*颜色空间上的欧氏距离，进行显著值赋值，得到输入图像超像素的显著值。

在一些可选的实施方式中，本步骤可以利用以下目标函数得到输入图像超像素的显著值：

其中，si表示超像素pi的显著值；sj表示超像素pj的显著值；i,j＝1,...,N；N表示超像素的个数；bi表示输入图像的拓扑背景置信度；fi表示紧凑性显著图；λ表示调节因子，优选地，λ取1-5。

其中，

其中，dcolor(pi，pj)表示超像素pi和pj在CIE L^*a^*b^*颜色空间上的欧氏距离；σcolor表示调节系数；μsm表示抑制噪声的调节系数，用于调节复杂场景下的优化问题，抑制场景中的噪声。优选地，μsm＝0.1。

作为示例，通过对上述目标函数进行诸如求导等运算就可以获得输入图像超像素的显著值si。

S142：将输入图像超像素的显著值赋予输入图像中该超像素内的所有像素，作为该些像素的显著值，从而得到图像单尺度显著图。

S150：利用多尺度融合的方法对图像单尺度显著图进行处理，得到尺度显著图，从而获得图像显著物体区域。

具体地，在一些可选的实施方式中，可以根据以下公式来获得多尺度显著图：

其中，r＝1、2、3、4，其对应根据不同超像素大小设置产生的超像素分割；S^r表示在不同尺度超像素分割结果下产生的单尺度显著图；S表示多尺度显著图。

上述实施例在检测过程中兼顾了图像全局显著性和局部显著性，实现了快速有效地抽取图像显著区域的有益效果。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

基于与方法实施例相同的技术构思，本发明实施例还提供一显著区域检测系统。如图2所示，该系统20可以包括：分割模块21、度量模块22、计算模块23、修正模块24、赋值模块25和融合模块26。其中，分割模块21用于对输入图像进行超像素分割，获得图像超像素处理单元。度量模块22与分割模块21相连，用于基于图像超像素处理单元，度量输入图像的拓扑背景置信度。计算模块23与度量模块22相连，用于基于输入图像的拓扑背景置信度，计算图像颜色和空间位置特征上的对比度，获得图像初级显著值。修正模块24与计算模块23相连，用于利用紧凑性扩散方法修正图像初级显著值，得到紧凑性显著图。赋值模块25分别与度量模块22和修正模块24相连，用于利用输入图像的拓扑背景置信度与紧凑性显著图，进行显著值赋值，得到图像单尺度显著图。融合模块26与赋值模块25相连，用于利用多尺度融合的方法对图像单尺度显著图进行处理，得到尺度显著图，从而获得图像显著物体区域。

本领域技术人员可以理解，上述显著区域检测系统还可以包括一些其他的公知结构，例如处理器、控制器、存储器和总线等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于单核处理器、多核处理器、基于X86架构的处理器、CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，总线可以包括数据总线、地址总线和控制总线。为了不必要地模糊本公开的实施例，这些公知的结构未在图2中示出。

需要说明的是，上述实施例提供的显著区域检测系统和检测方法在进行显著区域检测时，仅以上述各功能模块或步骤的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块或步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明保护范围的不当限定。

还需要说明的一点是，为了避免因不必要的细节而混淆了本发明，在附图中仅仅示出了与本发明的技术方案密切相关的处理步骤，因此而省略了与本发明关系不大的其它细节。

至此，已经结合附图所示的优选实施方式对本发明的目的、技术方案和有益效果进行了进一步详细说明，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，凡在本发明的精神和原则之内，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。