一种基于自适应融合机制的图像显著性物体检测方法与流程

本发明涉及图像处理技术领域，尤其涉及一种利用自适应融合机制进行图像的显著性物体检测的方法。

背景技术：

在面对一个复杂场景时，人眼的注意力会迅速集中在少数几个显著的视觉对象上，并对这些对象进行优先处理，该过程被称为视觉显著性。显著性检测正是利用人眼的这种视觉生物学机制，用数学的计算方法模拟人眼对图像进行适当的处理，从而获得一张图片的显著性物体。由于我们可以通过显著性区域来优先分配图像分析与合成所需要的计算资源，所以，通过计算来检测图像的显著性区域意义重大。提取出的显著性图像可以广泛应用于许多计算机视觉领域的应用，包括对兴趣目标物体的图像分割，目标物体的检测与识别，图像压缩与编码，图像检索，内容感知图像编辑等方面。

通常来说，现有的显著性检测框架主要分为：自底向上的显著性检测方法和自顶向下的显著性检测方法。目前大多采用自底向上的显著性检测方法，它是基于数据驱动的，且独立于具体的任务；而自顶向下的显著性检测方法是受意识支配的，与具体任务相关。

现有方法中，自底向上的显著性检测方法大多使用低水平的特征信息，例如颜色特征、距离特征和一些启发式的显著性特征等。尽管这些方法有各自的优点，但是在一些特定场景下的具有挑战性的数据集上，这些方法表现的不够精确，不够健壮。为了解决这一问题，随着3d图像采集技术的出现，目前已有方法通过采用深度信息来增强显著性物体检测的精准度。尽管深度信息可以增加显著性物体检测的精准度，但是，当一个显著性物体与其背景有着低对比的深度时，还是会影响显著性检测的精准度。

综合来看，现有的图像显著性物体检测方法在检测显著性物体时精准度不高，方法健壮性不够强，容易造成误检、漏检等情况，很难得到一个精确的图像显著性检测结果，不仅造成显著性物体本身的错检，同时也会对利用显著性检测结果的应用造成一定的误差。

技术实现要素：

本发明的目的在于针对上述已有技术的不足，提出了一种新的基于自适应融合机制的图像显著性物体检测方法，能够解决现有的显著性检测不够精确，不够健壮性的问题，使图像中的显著性区域更精准地显现出来，为后期的目标识别和分类等应用提供精准且有用的信息。

本发明提供的技术方案是：

一种基于自适应融合机制的图像显著性物体的检测方法，利用颜色、深度、距离信息对图像的显著性区域进行定位检测，得到图像中显著性物体的初步检测结果，再利用我们提出的自适应融合机制，优化显著性检测的最终结果；其实现包括如下步骤：

1)输入一张待检测图像io，利用kinect设备得到的该图像的深度图id；

2)利用k-means算法将待检测的图像io分成k个区域(包含k个子区域k)，并计算得到每一个区域的颜色显著性值；

3)同颜色显著性值计算方式一样，将深度图id划分为k个区域，计算得到深度图中每一个区域的的深度显著性值；

4)通常来说，显著性物体都位于中心位置，计算得到子区域k的中心和深度权重dw(dk)；

5)进行初步显著性检测：利用待检测图像中每一个区域的颜色显著性值、深度图中每一个区域的深度显著性值和区域的中心和深度权重，通过高斯归一化方法计算得到初步的显著性检测结果s1(rk)；

6)利用深度图的深度等信息加强初步显著性检测结果，进行优化；

7)利用待检测图像和该图像的深度图，将深度图扩展成基于深度的彩色图；

8)将扩展后的基于深度的彩色图进行二次显著性检测，得到二次显著性检测结果s2(rk)；

9)将初步显著性检测结果和二次显著性检测结果，通过自适应融合方法进行自适应融合，得到最后的显著性检测结果s(rk)；本发明提出的自适应融合方法如式(11)：

其中，s1(rk)为初步的显著性检测结果；s2(rk)为二次显著性检测结果；dw(dk)是深度权重；为逻辑非运算。

与现有技术相比，本发明的有益效果是：

本发明提供了一种基于自适应融合机制的图像显著性物体检测算法，首先基于图像颜色、空间、深度信息计算出初步的显著性结果。然后通过对深度图进行扩展，计算出二次显著性检测结果图。最后，利用提出的自适应融合机制，将初步显著性结果图与二次显著性结果图进行融合，得到最后的显著性检测结果图。实验结果表明，本发明较其他方法检测结果更有效。

本发明能够更加精准，更加鲁棒地检测出显著性物体。与现有技术相比，本发明具有以下技术优势：

(一)由于利用了多层次的深度信息进行显著性检测，本发明可以增加显著性物体检测的精准性。

(二)本发明提供了一种自适应的融合机制，通过不断融合，增加了显著性检测的鲁棒性。适用于更多复杂的场景，使用范围更广。

附图说明

图1为本发明提供的流程框图。

图2为本发明实施例中对输入图像分别采用现有方法、采用本发明方法检测图像得到的检测结果图像，以及人工标定期望得到图像的对比图；

其中，第一列为输入图像，第二至第五列为现有其他方法得到的检测结果图像，第六列为本发明检测结果图像，第七列为人工标定期望得到的图像。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供了一种基于自适应融合机制的图像显著性物体检测算法，能够更加精准，更加鲁棒地检测出显著性物体。本发明首先基于图像颜色、空间、深度信息计算出初步的显著性结果。然后通过对深度图进行扩展，计算出二次显著性检测结果图。最后，利用我们提出的自适应融合机制，将初步显著性结果图与二次显著性结果图进行融合，得到最后的显著性检测结果图。图1为本发明提供的显著性物体检测方法的流程框图，包括以下步骤：

步骤一、输入一张待检测的图像io，利用kinect设备得到的该图像的深度图id；

步骤二、利用k-means算法将图像分成k个区域，并通过式(1)计算得到每一个子区域的颜色显著性值：

其中，rk和ri分别代表区域k和i，dc(rk,ri)表示区域k和区域i在l*a*b颜色空间上的欧氏距离，pi代表区域i所占图像区域的比例，wd(rk)定义如下：

其中，do(rk,ri)表示区域k和区域i的坐标位置距离，σ是一个参数控制着wd(rk)的范围。本发明具体实施时，σ设置为0.4具有最好的效果。

rk和ri为任意的两个子区域，具体计算时设计为从头开始，比如有10个区域，设定k＝1表示开始计算第一个子区域，i＝1到10表示第一个子区域与所有10个子区域分别进行比较计算；然后，k＝2，i＝1到10，按公式(1)进行计算，最后k＝10，i＝1到10，计算结束；通过遍历计算得到每一个子区域的颜色显著性值。

步骤三、同颜色显著性值计算方式一样，通过式(3)计算深度图的深度显著性值：

其中，dd(rk,ri)是区域k和区域i在深度空间的欧氏距离。

步骤四、通常来说，显著性物体都位于中心位置，通过式(4)计算区域k的中心深度权重wcd(rk)：

其中，wcd(rk)为中心深度权重，融合了中心和深度信息的权重值；g(·)表示高斯归一化，‖·‖表示欧氏距离操作，pk是子区域k的位置坐标，po是该图像的坐标中心，nk是子区域k的像素数量。dw(dk)是深度权重，定义如下：

dw(dk)＝(max{d}-dk)^μ(5)

其中，max{d}表示深度图的最大深度，dk表示区域k的深度值，μ是一个与计算的深度图有关的参数，定义如下：

其中，min{d}表示深度图的最小深度。

步骤五、利用式(7)得到初步的显著性检测结果s1(rk)：

s1(rk)＝g(sc(rk)×wcd(rk)+sd(rk)×wcd(rk))(7)

步骤六、为了优化初步的显著性检测结果，利用深度信息dw(dk)和现有的bsca方法计算的中心显著性值wc对式(7)的结果进行加强：

文献(qiny,luh,xuy,etal.saliencydetectionviacellularautomata[c]//ieeeconferenceoncomputervisionandpatternrecognition.ieee,2015:110-119)记载了bsca方法。

对于深度图，位于前景的物体有小的深度值，位于背景的物体有大的深度值，而显著性物体常常位于前景，而我们要得到的显著性结果数值越大代表越显著，所以，深度信息的数值和显著性结果的数值是成反比的，取反操作，就变成正比了，即可得到我们想要的结果。

步骤七、把深度图通过式(9)扩展成基于深度的彩色图：

ie<r|g|b>＝io<r|g|b>×id(9)

其中，ie是扩展之后的基于深度的彩色图。

步骤八、将扩展后的基于深度的彩色图通过式(10)进行二次显著性检测，得到二次显著性检测结果s2(rk)：

s2(rk)＝g(sc(rk)×wcd(rk)+sd(rk)×wcd(rk))(10)

步骤九、利用式(11)将初步显著性检测结果和二次显著性检测结果进行自适应融合，得到我们最后的显著性检测结果：

图2为本发明实施例中对输入图像分别采用现有方法、采用本发明方法检测图像得到的检测结果图像，以及人工标定期望得到图像的对比图；第一列为输入图像，第二至第五列为现有其他方法得到的检测结果图像，第六列为本发明检测结果图像，第七列为人工标定期望得到的图像。结果表明，本发明的显著性物体检测方法更具鲁棒性，更加精准，更接近于人工标定的预期效果。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。