一种雾天图像显著目标检测方法与流程

本发明涉及图像处理技术领域，具体涉及一种雾天图像显著目标检测方法。

背景技术：

由于粉尘悬浮在空气中，对雾天环境下目标的可见度有很大的影响。因此，雾天图像的对比度一般较低，色彩淡漠，主要对象难以识别。显著目标检测有利于这一任务的完成，它是一个模拟人类视觉系统(hvs)注意机制的认知过程，具有惊人的能力从场景中快速判断出最具吸引力的图像区域，并在人脑中进行进一步处理。近年来，视觉显著目标检测在图像处理中的应用越来越受到重视。雾天图像的显著目标检测在野外行人跟踪、目标识别、目标分割、遥感、智能车辆、监控等领域发挥着关键作用。目前已提出了各种去雾技术，并取得了较好的效果。

目前，雾天图像处理方法可分为图像增强方法和图像恢复方法。但是，这些算法的主要缺点是：(1)复杂度高，执行时间长，难以保证显著目标检测的实时性；(2)去雾过程中，同时增加了前景和背景的可视性，从而在一定程度上干扰了对显著目标的识别；(3)图像颜色失真导致无法准确提取目标的边缘、轮廓等视觉特征。

另外，基于对比度特征的显著目标检测方法主要可以分为两类：频域方法和空域方法。通常，空间域可以用来确定每个特征点的局部支持，而频率域则是对特征点的识别。在图像处理的过程中，对于一些在空间域中比较复杂的卷积运算，可以利用傅里叶变换将其转换到频率域，从而变换为乘积运算降低了算法的复杂度。但由于雾天图像的低分辨率和低对比度等特点，传统的基于空域或频域的显著性模型在雾天环境下的性能较差。

技术实现要素：

本发明为了克服以上技术的不足，提供了一种雾天图像显著目标检测方法，该方法能够高效、准确地检测出雾天场景下的显著目标。

本发明克服其技术问题所采用的技术方案是：

一种雾天图像显著目标检测方法，包括如下步骤：

步骤一、在频率域对雾天图像进行颜色空间转换计算其显著性，求出频域显著图；

步骤二、在空间域对雾天图像进行超像素分割并对每一个超像素块计算其显著性，求出空域显著图；

步骤三、将图像在频域中的显著图与空域中的显著图通过离散平稳小波变换融合成一张显著图；

步骤四、通过目标轮廓检测模型得到雾天图像的轮廓图；

步骤五、将基于频域和空域融合后的显著图与轮廓图相加得到最终显著图。

进一步地，所述步骤一具体包括如下：

先将雾天图像转换至hsv颜色空间，再分别将h、s、v通道进行快速傅里叶变换转换为频率域：

其中，m和n分别表示图像的宽度和高度，f(x,y)和f(u,v)分别表示空域和频域中的图像像素；

a(u,v)和p(u,v)分别代表振幅谱和相位谱，它们通过以下公式计算：

a(u,v)＝abs(f(u,v))(2)

p(u,v)＝angle(f(u,v))(3)

其中，abs(·)和angle(·)分别表示振幅谱函数和相位谱函数，相位谱函数中复数数组f(u,v)中的每个元素返回相位角的值(以弧度为单位)，这个角度值范围为[-π，+π]，振幅谱a(u,v)＝abs(f(u,v))表示频域中图像像素的绝对值；

对于雾天图像，频域中的低振幅代表目标的线索，高振幅代表雾背景，因此抑制高振幅信息以突出显著目标区域，具体通过以下公式移除振幅谱的峰值来提取显著目标：

a(u,v)＝medfilt2(a(u,v))(4)

其中，medfilt2(·)表示中值滤波函数，它能有效消除a(u,v)中的峰值，每个输出像素包含输入图像中相应像素周围3×3邻域内的中值；

然后，通过以下公式计算新的频域图：

f(u,v)＝|a(u,v)|e^-jp(u,v)(5)

其中，|·|代表绝对值；

再然后，通过以下步骤执行快速傅里叶逆变换，将频域图转换回空间域:

hsv颜色空间中每个通道的显著图分别表示为hmap、smap和vmap，所述hmap、smap和vmap均通过公式(1)-(6)求得；

最后计算hmap、smap和vmap的和，得到频域显著图，表示为s1。

进一步地，所述步骤二具体包括如下：

先通过简单线性迭代聚类算法将输入的雾天图像分割为超像素，表示为sp(i)，i＝1,···,num，num＝300；再将得到的h、s、v通道的hmap、smap和vmap作为显著性特征；

每个超像素块的局部-全局显著性通过以下公式获得：

其中，dhmap(sp(i),sp(j))是hmap中sp(i)和sp(j)的均值之差，e(sp(i),sp(j))表示sp(i)和sp(j)之间的平均欧氏距离；

通过公式(7)，计算出shmap(i)和ssmap(i)中的超像素sp(i)的显著值ssmap(i)和svmap(i)；

最后，sp(i)中每个像素的显著值通过求shmap(i)、ssmap(i)和ssmap(i)的和得到，用s2表示空域显著图。

进一步地，所述步骤三具体包括如下：

将1级变换的低通滤波器和高通滤波器分别表示为h1[n]和g1[n]，由1级滤波器上采样得到2级低通滤波器h2[n]和2级高通滤波器g2[n]，然后得到水平高频子带h2、近似低通子带a2、对角高频子带d2、垂直高频子带v2；

根据步骤一得到的基于频域的显著图s1和步骤二得到的基于空域的显著图s2，将两个显著图通过2级离散平稳小波变换融合为：

[a1s1,h1s1,v1s1,d1s1]＝swt2(s1,1,'sym2')(8)

[a1s2,h1s2,v1s2,d1s2]＝swt2(s2,1,'sym2')(9)

[a2s1,h2s1,v2s1,d2s1]＝swt2(a1s1,1,'sym2')(10)

[a2s2,h2s2,v2s2,d2s2]＝swt2(a1s2,1,'sym2')(11)

其中，swt2(·)表示多级离散平稳小波变换，公式(8)-(11)利用‘sym2’计算二维或三维矩阵在1级平稳小波分解的真实值，输出的三维数组aisj表示用‘sym2’滤波器的显著图sj的i级低频近似系数的结果，disj，hisj和visj分别表示对角线方向、垂直方向和水平方向的高频系数，其中，i＝1，2，j＝1，2；

接下来，利用以下公式计算2级融合:

a2sf＝0.5×(a2s1+a2s2)(12)

利用以下公式计算1级融合:

a1sf＝iswt2(a2sf,h2sf,v2sf,d2sf,'sym2')(16)

其中，iswt2(·)表示离散平稳小波逆变换函数；

然后，通过以下公式计算融合图像：

salmap＝iswt2(a1sf,h1sf,v1sf,d1sf,'sym2')(20)

最后，利用高斯滤波器生成平滑的显著图。

进一步地，所述步骤四中，目标轮廓检测模型采用完全卷积编码-解码网络，该网络中编码器卷积层包括卷积层1、卷积层2、卷积层3、卷积层4、卷积层5和卷积层6，该网络中解码器卷积层包括反卷积层6、反卷积层5、反卷积层4、反卷积层3、反卷积层2、反卷积层1和预测层；其中，反卷积层6采用1×1内核，反卷积层5、反卷积层4、反卷积层3、反卷积层2、反卷积层1和预测层均采用5×5内核，预测层采用sigmoid激活函数，卷积层6、反卷积层5、反卷积层4、反卷积层3、反卷积层2和反卷积层1均采用relu激活函数。

本发明的有益效果是：

1、本发明利用图像的局部和全局信息，使显著目标能够补充频域和空域中的信息。然而，传统机器学习方法会导致边缘信息丢失，从而出现使显著图的边界模糊的问题。

2、本发明增加了深度学习的目标轮廓检测方法，丰富了显著图的边缘信息，它可以抑制来自雾背景的干扰，更精确地获取显著目标的边缘。

3、本发明将传统机器学习方法和深度学习方法相结合，提高了传统显著目标检测的鲁棒性，能够高效、准确地检测出雾天场景下的显著目标；同时对于一些背景较复杂的图像，也能够很好的提取出显著性目标。该方法不仅能通过目标轮廓检测更准确地保留边缘，而且能保证突出物体的完整性，通过这种方法，可以得到更精确、更清晰的显著图。

附图说明

图1为雾天图像中显著目标检测的实例，其中，图1(a)为雾天图像，图1(b)为基准显著图，图1(c)为基于频域和空域的显著图，图1(d)为本发明方法得到的显著图。

图2为本发明所述方法的原理流程图。

图3为目标轮廓检测模型的原理结构图。

图4为采用本发明方法完成显著目标检测的显著图与现有的10种图像显著性检测方法所得到的显著图的对比图，其中，(a)列为雾天图像，(b)列为基准显著图，(c)-(l)列分别为it方法、sr方法、ft方法、np方法、is方法、gbmr方法、so方法、bsca方法、smd方法、mil方法得到的显著图，(m)列为本发明方法得到的显著图。

具体实施方式

为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。

如图2所示，本实施例所述的一种雾天图像显著目标检测方法，主要包括如下步骤：

步骤一、在频率域对雾天图像进行颜色空间转换计算其显著性，求出频域显著图。所述步骤一具体包括如下：

先将雾天图像转换至hsv颜色空间，再分别将h、s、v通道进行快速傅里叶变换转换为频率域：

其中，m和n分别表示图像的宽度和高度，f(x,y)和f(u,v)分别表示空域和频域中的图像像素；

a(u,v)和p(u,v)分别代表振幅谱和相位谱，它们通过以下公式计算：

a(u,v)＝abs(f(u,v))(2)

p(u,v)＝angle(f(u,v))(3)

其中，abs(·)和angle(·)分别表示振幅谱函数和相位谱函数，相位谱函数中复数数组f(u,v)中的每个元素返回相位角的值(以弧度为单位)，这个角度值范围为[-π，+π]，振幅谱a(u,v)＝abs(f(u,v))表示频域中图像像素的绝对值；

对于雾天图像，频域中的低振幅代表目标的线索，高振幅代表雾背景，因此抑制高振幅信息以突出显著目标区域，具体通过以下公式移除振幅谱的峰值来提取显著目标：

a(u,v)＝medfilt2(a(u,v))(4)

其中，medfilt2(·)表示中值滤波函数，它能有效消除a(u,v)中的峰值，medfilt2(i)表示对图像i进行二维中值滤波，每个输出像素包含输入图像中相应像素周围3×3邻域内的中值；

然后，通过以下公式计算新的频域图：

f(u,v)＝|a(u,v)|e^-jp(u,v)(5)

其中，|·|代表绝对值；

再然后，通过以下步骤执行快速傅里叶逆变换，将频域图转换回空间域:

hsv颜色空间中每个通道的显著图分别表示为hmap、smap和vmap，所述hmap、smap和vmap均通过公式(1)-(6)求得；

最后计算hmap、smap和vmap的和，得到频域显著图，表示为s1。

步骤二、在空间域对雾天图像进行超像素分割并对每一个超像素块计算其显著性，求出空域显著图。所述步骤二具体包括如下：

为了减少计算量并保证目标的完整性，先通过简单线性迭代聚类算法(slic)将输入的雾天图像分割为超像素，表示为sp(i)，i＝1,···,num，num＝300；再将得到的h、s、v通道的hmap、smap和vmap作为显著性特征；

每个超像素块的局部-全局显著性通过以下公式获得：

其中，dhmap(sp(i),sp(j))是hmap中sp(i)和sp(j)的均值之差，e(sp(i),sp(j))表示sp(i)和sp(j)之间的平均欧氏距离；

通过公式(7)，计算出shmap(i)和ssmap(i)中的超像素sp(i)的显著值ssmap(i)和svmap(i)；

最后，sp(i)中每个像素的显著值通过求shmap(i)、ssmap(i)和ssmap(i)的和得到，用s2表示空域显著图。

步骤三、将图像在频域中的显著图与空域中的显著图通过离散平稳小波变换融合成一张显著图。所述步骤三具体包括如下：

该步骤主要采用2级离散平稳小波变换去除显著图的噪声并对其进行小波分解，具体是：

将1级变换的低通滤波器和高通滤波器分别表示为h1[n]和g1[n]，由1级滤波器上采样得到2级低通滤波器h2[n]和2级高通滤波器g2[n]，然后得到水平高频子带h2、近似低通子带a2、对角高频子带d2、垂直高频子带v2；高通子带和低通子带的大小与初始图像相同，因此，细节信息可以得到充分的保存，从而使离散平稳小波变换具有平移不变性。

根据步骤一得到的基于频域的显著图s1和步骤二得到的基于空域的显著图s2，将两个显著图通过2级离散平稳小波变换融合为：

[a1s1,h1s1,v1s1,d1s1]＝swt2(s1,1,'sym2')(8)

[a1s2,h1s2,v1s2,d1s2]＝swt2(s2,1,'sym2')(9)

[a2s1,h2s1,v2s1,d2s1]＝swt2(a1s1,1,'sym2')(10)

[a2s2,h2s2,v2s2,d2s2]＝swt2(a1s2,1,'sym2')(11)

其中，swt2(·)表示多级离散平稳小波变换，公式(8)-(11)利用‘sym2’计算二维或三维矩阵在1级平稳小波分解的真实值，输出的三维数组aisj表示用‘sym2’滤波器的显著图sj的i级低频近似系数的结果，disj，hisj和visj分别表示对角线方向、垂直方向和水平方向的高频系数，其中，i＝1，2，j＝1，2；

接下来，利用以下公式计算2级融合:

a2sf＝0.5×(a2s1+a2s2)(12)

利用以下公式计算1级融合:

a1sf＝iswt2(a2sf,h2sf,v2sf,d2sf,'sym2')(16)

其中，iswt2(·)表示离散平稳小波逆变换函数；

然后，通过以下公式计算融合图像：

salmap＝iswt2(a1sf,h1sf,v1sf,d1sf,'sym2')(20)

最后，利用高斯滤波器生成平滑的显著图。

步骤四、通过目标轮廓检测模型得到雾天图像的轮廓图，因为传统的机器学习方法会导致边界信息的丢失，因此增加了深度学习的目标轮廓检测模型方法来丰富显著图的边缘信息。

目标轮廓检测模型可以滤除背景中的边缘信息，忽略边缘信息，以目标为中心在前景中获取轮廓检测结果，在全卷积网络和反卷积网络的启发下，提出了一种目标轮廓检测模型，用于提取目标轮廓和抑制背景边界。

如图3所示，所述目标轮廓检测模型采用完全卷积编码-解码网络(cedn)用于提取目标轮廓，目标轮廓检测模型的编码器部分直接使用vgg模型对应的部分。该网络中编码器卷积层包括卷积层1、卷积层2、卷积层3、卷积层4、卷积层5和卷积层6，该网络中解码器卷积层包括反卷积层6、反卷积层5、反卷积层4、反卷积层3、反卷积层2、反卷积层1和预测层；其中，反卷积层6采用1×1内核，反卷积层5、反卷积层4、反卷积层3、反卷积层2、反卷积层1和预测层均采用5×5内核，预测层采用sigmoid激活函数，卷积层6、反卷积层5、反卷积层4、反卷积层3、反卷积层2和反卷积层1均采用relu激活函数。

本实施例中，采用caffe来训练网络，将学习率设置为10^-4，训练30个epoch的网络，每个epoch处理所有的训练图像。在网络训练时，编码器的参数是固定的，只有解码器的参数是优化的，这既维护了编码器能力的泛化，并使解码器网络能够轻松地与其他任务相结合。

步骤五、将基于频域和空域融合后的显著图与轮廓图相加得到最终显著图，即将步骤三融合后的显著图与步骤四的轮廓图相加得到最终的显著图。

如图1所示，图1(a)为雾天图像，图1(b)为基准显著图，图1(c)为基于频域和空域的显著图，图1(d)为本发明方法得到的显著图。

本实施例将本发明所述方法与现有的10种图像显著性检测方法在雾天图像中的性能做了比较，各显著性检测方法的auc值、mae值、wf值、or值和所花费的时间，如表1所示。其中，auc是指roc曲线下与坐标轴围成的面积，auc值越大越好；mae是平均绝对误差，mae值越小越好；wf是加权平均绝对误差，wf值越大越好；or值是被正确检测到的主体区域的两倍与被检测到的主体区域和基准显著图主体区域之和的比值，or值越大越好。表1中最佳的两个结果分别用下划线和点状线显示，综合来看，本发明的方法相比其他方法获得了较好的性能。

表1.本发明与其他10种不同显著性模型在雾天图像中的性能比较

将本发明方法所得的显著图与现有的10种图像显著性检测方法所得到的显著图的检测效果对比，结果如图4所示，其中(a)列为雾天图像，(b)列为基准显著图，(c)列为itti,l.等人所提出的it方法的检测结果，(d)列为houx.等人所提出的sr方法的检测结果，(e)列为achanta,r.等人所提出的ft方法的检测结果，(f)列为murray,n.等人所提出的np方法的检测结果，(g)列为hou,x.等人所提出的is方法的检测结果，(h)列为simonyan,k.等人所提出的gbmr方法的检测结果，(i)列为zhu,w.等人所提出的so方法的检测结果，(j)列为qin,y.等人所提出的bsca方法的检测结果，(k)列为peng,h.等人所提出的smd方法的检测结果，(l)列为huang,f.等人所提出的mil方法的检测结果，(m)列为本发明方法所求得的显著图。将这些方法所检测出的显著物体与(b)列所标记的显著目标对比，重合度越高，表明显著性检测的质量越高。

以上仅描述了本发明的基本原理和优选实施方式，本领域人员可以根据上述描述做出许多变化和改进，这些变化和改进应该属于本发明的保护范围。