一种视觉显著性目标的检测方法
【专利摘要】本发明公开了一种视觉显著性目标的检测方法，其步骤是：(1)输入待检测图像，在基于Itti视觉注意力模型的基础上运用谱残差和频率调制模型来提取改进后的颜色，亮度和方向的显著性图；(2)通过k均值聚类得到各个通道显著性图像中显著性区域与非显著性区的对比差，获得各个通道显著性图像的最优权值；(3)对各个通道的显著性图像加权，得到原始图像的显著性图，该显著性图的显著性区域即为目标区域。本发明能够改善现有视觉注意力模型的不足，有效地突出显著性区域和抑制非显著性区域，从而更好的模拟人类视觉注意力对自然场景目标的定位。
【专利说明】
-种视觉显著性目标的检测方法
技术领域
[0001 ]本发明设及机器视觉注意力，用于目标识别，尤其设及到一种视觉显著性目标的 检测方法。
【背景技术】
[0002] 机器视觉注意力可W用来提取自然场景中的显著性的区域，是计算机视觉和模式 识别系统中的关键技术，也是计算机视觉的后期处理的前提，视觉注意力的检测结果会直 接影响计算机视觉的后期处理的效果，随着科技的发展，人们发现图像内容具有很强的复 杂性，不适和将全部内容进行计算机视觉处理，研究者们受到人类视觉注意力系统的启发， 希望机器视觉也像人类视觉系统那样具有高效的数据筛选能力，因此提出了机器视觉的视 觉注意力模型。
[0003] 视觉注意力系统是是人类视觉系统的重要的前期处理系统，可W非均匀的分配感 知资源，对原始的图像数据进行高效的筛选，将大部分的处理单元分配在感兴趣的区域上， 从而提高视觉系统的处理能力。
[0004] 注意力是一个神经生理学的概念，许多神经生理学和屯、理学家都提出了很多人类 视觉系统注意力的模型，用来解释人类在自然场景中可W将注意力集中在某个目标上的能 力，受此启发，如何将计算机视觉也具有视觉注意力模型的能力就成了各国的研究者们研 究的热口课题。
[0005] 视觉注意力模型分为两个大部分，一个是自下而上得数据驱动的模型，另一个是 自上而下的任务驱动的模型，目前大多数模型都是基于自下而上的模型，首个机器视觉的 注意力模型是由Milanese于1994年实现的，Milanese基于人类视觉系统的视觉感受野的中 央一周围感受野的互相抑制原理，提出了中屯、一边缘操视觉注意力模型分为两个大部分， 一个是自下而上得数据驱动的模型，另一个是自上而下的任务驱动的模型，目前大多数模 型都是基于自下而上的模型，首个机器视觉的注意力模型是由Milanese于1994年实现的， Milanese基于人类视觉系统的视觉感受野的中央一周围感受野的互相抑制原理，提出了中 屯、一边缘操作，产生对比度信息，目前最为经典的机器视觉注意力模型是由Itti(美国南加 州大学教授)提出的，他在Milanese的中屯、一边缘操作的基础上，提出了多分辨率分解金字 塔，通过多分辨率分解和中屯、一边缘操作来提取颜色，亮度，方向Ξ个通道的特征图，并将 运些特征图跨尺度整合到一个显著图中，从而显示出视觉系统的感兴趣区域，此模型不需 要任何先验知识，在没有特定观测任务下，完全由输入图像的初级视觉特征决定，是一种初 级的视觉注意力提取模型，Itti和koch在"Amodel of saliency-based visual attention for rapid scene 曰n曰lysis, IEEE transactions on pattern 曰n曰lysis 曰nd machine intelligence.VOL 20,NO. 11 ,novembe;r, 1998"改进了该模型，取得了代表性的结 果，受此启发，研究者们提出了各自的模型，在文献"Frequen巧-turned Salient Region Detection cvpr 2009"中，Sabine Susstrunk等人提出了一种频域调制模型，此模型的显 著性的检测效果一般，但具有很好的区域分割性能，在文献"Sal iency Detection : A Spec化al Residual cvpr 2007"中，侯晓迪先生提出了基于谱残差的模型，此模型不同于 Itti等人关注图片上的突出部分的思路，而是关注图片的背景，找出图片背景的通用特性， 但此模型忽略了图片的目标特性，运些模型在显著性区域提取的过程中，都有上述各自的 不足，并将所有的特征等同对待，采用简单的线性加和的方法进行特征的整合，没有利用特 征的权值进行特征的整合，所W在自然场景中的检测具有准确率低，易受背景环境的干扰 的不足。
[0006] 本发明是主要解决现有的视觉注意力模型在自然各种场景中的目标检测中正确 率低，易受自然场景中非显著区域的干扰的不足。
【发明内容】
[0007] 针对现有的视觉注意力模型在自然各种场景中的目标检测中正确率低，易受自然 场景中非显著区域的干扰的不足，本发明提供一种视觉显著性目标的检测方法。
[000引本发明一种视觉显著性目标的检测方法是通过如下技术方案实现的：
[0009] -种视觉显著性目标的检测方法，包括如下步骤：
[0010] 步骤1将原始图像分为Ξ个特征通道，包括颜色，亮度和方向通道图像；
[0011] 步骤2提取颜色通道的显著性图像:将颜色通道分为Ξ个部分，分别是亮度部分、 RG部分和BY部分；
[0012] 步骤2.1对步骤2中亮度部分、RG部分和BY部分分别运用Itti视觉注意力模型进行 多分辨率分解，用中央一周边算子，突出各个特征图的显著部分和跨尺度合并，归一化后得 到颜色通道的Ξ个部分的显著性初次提取显著性图；
[001引步骤2.2对步骤2.1中进行初次提取的亮度、RG和BY显著性图像进行重构，构成RGB 图像；
[0014] 步骤2.3运用频率调制模型对于重构后的RGB图像进行显著性的再次提取，得到颜 色通道的显著性图C;
[0015] 步骤3提取步骤1中亮度和方向通道的显著性图像；
[0016] 步骤3.1对步骤3中亮度和方向通道的显著性图像分别做傅里叶变换，得到其各自 的谱残差R(f)和相位谱P(f)，再将谱残差R(f)和相位谱P(f)做二维离散傅里叶反变换，从 而得到亮度和方向两个通道上的原始图像显著性初次提取的显著性图；
[0017] 步骤3.2对步骤3.1亮度和方向两个通道上初次提取的显著性图运用Itti视觉注 意力模型对所得的显著性图分别进行多分辨率分解，再用中央一周边算子，突出各个特征 图的显著部分和跨尺度合并，归一化后得到亮度和方向两个通道上的显著性的再次提取的 显著性图B，D;
[0018] 步骤4对步骤2.3得到的颜色通道的显著性图C、步骤3.2得到的亮度和方向两个通 道上的显著性的再次提取的显著性图B，DS个通道的显著性图像进行进一步地突出显著的 特征；
[0019] 步骤5运用k均值聚类的算法将Ξ个通道的显著性图像C、B、D中每幅显著性图像均 聚为两类，即为显著性区域和非显著性区域，计算显著性区域centroidl和非显著性区域 centroids的对比差，公式为：
[0020] compare=Icentroidl-centroid2
[0021 ] 其中，颜色、亮度、方向通道的对比差分别为compare( 1)、compare(2)、compare (3);
[0022] 权值公式为：
[0023]
[0024] 其中，X取值为1、2、3。
[0025] 步骤6利用步骤5得到的各个通道的权值，对Ξ个通道的显著性图像进行线性加 和，从而得到原始图像的显著性图，公式为：
[0026] SD=weight(l) XC+wei曲t(2) XB+wei曲t(3) XD
[0027] 其中，C为颜色通道的显著性图，B为亮度通道的显著性图，D为方向通道的显著性 图，SD为原始图像显著性图像。
[0028] 进一步的，对步骤2中颜色通道进行分类:分成亮度、RG和BY部分，其公式如下：
[0031] 其中，r，g，b为原始图像的红绿蓝Ξ个分量，light，RG，BY即为颜色通道中的亮度、 RG和ΒΥΞ个部分；
[0032] 进一步的，对步骤2.2中重构的RGB图像，其重构公式为：
[0033] RGB = cat(3，salien(li曲t)，salien(RG)，salien(BY));
[0034] 其中，saliendi曲〇,3曰11611(1?0,3曰11611(8￥)分别为颜色通道中的亮度，1?；，8￥ Ξ个部分的显著性初次提取的显著性图。
[0035] 进一步的，对步骤2.3对于重构后的RGB图像进行显著性的再次提取，得到颜色通 道的显著性图C;先将重构后的RGB图像C进行高斯滤波，然后转化为Lab颜色空间，其中RGB 图像的salien(light)对应于Lab颜色空间的照度通道L，最后再次提取显著性图，其公式如 下：
[0036] S(x,y) = I I Iu-Iwhc(x,y) |
[0037] 其中，lu为Lab颜色空间像素值在L，a，b运Ξ个色彩通道上的全局平均，Iwhc(X，y) 是高斯滤波后的图像在空间上某一点的Lab像素值，Μ . Μ是求得lu与Iwhc(x，y)的欧式距 离，S(x，y)即为颜色通道显著性再次提取后的显著性图。
[0038] 进一步的，对于步骤3所述的提取亮度，方向上的显著性图：得到亮度特征图li曲t = (r+g+b)/3,方向特征图为不同角度的Gabor滤波器与亮度特征图卷积得到。
[0039] 有益效果：
[0040] 1.该方法可W解决现有的视觉注意力模型在自然各种场景中的目标检测中正确 率低，易受自然场景中非显著区域的干扰的问题，有效地突出显著性区域和抑制非显著性 区域，从而更好的模拟人类视觉注意力对自然场景目标的定位。
[0041] 2.本发明在Itti视觉注意力模型的颜色，亮度，方向运Ξ个原始的通道上融合了 频域范围的显著性区域提取方法，进行了显著性区域的分割和背景干扰的滤除，分别利用 了频率调制模型和基于谱残差的模型，提高了显著性区域提取的准确性，与此同时利用k均 值聚类算法将Ξ个通道的显著性图像进行聚类，计算显著性区域中屯、与非显著性区域中屯、 的对比差，从而确定每个通道的显著性图像的权值，提高了显著性区域提取的准确性，避免 了背景的干扰。
【附图说明】
[0042] 图1为本发明流程图；
[0043] 图2为本发明模块工作流程图；
【具体实施方式】
[0044] 现结合附图对本发明做进一步的描述：
[0045] 结合附图1对本发明阐述的方法进行描述：
[0046] 步骤1输入原始图像并将该原始图像分为Ξ个特征通道，包括色彩、亮度和方向Ξ 个部分:首先提取颜色通道的显著性图，提取亮度和方向的显著性图；
[0047] 步骤2.对输入的图像进行处理，即提取颜色通道的显著性图；
[0048] 在自然场景中显著性受亮度的影响较大，因此在提取颜色通道的显著性图像时也 引入亮度因素；
[0049] 步骤2.1将颜色通道分为Ξ个部分，分别为亮度、分别为亮度、RG、BY部分，运用 Itti模型对Ξ个部分分别进行多分辨率分解；
[0050] 亮度，RG和BY，其公式如下：
[0053] 其中r，g，b为原始图像的红绿蓝Ξ个分量，11邑^，36,8￥即为颜色通道的^个部 分；
[0054] 步骤2.2对不同尺度大小的分解图像进行跨尺度的图像合并得到特征图，再进行 突出特征图的显著部分，即先将各个特征图平方，再乘W(Μ -m)2 / Vn/ (内)，其中Μ为特 征图的最大值，m为其余所有局部极值点的平均值，η为数值大于M/2de极值点的个数，r，c分 别为特征图的高和宽；
[0055] 步骤2.3对不同尺度大小的特征图，先进行跨尺度的图像合并，然后归一化操作， 从而得到Ξ个部分的显著性初次提取显著性图；
[0化6] 步骤2.4将Ξ个部分的显著性图像进行重构成RGB图像，公式如下：RGB = cat(3， salienQi曲t)，salien(RG)，salien(BY))其中salienQi曲t)，salien(RG)，salien(BY)分 别为颜色通道中的亮度，RG，BYS个部分的显著性初次提取的显著性图，此时salien (li曲t)对应于下一步骤中转化为Lab彩色空间中的照度L，salien(RG)，salien(BY)分别对 应于Lab彩色空间中的a，b色彩；
[0057]步骤2.5将重构所得RGB的图像转化为Lab空间的图像，其中亮度部分的显著性的 初次提取显著性图对应于Lab空间的照度L
[005引步骤1.6运用频率调制模型进行显著性再次提取，公式如下：
[0059] S(x,y) = I I Iu-Iwhc(x,y) |
[0060] 其中lu是Lab颜色空间像素值在L，a，b运Ξ个色彩通道上的全局平均，Iwhc(x，y)是 高斯滤波后的图像在空间上某一点的Lab像素值，II . II是求得lu与Iwhc(x，y)的欧式距离，S (x，y)为显著性再次提取后的显著性图像，即为颜色通道的显著性图像C;
[0061] 步骤3提取亮度和方向的显著性图；
[0062] 步骤3.1产生亮度，方向通道的特征图，所述亮度通道的特征图是通过公式为： 1 i ght = (r+g+b) /3，方向通道的特征图是通过亮度的特征图与四个不同角度的Gabor滤波 器卷积得到;二维Gabor滤波器的公式如下：
[0063]
[0064] 其中，角度目居{0°，45*\90*\135*^}，4是方向曲率，曰标准差，人是波长，6即为0曰6〇戸滤 波器；
[0065] 步骤3.2生成谱残差与相位差:通过对所得特征图进行傅里叶变换，得到幅值谱与 相位谱，进而得到log谱，谱残差即为log谱与其进行均值滤波后的差；
[0066] 谱残差R(f)和相位谱p(f)，公式如下：
[0067] A(f)= |F(i(x)) I ,
[006引 ρ0-尸沪ii:'(iCx)))，
[0069] L(f) = log(A(f)),
[0070] T(f)=h(f) *L(f)
[0071] 其中，I . I是求幅值，FO是进行二维离散傅里叶变换，i(x)分别是亮度特征图和四 个角度的方向特征图，A(f)是幅度谱，p(f)是相位谱，f是相位，L(f)是log谱，h(f)是均值滤 波器，*表示卷积，所W谱残差就是log谱与其进行均值滤波后的差，公式为：
[0072] R(f)=L(f)-T(f)
[0073] 步骤3.3基于谱残差的显著性初次提取:对各个特征图所得的各自的谱残差和相 位差进行二维离散傅里叶反变换，得到显著性初次提取的一个亮度通道和四个不同角度的 方向通道的显著性图；
[0074] S(x)= |F-i(exp(R(f)+i*p(f))) |2
[0075] 其中，S(x)即为显著性初次提取后的显著性图像，i代表复数，*表示相乘；
[0076] 步骤3.4运用Itti模型的显著性再次提取:运用Itti视觉注意力模型对所得的五 幅显著性图分别进行多分辨率分解，中央一周边算子，跨尺度合并，突出各个显著图的显著 部分和归一化，得到亮度和方向两个通道上的显著性再次提取的显著性图B，D;
[0077] 步骤4对所得的Ξ个通道C、B，D;的显著性图像进行进一步地突出显著的特征，具 体应用公式如下:Γ=Ι/為聊her
[007引其中，I是Ξ个通道的显著性图像，number为各个显著性图像中超过阔值thresh的 个数，在本模型中阔值取最大像素值的一半，Γ为显著性加强后的显著性图像；
[0079] 步骤5确定各个显著性图像的权值；
[0080] 步骤5.1对Ξ个显著性图像进行k均值聚类;一般地，初始聚类中屯、的确定，将显著 性图分为两类，分别是显著性区域(初始聚类中屯、为200)和非显著性区域(初始聚类中屯、为 20)，对样本进行聚类:按照就近原则，将某一样本归入的最近的聚类中屯、所代表的类中，重 新计算样本均值，更新聚类中屯、，然后取下个样本，重复w上操作，直到所有样本取完;判断 聚类是否合理:运用相邻两次更新的聚类中屯、的距离小于0.001为标准，判断聚类是否合 理。
[0081] 步骤6Ξ个通道的显著性图的权值的确定:通过计算每幅显著性图中的显著性区 域与非显著性区域的对比差在所有图像的对比差的占比，来获得权值。
[0082] 步骤7生成原始图像的显著性图：对Ξ个通道的显著性图进行线性加和，得到原始 图像的显著性图像。
[0083] 结合附图2对本发明所用模块进行说明：
[0084] 提取亮度，方向通道的显著性图模块，包括:产生亮度，方向通道的特征图子模块； 生成谱残差与相位差的子模块，通过对所得特征图进行傅里叶变换，得到幅值谱与相位谱， 进而得到log谱，谱残差即为log谱与其进行均值滤波后的差;基于谱残差的显著性初次提 取的显著性图的子模块，对各个特征图所得的各自的谱残差和相位差进行二维离散傅里叶 反变换，得到显著性初次提取的五幅显著性图；基于Itti模型的显著性再次提取子模块，运 用Itti视觉注意力模型对所得的五幅显著性图分别进行多分辨率分解，中央一周边算子， 突出各个特征图的显著部分和跨尺度合并，归一化，得到亮度和方向两个通道上的显著性 的再次提取的两幅显著性图B，D;对Ξ个通道的显著性图像进行进一步地突出显著性图像 模块；
[0085] k均值聚类模板，包括如下子模块初始聚类中屯、的确定子模块，将显著性图分为两 类，分别是显著性区域(初始聚类中屯、为200)和非显著性区域(初始聚类中屯、为20)聚类子 模块，按照就近原则，将某一样本归入的最近的聚类中屯、所代表的类中，重新计算样本均 值，更新聚类中屯、，然后取下个样本，重复W上操作，直到所有样本取完;判断聚类是否合理 子模块，运用相邻两次更新的聚类中屯、的距离小于0.001为标准，判断聚类是否合理;Ξ个 通道的显著性图的权值的确定模块，通过计算每幅显著性图中的显著性区域与非显著性区 域的对比差在所有图像的对比差的占比，来获得权值;输出模块，对Ξ个通道的显著性图进 行线性加和，得到原始图像的显著性图像。
[0086] 本发明方法的实现是在如下模块相结合的作用下实现的：
[0087] 首先，输入图像，利用提取颜色通道的显著性图像模块和提取亮度、方向通道的显 著性图模块对颜色、亮度和方向进行提取；
[0088] 对提取后的颜色采用Itti视觉注意力模型初次提取显著图子模块对图像进行初 次显著性处理，采用突出各个特征图的显著部分子模块对经过初次显著性处理的颜色通道 显著性图进行突出显著性处理，对颜色通道的Ξ个部分，分别是亮度部分、RG部分和BY部分 利用RGB颜色图像重构子模块进行重构，运用频率调制模型进行显著性再次提取子模块对 于重构后的RGB图像进行显著性的再次提取，得到颜色通道的显著性图像C;
[0089] 对提取后的亮度、方向通道的显著性图像利用产生亮度，方向通道的特征图子模 块进行初次显著性处理，利用生成谱残差与相位差的子模块、基于谱残差的显著性初次提 取的显著性图的子模块、基于Itti模型的显著性再次提取子模块对亮度、方向通道进行显 著性处理，得到显著性图像B，D;
[0090] 对显著性图像C、B，D运用显著性图像进行进一步的突出显著性图像模块对图像进 一步的处理，k均值聚类模块、初始聚类中屯、的确定子模块、判断聚类是否合理子模块、Ξ个 通道的显著性图的权值的确定模块对图像进行处理，从而得到原始图像的显著性图，利用 输出模块输出。
[0091]所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不 背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换 或变型均属于本发明的保护范围。
【主权项】
1. 一种视觉显著性目标的检测方法，其特征在于:包括如下步骤： 步骤1将原始图像分为三个特征通道，包括颜色，亮度和方向通道图像； 步骤2提取颜色通道的显著性图像:将颜色通道分为三个部分，分别是亮度部分、RG颜 色部分和BY颜色部分； 步骤2.1对步骤2中亮度部分、RG部分和BY部分分别运用Itti视觉注意力模型进行多分 辨率分解，用中央一周边算子，突出各个特征图的显著部分和跨尺度合并，归一化后得到颜 色通道的三个部分的显著性初次提取显著性图； 步骤2.2对步骤2.1中进行初次提取的亮度、RG和BY显著性图像进行重构，构成RGB图 像； 步骤2.3运用频率调制模型对于重构后的RGB图像进行显著性的再次提取，得到颜色通 道的显著性图C; 步骤3提取步骤1中亮度和方向通道的显著性图像； 步骤3.1对步骤3中亮度和方向通道的显著性图像分别做傅里叶变换，得到其各自的谱 残差R(f)和相位谱P(f)，再将谱残差R(f)和相位谱P(f)做二维离散傅里叶反变换，从而得 到亮度和方向两个通道上的原始图像显著性初次提取的显著性图； 步骤3.2对步骤3.1亮度和方向两个通道上初次提取的显著性图运用Itti视觉注意力 模型对所得的显著性图分别进行多分辨率分解，再用中央一周边算子，突出各个特征图的 显著部分和跨尺度合并，归一化后得到亮度和方向两个通道上的显著性的再次提取的显著 性图B，D; 步骤4对步骤2.3得到的颜色通道的显著性图C、步骤3.2得到的亮度和方向两个通道上 的显著性的再次提取的显著性图B，D三个通道的显著性图像进行进一步地突出显著的特 征； 步骤5运用k均值聚类的算法将三个通道的显著性图像C、B、D中每幅显著性图像均聚为 两类，即为显著性区域和非显著性区域，计算显著性区域centroidl和非显著性区域 centroid2的对比差，公式为： compare=|centroidl_centroid2 其中，颜色、亮度、方向通道的对比差分别为(：〇11^^代（1)、(3〇11^^代(2)、(3〇11^^代(3); 权值公式为：其中，X取值为1、2、3。 步骤6利用步骤5得到的各个通道的权值，对三个通道的显著性图像进行线性加和，从 而得到原始图像的显著性图，公式为： SD=weight(l) XC+weight(2) XB+weight(3) XD 其中，C为颜色通道的显著性图，B为亮度通道的显著性图，D为方向通道的显著性图，SD 为原始图像显著性图像。2. 根据权利要求1所述的视觉显著性目标的检测方法，其特征在于:对步骤2中颜色通 道进行分类:分成亮度、RG和BY部分，其公式如下：其中，r，g，b为原始图像的红绿蓝三个分量，1 ight，RG，BY即为颜色通道中的亮度、RG和 BY三个部分；3. 根据权利要求1所述的视觉显著性目标的检测方法，其特征在于:对步骤2.2中重构 的RGB图像，其重构公式为： RGB = cat(3，salien(light)，salien(RG)，salien(BY)); 其中，salien(light)，salien(RG)，salien(BY)分别为颜色通道中的亮度，RG，BY三个 部分的显著性初次提取的显著性图。4. 根据权利要求1所述的视觉显著性目标的检测方法，其特征在于:对步骤2.3对于重 构后的RGB图像进行显著性的再次提取，得到颜色通道的显著性图C;先将重构后的RGB图像 C进行高斯滤波，然后转化为Lab颜色空间，其中RGB图像的sal ien(1 ight)对应于Lab颜色空 间的照度通道L，最后再次提取显著性图，其公式如下： S(x,y)= | | Iu-Iwhc(x,y) 其中，Iu为Lab颜色空间像素值在L，a，b这三个色彩通道上的全局平均，I-(x，y)是高斯 滤波后的图像在空间上某一点的Lab像素值，| | . | |是求得的欧式距离，S(x， y)即为颜色通道显著性再次提取后的显著性图。5. 根据权利要求1所述的视觉显著性目标的检测方法，其特征在于:对于步骤3所述的 提取亮度，方向上的显著性图：得到亮度特征图light =(r+g+b)/3,方向特征图为不同角度 的Gabor滤波器与亮度特征图卷积得到。
【文档编号】G06T7/00GK105825238SQ201610192635
【公开日】2016年8月3日
【申请日】2016年3月30日
【发明人】戴磊, 蔡英凤, 王海, 陈龙, 王爽, 江浩斌, 袁朝春, 徐兴
【申请人】江苏大学