一种图像显著图提取方法
【专利摘要】本发明公开了一种图像显著图提取方法，其首先提取源图像中的每个像素点的颜色特征矢量、纹理特征矢量和紧密度特征值，然后采用超像素分割技术对源图像进行分割，并利用各个区域的颜色特征矢量、纹理特征矢量和紧密度特征值来构造有向的图谱，最后计算得到图谱的转移矩阵，得到最终的图像显著图；优点是获得的图像显著图能够较好地反映图像的显著变化情况，符合图像显著语义的特征。
【专利说明】一种图像显著图提取方法
【技术领域】
[0001 ] 本发明涉及一种图像信号的处理方法，尤其是涉及一种图像显著图提取方法。
【背景技术】
[0002]在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区另IJ，在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是计算机视觉以及基于内容的视频检索领域的一个重要的研究内容。
[0003]现有的显著图模型是一种模拟生物体视觉注意机制的选择性注意模型，其通过计算每个像素点在颜色、亮度、方向方面与周边背景的对比，并将所有像素点的显著值构成一张显著图，然而这类方法并不能很好地提取出图像显著图信息，这是因为基于像素点的显著特征并不能很好地反映人眼观看时的显著语义特征，而基于区域的显著特征能够有效地提高提取的稳定性和准确性，因此，如何对图像进行区域分割，如何对各个区域的显著特征进行提取，如何对各个区域进行拓扑结构表示，如果从拓扑结构里提取出最优的显著值，都是基于区域的显著图提取中需要研究解决的问题。
【发明内容】
[0004]本发明所要解决的技术问题是提供一种符合显著语义特征，且能够有效地提高提取的稳定性和准确性的图像显著图提取方法。
[0005]本发明解决上述技术问题所采用的技术方案为:一种图像显著图提取方法，其特征在于包括以下步骤:
[0006]①将待处理的源图像记为Ui(Xj)K其中，1=1,2,3,1≤χ≤W，I≤y≤H，W表示Ui(x，y)}的宽，H表示{Ii(x，y)}的高，IiU, y)表示Ui(x，y)}中坐标位置为(x, y)的像素点的第i个分量的颜色值，第I个分量为R分量、第2个分量为G分量、第3个分量为B分量；
[0007]②将Ui (x, y)}从RGB颜色空间转换到CIELAB颜色空间；然后获取Ui (x, y)}中的每个像素点的颜色特征矢量，将UiUjM中坐标位置为(x，y)的像素点的颜色特征矢量记为 C(x, y), c(x, y) = [L(x, y), a(x, y), b(x, y)];再将由{Ii(x，y)}中的所有像素点的颜色特征矢量构成的集合作为UiUjM的颜色特征矢量，记为{c(x，y)};其中，c(x，y)的维数为3，符号“[]”为矢量表示符号，1^0^7)、&(\7)和b(x，y)对应表示UiUyM中坐标位置为(x，y)的像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值；
[0008]③采用Log-Gabor滤波器对Ui (x, y)}进行滤波处理，得到Ui (x, y)}中的每个像素点在不同中心频率和不同方向因子下的频率响应的振幅；然后获取ΙΛ(χ，7)}中的每个像素点的纹理特征矢量，将UiUjM中坐标位置为(x，y)的像素点的纹理特征矢量记为 t(x，y)，t(x, y) = [G(x,y; ω, θ ) | ω e {1.74, 2.47, 3.49}, I ^ θ ^ 8];再将由(Ii(χ, y)}中的所有像素点的纹理特征矢量构成的集合作为UiUjM的纹理特征矢量，记为{t(x，y)};其中，t(x，y)的维数为24，符号“[]”为矢量表示符号，6(χ,y；ω, Θ )表示Ui(x，y)}中坐标位置为(x，y)的像素点在中心频率为ω和方向因子为θ下的频率响应的振幅，ω表示Log-Gabor滤波器的中心频率，ω e {1.74，2.47，3.49}, Θ表示Log-Gabor滤波器的方向因子，I≤Θ≤8;
[0009]④采用超像素分割技术将UiUyM分割成M个互不重叠的区域，然后将(Ii (x, y)}重新表示为M个区域的集合，记为{SPJ，其中，M≥l，SPh表示{SPJ中的第h个区域,I ^ h ^ M ；
[0010]⑤采用K均值聚类方法分别对{c(x，y)}和{t(x，y)}进行聚类操作，然后通过获取Ic (X，y)}对应的每个聚类的基于颜色特征的紧密度特征值和{t(x，y)}对应的每个聚类的基于纹理特征的紧密度特征值，得到UiUjM中的每个像素点的紧密度特征值，再将由Ili(χ, Y)}中的所有像素点的紧密度特征值构成的集合作为UiOcjM的紧密度特征值，记为{comp (X，y)},其中，K≥I, comp (x, y)表示{Ii(x，y)}中坐标位置为(x, y)的像素点的紧密度特征值；
[0011 ]⑥根据{SPJ、{c (χ, y)}、{t (x, y)}和{comp (x, y)}，构造一个有向的图谱 G (V, E)，其中，V表示G (V，E)中的 所有节点构成的集合，V=IV1J，Vh表示G (V，E)中的第h个节点，且Vh代表{SPJ中的第h个区域，E表示G (V，E)中的所有边缘构成的集合，E={cohg}，cohg表示G(V，E)中的第h个节点与第g个节点构成的边缘,且cohg表示G(V, E)中的第h个节点与第g个节点之间的距离，I≤h≤M, I≤g≤M,h幸g ;然后根据G(V, E)中的不同节点之间的距离，获取G(V，E)的转移矩阵，记为P，其中，P的维数为MXM;
[0012]⑦通过对P进行矩阵分解，获取{SPJ中的每个区域的显著值，然后将{SPJ中的每个区域的显著值作为对应区域中的所有像素点的显著值，得到UiUjM的图像显著图，记为{Sal(x，y)},其中，Sal (x，y)表示{Sal (x, y)}中坐标位置为(x, y)的像素点的像素值，亦表示UiUjM中坐标位置为(x，y)的像素点的显著值。
[0013]所述的步骤⑤的具体过程为:
[0014]⑤-1、采用K均值聚类方法对{c(X，y)}进行聚类操作，得到UiUyM的基于颜色特征的K个聚类，然后将UiUyM重新表示为K个聚类的集合，记为{Rk}，其中，K≤1，I≤k≤K，Rk表示{RJ中的第k个聚类；
[0015]⑤-2、获取{RJ中的每个聚类的基于颜色特征的紧密度特征值，将{RJ中的第k
个聚类的基于颜色特征的紧密度特征值记为cck，CCi = exp -a σ,χ\ σ)'，其中，exp()
表示以自然基数e为底的指数函数，α为控制参数，Ox k表示{Rk}中的第k个聚类中包含的像素点的横坐标位置值的标准差，oy,k表示{Rk}中的第k个聚类中包含的像素点的纵坐标位置值的标准差，W表示UiUjM的宽，H表示UiUjM的高；
[0016]⑤-3、将{RJ中的每个聚类的基于颜色特征的紧密度特征值作为对应聚类中的所有像素点的基于颜色特征的紧密度特征值，得到UiUjM中的每个像素点的基于颜色特征的紧密度特征值，将UiUjM中坐标位置为(x，y)的像素点的基于颜色特征的紧密度特征值记为CC (X，y)；[0017]⑤-4、采用K均值聚类方法对{t(x，y)}进行聚类操作，得到UiUyM的基于纹理特征的K个聚类，然后将Ui (X，y)}重新表示为K个聚类的集合，记为{R’ k}，其中，K≤I，I≤k≤K，R’ k表示{R’ J中的第k个聚类；
[0018]⑤-5、获取{R’k}中的每个聚类的基于纹理特征的紧密度特征值，将{R’k}中的第
k个聚类的基于纹理特征的紧密度特征值记为ctk，
【权利要求】
1.一种图像显著图提取方法，其特征在于包括以下步骤: ①将待处理的源图像记为Ui(Xj)K其中，i=l，2，3，l^ x^ff,l ^H, W表示(Ii (x, y)}的宽，H表示{Ii(x，y)}的高，Ii (x, y)表示Ui(x，y)}中坐标位置为(x, y)的像素点的第i个分量的颜色值，第I个分量为R分量、第2个分量为G分量、第3个分量为B分量; ②将ΙΛ(Χ，Υ)}从RGB颜色空间转换到CIELAB颜色空间；然后获取ΙΛ(Χ，Υ)}中的每个像素点的颜色特征矢量，将UiUjM中坐标位置为(x，y)的像素点的颜色特征矢量记为 c(x, y), c(x, y) = [L(x, y), a(x, y), b(x, y)];再将由{Ii(x，y)}中的所有像素点的颜色特征矢量构成的集合作为UiUjM的颜色特征矢量，记为{c(x，y)};其中，c(x，y)的维数为3，符号“[]”为矢量表示符号，L(x，y)、a(x，y)和b (x，y)对应表示UiUyM中坐标位置为(X，y)的像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值； ③采用Log-Gabor滤波器对(Ii(x, y)}进行滤波处理，得到(Ii (x, y)}中的每个像素点在不同中心频率和不同方向因子下的频率响应的振幅；然后获取ΙΛ(χ，7)}中的每个像素点的纹理特征矢量，将UiUyM中坐标位置为(x，y)的像素点的纹理特征矢量记为 t(x, y), t(x, y) = [G(x, y; ω, θ ) | ω e {1.74, 2.47，3.49}, I ^ θ ≤ 8];再将由(Ii (x, y)}中的所有像素点的纹理特征矢量构成的集合作为UiUjM的纹理特征矢量，记为{t(x，y)};其中，t(x，y)的维数为24，符号“[]”为矢量表示符号，6(χ,y；ω, Θ )表示Ui(x，y)}中坐标位置为(x，y)的像素点在中心频率为ω和方向因子为θ下的频率响应的振幅，ω表示Log-Gabor滤波器的中心频率，ω e {1.74，2.47，3.49}, Θ表示Log-Gabor滤波器的方向因子，I≤Θ≤8; ④采用超像素分割技术将UiUjM分割成M个互不重叠的区域，然后将UiO^yM重新表示为M个区域的集合，记为{SPh}，其中，M≥1，SPh表示{SPJ中的第h个区域，I ^ h ^ M ； ⑤采用K均值聚类方法分别对{c(X，y)}和{t(x，y)}进行聚类操作，然后通过获取{c(x, y)}对应的每个聚类的基于颜色特征的紧密度特征值和{t(x，y)}对应的每个聚类的基于纹理特征的紧密度特征值，得到UiUjM中的每个像素点的紧密度特征值，再将由(Ii(x, y)}中的所有像素点的紧密度特征值构成的集合作为UiUjM的紧密度特征值，记为{comp (χ, y)},其中，K≥I, comp (x, y)表示{Ii(x，y)}中坐标位置为(x, y)的像素点的紧密度特征值； ⑥根据{SPh}、{c(x，y)}、{t(x,y)}和{comp (x, y)},构造一个有向的图谱 G (V, E),其中，V表示G (V，Ε)中的所有节点构成的集合，V= {VJ，Vh表示G (V, Ε)中的第h个节点，且Vh代表{SPJ中的第h个区域，E表示G (V, E)中的所有边缘构成的集合，E= { ωhg}, cohg表示G (V, E)中的第h个节点与第g个节点构成的边缘,且0118表示6(￥3)中的第h个节点与第g个节点之间的距离，l^h^M, l^g^M,h^g ;然后根据G(V, E)中的不同节点之间的距离，获取G(V，E)的转移矩阵，记为P，其中，P的维数为MXM ； ⑦通过对P进行矩阵分解，获取{SPJ中的每个区域的显著值，然后将{SPJ中的每个区域的显著值作为对应区域中的所有像素点的显著值，得到UiUjM的图像显著图，记为{Sal(x，y)}，其中，Sal (x，y)表示{Sal (x，y)}中坐标位置为(x，y)的像素点的像素值，亦表示ΙΛ(χ，7)}中坐标位置为(x，y)的像素点的显著值。
2.根据权利要求1所述的一种图像显著图提取方法，其特征在于所述的步骤⑤的具体过程为: ⑤-1、采用K均值聚类方法对{c(X，y)}进行聚类操作，得到UiUjM的基于颜色特征的K个聚类，然后将UiUyM重新表示为K个聚类的集合，记为{Rk}，其中，K≥1，I≤k≤K，Rk表示{RJ中的第k个聚类； ⑤-2、获取{RJ中的每个聚类的基于颜色特征的紧密度特征值，将{Rk}中的第k个聚类的基于颜色特征的紧密度特征值记为
3.根据权利要求1或2所述的一种图像显著图提取方法，其特征在于所述的步骤⑥的具体过程为: ⑥-1、定义一个有向的图谱G(V，E)，其中，V表示G(V，E)中的所有节点构成的集合，V= {VJ，Vh表示G (V，E)中的第h个节点，且Vh代表{SPJ中的第h个区域，E表示G (V, E)中的所有边缘构成的集合，E={cohg}，(0118表示6(￥3)中的第h个节点与第g个节点构成的边缘，且Olig表示G(V，E)中的第h个节点与第g个节点之间的距离，I≤h≤M，I≤g≤M，h ^ g, M表示Ui (χ, y)}中的区域的总个数；⑥-2、根据{c (χ, y)}和{t (x, y)},计算G (V, Ε)中的每个节点的特征矢量，将G(V，E)中的第h个节点的特征矢量记为fh，fh=[ch，th]，Σ，
Iy/ SPh (.V,
IΣ tOj);根据Icomp (x， y)}，计算G (V，Ε)中的每个节点的紧密度特征值，将
、SPh (1亦0^G(V, Ε)中的第h个节点的紧密度特征值记为comph，.?/^=^— Σ⑶其中，
SPh {x,y)^nSPh符号“ □”为矢量表示符号，表示{SPh}中的第h个区域中包含的像素点的总个数，Ω#表示{SPJ中的第h个区域中包含的所有像素点的坐标位置的集合；⑥-3、根据G(V，E)中的每个节点的特征矢量和紧密度特征值，计算G(V，E)中的不同节点之间的距离，将G(V，E)中的第h个节点与第g个节点之间的距离记为cohg，~-f.lhiP_~叫’其中，h古g，符号“丨！ ！丨，，为求欧
VW- +H- J氏距离符号，fg表示G (V, E)中的第g个节点的特征矢量，Compg表示G (V, E)中的第g个节点的紧密度特征值，exp O表示以自然基数e为底的指数函数，e=2.71828183，β为控制参数，xh表示{SPJ中的第h个区域中的中心像素点的坐标位置，Xg表示{SPJ中的第g个区域中的中心像素点的坐标位置，W表示{Ii(x，y)}的宽，H表示ΙΛ(χ，7)}的高； ⑥-4、构造G (V, Ε)的关联矩阵,记为Α,将A中位置为(g，h)的元素的值记为A(g, h),A(g，h) = cohg;构造{SPJ的度矩阵，记为D，D为对角矩阵，将D中对角位置为(h，h)的元素
H的值记为D (h，h)，D(/UO = ，将D中除所有对角位置外的所有其余位置的元素的值置为O ;其中，A和D的维数均为MXM; ⑥_5、根据A和D，计算G(V，E)的转移矩阵，记为P，P=AD'其中，D-1为D的逆矩阵，P的维数为MXM。
4.根据权利要求3所述的一种图像显著图提取方法，其特征在于所述的步骤⑦的具体过程为:⑦-1、对P进行矩阵分解，P=娲运广+…+為元+ +得到 {SPJ的静态分布矢量，记为π，将π中位置为h的元素的值记为n(h), 31 (h)代表{SPJ中的第h个区域的静态分布值，JI (h) = λ h，其中，λρ入!^和λ M分别表示P的第I个分量、第h个分量和第M个分量的特征值，A、妄I,和宅μ分别表不P的第I个分量、第h个分量和第M个分量的特征矢量，闲)"为€的转置矩阵，(on的转置矩阵，力^的转置矩阵，η的维数为M ；⑦-2、对{SPJ中的每个区域的静态分布值进行归一化操作，得到{SPJ中的每个区域的显著值，将{SPJ中的第h个区域的显著值记为Sh H =: ，其中，Jimin表示{SPJ
^max ^min中的M个区域中最小的静态分布值，表示{SPJ中的M个区域中最大的静态分布值； ⑦-3、将{SPJ中的每个区域的显著值作为对应区域中的所有像素点的显著值，得到ΙΛ(χ，7)}中的每个像素点的显著值，将ΙΛ(χ，7)}中的所有像素点的显著值构成(Ii (x, y)}的图像显著图，记为{5&10^7)}，其中，5&10^，7)表示{Sal(x，y)}中坐标位置为(x, y)的像素点的像素值，亦表示UiUjM中坐标位置为(x，y)的像素点的显著值。
【文档编号】G06T7/00GK103971365SQ201410153519
【公开日】2014年8月6日 申请日期:2014年4月16日 优先权日:2014年4月16日
【发明者】邵枫, 胡镇浩, 李福翠 申请人:宁波大学