一种融合运动特征的时空显著性检测方法
【技术领域】
[0001] 本发明属于图像与视频处理领域，具体是一种融合运动特征的时空显著性检测方 法。本发明以基于区域的显著性检测模型为基础，首先，用超像素分割算法将每一帧图像表 示为一系列超像素并且提取超像素级的颜色直方图作为特征;然后，通过光流估计和块匹 配的方法得到运动显著图，根据颜色的全局对比和空间分布得到空间显著图；最后，使用一 种动态融合策略将运动显著图和空间显著图融合成为最终的时空显著图。该方法融合了运 动特征进行显著性检测，能够同时运用于静态和动态场景中。 2、
【背景技术】
[0002] 显著性检测是指准确地定位并提取在视频和图像中包含较大的信息量、能吸引人 的注意力的区域。在图像处理过程中，将较高的处理优先级赋予图像显著区域，既可以降低 计算过程的复杂度，又可以提高图像处理的效率。因此，显著性检测在目标识别、图像检索、 视频图像编码等领域具有广泛的应用前景。
[0003] 根据处理的信息源图像的不同，显著性检测模型可分为空域显著性检测模型和时 空显著性检测模型。针对静态场景的空域显著性检测，主要有基于生物启发模型和特征整 合理论的显著性检测方法，该算法通过中心-周围算子计算不同尺度上特征的差别来得到 显著度。有通过计算像素与其周边像素的特征距离的基于局部对比度分析的图像显著性检 测。也有将图像分割为若干区域，结合图像的空间特性和颜色对比度来计算全局对比的显 著区域检测方法。
[0004] 动态场景下的时空显著性检测算法不仅要考虑检测空间显著性区域，还要考虑时 间轴上显著性的影响因素，如物体运动、自然条件变化、相机移动等等。根据计算方式的不 同，时空显著性检测算法主要分为四类：（1)基于特征融合的模型：在图像显著性检测模型 的基础上加入运动特征，计算连续两帧图像的差异来得到运动产生的显著性；（2)基于空间 平面的模型:谱残余方法的基础上，认为在时间轴上，帧序列构成的像素点在χ-τ，γ-τ平面 都满足谱残余的结论，将Χ-Τ，Υ-Τ平面看作二维矩阵，分别进行低秩-稀疏分解，最后融合成 为最终的显著图；（3)基于频域分析的模型:从频域分析角度出发，将亮度、颜色、运动三类 特征组合四元数组，然后通过四元数傅里叶变换获取视频在时空域上的相位谱，并利用该 相位谱检测视频的显著性；（4)基于背景检测的模型：高斯混合模型也被用于时空显著性检 测，在单一场景中，将高斯混合模型计算出的前景区域作为显著区域。以上方法将静态显著 性和动态显著性简单的线性融合或者只突出了运动特征，忽略了场景中的动态特性和空间 特性，难以获取准确的显著区域。 3、
【发明内容】
[0005] 本发明以基于区域的显著性检测模型为基础，融入光流向量块对比的方法提取图 像序列的运动特征，并提出了一种将空域显著性和时域显著性动态融合的策略，能够同时 运用于静态和动态的自然场景中。
[0006] (1)超像素分割及特征提取
[0007] 使用简单线性迭代聚类将每一帧图像Ft表示为一系列超像素 Ψ义= 1,.将 超像素作为基本的处理单元，可以减少处理单元的数量，而且可以保证最终的检测结果能 够均匀地突出显著对象。颜色特征的提取采用颜色直方图，将Lab颜色空间的每一个通道量 化得到12个不同的值，将颜色的数量减少到qc=12 3=1728,对于每一个超像素印丨'，计算超 像素中所有像素在Lab空间的均值，并且进行量化得到颜色直方图CH t，最后将颜色直方图 归一化，使?
[0008] (2)基于运动特征的时间显著性
[0009] 本发明采用光流运动估计和块匹配的方法来提取图像序列的运动特征。光流运动 估计法的基本思想是将运动图像函数f(x，y，t)作为基本函数，根据图像强度守恒原理建立 光流约束方程，通过求解光流约束方程，计算运动参数。对于当前帧F t，使用其前一帧 为参考帧，通过光流运动估计法计算得到F+的伝动向量扬(lUvi V、. Wx, y))，对于当前帧Ft中的 每一个超像素切丨'，计算其平均运动矢量大>
[0010] 为了克服背景运动和相机抖动的影响，本发明通过块匹配的方法在前一帧中找到 与当前帧最匹配的超像素，并且计算该超像素与其背景超像素的相对运动值作为其显著 值。具体的实现方法:在帧Ft-i中选择与其最匹配的超像素
把 相连接的超像素与其一起作为相关联超像素集合^，///，/^分别表示超像素i，j的中心 位置。因此，超像素的时间显著性定义为： _1]
(1) ^Ft-\ ^Ψ?
[0012] 其中，帧间相关性
，c(i)和c(j)分别 表示超像素i和j在Lab颜色空间量化后的颜色值。
[0013] (3)空间显著性
[0014] 本发明根据颜色的全局对比和空间分布来计算每一帧图像的空间显著性。对于当 前帧中的超像素Ψ:，其颜色全局对比显著值定义为：
[0015
⑵
[0016] 其中，fj超像素的直方图在整幅图像中出现的概率，C(i)和C(j)分别表示超像 素i和j在Lab颜色空间量化后的颜色值。
[0017] 颜色的空间分布也会影响图像的显著性，颜色分布越紧密，则显著性越高，因此颜 色的空间分布显著性定义为：
[0018]
(3) Μ
[0019] 其中，￡>(ψ/)为趣象素j的中心与图像中心的距?
当超像素i和j的颜色越相近并且距离越小，丨_,ψ/)的值越大。
[0020] 最后将颜色全局分布显著性与空间分布显著性融合得到图像的空间显著性：
[0021 ]
(4)
[0022] (4)时空显著性
[0023] 熄时问显荖忡和空问显荖忡白话府钱忡融合徨刹时空