基于Gestalt优化的红外视频时空显著性检测方法与流程

本发明涉及一种基于gestalt优化的红外视频时空显著性检测方法，属于图像处理技术领域。

背景技术

随着红外技术的不断发展和成熟，使得其广泛应用于红外预警系统、红外搜索与跟踪系统、精确制导和夜间导航等军用或民用领域中，而作为这些系统的关键技术，红外图像或视频显著性检测已经成为红外图像处理领域中的研究热点，其性能的优劣直接影响到各个系统效能的发挥。由于红外视频中包含海量的红外图像数据，如何让计算机快速地辨别出红外视频中有用的、人类视觉中最为关注的显著性区域，是目前研究的热点和难点。

目前，针对可将光视频的时空显著性检测，已经有了一些方法。如专利：一种基于时空约束的视频显著性检测方法及系统(公开号：cn107392917a)，该发明首先对待检测视频的待检测当前帧进行超像素分割，得到超像素分割后的当前帧和超像素集合；然后，计算上一帧显著图，以及运动历史能量，和当前帧运动边缘能量，运动分布能量，并将这几部分生成混合运动能量图，从而生成初始目标分割区域以及可靠背景区域；最后获取视频图像当前帧的显著图。该发明能够得到清晰的显著性区域，且在复杂场景下鲁棒性较高，但存在一定的不足，即背景依然残留。

视频帧图像中颜色和运动全局对比度的视觉显著性算法(公开号：cn103208125a)。该方法主要利用颜色和运动计算对比度的方法来得到显著性图，在对比度明显的情况下能够取得较好的效果，但是在复杂场景的时候性能会有一定程度的下降。

与可见光视频图像显著性检测相比，红外视频图像的时空显著性检测更具有挑战性，其原因在于，成功作用于可见光视频图像的一些属性如纹理，方向，颜色在对红外视频进行显著性检测时很容易失效；同时，红外视频一般具有较强的背景干扰，如云层干扰，海浪杂波干扰等，使得显著性区域很容易被背景覆盖。因此，针对红外视频，研究有效和鲁棒的时空显著性方法十分必要和迫切。

技术实现要素：

发明目的：针对现有技术中存在的问题，本发明提供了一种专门面向红外视频的显著性检测方法，它能够保证在完全抑制背景噪声的同时，清晰突显出显著性区域。

技术方案：一种基于gestalt优化的红外视频时空显著性检测方法，包括如下步骤：

步骤一：针对当前帧(设为t时刻)红外图像i^t，采用融合背景信息的局部稀疏表示红外图像空间显著性检测方法计算其空间显著性，得到空间显著图s^t；

步骤二：设计多帧对称差分时间显著性检测算法，对原始红外视频进行处理，得到当前帧的时间显著图t^t；

步骤三：采用自适应加权的融合方法，将计算得到的空间显著图s^t和时间显著图t^t进行融合，获得初始时空显著图st^t；

步骤四：基于gestalt理论中接近性和相似性原则对初始显著图进行优化，得到最终显著图ost^t。

其中，在步骤一中，基于融合背景信息的局部稀疏表示红外图像空间显著性检测算法是采用局部稀疏表示理论结合信息熵、及最大标准差，来实现红外图像当前帧的空间显著图s^t。具体操作过程如下(该方法参考专利“基于混合算法的红外图像显著性区域检测方法”，公开号：cn107451595a)：

步骤a：对当前帧红外图像i^t进行局部稀疏表示，得到初始空间显著图sm；

步骤b：提出采用融合二维最大熵/最小交叉熵和最大标准差的红外图像前景预测算法，对i^t进行处理，得到突显目标并抑制背景的前景预测图sy；

步骤c：将i^t与sy相减，得到背景图sb；

步骤d：将初始空间显著图sm减去背景图sb，得到最终的空间显著图s^t。

在步骤二中，多帧对称差分显著性检测算法得到时间显著图的具体操作过程如下：

步骤a：输入红外视频，设i^t为当前t时刻的输入红外视频帧图像，i^t-1为t-1时刻的输入红外视频帧图像，i^t+1为t+1时刻的输入红外视频帧图像，计算i^t和i^t-¹的帧差f^t,t-1，i^t和i^t+1的帧差f^t,t+1：

f^t,t-1＝|i^t-i^t-1|，f^t,t+1＝|i^t-i^t+1|

步骤b：为了突显视频中显著性运动区域，将帧差f^t,t-1和f^t,t+1二值化为b^t,t-1和b^t,t+1，其表达式如下：

其中，m为二值化阈值。

步骤c：采用多个连续帧帧差的联合来表示所要突显的显著性运动目标，其定义式如下：

t^t即在t时刻包含运动目标的时间显著图。

在步骤三中，采用自适应加权融合方法，它是一种相互一致的引导融合方法，通过该融合方法能够将空间显著图和时间显著图自适应的结合起来，获得初始时空显著图st^t。具体操作过程如下：

步骤a：给定当前帧红外图像的空间显著图s^t和时间显著图t^t，计算其交互一致性：

其中，i表示第i个像素点。表示s^t对于t^t的相关性，表示t^t对于s^t的相关性，并且和的值在[0,1]区间内。

步骤b：通过和计算加权融合的权重和其表达式如下：

步骤c：基于权重融合空间显著图s^t和时间显著图t^t，得到初始时空显著图st^t。

在步骤四中，基于gestalt理论中接近性和相似性原则对初始显著图进行优化，具体操作过程如下：

步骤a：针对当前帧红外图像i^t中的每一个像素点i，计算该像素点和其周围像素点j的空间接近性wp和灰度相似性ws：

其中，pi和pj分别表示当前帧原始图像的像素点i和j在图像中的位置，ci和cj分别表示当前帧原始图像的像素点i和j的灰度值，γp为控制空间接近性范围的参数，γc是控制灰度相似性范围的参数。

步骤b：定义优化后的时空显著图为ost^t,其计算方法如下：

其中，ost^t(i)表示优化后第i个像素点的时空显著值，ωi表示以i为中心的所有相邻像素点构成的区域，z(i)为归一化系数。

与现有技术相比，本发明的优点在于：

它能够在抑制背景噪声的同时，将要突显的显著性区域清晰的突显出来，而且突显的显著性区域轮廓非常的明显和清晰。

附图说明

图1是本发明的结构框图；

图2是具体实施例中时空显著图计算过程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

基于gestalt优化的红外视频时空显著性检测方法。首先，利用融合背景信息的局部稀疏表示红外图像空间显著性检测算法计算空间显著图；接着，提出一种多帧对称差分显著性检测算法计算时间显著图；第三，通过自适应加权方式融合空间、时间显著图，得到初始时空显著图；最后，提出一种基于gestalt理论的优化算法对初始时空显著图进行优化，得到最终时空显著图。

其中，所述的融合背景信息的局部稀疏表示红外图像空间显著性检测算法，是通过多尺度局部稀疏表示操作获取基于局部稀疏表示的显著图；再通过融合二维最大熵/最小交叉熵和最大标准差的红外图像前景预测算法，获得前景预测图；再将原始图像减去获得的前景预测图得到包含背景信息的背景图；最后，将基于局部稀疏表示的显著图减去背景图，得到空间显著图。

所述的多帧对称差分显著性检测算法，首先，采用相邻帧之间的帧差来获取时间运动信息；然后，利用对称多帧相结合的方法来计算红外视频的时间显著性，得到当前帧图像的时间显著图。

所述的初始时空显著图，是运用自适应加权融合将上述通过空间显著性算法得到的空间显著图，和通过多帧对称差分算法得到的时间显著图进行融合得到初始时空显著图。

所述的最终时空显著图，由于接近性和相似性要求在位置空间上相近，颜色特征空间上相似的区域必须具有相近的显著值，因此通过基于gestalt理论的空间相近性和颜色相似性为引导的平滑方式来获得最终时空显著图，以此来加强初始时空显著图的实际显著性区域，并消除背景噪声。

基于gestalt优化的红外视频时空显著性检测算法，整体操作过程如图1所示，具体实施步骤如下：

1)针对当前帧(设为t时刻)红外图像i^t，采用融合背景信息的局部稀疏表示红外图像空间显著性检测方法计算其空间显著性，得到空间显著图s^t；

2)采用多帧对称差分时间显著性检测算法，对原始红外视频进行处理，得到当前帧的时间显著图t^t；

3)采用自适应加权的融合方法，将计算得到的空间显著图s^t和时间显著图t^t进行融合，获得初始时空显著图st^t；

4)基于gestalt理论中接近性和相似性原则对初始显著图进行优化，得到最终显著图ost^t。

a.采用融合背景信息的局部稀疏表示红外图像空间显著性检测计算空间显著图，其具体操作过程如下：

11)对当前帧红外图像i^t进行局部稀疏表示，得到初始空间显著图sm；

12)为了解决局部稀疏表示显著图突显的显著性区域模糊以及存在背景干扰，提出采用融合二维最大熵/最小交叉熵和最大标准差的红外图像前景预测算法(请参考专利申请201710659347.0)，对i^t进行处理，得到突显目标并抑制背景的前景预测图sy；

13)将i^t与sy相减，得到背景图sb；

14)将初始空间显著图sm减去背景图sb，得到最终的空间显著图s^t。

b.采用多帧对称差分显著性检测算法，对原始红外视频图像进行处理，得到时间显著图，其具体操作过程如下：

21)输入红外视频，设i^t为当前t时刻的输入红外视频帧图像，i^t-1为t-1时刻的输入红外视频帧图像，i^t+1为t+1时刻的输入红外视频帧图像，计算i^t和i^t-1的帧差f^t,t-1，i^t和i^t+1的帧差f^t,t+1：

f^t,t-1＝|i^t-i^t-1|，f^t,t+1＝|i^t-i^t+1|

22)为了突显视频中显著性运动区域，将帧差f^t,t-1和f^t,t+1二值化为b^t,t-1和b^t,t+1，其表达式如下：

其中，m为二值化阈值。

23)采用n个连续帧帧差的联合来表示所要突显的显著性运动目标，其定义式如下：

t^t即在t时刻包含运动目标的时间显著图。

c.本发明通过自适应加权融合将空间显著图和时间显著图进行融合，得到初始时空显著图，其具体操作过程如下：

1)给定当前帧红外图像的空间显著图s^t和时间显著图t^t，计算其交互一致性：

其中，i表示第i个像素点。表示s^t对于t^t的相关性，表示t^t对于s^t的相关性，并且和的值在[0,1]区间内，s^t(i)表示空间显著图s^t的第i个像素点的显著值，t^t(i)表示时间显著图t^t的第i个像素点的显著值。

2)通过和计算加权融合的权重和其表达式如下：

3)基于权重融合空间显著图s^t和时间显著图t^t，得到初始时空显著图st^t。

d.本发明通过gestalt理论对初始时空显著图进行优化得到最终时空显著图，其具体操作过程如下：

1)针对当前帧红外图像i^t中的每一个像素点i，计算该像素点和其周围像素点j的空间接近性wp和灰度相似性ws：

其中，pi和pj分别表示当前帧原始图像的像素点i和j在图像中的位置，ci和cj分别表示当前帧原始图像的像素点i和j的灰度值，γp为控制空间接近性范围的参数，γc是控制灰度相似性范围的参数。

2)定义优化后的时空显著图为ost^t,其计算方法如下：

其中，ost^t(i)表示优化后第i个像素点的时空显著值，ωi表示以i为中心的所有相邻像素点构成的区域，z(i)为归一化系数，st^t(j)表示初始时空显著图st^t中第j个像素点的初始时空显著值。

结合仿真条件与结果对本发明做进一步的描述：

1)仿真条件

本次实验是在pc机(intelcore,主频2.6ghz，内存4gb)中，matlab2013b编程环境中对俄勒冈州立大学(osu)热行人数据库以及自己收集制作的红外视频图像数据库中选取的红外视频序列进行实验。

2)仿真内容与结果分析

如图2所示，通过一个实例给出，采用本发明提出的一种基于gestalt优化的红外视频时空显著性检测方法获得的效果，并同时呈现中间过程中的空间显著图，时间显著图，初始时空显著图以及最终时空显著图。

从实验结果来看，本发明基于gestalt优化的红外视频时空显著性检测算法，能够很好的突显显著性区域，所突显出的显著性区域不仅轮廓清晰，内部完整，而且能够完全的抑制背景噪声，并且最终的时空显著图相对于初始时空显著图来说，显著性区域更加明显、平滑，背景被抑制的更加彻底；初始显著图相对于空间显著图和时间显著图来说也有更好的效果，因为通过自适应结合的初始时空显著图能够解决空间显著图对于很复杂的场景，会残留一定的背景噪声，以及检测到的显著性区域不明显；对于时间显著图，当视频中某一显著性目标处于静止状态，会造成检测不到显著性区域或显著性区域检测效果不好的问题。由此可见，本发明所提出的算法能够更好的突显显著性区域，抑制背景噪声。

综上所述，通过基于gestalt优化的红外视频时空显著性检测方法对红外视频进行显著性检测能够获得突显显著性区域，并且完全抑制背景噪声的显著图。通过基于融合背景信息的局部稀疏表示红外图像空间显著性检测算法获得突显完整的显著性区域的空间显著图；通过多帧对称差分获得能够更好突显显著性区域轮廓以及抑制背景噪声的时间显著图；再通过自适应加权融合，结合两者优点，获得完整突显显著性区域，抑制背景杂波的初始时空显著图；最后通过gestalt的空间相近性和特征相似性对初始时空显著图做进一步的优化，得到强化实际显著性区域，更加彻底抑制背景杂波的最终显著图。