一种复杂地面背景下运动小目标检测方法与流程

本发明属于数字图像检测技术领域，更具体地，涉及一种复杂地面背景下运动小目标检测方法。

背景技术：

对地面运动目标的侦查以及精确打击是空军的主要任务之一，其中地面运动目标(如火车、汽车、装甲目标等)具有重要的军事价值，需要尽早发现、重点侦查，以便后续完成跟踪、瞄准及打击等任务。然而地面运动目标在行驶过程中，会驶入地形地貌复杂的区域，这导致图像的背景复杂，使得精准的检测地面运动目标成为难题，尤其是当平台位置太高，距离目标太远以及目标自身较小的情况下，成像尺寸较大而图像中目标会呈现尺度小，纹理缺失，能量弱等特点，使得检测更为困难。目前基于图像处理的运动目标检测方法一般有四种：

(1)光流法

光流法的目的是为图像中每个像素点计算出其对应的光流矢量，若这些矢量是连续一致变化的，那么代表没有运动目标，反之存在运动目标。然而其较高的复杂度导致运算量很大，实时性效果差，并且光流法的两个假设使其鲁棒性较差，受噪声和光照影响大。

(2)帧差法

将两帧图像直接进行做差运算，由于短暂时间背景可以认为不变，差图中保留的即为发生变化的像素量，也就是运动目标。然而提取的目标信息不全面，容易产生空洞现象，并且受背景运动影响大。

(3)背景建模

通过逐像素比较当前帧与背景图像的差别，如果该像素点的特征变化十分明显，就可以认为是运动目标，从而进行检测定位。然而背景建模困难、实时性也较差，并且受噪声和光照影响大，不适合动态背景。

(4)特征分类

利用检测目标本身的外观特征，先通过大量的样本对识别器进行训练，然后对图像进行候选区域选取，继而用训练好的识别器进行识别，这类方法要求目标的有一定的尺寸，否则无法提取相应的外观特征，在面对较小的目标时此类检测算法还有待改进。

由此可见，现有方法在目标尺寸小和背景复杂情况下，难以有准确的检测结果。

技术实现要素：

针对现有检测方法难以针对小目标检测的缺陷，本发明提供了一种复杂地面背景下运动小目标检测方法，由此解决现有技术普遍难以在目标尺寸小和背景复杂情况下，实现快速准确的运动小目标检测的技术问题。

本发明为解决上述技术问题采用以下技术方案：

(1)利用光流约束方程，对当前帧图像提取稀疏点，计算其相邻帧的图像的匹配点，结合ransac(randomsampleconsensus)算法计算背景运动估计矩阵；

(2)利用运动估计矩阵进行背景运动补偿，得到帧差图，对前后多帧帧差进行融合，得到前后向运动历史图；

(3)对前后向运动历史图进行阈值处理，并基于区域生长法提取连通域，得到候选运动目标；

(4)对前后多帧的候选目标进行数据关联，得到多条运动轨迹；

(5)跟据目标实际运动特性，计算每条轨迹的置信度得分；根据轨迹的置信度，对候选目标进行剔除和补全，得到最终的小目标检测结果。

进一步地，所述小目标的面积占视频图像的面积的十万分之一到五万分之一。

进一步地，步骤(1)包括：

给定相邻两帧图像，在当前帧图像上均匀取点，采用klt(kanade-lucas–tomasifeaturetracker)特征点跟踪器提取相邻帧上的匹配特征点，再利用ransac算法去除离群值，用得到的特征点对拟合8参数的平面投影变换，获得的单应性矩阵即为当前帧图像到相邻下一帧图像的背景运动估计矩阵pτ^τ+1。

进一步地，步骤(2)包括：

(2-1)运动图像是采用帧差法得到的。为了提高对运动的灵敏度，从而提高对慢速运动目标的辨识度，本算法中运动图像不是通过相邻两帧差分得到，而是每n帧图像计算一幅运动图像。

运动图像是当前图像与背景运动补偿图像的绝对差分：

其中，“-”代表前向差分，得到前向运动图像df(τ)；“+”代表后向差分，得到后向运动图像db(τ)。

(2-2)前向运动历史图(forwardmotionhistoryimage,fmhi)包含目标的历史运动信息，可以通过融合多层前向运动图像来获得。

后向运动历史图(backwardmotionhistoryimage,bmhi)含目标的未来运动信息，可以通过融合多层后向运动图像来获得。

其中，ξ为阈值，d＝255/l为衰减项，l为fmhi中包含的后向运动图像的有效层数。

(2-3)融合fmhi和bmhi，获得前后向运动历史图(forward-backwardmotionhistoryimage,fbmhi)hfb(τ)：

hfb(τ)＝min(blur(hf(τ)),blur(hb(τ)))(2)

其中，blur(·)是指平滑滤波器，可以是gaussian、均值等线性滤波器，也可以是中值等非线性滤波器。min(·)操作能够有效抑制fmhi后方的尾迹和bmhi前方的尾迹，从而保证候选区域提取的定位精度。

进一步地，步骤(4)包括：

(4-1)利用卡尔曼滤波计算并预测每个候选目标在下一帧中的位置，然后计算预测的目标位置和每个新检测到的目标之间的欧几里得距离，将度量结果作为损失函数矩阵，再使用匈牙利匹配算法将下一帧新检测到的目标进行匹配；

(4-2)若新检测到的目标能匹配到前一帧目标，关联成轨迹，若新检测到的目标不能匹配到前一帧目标，创建新的轨迹；

(4-3)将连续未匹配达到阈值的轨迹进行删除；

进一步地，步骤(5)包括：

进一步地，步骤(5)包括：

(5-1)对真实运动小目标的轨迹数据进行特征提取，这里提取目标轨迹的尺度变化特征a，轨迹过程中目标检测框大小的变化；速度变化v，轨迹过程中目标速度大小的变化和方向变化特征d，轨迹过程中目标方向变化的大小。

(5-2)构建深度神经网络模型，进行对轨迹数据的分类。

(5-3)将步骤4得到的多条轨迹输入深度分类器中，从而对异常的轨迹进行剔除，保留最后的检测结果。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得以下增益效果：

(1)本发明提供的复杂地面背景下运动小目标检测方法，针对复杂背景和小尺寸目标的目标检测问题，基于前后向运动历史图进行侯选运动区域提取，融合前后多帧的运动信息，不仅尽可能地保障了候选运动区域提取的高查全率、高查准率和高定位精度，而且提高了算法对背景旋转运动、背景环境复杂等复杂背景的鲁棒性，以及对目标纹理简单、目标慢速运动、目标进入和驶出视场、目标部分遮挡等情形下的适应性。

(2)本发明提供的复杂地面背景下运动小目标检测方法，针对复杂背景下对小目标容易产生漏检虚警等问题，引入数据关联和轨迹特性增强小目标检测结果，虚警目标一般无法形成完整的轨迹，即使符合轨迹方程，其轨迹特性必然和真实运动特性相差甚远，而漏检的目标可以利用轨迹进行预测，从而提高整体的准确性，降低虚警率。

附图说明

图1是本发明实施例提供的一种复杂地面背景下运动小目标检测方法的流程图；

图2是本发明施例提供的利用lkr计算图像稀疏光流跟踪点的示意图；

图3是本发明实施例提供的前后向运动历史图的流程图；

图4是本发明实施例中对前后多帧的候选目标进行数据关联的流程图；

图5是本发明实施例提供的最终小目标检测结果图。

具体实施方式

现将结合附图对本发明的技术方案进行完整的描述。以下描述仅仅是本发明的一部分实施案例而已，并非全部。基于本发明中的实施案例，本领域技术人员在没有作出创造性劳动的前提下所获得的所有其他实施案例，都属于本发明的权利保护范围之内。

如图1所示，一种地面复杂背景下运动小目标检测方法，包括：

(1)利用光流约束方程，对当前帧图像提取稀疏点，计算其相邻帧的图像的匹配点，结合ransac算法计算背景运动估计矩阵；

(2)利用运动估计矩阵进行背景运动补偿，得到帧差图，对前后多帧帧差进行融合，得到前后向运动历史图；

(3)对前后向运动历史图进行阈值处理，并基于区域生长法提取连通域，得到候选运动目标；

(4)对前后多帧的候选目标进行数据关联，得到多条运动轨迹；

(5)跟据目标实际运动特性，计算每条轨迹的置信度得分；根据轨迹的置信度，对候选目标进行剔除和补全，得到最终的小目标检测结果。

进一步地，所述小目标的面积占视频图像的面积的十万分之一到五万分之一。

本发明提供的复杂地面背景下运动小目标检测方法，针对复杂背景和小尺寸目标的运动目标检测问题，基于前后向运动历史图进行侯选运动区域提取，融合前后多帧的运动信息，不仅尽可能地保障了候选运动区域提取的高查全率、高查准率和高定位精度，而且提高了算法对背景旋转运动、背景环境复杂等复杂背景的鲁棒性，以及对目标纹理简单、目标慢速运动、目标进入和驶出视场、目标部分遮挡等情形下的适应性。

如图2所示，步骤(1)包括：

给定相邻两帧图像，将图像区域化，图像均匀分成m×n块，在每个区域选取一个随机点作为该区域的特征点，采用klt(kanade-lucas–tomasifeaturetracker)特征点跟踪器提取相邻帧上的匹配特征点，再利用ransac算法去除离群值，用得到的特征点对拟合8参数的平面投影变换，获得的单应性矩阵即为当前帧图像到相邻下一帧图像的背景运动估计矩阵pτ^τ+1。

如图3所示，步骤(2)包括：

(2-1)为了减小特征点匹配误差，变换矩阵通过上述全局运动估计中得到的相邻帧的单应性矩阵连乘得到

获得全局运动补偿图像后，根据下式计算运动图像：

其中，“-”代表前向差分，得到前向运动图像df(τ)；“+”代表后向差分，得到后向运动图像db(τ)。

(2-2)计算前后向运动历史图

前向运动历史图(forwardmotionhistoryimage,fmhi)包含目标的历史运动信息，可以通过融合多层前向运动图像来获得。

后向运动历史图(backwardmotionhistoryimage,bmhi)含目标的未来运动信息，可以通过融合多层后向运动图像来获得。

其中，ξ为阈值，d＝255/l为衰减项，l为fmhi中包含的后向运动图像的有效层数。

例如令l＝3，即有效层数为3，令n＝3，即每三帧计算一次运动图像，则前向运动第τ帧与τ-2帧一层，后向运动第τ帧与τ+2帧一层，第τ+1帧与τ+3帧一层，第τ+2帧与τ+4帧一层，一共有2*(n-1)+l共7帧，计算前向运动历史图hf(τ)时，只需要由hf(τ-1)递推一次即可得到，而hb(τ)要由hb(τ+l)递推l次才能得到。由hb(τ-l)递推一次得到hb(τ+l-1)，递推两次得到hb(τ+l-2)，以此类推，递推l次得到hb(τ)。计算时，令初值hb(τ+l)＝0，hf(τ-1)＝0，表示与运动图像尺寸相同、像素值均为0的单通道图像。

(2-4)融合fmhi和bmhi，获得前后向运动历史图(forward-backwardmotionhistoryimage,fbmhi)hfb(τ)：

hfb(τ)＝min(medfilt2(hf(τ)),medfilt2(hb(τ)))，

其中，medfilt2(·)是指中值滤波器。min(·)操作能够有效抑制fmhi后方的尾迹和bmhi前方的尾迹，从而保证运动信息的准确提取。

进一步地，步骤(3)包括：

(3-1)自适应阈值二值化的目的是针对输入的fbmhihfb(τ)，选取合适的阈值进行二值化处理，获得运动二值图像mbin(τ)。根据fbmhi的特点，采用大津法计算双阈值，选取较小的阈值进行二值化以确保目标区域的完整性。

(3-2)为了去除干扰噪声点、增强显示运动目标，尤其是尺寸较小的运动目标，本文先后对运动二值图像mbin(τ)进行了一次腐蚀和两次膨胀操作。

(3-3)基于区域生长法提取候选运动区域，将有相似性质的像素点合并到一起。对每一个区域要先指定一个种子点作为生长的起点，然后将种子点周围领域的像素点和种子点进行对比，将具有相似性质的点合并起来继续向外生长，直到没有满足条件的像素被包括进来为止。

如图4所示，步骤(4)包括：

(4-1)利用卡尔曼滤波计算并预测每个候选目标在下一帧中的位置，然后计算预测的目标位置和每个新检测到的目标之间的欧几里得距离，将度量结果作为损失函数矩阵，再使用匈牙利匹配算法将下一帧新检测到的目标进行匹配；

(4-2)若新检测到的目标能匹配到前一帧目标，关联成轨迹，若新检测到的目标不能匹配到前一帧目标，创建新的轨迹；

(4-3)将连续未匹配达到阈值的轨迹进行删除。

进一步地，步骤(5)包括：

(5-1)对真实运动小目标的轨迹数据进行特征提取，这里提取目标轨迹的尺度变化特征a，轨迹过程中目标检测框大小的变化；速度变化v，轨迹过程中目标速度大小的变化和方向变化特征d，轨迹过程中目标方向变化的大小，进行特征向量联合s＝[a,v,d]；

(5-2)构建深度神经网络模型，对轨迹特征向量s进行深度学习；

(5-3)将步骤4得到的多条轨迹特征向量输入深度分类器中，计算轨迹属于真实目标的置信度得分，从而对得分较低的轨迹进行剔除，保留最后的检测结果，检测结果如图5所示。

本发明提供的复杂地面背景下运动小目标检测方法，针对复杂背景下对小目标容易产生漏检虚警等问题，引入数据关联和轨迹特性增强运动小目标检测结果，虚警目标一般无法形成完整的轨迹，即使符合轨迹方程，其轨迹特性必然和真实运动特性相差甚远，而漏检的目标可以利用轨迹进行预测，从而提高整体的准确性，降低虚警率。

以上实施例仅供说明本发明之用，而非对本发明的限制，有关技术领域的技术人员，在不脱离本发明的精神和范围的情况下，所作出各种变换或变型，均属于本发明的范畴。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前下，本发明还会有各种变化和改进，本发明要求保护范围由所附的权利要求书、说明书及其等效物界定。