一种融合历史库信息的红外小目标跟踪方法

1.本发明属于红外图像处理技术领域，特别是涉及一种融合历史库信息的红外小目标跟踪方法。


背景技术：

2.红外序列图像的目标跟踪方法作为红外图像处理中的一项重要技术，广泛应用于民用及航空航天等领域，如机场范围内鸟的检测跟踪及远距离黑飞无人机的检测跟踪，可用于支撑目标的定向及定位信息的确定。
3.现有的红外小目标跟踪采用轨迹关联方法，该方法基于目标强度和运动的连续性作为物理基础，通过构建强度、位置的关联实现目标轨迹检测。首先利用序列图像的时、空域信息对输入图像进行预处理，抑制背景，提高目标信噪比；然后通过阈值分割提取图像中候选目标点；最后依据目标强度和运动连续性对候选目标点进行多帧关联剔除噪声和背景引起的虚警，确定出真实目标轨迹。该方法可以大大降低噪声等干扰引起的虚假目标点与目标轨迹匹配的概率，提高目标轨迹跟踪准确度与稳定性。
4.但是，由于红外小目标姿态/运动特性变化、与复杂背景的耦合作用等，造成目标强度和运动的连续性遭到一定程度的破坏，致使跟踪性能下降。因此，基于轨迹关联的目标轨迹跟踪方法无法在目标运动突变或者目标局部背景突变时实现鲁棒性跟踪。另外，由于目前多帧检测方法为统一分割阈值的全图检测，往往顾此失彼，无法同时保证低虚警率和弱目标地成功检出，导致弱目标跟踪困难。


技术实现要素：

5.本发明的目的是提供一种融合历史库信息的红外小目标跟踪方法，以解决上述现有技术存在的问题。
6.为实现上述目的，本发明提供了一种融合历史库信息的红外小目标跟踪方法，包括以下步骤：
7.创建目标离线库，所述目标离线库包括红外小目标共性特征；
8.创建目标在线库，所述目标在线库包括待测红外小目标轨迹特征；对待测红外小目标轨迹进行特征提取，基于提取结果构建待测红外小目标融合特征；
9.基于所述待测红外小目标融合特征确定分割阈值，通过所述分割阈值对待测红外小目标下一帧图像进行分割，得到疑似红外小目标点；
10.将所述疑似红外小目标点分别与所述待测红外小目标融合特征和所述红外小目标共性特征进行对比，得到疑似红外小目标跟踪定位结果。
11.优选地，创建目标离线库的过程包括：对目标图像进行特征提取，获得红外小目标的共性特征，基于共性特征创建目标离线库；其中，所述共性特征包括：第一目标尺度、第一最大灰度值及第一帧间位移。
12.优选地，构建待测红外小目标融合特征的过程包括：对目标轨迹进行特征提取，得
到红外小目标融合特征；
13.其中，所述待测红外小目标融合特征包括：第二最大灰度值、第二目标尺寸、第二帧间位移及运动偏角特征。
14.优选地，确定分割阈值包括：对所述待测红外小目标图像进行背景灰度特征提取，得到所述待测红外小目标的背景灰度特征；基于所述待测红外小目标的背景灰度特征、所述第二最大灰度值及所述第二最大灰度值的动态变化区间，计算所述待测红外小目标图像的分割阈值；其中，所述分割阈值包括：最佳分割阈值、最大分割阈值及最小分割阈值。
15.优选地，对待测红外小目标图像进行分割之前还包括：以所述待测红外小目标轨迹末点为中心，基于第二帧间位移确定正方形区域的边长，获取所述待测红外小目标下一帧图像的局部检测区域。
16.优选地，对待测红外小目标图像进行分割的过程包括：对所述局部检测区域进行背景抑制，基于所述分割阈值，对所述局部检测区域进行阈值分割，获得疑似红外小目标点。
17.优选地，得到疑似红外小目标跟踪定位结果的过程包括：通过所述待测红外小目标融合特征计算所述疑似红外小目标点与轨迹的相关性，确定待测红外小目标轨迹匹配的目标点，基于所述目标点得到疑似红外小目标跟踪定位结果；在无匹配点的条件下，通过红外小目标的共性特征对所述疑似红外小目标点进行筛选，得到高疑似度目标点，作为红外小目标跟踪定位结果。
18.本发明的技术效果为：(1)本发明提出了融合历史库信息的红外小目标跟踪方法，包括目标离线库与目标在线库的创建、分割阈值自适应的局部目标检测、样本库历史信息比对的目标点与轨迹匹配，最终实现目标的稳定跟踪，解决了红外小目标对比度低且易与虚警杂波混淆的问题。
19.(2)本发明提出了目标在线库与目标离线库构建与表征方法，离线库通过离线提取历史事件场景中目标特征以描述目标特征的共性变化规律，在线库通过提取轨迹历史帧的表观与运动特征，描述目标特征的个性变化规律，为目标局部检测分割阈值的确定以及候选目标点与轨迹链相关性的计算提供依据。
20.(3)本发明提出了阈值自适应调整的目标检测子模块，依据目标与局部背景灰度差值，自适应地调整分割阈值，提高弱目标的检测成功率和精确度，解决了在长期跟踪过程中目标检测分割阈值不适配问题。
21.(4)本发明提出了基于目标历史特征信息的融合多维特征模型，通过对目标最大灰度值、目标尺度、帧间位移、运动偏角四维特征的融合，提高目标描述的全面性，能够更准确的评估候选目标点与目标轨迹的疑似度，最终实现鲁棒性目标跟踪。
附图说明
22.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
23.图1为本发明实施例中的基于目标特征动态变化区间的疑似目标筛选示意图,其中图1(a)为低疑似度目标观测结果，图1(b)为高疑似度目标观测结果；
24.图2为本发明实施例中的基于目标与背景灰度差异top-hat分割阈值自适应的局
部目标检测流程图；
25.图3为本发明实施例中的局部检测图像块的获取示意图，其中图3(a)为原图，图3(b)为目标局部检测图像块；
26.图4为本发明实施例中测试实例中目标1灰度变化与分割阈值自适应调整示意图；
27.图5为本发明实施例中分割阈值自适应的局部目标检测与固定参数的top-hat目标检测对比示意图，其中图5(a)为局部top-hat目标检测结果，图5(b)为全图top-hat目标检测结果；
28.图6为本发明实施例中基于融合特征模型的目标预检测图像块疑似度评估流程图；
29.图7为本发明实施例中测试实例中目标跟踪轨迹与真实轨迹对比示意图；
30.图8为本发明实施例中融合历史库信息的红外小目标跟踪流程图。
具体实施方式
31.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
32.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
33.本发明实施例所用检测算法为top-hat小目标检测算法。本发明实施例所用测试序列图像为天空背景红外弱小多目标视频，共100帧，共3个目标。如图8所示，本发明实施例中提供一种融合历史库信息的红外小目标跟踪方法，包括：
34.步骤一：创建目标离线样本库，通过在历史事件场景下人工标注并提取得到的红外小目标共性特征，形成对目标的先验特征估计，描述红外小目标特征共性变化规律。
35.所述步骤一中的目标离线样本库通过人工标记，在含有红外小目标的序列图像中提取目标特征，并以特征动态变化区间描述红外小目标特征共性变化规律。目标动态变化区间包含目标的三种特征，如目标尺度、最大灰度值与帧间位移。通过统计目标特征的变化区间确定待观测目标的特征变化区间，用于候选目标点的筛选，以提高对真实目标与虚假目标的分辨能力。目标特征动态分布区间如表1所示。
36.表1
[0037][0038]
其中，i
max
、i
min
为目标最大灰度值的最大值与最小值，描述目标特征动态变化区间中最大灰度值的变化范围；s
max
、s
min
为目标尺度的最大值与最小值，描述目标特征动态变化
区间中目标尺度的变化范围；v
max
、v
min
为目标帧间位移的最大值与最小值，描述目标特征动态变化区间中目标帧间位移的变化范围。
[0039]
图1为本发明在实例测试过程中采用的低疑似度目标图像块与高疑似度目标图像块，用于对本发明利用目标特征动态变化区间筛选高疑似度目标做详细说明。目标的特征动态变化区间是从如图1(b)所示的高疑似度目标图像块中提取得到，符合高疑似度目标特征描述。从图中可以看出，全图检测可能将图中散斑、高亮的建筑物边缘作为目标观测结果提取出来，如图1(a)所示。这些低疑似度目标在灰度与目标尺度方面与目标相差较大，因此可以利用本发明的目标特征动态变化区间进行筛选。
[0040]
步骤二：为所述待测目标创建在线样本库，存储待测目标在跟踪过程中的多维特征信息与位置信息，在时域上提高目标特征丰富度，为目标局部检测分割阈值的确定以及候选目标点与轨迹链相关性的计算提供依据。
[0041]
所述步骤二中目标在线样本库，为存储所述待测目标多维特征信息的单元模块。为了尽可能挖掘红外弱小目标的特征，样本库中存储了目标轨迹多种特征信息，包括目标位置信息、目标表观特征、目标运动特征等。目标在线样本库具体信息如表2所示。
[0042]
表2
[0043]
[0044][0045]
所述步骤二中的为了实现多维特征的融合，设计了目标融合特征模型m(i,s,v,α)，针对红外弱小目标间外观相似、单一特征描述不准确的问题提出了解决方案。通过提取所述待测目标在线样本库中四种目标多维特征(最大灰度值特征、目标尺度特征、帧间位移特征和运动偏角特征)，构建多维融合特征，提高目标特征描述的全面性。融合特征模型m(i,s,v,α)具体包含以下5个公式：
[0046][0047][0048][0049]
[0050]
score＝a1scorei+a2scores+a3scorev+a4score
α
[0051]
其中，i
now
、x
now
、v
now
、α
now
为当前帧的目标最大灰度值、尺度、帧间位移、运动偏角。a1、a2、a3、a4为加权系数，满足a1+a2+a3+a4＝1。μi、μs、μv、μ
α
为最大灰度值、尺度、帧间位移、运动偏角的拟合均值，σi、σs、σv、σ
α
为最大灰度值、尺度、帧间位移、运动偏角的拟合方差，由目标在线样本库最近n特征计算得到，公式如下：
[0052][0053][0054]
其中，μf为特征f的均值，αf为特征f的方差，f为最大灰度值i、尺度s、帧间位移v、运动偏角α之一。
[0055]
所述步骤二中目标在线样本库包含的所有信息按照如下形式存储：
[0056][0057]
其中，上式表示目标在t1时刻初始化在线样本库，并且已完成第t2时刻目标特征的更新,目标在线样本库中包含边界框、中心位置、目标尺度、最大灰度值、帧间位移、运动方向、角度差以及目标图像块在t1时刻到t2时刻的特征信息。
[0058]
本实例测试视频中三个目标的目标在线样本库运行结果展示，如表3所示，包含了目标中心位置、边界框、目标尺度、最大灰度值、帧间位移、运动方向、角度差、目标图像块等特征自轨迹创建起每一帧的特征。
[0059]
表3
[0060]
[0061]
[0062]
[0063][0064]
步骤三：如图2所示，以轨迹末点开窗进行top-hat分割阈值自适应的局部目标预检测。首先，以轨迹关联末点为中心，以目标可能出现半径为正方形边长，在下一帧红外图像中获得目标局部检测开窗区域。然后，利用目标最大灰度值以及该目标最大灰度值的最大、最小值，结合局部背景灰度均值计算最佳分割阈值以及最大、最小分割阈值。最后，利用三个分割阈值在局部检测开窗区域实现目标局部预检测。
[0065]
所述步骤三中目标局部检测区域大小依据目标帧间位移确定，目标可能出现半径如下式计算：
[0066]
l＝m
·
μv[0067]
其中，m为比例调节系数，在本实例中取20，μv为步骤二中目标帧间位移v在最近n帧的估值，n在本实例中取5。
[0068]
基于轨迹末端开窗对本实例第90帧图像的处理结果，如图3所示。本实例共有3个目标，融合特征模型分别对3个目标的帧间位移进行估计以确定局部目标检测区域大小，然后依据轨迹末端位置在原始图像中分割得到目标局部检测区域，其中原始图像，如图3(a)所示，最后将多个邻近的局部目标检测区域合并。结果显示，本发明可以准确完成目标轨迹局部检测区域的获取，其中目标局部检测图像块，如图3(b)所示。
[0069]
所述步骤三中top-hat分割阈值自适应策略，针对在长期跟踪过程中由于目标变弱、对比度降低造成的top-hat目标检测分割阈值不适配问题提出了解决方案。考虑到top-hat滤波操作即用以滤波结构元大小为邻近区域内的最小值赋值给目标区域覆盖目标区域较亮的像素点，最后与原图做差得到目标观测结果，因此目标分割的阈值可以选择目标区域和其周围背景区域的像素差值。分割阈值可按下式进行调整：
[0070]
t＝b
×
(i
obj_max-i
b_mean
)
[0071]
其中，i
obj_max
为目标区域包含的最大灰度值，i
b_mean
为目标局部背景区域灰度均值，b为系数，在本实例中取0.7。
[0072]
所述步骤三中基于目标最大灰度值、最大灰度值的动态范围以及局部背景灰度差值计算最佳分割阈值以及最大、最小分割阈值，针对弱目标分割困难的问题，依据目标最大灰度值动态变化区间、目标最大灰度估值以及局部背景灰度均值，按照top-hat分割阈值自适应策略，计算多分割阈值：最佳分割阈值以及最大、最小分割阈值，进行多阈值分割，以提高目标检测成功率。其中最佳分割阈值t
pre
由目标最大灰度值估值与局部背景灰度均值的差决定，最大分割阈值t
max
和最小分割阈值t
min
由该目标最大灰度值的历史最大值i
obj_max_maxgray
、目标最大灰度值的历史最小值i
obj_min_maxgray
与局部背景灰度均值i
b_meangray
的差决定，具体计算公式如下：
[0073]
t
pre
＝a
×
(i
pre-i
b_meangray
)
[0074]
t
max
＝a
×
(i
obj_max_maxgray-i
b_meangray
)
[0075]
t
min
＝a
×
(i
obj_min_maxgray-i
b_meangray
)
[0076]
所述步骤三中基于top-hat阈值自适应的局部目标检测流程图如图2所示。首先依据单帧图像和目标的预测位置获得目标局部检测图像块。然后，在局部图像块中提取目标局部背景灰度特征，在目标模型中提取目标灰度特征，依据top-hat分割阈值自适应策略计算分割阈值。最后，对目标下一帧局部检测区域做顶帽变换，利用多阈值分割获得目标检测结果。多阈值分割策略为：对目标局部检测首先采用最佳分割阈值t
pre
进行目标分割，若目标分割结果唯一则该结果为该目标的局部检测结果；尝试最大目标分割阈值和最小目标分割阈值进行目标分割，采用其中较好结果作为目标检测结果。若三个目标分割阈值均不能将目标检出，则该目标检测失败，不输出该目标的检测结果。
[0077]
本实例中对目标1进行局部检测时分割阈值自适应调整结果，如图4所示。在本实例中，目标1自轨迹创建之后，其能量不断减弱、对比度不断降低，基于固定分割阈值的top-hat目标检测方法在第79帧至第100帧无法检测到目标1。本发明方法可以依据目标与其局部背景灰度差值自适应的调整分割阈值，随着目标灰度的不断降低，分割阈值也在自适应的降低。经统计，自适应阈值的局部目标检测方法在第79帧至第100帧均可检出目标1。
[0078]
基于top-hat分割阈值自适应调整的局部目标检测与固定参数的top-hat目标检测方法同时对本实例测试图像序列的第90帧图像处理的结果对比图，如图5所示；其中局部top-hat目标检测结果，如图5(a)所示，全图top-hat目标检测结果，如图5(b)所示。本实例中包含3个目标，传统的固定参数的top-hat目标检测方法在本帧图像中检测到2个目标和多个虚警，本发明可以检测到本帧全部3个目标，且不会引入虚假目标。通过对比，基于反馈调整的局部目标检测针对特定目标以及局部背景，对目标检测算法进行精确调整，提高检测的精确度；同时，针对目标的局部检测可以减少非目标区域中虚警和杂波的影响，降低虚警率。最终统计全部图像帧，虚检帧数由原来的100帧减少为0帧，由目标变弱引起的漏检帧数由原来的22帧减少为0帧。
[0079]
步骤四：通过将候选目标点与在线样本库、离线样本库进行比对，在候选目标点中确定目标定位结果。首先，从目标在线样本库中提取待测目标轨迹的多维特征信息，通过融合多维特征计算候选目标点与轨迹的相关性，确定目标轨迹匹配的目标点。在无匹配点的条件下，通过红外小目标的共性特征对疑似度目标点进行筛选，得到高疑似度目标点，作为红外小目标定位结果，解决目标背景突变时的目标轨迹延续问题。
[0080]
所述步骤四中基于目标多维融合特征进行候选目标点疑似度评估的评估流程，如
图6所示。通过提取图像块中目标模型对应的最大灰度值、目标尺度、帧间位移和运动偏角，将其带入目标模型中进行计算得到疑似度。首先，依据最大灰度值计算公式、目标尺度计算公式、帧间速度计算公式、运动偏角计算公式计算该图像块的最大灰度值、目标尺度、帧间位移和运动偏角，其中计算帧间速度和运动偏角时用到的上一帧目标中心位置和运动方向。然后，提取目标的特征中最近n帧的目标特征值，计算各个模型特征正态分布模型的均值和方差作为特征估值。最后，将计算得到的图像块特征与目标四种模型参量带入各个特征模型计算公式中计算各个模型的疑似度，再将这些结果带入特征融合公式得到图像块是目标的疑似度。
[0081]
所述步骤四中候选目标点与在线样本库匹配策略：按照候选目标点疑似度评估流程计算每一个候选目标点的疑似度，若具有最大疑似度的目标点其疑似度大于阈值t，则判定该候选目标点为目标跟踪位置，并更新目标轨迹；若不存在候选目标点其疑似度大于阈值t，则认为匹配失败。在本实例中t取0.5。
[0082]
所述步骤四中利用离线样本库进行高疑似目标筛选的方法为：提取候选目标点的最大灰度值、目标大小、与帧间位移，若三个特征与目标特征动态变化区间相符则该低疑似度目标区域为疑似目标，并用于目标轨迹延续。
[0083]
本发明对实例测试图像中3个目标进行跟踪得到的轨迹与目标真实轨迹对比图，如图7所示。其中绿色线标注目标真实轨迹，蓝色线标注本发明对三个目标的跟踪轨迹。通过对比，本发明获得的目标跟踪轨迹与目标真实轨迹重合度较高，可以实现鲁棒性地目标跟踪。
[0084]
步骤五：更新目标在线样本库。
[0085]
所述步骤五中目标在线样本库的更新方法为依据目标轨迹链末端位置，按照目标在线样本库中所述内容，在输入图像中提取目标位置信息、目标表观特征、目标运动特征并添加到目标在线样本库中。
[0086]
本发明实施例提供的技术与现有技术相比，能够取得如下有益效果：
[0087]
(1)本发明提出了融合历史库信息的红外小目标跟踪方法，包括目标离线库与目标在线库的创建、分割阈值自适应的局部目标检测、样本库历史信息比对的目标点与轨迹匹配，最终实现目标的稳定跟踪，解决了红外小目标对比度低且易与虚警杂波混淆的问题。
[0088]
(2)本发明提出了目标在线库与目标离线库构建与表征方法，离线库通过离线提取目标特征以描述目标特征的共性变化规律，在线库通过提取轨迹历史帧的表观与运动特征，描述目标特征的个性变化规律，为目标局部检测分割阈值的确定以及候选目标点与轨迹链相关性的计算提供依据。
[0089]
(3)本发明提出了阈值自适应调整的目标检测子模块，依据目标与局部背景灰度差值，自适应地调整分割阈值，提高弱目标的检测成功率和精确度，解决了在长期跟踪过程中目标检测分割阈值不适配问题。
[0090]
(4)本发明提出了基于目标多维特征信息的融合多维特征模型，通过对目标最大灰度值、目标尺度、帧间位移、运动偏角四维特征的融合，提高目标描述的全面性，能够更准确的评估候选目标点与目标轨迹的疑似度，最终实现鲁棒性目标跟踪。
[0091]
以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，
都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。