一种基于反事实因果学习的红外微弱目标检测方法

1.本发明属于模式识别技术领域，具体涉及一种红外微弱目标检测方法。


背景技术：

2.目前空天无人平台广泛应用于监视侦察等军事任务，以及国土勘测，自然灾害预测等民用领域。红外传感器能够获取更丰富、更全面、包含更多细节的目标信息和环境信息，利用红外信息化实现微弱目标有效检测是无人化智能化感知任务的重要环节。鉴于红外观测通常存在距离远、分辨率低等固有特性，导致红外图像采集到的目标普遍存在目标面积小、目标特征不显著、目标分布稀疏等“弱小目标”特点。利用现有的深度学习模型对红外弱小目标的检测与识别性能始终无法突破，迫切需要提升复杂环境下红外弱小目标的检测准确率。
3.红外图像和可见光图像的成像原理相差较大，红外图像不受光照条件变化的影响，成像具有精度高、隐蔽性好、抗干扰能力强、效费比高等优点。但其图像分辨率一般较低；随着隐身技术、干扰技术(水雾、烟幕、诱饵弹等)的发展以及在复杂背景干扰、恶劣天气等情况下，基于红外传感器的成像探测系统对目标的有效探测会受到严重影响，这都导致红外传感器采集到的目标普遍存在目标面积小、目标特征不显著、目标分布稀疏等“弱小目标”特点。综上所述，围绕微弱红外目标检测，需要解决的问题如下：
4.(1)针对弱小红外目标的上下文背景不显著问题，充分挖掘复杂下红外目标的泛化性特征，提高深度学习目标识别模型的准确度和泛化能力；
5.(2)针对红外图像的目标类别稀疏、目标类别分布不一致问题，提取红外图像的目标精细特征，降低不同目标类别的耦合程度，提高细粒度红外目标辨识和目标类型识别的准确度和鲁棒性。


技术实现要素：

6.为了克服现有技术的不足，本发明提供了一种基于反事实因果学习的红外微弱目标检测方法，首先获取红外图像；再进行数据增强，得到红外数据集；利用红外目标特征，构建因果结构模型；利用因果结构模型输出的反事实因果关系，提取红外目标泛化特征；将红外目标泛化特征输入至目标检测网络结构中进行训练，训练完成后得到预训练目标检测网络；对红外数据集进行重采样，构建红外数据上下文和类标签之间的因果关系；使用重采样数据，对预训练目标检测网络参数进行前馈调整，得到最终的目标检测网络。本发明方法提高了红外微弱目标的特征提取泛化性，进一步提高了模型的检测精度和鲁棒性。
7.本发明解决其技术问题所采用的技术方案包括如下步骤：
8.步骤1：使用加载了红外摄像机的无人平台获得包含多个目标的红外地面目标的视频数据，并将其分解为单帧图像；
9.步骤2：对于获得的单帧图像数据进行数据增强，包括随机改变图像对比度、亮度、旋转、翻转、平移操作，得到红外数据集；
10.步骤3：利用红外目标特征，构建因果结构模型；利用因果结构模型输出的反事实因果关系，提取红外目标泛化特征；
11.步骤3-1：定义在数据域d中，目标特征为x，标签为y，图像的特征xc表示同一目标在不同场景或不同环境下的映射对象；目标以xc为准被标注为类别y；
12.步骤3-2：将目标对象的跨域不变特征xa作为一个节点引入；跨域被看作是一种因果干预：对于每一个观察到的目标域x
t
，都有一组反事实的输入xs，x
t
和xs对应于相同的对象，共享同一组xc；
13.步骤3-3：xc是形成类别y的节点；利用d分离法得出，类别标签y和数据域d在xc的条件下相互独立，即y
⊥
d|xc；因此，目标是将标签y学习为h(xc)，其中h：c
→
y；理想条件下最小损失函数f
*
重写为：
[0014][0015]
引入一个特征表达函数φ：同时，h(φ(x))即为所要求的检测器
[0016]
步骤3-4：利用d分离法则，得出xc满足两个条件，一是xc⊥
d|o，二是xc⊥
/o；其中o代表目标对象；
[0017]
第一个是不变条件：对于同一个对象，xc不会随着不同的数据域而改变；规定相同对象跨域输入的φ(x)之间的平均匹配距离为0，即其中
[0018]
第二个条件规定，xc是关于目标对象，即也是关于类别标签y的信息；加入标准的分类损失，作为约束损失函数：
[0019][0020][0021]
其中，
[0022][0023]
其中，f
pt
代表了即h和φ的结合；φ(x)代表了基准检测网络中的前r项卷积层，而h则是剩余的卷积层部分；
[0024]
利用公式(3)所给出的约束损失函数，在有监督训练过程中，建立数据域下的结构因果模型，提取同类别对象中的共性特征，避免出现过拟合；
[0025]
步骤3-5：结合两种方法来构建φ(x)，从而获取目标的泛化特征：
[0026]
φ(x)＝φn(x)+φi(x)
[0027]
其中φn(x)为非线性灰度变换模块，而φi(x)为伪相关干预增强；
[0028]
所述非线性灰度变换模块利用浅层卷积神经网络模块，构建非线性灰度变换函数，在像素级别或局部临域实现尺度不变的非线性变换；非线性灰度变换函数将红外图像作为直接输入，输出具有相同形状信息但强度或者纹理不同的图像；在每次迭代中，都会对非线性灰度变换函数进行重新赋值，从而生成各种变换结果；同时，对浅层卷积神经网络模块的输入和输出之间执行线性插值，用以对函数输出进行约束；
[0029]
所述伪相关干预增强针对目标和背景之间的联系，消除目标和背景之间的虚假关联；首先利用高斯函数随机生成多个控制点，然后对这些控制点插值，生成二维空间变换函数，将这些变换函数和非线性灰度变换后的图像进行点乘，再将多个点乘后的特征图进行加和；在每次迭代中对随机参数进行更换；
[0030]
步骤4：将红外目标泛化特征输入至目标检测网络结构中进行训练，训练完成后得到预训练目标检测网络；
[0031]
步骤5：对红外数据集进行重采样，构建红外数据上下文和类标签之间的因果关系；使用重采样数据，对预训练目标检测网络参数进行前馈调整，得到最终的目标检测网络；
[0032]
利用结构因果模型，对同一数据域中不同类别间的图像、语境和类别标签之间的因果关系进行分析，创建以类别关联作为混合因子的因果模型；同时利用后向调整，消除目标类别中混淆因子，进一步提高伪标签的生成准确度；
[0033]
通过因果推理方法去除混淆因子对分类的干扰，类间去耦合方法包括创建上下文特征结构因果模型、后向调整、类别权重激活三个步骤；利用红外图像样本的上下文特征构建因果模型，再利用卷积神经网络获得混淆因子，最终生成能够进行因果干预的类别调整矩阵，对伪标签类别进行重新调整，提高目标检测网络的准确性和鲁棒性。
[0034]
本发明的有益效果如下：
[0035]
本发明采用反事实因果模型对红外微弱目标进行特征提取和检测识别，能够实现红外微弱目标的自动化检测，构建反事实因果结构模型，输出目标和背景的反事实因果关系，提高了红外微弱目标的特征提取泛化性，之后利用泛化特征对目标检测模型进行有监督训练，同时构建上下文和类标签之间的因果关系，对训练好的模型参数进行前馈调整，进一步提高了模型的检测精度和鲁棒性。
附图说明
[0036]
图1为本发明方法示意图。
[0037]
图2为本发明方法的结构因果模型示意图，(a)典型分类器中的结构因果图；(b)跨领域模型中的因果结果图。
[0038]
图3为本发明方法的泛化特征提取示意图。
[0039]
图4为本发明方法的上下文融合特征干预细粒度目标辨识模型流程图。
[0040]
图5为本发明实施例测试融合结果。
具体实施方式
[0041]
下面结合附图和实施例对本发明进一步说明。
[0042]
本发明提出一种基于反事实因果学习模型的端到端红外图像模型，构建红外微弱
目标的因果结构模型，开展红外图像泛化特征提取方法，有效去除图像背景信息对微弱目标的干扰，突出微弱红外目标的显著特征；开展基于上下文融合特征干预的细粒度目标辨识方法，降低红外目标类别占比差异，进一步提升模型的检测效率。
[0043]
采取的方案如下：
[0044]
(1)提出一种基于的因果结构框架，引入因果推理手段对模型特征提取过程进行约束，并且去除无效和虚假的特征信息，提高红外特征提取能力；
[0045]
(2)提出一种上下文融合特征干预的细粒度目标辨识方法，利用图像、上下文和类标签之间的因果关系，消除不同类别中的混淆偏差，使模型在不显著背景下目标检测性能得到进一步提升。
[0046]
一种基于反事实因果学习的红外微弱目标检测方法，包括如下步骤：
[0047]
步骤1：使用加载了红外摄像机的无人平台获得包含多个目标的红外地面目标的视频数据，并将其分解为单帧图像；
[0048]
步骤2：对于获得的单帧图像数据进行数据增强，包括随机改变图像对比度、亮度、旋转、翻转、平移操作，得到红外数据集；
[0049]
步骤3：利用红外目标特征，构建因果结构模型；利用因果结构模型输出的反事实因果关系，提取红外目标泛化特征；
[0050]
步骤3-1：定义在数据域d中，目标特征为x，标签为y，图像的特征xc表示同一目标在不同场景或不同环境下的映射对象；目标以xc为准被标注为类别y；
[0051]
步骤3-2：将目标对象的跨域不变特征xa作为一个节点引入；跨域被看作是一种因果干预：对于每一个观察到的目标域x
t
，都有一组反事实的输入xs，x
t
和xs对应于相同的对象，共享同一组xc；
[0052]
步骤3-3：xc是形成类别y的节点；利用d分离法得出，类别标签y和数据域d在xc的条件下相互独立，即y
⊥
d|xc；因此，目标是将标签y学习为h(xc)，其中h：c
→
y；理想条件下最小损失函数f
*
重写为：
[0053][0054]
引入一个特征表达函数φ：同时，h(φ(x))即为所要求的检测器
[0055]
步骤3-4：利用d分离法则，得出xc满足两个条件，一是xc⊥
d|o，二是xc⊥
/o；其中o代表目标对象；
[0056]
第一个是不变条件：对于同一个对象，xc不会随着不同的数据域而改变；规定相同对象跨域输入的φ(x)之间的平均匹配距离为0，即其中
[0057]
第二个条件规定，xc是关于目标对象，即也是关于类别标签y的信息；加入标准的分类损失，作为约束损失函数：
[0058]
[0059][0060]
其中，
[0061][0062]
利用公式(3)所给出的约束损失函数，在有监督训练过程中，建立数据域下的结构因果模型，提取同类别对象中的共性特征，避免出现过拟合；
[0063]
步骤3-5：结合两种方法来构建φ(x)，从而获取目标的泛化特征：
[0064]
φ(x)＝φn(x)+φi(x)
[0065]
所述非线性灰度变换模块利用浅层卷积神经网络模块，构建非线性灰度变换函数，在像素级别或局部临域实现尺度不变的非线性变换；非线性灰度变换函数将红外图像作为直接输入，输出具有相同形状信息但强度或者纹理不同的图像；在每次迭代中，都会对非线性灰度变换函数进行重新赋值，从而生成各种变换结果；同时，对浅层卷积神经网络模块的输入和输出之间执行线性插值，用以对函数输出进行约束；
[0066]
所述伪相关干预增强针对目标和背景之间的联系，消除目标和背景之间的虚假关联；首先利用高斯函数随机生成多个控制点，然后对这些控制点插值，生成二维空间变换函数，将这些变换函数和非线性灰度变换后的图像进行点乘，再将多个点乘后的特征图进行加和；在每次迭代中对随机参数进行更换；
[0067]
步骤4：将红外目标泛化特征输入至目标检测网络结构中进行训练，训练完成后得到预训练目标检测网络；
[0068]
步骤5：对红外数据集进行重采样，构建红外数据上下文和类标签之间的因果关系；使用重采样数据，对预训练目标检测网络参数进行前馈调整，得到最终的目标检测网络；
[0069]
利用结构因果模型，对同一数据域中不同类别间的图像、语境和类别标签之间的因果关系进行分析，创建以类别关联作为混合因子的因果模型；同时利用后向调整，消除目标类别中混淆因子，进一步提高伪标签的生成准确度；
[0070]
通过因果推理方法去除混淆因子对分类的干扰，类间去耦合方法包括创建上下文特征结构因果模型、后向调整、类别权重激活三个步骤；利用红外图像样本的上下文特征构建因果模型，再利用卷积神经网络获得混淆因子，最终生成能够进行因果干预的类别调整矩阵，对伪标签类别进行重新调整，提高目标检测网络的准确性和鲁棒性。
[0071]
具体实施例：
[0072]
由于红外微弱目标图像的数据集数量有限，为了使数据特征分布的更加全面，因此使用随机对比度、随机亮度、随机翻转、随机旋转等操作对数据集进行增强，以提升模型在多种情况下的鲁棒性，在对数据集进行增强后将其随机分为训练集、验证集和测试集。
[0073]
图1为本发明的基于因果学习的红外图像微小目标检测方法，首先构建因果结构模型，利用红外图像的目标特征，构建对应的因果结构图。在图像特征提取阶段，本发明为提高红外特征的泛化提取能力，引入了一种基于伪相关增强和非线性变换的图像特征提取
模块，该模块解耦了图像特征和背景之间的反事实关联，提高了目标特征在复杂背景下的泛化提取能力。之后，利用生成的泛化特征对模型进行监督训练，并且生成检测框。这时考虑数据中目标类别的不同占比会对检测框的生成产生影响，因而需要进一步构筑不同类别的因果关系并施以因果干预，利用监督训练得到类间独立的网络模型，从而不断提高模型生成的准确度，达成良性闭环结果。
[0074]
图2为本发明的针对红外目标检测的结构化因果模型，由图2(a)中可以看出，在一个特定的数据域d下，目标的特征为x，标签为y，图像的特征xc表示同一目标在不同场景或不同环境下的映射对象。当采集到一幅图片，数据生成过程的第一批样本和数据域很可能具有相关性，如图中虚线连接所示。考虑多个数据域，多个对象会对应多个像素特征x，而所对应的xc则对应目标在数据域内的相关特征，不同像素特征都有相同的对象，在人工标注中，目标以xc为准被标注为类别y。
[0075]
针对红外目标检测问题，对应的结构因果模型如图2(b)所示。与因果特征xc类似，将目标对象的跨域不变特征xa作为一个节点引入；跨域可以看作是一种因果干预：对于每一个观察到的目标域x
t
，都有一组反事实的输入xs，x
t
和xs对应于相同的对象(因此共享同一组xc)。考虑模型的完备性，同时考虑了目标域下对象所对应的真实标签y
true
与数据域也存在一定的相关性，可以得出对象节点的关系是跨域不变特征提取的关键。
[0076]
从图2(b)中可以看出，xc是形成类别y的节点。利用d分离法则可以得出，类别标签和数据域在xc的条件下相互独立，即y
⊥
d|xc。因此，目标是将标签y学习为h(xc)，其中h：c
→
y。理想条件下最小损失函数f
*
可重写为：
[0077][0078]
考虑到xc不能之间获取，这意味着需要引入一个特征表达函数同时，h(φ(x))即为所要求的检测器
[0079]
利用结构因果图中的条件独立性，可以实现xc的求取。利用d分离法则，可以得出xc满足两个条件，一是xc⊥
d|o，二是xc⊥
/o；其中o代表目标对象，而d代表数据域。第一个是不变条件：对于同一个对象，xc不会随着不同的数据域而改变。为了加强这一点，规定相同对象跨域输入的φ(x)之间的平均匹配距离为0，即其中
[0080]
然而，仅利用不变性条件不够，也需要表示包含对象目标o的信息，否则，即使是常数φ也能够将上述损失最小化。因此，第二个条件规定，xc是关于目标对象，即也是关于类别标签y的信息。我们加入标准的分类损失，作为约束损失函数。
[0081][0082][0083]
其中，
[0084][0085]
这里f
pt
代表了即h和φ的结合。在本发明中，φ(x)代表了基准检测网络中的前r项卷积层，而h则是剩余的卷积层部分。利用公式(3)所给出的约束损失函数，可以在有监督训练过程中，建立数据域下的结构因果模型，提取同类别对象中的共性特征，避免出现过拟合。
[0086]
图3表示本发明的泛化特征提取流程图。本发明结合两种方法来构建φ(x)，从而获取目标的泛化特征：
[0087]
φ(x)＝φn(x)+φi(x)
[0088]
其中φn(x)为非线性灰度变换模块，而φi(x)为伪相关干预增强。非线性灰度变换模块利用浅层卷积神经网络模块，构建非线性灰度变换函数，在像素级别或局部临域实现尺度不变的非线性变换。该函数将红外图像作为直接输入，输出具有相同形状信息但强度或者纹理不同的图像。在每次迭代中，都会对函数进行重新赋值，从而生成各种变换结果。同时，对网络的输入和输出之间执行线性插值，用以对函数输出进行约束。
[0089]
而伪相关干预增强则主要针对目标和背景之间的联系，尽力消除目标和背景之间的“虚假关联”。在利用仿真数据集进行模型训练过程中，仿真生成的目标和背景会存在某种特定关联，从而造成模型学习到这种联系。于是模型会这种联系作为目标域的线索进行预测，从而造成模型域适应之后的泛化性下降。因为真实的数据中可能不存在有利于仿真数据检测的背景混淆。
[0090]
从模型的角度来看，背景混淆以两种方式影响目标检测：1)背景特征影响归一化层的全局特征统计，因为通常计算特征统计覆盖全部像素空间。2)大的感受野使得目标和临域背景同时进行感知和处理。
[0091]
为了较低背景混淆对目标检测的影响，需要在训练过程中消除目标和某种背景之间产生的虚假相关性，同时保留真实背景和目标之间的真实相关性(如机场和飞机)。本发明采用伪相关干预增强算法以消除背景混淆对目标检测的影响。首先利用高斯函数随机生成一些控制点，然后对这些控制点插值，生成低频率的二维空间变换函数，将这些变换函数和非线性灰度变换后的图像进行点乘，再将多个点乘后的特征图进行加和。为了消除未知的虚假相关性，在每次迭代中对随机参数进行更换。这种利用随机控制点进行干预增强的方法有两点优势。
[0092]
①
.它可以实现图像灰度的空间变换，同时低频保证了图像不会发生严重的扭曲变形；
[0093]
②
.它通过在多个特征之间的插值进一步增加了特征多样性，降低了特征和背景之间的虚假相关。
[0094]
利用生成的φ(x)特征，对少样本红外数据集，按照特点方向增强特征泛化性，从而进一步提高模型在监督训练和无监督过程中的解译性能。
[0095]
图4使用本发明提出的上下文融合特征干预细粒度目标辨识模型流程图。为提高光学红外特征目标辨识模型的精度和鲁棒性，必须考虑不同数据集不同目标和背景类别的分布差异。本发明从两个方面解决类别分布差异带来的目标辨识模型类别耦合问题。一方
面研究如何根据类别占比差异，进行目标类别的对齐调优，确保得到的网络重构最优；另一方面研究如何利用图像、上下文和类标签之间的因果关系，消除不同类别中的混淆偏差，为后续的检测模型自学习提供更好的伪标签，使模型在不显著背景下目标检测性能得到进一步提升。本发明的类间去耦合方法是通过因果干预方法实现的。利用改进的结构因果模型，对同一数据域中不同类别间的图像、语境和类别标签之间的因果关系进行分析，创建以类别关联作为混合因子的因果模型。同时利用后向调整，消除目标类别中混淆因子，进一步提高伪标签的生成准确度。
[0096]
与标准的结构因果图不同，类间去耦合方法充分利用类间上下文信息，同时考虑不同数据集相同类别的上下文信息的迁移问题，通过因果推理方法去除混淆因子对分类的干扰。类间去耦合的方法步骤如图四所示。可以看到，类间去耦合方法主要包括创建上下文特征结构因果模型、后向调整、类别权重激活三个步骤。利用图像样本的上下文特征构建因果模型，再利用卷积神经网络获得混淆因子，最终生成能够进行因果干预的类别调整矩阵，对伪标签类别进行重新调整，提高目标辨识模型在推理集中的准确性和鲁棒性。
[0097]
图5和表1使用本发明提出的方法在无人机拍摄的数据集上进行了验证，结果表明提出的因果学习手段和上下文特征融合机制对红外微弱目标检测的提升是显著的。另外实验表明该方法可以很好的应用在空天无人平台上，对于完成监视与侦察任务有很大的提升。
[0098]
表1红外微弱目标检测实验结果
[0099]