一种基于正负样本的输电通道半监督特征挖掘方法与流程

本技术主要涉及输电安全监管领域和工业图像特征挖掘领域，主要提供了一种基于正负样本的输电通道半监督特征挖掘方法，用以解决安全监管相关的业务需求。

背景技术：

1、在输电安全监管领域，传统的安全监管依赖于目标检测算法，如行人、车辆、塔吊等物体的识别，存在识别对象与安全监管目标没有对齐和识别性能差的缺陷。

2、常用的算法有yolo系列，这些模型在开源数据集上进行了预训练，即基础模型已经有识别行人、车辆的能力，这使得迁移学习变得容易，但是对于输电安全监管范畴内的事物却难以召回实体目标。因为传统深度学习模型对小目标、遮挡目标、模糊目标的召回能力有明显衰减，而输电通道的图片成像环境复杂，一般都是小目标，且目标比较模糊。因此目标检测算法容易丢失需要关注的实体目标，且识别到的目标不能直接用于风险控制。

3、在工业图像特征挖掘领域，目前主要基于cnn和transformer的图像视觉技术，这些深度学习特征挖掘框架训练也经历了有监督与无监督两个阶段。传统的有监督算法需要大量的数据标注，往往收益较低；最近新潮的无监督(自监督)算法依靠数据样本自身，设计学习任务进行特征挖掘，表现出令人惊艳的效果。

4、主流的工业特征挖掘技术，探索的热点集中于大模型研发。在图片的修复、图片、视频的生成上，大模型的表征能力是非常强的。然而在输电通道图片成像中，背景目标相比于前景目标，呈现出目标更多、目标更大的特点。模型在学习过程中，大量的关注被分配到背景目标上，导致需要关注的前景目标缺少特征挖掘。

5、综上所述，针对输电安全监管领域现有难点：传统目标识别技术不能直接应用于风险判别；图片模糊物体特征差异小；目标物体大小较小，细节缺失；样本同质化严重，难以收集丰富的数据；常规模型易学习到背景知识忽略主体的前景知识，本专利提出一种基于正负样本的输电通道半监督特征挖掘方法。

技术实现思路

1、本发明的目的旨在通过swintransformer特征编码器和特征扩散前向模块处理正负样本，生成一个能表征输电场景复杂特性的多头特征生成器。此方法结合文本和图像信息，通过交叉注意力模块增强模型对实例的识别能力，提高场景分析和物体描述的准确性。主要解决了传统目标检测算法在复杂场景下对小目标、遮挡目标和模糊目标的识别难题，提升了风险控制和安全监管的准确性。

2、为了实现上述目的本发明采用以下技术手段：

3、本发明提供了一种基于正负样本的输电通道半监督特征挖掘方法，包括以下步骤：

4、步骤1：对正负样本进行独立的swintransformer特征编码器和特征扩散前向模块处理，得到一个输电场景的多头特征生成器；

5、步骤2：对负样本和正样本进行处理，通过交叉注意力模块和多头特征生成器生成输电场景特征图，并对其进行处理以得到实例分割预测、场景物体表示编码和实例类别或实例描述预测，结合文本和图像信息的处理方式，不仅增强了模型对实例的识别能力，还提高了其在场景分析和物体描述方面的准确性。

6、上述技术方案中，步骤1具体包括：

7、步骤1.1、对正负样本，进行独立的swintransformer特征编码器和特征扩散前向模块处理，得到相同样本分布下的不同特征组合，提高了模型对输电场景中前景和背景物体特征的区分能力，有助于后续的实例分割和物体表示编码。

8、步骤1.2、对随机生成的高斯噪声特征图，进行步骤1.1中的特征组合引导学习，得到一个输电场景的特征生成器，特征生成器能够从噪声中生成具有实际意义的输电场景特征，显示出强大的特征挖掘和场景重建能力；

9、步骤1.3、对特征生成器，创建一个负样本的图片重构任务头，使特征生成器在无监督重构任务中学习生成高频的背景物体语义表示，有效地训练模型以区分和重建背景物体的语义信息，有助于后续的场景分析和风险控制；

10、步骤1.4、对特征生成器，创建一个正负样本差异特征图拟合任务头，是特征生成器在差分图片拟合过程中学习生成低频的前景物体语义表示，差分学习策略有效地引导模型关注变化显著的物体，从而提高了对关键目标的检测和识别能力；

11、步骤1.5、对步骤1.3中的图片重构任务头和步骤1.4中的差异特征图拟合任务头，分别输入特征解码器，得到负样本预测与正负样本差异图预测；

12、步骤1.6、对负样本预测与正负样本差异图预测，分别与负样本和正负样本差异特征图计算损失，通过反向传播优化模型，得到一个多头的输电场景特征生成器，这一过程不仅优化了模型的性能，而且通过多头特征生成器，实现了对输电场景中复杂特征的深入挖掘和表征。这种优化策略显著提升了模型在输电场景特征生成方面的能力和效率。

13、上述技术方案中，步骤2具体包括：步骤2.1、对负样本，输入到步骤1.1中的特征编码器和特征扩散前向模块，得到扩散后的特征图；

14、步骤2.2、对扩散后的特征图，输入到swintransformer的backbone，得到负样本的特征图

15、步骤2.3、对正样本，输入到vit训练的backbone，得到正样本的特征图；

16、步骤2.4、对正样本、负样本的特征图，输入transformer模块训练，得到正样本和负样本的交叉注意力特征图；

17、步骤2.5、对负样本标注的文本描述信息，输入textencode模块编码，得到文本提示编码；

18、步骤2.6、对正负样本的交叉注意力特征图和文本提示编码，输入交叉注意力模块，得到文图交叉注意力提示编码；

19、步骤2.7、对步骤2.1中扩散后特征图和文图交叉注意力提示编码，输入步骤1.6中的多头特征生成器中，循环迭代生成输电场景特征图；

20、步骤2.8、对输电场景特征图，使用roigenerate模块处理，得到模型感兴趣的实例区域mask编码，即得到前景实例分割预测；

21、步骤2.9、对输电场景特征图，输入步骤1.5中特征解码器处理，得到场景物体表示编码；

22、步骤2.10、对实例分割区域，在场景物体表示编码上分割相应区域，得到实例的特征表示；

23、步骤2.11、对实例特征表示和文本提示编码，进行clip的文图对齐训练，得到实例类别或实例描述预测。

24、因为本发明采用上述技术方案，因此具备以下有益效果：

25、1.通过结合swintransformer特征编码器和特征扩散前向模块，有效地处理了正负样本，通过特征编码和扩散过程，生成了能够表征输电场景复杂特性的多头特征。这种技术手段解决了传统目标检测算法在复杂场景下(如输电通道)对小目标、遮挡目标和模糊目标的识别难题，提升了风险控制和安全监管的准确性。

26、2.多模态特征融合：通过结合swintransformer特征编码器和特征扩散前向模块，有效地处理正负样本，生成了能够表征输电场景复杂特性的多头特征。这种多模态特征融合提高了模型对输电场景中前景和背景物体特征的区分能力，有助于后续的实例分割和物体表示编码。

27、3.无监督学习与数据增强：特征生成器在无监督重构任务中学习生成高频的背景物体语义表示，并通过mask操作实现特征级的数据增强。这种方法不仅减少了对大量标注数据的依赖，还提高了模型对复杂场景的理解能力。

28、4.差分学习策略：通过创建正负样本差异特征图拟合任务头，引导模型关注变化显著的物体，从而提高了对关键目标的检测和识别能力。

29、5.文本与图像信息的结合：结合文本描述信息和图像信息，通过交叉注意力模块，模型能够更准确地识别和理解场景中的实例，提高了实例分割和物体描述的准确性。

30、6.优化模型性能：通过计算损失和反向传播，模型能够不断优化其性能，生成具有前景和背景物体语义表示能力的输电场景特征生成器。

31、总体而言，该方法通过创新的特征提取和融合技术，以及结合无监督学习和数据增强策略，有效提高了在复杂输电通道环境中对关键目标的识别和风险控制能力。