一种基于交叉对比学习的后融合伪装方法和装置

本发明属于后融合，具体涉及一种基于交叉对比学习的后融合伪装方法和装置。

背景技术：

1、随着深度学习和神经网络技术的飞速发展，研究人员开始在后融合领域尝试探索深度学习模型的应用潜力。后融合方法是指在模型训练或推理完成后，通过一定的方式将多个独立模型的输出或预测结果结合在一起，从而提升整体性能、鲁棒性和泛化能力。后融合方法通常在模型生成输出后进行，而不是在训练过程中，包括使用神经网络来学习模型融合的权重或设计更复杂的融合方法，使得各个模型能够充分发挥各自的优势，并通过融合策略实现性能的优化。

2、在后融合过程中，由于需要将多个模态数据的检测结果结合在一起，研究人员常常面临多模态数据处理的问题。多模态数据通常包含多种不同的信息来源和形式，如图像、文本、语音等，在图像识别中的多模态包括红外检测和可见光检测等。为了有效地整合这些多模态的数据，后融合方法需要设计复杂的融合机制，以充分利用各种模态之间的互补性，然而，这也带来了额外的挑战，特别是对数据标注和标签的依赖。由于多模态数据集通常需要详细地注释和标签来支持监督学习，这些标注工作不仅需要专业的人力投入，而且对于复杂的多模态任务来说，标注的难度和成本更是显著增加，标注过程涉及对图像的目标框标注、文本的语义标注等，要求标注者具备丰富的领域知识和经验。在实际应用中，往往会因缺乏足够的标注数据和标签而限制了后融合方法的应用范围和效果。

3、为克服这一挑战，交叉对比学习作为一种新兴的技术应运而生，旨在通过学习将相似的样本在嵌入空间中靠近，而将不相似的样本分散开，使得模型能够学习到更加紧凑和区分度高的数据表示，从而提高模型的鲁棒性和泛化能力。交叉对比学习是自监督学习的一种形式，模型接收一对样本作为输入，然后学习将它们的表示映射到嵌入空间中，模型不需要依赖标注的标签，而是通过学习数据本身的结构和特征来进行训练，这使得交叉对比学习在缺乏标注数据的场景中具有特别的优势，并且，对于大规模数据集的利用具有重要意义，尤其是在缺乏标注数据的场景中。

4、在这种背景下，由于后融合方法通常会涉及多个模型的输出信息的整合，不同模型的不一致性或者模型的不稳定性可能为伪装技术提供了利用的机会，如果融合过程中的某个模型对输入的微小扰动非常敏感，则可以通过构造对抗样本来引导整个系统产生错误的融合结果。因此，面向图像识别和目标隐身应用场景，需要设计一种后融合伪装方法，通过基于交叉对比学习构造隐身效果更强的对抗样本实现伪装，使目标检测模型得到错误的检测结果，从而使后融合模型产生错误输出，基于伪装技术的成功实现来揭示后融合模型在安全性和鲁棒性方面的弱点，从而可以据此采取进一步措施提升后融合模型的安全性和鲁棒性。

技术实现思路

1、鉴于上述，本发明的目的是提供一种基于交叉对比学习的后融合伪装方法和装置，基于交叉对比学习生成目标检测模型骨干网络用于更好地提取图像特征，同时结合差分进化算法生成对抗性补丁并嵌入到图像中生成对抗样本，利用对抗样本干扰目标检测模型对目标的检测结果，使后融合模型在融合了目标检测模型的检测结果后得到错误的最终检测结果，在提高对抗样本隐身效果的同时也能够揭示后融合模型在安全性和鲁棒性方面的弱点，适用于自动驾驶、机器人技术、安防、隐私保护领域等多种应用场景。

2、为实现上述发明目的，本发明提供的技术方案如下：

3、本发明实施例提供的一种基于交叉对比学习的后融合伪装方法，包括以下步骤：

4、预训练用于学习图像特征的对比学习模型，构建对比损失度量正样本对的相似性和负样本对的差异，基于对比损失优化对比学习模型，提取优化后对比学习模型的骨干网络构建用于图像识别的目标检测模型；

5、基于目标检测模型和差分进化算法生成对抗性补丁对图像中的目标进行伪装，将添加对抗性补丁的多模态的图像分别输入多模态的目标检测模型得到目标的置信度分数，构建包括对比损失、基于置信度分数的目标检测损失和基于对抗性补丁的感知损失及正则项的总对抗性损失，基于总对抗性损失优化对抗性补丁；

6、将优化后的对抗性补丁添加到多模态的图像上生成对抗样本，将对抗样本输入多模态的目标检测模型得到多模态的检测结果，再将多模态的检测结果输入后融合模型中进行融合得到最终检测结果，根据多模态的检测结果和最终检测结果对对抗样本中目标的隐身效果进行评估。

7、优选地，所述预训练用于学习图像特征的对比学习模型，构建对比损失度量正样本对的相似性和负样本对的差异，包括：

8、构建基于对比学习框架的对比学习模型，并给定n个未标记的图像，对比学习模型首先通过数据增强为每个图像生成两个增广视图，从而得到2n个样本，若第i个样本xi和第j个样本xj都是同一图像的增广视图，则(xi,xj)为正样本对，否则为负样本对；

9、对于给定的样本xi，首先从对比学习模型的基编码器得到样本xi的特征表示hi＝f(xi)，然后使用对比学习模型的投影头将特征表示hi投影到更小的空间中得到基于多层感知机的特征表示zi＝g(hi)；

10、对于每个正样本对(xi,xj)构建正样本对比损失l(i,j)，公式如下：

11、

12、其中，sim(·,·)为两个向量之间的余弦相似度，τ为温度参数；

13、将l(i,j)代入基于2n个样本构建的对比损失lcontrastive中，公式如下：

14、

15、其中，k为正样本对源自同一图像的序号；

16、利用构建的对比损失lcontrastive优化对比学习模型的参数。

17、优选地，所述基于目标检测模型和差分进化算法生成对抗性补丁对图像中的目标进行伪装，包括：

18、利用基于差分进化算法的形状优化方法生成对抗性补丁时，选定图像中目标的至少一个初始化形状并随机生成父类种群，从父类种群开始利用交叉和突变产生多代子类种群，在子类种群迭代进化过程中找到合适的解对对抗性补丁的形状进行优化，子类种群求解过程表示为：

19、设定每个种群的总体锚点为{pv|v＝1,…,n}，pv为种群中的第v个锚点，n为锚点总数，给定种群大小q，第l代子类种群的解s(l)表示为：

20、

21、其中，su(l)为第l代子类种群中的第u个形状，suv(l)为su(l)的第v个锚点，和共同构成可行区域bv用于限制形状中第v个锚点的移动范围，通过对锚点的边界限制对对抗性补丁的位置进行优化，以su(l)为基础，通过交叉、突变和选择得到第l+1代解s(l+1)；

22、对于每一代求解得到的子类种群，通过将子类种群中的每个形状添加到图像中并输入多模态的目标检测模型中进行跨模态评估，其中多模态的目标检测模型为提取优化后对比学习模型的骨干网络所构建，基于目标检测模型输出的图像中目标识别的置信度分数构建适应度函数评价每个形状su(l)的隐身效果，根据适应度函数使适者生存，最终选择隐身效果最好的一组形状作为最优的子类种群形成对抗性补丁，利用对抗性补丁实现对图像中目标的伪装。

23、优选地，所述将添加对抗性补丁的多模态的图像分别输入多模态的目标检测模型得到目标的置信度分数，包括：

24、对于给定的未添加对抗性补丁多模态的图像，包括可见光图像xvis和红外图像xinf，制定统一跨模态对抗隐身任务使得包括可见光检测模型fvis(·)和红外检测模型finf(·)的目标检测模型同时无法检测到添加对抗性补丁的可见光图像和添加对抗性补丁的红外图像中的目标，公式表示为：

25、

26、其中，为目标在可见光检测模型输出的置信度分数，为目标在红外检测模型输出的置信度分数，max(·)为最大值函数，thre为预定义的置信度阈值。

27、优选地，所述添加对抗性补丁的可见光图像和添加对抗性补丁的红外图像的生成公式表示为：

28、

29、

30、其中，⊙为hadamard积，m∈{0,1}h×w是用来约束目标上用于可见光图像和红外图像添加对抗性补丁的跨模态模块的形状和位置的掩模矩阵，h和w分别为高度和宽度，表示用于操纵的覆盖图像，表示用于操纵的覆盖图像。

31、优选地，对于所述覆盖图像，在实际应用时这两幅覆盖图像的值是由可见光传感器和红外传感器对比物理世界中统一的绝缘材料拍摄得到的；在实际应用场景当物理世界的目标需要隐身时，通过采用所述统一的绝缘材料，包括使用气凝胶材料根据对抗性补丁的形状制成贴片，将贴片根据对抗性补丁的位置贴附在目标上，当可见光传感器拍摄时，贴片颜色能够显示出与目标的区别，当红外传感器拍摄时，贴片能够表现出良好的保温效果从而改变目标的热分布。

32、优选地，所述构建包括对比损失、基于置信度分数的目标检测损失和基于对抗性补丁的感知损失及正则项的总对抗性损失，基于总对抗性损失优化对抗性补丁，包括：

33、基于正样本对的相似性和负样本对的差异构建对比损失lcontrastive；

34、基于置信度分数score构建目标检测损失ldet，表示为：

35、ldet＝-score；

36、基于对抗性补丁构建感知损失lperceptual，表示为：

37、

38、其中，mse(·)为均方误差函数，为对抗性补丁对应的原始图像区域i在图像生成网络中间层获取的特征表示，为对抗性补丁区域p在图像生成网络中间层获取的特征表示；

39、基于对抗性补丁引入正则项lregularization，表示为：

40、

41、其中，pp为对抗性补丁的第p个像素值，s为像素值总数，λ为正则化项的权重，通过正则项限制对抗性补丁的扰动范围，保证其视觉自然性；

42、最后整合上述各项损失得到总对抗性损失ladversarial，表示为：

43、ladversarial＝αldet+βlcontrastive+γlperceptual+δlregularization

44、其中，α、β、γ、δ是权重系数，分别用于平衡各项损失的相对重要性，通过总对抗性损失对生成的对抗性补丁进行调整和优化。

45、优选地，所述根据多模态的检测结果和最终检测结果对对抗样本中目标的隐身效果进行评估，包括：

46、对于多模态的检测结果，通过对抗样本的攻击成功率和目标检测的准确率下降值评估不同模态下对抗样本的隐身效果，对于最终检测结果，通过后融合模型目标检测的准确率评估对抗样本的隐身效果；

47、通过图像相似性度量评估生成的对抗样本的质量，确保对抗样本在视觉上与原始图像的相似性；

48、通过记录对抗样本生成时间、目标检测模型推断时间和后融合模型响应时间评估整体计算效率。

49、为实现上述发明目的，本发明实施例还提供了一种基于交叉对比学习的后融合伪装装置，包括：对比学习模型预训练模块、对抗性补丁生成优化模块和后融合及效果评估模块；

50、所述对比学习模型预训练模块用于预训练基于对比学习框架的对比学习模型用于学习图像特征，构建对比损失度量正样本对的相似性和负样本对的差异，基于对比损失优化对比学习模型，提取优化后对比学习模型的骨干网络构建目标检测模型；

51、所述对抗性补丁生成优化模块用于基于目标检测模型和差分进化算法生成对抗性补丁对图像中的目标进行伪装，将添加对抗性补丁的多模态的图像分别输入多模态的目标检测模型得到目标的置信度分数，构建包括对比损失、基于置信度分数的目标检测损失和基于对抗性补丁的感知损失及正则项的总对抗性损失，基于总对抗性损失优化对抗性补丁；

52、所述后融合及效果评估模块用于将优化后的对抗性补丁添加到多模态的图像上生成对抗样本，将对抗样本输入多模态的目标检测模型得到多模态的检测结果，再将多模态的检测结果输入后融合模型中进行融合得到最终检测结果，根据多模态的检测结果和最终检测结果对对抗样本中目标的隐身效果进行评估。

53、为实现上述发明目的，本发明实施例还提供了一种计算机可读的存储介质，所述存储介质上存储有计算机程序，所述计算机程序被计算机执行时，实现上述的基于交叉对比学习的后融合伪装方法。

54、与现有技术相比，本发明具有的有益效果至少包括：

55、(1)本发明通过引入交叉对比学习方法，利用预训练基于对比学习框架的对比学习模型，并提取优化后对比学习模型的骨干网络构建目标检测模型，克服了多模态的大规模数据集的标注需要耗费大量人力的问题，通过交叉对比学习方法采用的自监督学习方式，对比学习模型能够在没有显式标注框的情况下学习图像中目标的特征，其中模型可以自行生成训练样本的标签，这种方法降低了对大量标注数据的依赖，使得模型更具可扩展性。

56、(2)本发明通过对多模态的图像构建统一的对抗性补丁，解决了多模态下对抗性补丁形状和位置不同的问题，在实际应用中能够在目标上贴附与对抗性补丁形状和位置相同的贴片，简化了贴片的设计和制作过程，降低了成本，能够更有效地实现隐身效果，大大提高隐身的成功率。

57、(3)本发明基于生成的对抗样本并通过对比学习优化的目标检测模型进行目标检测，能够更好地提升检测精度和模型泛化能力，在一些特定任务上可能具有较强的泛化能力，能够适应新的场景和数据，为后续的融合策略提供更为稳健和可靠的输入，从而进一步提升后融合方法的效果，提高目标隐身效果。

58、(4)本发明通过构建对抗性补丁对图像中的目标进行伪装，能够实现目标对抗目标检测的成功率，在隐私保护场景下实现提高隐身效果的同时，还能够揭示后融合模型的脆弱性，从而可以据此在目标识别场景下对对后融合模型的设计和部署过程采取相应的安全措施。