一致性约束的跨域多视角目标识别方法及装置

本发明涉及多视角目标检索、域适应、语义对齐领域，尤其涉及一种一致性约束的跨域多视角目标识别方法及装置。

背景技术：

1、随着科学研究的发展和进步，目标检索技术在日常生活中有着广泛的应用[1]。随着数据的快速增长，如何高效、准确地检索所需数据受到了广泛的关注。现有的检索方法大多需要标注数据来探索目标物体的多视角特征，而在实际应用中并不容易获得标注。受标记图像的优势和域适应算法发展的启发，将学习到的知识从图像迁移到多视角目标是可行的。其中，最流行的任务之一是应用图像从未标记的数据库中搜索相关的多视角目标，即跨域多视角目标检索。

2、由于不同模态之间存在域差异，使这项任务具有挑战性。因此，研究人员提出了许多方法来解决域适应问题，例如：基于差异[2-4]、基于对抗[5-6]、基于原型[7-9]的方法。然而，这些方法的性能不可避免地会受到有噪声的伪标签影响。例如，在基于原型的方法中，源域的原型可以通过使用自己的标签信息来获得，而目标原型需要利用源分类器分配的伪标签进行计算。由于域间隙存在明显的虚假伪标签，由这些标签获得的原型会误导域适应过程。因此，抑制这些由噪声伪标记产生的负信息是非常重要的。

3、另一方面，基于差异和基于对抗的方法因为忽略了实例中涉及的语义信息并不能有效地缩小域差异。基于原型的方法弥补了这一缺点，例如：mstn[7]，sc-ifa[9]等方法。这类方法虽然在语义对齐方面取得了良好的效果，但它们都只在一个空间中度量和对齐语义，不能充分保持语义的一致性，从而导致削弱域对齐。

4、综上，现有技术中的多视角目标检测算法中存在以下两个缺点和不足：

5、1、如何消除噪声伪标签对域适应的不利影响；

6、2、如何缓解在单一空间对齐不同模态数据对语义一致性的减弱。

技术实现思路

1、本发明提供了一种一致性约束的跨域多视角目标识别方法及装置，设计基于引力场的特征嵌入空间，通过对支点特征的选择以及特征移动机制，构建特征引力场，引导跨域样本移动到特征分布空间的合适位置，提高特征分布的稳定性；在更新原型部分引入实例与原型的相似度度量，并引入一致性正则化项约束，通过使用kl(kullback-leibler)散度构建实例与原型相似度的一致性，更好地抑制噪声伪标签的负面影响并有效地指导语义对齐，提高了跨域多视角目标检索的准确性；通过两种一致相似性度量策略，将实例映射到类别空间中，实现跨实例空间和原型空间的语义对齐，缓解在单一空间中度量对于语义信息挖掘的不充分性，详见下文描述：

2、一种一致性约束的跨域多视角目标识别方法，所述方法包括以下步骤：

3、设计基于引力场的特征嵌入空间，通过对支点特征的选择以及特征移动机制，构建特征引力场，引导跨域样本移动到特征分布空间的合适位置；

4、基于原型学习使用标记的源域特征更新源域原型，使用伪标记的目标域特征更新目标域原型，实现语义表示的学习；

5、使用实例和原型之间的相似性来代替对类别的概率预测，利用相似度将实例与所有原型关联起来，中和错误伪标签对目标原型计算的影响；引用一致性正则化项来约束相似性度量，使用kl散度构建实例与原型相似度的一致性；

6、以单个实例为基准，度量来自两个不同域的原型之间的相似性，鼓励单个实例与属于同一类别的跨域原型具有一致的相似性，利用实例指导原型的对齐，并缩小跨域原型之间的距离；

7、构建实例对，并以实例对为基准，探索实例对与单个原型之间一致的相似性，实现在特征级和语义级上缩小实例之间的类内距离，增强跨域多视角目标检索性能。

8、一种一致性约束的跨域多视角目标识别装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行任一项所述的方法步骤。

9、本发明提供的技术方案的有益效果是：

10、1、本发明设计基于引力场的特征嵌入空间，通过对支点特征的选择以及特征移动机制，构建特征引力场，引导跨域样本移动到特征分布空间的合适位置，弥补传统特征分布的不稳定性和类边界模糊的不足；

11、2、本发明使用源域样本和标签进行源原型进行计算，目标原型借助目标样本和伪标签来进行计算。为了降低单独使用伪标签预测目标原型对检索性能的负面影响，本发明使用实例和原型之间的相似性来代替对类别的概率预测，通过挖掘跨域实例与类原型之间的语义关联，以实例和原型之间的相似性来获取关联信息；

12、3、本发明受半监督学习中一致性正则化的启发，引入一致性正则化项来约束实例和原型之间的相似性度量，并通过使用对称的kl(kullback-leibler)散度构建实例与原型相似度的一致性。通过两种一致相似性度量策略，将实例映射到类别空间中，实现跨实例空间和原型空间的语义对齐，缓解在单一空间中度量对于语义信息挖掘的不充分性；

13、4、在第一种策略中，以区分源域、目标域的单个实例为基准，度量来自两个不同领域的原型之间的相似性，鼓励单个实例与属于同一类别的跨域原型具有一致的相似性；旨在利用实例来指导原型的对齐，并缩小跨域原型之间的距离，从实例级出发，使得实例到原型的映射更加准确；

14、5、在第二种策略中，通过利用源特征和目标特征之间的距离计算度量构建实例对，并以实例对为基准，探索实例对与单个原型之间一致的相似性，利用成对的实例分别与同一原型进行测量，实现在特征级和语义级上缩小实例之间的类内距离，增强跨域多视角目标检索性能。

技术特征：

1.一种一致性约束的跨域多视角目标识别方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种一致性约束的跨域多视角目标识别方法，其特征在于，所述对支点特征的选择为：

3.根据权利要求1所述的一种一致性约束的跨域多视角目标识别方法，其特征在于，所述构建特征引力场为：

4.根据权利要求1所述的一种一致性约束的跨域多视角目标识别方法，其特征在于，所述引导跨域样本移动到特征分布空间的合适位置为：

5.一种一致性约束的跨域多视角目标识别装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-4中的任一项所述的方法步骤。

技术总结
本发明公开了一种一致性约束的跨域多视角目标识别方法及装置，包括：设计基于引力场的特征嵌入空间，通过对支点特征的选择以及特征移动机制，构建特征引力场，引导跨域样本移动到特征分布空间的合适位置；基于原型学习使用标记的源域特征更新源域原型，使用伪标记的目标域特征更新目标域原型，实现语义表示的学习；使用实例和原型之间的相似性来代替对类别的概率预测，利用相似度将实例与所有原型关联起来，中和错误伪标签对目标原型计算的影响；引用一致性正则化项来约束相似性度量，使用KL散度构建实例与原型相似度的一致性；以单个实例为基准或构建实例对，增强跨域多视角目标检索性能。

技术研发人员：李文辉,李越,刘安安,宋丹,魏志强,聂婕,袁春鑫,刘文,刘敏
受保护的技术使用者：天津大学
技术研发日：
技术公布日：2024/1/12