一种基于概念协作网络的组合零样本学习方法及其装置

本发明属于图像分类的，具体涉及一种基于概念协作网络的组合零样本学习方法及其装置。

背景技术：

1、组合零样本学习旨在识别从未出现在训练数据中的新状态-对象组合，因为对象代表一个特定的实体，而状态在语义上代表一个简短的描述，使得组合零样本学习仍然是一项具有挑战性的任务；

2、现有技术中，同一状态与不同物体组合时，视觉外观也会发生变化，现有的组合零样本学习工作重点是将这一问题视为一个有监督分类任务，并学习两个分类器，分别预设状态和对象，目的是直接从原始视觉特征中挖掘和利用状态和对象这两个概念，而忽略了状态和对象之间潜在的关系，使得分类器无法将原始特征完全分离为两个有区别的概念，限制了最终的分类精度。

3、因此，亟需改善现有技术中存在的上述缺陷。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于概念协作网络的组合零样本学习方法及其装置。本发明要解决的技术问题通过以下技术方案实现：

2、第一方面，本发明提供一种基于概念协作网络的组合零样本学习方法，包括：

3、获取状态对象组合的待测原始图像；

4、使用训练好的概念协作网络的特征提取器对待测原始图像进行处理，得到待测原始图像的特征；

5、使用训练好的概念协作网络的状态编码器对待测原始图像的特征进行处理，得到状态特征；

6、使用训练好的概念协作网络的对象编码器对待测原始图像的特征进行处理，得到对象特征；

7、使用训练好的概念协作网络的概念交互模块对待测原始图像的特征、状态特征和对象特征进行处理，分别得到待测原始图像的特征的自注意力特征、状态特征的自注意力特征和对象特征的自注意力特征；

8、将待测原始图像的特征的自注意力特征、状态特征的自注意力特征和对象特征的自注意力特征进行拼接，得到组合特征；

9、使用训练好的概念协作网络的学习模块对组合特征进行学习，得到待测原始图像的分类结果。

10、第二方面，本发明还提供一种基于概念协作网络的组合零样本学习装置，包括：

11、图像获取模块，用于获取状态对象组合的待测原始图像；

12、图像处理模块一、用于使用训练好的概念协作网络的特征提取器对待测原始图像进行处理，得到待测原始图像的特征；

13、图像处理模块二、用于使用训练好的概念协作网络的状态编码器对待测原始图像的特征进行处理，得到状态特征；

14、图像处理模块三、用于使用训练好的概念协作网络的对象编码器对待测原始图像的特征进行处理，得到对象特征；

15、图像处理模块四、用于使用训练好的概念协作网络的概念交互模块对待测原始图像的特征、状态特征和对象特征进行处理，分别得到待测原始图像的特征的自注意力特征、状态特征的自注意力特征和对象特征的自注意力特征；

16、图像处理模块五、用于将待测原始图像的特征的自注意力特征、状态特征的自注意力特征和对象特征的自注意力特征进行拼接，得到组合特征；

17、结果获取模块，用于使用训练好的概念协作网络的学习模块对组合特征进行学习，得到待测原始图像的学习结果。

18、本发明的有益效果：

19、本发明提供的一种基于概念协作网络的组合零样本学习方法及其装置，一方面，提出了一种新的概念协作网络来挖掘状态和对象的概念，并利用该网络来完善原始的视觉特征，以识别可见和不可见的类别；另一方面，提出了概念交互模块来分析状态和对象之间的潜在相关性，并同时重新平衡状态和对象在原始视觉特征中的比例，从而增强了组合特征的可辨析性。

20、以下将结合附图及实施例对本发明做进一步详细说明。

技术特征：

1.一种基于概念协作网络的组合零样本学习方法，其特征在于，包括：

2.根据权利要求1所述的基于概念协作网络的组合零样本学习方法，其特征在于，还包括：对概念协作网络进行训练；

3.根据权利要求2所述的基于概念协作网络的组合零样本学习方法，其特征在于，所述第一损失函数的表达式为：

4.根据权利要求3所述的基于概念协作网络的组合零样本学习方法，其特征在于，所述状态编码器的损失函数的表达式为：

5.根据权利要求1所述的基于概念协作网络的组合零样本学习方法，其特征在于，所述使用训练好的概念协作网络的概念交互模块对所述待测原始图像的特征、所述状态特征和所述对象特征进行处理，分别得到待测原始图像的特征的自注意力特征、状态特征的自注意力特征和对象特征的自注意力特征的过程包括：

6.根据权利要求1所述的基于概念协作网络的组合零样本学习方法，其特征在于，所述组合特征的获取表达式xnew为：

7.根据权利要求2所述的基于概念协作网络的组合零样本学习方法，其特征在于，所述第二损失函数的表达式为：

8.根据权利要求1所述的基于概念协作网络的组合零样本学习方法，其特征在于，所述概念协作网络的损失函数的表达式为：

9.一种基于概念协作网络的组合零样本学习装置，其特征在于，包括：

技术总结
本发明公开了一种基于概念协作网络的组合零样本学习方法及其装置，包括：获取待测原始图像；使用训练好的概念协作网络的特征提取器对待测原始图像进行处理，得到特征；使用训练好的概念协作网络的状态编码器对待测原始图像的特征进行处理，得到状态特征；使用训练好的概念协作网络的对象编码器对待测原始图像的特征进行处理，得到对象特征；使用训练好的概念协作网络的概念交互模块对特征、状态特征和对象特征进行处理；将待测原始图像的特征的自注意力特征、状态特征的自注意力特征和对象特征的自注意力特征进行拼接；使用训练好的概念协作网络的学习模块对拼接的组合特征进行学习，得到待测原始图像的分类结果。本发明能够增强识别性能。

技术研发人员：杨旭,王一博,李翔宇,魏坤,邓成,杨延华
受保护的技术使用者：西安电子科技大学
技术研发日：
技术公布日：2024/1/15