一种基于小样本的多类可用性语义分割方法

本发明涉及深度学习和语义分割，涉及一种基于小样本的物体可用性语义分割方法，该方法基于原型学习、结构先验模块和负样本反馈机制。

背景技术：

1、物体视觉可用性学习包括对图像或视频中的物体可用性进行分类、检测、标记和推理。这些任务以不同的方式来看待和表示对象的可用性。可用性分割是指将图像分割为一组区域，其中每个区域都分配有可用性类别。在这种情况下，对象根据可用性被划分为区域。因此，可用性分割相对来说更具挑战性。它通常与可用性检测相结合。大多数可用性检测和分割工作都集中在全监督方法上。他们依赖昂贵的注释来训练模型，这在许多情况下通常是不满意的。因此，弱监督[1]和基于one-shot的方法[2]最近得到了证明。osad[3]检测查询图像中与给定支持图像具有共同功能的所有对象。但这种方法仅限于对象掩码，认为整体对象属于一个启示范畴。随后，affcorrs[4]解决了one-shot可用性的部分分割问题。该方法的目的是在给定支持图像和部分区域掩码的查询图像中找到语义上对应的区域。给定一个具有多个可用性类别的对象，该方法需要重复多次，以对测试图像的所有可用性类别做出预测。因此，现有的one-shot可用性学习方法主要是预测查询图像的二进制可用性掩码，无法对查询图像分割多个可用性区域。

2、小样本分割是小样本学习中的一种，目的是对只有少量标记例子的新类别进行像素级的分割。oslsm[2]在图像分割中首次引入了这种任务。小样本分割方法可以分为三个分支:基于度量的、基于优化的和基于增强的。其中基于度量的方法即原型学习是本文主要的研究方向。pl[5]初次引入了原型概念。在这项工作中，每个预测生成的原型与查询图像像素进行相似性度量。但目前的原型方法没有考虑不同原型特征之间的关联关系，一个对象具有多个启示区域彼此之间具有一定的关联关系。大多数关于小样本分割的工作主要集中在单向分割上，单向分割被研究为前景或背景分割任务。但本发明是对一个对象的多个可用性区域进行分割，而不是分割k个不同的对象，目前的方法不能直接扩展到实际的多类问题上。

技术实现思路

1、为了解决现有技术存在局限于二分类分割，针对一个对象包含多个物体可用性类别，提出了多类可用性分割的技术问题，本发明提供了以下技术方案：

2、一种基于小样本的多类可用性语义分割方法，其特征在于：包括如下步骤：

3、s1、构建数据集，将数据集按照比例划分为训练集和测试集；其中训练集基于小样本的模型输入数据包含带掩码的支持集图像和目标图像查询集，同时根据可用性公开数据集构建了负样本集；

4、s2、构建小样本多类分割mc-fss模型，基于训练集数据对小样本多类分割mc-fss模型进行训练，得到训练好的小样本多类分割mc-fss模型；

5、所述基于训练集数据对小样本多类分割mc-fss模型进行训练，得到训练好的小样本多类分割mc-fss模型的过程如下：

6、s21、数据特征提取及处理：对输入的数据进行特征提取，通过预训练网络分别提取支持图像、查询图像和负样本图像的特征，

7、s22、根据支持图像的特征和二分类掩码通过相乘和平均池化得到前景对象的特征信息，利用前景特征与查询图进行相似度计算和自注意力获得更关注于前景信息的查询图特征；

8、s23、首先利用支持图像和多分类掩码进行相乘和平均池化方法获得多个类别的原型特征，然后经过自支持方法获得与查询图自身更相似的原型特征，将最终得到的原型特征与查询图进行相似性计算并插入到对应像素位置，通过金字塔aspp[6]，进行语义分割；

9、s3:将测试集数据输入到训练好的小样本多类分割mc-fss模型中，得到最终的分割结果。

10、进一步地：还包括负反馈机制：用于计算负样本分割结果并计算损失，其中，从s1得到的负样本特征与s23最终得到的原型特征进行相似度计算，将最终得到的分割结果与真实负样本掩码进行损失计算，增大类外差距约束模型训练。

11、进一步地：所述预训练网络采用resnet50与空间注意力机制sam[7]模块相结合；所述预训练网络包括依次串联连接的五个卷积块，空间注意力机制与五个卷积块中最后的三个卷积块进行结合。

12、进一步地：所述数据特征提取及处理：对输入的数据进行特征提取，通过预训练网络分别提取支持图像、查询图像和负样本图像的特征的过程如下：

13、mc-fss模型根据输入的所有图片，进行随机裁剪为统一的大小，裁剪后的图片输入共享的预训练网络resnet50，预训练网络基于五个卷积块提取后获得包含更多细节信息的特征图，

14、将第三卷积块、第四卷积块进行上采样相加，再通过空间注意力sam模块获得包含空间信息的特征图，最后通过空间注意力sam模块获得的特征图与第五个卷积块特征信息进行相加得到最终的特征信息。

15、进一步地：所述根据支持图像的特征和二分类掩码通过相乘和平均池化得到前景对象的特征信息，利用前景特征与查询图进行相似度计算和自注意力获得更关注于前景信息的查询图特征的过程如下：

16、将获得支持特征is与自身的二分类掩码ms1进行相乘，分割出前景特征和背景特征信息；

17、将获取到的支持图前景特征信息与查询图特征iq进行初步的相似度计算，得到查询图前景信息的概率分布；

18、将前景概率分布信息与初始查询图特征进行拼接，通过自注意力机制，获得更关注于前景信息的查询特征图fs-f。

19、进一步地：所述首先利用支持图像和多分类掩码进行相乘和平均池化方法获得多个类别的原型特征，然后经过自支持方法获得与查询图自身更相似的原型特征，将最终得到的原型特征与查询图进行相似性计算并插入到对应像素位置，通过金字塔aspp，进行语义分割如下：

20、第一步得到的原型特征ps是从支持图中获得，ps与查询图特征进行相似性计算获得初始的分割结果；

21、将初始查询分割掩码与查询图特征进行相乘平均池化计算得到查询原型特征pq；

22、最终的原型特征是将支持原型和查询原型按照一定比例相加，得到与查询图更相似的原型特征去引导查询图分割，将获得最终原型p与查询图进行余弦相似度计算得到最终的分割结果。

23、本发明的目的是提供一种基于小样本的多类可用性语义分割方法，多类的可用性分割旨在对一个对象中的多个不同可用性区域进行像素级的分割，为视觉可用性学习提供全面的信息，现有的小样本可用性学习方法都是进行二分类的学习，要么从一个支持图像中学习整体对象，要么从支持图像中学习某一个功能部分，但在实践中，许多对象具有两个或两个以上的可用性区域。此外一个对象的不同可用性区域间没有明显的边界，在分割时边界信息难以实现准确分割。我们的新方法通过基于小样本的原型学习方法，提出了结构先验模块与自支持结合，并设计了负样本反馈机制，更好的增加类内特征信息的相似性，增大类外差异，从而实现多分类分割并解决了现有存在的问题。

24、本发明的技术特点如下：

25、(1)引入了多类小样本可用性分割任务，将可用性分割和n-way小样本分割结合为一个综合任务。

26、(2)使用空间注意力sam获取物体可用性间的相对位置关系；将结构先验模块和自支持结合，缩小待分割区域到物体对象再进一步用查询图自身特征引导分割。

27、(3)使用负样本反馈损失函数，增大类外差距，约束模型对同类别物体对象进行物体可用性分割。