一种基于少样本学习的开放世界目标检测方法

本发明属于图像处理领域，涉及传统目标检测、少样本目标检测以及与类别无关的目标检测，特别是涉及一种基于少样本学习的开放世界目标检测方法。

背景技术：

1、目标检测任务是计算机视觉领域中基础且应用最广泛的任务之一。给定一张图像，目标检测需要根据网络以及图像内容定位出包含前景的物体框，并给出其具体的类别。现有大部分的目标检测器都是建立在一个闭集的设定上，即其中测试集中的类别完全取决于训练过程中使用的类别。在更真实的场景下，这些检测器无法识别训练中未见过的类别。相比之下，人类可以在新的环境中识别出与已有类别相似的未知的物体，且不考虑其特殊的类别，这使今年来类别不可知的目标检测(class-agnostic object detection)逐步受到人们的关注(konan s,liang k j,yin l.extending one-stage detection with open-world proposals[j].arxiv preprint arxiv:2201.02302,2022)。作为一个开集学习的子问题，与类别无关的目标检测旨在定位一张图上所有可能的物体，并且不对它们进行分类操作。然而，由于无法分类，与类别无关的目标检测在更下游的任务上的可扩展性受限，并且也不具备进一步对感兴趣的未知物体进行检测。

2、由于此类网络可以作为检测中鲁棒的预处理模型初步筛选前后景，直观的想法是在此模型后面添加一个检测输出模块(r-cnn module)进行分类和回归操作，使用一些含有未知类别的物体的标注信息对网络进行微调，期望模型能够得到减少计算费用以及在训练过程中更加灵活简便。这种构思涉及到少样本检测(kang b,liu z,wang x,et al.few-shot object detection via feature reweighting[c]//proceedings of the ieee/cvfinternational conference on computer vision.2019:8420-8429)，作为一个两阶段的闭集检测任务，少样本目标检测器可以在基础样本预训练的模型上，仅仅使用少量新类别的样本，实现在在数据稀少的场景中对新类别的快速微调与泛化。然而，直接将少样本目标检测和与类别无关的物体检测相结合，无论是基础类别的精度(bap)以及新类别的精度(nap)的效果均较差。可能存在的原因是与类别无关的物体检测任务(caod)使用二值标签训练网络，缺少多类别的分类信息，导致对于原有类别的欠拟合，并损害对于新类别的泛化性能；同时，期望的网络还需要在第二阶段来识别潜在的未知物体。因此，原有的设定均不满足本发明的要求。

技术实现思路

1、本发明的目的在于针对现有的类别不可知目标检测任务的可扩展性受限，通过结合少样本学习，设计了一个新的视觉检测任务，即基于少样本学习的开放世界目标检测(open-world object detection,ofod)，并提出ofdet，用于实现基于少样本学习的开放世界目标检测任务，在检测基础类别的同时，通过少样本学习(few-shot learning)的方法，使得网络可以定位和识别未知物体。

2、所述神经网络ofdet基于faster r-cnn以及oln，包含骨干网络、区域提议网络、类别不可知目标检测模块calm、基础分类模块bcm、新类别检测模块ndm以及未知类别挑选算法ups。

3、一种基于少样本学习的开放世界目标检测方法，用于对目标图片中的已知和未知物体进行检测和定位操作；分为2个阶段，包括如下步骤：

4、第1阶段，使用充足的基础类别训练网络：

5、步骤1，设置输入图片大小为h×w×c，图片预设好对应的锚框anchor；

6、步骤2，图片经过骨干网络得到对应的特征fb；

7、步骤3，fb经过地区提议网络region proposal network(rpn)，用于挑选所有可能的前景物体作为正样本，输出候选框的坐标信息以及定位置信度r，用于计算损失；

8、步骤4，网络通过roi align操作以及rpn输出的回归和定位信息得到fb中对应区域的proposals的特征fp；

9、步骤5，fp经过类别不可知目标检测模块(calm)，输出得到最后修正后的proposals的回归信息以及对应的定位置信度，并计算损失。fp同时经过基础分类模块(bcm)，输出得到proposals的分类信息，并计算损失；

10、第2阶段，移除bcm模块，使用少量的新类别微调网络，同时使用未知类别挑选算法定位潜在的未知物体：

11、第二阶段中的步骤1～5和阶段1中对应步骤一致；

12、步骤6，fp根据calm的回归信息对候选框进一步修正，并根据每个proposals的在calm以及rpn输出的两个定位置信度(r，c)综合选取前k个的proposals的特征fp*，然后送入ndm模块；

13、步骤7，fp*经过新类别检测模块(ndm)，得到最后的proposals的分类信息和回归信息，计算损失；

14、步骤8，在测试过程中，通过ups方法来挑选没被制定为正样本中潜在的未知物体，最后使用指标(map和mar)对已知类别和未知类别进行评估。

15、本发明有以下技术效果：

16、1)本发明设计一个新任务，即基于少样本学习的开放世界目标检测(ofod)，尝试对未知类别以及新类别分别进行定位和检测操作。

17、2)本发明提出ofdet，用于实现基于少样本学习的开放世界目标检测任务，该网络基于无类别的目标检测网络，并采用两阶段的微调范式来解决ofod任务。在此网络模型中，本发明设计三个简单实用的模块(calm、bcm和ndm)和一个用于已知和未知类的未知提议选择算法(ups)。

18、3)本发明可以在多个已知和新设定的任务上的性能表现良好。本发明不仅可以在已有的多个已有任务上性能良好，同时在新设定的ofod任务上，本发明对于未知类别的平均召回率(ar)达到最好的效果，同时获得较高的新类别的平均精度(ap)。

技术特征：

1.一种基于少样本学习的开放世界目标检测方法，其特征在于用于对目标图片中的已知和未知物体进行检测和定位操作；分为2个阶段，包括如下步骤：

技术总结
一种基于少样本学习的开放世界目标检测方法，属于图像处理领域。基于少样本学习的开放世界目标检测任务，在类别不可知的目标检测中引入少样本学习方法，提供少量未知类别的样本，指导网络实现对于新类别的检测与未知类别的定位。提供基于少样本学习的开放世界目标检测的网络OFDet，在两阶段微调范式下的类别不可知的物体检测器上建模。OFDet由三个模块组成：类别不可知目标检测模块CALM、基础分类模块BCM以及新类别的检测模块NDM。为选择更准确的未知物体，提出基于未知候选框的选择算法。在已有的多个已有任务上性能良好，在新设定的OFOD任务上，对于未知类别的平均召回率达到最好效果，同时获得较高新类别平均精度。

技术研发人员：陈威,纪荣嵘,曹刘娟,张声传
受保护的技术使用者：厦门大学
技术研发日：
技术公布日：2024/1/13