一种物体检测模型的训练方法、物体检测方法及装置与流程

本发明涉及计算机视觉领域，尤其是一种物体检测模型的训练方法、物体检测方法及装置。

背景技术：

1、物体检测是计算机视觉领域中的一个重要任务，从区域级的角度来理解图像，主要目标是对图像中的物体进行分类和定位。物体检测方法可广泛应用于人脸检测，行人检测，物体跟踪以及自动驾驶中的障碍物检测等等。当前物体检测方法需要依靠大规模的数据进行训练，数据的标注是费时且昂贵的。通过利用少量标注数据和大规模无标注数据，采用半监督的学习范式可以有效解决上述问题。

2、目前的半监督物体检测方法采用基于强-弱数据增强的教师-学生模型框架，现有技术由教师模型对弱数据增强后的未标记数据进行预测得到伪标签，产生的伪标签含有大量的噪声。现有的半监督物体检测方法主要通过手工设定的分数阈值或动态的分数阈值来筛选伪标签，不同检测器输出的伪标签在分数分布上存在巨大差异，当框架中的检测器被替换时，需要通过大量实验重新选择阈值，因此手工阈值限制了半监督方法只能局限于一种检测范式。动态阈值需要假设标记数据和未标记数据在数据分布上是一致的，数据分布一致性指的是标记数据中的类别比例与未标记数据的类别比例是相同的，动态阈值要求数据分布一致使得物体检测模型无法利用分布以外的无标记数据。其中，分布以外的数据，包括不一致的无标记数据和图像域不同的数据，例如城市道路图像域或办公场景室内图像域。

技术实现思路

1、有鉴于此，本发明实施例提供一种物体检测模型的训练方法、物体检测方法及装置，用于充分利用无标记数据训练物体检测模型，并减少伪标签中的噪音，以提高物体检测模型的预测精准度。

2、本发明实施例的一方面提供了一种物体检测模型的训练方法，包括：

3、将无标注的第一图像进行多管道的弱数据增强，对应得到弱数据增强后的多张无标注的弱增强图像；

4、根据预设的教师模型对多张所述弱增强图像进行物体检测，得到每张所述弱增强图像的多个预测标签，并选取各张所述弱增强图像中一致性预测的标签作为一致性伪标签；

5、将所述第一图像和经过标注的第二图像分别进行单管道强数据增强，对应得到第一强增强图像和第二强增强图像；

6、根据预设的学生模型分别对所述第一强增强图像和所述第二强增强图像进行特征提取，再进行特征融合，得到实例特征融合图像；

7、根据所述学生模型的预测头网络对所述实例特征融合图像进行预测，并将得到的预测结果和所述一致性伪标签作为训练数据，训练所述学生模型；

8、当所述学生模型梯度回传后，根据所述教师模型、所述学生模型以及预设的指数滑动平均策略更新所述教师模型的参数。

9、可选地，所述根据预设的教师模型对多张所述弱增强图像进行物体检测，得到每张所述弱增强图像的多个预测标签，并选取各张所述弱增强图像中一致性预测的标签作为一致性伪标签，包括：

10、根据所述教师模型对每张所述弱增强图像进行物体检测，将得到的所述预测标签保存为二维矩阵，所述二维矩阵中每行表示一张所述弱增强图像中各个物体对应的所述预测标签，每列表示同一物体对应的各个所述预测标签；

11、将所述二维矩阵中每列的所述预测标签进行融合，得到多个融合标签，多个所述融合标签作为融合标签集合；

12、将所述二维矩阵中每行的每个所述预测标签分别与所述融合标签集合中的所有所述融合标签求交并比，确定最大交并比对应的所述融合标签，根据所述最大交并比及对应的融合标签更新所述融合标签集合；

13、遍历每列的所述预测标签，若每列的所述预测标签的数量大于或等于弱数据增强的次数，则将该列所述预测标签对应的所述融合标签作为一致性伪标签。

14、可选地，所述根据所述最大交并比及对应的融合标签更新所述融合标签集合，包括：

15、若所述最大交并比小于预设的阈值，则所述最大交并比对应的所述预测标签添加到所述融合标签集合的尾部；

16、若所述最大交并比大于或等于预设的阈值，则所述最大交并比对应的所述预测标签添加到对应列中，融合所述对应列中的所有所述预测标签，得到新的融合标签，并更新所述融合标签集合。

17、可选地，所述根据预设的学生模型分别对所述第一强增强图像和所述第二强增强图像进行特征提取，再进行特征融合，得到实例特征融合图像，包括：

18、根据预设的学生模型分别对所述第一强增强图像和所述第二强增强图像进行特征提取，对应得到第一实例特征图像和第二实例特征图像；

19、根据预设的标签分配策略分别对所述第一实例特征图像和所述第二实例特征图像进行标签分配；

20、将经过标签分配后的所述第一实例特征图像和所述第二实例特征图像进行特征融合，得到实例特征融合图像。

21、可选地，所述根据预设的标签分配策略分别对所述第一实例特征图像和所述第二实例特征图像进行标签分配，包括：

22、将所述第一实例特征图中的前景特征确定为伪正标签，将所述第一实例特征图中的背景特征确定为伪负标签；

23、将所述第二实例特征图中的前景特征确定为真正标签，将所述第二实例特征图中的背景特征确定为真负标签。

24、可选地，所述将经过标签分配后的所述第一实例特征图像和所述第二实例特征图像进行特征融合，包括：

25、将所述伪正标签和所述真正标签对应的特征进行融合，融合表达式为：

26、

27、labelf＝λlabeluif+(1-λ)labellif

28、其中，为伪正标签对应的特征，为真正标签对应的特征，为融合后的正标签特征，λ为伪标签的预测分数，labeluif为伪正标签对应的标签值，labellif为真正标签对应的标签值，labelf为融合后的标签值；

29、将所述伪负标签和所述真负标签对应的特征进行融合，融合表达式为：

30、

31、其中，为伪负标签对应的特征，为真负标签对应的特征，为融合后的负标签特征。

32、本发明实施例的另一方面还提供了一种物体检测方法，包括：

33、获取待检测图像；

34、根据物体检测模型对所述待检测图像进行物体检测，得到所述待检测图像中各物体的预测标签；

35、其中，所述物体检测模型为利用上述一种物体检测模型的训练方法训练得到的教师模型或学生模型。

36、本发明实施例的另一方面还提供了一种物体检测模型的训练装置，包括：

37、第一训练单元，用于将无标注的第一图像进行多管道的弱数据增强，对应得到弱数据增强后的多张无标注的弱增强图像；

38、第二训练单元，用于根据预设的教师模型对多张所述弱增强图像进行物体检测，得到每张所述弱增强图像的多个预测标签，并选取各张所述弱增强图像中一致性预测的标签作为一致性伪标签；

39、第三训练单元，用于将所述第一图像和经过标注的第二图像分别进行单管道强数据增强，对应得到第一强增强图像和第二强增强图像；

40、第四训练单元，用于根据预设的学生模型分别对所述第一强增强图像和所述第二强增强图像进行特征提取，再进行特征融合，得到实例特征融合图像；

41、第五训练单元，用于根据所述学生模型的预测头网络对所述实例特征融合图像进行预测，并将得到的预测结果和所述一致性伪标签作为训练数据，训练所述学生模型；

42、第六训练单元，用于当所述学生模型梯度回传后，根据所述教师模型、所述学生模型以及预设的指数滑动平均策略更新所述教师模型的参数。

43、本发明实施例的另一方面还提供了一种物体检测装置，包括：

44、第一检测单元，用于获取待检测图像；

45、第二检测单元，用于根据物体检测模型对所述待检测图像进行物体检测，得到所述待检测图像中各物体的预测标签；

46、其中，所述物体检测模型为利用上述一种物体检测模型的训练方法训练得到的教师模型或学生模型。

47、本发明实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；

48、所述存储器用于存储程序；

49、所述处理器执行所述程序实现所述的方法。

50、本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现所述的方法。

51、本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。

52、本发明的训练方法提出了一种无阈值的伪标签选择方法，即一致性伪标签选择。本发明的训练方法先将无标注的第一图像进行多管道的弱数据增强，然后教师模型对弱数据增强后的多张无标注的弱增强图像进行物体检测，进而只保留多张弱增强图像中一致性的预测结果作为高质量的伪标签，即选取各张弱增强图像中相同的预测标签作为一致性伪标签；本发明的训练方法是一种即插即用的方法，可以应用在单阶段、二阶段或基于transformer的物体检测方法上，本发明的训练方法具备通用性；而且，本发明的训练方法不仅可以扩展在现有的物体检测方法上，还可以利用分布以外的无标注数据，为了进一步抑制伪标签存在的噪音标签，本发明的训练方法还提出了实例特征融合过程，通过经过标注的第二图像的实例特征与第一图像的实例特征进行融合，缓解了物体检测模型对噪音标签的拟合。

53、另外，本发明的物体检测方法所使用的物体检测模型为经过本发明的训练方法训练得到，因此，根据本发明的物体检测方法可以准确地识别出待检测图像中的物体，实现精准的物体分类。