基于域偏置学习的无旧样本域增量目标检测方法和装置

本公开涉及图像处理，特别是涉及一种基于域偏置学习的无旧样本域增量目标检测方法和装置。

背景技术：

1、随着人工智能的快速发展，目标检测在许多应用领域发挥着重要的作用。然而，目前的目标检测方法应对领域变化的能力较弱。领域变化是指数据分布的变化，这是由背景因素如图片风格、灯光、天气等，以及物体因素如形状、外观和颜色等引起的。新领域在现实场景中的不断出现，在学习新领域的同时很可能遗忘旧领域的知识，从而导致目标检测的性能不佳。

技术实现思路

1、鉴于上述问题，本公开实施例提供了一种基于域偏置学习的无旧样本域增量目标检测方法和装置，以便克服上述问题或者至少部分地解决上述问题。

2、本公开实施例的第一方面，提供了一种基于域偏置学习的无旧样本域增量目标检测方法，所述方法包括：

3、获取多个域各自对应的训练图像集；

4、获取预训练的基础目标检测模型；

5、在冻结所述基础目标检测模型的权重参数的情况下，分别根据每个所述域的训练图像集对所述基础目标检测模型进行训练，得到每个所述域对应的偏置参数；

6、根据每个所述域对应的偏置参数，生成目标检测模型；所述目标检测模型中保存了每个所述域对应的偏置参数，所述目标检测模型用于：针对不同域的输入图像，选用所述域对应的偏置参数，得到所述输入图像的目标检测结果。

7、可选地，所述训练图像集包括携带位置框标签以及每一所述位置框标签对应的类别标签的多个训练图像；所述分别根据每个所述域的训练图像集对所述基础目标检测模型进行训练，得到每个所述域对应的偏置参数，包括：

8、针对每个所述域，执行以下步骤：

9、将所述域的所述训练图像输入所述基础目标检测模型，得到所述训练图像的位置框预测结果、类别预测结果和针对每一感兴趣的图像区域的类别预测掩码；

10、根据每一所述训练图像的所述位置框预测结果和所述位置框标签，确定位置框损失；

11、根据每一所述训练图像的所述类别预测结果和所述类别标签，确定分类损失；

12、根据每一所述训练图像中感兴趣的图像区域的类别预测掩码，和所述感兴趣的图像区域对应的类别预测结果，确定平均二元交叉熵损失；

13、基于所述位置框损失、所述分类损失和所述平均二元交叉熵损失，对所述基础目标检测模型进行训练，得到所述域对应的偏置参数。

14、可选地，在所述分别根据每个所述域的训练图像集对所述基础目标检测模型进行训练之后，所述方法还包括：

15、在每一所述域的训练图像集对所述基础目标检测模型进行训练后，确定已用于训练所述基础目标检测模型的各个域；

16、获取所述各个域对应的测试图像集；

17、将所述各个域的测试图像集作为当前的所述基础目标检测模型的当前测试图像集，并根据所述当前测试图像集对当前的所述基础目标检测模型进行测试。

18、可选地，在所述生成目标检测模型之后，所述方法还包括：

19、获取待检测图像；

20、确定所述待检测图像所属的目标域；

21、将所述待检测图像输入目标检测模型，得到所述目标检测模型在选用所述目标域对应的偏置参数的情况下，输出的目标检测结果。

22、可选地，所述确定所述待检测图像所属的目标域，包括：

23、获取各个所述域的图像的图像特征，并将所述域的图像的图像特征确定为所述域的图像特征；

24、获取所述待检测图像的图像特征；

25、根据所述待检测图像的图像特征和各个所述域的图像特征之间的距离，确定所述待检测图像所属的目标域。

26、本公开实施例的第二方面，提供了一种基于域偏置学习的无旧样本域增量目标检测装置，所述装置包括：

27、第一获取模块，用于获取多个域各自对应的训练图像集；

28、第二获取模块，用于获取预训练的基础目标检测模型；

29、模型训练模块，用于在冻结所述基础目标检测模型的权重参数的情况下，分别根据每个所述域的训练图像集对所述基础目标检测模型进行训练，得到每个所述域对应的偏置参数；

30、模型生成模块，用于根据每个所述域对应的偏置参数，生成目标检测模型；所述目标检测模型中保存了每个所述域对应的偏置参数，所述目标检测模型用于：针对不同域的输入图像，选用所述域对应的偏置参数，得到所述输入图像的目标检测结果。

31、可选地，所述训练图像集包括携带位置框标签以及每一所述位置框标签对应的类别标签的多个训练图像；所述模型训练模块具体用于执行：

32、针对每个所述域，执行以下步骤：

33、将所述域的所述训练图像输入所述基础目标检测模型，得到所述训练图像的位置框预测结果、类别预测结果和针对每一感兴趣的图像区域的类别预测掩码；

34、根据每一所述训练图像的所述位置框预测结果和所述位置框标签，确定位置框损失；

35、根据每一所述训练图像的所述类别预测结果和所述类别标签，确定分类损失；

36、根据每一所述训练图像中感兴趣的图像区域的类别预测掩码，和所述感兴趣的图像区域对应的类别预测结果，确定平均二元交叉熵损失；

37、基于所述位置框损失、所述分类损失和所述平均二元交叉熵损失，对所述基础目标检测模型进行训练，得到所述域对应的偏置参数。

38、可选地，在所述分别根据每个所述域的训练图像集对所述基础目标检测模型进行训练之后，所述装置还包括：

39、域确定模块，用于在每一所述域的训练图像集对所述基础目标检测模型进行训练后，确定已用于训练所述基础目标检测模型的各个域；

40、第三获取模块，用于获取所述各个域对应的测试图像集；

41、测试模块，用于将所述各个域的测试图像集作为当前的所述基础目标检测模型的当前测试图像集，并根据所述当前测试图像集对当前的所述基础目标检测模型进行测试。

42、可选地，在所述生成目标检测模型之后，所述装置还包括：

43、第四获取模块，用于获取待检测图像；

44、目标域确定模块，用于确定所述待检测图像所属的目标域；

45、输出模块，用于将所述待检测图像输入目标检测模型，得到所述目标检测模型在选用所述目标域对应的偏置参数的情况下，输出的目标检测结果。

46、可选地，所述目标域确定模块具体用于执行：

47、获取各个所述域的图像的图像特征，并将所述域的图像的图像特征确定为所述域的图像特征；

48、获取所述待检测图像的图像特征；

49、根据所述待检测图像的图像特征和各个所述域的图像特征之间的距离，确定所述待检测图像所属的目标域。

50、本公开实施例的第三方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行指令，以实现如第一方面的基于域偏置学习的无旧样本域增量目标检测方法。

51、本公开实施例的第四方面，提供了一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面的基于域偏置学习的无旧样本域增量目标检测方法。

52、本公开实施例包括以下优点：

53、本公开实施例中，预训练的基础目标检测模型在每个域中，独立学习每个域对应的偏置参数，避免从旧域保存示例，从而得到保存了每个域对应的偏置参数的目标检测模型。目标检测模型在工作时，可以针对不同的图像所属的域，选用不同的偏置参数，从而保证目标检测模型在各个域都具有优良的性能。