一种多任务多分类检测方法、装置、设备、产品及车辆与流程

本技术涉及目标检测，尤其涉及一种多任务多分类检测方法、装置、设备、产品及车辆。

背景技术：

1、随着技术的不断发展，多任务多分类的目标检测的需求在诸多领域日益凸显，它要求系统能够同时识别图像中的多种不同类别目标，并对这些目标进行细致的分类处理。例如，在智能驾驶系统中，需要同时确定交通灯组的状态(如红绿灯的颜色、形状、倒计时等)以及交通标识的具体含义(如限速标志、禁止停车标志、方向指示标志等)。

2、然而当前的多任务多分类目标检测技术大多采用了一种分割处理的方式：将多任务多分类的复杂目标检测任务拆分为多个独立的检测任务(如红绿灯组检测、交通标识识别等)，并为每一检测任务分别构建和训练模型。这种处理方式，虽然在一定程度上解决了问题，但也带来了不容忽视的弊端，例如，每个独立任务都需要设计、训练和优化一个专门的模型，使得模型的开发和维护成本显著攀升；又例如，在部署阶段，每个模型都需单独配置资源并设定推理流程，造成了计算资源的重复投入和效率低下，在资源受限的情境下，比如车载系统或移动设备中，同时运行多个模型还可能会使设备负载过重，进而损害检测的快速响应能力和实时性能。

技术实现思路

1、有鉴于此，本技术实施例致力于提供一种多任务多分类检测方法、装置、设备、产品及车辆，通过构建并训练能够同时处理多个不同类别目标及其细粒度分类子任务的统一模型，能够同时处理多个目标检测任务及其下的分类子任务，减少了模型的数量，降低了系统成本。

2、根据本技术实施例的第一方面，提供了一种多任务多分类检测方法，包括：

3、获取待检测图像；

4、调用预先训练的目标检测模型，对所述待检测图像进行多任务多分类目标检测，得到所述待检测图像的目标检测结果；

5、其中，所述目标检测模型基于第一配置信息训练得到，所述第一配置信息包括多个目标检测任务、每一目标检测任务的至少一个分类子任务、每一分类子任务的类别标签以及每一类别标签对应的预测单元；所述目标检测结果包括每一目标检测任务中每一分类子任务的分类预测结果。

6、可选的，所述调用预先训练的目标检测模型，对所述待检测图像进行多任务多分类目标检测，得到所述待检测图像的目标检测结果，包括：

7、调用预先训练的目标检测模型执行以下处理：

8、根据所述待检测图像的图像特征以及所述第一配置信息，利用每一预测单元分别对与其对应的类别标签进行预测，得到每一类别标签的预测置信度，不同分类子任务的类别标签预测置信度之间相互独立；

9、根据预设的决策规则以及每一分类子任务的每一类别标签的预测置信度，从每一分类子任务的每一类别标签中确定该分类子任务的最优类别标签，并将所述最优类别标签确定为该分类子任务的分类预测结果。

10、可选的，所述目标检测模型基于对第一模型进行改进得到，所述第一模型包括focus模块；

11、所述目标检测模型在所述第一模型的基础上进行修改的内容包括：

12、将所述focus模块中的切片拼接机制修改为多层卷积特征抽取机制，所述多层卷积特征抽取机制用于通过多层卷积对输入图像进行下采样与通道调整，并且所述多层卷积特征抽取机制与所述切片拼接机制对输入图像的处理效果相同，所述处理效果包括下采样比例和通道数变化量。

13、可选的，所述目标检测模型的训练过程包括：

14、获取样本待检测图像以及所述样本待检测图像的标签信息，所述标签信息包括每一目标检测任务中每一分类子任务的分类标注结果；

15、将所述样本待检测图像输入所述目标检测模型，得到所述样本待检测图像对应的目标检测结果，所述目标检测结果包括每一目标检测任务中每一分类子任务的分类预测结果；

16、根据所述样本待检测图像对应的每一目标检测任务中每一分类子任务的分类预测结果以及所述样本待检测图像对应的每一目标检测任务中每一分类子任务的分类标注结果，确定总分类损失；

17、至少基于所述总分类损失对所述目标检测模型进行参数优化。

18、可选的，所述根据所述样本待检测图像对应的每一目标检测任务中每一分类子任务的分类预测结果以及所述样本待检测图像对应的每一目标检测任务中每一分类子任务的分类标注结果，确定总分类损失，包括：

19、根据每一分类子任务的分类预测结果及其对应的分类标注结果，确定每一分类子任务的第一分类损失；

20、根据每一目标检测任务中每一分类子任务的第一分类损失，确定每一目标检测任务的第二分类损失，其中，针对每一目标检测任务，执行以下处理：根据第i目标检测任务中每一分类子任务对应的第一权重，对所述第i目标检测任务中每一分类子任务的第一分类损失进行加权求和计算，得到所述第i目标检测任务的第二分类损失，所述i为正整数；

21、根据每一目标检测任务的第二分类损失，确定总分类损失。

22、可选的，所述目标检测模型的训练过程还包括：

23、在训练开始前，根据所述第i目标检测任务中每一分类子任务对应的第一样本检测图像的数量，为所述第i目标检测任务中每一分类子任务分配所述第一权重，每一分类子任务对应的第一样本检测图像包括表征该分类子任务分类标注结果的图像元素；

24、和/或，

25、在每一训练阶段结束后，根据所述第i目标检测任务中每一分类子任务在当前训练阶段的预测准确率，对所述第一目标检测任务中每一分类子任务的所述第一权重进行调整。

26、可选的，所述样本待检测图像的标注信息包括标注框信息，所述标注框信息包括标注框中每一目标检测任务的每一分类子任务的分类标注结果；

27、所述将所述样本待检测图像输入所述目标检测模型，得到所述样本待检测图像的目标检测结果，包括：

28、将所述样本待检测图像输入所述目标检测模型，得到预测框信息，所述预测框信息包括预测框中每一目标检测任务的每一分类子任务的分类预测结果；

29、根据所述预测框信息、所述标注框信息以及预设分配策略，对所述预测框以及所述标注框进行匹配，确定每一预测框中的正样本预测框；其中，所述预设分配策略包括基于所述预测框和所述标注框之间的综合成本进行标签分配的策略，所述综合成本至少基于总分类成本确定，所述总分类成本基于每一目标检测任务的分类成本确定，每一目标检测任务的分类成本基于该目标检测任务中每一分类子任务每一自对应的第二权重对每一分类子任务的分类成本进行加权求和计算确定；

30、所述根据每一目标检测任务中每一分类子任务的分类预测结果与每一目标检测任务中每一分类子任务的分类标注结果，确定总分类损失，包括：

31、根据所述正样本预测框的预测框信息以及所述标注框信息，确定总分类损失。

32、可选的，所述目标检测模型的训练过程还包括：

33、在训练开始前，根据第j目标检测任务中每一分类子任务对应的第一样本检测图像的数量，为所述第j目标检测任务中每一分类子任务分配所述第二权重，每一分类子任务对应的第一样本检测图像包括表征该分类子任务分类标注结果的图像元素，所述j为正整数；

34、和/或，

35、在每一训练阶段结束后，根据所述第j目标检测任务中每一分类子任务在当前训练阶段的分类损失，对所述第j目标检测任务中每一分类子任务的第二权重进行调整，所述j为正整数。

36、根据本技术实施例的第二方面，提供了一种多任务多分类检测装置，包括：

37、第一单元，用于获取待检测图像；

38、第二单元，用于调用预先训练的目标检测模型，对所述待检测图像进行多任务多分类目标检测，得到所述待检测图像的目标检测结果；

39、其中，所述目标检测模型基于第一配置信息训练得到，所述第一配置信息包括多个目标检测任务、每一目标检测任务的至少一个分类子任务、每一分类子任务的类别标签以及每一类别标签对应的预测单元，所述目标检测结果包括每一目标检测任务中每一分类子任务的分类预测结果。

40、根据本技术实施例的第三方面，提供了一种电子设备，包括存储器和处理器；

41、所述存储器与所述处理器连接，用于存储程序；

42、所述处理器用于通过运行所述存储器中的程序，实现如本技术实施例的第一方面中任意一项所述的多任务多分类检测方法。

43、根据本技术实施例的第四方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器实现如本技术实施例的第一方面中任意一项所述的多任务多分类检测方法。

44、根据本技术实施例的第五方面，提供了一种车辆，包括安装于车体上的至少一个图像获取设备以及如本技术实施例第三方面所述的电子设备，其中，

45、所述图像获取设备与所述电子设备通信连接；

46、所述图像获取设备用于采集车辆驾驶图像，并将所述车辆驾驶图像发送给所述电子设备，所述待检测图像基于所述车辆驾驶图像确定。

47、本技术实施例提供的多任务多分类检测方法，通过构建能够同时处理多个不同类别目标及其细粒度分类子任务的统一模型，能够同时处理多个目标检测任务及其下的分类子任务。一方面，只需设计和训练一个综合性的模型，减少了模型的数量，降低了开发成本；另一方面，只需要对单一模型进行调整和优化，大大简化了维护工作，降低了长期运营成本；再一方面，在部署时无需为每个任务单独配置硬件资源和推理流程，避免了资源的重复投入，特别适用于车载系统或移动设备等资源受限环境，确保了系统的快速响应能力和实时性能；通过共享底层特征提取层，本技术实施例提供的方法还增强了模型的泛化能力和准确性，利用任务间的关联性来提升学习效果，减少过拟合，提高模型在未见数据上的表现及每一任务的分类准确性。