一种多类别检测方法、系统及存储介质与流程

1.本发明涉及一种多类别检测方法、系统及存储介质，属于深度学习领域。


背景技术：

2.随着近年来计算机视觉算法的更新和硬件技术的发展，训练目标检测模型对图像数据中的重要目标进行识别定位，开始逐步应用以替代人力执行重复危险的监督工作，在交通、安保、医疗、工业生产等众多领域得到广泛应用。现有算法模型中，以yolo系列为代表的一阶段端到端式目标检测模型以其部署方便、检测速度快、检测精度良好等优势被广泛应用与研究。
3.一阶段端到端目标检测网络模型由输入层、负责特征提取的特征提取网络、负责特征融合的颈部网络以及负责形成预测向量的头部检测网络构成，其结构简单、应用方便、在检测速度和精度上综合性能较好的优点。
4.然而，为了便于进行迁移学习，目前的一阶段端到端目标检测网络模型一般很少考虑类别与类别间的特征图语义信息差距(即类间特征图语义距离)，对类间特征图语义距离表征不充分，从而影响多类别检测效果。


技术实现要素：

5.本发明提供了一种多类别检测方法、系统及存储介质，解决了背景技术中披露的问题。
6.为了解决上述技术问题，本发明所采用的技术方案是：
7.一种多类别检测方法，包括：
8.获取进行多类别检测的数据；
9.将进行多类别检测的数据输入预先训练的多类别检测模型，获得多类别检测结果；其中，预先训练的多类别检测模型的过程为：对基于类间特征图语义距离的聚类结果进行评估，获取优选的特征提取网络深度和聚类结果；根据优选的特征提取网络深度和聚类结果构建的多类别检测模型；训练多类别检测模型。
10.对基于类间特征图语义距离的聚类结果进行评估，获取优选的特征提取网络深度和聚类结果，包括：
11.采用训练集训练特征提取网络；
12.将评估集输入训练后的特征提取网络，获取除前三个批量标准化层外其余批量标准化层输出的特征图；
13.将同尺寸特征图划分为同组，组内按照类别划分为若干队；
14.对同组同队的特征图进行空间金字塔池化，将同一特征图的所有池化向量拼接为该特征图像的一维特征向量；
15.对组内的一维特征向量进行聚类，采用预设的聚类损失函数，对每组的聚类结果进行评估；
16.根据评估结果，获取优选的特征提取网络深度和聚类结果。
17.聚类损失函数为，
[0018][0019][0020]
其中，loss1为聚类损失函数，c为总类别数，m为评估集各类别抽取样本数，x
ij
为第j类第i张特征图，u
l
为第l个聚类中心向量，τ(j,l)表示第j个类别是否属于第l个聚类，k为聚类中心数，z为整数集，c[l]为第l个聚类包含的类别序号集合。
[0021]
根据评估结果，获取优选的特征提取网络深度和聚类结果，包括：
[0022]
根据评估结果，选取聚类损失最低的组和该组的聚类数；
[0023]
根据聚类损失最低的组，确定优选的特征提取网络深度，并将该组的聚类数作为优选的聚类结果。
[0024]
根据聚类损失最低的组，确定优选的特征提取网络深度，包括：
[0025]
确定聚类损失最低组对应的输出特征图，保留特征提取网络在该特征图前的特征提取模块，舍弃其余网络，获得优选的特征提取网络深度。
[0026]
根据优选的特征提取网络深度和聚类结果构建的多类别检测模型，包括：
[0027]
根据优选的特征提取网络深度，构建特征提取网络；
[0028]
根据聚类结果，构建各类别的颈部网络和头部检测网络；
[0029]
根据特征提取网络、各类别的颈部网络和头部检测网络，构建多类别检测模型。
[0030]
多类别检测模型的损失函数为：
[0031][0032]
其中，loss2为多类别检测模型的损失函数，m为评估集各类别抽取样本数，p
l
为多类别检测模型输出的第l个聚类目标的预测向，y
l
为第l个聚类中类别目标形成的真实向量，num表示集合内的元素个数，c[l]为第l个聚类包含的类别序号集合，k为聚类中心数。
[0033]
在训练完多类别检测模型后，还包括对多类别检测模型进行前向推理；在进行前向推理时，使用分散型非极大值抑制过滤重复预测框；其中，分散型非极大值抑制在考虑网络解耦型结构特征的基础上，对子网络的输出应用局部非极大值抑制，将非极大值抑制后的结果直接拼接。
[0034]
一种多类别检测系统，包括：
[0035]
数据获取模块，用以获取进行多类别检测的数据；
[0036]
多类别检测模块，用以将进行多类别检测的数据输入预先训练的多类别检测模型，获得多类别检测结果；其中，预先训练的多类别检测模型的过程为：对基于类间特征图语义距离的聚类结果进行评估，获取优选的特征提取网络深度和聚类结果；根据优选的特征提取网络深度和聚类结果构建的多类别检测模型；训练多类别检测模型。
[0037]
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指
令，所述指令当由计算设备执行时，使得所述计算设备执行多类别检测方法。
[0038]
本发明所达到的有益效果：本发明通过多类别检测模型进行多类别检测，该模型基于类间特征图语义距离获得，提升了模型对于类别语义信息差距的感知能力，提升了模型的检测效果。
附图说明
[0039]
图1为本发明方法的流程图；
[0040]
图2为训练多类别检测模型的流程图；
[0041]
图3为获取优选特征提取网络深度和聚类结果的流程图；
[0042]
图4为构建多类别检测模型的流程图。
具体实施方式
[0043]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0044]
如图1所示，一种多类别检测方法，包括以下步骤：
[0045]
步骤1，获取进行多类别检测的数据；
[0046]
步骤2，将进行多类别检测的数据输入预先训练的多类别检测模型，获得多类别检测结果；其中，如图2所示，预先训练的多类别检测模型的过程为：对基于类间特征图语义距离的聚类结果进行评估，获取优选的特征提取网络深度和聚类结果；根据优选的特征提取网络深度和聚类结果构建的多类别检测模型；训练多类别检测模型。
[0047]
上述方法实施在那些设备中，该方法通过多类别检测模型进行多类别检测，该模型基于类间特征图语义距离获得，提升了模型对于类别语义信息差距的感知能力，提升了模型的检测效果。
[0048]
构建多类别检测模型的核心为基于类间特征图语义距离的聚类和根据聚类结果进行网络构建。
[0049]
基于类间特征图语义距离的聚类，主要用以获取优选的特征提取网络深度和聚类结果，该过程可以采用如图3的流程：
[0050]
11)准备样本集，将样本集划分为训练集、测试集和评估集。
[0051]
上述评估集并非按照预设抽样比进行随机抽样，而是首先对样本集按照标签分为c类(c为总类别数)，而后根据各类样本数的最小值确定抽样数量m，从各类中随机抽取m张图片，共计m
×
c张图片构成评估集。
[0052]
12)采用训练集训练特征提取网络；即以训练集对单阶段目标检测模型进行适当训练得到特征提取网络。
[0053]
13)将评估集输入训练后的特征提取网络，获取除前三个批量标准化层外其余批量标准化层输出的特征图。
[0054]
14)将同尺寸特征图划分为同组，组内按照类别划分为若干队。
[0055]
15)对同组同队的特征图进行空间金字塔池化，获得一维向量，该一维向量代表图像区域的语义信息，将同一特征图的所有池化向量拼接为该特征图像的一维特征向量。
[0056]
16)对组内的一维特征向量进行k-means聚类，采用预设的聚类损失函数，对每组
的聚类结果进行评估。
[0057]
预设的聚类损失函数可以为：
[0058][0059][0060]
其中，loss1为聚类损失函数，m为评估集各类别抽取样本数，x
ij
为第j类第i张特征图，u
l
为第l个聚类中心向量，τ(j,l)表示第j个类别是否属于第l个聚类，k为聚类中心数，z为整数集，c[l]为第l个聚类包含的类别序号集合。
[0061]
17)根据评估结果，获取优选的特征提取网络深度和聚类结果。
[0062]
步骤17)的过程可以为：
[0063]
1)根据评估结果，选取出聚类损失最低的组和该组的聚类数；
[0064]
2)确定聚类损失最低组对应的输出特征图，保留特征提取网络在该特征图前的特征提取模块，舍弃其余网络，获得优选的特征提取网络深度，同时将聚类损失最低组的聚类数作为优选的聚类结果。
[0065]
通过优选的特征提取网络深度和聚类结果可以构建颈部网络和头部检测网络，从而构建多类别检测模型，具体过程可以如图4所示：
[0066]
s1)根据优选的特征提取网络深度，构建特征提取网络，用于提取图像的公共底层语义信息；
[0067]
s2)根据聚类结果，构建各类别的颈部网络和头部检测网络；
[0068]
s3)根据特征提取网络、各类别的颈部网络和头部检测网络，构建多类别检测模型；该模模型的损失函数为：
[0069][0070]
其中，loss2为多类别检测模型的损失函数，m为评估集各类别抽取样本数，p
l
为多类别检测模型输出的第l个聚类目标的预测向，y
l
为第l个聚类中类别目标形成的真实向量，num表示集合内的元素个数，c[l]为第l个聚类包含的类别序号集合。
[0071]
在多类别检测模型的训练中，根据功能可大致分为两个子区域：负责提取公共底层特征的网络前端(即特征提取网络)和负责解耦式特征融合的网络后端，在训练过程中网络后端的参数需要重新学习，网络前端的参数由于底层纹理特征的通用性，仅需进行适当微调。
[0072]
在训练完多类别检测模型后，还包括对多类别检测模型进行前向推理；在进行前向推理时，使用分散型非极大值抑制过滤重复预测框。不同于传统的非极大值抑制只处理最终输出的策略，这里分散型非极大值抑制在考虑网络解耦型结构特征的基础上，对子网络的输出应用局部非极大值抑制，将非极大值抑制后的结果直接拼接。
[0073]
假定网络解耦为k类后，每类内的颈部网络后接入h个头部检测网络，输出n个预测向量，则分散型非极大值抑制具体步骤可以为：
[0074]
a1)遍历同类内的n个预测向量，对于置信度低于设定阈值s1的预测向量直接抑制；
[0075]
在执行a1)的同时，记录置信度高于设定阈值s1的向量，并按照类别形成若干队列，计算新增向量与已有同类向量的预测框交并比，若交并比高于设定阈值s2，则取两向量中置信度较高者记录；
[0076]
a2)对每一类均执行a1)，重复k次，完成分散型非极大值抑制操作。
[0077]
在将检测目标类别聚类为若干类后，搭建后面的颈部网络和头部检测网络，并提出了与模型适配的损失函数以及前向推导过程中的分散型非极大值抑制策略，实现模型对于各族类别检测的解耦。
[0078]
基于相同的技术方案，本发明还公开了上述方法的软件系统，一种多类别检测系统，包括：
[0079]
数据获取模块，用以获取进行多类别检测的数据。
[0080]
多类别检测模块，用以将进行多类别检测的数据输入预先训练的多类别检测模型，获得多类别检测结果；其中，预先训练的多类别检测模型的过程为：对基于类间特征图语义距离的聚类结果进行评估，获取优选的特征提取网络深度和聚类结果；根据优选的特征提取网络深度和聚类结果构建的多类别检测模型；训练多类别检测模型。
[0081]
上述系统各模块的数据处理流程与方法的一致，这里不重复描述了。
[0082]
基于相同的技术方案，本发明还公开了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行多类别检测方法。
[0083]
基于相同的技术方案，本发明还公开了一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行多类别检测方法的指令。
[0084]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0085]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0086]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0087]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0088]
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。