基于信息融合的目标检测后处理方法、系统、终端及介质

1.本发明涉及一种目标检测后处理方法，具体地，涉及一种基于信息融合的目标检测后处理方法、系统、终端及介质，属于计算机视觉领域。


背景技术：

2.目标检测是计算机视觉领域中的一个重要任务，对图像内容的理解是实现智能监控、自动驾驶等技术的前提，准确的目标检测是图像内容理解的基础，后处理是目标检测系统必不可少的组成部分，对目标检测的精度有着显著的影响。目标检测任务就是从一张给定的图像中寻找特定类别的目标物，计算恰好包围目标物的方框并预测方框内物体属于特定类别的概率。现有的目标检测方法通常会对同一个目标物做出很多冗余的预测，后处理的任务目标就是筛除针对同一目标物冗余的预测框以提升检测结果的准确性。
3.非极大抑制是目标检测后处理流程中的一类重要方法，比如专利cn108960266b。非极大抑制的原理是以迭代的方式筛选要保留下来的预测框，以预测框之间的交并比作为两个预测的相似度，在每次迭代中，选择检测置信度最高的预测框保留，筛除与该预测框相似度大于一特定阈值的其他所有预测框。最常用的非极大抑制选用固定的相似度阈值，为达到好的后处理效果需要人工调整阈值，需要大量实验验证阈值选择的合理性，同时这种方法不能很好地处理目标物分布比较密集的情况。近年来，使用软阈值的非极大抑制方法被提出，比如专利cn 108596170 b，相似度阈值根据预测框分布的密集程度自适应地进行调整，提升了目标物聚集情况下的检测精度。
4.尽管非极大抑制可以快速高效地筛除大部分冗余的预测框并保留相对准确的预测框，但其存在一个显著的问题，非极大抑制只输出每一步迭代中检测置信度最高的那个预测框，被筛除的那些预测框的信息被完全忽略掉了，而融合针对同一目标的多个预测框通常可以获得更准确的定位结果。除非极大抑制本身的问题外，基于此算法的后处理方法需要基于一个预设的检测置信度阈值对非极大抑制输出的结果做进一步的筛选，保留检测置信度较高的预测框作为目标检测系统最终的输出。这种筛选方法存在不鲁棒的缺点。
5.因此，急需开发一种新的目标检测后处理技术，以避免上述问题。


技术实现要素：

6.针对现有技术中的缺陷，本发明提供了一种基于信息融合的目标检测后处理方法、系统、终端及介质。
7.本发明的第一方面，提供一种基于信息融合的目标检测后处理方法，包括：
8.将目标检测结果中所有的预测框聚类成多个簇，获得每个簇的代表预测框及簇内检测置信度的统计信息；
9.将所述每个簇的代表预测框进行类别置信度计算，计算其类别预测为正确的概率，作为类别置信度；
10.根据所述类别置信度以及每个簇内检测置信度的统计信息，计算每个预测框属于
正确预测的概率，保留概率大于预设阈值的预测框，舍弃概率小于预设阈值的预测框。
11.可选地，所述将目标检测结果中所有的预测框聚类成多个簇，其中：通过一个迭代的聚类方法将所有的预测框分到多个簇中。
12.进一步的，所述聚类方法，包括：
13.使用交并比作为两个框之间相似度的度量，以检测置信度为权重计算每个簇中预测框的加权平均值作为该簇的代表预测框；
14.统计每个簇中所有检测置信度的最大值以及总和，作为簇内检测置信度的统计信息。
15.可选地，将所述每个簇的代表预测框进行类别置信度计算，其中，使用一个卷积神经网络计算代表预测框内物体属于预测类别的置信度。
16.进一步的，所述卷积神经网络为一个具有18个卷积层和2个全连接层的神经网络。
17.可选地，所述根据所述类别置信度以及每个簇内检测置信度的统计信息，计算每个预测框属于正确预测的概率，其中，使用一个全连接神经网络计算代表预测框是正确预测的概率。
18.进一步的，所述使用一个全连接神经网络计算代表预测框是正确预测的概率，其中，以代表预测框检测置信度最大值、总和以及类别置信度作为输入，通过一个含有3个全连接层的神经网络计算该代表预测框是正确预测的概率。
19.本发明的第二方面，提供一种基于信息融合的目标检测后处理系统，包括：
20.聚类模块：将目标检测结果中所有的预测框聚类成多个簇，获得每个簇的代表预测框及簇内检测置信度的统计信息；
21.类别置信度计算模块：将所述聚类模块得到的每个簇的代表预测框进行类别置信度计算，计算其类别预测为正确的概率，作为类别置信度；
22.预测框筛选模块：根据所述类别置信度计算模块得到的类别置信度以及所述聚类模块得到的每个簇内检测置信度的统计信息，计算每个预测框属于正确预测的概率，保留概率大于预设阈值的预测框，舍弃概率小于预设阈值的预测框。
23.本发明的第三方面，提供一种电子终端，包括存储器、处理器及存储在存储器上并能在处理器上运行的计算机程序，所述处理器执行所述程序时用于执行所述的基于信息融合的目标检测后处理方法。
24.本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行所述的基于信息融合的目标检测后处理方法。
25.与现有技术相比，本发明实施例具有如下至少一种有益效果：
26.本发明提供的上述目标检测后处理方法、系统，在估计目标物的包围框时使用了所有与此目标物相关的预测框的信息，对预测类别的正确性进行估计，提升了对目标物类别及位置预测精度。
27.本发明提供的上述目标检测后处理方法、系统，基于类别置信度以及每个簇内检测置信度的统计信息等多个维度的信息，筛选出最终输出的检测结果，相比于基于单一置信度的非极大抑制方法更加鲁棒。因而本发明可以更好地完成目标检测后处理任务。
附图说明
28.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
29.图1为本发明一实施例中目标检测后处理方法的流程图；
30.图2为本发明的目标检测后处理模块的结构框图；
31.图3为本发明一较优实施例中目标检测后处理方法的流程图。
具体实施方式
32.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
33.参照图1所示，本发明实施例中提供一种基于信息融合的目标检测后处理方法，包括如下步骤：
34.s100,将目标检测结果中所有的预测框聚类成多个簇，获得每个簇的代表预测框及簇内检测置信度的统计信息；
35.本步骤中，可以通过一个迭代的聚类方法将所有的预测框分到多个簇中。具体的，在一优选实施例中，聚类方法可以包括：使用交并比作为两个框之间相似度的度量，以检测置信度为权重计算每个簇中预测框的加权平均值作为该簇的代表预测框；统计每个簇中所有检测置信度的最大值以及总和，作为簇内检测置信度的统计信息。本步骤中得到的信息用于后续步骤中的进一步处理和计算。
36.s200,将每个簇的代表预测框进行类别置信度计算，计算其类别预测为正确的概率，作为类别置信度；
37.本步骤中，可以使用一个卷积神经网络计算代表预测框内物体属于预测类别的置信度。具体的，优选卷积神经网络为一个具有18个卷积层和2个全连接层的神经网络，当然，在其他实施例中也可以采用其他结构的神经网络，并不局限于此。本步骤中，在对预测类别的正确性进行估计，有利于对目标物类别及位置预测精度的提升。
38.s300,根据类别置信度以及每个簇内检测置信度的统计信息，计算每个预测框属于正确预测的概率，保留概率大于预设阈值的预测框，舍弃概率小于预设阈值的预测框。
39.本步骤中，使用一个全连接神经网络计算代表预测框是正确预测的概率。进一步的，以代表预测框检测置信度最大值、总和以及类别置信度作为输入，通过一个含有3个全连接层的神经网络计算该代表预测框是正确预测的概率。本步骤中基于类别置信度以及每个簇内检测置信度的统计信息等多个维度的信息，筛选出最终输出的检测结果，相比于基于单一置信度的非极大抑制方法更加鲁棒。
40.本发明上述实施例中提出的基于信息融合的目标检测后处理方法，目标检测结果的信息融合是一类聚合针对同一目标物多个预测框的信息以提升检测精度的方法。具体的，本发明实施例中对所有预测框迭代地聚类，以框与框之间的交并比作为两个框相似度的度量，在每一轮迭代中，将与当前簇的代表预测框的相似度高于特定阈值且没有归属的预测框纳入当前簇中，然后重新计算当前簇的代表预测框，若没有新的预测框被纳入，则初
始化一个新簇，并选择尚未有归属的预测框中检测置信度最高的纳入。这种融合方法充分利用了检测结果中的所有信息，使得对目标物的定位更准确，同时提供了更丰富的置信度信息，使得对最终输出结果的筛选更加鲁棒。
41.参照图2所示，基于相同的技术构思，本发明另一实施例中还提供一种基于信息融合的目标检测后处理系统，包括：
42.聚类模块：将目标检测结果中所有的预测框聚类成多个簇，获得每个簇的代表预测框及簇内检测置信度的统计信息；
43.类别置信度计算模块：将聚类模块得到的每个簇的代表预测框进行类别置信度计算，计算其类别预测为正确的概率，作为类别置信度；
44.预测框筛选模块：根据类别置信度计算模块得到的类别置信度以及聚类模块得到的每个簇内检测置信度的统计信息，计算每个预测框属于正确预测的概率，保留概率大于预设阈值的预测框，舍弃概率小于预设阈值的预测框。
45.本实施例中提出的系统，各模块可以参照上述图1所示的基于信息融合的目标检测后处理方法中各步骤对应的技术，在此不再赘述。
46.基于相同的技术构思，本发明另一实施例中，还提供一种电子终端，包括存储器、处理器及存储在存储器上并能在处理器上运行的计算机程序，处理器执行程序时用于执行图1所示的基于信息融合的目标检测后处理方法。
47.基于相同的技术构思，本发明另一实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行图1所示的基于信息融合的目标检测后处理方法。
48.为了更好地说明本发明上述的技术方案，以下结合详细的实施例进行说明，但是应当理解的是，本发明并不局限于下述实施例。
49.如图3所示，本实施例中，对于检测算法输出的一组预测框，首先使用聚类模块将这组框分成多个簇，每一个簇都是对一个目标物的预测；将每个簇的代表预测框输入到类别置信度计算模块，计算其类别预测为正确的概率，作为类别置信度；将类别置信度以及每个簇内检测置信度的统计信息输入到预测框筛选模块，计算每个预测框属于正确预测的概率，通过与一阈值对比，决定最终输出的预测框。
50.具体的，在本实施例中采用聚类模块、类别置信度计算模块和预测框筛选模块来实现基于信息融合的目标检测后处理，按照以下具体操作进行：
51.s1，聚类模块：将目标检测结果中所有的预测框聚类成多个簇，获得每个簇的代表预测框及簇内检测置信度的统计信息。
52.对于目标检测算法输出的n个预测框{b1,b2,
…bn
}，聚类模块将这n个预测框分为k个簇c＝{b1,b2,
…bk
}，每个簇内的预测框都被认为是指向同一目标物的预测，k的数值在聚类过程完成前是未知的。
53.本实施例中，聚类方法以迭代的形式进行，具体的：
54.在聚类开始时，初始化当前正在处理的簇
55.在每一轮迭代中，若选择尚未分配的预测框中检测置信度最大的框将添加到bc中，从bu中删除且作为此时bc的代表预测框计算
尚未分配的所有预测框bu与当前正在处理的簇bc的代表预测框的交并比若大于一预设阈值t
iou
，则将分配到bc中，从bu中删除
56.处理完所有未分配的预测框后，若在本轮迭代中没有新的预测框被添加到bc中，则对bc的处理结束，将bc添加到输出结果c中，令进入下一轮迭代；若有新的预测框被添加到bc中，则重新计算当前簇bc的代表预测框为：
[0057][0058]
然后进入下一轮迭代。在新一轮迭代开始时，若则聚类流程结束，输出聚类结果c。
[0059]
s2，类别置信度计算模块：将得到的每个簇的代表预测框进行类别置信度计算，计算其类别预测为正确的概率，作为类别置信度。
[0060]
本步骤中，将聚类结果c中每个簇bi的代表预测框在原始图像中对应的矩形区域裁切下来，将其缩放为128*128的图像i，将i输入一个18层的cnn模型resnet，此模型最后一层全连接层的输出维度与实际情况中类别总数n保持一致。此cnn模型的输出经过sigmoid运算转换为n个类别的概率预测v＝(v1,v2,
…
vn)，其中vi反映了中物体属于类别i的概率。cnn模型的参数采用迁移学习进行初始化，将resnet在imagenet数据集上进行分类任务的预训练，用收敛后的模型参数初始化该模型的参数。
[0061]
s3，预测框筛选模块：根据类别置信度以及每个簇内检测置信度的统计信息，计算每个预测框属于正确预测的概率，保留概率大于预设阈值的预测框，舍弃概率小于预设阈值的预测框。
[0062]
本步骤中，统计c中每个簇bi所有预测框的检测置信度的最大值confm(bi)及总和confs(bi)，假设bi的预测类别为c，则以[confm(bi),confs(bi),vc]作为描述的特征向量，输入到一个含有2个隐藏层、输出维度为1的全连接神经网络，网络和每个隐藏层使用relu激活函数，输出层使用sigmoid函数将值域控制在(0,1)，以表示为正确预测的概率。概率大于一预设阈值的代表预测框被添加到系统的输出中。预设阈值可以作为系统的超参数，通过在验证数据集上调参获得。
[0063]
本发明上述实施例，参考了多种不同类型的置信度信息，相比于以非极大抑制为代表的传统后处理方法有着更加鲁棒的优势，同时，其融合了针对同一物体的多个预测结果，使得对物体边界的定位更加准确。
[0064]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。