一种改进的实时车辆检测过滤方法及系统与流程

本发明涉及图像处理和人工智能领域，特别涉及一种改进的实时车辆检测过滤方法及系统。

背景技术：

车辆检测器检测输出当前图像中的所有车辆结果后，不论分类器的性能做到再高，误检的出现是很难避免的。为了有效的抑制并过滤掉误检的车辆目标，一般有两种方法：

方法1：对车辆检测分类器输出框的置信度进行阈值判断，如果大于一定阈值，则保留该检测框作为车辆输出结果；如果小于该阈值，则判定为误检目标，并删除。该阈值的选取非常关键，一般是通过对训练样本进行阈值遍历，计算每个阈值下训练样本集的性能，通过召回率和准确率进行衡量。选取召回率在一定接受范围内，并且准确率最高的阈值作为最终的选择。

方法2：通过车辆检测框所满足的物理含义设计过滤规则，来删除不满足条件的误检车辆目标。一般检测到的车辆目标需要满足一定的几何约束条件。比如，车辆输出矩形框的下边缘应该在地平线以下，车辆矩形框的大小应该满足由远及近越来越大等。通过几何约束条件的组合，判定当前目标是否需要删除。

在现有技术中，常见的做法是结合方法1和方法2，利用两者规则的融合，综合来判定当前的车辆检测矩形框是否为误检目标。

但是，这样的处理有存在如下的缺陷：

1)人工设定的规则有很多参数需要调节，想得到一组性能最好的参数很难；

2)某种情况下，当前的规则组合对误检车辆的过滤不是很好时，需要重新设计并添加新的规则，或者重新调节参数组合，但也不一定能很好的适应新的样本情况。

技术实现要素：

本发明要解决的技术问题是，通过减少人工参数调节、自适应样本调节，完成实时车辆检测、过滤。

解决上述技术问题，本发明提供了一种改进的实时车辆检测过滤方法，包括如下步骤：

对输入的图像进行车辆检测，得到车辆矩形框；

根据所述车辆矩形框对车辆目标进行特征提取，所述特征提取至少包括，车辆自身的置信度和几何约束信息；

根据提取得到的特征，进行模型训练得到过滤模型；

若有新的车辆矩形框目标输入，则采用所述过滤模型进行误检目标和正确车辆目标的判定，输出过滤结果。

更进一步，所述车辆检测采用聚合通道特征算法。

更进一步，通过SVM分类器、随机森林、多层感知器中的一种或者多种进行模型训练得到所述过滤模型。

更进一步，所述车辆自身的置信度score进行如下判断，

若所述置信度score/100，score＞threshold？1:0，其中，threshold为置信度阈值；

若置信度大于所述置信度阈值，则所述置信度的特征取值为1；

若置信度小于所述信心度阈值，则所述置信度的特征取值为0。

更进一步，所述几何约束信息包括：

对灭点的约束特征进行如下判断，rect_y+rect_h-y0＞0？1:0，其中，rect_y为车辆矩形框在图像中的左上角纵坐标，rect_h为车辆矩形框的高度，y0为地平线在图像中的纵坐标；

若灭点的约束特征＝(车辆矩形框在图像中的左上角纵坐标+车辆矩形框的高度-地平线在图像中的纵坐标)且大于0，则所述灭点的约束特征取值为1；

若灭点的约束特征＝(车辆矩形框在图像中的左上角纵坐标+车辆矩形框的高度-地平线在图像中的纵坐标)且小于0，则所述灭点的约束特征取值为0。

更进一步，所述几何约束信息还包括：

车辆矩形框的宽高比为min(rect_w/rect_h,rect_h/rect_w)，其中，车辆矩形框的宽度rect_w、高度rect_h，表示车辆矩形框的宽度与高度的比值以及车辆矩形框的高度与宽度的比值的最小值。

更进一步，所述几何约束信息还包括：车辆矩形框宽度的大小约束，并进行如下判断：

(rect_w＞＝minWid&&rect_w＜＝maxWid)？1:0，其中，rect_w为车辆矩形框的宽度，[minWid,maxWid]为车辆矩形框宽度在图像中的区间，

若所述车辆矩形框的宽度不小于车辆矩形框宽度在图像中的最小值，且所述车辆矩形框的宽度不大于车辆矩形框宽度在图像中的最大值，则车辆矩形框相对图像大小的比例为1；否则为0。

8.根据权利要求1所述的车辆检测过滤方法，其特征在于，所述几何约束信息还包括：车辆矩形框相对图像大小的比例，并满足如下的公式：

rect_w/img_w

rect_h/img_h

其中，rect_w为车辆矩形框的宽度，rect_h为车辆矩形框的高度，img_w为图像的宽度，img_h为图像的高度。

更进一步，所述几何约束信息还包括：车辆矩形框对应的车辆实际宽度约束为

tWid＝alpha*(rect_y+rect_h-y0)

其中，rect_y为车辆矩形框在图像中的左上角纵坐标，rect_h为车辆矩形框的高度，y0为地平线在图像中的纵坐标，tWid为车辆矩形框实际的物理宽度，alpha为tWid与地平线y0的关系参数；

并进行如下判断：

(tWid＞＝minTWid&&tWid＜＝maxTWid)？1:0

若车辆矩形框实际的物理宽度不小于物理宽度的最小值，且车辆矩形框实际的物理宽度不大于物理宽度的最大值，则车辆矩形框对应的车辆实际宽度约束为1；否则为0。

本发明还提供了一种车辆检测过滤系统，包括：车辆检测器和车辆过滤器，

所述车辆检测器，用以对输入的图像进行车辆检测，得到车辆矩形框；根据所述车辆矩形框目标对车辆目标进行特征提取，所述特征提取至少包括，车辆自身的置信度和几何约束信息；

所述车辆过滤器，用以根据提取得到的特征，进行模型训练得到过滤模型；若有新的车辆矩形框样本输入，则采用所述过滤模型进行误检目标和正确车辆目标的判定，输出过滤结果

本发明的改进的实时车辆检测过滤方法，不仅可以得到最优的过滤模型，还能免除参数调节的麻烦，对于新的样本也具有很好的适应性。

本发明的有益效果：

1)本发明中的改进的实时车辆检测过滤方法，包括如下步骤：对输入的图像进行车辆检测，得到车辆矩形框；根据所述车辆矩形框目标对车辆目标进行特征提取，所述特征提取至少包括，车辆自身的置信度和几何约束信息；根据提取得到的特征，进行模型训练得到过滤模型；若有新的车辆矩形框目标输入，则采用所述过滤模型进行误检目标和正确车辆目标的判定，输出过滤结果。在本发明中首次将基于模型学习的方法应用在车辆过滤领域。更进一步，基于用于描述车辆过滤模型的特征提取方法，完成实时车辆检测、过滤。

2)本发明采用利用聚合通道特征算法(ACF,Aggregated Channel Features)进行车辆检测，该算法具有如下几大优势，1)速度较快，易于并行；2)目标为刚性物体，能得到比较稳定且准确的矩形框；3)抽取的特征易于拓展到路牌，行人等目标检测。该算法在嵌入式上能达到实时而且鲁棒的性能。

附图说明

图1是本发明一实施例中的改进的实时车辆检测过滤方法流程示意图。

图2是图1中的过滤模型训练流程示意图。

图3是图1中的新的车辆矩形框目标输入进行误检结果判定的流程示意图。

图4本发明一实施例中的改进的实时车辆检测过滤系统结构示意图。

图5是现有技术中车辆检测器检测车辆的结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是本发明一实施例中的改进的实时车辆检测过滤方法流程示意图。

本实施例中的一种改进的实时车辆检测过滤方法，包括如下步骤：

步骤S100对输入的图像进行车辆检测，得到车辆矩形框；在步骤S100中，本领域技术人员能够明了，车辆检测具体为，利用聚合通道特征算法(ACF,Aggregated Channel Features)进行车辆检测。所述聚合通道特征算法包括但不限于，输入图像，根据图像进行划窗，聚合通道特征，得到关键层金字塔，adaboost迭代算法，输出结果。adaboost迭代算法用以解决，两类问题、多类单标签问题、多类多标签问题、大类单标签问题、回归问题等问题。

本步骤S100中的车辆检测方法至少具有如下有益效果：1)速度较快，易于并行；2)目标为刚性物体，能得到比较稳定且准确的矩形框；3)抽取的特征易于拓展到路牌，行人等目标检测。该算法在嵌入式上能达到实时而且鲁棒的性能。

步骤S101根据所述车辆矩形框对车辆目标进行特征提取，所述特征提取至少包括，车辆自身的置信度和几何约束信息；所述特征提取包括但不限于，首先对车辆目标进行特征提取，之后，利用SVM进行模型训练，得到过滤模型。对新的测试样本，利用训练好的过滤模型进行误检目标的判定。考虑到特征提取直接关系到模型训练的好坏，在本实施例中利用车辆自身的置信度和相关的几何约束信息融合作为特征描述，能有效的反映车辆本身具有的物理含义。

优选地，涉及到的特征有检测模块输出的置信度，车辆矩形框相对图像的宽高比，矩形框大小的约束等。

在一些实施例中，所述车辆自身的置信度score进行如下判断，

若所述置信度score/100，score＞threshold？1:0，其中，threshold为置信度阈值；

若置信度大于所述置信度阈值，则所述置信度的特征取值为1；

若置信度小于所述信心度阈值，则所述置信度的特征取值为0。

在一些实施例中，所述几何约束信息包括：

对灭点的约束特征进行如下判断，rect_y+rect_h-y0＞0？1:0，其中，rect_y为车辆矩形框在图像中的左上角纵坐标，rect_h为车辆矩形框的高度，y0为地平线在图像中的纵坐标；

若灭点的约束特征＝(车辆矩形框在图像中的左上角纵坐标+车辆矩形框的高度-地平线在图像中的纵坐标)且大于0，则所述灭点的约束特征取值为1；

若灭点的约束特征＝(车辆矩形框在图像中的左上角纵坐标+车辆矩形框的高度-地平线在图像中的纵坐标)且小于0，则所述灭点的约束特征取值为0。

在一些实施例中，所述几何约束信息还包括：

车辆矩形框的宽高比为min(rect_w/rect_h,rect_h/rect_w)，其中，车辆矩形框的宽度rect_w、高度rect_h，表示车辆矩形框的宽度与高度的比值以及车辆矩形框的高度与宽度的比值的最小值。

在一些实施例中，所述几何约束信息还包括：车辆矩形框宽度的大小约束，并进行如下判断：

(rect_w＞＝minWid&&rect_w＜＝maxWid)？1:0，其中，rect_w为车辆矩形框的宽度，[minWid,maxWid]为车辆矩形框宽度在图像中的区间，

若所述车辆矩形框的宽度不小于车辆矩形框宽度在图像中的最小值，且所述车辆矩形框的宽度不大于车辆矩形框宽度在图像中的最大值，则车辆矩形框相对图像大小的比例为1；否则为0。

在一些实施例中，所述几何约束信息还包括：车辆矩形框相对图像大小的比例，并满足如下的公式：

rect_w/img_w

rect_h/img_h

其中，rect_w为车辆矩形框的宽度，rect_h为车辆矩形框的高度，img_w为图像的宽度，img_h为图像的高度。

在一些实施例中，所述几何约束信息还包括：车辆矩形框对应的车辆实际宽度约束为

tWid＝alpha*(rect_y+rect_h-y0)

其中，rect_y为车辆矩形框在图像中的左上角纵坐标，rect_h为车辆矩形框的高度，y0为地平线在图像中的纵坐标，tWid为车辆矩形框实际的物理宽度，alpha为tWid与地平线y0的关系参数；

并进行如下判断：

(tWid＞＝minTWid&&tWid＜＝maxTWid)？1:0

若车辆矩形框实际的物理宽度不小于物理宽度的最小值，且车辆矩形框实际的物理宽度不大于物理宽度的最大值，则车辆矩形框对应的车辆实际宽度约束为1；否则为0。

步骤S102根据提取得到的特征，进行模型训练得到过滤模型；

在一些实施例中，通过SVM分类器、随机森林、多层感知器中的一种或者多种进行模型训练得到所述过滤模型。所述SVM分类器，为支持向量机(Support Vector Machine)，将会输出一个最优超平面对新样本(测试样本)进行分类。所述随机森林，是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。所述多层感知器(Multiayer perceptrons,MLP)，可以实现非线性判别式，如果用于回归，可以逼近输入的非线性函数。

步骤S103若有新的车辆矩形框目标输入，则采用所述过滤模型进行误检目标和正确车辆目标的判定，输出过滤结果。误检目标即车辆检测器中检测到的错误的车辆目标。

请参考图5是现有技术中车辆检测器检测车辆的结果，车辆检测器检测输出当前图像中的所有车辆结果后，不论分类器的性能做到再高，误检的出现是很难避免的。如图5所示，图中的最左边的框为误检车辆，其它两个框为正确的车辆检测结果。采用本实施例中的改进的实时车辆检测过滤方法，将基于模型学习的方法应用在车辆过滤领域，完成实时车辆检测、过滤。

上述步骤S101中根据所述车辆矩形框对车辆目标进行特征提取，所述特征提取至少包括，车辆自身的置信度和几何约束信息，具体地：

①车辆检测器输出的置信度

score/100

score＞threshold？1:0

②灭点的约束特征

rect_y+rect_h-y0＞0？1:0

③车辆矩形框的宽高比

min(rect_w/rect_h,rect_h/rect_w)

④车辆矩形框宽度的大小约束

(rect_w＞＝minWid&&rect_w＜＝maxWid)？1:0

⑤车辆矩形框相对图像大小的比例

rect_w/img_w

rect_h/img_h

⑥车辆矩形框对应的车辆实际宽度约束

tWid＝alpha*(rect_y+rect_h-y0)

(tWid＞＝minTWid&&tWid＜＝maxTWid)？1:0

其中，定义车辆检测器输出的置信度为score，置信度阈值为threshold，车辆矩形框在图像中的左上角坐标为(rect_x,rect_y)，宽度为rect_w，高度为rect_h，图像的宽度为img_w，高度为img_h，地平线在图像中的纵坐标为y0，车辆矩形框宽度在图像中的区间为[minWid,maxWid]，车辆矩形框实际的物理宽度为tWid，需要满足的物理宽度区间为[minTWid,maxTWid]，tWid与地平线y0的关系由alpha决定。

利用上面的公式，对车辆矩形框进行特征量化，再利用这些特征进行分类器训练。具体的特征不仅仅包括上述公式，还可以手工设计更多的特征用于车辆过滤模型。

图2是图1中的过滤模型训练流程示意图。

以SVM分类器为例，在本实施例中的过滤模型训练流程如下：

步骤S201车辆训练样本，即得到车辆矩形框

步骤S202特征提取，所述特征提取至少包括，车辆自身的置信度和几何约束信息；所述车辆自身的置信度score进行如下判断，

若所述置信度score/100，score＞threshold？1:0，其中，threshold为置信度阈值；

若置信度大于所述置信度阈值，则所述置信度的特征取值为1；

若置信度小于所述信心度阈值，则所述置信度的特征取值为0。

步骤S203SVM分类器，通过SVM分类器、随机森林、多层感知器中的一种或者多种进行模型训练得到所述过滤模型。

步骤S204过滤模型

图3是图1中的新的车辆矩形框目标输入进行误检结果判定的流程示意图。

以SVM分类器为例，在本实施例中的新的车辆矩形框目标输入进行误检结果判定的流程具体为：

步骤S301车辆矩形框，新的车辆矩形框目标输入

步骤S301特征提取，提取新的车辆矩形框目标输入的特征；包括但不限于，车辆自身的置信度和几何约束信息；

步骤S301SVM分类器

步骤S301误检判定结果，若有新的车辆矩形框目标输入，则采用所述过滤模型进行误检目标和正确车辆目标的判定，输出过滤结果。

图4本发明一实施例中的改进的实时车辆检测过滤系统结构示意图。

本实施例中的一种车辆检测过滤系统10，包括：车辆检测器101和车辆过滤器102，

所述车辆检测器101，用以对输入的图像进行车辆检测，得到车辆矩形框；根据所述车辆矩形框目标对车辆目标进行特征提取，所述特征提取至少包括，车辆自身的置信度和几何约束信息；

在一些实施例中，所述车辆检测器101中根据所述车辆矩形框对车辆目标进行特征提取，所述特征提取至少包括，车辆自身的置信度和几何约束信息。

在一些实施例中，所述车辆检测器101中，所述车辆自身的置信度score进行如下判断，

若所述置信度score/100，score＞threshold？1:0，其中，threshold为置信度阈值；

若置信度大于所述置信度阈值，则所述置信度的特征取值为1；

若置信度小于所述信心度阈值，则所述置信度的特征取值为0。

在一些实施例中，所述几何约束信息包括：

对灭点的约束特征进行如下判断，rect_y+rect_h-y0＞0？1:0，其中，rect_y为车辆矩形框在图像中的左上角纵坐标，rect_h为车辆矩形框的高度，y0为地平线在图像中的纵坐标；

若灭点的约束特征＝(车辆矩形框在图像中的左上角纵坐标+车辆矩形框的高度-地平线在图像中的纵坐标)且大于0，则所述灭点的约束特征取值为1；

若灭点的约束特征＝(车辆矩形框在图像中的左上角纵坐标+车辆矩形框的高度-地平线在图像中的纵坐标)且小于0，则所述灭点的约束特征取值为0。

在一些实施例中，所述几何约束信息还包括：

车辆矩形框的宽高比为min(rect_w/rect_h,rect_h/rect_w)，其中，车辆矩形框的宽度rect_w、高度rect_h，表示车辆矩形框的宽度与高度的比值以及车辆矩形框的高度与宽度的比值的最小值。

在一些实施例中，所述几何约束信息还包括：车辆矩形框宽度的大小约束，并进行如下判断：

(rect_w＞＝minWid&&rect_w＜＝maxWid)？1:0，其中，rect_w为车辆矩形框的宽度，[minWid,maxWid]为车辆矩形框宽度在图像中的区间，

若所述车辆矩形框的宽度不小于车辆矩形框宽度在图像中的最小值，且所述车辆矩形框的宽度不大于车辆矩形框宽度在图像中的最大值，则车辆矩形框相对图像大小的比例为1；否则为0。

在一些实施例中，所述几何约束信息还包括：车辆矩形框相对图像大小的比例，并满足如下的公式：

rect_w/img_w

rect_h/img_h

其中，rect_w为车辆矩形框的宽度，rect_h为车辆矩形框的高度，img_w为图像的宽度，img_h为图像的高度。

在一些实施例中，所述几何约束信息还包括：车辆矩形框对应的车辆实际宽度约束为

tWid＝alpha*(rect_y+rect_h-y0)

其中，rect_y为车辆矩形框在图像中的左上角纵坐标，rect_h为车辆矩形框的高度，y0为地平线在图像中的纵坐标，tWid为车辆矩形框实际的物理宽度，alpha为tWid与地平线y0的关系参数；

并进行如下判断：

(tWid＞＝minTWid&&tWid＜＝maxTWid)？1:0

若车辆矩形框实际的物理宽度不小于物理宽度的最小值，且车辆矩形框实际的物理宽度不大于物理宽度的最大值，则车辆矩形框对应的车辆实际宽度约束为1；否则为0。

所述车辆过滤器102，用以根据提取得到的特征，进行模型训练得到过滤模型；若有新的车辆矩形框样本输入，则采用所述过滤模型进行误检目标和正确车辆目标的判定，输出过滤结果。

在一些实施例中，所述车辆过滤器102，包括但不限于如下流程：

步骤S201车辆训练样本，即得到车辆矩形框

步骤S202特征提取，所述特征提取至少包括，车辆自身的置信度和几何约束信息；所述车辆自身的置信度score进行如下判断，

若所述置信度score/100，score＞threshold？1:0，其中，threshold为置信度阈值；

若置信度大于所述置信度阈值，则所述置信度的特征取值为1；

若置信度小于所述信心度阈值，则所述置信度的特征取值为0。

步骤S203SVM分类器，通过SVM分类器、随机森林、多层感知器中的一种或者多种进行模型训练得到所述过滤模型。

步骤S204过滤模型

在一些实施例中，所述车辆过滤器102，包括但不限于如下流程：

步骤S301车辆矩形框，新的车辆矩形框目标输入

步骤S301特征提取，提取新的车辆矩形框目标输入的特征；包括但不限于，车辆自身的置信度和几何约束信息；

步骤S301SVM分类器

步骤S301误检判定结果，若有新的车辆矩形框目标输入，则采用所述过滤模型进行误检目标和正确车辆目标的判定，输出过滤结果。

所属领域的普通技术人员应当理解：以上，所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。