一种公交车客流量实时统计方法与流程

技术领域：

本发明涉及模式识别中的图像处理技术领域，进一步涉及一种公交车客流量实时统计方法。

背景技术：

红外线装置和压力传感器的方法是进行客流统计的一种技术，由于检测误差较大，因此，该方法并没有沿用至今并逐渐地被摒弃。近几年来，随着深度学习领域和gpu并行计算领域的不断发展，计算机视觉方向得到了迅速发展。客流统计作为图像处理领域中一个重要的应用，也是目前智能视频监控中的一个新的领域和方向。

近几年，客流统计的方法主要基于三大类：基于特征点、基于人体分割与跟踪和基于深度学习的检测方法。基于特征点、基于人体分割与跟踪的检测方法的准确性有待提高。由于硬件条件不断提升和推广，基于深度学习的检测方法越来越受到重视与推广。

技术实现要素：

本发明目的是提供一种对视频图像中的人头进行检测的方法，并实现端到端的训练。这种方法应该能够高效精确地检测出客流量。具体技术方案如下：

所述方法的视频数据是利用摄像头从公交车前门、后门的顶部区域所拍摄的客流视频数据，统计方法包括以下步骤：

步骤1：前端数据采集：

步骤1.1：视频采集：在公交车车门正上方垂直安装摄像头，采集乘客上下车的图像视频；

步骤1.2：视频分帧:对视频进行分帧，分成640*480的rgb三通道图像；

步骤1.3：图像缩放：对每帧图像进行缩放，缩放成224*224的数据；

步骤2：模型训练；

步骤2.1：特征计算：利用3*3的卷积核对图像的特征进行提取；随后为了减少特征的计算时间，将原始的卷积操作更改为深度可分离的卷积操作，并利用归一化batch-normalization和非线性激活函数relu对特征映射进行一系列的数学变换，利用极大值下采样maxpooling的方法，对特征映射的维度进行成倍地缩小；利用大小为1*1、步长为1的卷积对特征映射进行卷积，随后利用归一化batch-normalization和非线性激活函数relu对特征映射进行数学变换，保证特征映射的通道数；

步骤2.2：特征提取：由于目标尺寸不同，需要提取不同维度的特征映射；

步骤2.3：锚框提取：在维度不同的特征映射上；以每一个特征点为中心，选取四种不同尺度的框；将所有的框作为目标分类和回归的候选框；

步骤2.4：目标分类：利用深度可分离卷积对特征映射进行卷积，并得出步骤2.3所得到的候选框对每个类别的预测分数，并和地面真值进行计较，计算二者的交叉熵，得出分类损失；利用随机梯度下降的方法对网络的参数进行优化，直至分类损失达到规定的范围以内；

步骤2.5：目标回归：利用深度可分离卷积对特征映射进行卷积，并得出步骤2.3所得到的候选框的中心点及宽高的预测值，并和地面真值进行计较，计算二者的线性回归函数，得出线性回归损失；利用随机梯度下降的方法对网络的参数进行优化，直至线性回归损失达到规定的范围以内；

步骤3：头部检测；

步骤3.1：特征计算：利用3*3的卷积核对图像的特征进行提取；随后为了减少特征的计算时间，将原始的卷积操作更改为深度可分离的卷积操作，并利用归一化batch-normalization和非线性激活函数relu对特征映射进行数学变换，利用极大值下采样maxpooling的方法，对特征映射的维度进行成倍地缩小；利用大小为1*1、步长为1的卷积对特征映射进行卷积，随后利用归一化batch-normalization和非线性激活函数relu对特征映射进行数学变换，保证特征映射的通道数；

步骤3.2：特征提取：由于目标尺寸不同，需要提取不同维度的特征映射；

步骤3.3：锚框提取：在维度不同的特征映射上；以每一个特征点为中心，选取四种不同尺度的框；将所有的框作为目标分类和回归的候选框；

步骤3.4：目标分类：利用深度可分离卷积对特征映射进行卷积，并得出步骤2.3所得到的候选框对每个类别的预测分数，利用intersectionoverunion(ious)和非极大值抑制(nms)的方法对候选框进行筛选；

步骤3.5：目标回归：利用深度可分离卷积对特征映射进行卷积，并得出步骤2.3所得到的候选框的中心点及宽高的预测值，利用intersectionoverunion(ious)和非极大值抑制(nms)的方法对候选框进行筛选；

步骤4：跟踪头部：核滤波器方法对所述的检测窗口进行跟踪，并形成轨迹，若所述轨迹已越过指定的界限，说明该乘客已经完成上车或者下车的动作；

跟踪头部阶段：

步骤5：客流量计数：如果乘客已经完成上/下车的动作，算法会对客流量进行增加1的数据更新，否则，客流量会保持不变；

作为优选方案之一，所述步骤2.1的具体过程如下：先利用大小为3*3、步长为1的卷积核对rgb图像进行，随后利用归一化batch-normalization和非线性激活函数relu对特征映射进行数学变换，利用极大值下采样maxpooling的方法，对特征映射进行下采样；随后，利用大小为3*3、步长为1的深度可分离卷积对特征映射进行卷积，随后利用归一化batch-normalization和非线性激活函数relu对特征映射进行数学变换，利用极大值下采样maxpooling的方法，对特征映射进行下采样；利用大小为1*1、步长为1的卷积对特征映射进行卷积，随后利用归一化batch-normalization和非线性激活函数relu对特征映射进行数学变换，保证特征映射的通道数。

作为优选方案之二，所述步骤2.2中特征映射的选取方法如下：由于目标的尺寸大小不同，所有需要选择不同的特征映射；对于小目标来说，需要要选取较大的特征映射进行分类与回归；对于大目标来说，需要要选取较小的特征映射进行分类与回归。

作为优选方案之三，在步骤2.3中，候选框的选取方法：在不同维度的特征映射上，以每一个特征点为中心，选取四种不同尺度的框；这样可以将图像所有区域全部覆盖，以免有漏检的部分。

作为优选方案之四，在步骤2.4中，交叉熵损失的计算方式如下：

yi表示地面真值，表示预测值,n是候选框的个数

作为优选方案之五，还包括步骤2.5，线性回归损失的计算方式如下：

xi，yi，wi，hi表示地面真值，表示预测值,α是系数，α需要根据具体场景选择合适数值，n是候选框的个数。

作为优选方案之五的进一步优选方案，所述步骤2.5中进一步获取总体损失l，l的计算方式如下：

l＝lloc+βlreg

其中，β是系数；

利用随机梯度下降的方法对网络的参数进行优化，直至总体损失达到规定的范围以内。

作为优选方案之六，还包括步骤6：将每帧图像检测到的乘客头部的坐标和宽高保存到检测结果的文件中，并将每帧图像进行保存；当公交车停止运行的时候，所述方法会将最终的客流量输出。

本发明相对于现有技术的进步在于：

(一)本发明检测方法具有实时性，且能够高效精确地检测出客流量。

(二)深度可分离卷积可以加快特征提取的时间。

(三)在模型训练的过程中，可以做到端对端的训练，所有的训练均可在gpu上完成。

(四)用极大值采样maxpooling代替步长为2，可以避免细节信息的丢失，增加目标的平滑度。

附图说明：

图1为本发明实施例中的公交车客流量统计方法的流程示意图。

图2为本发明实施例中的卷积模块的流程示意图。

图3为本发明实施例中的深度可分离卷积的流程示意图。

具体实施方式：

实施例：

一种公交车客流量实时统计方法，所述方法的视频数据是利用摄像头从公交车前门、后门的顶部区域所拍摄的客流视频数据，统计方法包括以下步骤：

所述方法的视频数据是利用摄像头从公交车前门、后门的顶部区域所拍摄的客流视频数据，统计方法包括以下步骤：

步骤1：前端数据采集：

步骤1.1：视频采集：在公交车车门正上方垂直安装摄像头，采集乘客上下车的图像视频；

步骤1.2：视频分帧:对视频进行分帧，分成640*480的rgb三通道图像；

步骤1.3：图像缩放：对每帧图像进行缩放，缩放成224*224的数据；

步骤2：在cpu或者gpu上完成模型训练；

步骤2.1：特征计算：先利用大小为3*3、步长为1的卷积核对rgb图像进行，随后利用归一化batch-normalization和非线性激活函数relu对特征映射进行数学变换，利用极大值下采样maxpooling的方法，对特征映射进行下采样；随后，利用大小为3*3、步长为1的深度可分离卷积对特征映射进行卷积，随后利用归一化batch-normalization和非线性激活函数relu对特征映射进行数学变换，利用极大值下采样maxpooling的方法，对特征映射进行下采样；利用大小为1*1、步长为1的卷积对特征映射进行卷积，随后利用归一化batch-normalization和非线性激活函数relu对特征映射进行数学变换，保证特征映射的通道数；

步骤2.2：特征提取：由于目标尺寸不同，需要提取不同维度的特征映射；对于小目标来说，需要要选取较大的特征映射进行分类与回归；对于大目标来说，需要要选取较小的特征映射进行分类与回归；

步骤2.3：锚框提取：在不同维度的特征映射上，以每一个特征点为中心，选取四种不同尺度的框；这样可以将图像所有区域全部覆盖，以免有漏检的部分；

步骤2.4：目标分类：利用深度可分离卷积对特征映射进行卷积，并得出步骤2.3所得到的候选框对每个类别的预测分数，并和地面真值进行计较，计算二者的交叉熵，得出分类损失；利用随机梯度下降的方法对网络的参数进行优化，直至分类损失达到规定的范围以内；交叉熵损失计算如下：

yi表示地面真值，表示预测值,n是候选框的个数；

步骤2.5：目标回归：利用深度可分离卷积对特征映射进行卷积，并得出步骤2.3所得到的候选框的中心点及宽高的预测值，并和地面真值进行计较，计算二者的线性回归，得出线性回归损失；线性回归损失计算如下：

xi，yi，wi，hi表示地面真值，表示预测值,α是系数，在本场景下α＝0.5，其他场景需要根据具体场景选择合适数值，n是候选框的个数；

模型的总体损失函数计算方式如下：

l＝lloc+βlreg

其中，β是系数，在本场景下β＝0.25，其他场景需要根据具体场景选择合适数值；

利用随机梯度下降的方法对网络的参数进行优化，直至总体损失达到规定的范围以内；

步骤3：在cpu或者gpu上完成头部检测；

步骤3.1：特征计算：利用3*3的卷积核对图像的特征进行提取；随后为了减少特征的计算时间，将原始的卷积操作更改为深度可分离的卷积操作，并利用归一化batch-normalization和非线性激活函数relu对特征映射进行数学变换，利用极大值下采样maxpooling的方法，对特征映射的维度进行成倍地缩小；利用大小为1*1、步长为1的卷积对特征映射进行卷积，随后利用归一化batch-normalization和非线性激活函数relu对特征映射进行数学变换，保证特征映射的通道数；

步骤3.2：特征提取：由于目标尺寸不同，需要提取不同维度的特征映射；

步骤3.3：锚框提取：在维度不同的特征映射上；以每一个特征点为中心，选取四种不同尺度的框；将所有的框作为目标分类和回归的候选框；

步骤3.4：目标分类：利用深度可分离卷积对特征映射进行卷积，并得出步骤2.3所得到的候选框对每个类别的预测分数，利用intersectionoverunion(ious)和非极大值抑制(nms)的方法对候选框进行筛选；

步骤3.5：目标回归：利用深度可分离卷积对特征映射进行卷积，并得出步骤2.3所得到的候选框的中心点及宽高的预测值，利用intersectionoverunion(ious)和非极大值抑制(nms)的方法对候选框进行筛选

步骤4：跟踪头部：相关的核滤波器根据前后帧的信息训练出一个相关滤波器，并与新输入的帧进行相关性计算，得到的置信图就是预测的跟踪结果；得分最高的那个点或者块就是跟踪结果；

步骤5：客流量计数：如果乘客已经完成上/下车的动作，算法会对客流量进行增加1的数据更新，否则，客流量会保持不变

步骤6：将每帧图像检测到的乘客头部的坐标和宽高保存到检测结果的文件中，并将每帧图像进行保存；当公交车停止运行的时候，所述方法会将最终的客流量输出。