一种基于卷积神经网络的地铁车厢拥挤度识别方法

1.本发明属于轨道交通技术领域，尤其涉及一种基于卷积神经网络的地铁车厢拥挤度实时识别方法。


背景技术：

2.随着城市建设步伐不断加快，地铁出行已成为市民出行的主要交通工具之一。地铁路网建设的不断完善使客流量不断激增，有序安全的运营与乘客乘坐需求增长之间的矛盾也日益突出。由于地铁车厢较多，运营时常会出现各车厢客流分布不均的现象，部分车厢人员过度拥挤，导致车厢空间利用率降低。同时人员的过度拥挤，极易引发情绪焦躁、碰撞推攘等状况，影响乘客乘坐体验感，甚至威胁行车安全。因此，实时掌握列车运行过程中各车厢的拥挤状态、及时了解各车厢拥挤度信息，能够帮助引导站台乘客合理候车，避免局部车厢人员拥挤而发生踩踏现象；还能反映线网客流状态，为地铁客流控制、实时调度、应急预警提供可借鉴的数据基础。
3.目前，关于地铁车厢拥挤度识别的研究相对较少，现有方法主要是基于自动售检票系统(afc)并结合客流分配模型(od)对拥挤度进行预测，但该类方法通过afc系统对历史数据进行分析，存在误差大、时效性差等缺陷。随着计算机视觉技术的发展，基于卷积神经网络(convolutional neural network，cnn)的图像处理技术逐步应用于人群计数领域，如使用cnn模型从人群图像映射人群总数。但目前基于cnn的算法多数只适应于视野开阔的室外场景，地铁车厢空间狭小存在人员之间相互拥挤、遮挡等问题，并且由于受相机透视效应的影响，图像中人物会出现尺度不一问题。这些问题极大地增加了算法参数量和训练难度使方法难以适用。另外，现有算法在进行密度图回归时往往直接使用高层语义特征，忽视了底层细节特征的重要性，导致生成的密度图质量不高。


技术实现要素：

4.针对上述背景技术中指出的不足，本发明提供了一种基于卷积神经网络的地铁车厢拥挤度识别方法，旨在解决上述背景技术中现有cnn方法多以室外、开阔场景作为研究对象，模型搭建通常采用多列或多网络结构，模型训练复杂、参数量较大且计数精度低的问题。
5.为实现上述目的，本发明采用的技术方案是：
6.一种基于卷积神经网络的地铁车厢拥挤度识别方法，包括以下步骤：
7.(1)建立地铁车厢拥挤度划分标准
8.结合车辆定员规范与乘客出行舒适度要求，按照立席密度划分车厢拥挤程度级别，标定各级别容纳人数范围；
9.(2)建立地铁车厢拥挤度识别模型，完成采集区域的车厢拥挤度识别
10.地铁车厢拥挤度识别模型包括浅层特征提取模块、多尺度特征提取模块、深浅层特征融合模块以及拥挤度判别模块四部分；车厢拥挤度识别过程为：将地铁车载视频监视
系统采集的车厢乘客信息图像输入地铁车厢拥挤度识别模型结构的卷积神经网络中，经浅层特征提取模块和多尺度特征提取模块对车厢乘客信息图像进行特征提取后；再经深浅层特征融合模块输出包含乘客空间位置和人数信息的人群密度图，最后通过拥挤度判别模块完成采集区域的车厢拥挤度识别。地铁车厢拥挤度识别模型各部分如下：
11.浅层特征提取模块：用于提取输入乘客信息图像的浅层细节特征信息，浅层特征提取模块的网络结构包括卷积层和最大池化层，每两层卷积层后连接一层最大池化层，用于增大感受野，减少参数量；每层网络结构之后使用参数化线性整流单元(prelu)作为激活函数，增加模型的非线性，加快模型训练收敛；
12.多尺度特征提取模块(multi
‑
scale feature extraction module,msb)：用于提取乘客信息图像中多尺度特征信息，通过并排堆叠多个不同尺度的卷积核实现乘客多尺度信息的提取，用不同扩张率的扩张卷积核来替代传统的卷积核，可以达到在扩大感受野的同时，减少模块的参数量，保持图像分辨率；
13.深浅层特征融合模块：用于提升模型对于小尺度目标的计数性能，为进一步提升模型计数性能和信息感知能力，在模型结构设计时，本发明提出深浅层特征融合方式，将多尺度特征提取模块提取的高层语义信息与浅层特征提取模块提取的底层细节信息相融合，输出地铁车厢人群密度图；
14.拥挤度判别模块：用于判断输入乘客信息图像所处的拥挤度等级，通过对人群密度图进行积分求和计算具体人数，将人群密度图统计的人数与所述车厢拥挤度各级别所能容纳的人数进行对比，根据各级别容纳人数范围判定车厢拥挤度所处级别，完成采集区域的车厢拥挤度识别。
15.优选地，由于vgg
‑
16网络在图像特征提取方面有着良好的表现，因此，本发明采用剔除全连接层的vgg
‑
16网络构建浅层特征提取模块，用于提取输入图像中的边缘、角点等细节特征信息。
16.优选地，所述网络结构的卷积层大小为3
×
3，共8层；最大池化层的大小为2
×
2，共3层。
17.优选地，所述深浅层特征融合方式为：首先使用1
×
1卷积核分别对多尺度特征提取模块提取的深层特征和浅层特征提取模块提取的浅层特征进行数据降维，减少模型参数量，然后对低分辨率的深层特征进行2倍上采样操作，扩大特征图尺寸，使得深层特征与浅层特征能够直接进行像素级相加融合，通过融合后的整体特征图实现人群密度图的最终回归。
18.相比于现有技术的缺点和不足，本发明具有以下有益效果：
19.(1)本发明将卷积神经网络技术用于城市轨道交通车厢拥挤度的识别，利用车厢已有的视频监控系统，获取原始的车厢乘客分布图像，不需外加相关设备，能够节约大量成本。
20.(2)本发明提出的地铁车厢拥挤度识别模型能够有效地根据相应的拥挤度等级标准完成车厢拥挤度识别，且识别准确率较高，处理时间较短，可以为车站候车乘客提供实时的车厢客流分布状态，为乘客的合理候车提供智能引导，该发明可有效代替传统人工引导模式，节约大量资源，提高运行效率，保证行车安全。
附图说明
21.图1是实施例提供的一种基于卷积神经网络的地铁车厢拥挤度识别模型结构图。
22.图2是实施例提供的多尺度特征提取模块的结构示意图。
23.图3是实施例提供的深浅层特征融合示意图。
24.图4是实施例提供的根据车厢立席区域划定的拥挤度检测区域示意图。
25.图5是试验例提供的cnn算法流程示意图。
26.图6是试验例提供的车载视频监视系统采集的某车厢乘客信息图(图6a)与其人群密度图标签示意图(图6b)。
27.图7是试验例提供的特征融合方式对测试损失和训练误差的影响。
28.图8是试验例提供的cd
‑
metro测试集图像真实密度图与估计密度图的结果对比。
具体实施方式
29.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
30.车厢拥挤度是乘客出行过程中的一种主观心理感受，它量化了乘客对乘车舒适性、安全性的要求，并反映了乘客在地铁列车上的服务质量和用户体验。实时检测地铁列车车厢的拥挤程度，可以真实反映在线运行列车的客流分布状况及更全面的线路客流信息。
31.在地铁运营过程中，受车厢空间限制的影响，随着乘客的逐步增多，人与人、人与物品间的遮挡十分严重，传统的目标检测方法在遮挡严重场景下难以实现人员信息的提取，为实现车厢拥挤度的识别，本发明提出将基于cnn的人群计数方法引入轨道交通领域。
32.实施例
33.1、地铁车厢拥挤度划分标准
34.地铁设计与规范中通过对立席密度的计算完成客流大小的衡量，立席密度是指有效立席面积(除去坐席的面积)的乘客数，单位为人/m2。地铁车辆定员规范一般要求标准定员为6/m2，超员为9/m2，本发明结合车辆定员规范与乘客出行舒适度要求，按照立席密度将车厢拥挤程度划分为三个级别：舒适、拥挤、满载，标定各级别容纳人数范围，具体的划分标准如表1所示：
35.表1车厢拥挤度划分标准
[0036][0037]
2、建立地铁车厢拥挤度识别模型，完成采集区域的车厢拥挤度识别
[0038]
研究发现，现有cnn方法多以室外、开阔场景作为研究对象，模型搭建通常采用多列或多网络结构，模型训练复杂、参数量较大且计数精度有待提高。因此针对这些问题，本发明建立了一种基于多尺度特征融合的卷积神经网络模型，用于实现狭窄空间场景下的车
厢拥挤度识别，基于cnn的地铁车厢拥挤度识别模型结构图如图1所示，主要由浅层特征提取模块、多尺度特征提取模块、深浅层特征融合模块以及拥挤度判别模块四部分构成。车厢拥挤度识别思路为：将地铁车载视频监视系统采集的车厢乘客信息图像输入地铁车厢拥挤度识别模型结构的卷积神经网络中，经浅层特征提取模块和多尺度特征提取模块对车厢乘客信息图像进行特征提取后；再经深浅层特征融合模块输出包含乘客空间位置和人数信息的人群密度图，最后通过拥挤度判别模块完成采集区域的车厢拥挤度识别。
[0039]
(1)浅层特征提取模块：用于提取输入乘客信息图像的浅层细节特征信息，vgg
‑
16网络在图像特征提取方面有着良好的表现，本发明采用剔除全连接层的vgg
‑
16网络构建浅层特征提取模块，用于提取输入图像中的边缘、角点等细节特征信息。网络结构共有8层3
×
3大小的卷积层和3层2
×
2大小的最大池化层，每两层3
×
3大小的卷积层之后连接一层2
×
2大小的最大池化层，用于增大感受野，减少参数量，同时，每层网络结构之后使用参数化线性整流单元(prelu)作为激活函数，增加模型的非线性，加快模型训练收敛。
[0040]
(2)多尺度特征提取模块：用于提取乘客信息图像中多尺度特征信息，由于相机存在透视失真的现象，导致车载视频监控系统拍摄的乘客信息图像中人的尺度存在多变性，若采用单一尺度卷积核提取乘客图像特征，模型计数精度将严重缺失。针对尺度多变性问题，本发明设计了一种多尺度特征提取模块如图2所示，通过并排堆叠多个不同尺度的卷积核实现乘客多尺度信息的提取，同时受图像语义分割领域中扩张卷积思想的启发，用不同扩张率的扩张卷积核来替代传统的卷积核，可以达到在扩大感受野的同时，减少模块的参数量，保持图像分辨率。
[0041]
(3)深浅层特征融合模块：用于提升模型对于小尺度目标的计数性能，在卷积神经网络模型中连续多次下采样和逐层抽象化操作，使得模型特征图呈现金字塔结构，即越靠近深层，特征图分辨率越低，越接近抽象的语义信息；越接近浅层的特征越接近细节信息。若直接使用高层特征图进行回归将导致模型对于小尺度目标感知较差。为进一步提升模型计数性能和信息感知能力，在模型结构设计时，本发明提出深浅层特征融合方式，如图3所示，将多尺度特征提取模块提取的高层语义信息与浅层特征提取模块提取的底层细节信息相融合，输出地铁车厢人群密度图。融合方式为：首先使用1
×
1卷积核分别对多尺度特征提取模块提取的深层特征和浅层特征提取模块提取的浅层特征进行数据降维，减少模型参数量；其次对低分辨率的深层特征进行2倍上采样操作，扩大特征图尺寸，使得深层特征与浅层特征能够直接进行像素级相加融合，通过融合后的整体特征图实现密度图的最终回归。
[0042]
(4)拥挤度判别模块：用于判断输入乘客信息图像所处的拥挤度等级，通过对人群密度图进行积分求和计算具体人数，将人群密度图统计的人数与车厢拥挤度各级别所能容纳的人数进行对比，根据各级别容纳人数范围判定车厢拥挤度所处级别，完成采集区域的车厢拥挤度识别。
[0043]
3、各拥挤度级别下车厢容纳人数标定
[0044]
地铁车厢拥挤度的识别主要通过提取车厢检测区域内乘客信息图像，利用卷积神经网络对输入图像进行人数检测，最终根据检测人数与车厢检测区域在不同拥挤度等级下所能容纳人数进行对比来判断车厢拥挤度。因此根据检测区域面积与拥挤度划分标准标定车厢各区域在不同拥挤度等级下所容纳的人数就显得至关重要。图4为根据车厢立席区域划定的拥挤度检测区域，由座席立席检测区和乘降立席检测区两部分构成，一般一节b型车
厢包含4个乘降检测区和3个座席检测区。
[0045]
4、试验例
[0046]
以成都地铁1号线的b型车作为研究对象，根据车厢各区域立席面积并结合表1所划定的车厢拥挤度等级，标定车厢在各拥挤度等级下立席区域所能容纳的人数范围，具体结果如表2所示。
[0047]
表2车厢拥挤人数范围标定
[0048][0049]
采用的cnn算法流程示意图如图5所示，地铁车载视频监视系统采集的某车厢乘客信息图像如图6a所示，经深浅层特征融合后输出的人群密度图标签示意图如图6b所示。本发明的特征融合方式对测试损失和训练误差的影响分别如图7a和7b所示，从图7a可以发现，相较于未特征融合模型，特征融合模型能够收敛获得更好的局部最优点，测试损失更低。同时从图7b可以发现，特征融合模型在迭代前期，训练误差波动起伏，这是由于训练前期，特征融合模型的卷积层参数尚未完成学习，模型整体特征中掺杂了部分无用的细节信息，使模型训练受到误导，但随着迭代次数的增加，模型的误差整体趋于同一趋势，表明特征融合模型已经能够有效学习不同阶段的特征图的参数。最后通过拥挤度判别模块完成采集区域的车厢拥挤度识别后，cd
‑
metro测试集图像真实密度图与估计密度图结果对比如图8所示，识别准确率较高，处理时间较短。
[0050]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。