一种基于时间卷积网络的多模态人群密度预测方法

本发明涉及深度学习和人群密度预测两大领域，主要涉及一种面向大型交通场所的双模态人群密度预测模型。

背景技术：

1、随着经济的发展水平不断提高，人们的出行和出游需要日益增高，大型商场、商业中心、机场、高铁站、客运站、体育中心、演唱会甚至一些景点承载的客流量也越来越多，由此而产生的安全隐患引发了社会的关注。例如，上海外滩踩踏事件，正是人群密度过大，当时的监控手段没有能够及时的发现人流的异常暴增，导致了一系列惨案的发生。为了规避相应的风险，保护人民的生命安全，应对各种场景下人群建模技术的被学界相继提出。

2、人群建模在当今社会中具有重大意义。随着经济的不断发展，人们出行和旅游的需求日益增长，大型商场、商业中心、机场、高铁站、客运站、体育中心、演唱会甚至一些景点所承载的客流量也越来越多，由此产生的安全隐患引发了社会关注。目前，与人群建模相关的方法主要聚焦在人群仿真、人群轨迹预测和交通预测上。它们或没有充分利用实时数据，或只聚焦于短时、单摄像头的预测，或只关注城市规模级别的预测。基于视频数据的大型室内场景长时间、多摄像头的人群密度预测数据集和相关模型尚无人涉及。

3、在这当中，大型室内场景的人群监测及管控是工业界的迫切需求。近年来，国内的交通设施、商场等大型建筑数量逐年增加，相应的人群管控的压力也随之变大。例如，截至2019年8月，广州白云国际机场的航站楼面积已达118万平方米，在2020年的旅客吞吐量已达4376万人次。机场航站楼所设置的监控摄像头数量有几百个，如此数量庞大的监控摄像头数量，若使用人力进行监控，将会耗费大量的人力成本。而且由于人眼无法在同一时间兼顾多个摄像头，容易导致相应的疏漏，无法提前的对存在的安全隐患进行提前的预知和预防。

4、基于上述需求，本发明将聚焦于研究大型室内场景的人群密度预测工作。通过深度学习模型汇集场景内所有监控摄像头以及多模态信息实现对室内场景各个分区未来人群密度预测以支持实现精准化人群管控。

5、现有的技术(liu w,yang y,zhong j.towards dual-modal crowd densityforecasting in transportation building；proceedings of the 2022internationaljoint conference on neural networks(ijcnn),f,2022[c].ieee.)在面对信噪比高的人群密度数据时存在预测精度不足、泛化性能差的问题。

技术实现思路

1、本发明针对基于视频数据的人群密度预测问题，提出了一种面向大型交通场所的多模态人群密度预测方法，将时空卷积网络用于室内场景的双模态人群密度预测问题中，涉及对监控视频信息与行程计划信息的利用。该方法使用时间卷积网络tcn作为各部分的时间相关性提取模块，通过多个摄像头获得的人群历史数据，预测未来至少30分钟后的人群密度趋势。

2、本发明至少通过如下技术方案之一实现。

3、一种基于时间卷积网络的多模态人群密度预测方法，包括以下步骤：

4、视频信息模块从摄像头中获取图像，获得的图像经过人群计数模型进行人群计数，获得各个摄像头每个时每个子区域刻的人群密度，并组织成时间序列数据；时间序列数据经时间卷积网络提取当前时刻的隐向量；

5、行程计划模块从行程计划表提取相应的行程信息用于多模态预测；

6、融合预测器模块将行程计划模块与视频信息模块的特征进行融合，并根据融合的特征预测得出各个子区域未来多时间步的人群密度预测值。

7、进一步地，人群计数模型对图像中的人群密度进行计数包括：

8、每个摄像头所拍摄的区域定义为一个子区域，对于子区域v，在t时刻的人群密度值为则所有摄像头在t时刻的人群密度向量为其中v表示场景中子区域的总数，指第v-1个子区域的、t时刻的人群密度，v＝v-1，所述人群密度向量作为时间卷积网络的输入特征。

9、进一步地，时间卷积网络提取当前时刻的隐向量，包括以下步骤：

10、对于时刻t，获取大小为this的历史时间窗口的人群密度向量，历史时间窗口的人群密度向量记为输入矩阵其中为t-this时刻的人群密度向量；

11、输入矩阵经过l层时间卷积层，提取出高维的特征；时间卷积层的卷积核大小记为kt，卷积核数量为chidden，各卷积层之间的关系为：

12、

13、其中为第l层卷积在时刻t时的隐向量，当l＝0时，为输入矩阵；为时间卷积核；*d为参数为膨胀率为d的空洞卷积操作；σ(·)为激活函数，上一层隐向量通过残差连接到下一层；b为偏置项，表示γ中的元素为实数，尺寸为chidden×kt×1；

14、经过卷积后的特征，通过输出层的时间卷积操作，将特征的时间维度压缩到1，此时每个子区域v都仅由一个隐向量表示历史人群密度趋势，最终经过多层的卷积操作后得到的输出矩阵其中表示第v-1个子区域的历史人群密度趋势隐向量表示中的元素为实数，其尺寸大小chidden×1×v；

15、最后，经过上采样层，将时间维度为1的隐向量扩充成将要进行预测的时间步数tpred，作为视频信息模块的输入。

16、进一步地，行程计划模块从行程计划表提取相应的行程信息用于多模态预测包括以下步骤：

17、s1、首先通过数据预处理方式，将行程计划表的每个航班转换成固定尺寸的行程计划信号；

18、s2、行程计划信号通过多层的时间卷积层提取高位的特征，将行程信息分配到各个摄像头所对应的子区域中，关联行程信号与各个子区域的人群密度。

19、进一步地，通过高斯核函数将行程计划表中的每个行程信息转换成行程计划信号：

20、

21、其中αs为某个行程的旅客数；μ是高斯核函数的均值；σ控制着高斯分布的方差，ps(t)代表在时间t时行程计划信号，根据每个行程所属的检查点集加总各个行程计划信号。

22、进一步地，步骤s2包括：

23、对于预测时间步p，以未来ts个时间步的时间窗口的捕捉行程计划信号，对应的三维信号张量为其中表示所有检查点集在时刻t的行程计划信号矩阵；

24、csched表示信号的通道数；vcheck表示行程数；

25、不同的预测时间步共享着同一组网络权重值，经过时间卷积后输出p时间步各个检查点集的行程信息特征即尺寸为chidden×1×vcheck的实数张量；

26、检查点集的行程信息特征通过权重分配矩阵的池化操作，对输入的行程信息特征进行多组不同权重的线性组合，最终形成多个输出的隐向量，每个输出的隐向量都对应着场景中的一个子区域，检查点集和子区域之间的映射视为一个分配矩阵其中对于分配矩阵当中第m行和第n列的元素αm，n表示第m个检查点集的乘客将具有αm，n的概率到达第n个子区域。

27、进一步地，通过权重分配矩阵进行池化操作为：

28、

29、其中，表示在时间步p、经过权重分配池化后的行程计划特征，是一个尺寸为chidden×1×v的实数张量，v表示场景中子区域的总数，chidden表示卷积核数量；σ(·)是激活函数，w为线性转换的参数矩阵，通过参数矩阵a经过softmax计算后获得的矩阵，记am，n为矩阵a中第m行第n列的元素。

30、进一步地，中的元素αm，n通过下式softmax公式进行计算：

31、

32、其中v表示场景中子区域的总数，原始的矩阵a是训练阶段学习的参数，am，j表示矩阵a中第m行第j列的元素。

33、进一步地，融合预测器模块采用基于拼接的融合方式对信息进行融合：

34、

35、式中表示在预测时间步p、子区域v的融合向量；为子区域v的视频信息向量；为预测时间步p、子区域v的行程计划向量；chidden表示卷积核数量；表示尺寸为2chidden的实数列向量；

36、融合预测器模块的预测器的输入特征经过三层时间卷积层后，输出的中间隐特征在时间维度上大小相等，各层零填充表述为：

37、zero padding size＝(kt-1)×d

38、式中kt为时间卷积层的卷积核大小，d为膨胀率；

39、最后，时间卷积层的输出向量经过多层感知机(mlp)后，输出最终的人群密度的一组预测值其中表示预测时间步为p，子区域v的预测人群密度值，tpred表示要进行预测的时间步数；表示尺寸为tpred的实数列向量。

40、进一步地，对于子区域v，融合预测器模块的预测器的输入特征为：

41、

42、其中表示第t个融合向量，t＝tpred，chidden表示卷积核数量。

43、与现有的技术相比，本发明的有益效果为：

44、本发明通过融合室内场景的多模态信息来解决室内场景中人群密度对外界条件敏感的问题，能够提前预知未来事件，并提出使用带分配矩阵的池化技术来学习视频和行程计划信息之间的相关性。本发明的融合多模态信息能够进提高模型的预测精度，在面对低信噪比的数据时能够给出平稳的预测结果，并且在人群密度突发变化时也能够及时作出响应。

45、本发明在现有技术的基础上，对网络结构做出修改，在主要的结构上完全采用了时间卷积网络进行时间相关性的提取。而且先将时间维度尺寸压缩至1，再进行上采样的先压缩-后扩充的瓶颈结构，使得结构模型的泛化性能提升，提高模型的预测精度。本发明在高信噪比的人群密度数据中，能够有更加平稳的预测效果。