技术特征：
1.一种融合注意力机制的人群运动流量分析方法，其特征在于，包括以下步骤：步骤s1：将人群轨迹数据集中的图像和轨迹数据进行数据预处理，得到局部图像块与其对应的稠密光流图、密度分布图、运动速度图和瞬时运动流量图，并将数据集划分为训练集与测试集；步骤s2：构建融合人群密度分布特征和运动特征的注意力机制模块；步骤s3：基于步骤s2获得的所述融合人群密度分布特征和运动特征的注意力机制模块，构建融合注意力机制的人群运动流量分析网络，并利用步骤s1获得的训练集训练融合注意力机制的人群运动流量分析模型；步骤s4：将图像输入到训练好的融合注意力机制的人群运动流量分析模型中，输出对应的人群瞬时运动流量估计图，最后以人群瞬时运动流量估计图在划定框上的投影值作为此时刻区域内经过的人数。2.根据权利要求1所述的融合注意力机制的人群运动流量分析方法，其特征在于：步骤s1具体包括以下步骤：步骤s11：对于人群轨迹数据集中的图像框定重点关注区域，即图像中行人可达的任意位置；步骤s12：根据框定区域对每帧图像进行裁剪，得到每帧图像的局部图像块；步骤s13：根据步骤s12中得到的局部图像块，计算相邻两帧局部图像块的稠密光流图；步骤s14：对于无人机人群轨迹数据集中的轨迹数据，首先根据轨迹生成原图每一帧的行人位置分布图；对于行人运动速度图则由相邻帧之间的轨迹相减得到，分别在x轴方向和y轴方向单独计算；在原图相同位置裁剪行人位置分布图，得到与局部图像块相同大小的人群密度分布图；对行人运动速度图进行同样的裁剪，得到局部人群运动速度图；人群瞬时运动流量图由人群密度分布图和人群运动速度图直接相乘得到；步骤s15：将步骤s13和步骤s14中得到的局部图像块与其对应的稠密光流图、密度分布图和运动速度图和瞬时运动流量图，按给定比例划分为训练集与测试集。3.根据权利要求2所述的融合注意力机制的人群运动流量分析方法，其特征在于：在步骤s1中为了得到某时刻区域内经过的真实人数，将封闭区域拆分为多条线段的组合；按照顺时针方向，定义各线段的向量方向，对各线段进行计算：利用人群轨迹数据集中的轨迹数据，得到相邻帧之间的轨迹形成的向量，判断轨迹向量与线段向量是否存在交点，以及两个向量之间的夹角度数，从而判断某时刻的轨迹是否越线、是从何方向越线；某时刻区域内经过的真实人数，即为各线段向量越线人数的累加。4.根据权利要求2所述的融合注意力机制的人群运动流量分析方法，其特征在于：步骤s2具体包括以下步骤：步骤s21：将来自于注意力机制模块前序模块的特征作为注意力机制模块的输入，即：将维度为c
×
h
×
w的人群密度分布特征x
d
和运动特征xv分别输入到两个1
×
1的卷积层中，具体的表达式为：x
d
′
＝w1(x
d
)+b1xv′
＝w2(xv)+b2其中，w1、b1是对应提取人群密度分布特征的1
×
1卷积层的权重和偏置；w2、b2是对应提取人群运动特征的1
×
1卷积层的权重和偏置，x
d
'和xv'分别代表人群密度分布特征和运动
特征；然后调整人群密度分布特征x
d
'和运动特征xv'的维度；x
d
'与xv'的原维度都为c
×
h
×
w，调整后的维度为heads
×
c
×
h
×
w，其中c＝heads
×
c；步骤s22：将步骤s21中得到的维度为heads
×
c
×
h
×
w的人群密度分布特征x
d
'，沿通道分割成heads个组，分别为x
d1
,x
d2
,
…
,x
dheads
，每组特征的维度大小均为c
×
h
×
w；分组后的特征分别输入到heads个深度卷积层中，每层的卷积核大小为ω
i
×
ω
i,i＝{1,
…
,heads}
，从而得到heads个密度输出特征，分别为x
d1
,x
d2
,
…
,x
dheads
；将heads个密度输出特征拼接在一起，拼接后的注意力图e的维度为heads
×
c
×
h
×
w；注意力图e的计算公式为：x
d1
＝w1(x
d1
)+b1x
d2
＝w2(x
d2
)+b2……
x
dheads
＝w
heads
(x
dheads
)+b
heads
e＝concat(x
d1
,x
d2
,
…
,x
dheads
)其中，x
di
表示经过第i个深度卷积层的输出特征，w
i
,b
i
是对应第i个深度卷积层的权重和偏置，concat(
·
)表示特征在新的维度上进行拼接；步骤s23：将步骤s21中得到的人群运动特征xv'与步骤s22中得到的注意力图e相乘，并通过残差结构增强速度特征，计算公式为：其中，
⊙
表示矩阵逐元素乘法，表示增强后的速度特征；最后，将维度为heads
×
c
×
h
×
w的增强速度特征的大小调整为c
×
h
×
w，其中c＝heads
×
c。5.根据权利要求4所述的融合注意力机制的人群运动流量分析方法，其特征在于：步骤s3具体包括以下步骤：步骤s31：以flownet光流网络为基础，分别构建网络结构相同的密度分支和运动速度分支，并引入光流分支，经过相同的前三层编码器之后，与运动速度分支的第三层特征相拼接；将所述融合人群密度分布特征和运动特征的注意力机制模块插入到网络第三层编码器之后，融合人群密度分布特征和运动特征，即：网络的输入为两张相邻帧的局部图像块i
t-1
,i
t
以及对应的稠密光流图o
t
，o
t
对应的是图像i
t-1
与i
t
之间的变化；网络的输出为三张图像：人群密度分布估计图人群运动速度估计图和人群瞬时运动流量估计图其中
⊙
表示矩阵逐元素乘法；步骤s32：记步骤s31中的网络为n，为了进一步加强模型训练，增加逆时序网络m，m的网络结构与n一致，并且权重共享；逆时序网络m的输入改为局部图像块i
t+1
,i
t
和对应的稠密光流图o
t
'，o
t
'对应的是图像i
t+1
与i
t
之间的变化；逆时序网络m的输出为逆时序人群密度分布估计图逆时序人群运动速度估计图和逆时序人群瞬时运动流量估计图其中
⊙
表示矩阵逐元素乘法；步骤s33：将步骤s1获得的训练集中的某个批次的图像和对应的稠密光流图输入到步骤s31和s32中的网络中，同时进行训练，预测得到人群密度分布估计图、人群运动速度估计
图和人群瞬时运动流量估计图；步骤s34：根据融合注意力机制的人群运动流量分析网络的损失函数，利用反向传播方法计算人群运动流量分析的深度网络中各参数的梯度，并利用随机梯度下降方法更新参数；所述损失函数l如下：数；所述损失函数l如下：l＝l1+λl2其中，分别表示图像经过步骤s31的网络n得到的人群密度分布估计图、人群运动速度估计图和人群瞬时运动流量估计图，分别表示图像经过步骤s32的网络m得到的逆时序人群密度分布估计图、逆时序人群运动速度估计图和逆时序人群瞬时运动流量估计图，d、v、c分别表示真实的人群密度分布图、人群运动速度图和人群瞬时运动流量图，l1为网络n的损失函数，l2为网络m的损失函数，λ为平衡损失的参数；步骤s35：以批次为单位重复步骤s33至步骤s34，直至步骤s34中计算得到的损失值收敛并趋于稳定，保存网络参数，完成融合注意力机制的人群运动流量分析模型的训练过程。6.根据权利要求5所述的融合注意力机制的人群运动流量分析方法，其特征在于：步骤s4具体包括以下步骤：步骤s41：将测试集中的图像和对应文本特征输入到训练好的融合注意力机制的人群运动流量分析模型，输出对应的人群瞬时运动流量估计图步骤s42：根据步骤s11中划定的区域，将其拆分为多条线段的组合l，在经过步骤s41得到的人群瞬时运动流量估计图上进行取点，计算在l上的投影值，累加得到区域内经过的人数p，计算公式如下：7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6其中任一所述的融合注意力机制的人群运动流量分析方法的步骤。8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6其中任一所述的融合注意力机制的人群运动流量分析方法的步骤。
技术总结
本发明提出一种融合注意力机制的人群运动流量分析方法，包括：将人群轨迹数据集中的图像和轨迹数据进行数据预处理，得到局部图像块与其对应的稠密光流图、密度分布图、运动速度图和瞬时运动流量图，并将数据集划分为训练集与测试集；以及，设计融合人群密度分布特征和运动特征的注意力机制模块；设计融合注意力机制的人群运动流量分析网络，使用所设计的网络训练融合注意力机制的人群运动流量分析模型；将图像输入到训练好的融合注意力机制的人群运动流量分析模型中，输出对应的人群瞬时运动流量估计图，最后以人群瞬时运动流量估计图在划定框上的投影值作为此时刻区域内经过的人数。人数。人数。
技术研发人员：于元隆 林心代 李琦 林郁昊 刘文犀
受保护的技术使用者：福州大学
技术研发日：2022.03.15
技术公布日：2022/6/17