基于子群组划分与动量特征融合的人群运动行为识别方法与流程

本发明涉及一种基于子群组划分与动量特征融合的人群运动行为识别方法，主要利用harris角点检测算法提取人群运动轨迹，混合高斯背景建模提取场景的前景特征，进行子群组划分。在子群组基础上进行动量特征提取，将提取出三维动量特征视频数据输入至微分循环卷积神经网络训练，转化为人群行为标签，达到人群运动行为识别的目标，属于图像处理、视频检测和人工智能交叉技术应用领域。

背景技术

人群运动行为识别的目的是从序列图像中通过运动轨迹和前景提取将密集人群划分成子群组，在子群组的基础上进行人群运动行为识别。对群组级别的活动识别日益成为计算机视觉领域的一个热点问题，在智能视频监控，公共安全、体育竞技等方面有着广泛的应用。对于视频图像帧中人群运动行为识别算法主要有harris角点检测算法、混合高斯背景建模方法、动量特征融合方法。

(1)哈里斯角点检测算法：该算法使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况，窗口中的像素灰度变化程度，当存在任意方向上的滑动时灰度变化程度较大，则认为该窗口中存在角点。角点在保留图像图形重要特征的同时，可以有效地减少信息的数据量，使其信息的含量很高，有效地提高了计算的速度，有利于图像的可靠匹配，使得实时处理成为可能。

(2)混合高斯背景建模方法：其基本思想在于将输入图像和背景模型相比较，根据差值等信息来判断不符合背景模型的异常情况，从而区别出前景像素和背景像素。该方法用灰度直方图表示一个图像中灰度值的分布情况，利用这种统计结果，假设图像序列中像素灰度值的分布服从正态分布函数，对图像进行分割的。

(3)动量特征融合方法：该方法从人群子群组层面出发，将人群聚集的群组作为研究目标，构建以子群组为单位的动量特征。通过最大期望优化算法检测出场景中的所有子群组，针对检测到的群组提取出群组的集体性、稳定性和冲突性等动量特征，构成面向子群组的动量特征，群组动量特征能够改善由于个人动量特征对场景的依赖性，用群组单位构建场景独立的动量特征，提升人群运动行为分析的鲁棒性和可扩展性。

技术实现要素：

本发明目的在于人群运动行为识别方法，提出了一种基于子群组划分与动量特征融合的人群运动行为识别方法，解决了在人群密集场景下微观分割中人群重叠导致的划分失误以及宏观分割中分割粒度过大造成的人群行为细节忽略的问题，并且在此基础上提出来群体运动动量特征融合训练模型，能够有效的识别人群的运动行为。

本发明所述一种基于子群组划分与动量特征融合的人群运动行为识别方法包括以下步骤：

步骤1)：用户输入连续的视频，将视频划分成连续的视频帧，将上述每一个视频帧每单个行人作为一个特征跟踪点p，点p的运动信息用一个四维向量p＝(px,py,pv,pd)来表示，所述px、py表示特征特征跟踪点的空间坐标，pv表示该点的位移大小，pd表示该点的运动方向，pd值为图像帧所有特征跟踪点的点集记为oi＝{p1,p2,p3,p4}；

步骤2)：子群体的移动特征由动量特征决定，以子群体和子群体内的特征跟踪点为基础，定义三种不同的动量特征：运动方向一致性、空间稳定性、人群摩擦冲突性；每个子群体中包含h个特征跟踪点，即ck＝(p1,p2,...,ph)；

步骤3)：计算连续5帧内的描述因子的平均值，用三个平均值构造一个向量共同组成一个三通道的图像，形成224×224×3维数据输入至微分递归卷积神经网络drcnn进行训练，转化为4096维特征向量，所述微分循环卷积神经网络是将vgg—16(visualgeometrygroup—16)模型和3层堆叠的长短期记忆递归神经网络lstm连接到端对端的模型中，最后采用输出函数将特征向量转化为人群行为标签，采用人工标记的方法将训练视频片段根据行为发生主体，行为发生地点，行为本身的不同，标记为不同的描述词汇，用带标记的数据调整微分循环卷积神经网络的结果，实现人群运动行为识别。

其中，

所述的步骤1)具体为：

步骤1.1)：通过哈里斯角点检测算法得到连续视频帧中特征跟踪点的位置信息，获取目标群组的前景特征，哈里斯角点跟踪算法是使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况，窗口中的像素灰度变化程度，当存在任意方向上的滑动时灰度变化程度较大，则认为该窗口中存在角点，将连续视频帧中每个特征跟踪点的位置串联起来，得到每个特征跟踪点的运动轨迹t，所有特征跟踪点运动轨迹集合为ti＝{t1,t2,t3,t4}；

步骤1.2)：利用混合高斯背景建模方法进行前景提取，对于当前视频帧中像素的灰度值，当高斯混合背景中第s个高斯分布的均值的差值满足公式：就认为匹配成功，即该像素为背景，其中i(x,y,t)表示该像素点(x,y)在t时刻的像素值，表示第s个高斯分布t时刻的平均灰度值，λ表示标准差的倍数系数，表示第s个高斯分布t时刻灰度值的方差，通过前景提取获取目标群体的空间大小以及和周围群体的距离关系，称为前景斑块，斑块集合记为bi＝{b1,b2,b3,...,bk}，通过空间上的关系变化划分出空间上临近的个体；

步骤1.3)：利用划分出的两种时空信息，对密集群体进行划分；

所述的步骤1.3)具体为：

步骤1.3.1)：将包含特征跟踪点的集合oi分割成包含若干点的子集，表示为oi＝{ci,fi}，所述ci＝{c1,c2,...,ck}为图像帧经过划分后具有运动一致性的点集，构成人群划分的子群体，点集fi则是被剔除的点，用矩形区域表示斑块的空间信息，以斑块边界像素位置坐标值划分出一个矩形区域，获取矩形右下角及左上角点的坐标，若特征跟踪点p的坐标位置处于斑块的轮廓范围内，则将该点划分为该斑块的点，否则剔除该点；

步骤1.3.2)：特征跟踪点p的属性pd表示帧与帧之间特征跟踪点的运动关系，计算特征跟踪点p的位移向量值与x轴夹角的余弦值，获取方向夹角θ，将方向夹角0～2π划分成12等份，每个区间分别标记为di(i＝1,2,3...,12)为pd赋值，具体划分方法公式为：

经过斑块范围划分以及运动方向的约束，将运动趋势相近的特征跟踪点划分成一个子群体；

步骤1.3.3)：修正异常点，计算特征跟踪点p的k个临近点中，各临近点的属性值pd出现频率，出现频率最大的标记值为di，特征跟踪点pd记为dj，对于所有的特征跟踪点，当i+1＝j或者i-1＝j，将p的pd值修正为di；剔除异常点：计算特征跟踪点p的l个临近点中与其运动趋势相同的点的个数i，设定一个临界值m，m≤l，当i<m，将p点认为是异常点，从子群体ck中剔除。

所述的步骤2)具体为：

步骤2.1)：运动方向一致性特征提取：计算子群体中各个特征跟踪点的坐标和位移取平均值，得到连续几帧中各个子群体的质心坐标和平均位移，求得各个子群体的总体运动趋势向量根据公式：计算每个子群体的总体运动趋势向量与该向量的速度相关性，其中表示各个子群体的运动趋势向量，表示第k个邻接点的运动趋势向量，n代表划分出的子群体个数，所述值越大表示速度相关性越高；_

步骤2.2)：空间稳定性动量特征提取：空间稳定性是指各个特征跟踪点在一定时间范围内保持稳定的邻居，在一定时间内保持特定的拓扑结构；定义子群体中每个特征跟踪点pi在t时刻的稳定性由公式：求得，其中n表示划分出的子群体个数，pi表示第i个特征跟踪点，|n1(pi)\n1(pi)^t|表示在1到t时刻某子群体中的一个特征跟踪点的邻接点中与其维持稳定邻接关系不变的点的平均个数，k表示最邻接点的个数；子群体中各个特征跟踪点与其邻域中的邻接点的距离的稳定性可以用公式：表示，其中n表示划分出的子群体的个数，pi表示第i个特征跟踪点，代表特征跟踪点与其k个临近点的平均距离，将上述两种稳定性相加，构成子群组整体稳定性，用ω(ck)表示；

步骤2.3)：人群摩擦冲突性动量特征提取：冲突性计算公式为：其中n表示划分出的子群体的个数，pi表示第i个特征跟踪点，表示各个子群体的运动趋势向量，表示第k个邻接点的运动趋势向量，avrg(nother(pi))代表一个子群体中的特征跟踪点的邻接中包含其他子群体中特征跟踪点的平均值，α和β为权重系数。

步骤1.2)中标准差倍数系数λ取2.5。

有益效果：本发明提出的一种基于子群组划分与动量特征融合的人群运动行为识别方法，具体有益效果如下：

1、本发明对与人群密集场景下人群进行子群组划分从子群体的角度进行分析不仅可以解决从密集群体中分离运动个体的困难，还可以获得将群体视为一个整体作为研究对象时忽略的内部特征。

2、本发明提出一种基于时空约束的算法，将运动群体中个体之间的时间上的运动关系和空间上的邻近性作为群体划分的依据，两种条件相互约束，将群体划分为具有运动一致性的子群体。这种算法能够适用于不同群体密度和观察视角的监控视频流，且实现简单，运行速度快。

3、本发明利用微分循环卷积神经网路对抽象出的三维视频数据进行训练，将特征提取和参数学习的步骤分开，适用于各种分辨率和移动场景的群组视频。

附图说明

图1是子群组划分算法流程图。

图2是动量特征融合算法流程图。

具体实施方式

下面对本发明附图的某些实施例作更加详细的描述。

用户输入15秒连续的视频，每隔0.5秒划分成一个图像帧，即di＝{d1,d2,d3,...,d30}，dt为t时刻的图像帧，在人群密集场景下将具有运动一致性的人群进行子群组划分，其算法流程图如图1所示。

取前15帧视频图像帧，每单个行人作为一个跟踪特征跟踪点，用一个四维向量p＝(px,py,pv,pd)表示特征跟踪点p的运动信息，其中px,py表示特征跟踪点的空间坐标，pv表示该点的位移大小，pd表示该点的运动方向，其值为通过harris角点检测算法得到15个视频帧中特征跟踪点的坐标位置信息，将连续视频帧中每个特征跟踪点的坐标位置串联起来得到每个特征跟踪点的运动轨迹t，所有特征跟踪点运动轨迹集合为ti＝{t1,t2,t3,t4}，每条轨迹包含若干特征跟踪点的集合ti＝{p1,p2,p3,...,pk}，连续的运动轨迹体现了一段时间内群体的运动关系。

利用混合高斯背景建模方法进行前景提取，对于当前视频帧中像素的灰度值，如果与高斯混合背景中第k个高斯分布的均值的差值满足公式：就认为匹配成功，即该像素为背景，其中λ是标准差的倍数系数，λ取值为2.5。通过前景提取获取了目标群体的空间大小以及和周围群体的距离关系，称为前景斑块，斑块集合记为bi＝{b1,b2,b3,...,bk}，通过空间上的关系变化划分出空间上临近的个体。

利用划分出的两种时空信息，对密集群体进行划分。将包含特征跟踪点的集合oi分割成包含若干点的子集，表示为oi＝{ci,fi}，其中ci＝{c1,c2,...,ck}为图像帧经过划分后具有运动一致性的点集，构成人群划分的子群体，点集fi则是被剔除的点。用矩形框表示斑块的空间信息，以斑块边界像素位置坐标值划分出一个矩形区域，获取矩形右下角及左上角点的坐标，若特征跟踪点p的坐标位置处于斑块的轮廓范围内，则将该点划分为该斑块的点，否则剔除该点。特征跟踪点p的属性pd表示帧与帧之间特征跟踪点的运动关系。首先计算特征跟踪点p的位移向量与x轴夹角的余弦值，从而获取方向夹角θ。将方向夹角0～2π划分成12等份，每个区间分别标记为di(i＝1,2,3….,12)为pd赋值，具体划分方法为：

经过斑块范围划分以及运动方向的约束，将这些运动趋势相近的特征跟踪点划分成一个子群体。

对于异常点进行修正和剔除。首先，进行异常点的修正，计算特征跟踪点p的k个临近点中，各临近点的属性值pd出现频率最大的标记值为di，特征跟踪点pd记为dj，对于所有的特征跟踪点，若i+1＝j或者i-1＝j，那么就将p的pd值修正为di；其次，将异常点剔除，计算特征跟踪点p的l个临近点中与其运动趋势相同的点的个数i。设定一个临界值m(m≤l)，，m取值为5，若i<m，则将p点认为是异常点，从子群体ck中剔除。

设子群体的移动特征动量特征决定，以子群体和子群体内的特征跟踪点为基础，定义三种不同的动量特征：运动方向一致性、空间稳定性、人群摩擦冲突性。假设每个子群体中包含h个特征跟踪点，即ck＝(p1,p2,...,ph)。

运动方向一致性特征提取：计算子群体中各个特征跟踪点的坐标和位移取平均值，得到连续几帧中各个子群体的质心坐标和平均位移，求得各个子群体的总体运动趋势向量根据公式：计算每个子群体的总体运动趋势向量与该向量的速度相关性，其中表示各个子群体的运动趋势向量，表示第k个邻接点的运动趋势向量，n代表划分出的子群体个数，所述值越大表示速度相关性越高。

空间稳定性动量特征提取：空间稳定性是指各个特征跟踪点在一定时间范围内保持稳定的邻居，在一定时间内保持特定的拓扑结构；定义子群体中每个特征跟踪点pi在t时刻，其k个最邻接点组成的领域为nt(pi)，稳定性可由如公式：求得，其中n表示划分出的子群体个数，pi表示第i个特征跟踪点，|n1(pi)\n1(pi)^t|表示在1到t时刻某子群体中的一个特征点的邻接点中与其维持稳定邻接关系不变的点的平均个数，k表示最邻接点的个数；子群体中各个特征跟踪点与其邻域中的邻接点的距离的稳定性可以用公式：表示，其中n表示划分出的子群体的个数，pi表示第i个特征跟踪点，代表特征跟踪点与其k个临近点的平均距离，将上述两种稳定性相加，构成子群组整体稳定性，用ω(ck)表示。

群摩擦冲突性动量特征提取：冲突性计算公式为：冲突性计算公式为：其中n表示划分出的子群体的个数，pi表示第i个特征跟踪点，其中表示各个子群体的运动趋势向量，表示第k个邻接点的运动趋势向量，avrg(nother(pi))代表一个子群体中的特征跟踪点的邻接中包含其他子群体中特征跟踪点的平均值，α和β为权重系数。

将前5帧内的描述因子的平均值计算出来，用三个平均值构造一个向量类似于像素点的rgb值，共同组成一个三通道的图像，形成224×224×3维数据输入至微分循环卷积神经网络(drcnn)进行训练，转化为4096为特征向量。其中微分循环卷积神经网络vgg—16(visualgeometrygroup—16)模型和3层堆叠的长短期记忆递归神经网络(longshort-termmemory，lstm)连接到端对端的模型中，提高训练的准确率最后采用输出函数将特征向量转化为人群行为标签，，采用人工标记的方法将训练视频片段按照行为发生主体，行为发生地点，行为本身的不同，标记为不同的描述词汇，用带标记的数据调整微分循环卷积神经网络的结果，实现人群运动行为识别。