一种基于场景特征及位置距离信息的群组行为分析方法

本发明涉及深度学习领域中的个体行为以及群组行为识别问题，尤其是涉及一种基于场景特征及位置距离信息的群组行为分析方法。

背景技术：

1、群组行为识别作为计算机视觉的重要领域收获了越来越多的关注。近年来，深度学习已经在群组行为识别中取得了优异的成绩。相关研究大多通过卷积神经网络提取个体特征，然后设计一种全局模块从个体特征中抽象出群组特征，进行个体行为和群组行为识别。与个体行为识别不同，群组行为识别更加关注于群组内部个体之间的交互关系。随着图卷积网络的发展，图卷积网络凭借其在处理非欧式距离数据上的出色能力被逐步应用于群组行为识别中个体交互关系推理中，获取丰富群组特征，提升行为识别准确率。目前，基于视频的群组行为识别已经广泛应用于智能视频监控，运动视频分析等领域，具有深远的研究意义和广泛的应用前景。

2、现有的行为识别方法较少综合考虑场景信息及位置距离交互信息。场景信息可以视作行为发生时的全局上下文信息，而位置距离交互信息则可视为局部上下文信息。因此，本专利提出了一种基于场景特征及位置距离信息的群组行为分析方法，充分挖掘局部和全局的上下文信息，并推理他们之间的关系。首先对数据进行预处理，通过tv-l1方法提取视频帧的光流图像。然后我们采用双流特征提取网络从原始rgb帧和光流帧中分别提取外观特征和运动特征，并通过roi-align根据个体的bounding box信息获取个体的外观特征及运动特征。接着我们提出了一种新的特征提取策略，包括位置特征提取策略和场景探索策略。在位置特征提取策略中，个体的位置信息以及两两个体间的距离信息被建模，用于丰富个体特征。场景探索策略中，由卷积神经网络提取原始rgb帧的全局特征作为场景特征。在此基础上，我们设计了一个包含图卷积网络和自注意力图池化的推理模块，将个体特征和场景特征视为图的节点，特征间的相似性视为图的边，将构建好的图送入图卷积网络中推理个体节点和全局场景节点之间的成对交互。然后，通过自注意力图池化网络对不同的个体分配不同的权重，选择权重较高的个体进行池化操作，进而形成高阶群组特征。最后，将群体特征输入分类器进行群体活动识别。

技术实现思路

1、本发明的目的是提供一种基于场景特征及位置距离信息的群组行为识别方法，它综合考虑全局场景信息和局部位置信息，其中局部位置信息用于进一步丰富个体特征，采用图卷积网络推理全局场景和个体之间的关系，通过自注意力图池化网络对不同的个体赋予不同的权重，进而推理群组行为，提升了群组行为识别精度，解决了群组行为识别中全局-局部特征利用不充分的问题。

2、为了方便说明，首先引入一下概念：

3、卷积神经网络(convolutional neural network,cnn)：受视觉神经机制的启发而设计的，是为识别二维形状而设计的一种多层感知器，这种网络结构对平移、比例缩放、倾斜或者其他形式的变形具有高度不变性。

4、roi-align模块：使用了双线性插值的方法来计算每个感兴趣区域(region ofinterest， roi)中特征的准确值，并使用池化操作得到输出结果，解决了roi-pooling中量化误差的问题。

5、图卷积网络(graph convolutional network,gcn)：用于提取拓扑图的空间特征，处理的数据是图结构数据，即非欧几里得结构(non euclidean structure)。

6、自注意力图池化网络(self-attention graph pooling network,sag-pool)：通过自注意力机制对图结构进行池化的网络，具有较强的可移植性。

7、本发明具体采用如下技术方案：

8、一种基于场景特征及位置距离信息的群组行为分析方法，其特征在于：

9、a.通过双流特征提取网络、全连接网络及图卷积网络提取个体行为特征；

10、b.使用位置距离模块对个体的位置及相对距离信息建模，获取空间中人群拓扑结构，进一步丰富个体特征；

11、c.提取全局场景特征，将场景特征与个体特征作为图卷积网络中的节点，深入挖掘场景与个体之间成对的关系；

12、d.使用自注意力图池化网络，对不同的个体给予不同程度的关注，并对图结构进行池化操作，从而获取高层次的群组行为特征；

13、该方法主要包括以下步骤：

14、(1)数据预处理：通过原始视频帧生成光流帧，并对连续原始视频帧及光流帧进行抽帧，将抽样后的视频帧及光流帧输入网络；

15、(2)特征提取：采用了双流特征提取网络，将inception-v3网络作为主干网络分别提取全局外观特征以及全局运动特征，将外观特征与运动特征相加，再通过roialign模块得到个体的外观及运动特征，使用全连接层综合所得信息；

16、(3)位置距离信息建模：根据个体标注框信息，计算个体的中心位置及两两个体之间的距离，将个体位置和距离进行级联，通过全连接层映射为高维特征，将经过步骤(2)提取的个体外观运动特征与位置距离特征级联成个体特征；

17、(4)图结点生成：将经过步骤(2)生成的全局外观特征经过自适应平均池化操作生成场景特征，与经过步骤(3)生成的个体特征，形成行为特征结点；

18、(5)图构建与推理：根据步骤(4)生成的图结点，通过计算节点间的相似性构建行为关系图的边特征，并通过图卷积网络对图进行推理，充分挖掘个体与场景间成对的交互性；

19、(6)个体行为分类：将步骤(3)生成的特征与步骤(5)推理后的特征相加得到个体特征，送入分类器识别个体行为类别；

20、(7)自注意力图池化：将经过步骤(5)推理后的图结构通过图卷积操作生成节点自注意力分数，根据注意力分数对节点进行排序，选取前k个节点送入最大值池化网络，得到最终群组行为特征；

21、(8)群组行为的分类：将步骤(7)生成的群组行为特征，送入分类器识别群组行为类别；

22、(9)模型训练：通过(2)-(8)构建的模型训练分为两步，第一步对主干网络的预训练模型进行微调，由主干网络提取个体特征后直接进行行为分类，保存模型参数将其输入第二步的网络模型；第二步添加了场景信息，个体位置信息，结合主干网络提取的个体特征，构建图卷积网络推理场景与个体间成对的关系，再通过自注意力图池化方式，得到群组行为特征并进行群组行为分类。

23、本发明的有益效果是：

24、(1)对个体位置信息及相对位置信息进行有效建模，充分挖掘个体的上下文信息，从而更好的识别群组行为。

25、(2)将全局场景特征纳入考虑，突破局部范围，从全局角度把握行为的状态。

26、(3)采用图卷积网络来推理全局场景和个体之间的交互性，综合考虑全局与局部特征，获取更为丰富的行为特征。

27、(4)使用了自注意力图池化网络，对不同的个体分配不同的权重，突出重要特征。

技术特征：

1.一种基于场景特征及位置距离信息的群组行为分析方法，其特征在于：

2.如权利要求1所述的基于场景特征及位置距离信息的群组行为分析方法，其特征在于步骤(3)中，通过个体标注框计算个体中心位置，由此计算两两个体之间的距离，将两两个体之间的距离与个体标注框级联，通过全连接层映射成高维个体位置距离交互特征，将经过步骤(2)提取的个体外观运动特征与位置距离交互特征级联成个体特征。

3.如权利要求1所述的基于场景特征及位置距离信息的群组行为分析方法，其特征在于在步骤(4)中，将步骤(2)中提取的全局外观特征通过自适应平均池化网络，生成场景特征，将其作为场景特征节点与步骤(3)生成的个体特征一起送入图卷积网络进行关系推理，以此推理场景和群组行为的潜在关系。

4.如权利要求1所述的基于场景特征及位置距离信息的群组行为分析方法，其特征在于在步骤(5)中，在图构建的过程中，计算个体特征与场景特征之间成对的相似性，将其作为图的初始边信息送入图卷积网络进行推理。

5.如权利要求1所述的基于场景特征及位置距离信息的群组行为分析方法，其特征在于在步骤(7)中，把经过图推理后的特征送入自注意力图池化网络中，通过图卷积生成注意力分数，根据注意力分数对节点进行排序，选取前k个节点送入最大值池化网络，得到最终群组行为特征。

技术总结
本发明提出了一种基于场景特征及位置距离信息的群组行为分析方法，主要涉及深度学习中提取和推理上下文特征进行个体行为和群组行为识别的问题。此方法提出一种上下文特征提取策略关注局部和全局信息，并通过图卷积网络推理交互信息，同时纳入自注意力图池化网络，提升行为识别的准确度。首先，使用双流特征提取网络提取个体特征。然后提出一种新的上下文特征提取策略，对个体位置距离信息建模用于丰富个体特征，并提取RGB帧的全局特征作为场景特征。接着，在图卷积网络中推理个体和场景的交互信息，通过自注意力图池化网络形成群组特征得到行为识别结果。本发明充分考虑群组的上下文特征，解决了行为识别中上下文特征利用不充分的问题。

技术研发人员：卿粼波,王昱晨,姜雪,陈洪刚,何小海,滕奇志
受保护的技术使用者：四川大学
技术研发日：
技术公布日：2024/2/21