基于多粒度特征融合的人体行为分析方法与流程

本发明涉及计算机视觉、模式识别，具体为基于多粒度特征融合的人体行为分析方法。

背景技术：

1、在现代社会中，人们对安全监控、智能安防和行为分析的需求日益增加。传统的人体行为分析方法主要依赖于单一特征或低级特征，如人体轮廓、运动轨迹等，这些方法在复杂的环境中往往无法取得理想的效果。随着计算机视觉技术和机器学习算法的不断发展，结合多粒度特征的行为分析方法逐渐成为研究的热点。

2、多粒度特征融合的方法通过提取和组合不同粒度的特征，能够更全面、准确地描述人体行为。细粒度特征能够捕捉到人体结构和姿态的细微变化，适用于高精度解析的场景；粗粒度特征则对旋转和平移的变化具有更好的鲁棒性，适用于快速、稳定识别的场景。因此，多粒度特征融合方法具有更高的鲁棒性和准确性。

3、近年来，随着深度学习技术的飞速发展，尤其是卷积神经网络(cnn)和循环神经网络(rnn)的广泛应用，基于视频数据的人体行为分析取得了显著进展。然而，这些方法往往需要大量的标注数据进行训练，并且对噪声和环境变化敏感，导致其在实际应用中表现不够理想。为了提高人体行为分析的准确性和稳定性，提出一种基于多粒度特征融合的人体行为分析方法，通过高清摄像头获取监控视频数据，结合时空分析和多粒度特征提取，实现对人体行为的准确分类。

4、然而，多粒度特征表示方法的应用存在以下几种问题：

5、(1)如何将人体特征的多粒度特征变化用统一的方法进行描述：人体行为特征在不同的粒度下表现出多样性。细粒度特征可能包括精细的姿态和动作细节，而粗粒度特征则可能关注整体的行为模式和运动轨迹。不同粒度特征在维度和尺度上的差异，使得它们难以通过同一方法进行统一描述。此外，不同粒度特征在空间和时间维度上的不一致性增加了统一描述的复杂性。细粒度特征需要高分辨率的空间细节，而粗粒度特征则需要捕捉长时间的行为模式。因此，难以用一个统一的方法来描述人体特征的多粒度特征变化。

6、(2)如何实现时空分析与多粒度特征的融合：时域信息具有连续性和动态性，而空间特征通常是静态的。难以在时空维度上同步这两种特征，并保持数据的一致性和完整性。同时，时-空域信息和外观特征在数据结构和表达形式上存在差异。时域特征注重运动轨迹和行为变化，而空间特征关注人体的姿态和形状。在特征提取过程中难以找到有效的匹配策略，使得两者能够无缝融合。因此，如何综合利用时-空域的信息使其融合于人体外观特征，是一个难点。

7、(3)如何完成人体行为特征分类与行为判别：人体行为极其多样，包括静态、动态、连续、离散等多种类型，且同一种行为在不同情境下可能表现出不同的特征。此外，人体行为还受到个体差异、环境因素等多种因素的影响，这使得行为识别变得极为复杂。并且目前大多数分类器设计依赖于有效的特征提取方法。然而，现有的特征提取方法往往无法全面、准确地捕捉人体行为的本质特征。因此虽然有多种分类器设计方法应用到人体行为识别领域中，以完成行为分类任务，但其正确识别率一直未能令人满意。

8、本发明基于以上问题开发了一种基于多粒度特征融合的人体行为分析方法。

9、该方法有效地对人体运动过程中体现出的外观特征和运动特征进行统一描述，能够在目标比较小、表观特征不明显的情况下利用运动提供的判别信息进行有效的人体检测，具有更强的判别能力和更好的泛化能力。并且通过多粒度特征表示，具有丰富的描述能力，可同时提取结构特征和统计信息。这种方法在人体运动和外观特征统一描述方面具有显著的优势，为人体检测等领域提供了有效而广泛的应用可能性。

技术实现思路

1、本发明提供了基于多粒度特征融合的人体行为分析方法，旨在提高视频监控系统的识别精度和鲁棒性，解决了上述背景技术中提出的问题，该方法包括以下步骤：通过高清摄像头获取监控视频数据，并使用均值滤波和平滑技术减少噪声；将人体形态分解为直线段组合，并在霍夫空间中引入旋转和平移不确定性参数，提取多粒度特征；利用光流场和空间梯度场结合时空分析，获取人体运动和外观信息；将这些信息转换为极坐标表示，并进行特征融合；最后，使用朴素贝叶斯分类器对人体行为进行分类，确保系统在各种监控场景中具备高效、准确的行为识别能力。

2、本发明提供如下技术方案：基于多粒度特征融合的人体行为分析方法，包括以下步骤：

3、(1)通过高清摄像头获取监控场景的视频数据，并确保视频数据的清晰度和稳定性，避免噪声影响模型的训练；

4、(2)将人体数据解析为以直线段为基元的组合，采用霍夫空间表示直线，并引入旋转和平移不确定性作为粒度参数，通过调节粒度参数，得到精细粒度特征和粗糙粒度特征的多粒度特征表示；

5、(3)通过映射方程将图像转换到特征空间，控制粒度参数和特征参数来提取不同粒度的特征描述子，实现图像统一特征提取过程；

6、(4)结合时空分析，利用光流场提取人体运动信息，并通过计算空间梯度场得到人体外观表达，将运动特征和外观特征统一表示为多粒度特征；

7、(5)将运动信息和外观信息的多粒度特征分别提取，转换为极坐标表示并串接，实现时空分析与多粒度特征的融合，形成综合的人体行为特征表示；

8、(6)利用transformer将人体运动的关键帧姿态序列输入到嵌入层，结合位置编码来保留时间信息，再通过多层transformer编码器进行特征提取和序列建模，最后通过线性层输出分类结果。

9、优选的，所述步骤(1)的具体实现步骤为：

10、通过高清摄像头获取监控场景视频数据，针对获取到的视频数据使用均值滤波法以及帧间差分法来平滑图像噪声，提高清晰度，去除由摄像头抖动或传输误差引起的噪声，以此确保监控视频数据的清晰度和稳定性，减少噪声对模型训练的干扰，进而提升分类模型的准确性。

11、优选的，所述步骤(2)的具体实现步骤为：

12、以直线段作为基本单元，将复杂的人体形态分解为一系列直线段的组合；采用霍夫空间的概念，将曲线的旋转和平移不确定性整合到曲线的定义中。

13、优选的，所述步骤(3)的具体实现步骤为：

14、对于输入的图像，根据不同的粒度参数其公式描述为：

15、

16、其中，f:i→x表示原始图像空间i到特征空间x的一个映射；β表示粒度参数；α表示特征参数用来控制映射类型；函数f(.)是一个用于提取特征的函数，此函数输入为图像i；参数α作用是用于指定特征类型；参数β的作用是用于控制粒度；fα，β是输入图像的一个特征描述子。

17、优选的，所述步骤(4)的具体实现步骤为：

18、通过将光流场作为提取人体运动特征的关键输入进行时空分析，通过比较两个连续帧——图像i，能够计算出这两帧之间的光流场of，在光流场of中，每个像素点都被一个二维向量组所描述，其中x和y是像素点的坐标，而则分别表示该像素点在x轴和y轴方向上的运动速度或位移分量，通过比较两个连续帧中的像素亮度变化来估算出像素点的运动方向和速度，从而构建出整个图像的光流场，反映出图像中各个部分在连续帧之间的运动情况，由此，光流场的定义如下：

19、

20、通过计算输入图像i(t)的梯度场，获得关于人体外观的更多信息，图像i(t)中的每个像素点都表示一个灰度值，计算每个像素点在其邻域内的灰度变化，即梯度，对其空间梯度场定义如下：

21、

22、优选的，所述步骤(5)的具体实现步骤为：

23、首先，将原始的空间坐标四元组转换为极坐标表示；原始坐标表示为：其中：(x)和(y)为坐标位置，(dx)和(dy)为方向向量，转换为极坐标表示为：[x,y,θ,ρ]其中：θ为方向向量的角度，ρ为方向向量的模长；选择不同的尺度对坐标位置和方向向量进行描述，对于每个尺度，计算其统计特性以及相对位置信息，选择不同的时间窗口来提取时间特征，对于每个时间窗口，计算其运动轨迹和变化趋势；由此通过二维的多粒度特征表示方法，分别提取空间和时间维度的多粒度特征；

24、之后将提取的空间多粒度特征与时间多粒度特征相结合，得到时空分析与多粒度相结合的人体行为特征表示，通过对提取的空间特征和时间特征进行串接，形成一个统一的特征向量；采用向量串接或特征融合的方法，将空间和时间特征融合在一起，提高特征表示的鲁棒性和识别效果。

25、优选的，所述步骤(6)的具体实现步骤为：

26、将人体运动的关键帧姿态序列表示为时间序列数据，以这些姿态序列作为transformer的输入，将姿态向量通过线性嵌入层转换为高维表示，得到维度对应的向量，通过加入位置编码来保留时间信息，它为每个时间步添加唯一的编码，使模型能够感知序列中的时间顺序，能够更好的利用时间上下文信息，之后将嵌入后的序列输入到多层transformer编码器中，得到transformer编码器的输出后，通过全连接层映射到分类结果。

27、与现有技术对比，本发明具备以下有益效果：

28、1、该基于多粒度特征融合的人体行为分析方法，通过利用人体的运动信息来弥补外观特征较弱的缺点提高检测准确性，利用时间和空间域的信息，使系统不仅具备更强的判别能力，还能更好地适应各种环境和条件，增加了泛化能力。通过多粒度特征描述，对人体数据进行不同层次的抽象，从确定性描述到统计性描述，提供了丰富的描述能力。

29、2、该基于多粒度特征融合的人体行为分析方法，有效地对人体运动过程中体现出的外观特征和运动特征进行统一描述，能够在目标比较小、表观特征不明显的情况下利用运动提供的判别信息进行有效的人体检测，具有更强的判别能力和更好的泛化能力。这种方法在人体运动和外观特征统一描述方面具有显著的优势，为人体检测等领域提供了有效而广泛的应用可能性。