用于视频的智能行为分析系统及方法与流程

本技术涉及智能分析领域，且更为具体地，涉及一种用于视频的智能行为分析系统及方法。

背景技术：

1、训练是提高运动员竞技表现的关键。通过系统和有目的的训练，运动员可以逐步提高动作的准确性、流畅性和效率、增强身体素质、培养专注力和心理素质，从而在比赛中表现出色。

2、通过观察运动员在训练过程中的视频，教练和专业人士可以获得更准确的信息，以评估运动员的技术和姿势是否正确。这样可以提供更具体、个性化的反馈和指导，帮助运动员改善技术和提高表现。

3、但由于传统的视频观察通常只提供有限的视角和深度感知，无法全面准确地捕捉到运动员的姿势和动作。有时候，关键的细微动作或身体的位置变化可能无法在视频中清晰可见。另外，传统的视频观察通常是离线的，无法提供实时的反馈和交互性。这意味着运动员无法立即获得关于姿势是否正确的准确反馈，无法及时进行调整和改进。

4、因此，期待一种优化的用于视频的智能行为分析方案。

技术实现思路

1、为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种用于视频的智能行为分析系统及方法，其采用基于深度神经网络模型的人工智能技术，获取运动员训练过程中的视频，提取多个关键帧后通过多分支感知域模块提取运动不同尺度和层次的信息，将多个关键帧排列为三维张量后通过三位卷积网络和非局部网络捕捉到运动的动态变化和运动姿势时序特征图中的长程依赖，融合后以得到用于表示该运动员训练过程中的运动姿势是否正确的分类结果。进而能自动化的方式对运动员训练视频进行分析和评估，提供准确、客观和实时的运动姿势正确性判断，以帮助运动员和教练改进训练姿势，提高训练效果。

2、根据本技术的一个方面，提供了一种用于视频的智能行为分析系统，其包括：

3、运动员视频采集模块，用于采集由摄像头拍摄的预定时间段的运动员训练过程中的视频；

4、运动姿势关键帧采集模块，用于从所述运动员训练过程中的视频中提取出多个运动姿势关键帧；

5、运动感知模块，用于将所述多个运动姿势关键帧通过多分支感知域模块以得到多个多分支运动姿势特征图并将所述多个多分支运动姿势特征图进行级联以得到运动姿势局部特征图；

6、运动时序提取模块，用于将所述多个运动姿势关键帧聚合为运动三维张量后通过具有三维卷积核的卷积神经网络模型以得到运动姿势时序特征图；

7、运动姿势全局提取模块，用于将所述运动姿势时序特征图通过非局部神经网络模型以得到运动姿势全局特征图；

8、运动特征融合模块，用于对所述运动姿势局部特征图和所述运动姿势全局特征图进行融合以得到运动姿势融合特征图；

9、运动姿势判断模块，用于将所述运动姿势融合特征图通过分类器以得到分类结果，所述分类结果用于表示该运动员训练过程中的运动姿势是否正确。

10、在上述用于视频的智能行为分析系统中，所述运动姿势关键帧采集模块，用于：以预定采样频率从所述运动员训练过程中的视频中提取出多个运动姿势关键帧。

11、在上述用于视频的智能行为分析系统中，所述运动感知模块，包括:第一运动姿势点卷积单元，用于将所述运动姿势关键帧输入所述多分支感知域模块的第一点卷积层以得到卷积特征图；运动姿势多分支感知单元，用于分别将所述卷积特征图通过所述多分支感知域模块的第一分支感知域单元、第二分支感知域单元和第三分支感知域单元以得到第一分支运动感知特征图、第二分支运动感知特征图和第三分支运动感知特征图，其中，所述第一分支感知域单元、所述第二分支感知域单元和所述第三分支感知域单元具有并行结构；感知特征融合单元，用于将所述第一分支运动感知特征图、所述第二分支运动感知特征图和所述第二分支运动感知特征图进行级联以得到融合运动感知特征图；第二点运动姿势卷积单元，用于将所述融合运动感知特征图输入所述多分支感知域模块的第二点卷积层以得到通道校正融合运动感知特征图；以及，残差级联单元，用于计算所述通道校正融合运动感知特征图和所述卷积特征图的按位置点加以得到所述多分支运动姿势特征图。

12、在上述用于视频的智能行为分析系统中，所述运动时序提取模块，用于:使用所述具有三维卷积核的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述具有三维卷积核的卷积神经网络模型的最后一层的输出为所述运动姿势时序特征图，所述具有三维卷积核的卷积神经网络模型的第一层的输入为所述运动三维张量。

13、在上述用于视频的智能行为分析系统中，所述运动姿势全局提取模块，包括：特征点卷积单元，用于分别对所述运动姿势时序特征图进行第一点卷积处理、第二点卷积处理和第三点卷积处理以得到第一特征图、第二特征图和第三特征图；特征加权单元，用于计算所述第一特征图和所述第二特征图之间的按位置加权和以得到融合特征图；特征值映射单元，用于将所述融合特征图输入softmax函数以将所述融合特征图中各个位置的特征值映射到概率空间中以得到归一化融合特征图；特征点乘单元，用于计算所述归一化融合特征图和所述第三特征图之间的按位置点乘以得到再融合特征图；嵌入高斯单元，用于将所述再融合特征图通过嵌入高斯相似性函数以得到全局相似特征图；通道数调整单元，用于对所述全局相似特征图进行第四点卷积处理以调整所述全局相似特征图的通道数以得到通道调整全局相似特征图；以及，全局特征提取单元，用于计算所述通道调整全局相似特征图和所述运动姿势时序特征图的按位置加权和以得到所述运动姿势全局特征图。

14、在上述用于视频的智能行为分析系统中，所述运动姿势判断模块，包括：展开单元，用于将所述运动姿势融合特征图展开为运动姿势融合特征向量；全连接编码单元，用于使用所述分类器的全连接层对所述运动姿势融合特征向量进行全连接编码以得到运动姿势融合编码特征向量；以及，分类结果单元，用于将所述运动姿势融合编码特征向量通过所述分类器的softmax分类函数以得到所述分类结果。

15、根据本技术的另一方面，提供了一种用于视频的智能行为分析方法，其包括：

16、采集由摄像头拍摄的预定时间段的运动员训练过程中的视频；

17、从所述运动员训练过程中的视频中提取出多个运动姿势关键帧；

18、将所述多个运动姿势关键帧通过多分支感知域模块以得到多个多分支运动姿势特征图并将所述多个多分支运动姿势特征图进行级联以得到运动姿势局部特征图；

19、将所述多个运动姿势关键帧聚合为运动三维张量后通过具有三维卷积核的卷积神经网络模型以得到运动姿势时序特征图；

20、将所述运动姿势时序特征图通过非局部神经网络模型以得到运动姿势全局特征图；

21、对所述运动姿势局部特征图和所述运动姿势全局特征图进行融合以得到运动姿势融合特征图；

22、将所述运动姿势融合特征图通过分类器以得到分类结果，所述分类结果用于表示该运动员训练过程中的运动姿势是否正确。

23、与现有技术相比，本技术提供的一种用于视频的智能行为分析系统及方法，其采用基于深度神经网络模型的人工智能技术，获取运动员训练过程中的视频，提取多个关键帧后通过多分支感知域模块提取运动不同尺度和层次的信息，将多个关键帧排列为三维张量后通过三位卷积网络和非局部网络捕捉到运动的动态变化和运动姿势时序特征图中的长程依赖，融合后以得到用于表示该运动员训练过程中的运动姿势是否正确的分类结果。进而能自动化的方式对运动员训练视频进行分析和评估，提供准确、客观和实时的运动姿势正确性判断，以帮助运动员和教练改进训练姿势，提高训练效果。