基于有效运动先验的视频行为关键帧采样方法

本发明属于视频处理，更进一步涉及一种关键帧采样方法，可用于视频审核、智能安防、体育分析场景下对给定视频序列进行关键帧提取和后续行为识别，为违规视频、暴力行为的监测提供重要参考依据。

背景技术：

1、随着大规模数据集和深度神经网络的快速发展，视频动作识别取得了显著的进展。然而，现有的行为识别模型通常规模较大，如果在识别过程中使用视频中的所有帧，所需要的计算资源成本开销巨大，从而难以将其应用于实际生产当中。为了解决这个问题，帧采样为视频行为识别提供了一种有前景的解决方案。

2、现有的动作识别框架中，常用的帧采样方法主要有密集采样和均匀采样。前者以相同的间隔对帧进行采样，而后者将视频均匀地划分为子段，然后从每个子段中选择一个帧。这两种方法由于忽略了每一帧不同的重要性，因而缺乏灵活性。为了克服这种缺陷，一些研究致力于设计基于神经网络的关键帧选择模块。他们将这些采样模块纳入基本的分类模型当中，并通过强化学习等机制优化整个框架。但其缺点是，基于神经网络的方法对训练的数据量和时间消耗要求很高，并且在后续测试过程中不能解析那些包含未知行为的视频。此外，也有研究根据视频中的运动先验信息或者帧间的差异变化，选择视频中的关键信息帧。例如：南京知乎信息科技有限公司在其申请号为201510062263.x的专利申请文献中公开了“一种监控视频中提取关键信息帧的方法”，其通过计算相邻帧之间的亮度差异并设定差异阈值判断关键帧和非关键帧。该方法存在的不足之处是：单纯地将视频中邻帧之间的亮度差异当作了活动对象的运动信息，且适用范围局限于监控视频。而实际上，视频中会因为画面抖动、场景切换和光照抖动等异常事件的存在产生无效的伪运动信息。因此在复杂环境下无法鲁棒地选取视频中的关键运动帧，不能准确描述目标运动的全过程。

3、申请号为cn202310199402.8的专利申请文献中公开了一种“一种监控视频关键帧提取方法、系统、介质、设备及终端”，其对视频帧集合进行采样，并对采样得到的图像帧结果集进行过滤；之后对过滤得到的图像帧集合进行自适应聚类，最后收集聚类结果组成视频摘要。该方法由于在自适应聚类的过程中，需要反复计算部分帧与其他帧的相似性，因此在处理包含大量帧的视频中计算复杂度较高，影响行为识别过程中对输入视频的预处理效率。

技术实现思路

1、本发明的目的在于针对上述现有技术存在的不足，提出一种基于有效运动先验的视频行为关键帧采样方法，以准确描述目标运动的全过程，并减小视频处理的计算复杂度，提高关键帧采样效率。

2、为实现上述目的，本发明的技术思路是：通过获取视频中相邻帧之间的有效局部运动先验信息，并对其进行全局性分析，自适应地选择视频中的关键信息帧子集。

3、根据上述思路，本发明的技术方案如下：

4、(1)计算视频的每一帧与其前一帧之间的运动差异，以表征相邻帧之间的局部运动信息量m；

5、(2)计算视频的每一帧与其前一帧之间的整体相似度s，将其与设定的相似度阈值t进行比较，以检测是否存在场景切换、光照波动中使得帧画面发生剧烈变化的异常事件；

6、若s≥t，则判定为正常活动帧，对其局部运动信息量ma直接执行步骤(3)；

7、反之，则判定为异常事件帧，对其局部运动信息量mb先赋予一个权重系数α进行调整得到m'b，以削弱其局部运动信息量，再执行步骤(3)；

8、(3)对正常活动帧的局部运动信息量ma和调整后的异常事件帧局部运动信息量m'b进行归一化；

9、(4)将归一化后的局部运动信息量沿着时间维度进行逐时间累计，并将累计局部运动信息量均匀地划分成多个子区间，从每一个区间中选定一个关键信息帧构成帧子集，以准确地描述视频行为全过程。

10、本发明与现有的技术相比具有以下优点：

11、第一，本发明通过计算视频的每一帧与其前一帧之间的运动差异，而无需依赖额外的网络模型，即可感知任意视频中包含丰富运动信息的帧，降低了采样视频关键帧的复杂性和对显卡显存资源的需求。

12、第二，本发明通过计算视频的每一帧与其前一帧之间的整体相似度，以检测视频中存在的异常事件帧，并调整这些异常事件帧所对应的运动信息量，可削弱异常事件帧产生的负面影响，提高在复杂场景下关键信息帧选择的鲁棒性。

13、第三，本发明实现过程中对每一帧的处理只涉及计算与其前一帧的运动差异和整体相似度，不需要反复计算与其他帧的运动差异和整体相似度，降低了视频处理的计算复杂度，提高行为识别过程中对输入视频的预处理效率。

技术特征：

1.一种基于有效运动先验的视频行为关键帧采样方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，步骤(1)计算视频的每一帧与其前一帧之间的运动差异，公式如下：

3.根据权利要求1所述的方法，其特征在于，步骤(2)中计算视频的每一帧与其前一帧之间的整体相似度s，实现如下：

4.根据权利要求1所述的方法，其特征在于，步骤(2)中对异常事件帧的局部运动信息量mb赋予一个权重系数α进行调整，公式如下：

5.根据权利要求1所述的方法，其特征在于，步骤(3)对正常活动帧的局部运动信息量ma进行归一化，公式如下：

6.根据权利要求1所述的方法，其特征在于，步骤(3)对调整后的异常事件帧的局部运动信息量m'b进行归一化，公式如下：

7.根据权利要求1所述的方法，其特征在于，步骤(4)将归一化后的局部运动信息量沿着时间维度进行逐时间累计，公式如下：

8.根据权利要求1所述的方法，其特征在于，步骤(4)中将累计局部运动信息量均匀地划分成多个子区间，从每一个区间中选定一个关键信息帧构成帧子集，实现如下：

技术总结
本发明公开了一种基于有效运动先验的视频行为关键帧采样方法，主要解决现有采样方法计算资源需求大、复杂度高、鲁棒性低的问题。其实现方案是：1)提取视频相邻帧之间的局部运动信息；2)检测异常事件帧并调整对应局部运动信息；3)归一化所有帧的局部运动信息，并沿时间维度累计局部运动信息；4)将累计运动信息均匀划分为多个区间；5)从每一个区间中选择一个关键信息帧，用所有区间中选取的关键帧构成帧子集，完成对输入视频的关键帧采样。本发明无需引入额外的网络参数，能从复杂场景视频中选择关键信息帧，为准确识别目标动作类别提供高质量的原始视频子序列数据，可用于视频审核、智能安防、体育动作分析。

技术研发人员：张玉想,陈铮,白静,王艺然,刘学波,焦李成
受保护的技术使用者：西安电子科技大学
技术研发日：
技术公布日：2024/7/15