视频内容检测方法及装置与流程

本申请涉及互联网，具体涉及一种视频内容检测方法及装置。

背景技术：

1、对于视频平台而言，良好的视频内容可以带给用户良好的观看体验，用户也会通过视频平台来观看和分享视频内容。然而，如广告内容泛滥、视频黑屏等可能会降低用户的观看体验，甚至产生负面影响等。对视频内容进行识别、过滤可以改善用户的观看体验。

2、在现有的技术中，可以采用如人工检测、滤除。但人工检测需要耗费大量的时间和人力资源进行检测和审核，成本相对较高。同时在处理大量视频内容时，人工检测的速度和准确性较低，可能无法及时发现检测内容，同时存在一定程度的误判风险。或者采用如基于深度学习对视频内容进行分析，如卷积神经网络(cnn)进行静态的画面检测，但由于静态单帧图像的信息不足可能导致误检或漏检。

技术实现思路

1、鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的视频内容检测方法及装置。

2、根据本申请实施例的第一方面，提供了一种视频内容检测方法，其包括：

3、获取包含当前帧的多帧视频；

4、分别对多帧视频中的各帧图像进行特征采样，将各帧图像的特征融合，得到融合图像；

5、根据融合图像确定当前帧的内容检测结果。

6、可选地，分别对多帧视频中的各帧图像进行特征采样，将各帧图像的特征融合，得到融合图像进一步包括：

7、将多帧视频输入至预设检测模型，利用预设卷积核对多帧视频中的各帧图像进行特征采样，将各帧图像的特征进行融合，得到融合图像；

8、根据融合图像确定当前帧的内容检测结果进一步包括：

9、基于预设检测模型，对融合图像进行分类检测，得到当前帧的内容检测结果。

10、可选地，将多帧视频输入至预设检测模型，利用预设卷积核对多帧视频中的各帧图像进行特征采样，将各帧图像的特征进行融合，得到融合图像进一步包括：

11、将多帧视频输入至预设检测模型，根据多帧视频中当前帧与其他帧的上下文关系，利用预设卷积核分别对多帧视频中的各帧图像进行特征采样，获取各帧图像的特征；其中，为各帧图像中各个像素的预设卷积核设置相同或者不同权重；

12、将各帧图像的特征进行融合，得到融合图像。

13、可选地，将多帧视频输入至预设检测模型具体为：将多帧视频按照预设格式输入至预设检测模型；预设格式包括批量参数、帧数、通道数、帧图像宽度和/或帧图像高度。

14、可选地，获取包含当前帧的多帧视频进一步包括：

15、获取视频中的任一视频帧作为当前帧；

16、根据视频以及当前帧，分别获取当前帧的在先多帧和在后多帧组合得到多帧视频；在先多帧与在后多帧的帧数根据预设帧数确定。

17、可选地，若当前帧为视频首帧；

18、根据视频以及当前帧，分别获取当前帧的在先多帧和在后多帧组合得到多帧视频进一步包括：

19、复制当前帧作为在先多帧，将当前帧、在先多帧和在后多帧组合得到多帧视频；

20、若当前帧为视频末帧；

21、根据视频以及当前帧，分别获取当前帧的在先多帧和在后多帧组合得到多帧视频进一步包括：

22、复制当前帧作为在后多帧，将当前帧、在先多帧和在后多帧组合得到多帧视频。

23、可选地，方法还包括：

24、获取样本视频数据，并对样本视频数据进行预处理；预处理包括：视频数据清洗、视频变换处理和/或视频数据归一化处理；视频变换处理包括旋转、缩放、翻转和/或剪裁；视频数据归一化处理包括对样本视频数据的像素进行归一化处理；

25、将样本视频数据输入至预设检测模型进行训练，得到训练后的预设检测模型；预测检测模型输出的内容检测结果包括预设内容和非预设内容。

26、可选地，预设检测模型包括轻量化网络模型；

27、方法还包括：

28、对预设检测模型进行量化和/或剪枝；量化包括将预设检测模型的参数取值范围和/或预设检测模型计算中的数值范围缩小至预设数值范围；剪枝包括删除训练后的预设检测模型中的符合删除条件的网络层，和/或合并训练后的预设检测模型中的相似的网络层。

29、根据本申请实施例的第二方面，提供了一种视频内容检测装置，其包括：

30、获取模块，适于获取包含当前帧的多帧视频；

31、融合模块，适于分别对多帧视频中的各帧图像进行特征采样，将各帧图像的特征融合，得到融合图像；

32、检测模块，适于根据所述融合图像确定当前帧的内容检测结果。

33、根据本申请实施例的第三方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

34、所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述视频内容检测方法对应的操作。

35、根据本申请实施例的第四方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述视频内容检测方法对应的操作。

36、根据本申请的提供的视频内容检测方法及装置，利用多帧视频进行检测，可以将多帧视频中的各帧图像进行融合，弥补单帧图像的信息不足，基于融合后得到的融合图像，检测确定视频内容，降低计算多帧图像所花费的成本的同时，融合图像具有多帧图像的各个特征，大大提高检测的准确性。

37、上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

技术特征：

1.一种视频内容检测方法，其包括：

2.根据权利要求1所述的方法，其中，所述分别对所述多帧视频中的各帧图像进行特征采样，将各帧图像的特征融合，得到融合图像进一步包括：

3.根据权利要求2所述的方法，其中，所述将所述多帧视频输入至预设检测模型，利用预设卷积核对多帧视频中的各帧图像进行特征采样，将各帧图像的特征进行融合，得到融合图像进一步包括：

4.根据权利要求2或3所述的方法，其中，所述将所述多帧视频输入至预设检测模型具体为：将所述多帧视频按照预设格式输入至预设检测模型；所述预设格式包括批量参数、帧数、通道数、帧图像宽度和/或帧图像高度。

5.根据权利要求1-4中任一项所述的方法，其中，所述获取包含当前帧的多帧视频进一步包括：

6.根据权利要求5所述的方法，其中，若所述当前帧为所述视频首帧；

7.根据权利要求2-6中任一项所述的方法，其中，所述方法还包括：

8.根据权利要求2-7中任一项所述的方法，其中，所述预设检测模型包括轻量化网络模型；

9.一种视频内容检测装置，其包括：

10.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

11.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-8中任一项所述的视频内容检测方法对应的操作。

技术总结
本申请公开了一种视频内容检测方法及装置，方法包括：获取包含当前帧的多帧视频；分别对多帧视频中的各帧图像进行特征采样，将各帧图像的特征融合，得到融合图像；根据融合图像确定当前帧的内容检测结果。利用多帧视频进行检测，可以将多帧视频中的各帧图像进行融合，弥补单帧图像的信息不足，基于融合后得到的融合图像，检测确定视频内容，降低计算多帧图像所花费的成本的同时，融合图像具有多帧图像的各个特征，大大提高检测的准确性。

技术研发人员：李亘杰,张雅君
受保护的技术使用者：上海哔哩哔哩科技有限公司
技术研发日：
技术公布日：2024/1/25