视频检测方法、视频检测模型的训练方法及相关装置与流程

本技术涉及人工智能，尤其涉及一种视频检测方法、视频检测模型的训练方法及相关装置。

背景技术：

1、随着视频监控技术以及基于深度学习的图像处理技术的日益成熟，基于图像处理的智能监控技术得到广泛应用，而输入的视频没有劣化，是智能监控技术的必要条件之一。为此，对输入的视频进行劣化检测，十分必要。

2、相关技术中的视频检测方法，主要是利用结构相似度算法衡量视频中各帧图像的结构梯度相似度，以判断各帧图像是否存在模糊，从而评价视频是否劣化。然而，对于在遮挡、视频采集设备抖动等情况下采集的视频，由于这类视频中的图像的结构梯度极为相似，利用结构相似度算法无法准确判断图像是否存在模糊，势必造成最终的视频检测结果不准确。因此，上述方法仅适用于部分场景下采集的视频，检测准确率低，通用性差。

技术实现思路

1、本技术实施例的目的是提供一种视频检测方法、视频检测模型的训练方法及相关装置，用于解决相关技术中的视频检测方法仅适用于部分场景下采集的视频而存在的检测准确率低和通用性差的问题。

2、为了实现上述目的，本技术实施例采用下述技术方案：

3、第一方面，本技术实施例提供一种视频检测方法，包括：

4、基于n种采样频率对目标视频进行采样，得到n个目标视频帧序列，其中，所述n个目标视频帧序列与所述n种采样频率一一对应，每个所述目标视频帧序列包括所述目标视频中的至少一个视频帧，n为大于1的整数；

5、将所述n个目标视频帧序列输入视频检测模型，得到所述目标视频的检测结果；

6、其中，所述视频检测模型包括预测网络和n个分支网络，所述n个分支网络、所述n个目标视频帧序列以及n种视频特征一一对应；每个所述分支网络用于对所对应的目标视频帧序列进行特征提取，得到对应的视频特征；所述预测网络用于基于所述n种视频特征，确定所述目标视频的检测结果。

7、可以看出，本技术实施例中，基于多种采样频率对目标视频进行采样，每种采样频率对应的目标视频帧序列包含的视频帧的稀疏程度不同，隐含的时域信息和空域信息的分布不同，因而得到的多种目标视频帧序列构成了时序金字塔，可以避免所得的目标视频帧序列中漏掉目标视频中的部分视频帧而丢失关键信息；采用包含预测网络和多个分支网络的视频检测模型，且多个分支网络与多种目标视频帧序列一一对应，由每个分支网络对自身对应的目标视频帧序列进行特征提取，得到对应的视频特征，由于每种目标视频帧序列中隐含的信息不同，每个分支网络所提取到的视频特征不同，因而得到的多种视频特征之间相互补充、相得益彰；再由预测网络基于多种视频特征对目标视频进行检测，可以充分利用目标视频的多种关键信息，不仅可以提高检测准确率，还不受视频采集场景的限制，具有较好的通用性。

8、第二方面，本技术实施例提供一种视频检测模型的训练方法，包括：

9、获取样本视频集合和所述样本视频集合中每个样本视频对应的劣化标签；

10、基于n种采样频率对目标样本视频进行采样，得到所述目标样本视频对应的n个样本视频帧序列，其中，所述n个样本视频帧序列与所述n种采样频率一一对应，每个所述样本视频帧序列包括所述目标样本视频中的至少一个视频帧，n为大于1的整数；

11、将所述n个样本视频帧序列输入初始检测模型，得到所述目标样本视频的检测结果，其中，所述初始检测模型包括预测网络和n个分支网络，所述n个分支网络、所述n个样本视频帧序列以及n种视频特征一一对应，每个所述分支网络用于对所对应的样本视频帧序列进行特征提取，得到对应的视频特征，所述预测网络用于基于所述目标样本视频对应的n种视频特征，确定所述目标样本视频的检测结果；

12、基于所述样本视频集合中每个样本视频的检测结果和所述每个样本视频对应的劣化标签，对所述初始检测模型进行迭代训练，得到所述视频检测模型。

13、可以看出，本技术实施例中，基于多种采样频率对样本视频进行采样，每种采样频率对应的样本视频帧序列包含的视频帧的稀疏程度不同，隐含的时域信息和空域信息的分布不同，因而得到的多种样本视频帧序列构成了时序金字塔，可以避免所得的样本视频帧序列中漏掉样本视频中的部分视频帧而丢失关键信息；采用包含预测网络和多个分支网络的初始检测模型，且多个分支网络与多种样本视频帧序列一一对应，由每个分支网络对自身对应的样本视频帧序列进行特征提取，得到对应的视频特征，由于每种样本视频帧序列中隐含的信息不同，每个分支网络所提取到的视频特征不同，因而得到的多种视频特征之间相互补充、相得益彰；再由预测网络基于样本视频的多种视频特征对样本视频进行检测，而后基于样本视频集合中每个样本视频的检测结果和每个样本视频对应的劣化标签，对初始检测模型进行迭代训练，使得初始检测模型能够充分学习不同样本视频的多种关键信息，进而使得训练所得的视频检测模型具有较高的检测准确率和通用性，从而有利于提高基于该视频检测模型的视频检测的准确率和通用性。

14、第三方面，本技术实施例提供一种视频检测装置，包括：

15、第一采样单元，用于基于n种采样频率对目标视频进行采样，得到n个目标视频帧序列，其中，所述n个目标视频帧序列与所述n种采样频率一一对应，每个所述目标视频帧序列包括所述目标视频中的至少一个视频帧，n为大于1的整数；

16、第一检测单元，用于将所述n个目标视频帧序列输入视频检测模型，得到所述目标视频的检测结果；

17、其中，所述视频检测模型包括预测网络和n个分支网络，所述n个分支网络、所述n个目标视频帧序列以及n种视频特征一一对应；每个所述分支网络用于对所对应的目标视频帧序列进行特征提取，得到对应的视频特征；所述预测网络用于基于所述n种视频特征，确定所述目标视频的检测结果。

18、第四方面，本技术实施例提供一种视频检测模型的训练装置，包括：

19、样本获取单元，用于获取样本视频集合和所述样本视频集合中每个样本视频对应的劣化标签；

20、第二采样单元，用于基于n种采样频率对目标样本视频进行采样，得到所述目标样本视频对应的n个样本视频帧序列，其中，所述n个样本视频帧序列与所述n种采样频率一一对应，每个所述样本视频帧序列包括所述目标样本视频中的至少一个视频帧，n为大于1的整数；

21、第二检测单元，用于将所述n个样本视频帧序列输入初始检测模型，得到所述目标样本视频的检测结果，其中，所述初始检测模型包括预测网络和n个分支网络，所述n个分支网络、所述n个样本视频帧序列以及n种视频特征一一对应，每个所述分支网络用于对所对应的样本视频帧序列进行特征提取，得到对应的视频特征，所述预测网络用于基于所述目标样本视频对应的n种视频特征，确定所述目标样本视频的检测结果；

22、训练单元，用于基于所述样本视频集合中每个样本视频的检测结果和所述每个样本视频对应的劣化标签，对所述初始检测模型进行迭代训练，得到所述视频检测模型。

23、第五方面，本技术实施例提供一种电子设备，包括：

24、处理器；

25、用于存储所述处理器可执行指令的存储器；

26、其中，所述处理器被配置为执行所述指令，以实现如第一方面或第二方面所述的方法。

27、第六方面，本技术实施例提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面或第二方面所述的方法。