视频检索方法、装置、设备及可读存储介质与流程

本申请实施例涉及多媒体通信，尤其是涉及一种视频检索方法、装置、设备及可读存储介质。

背景技术：

1、随着移动互联网的发展，影视剧和短视频的数量呈现爆发性的增长，尤其是用户自制的视频(user generated content，ugc)，但用户自制的视频通常缺少必要的维度标签，且视频风格多变，难以进行视频检索。

技术实现思路

1、本申请实施例提供一种视频检索方法、装置、设备及可读存储介质，以解决用户自制的视频通常缺少必要的维度标签，且视频风格多变，难以进行视频检索的问题。

2、第一方面，本申请的实施例提供了一种视频检索方法，包括：

3、获取待检索视频的n个音频片段的梅尔频谱数据，n为正整数；

4、根据音频事件检测模型以及所述n个音频片段的梅尔频谱数据，识别所述n个音频片段中的目标音频片段；

5、基于音频指纹特征提取模型以及所述目标音频片段的梅尔频谱数据，获取所述目标音频片段的指纹特征；

6、将所述目标音频片段的指纹特征与音频指纹特征库中的指纹特征进行匹配，得到目标指纹特征；

7、根据目标指纹特征对应的视频信息，获取所述待检索视频的视频信息。

8、可选地，本申请实施例的方法，还包括：

9、根据音频类别，对音频数据集中的音频片段进行划分，得到第一音频片段集合和第二音频片段集合，所述第一音频片段集合中的音频片段的音频类别为第一类别，所述第二音频片段集合中的音频片段的音频类别为第二类别；

10、采用所述第一音频片段集合的梅尔频谱数据以及所述第二音频片段集合的梅尔频谱数据对分类模型进行训练，得到所述音频事件检测模型。

11、本申请实施例中，上述第一类别为音乐，上述第二类别为非音乐。

12、可选地，本申请实施例的方法，还包括：

13、对于训练数据库中的音频文件按照第二预测采样间隔，连续采样预设音频时长的m个音频片段，得到所述音频文件的音频训练片段，m为正整数；

14、根据s个音频文件的音频训练片段的梅尔频谱数据以及所述音频训练片段的特征向量对特征提取模型进行训练，得到所述音频指纹特征提取模型，s为正整数。

15、可选地，所述音频指纹特征库包括多个视频内容对应的音频指纹特征信息，每个视频内容对应的音频指纹特征信息包括至少一个音频指纹特征集合，同一个指纹特征集合内的音频指纹特征的相关值大于或等于预设相关阈值。

16、可选地，所述将所述目标音频片段的指纹特征与音频指纹特征库中的指纹特征进行匹配，得到目标指纹特征，包括：

17、将所述目标音频片段的指纹特征与音频指纹特征库中的指纹特征进行匹配，获取与所述目标音频片段的指纹特征匹配的目标音频指纹特征集合，其中，所述目标音频指纹特征集合中的至少一个音频指纹特征与所述目标音频片段的指纹特征的匹配度大于或等于第一预设匹配阈值；

18、根据所述目标音频指纹特征集合的数量，获取所述目标指纹特征。

19、可选地，所述根据所述目标音频指纹特征集合的数量，获取所述目标指纹特征，包括：

20、在所述目标音频指纹特征集合的数量为一个的情况下，将所述目标音频片段的指纹特征与所述目标音频指纹特征集合进行匹配，获取第一音频指纹特征，所述第一音频指纹特征与所述目标音频片段的指纹特征的匹配度大于或等于第二预设匹配阈值，所述第二预设匹配阈值小于所述第一预设匹配阈值；

21、将所述第一音频指纹特征确定为所述目标指纹特征。

22、可选地，所述根据所述目标音频指纹特征集合的数量，获取所述目标指纹特征，包括：

23、在所述目标音频指纹特征集合的数量为至少两个的情况下，获取各个目标音频特征指纹集合中的第二音频指纹特征的目标数量，所述第二音频指纹特征与所述目标音频片段的指纹特征的匹配度大于或等于所述第一预设匹配阈值；

24、根据最大的目标数量对应的目标音频特征指纹集合，得到所述目标指纹特征。

25、可选地，本申请实施例的方法，还包括：

26、对视频内容对应的音频内容，按照第三预测采样间隔连续采样预设音频时长的p个音频片段，p大于1，且p为正整数；

27、根据所述p个音频片段，获取多个连续音乐片段的音频指纹特征，每个所述连续音乐片段包括多个在时间上连续且音频类别为音乐的音频片段；

28、将音频指纹特征的相关值大于或等于预设相关阈值的多个连续音乐片段划分为一个音频指纹特征集合，得到与所述视频内容对应的至少一个音频指纹特征集合。

29、本申请实施例还提供了一种视频检索装置，包括：

30、第一获取模块，用于获取待检索视频的n个音频片段的梅尔频谱数据，n为正整数；

31、识别模块，用于根据音频事件检测模型以及所述n个音频片段的梅尔频谱数据，识别所述出所述n个音频片段中的目标音频片段；

32、第二获取模块，用于基于音频指纹特征提取模型以及所述目标音频片段的梅尔频谱数据，获取所述目标音频片段的指纹特征；

33、第三获取模块，用于将所述目标音频片段的指纹特征与音频指纹特征库中的指纹特征进行匹配，得到目标指纹特征；

34、第四获取模块，用于根据目标指纹特征对应的视频信息，获取所述待检索视频的视频信息。

35、本申请实施例还提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的视频检索方法的步骤。

36、本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述计算机程序被所述处理器执行时实现如上所述的视频检索方法的步骤。

37、本申请实施例中，获取待检索视频的n个音频片段的梅尔频谱数据；根据音频事件检测模型以及所述n个音频片段的梅尔频谱数据，识别所述n个音频片段中的目标音频片段；基于音频指纹特征提取模型以及所述目标音频片段的梅尔频谱数据，获取目标音频片段的指纹特征；将所述目标音频片段的指纹特征与音频指纹特征库中的指纹特征进行匹配，得到目标指纹特征；根据目标指纹特征对应的视频信息，获取所述待检索视频的视频信息。上述方案通过提取目标音频片段的指纹特征能够方便快捷地匹配待检索视频。

技术特征：

1.一种视频检索方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求1所述的方法，其特征在于，还包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述目标音频片段的指纹特征与音频指纹特征库中的指纹特征进行匹配，得到目标指纹特征，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标音频指纹特征集合的数量，获取所述目标指纹特征，包括：

6.根据权利要求4所述的方法，其特征在于，所述根据所述目标音频指纹特征集合的数量，获取所述目标指纹特征，包括：

7.根据权利要求4至6任一项所述的方法，其特征在于，还包括：

8.一种视频检索装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的视频检索方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的视频检索方法的步骤。

技术总结
本申请提供一种视频检索方法、装置、设备及可读存储介质，其方法包括获取待检索视频的N个音频片段的梅尔频谱数据；根据音频事件检测模型以及N个音频片段的梅尔频谱数据，识别N个音频片段中的目标音频片段；基于音频指纹特征提取模型以及目标音频片段的梅尔频谱数据，获取目标音频片段的指纹特征；将所述目标音频片段的指纹特征与音频指纹特征库中的指纹特征进行匹配，得到目标指纹特征；根据目标指纹特征对应的视频信息，获取所述待检索视频的视频信息。

技术研发人员：周效军,程星星
受保护的技术使用者：咪咕文化科技有限公司
技术研发日：
技术公布日：2024/1/15