视频时效模型的训练方法、装置、设备及存储介质与流程

本申请涉及人工智能领域，特别涉及一种视频时效模型的训练方法、装置、设备及存储介质。

背景技术：

1、随着互联网通信技术的快速发展，网络已成为人们获取信息和共享信息的重要途径。服务器可以将各种信息推送至客户端，用户通过客户端可以获取到各种信息。比如，视频应用程序的服务器可以将推荐视频推送至客户端，用户通过客户端点击该视频观看。

2、视频具有时效性，例如，某个新闻事件的视频在一段时间后会失去新闻价值。再如，赛事预告视频在赛事开始后就不在具有时效性。因此，需要对每个视频标注其视频时效，在视频时效过期后，该视频不会再频繁推送给客户端。

3、相关技术中，通过人工标注的方式确定待推送视频的视频时效。然而人工往往带有主观的时效确定标准，会导致标注质量不稳定。

技术实现思路

1、本申请实施例提供了一种视频时效模型的训练方法、装置、设备及存储介质，可以训练视频时效模型，通过使用视频时效模型来确定视频时效，且该视频时效模型的多模态特征提取层和特征融合层分别根据各自的预测结果进行约束训练，提高了模型提取特征的能力，提高了视频时效的识别准确度。所述技术方案如下。

2、根据本申请的一方面，提供了一种视频时效模型的训练方法，所述方法包括：

3、将样本视频的至少两种模态数据分别输入至少两个特征提取层，得到所述与至少两种模态数据对应的至少两个模态特征；

4、将所述至少两个模态特征输入特征融合层，得到融合特征；

5、根据所述至少两个模态特征输出至少两个模态预测结果；以及根据所述融合特征输出融合预测结果；

6、根据所述至少两个模态预测结果与所述样本视频的时效标签的损失，训练所述至少两个特征提取层；以及根据所述融合预测结果与所述样本视频的所述时效标签的损失，训练所述至少两个特征提取层和所述特征融合层。

7、根据本申请的另一方面，提供了一种视频时效模型的训练装置，所述装置包括：

8、特征提取模块，用于将样本视频的至少两种模态数据分别输入至少两个特征提取层，得到所述与至少两种模态数据对应的至少两个模态特征；

9、特征融合模块，用于将所述至少两个模态特征输入特征融合层，得到融合特征；

10、预测模块，用于根据所述至少两个模态特征输出至少两个模态预测结果；以及根据所述融合特征输出融合预测结果；

11、训练模块，用于根据所述至少两个模态预测结果与所述样本视频的时效标签的损失，训练所述至少两个特征提取层；以及根据所述融合预测结果与所述样本视频的所述时效标签的损失，训练所述至少两个特征提取层和所述特征融合层。

12、根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的视频时效模型的训练方法。

13、根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的视频时效模型的训练方法。

14、根据本公开实施例的另一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的视频时效模型的训练方法。

15、本申请实施例提供的技术方案带来的有益效果至少包括：

16、通过训练视频时效模型，使用视频时效模型来对视频的多模态数据进行特征提取，基于多模态特征的融合特征预测视频的视频时效，保证视频时效的标注质量。并且，由于不同模态数据的特征提取层的收敛速度不一致，为了保证每个模态的特征提取层都可以收敛至最佳状态，在训练过程中使用每个特征提取层输出的特征预测得到预测结果，根据每个特征提取层对应的预测结果与真实标签的损失，来训练对应的特征提取层，保证在其中部分特征提取层收敛后，其他特征提取层也具有充足的约束力进行训练，提高特征提取层提取特征的准确度，进而提高视频时效模型对视频时效标注的准确性。

技术特征：

1.一种视频时效模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述至少两个模态预测结果包括：基于视觉特征输出的视觉预测结果，以及，基于文本特征输出的文本预测结果；

3.根据权利要求2所述的方法，其特征在于，所述根据所述视觉预测结果与所述样本视频的所述时效标签的第一损失，训练所述视觉特征提取层，包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求2所述的方法，其特征在于，所述根据所述文本预测结果与所述样本视频的所述时效标签的第二损失，训练所述文本特征提取层，包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1至6任一所述的方法，其特征在于，所述将样本视频的至少两种模态数据分别输入至少两个特征提取层，得到所述至少两种模态数据对应的至少两个模态特征；将所述至少两个模态特征输入特征融合层，得到融合特征；根据所述至少两个模态特征输出至少两个模态预测结果，包括：

8.根据权利要求1至6任一所述的方法，其特征在于，所述至少两种模态数据包括视觉数据和文本数据；所述方法还包括：

9.根据权利要求1至6任一所述的方法，其特征在于，所述样本视频的时效标签是人工标注的时效标签；

10.一种视频时效模型的训练装置，其特征在于，所述装置包括：

11.一种计算机设备，其特征在于，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现如权利要求1至9任一项所述的视频时效模型的训练方法。

12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行，以实现如权利要求1至9任一项所述的视频时效模型的训练方法。

技术总结
本申请公开了一种视频时效模型的训练方法、装置、设备及存储介质，涉及人工智能领域。该方法包括：将样本视频的至少两种模态数据分别输入至少两个特征提取层，得到与至少两种模态数据对应的至少两个模态特征；将至少两个模态特征输入特征融合层，得到融合特征；根据至少两个模态特征输出至少两个模态预测结果；以及根据融合特征输出融合预测结果；根据至少两个模态预测结果与样本视频的时效标签的损失，训练至少两个特征提取层；以及根据融合预测结果与样本视频的时效标签的损失，训练至少两个特征提取层和特征融合层。该方法可以训练视频时效模型，采用视频时效模型来确定视频时效，可以提高视频时效的识别准确度。

技术研发人员：杨善明,李和瀚,司建锋
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15