视频标题的生成方法、装置、设备、存储介质及程序产品与流程

本申请涉及机器学习领域，特别涉及一种视频标题的生成方法、装置、设备、存储介质及程序产品。

背景技术：

1、在信息爆炸的时代，根据视频自动生成文字内容是一个具有吸引力的新技术。该技术生成的文字内容包括标题、视频简介等在视频理解领域中具有较高的应用价值。因为标题与简介等可以概括视频内容，让人们能够快速获取他们的重要信息。具体地，视频文字生成任务是给定一个视频，算法生成一个简短、简洁、易读、具有吸引力的文本。

2、相关技术中，通过构建编码器和解码器形成一个序列到序列的标题生成模型，通过编码器把视频转化为特征向量，用于理解视频信息，通过解码器基于特征向量生成视频标题。

3、然而，视频标题生成的数据往往是多事件的，上述方法提取的是整个视频的视觉表达，对视频中多个事件的理解与区分度较差，标题生成质量较差。

技术实现思路

1、本申请实施例提供了一种视频标题的生成方法、装置、设备、存储介质及程序产品，能够提高生成视频标题的质量。所述技术方案如下。

2、一方面，提供了一种视频标题的生成方法，所述方法包括：

3、获取第一视频，所述第一视频是待生成标题的视频，所述第一视频对应有视频帧序列和语音文本，所述视频帧序列包括所述第一视频中的多个视频帧；

4、通过标题生成模型中的动作预测网络对所述第一视频中的所述视频帧序列进行动作预测，得到至少一个动作预测标签，所述至少一个动作预测标签用于描述所述第一视频中的动作行为；

5、通过所述标题生成模型中的标题预测网络对所述视频帧序列、所述语音文本和所述至少一个动作预测标签进行标题预测，得到视频预测标题，所述动作预测网络和所述标题预测网络是在所述标题生成模型的训练过程中共同训练的网络。

6、另一方面，提供了一种视频标题的生成装置，所述装置包括：

7、视频获取模块，用于获取第一视频，所述第一视频是待生成标题的视频，所述第一视频对应有视频帧序列和语音文本，所述视频帧序列包括所述第一视频中的多个视频帧；

8、动作预测模块，用于通过标题生成模型中的动作预测网络对所述第一视频中的所述视频帧序列进行动作预测，得到至少一个动作预测标签，所述至少一个动作预测标签用于描述所述第一视频中的动作行为；

9、标题预测模块，用于通过所述标题生成模型中的标题预测网络对所述视频帧序列、所述语音文本和所述至少一个动作预测标签进行标题预测，得到视频预测标题，所述动作预测网络和所述标题预测网络是在所述标题生成模型的训练过程中共同训练的网络。

10、另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述的视频标题的生成方法。

11、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的视频标题的生成方法。

12、另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的视频标题的生成方法。

13、本申请实施例提供的技术方案带来的有益效果至少包括：

14、通过获取待生成标题的第一视频，第一视频对应有视频帧序列和语音文本，视频帧序列中包括第一视频中的多个视频帧，通过标题生成模型中的动作预测网络对第一视频中的视频帧序列进行动作预测，得到至少一个动作预测标签，至少一个动作预测标签用于描述第一视频中的动作行为，通过标题生成模型中的标题预测网络对视频帧序列、语音文本和至少一个动作预测标签进行标题预测，得到视频预测标题，其中，动作预测网络和标题预测网络是在标题生成模型的训练过程中共同训练的网络，通过基于视频帧序列得到的动作预测标签指导标题生成模型生成视频预测标题，即，在标题预测过程中增加视频中多个事件分别对应的视觉表达，由于事件往往可以基于动作理解进行区分，因此提高了对视频中多个事件的理解和区分度，进而提高了标题生成质量。

15、另一方面，本申请实施例提供的方法，通过端到端的标题生成模型直接基于第一视频得到视频预测标题，即，基于共同训练得到的动作预测网络和标题预测网络，提升了网络之间的关联性，避免了标题预测过程中多个阶段不同网络之间的信息损失，从而提高了标题生成质量。

技术特征：

1.一种视频标题的生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述标题预测网络中包括编码器和解码器，所述编码器用于对所述第一视频进行特征提取，所述解码器用于对所述第一视频进行标题预测；

3.根据权利要求2所述的方法，其特征在于，所述通过所述解码器对所述视频特征向量和所述至少一个动作预测标签进行标题预测，得到所述视频预测标题，包括：

4.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述视频帧序列，通过标题生成模型中的动作预测网络对所述第一视频进行动作预测，得到至少一个动作预测标签，包括：

5.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述视频帧序列，通过标题生成模型中的动作预测网络对所述第一视频进行动作预测，得到至少一个动作预测标签之前，还包括：

6.根据权利要求5所述的方法，其特征在于，所述通过候选标题生成模型中的候选动作预测网络对所述样本视频帧序列进行动作预测，得到至少一个候选动作标签，包括：

7.根据权利要求6所述的方法，其特征在于，所述将所述多个样本时序动作标签中连续且属于同一动作行为的样本时序动作标签进行合并，得到所述至少一个候选动作标签，包括：

8.根据权利要求6所述的方法，其特征在于，所述基于所述至少一个候选动作标签和所述至少一个参考动作标签之间的差异确定第一预测损失，包括：

9.根据权利要求5所述的方法，其特征在于，所述基于所述样本预测标题和所述参考标题标签之间的差异确定第二预测损失，包括：

10.根据权利要求5所述的方法，其特征在于，所述通过所述候选标题生成模型中的候选标题预测网络对所述样本视频帧序列、所述样本语音文本和所述至少一个候选动作标签进行标题预测，得到样本预测标题，包括：

11.一种视频标题的生成装置，其特征在于，所述装置包括：

12.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行以实现如权利要求1至10任一所述的视频标题的生成方法。

13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段计算机程序，所述至少一段计算机程序由处理器加载并执行以实现如权利要求1至10任一所述的视频标题的生成方法。

14.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至10任一所述的视频标题的生成方法。

技术总结
本申请公开了一种视频标题的生成方法、装置、设备、存储介质及程序产品，涉及机器学习领域。该方法包括：获取第一视频，第一视频对应有视频帧序列和语音文本；通过标题生成模型中的动作预测网络对第一视频中的视频帧序列进行动作预测，得到至少一个动作预测标签，至少一个动作预测标签用于描述第一视频中的动作行为；通过标题生成模型中的标题预测网络对视频帧序列、语音文本和至少一个动作预测标签进行标题预测，得到视频预测标题，动作预测网络和标题预测网络是在标题生成模型的训练过程中共同训练的网络，通过加入动作预测标签指导标题生成模型生成视频预测标题，提高了对第一视频中多个事件的区分度，提升了标题生成质量。

技术研发人员：乔凌峰
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15