预训练模型的训练方法、装置和计算机设备与流程

文档序号:37900222发布日期:2024-05-09 21:43阅读:来源:国知局

技术特征:

1.一种预训练模型的训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述文本特征关键向量包括文本特征键向量和文本特征数值向量,所述对所述视频特征查询向量和所述文本特征关键向量进行融合处理,得到处理的视频特征,包括:

3.根据权利要求1所述的方法,其特征在于,所述视频特征关键向量包括视频特征键向量和视频特征数值向量,所述对所述文本特征查询向量和所述视频特征关键向量进行融合处理,包括:

4.根据权利要求1所述的方法,其特征在于,所述获取样本原始视频及对应的样本掩膜视频,包括:

5.根据权利要求1所述的方法,其特征在于,获取样本原始文本及对应的样本掩膜文本,包括:

6.根据权利要求1所述的方法,其特征在于,将所述样本原始视频输入至视频编码网络,输出得到第一视频特征,包括:

7.根据权利要求6所述的方法,其特征在于,所述对所述处理的视频块进行下采样的特征提取,得到初始视频特征,包括:

8.根据权利要求1所述的方法,其特征在于,将所述样本原始文本输入至文本编码网络,输出得到第一文本特征,包括:

9.根据权利要求1所述的方法,所述基于所述处理的视频特征得到重构视频,包括:

10.根据权利要求1所述的方法,其特征在于,基于所述处理的文本特征得到重构文本,包括:

11.根据权利要求1所述的方法,所述基于重构文本与所述样本原始文本之间的差异以及所述重构视频与所述样本原始视频之间的差异,对初始预训练模型中的网络参数进行迭代调整,包括:

12.根据权利要求11所述的方法,其特征在于,所述基于重构文本与所述样本原始文本之间的差异,确定文本损失,包括:

13.一种预训练模型的训练装置,其特征在于,所述装置包括:

14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。

15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。

16.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。


技术总结
本申请涉及一种预训练模型的训练方法、装置和计算机设备。所述方法包括:获取样本原始视频及对应的样本掩膜视频,样本原始文本及对应的样本掩膜文本;基于注意力机制网络,对所述视频特征查询向量和所述文本特征关键向量进行融合处理,得到处理的视频特征,并基于所述处理的视频特征得到重构视频;对所述文本特征查询向量和所述视频特征关键向量进行融合处理,得到处理的文本特征,并基于所述处理的文本特征得到重构文本;对初始预训练模型中的网络参数进行迭代调整,直至满足预设要求,得到预训练模型。本申请预训练模型具有较强的视频文本的理解力和表达力。

技术研发人员:杨善明
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:
技术公布日:2024/5/8
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1