推荐文本生成模型的训练方法、装置、设备及介质与流程

本申请实施例涉及人工智能，特别涉及一种推荐文本生成模型的训练方法、装置、设备及介质。

背景技术：

1、推荐文本(例如：广告文案)是广告中最重要的元素之一，通过一段有说服力的文字描写，可激发或激励人们采取特定行动，例如：通过具有吸引力的视频标题选择点击播放视频。目前，推荐文本的生成方式主要有两种，第一是有经验的作者根据广告主的需求撰写推荐文本，第二是通过推荐文本生成模型自动生成文案。

2、相关技术中，可通过对多个描述词以及其对应的历史广告文案进行深度学习，对基于长短期记忆(long short-term memory，lstm)的深度神经网络模型进行训练，得到广告文案生成模型。在实际使用时，广告主将描述词输入到广告文案生成模型中，即可产生符合预设语言规则的广告文案。

3、然而，在相关技术中训练得到的广告文案生成模型仅能应用于输入为文本模态数据的文案生成场景，即广告文案生成模型仅可实现的是文本-文本之间的转换关系，则生成的文案较为单一，缺少多样性。

技术实现思路

1、本申请实施例提供了一种推荐文本生成模型的训练方法、装置、设备及介质，能够增加训练得到的推荐文本生成模型生成的推荐文本的多样性，所述技术方案如下：

2、一方面，提供了一种推荐文本生成模型的训练方法，所述方法包括：

3、获取多个样本数据对，所述样本数据对中包括样本推荐对象的关键信息和参考推荐文本，所述参考推荐文本是指对所述样本推荐对象进行推荐的参考描述文本；

4、通过候选文本生成模型对所述样本推荐对象的关键信息进行特征提取，得到所述关键信息对应的多个样本特征表示，所述多个样本特征表示中包括对所述关键信息对应的多个模态分别提取得到的特征表示；

5、对所述多个样本特征表示进行特征融合，得到融合特征表示，并对所述融合特征表示进行推荐文本预测，生成所述样本推荐对象对应的预测推荐文本，所述预测文案是指以所述样本推荐对象为推荐目标预测得到的描述文本；

6、基于所述预测推荐文本和所述参考推荐文本之间的差异，对所述候选文本生成模型进行训练，得到所述推荐文本生成模型，所述推荐文本生成模型用于根据待推荐对象的关键信息生成推荐文本内容。

7、另一方面，提供了一种推荐文本生成模型的训练装置，所述装置包括：

8、数据获取模块，用于获取多个样本数据对，所述样本数据对中包括样本推荐对象的关键信息和参考推荐文本，所述参考推荐文本是指对所述样本推荐对象进行推荐的参考描述文本；

9、特征提取模块，用于通过候选文本生成模型对所述样本推荐对象的关键信息进行特征提取，得到所述关键信息对应的多个样本特征表示，所述多个样本特征表示中包括对所述关键信息对应的多个模态分别提取得到的特征表示；

10、特征融合模块，用于对所述多个样本特征表示进行特征融合，得到融合特征表示，并对所述融合特征表示进行推荐文本预测，生成所述样本推荐对象对应的预测推荐文本，所述预测文案是指以所述样本推荐对象为推荐目标预测得到的描述文本；

11、模型训练模块，用于基于所述预测推荐文本和所述参考推荐文本之间的差异，对所述候选文本生成模型进行训练，得到所述推荐文本生成模型，所述推荐文本生成模型用于根据待推荐对象的关键信息生成推荐文本内容。

12、另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述实施例中任一所述推荐文本生成模型的训练方法。

13、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述实施例中任一所述的推荐文本生成模型的训练方法。

14、另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的推荐文本生成模型的训练方法。

15、本申请实施例提供的技术方案带来的有益效果至少包括：

16、通过候选文本生成模型对样本推荐对象的关键信息进行特征提取，得到关键信息对应的多个模态分别提取的特征表示，然后，对该多个模态分别提取的特征表示进行特征融合，并对融合后的特征表示进行推荐文本预测，从而生成预测推荐文本，最后，根据预测推荐文本和参考推荐文本之间的差异，对候选文本生成模型进行训练，得到推荐文本生成模型。在对候选文本生成模型进行训练的过程中，对输入模型的关键信息进行多模态的特征提取，使得最后融合的特征表示包含有关键信息在多个模态上的表现，多个模态信息之间进行交叉互补，提高了最终训练得到的推荐文本生成模型生成的推荐文本的多样性。

技术特征：

1.一种推荐文本生成模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述多个样本特征表示包括文本特征表示和图像特征表示；

3.根据权利要求2所述的方法，其特征在于，所述基于所述任务标识，通过所述候选推荐文本生成模型提取所述关键信息对应的文本模态的文本特征表示，包括：

4.根据权利要求2所述的方法，其特征在于，所述通过所述候选推荐文本生成模型提取所述关键信息对应的图像模态的图像特征表示，包括：

5.根据权利要求1至4任一所述的方法，其特征在于，所述预测推荐文本由r个预测单词组成，所述候选推荐文本生成模型在一次迭代训练过程中会进行r次预测，所述候选推荐文本生成模型在第j次预测时，得到预测推荐文本中的第j个预测单词，其中，r为正整数，j为小于或者等于r的正整数；

6.根据权利要求5所述的方法，其特征在于，所述候选推荐文本生成模型中包括n个解码器和门控网络，所述n个解码器用于对所述候选推荐文本生成模型的预测结果进行确定，所述门控网络用于确定所述n个解码器的输出结果的权重，n为正整数；

7.根据权利要求1至4任一所述的方法，其特征在于，所述多个样本数据对中包括第一样本数据对，所述第一样本数据对用于执行关键词-图像推荐文本生成任务，所述关键词-图像推荐文本生成任务是指以关键词为描述重点对所述样本推荐对象进行推荐性描述的任务；

8.根据权利要求7所述的方法，其特征在于，所述对所述第一参考推荐文本进行关键词提取，得到第一关键词，包括：

9.根据权利要求8所述的方法，其特征在于，所述根据所述m个候选分词分别对应的词频和逆推荐文本频率，从所述m个候选分词中确定所述第一关键词，包括：

10.根据权利要求9所述的方法，其特征在于，所述基于所述第z个候选分词对应的词频和逆推荐文本频率之间的乘积，确定所述第z个候选分词的关键度参数，包括：

11.根据权利要求1至4任一所述的方法，其特征在于，所述多个样本数据对中包括第二样本数据对，所述第二样本数据对用于执行推荐文本风格转换任务，所述文本风格转换任务是指将输入所述候选推荐文本生成模型的推荐文本改写为指定风格的推荐文本的任务；

12.根据权利要求1至4任一所述的方法，其特征在于，所述多个样本数据对中包括第三样本数据对，所述第三样本数据对用于执行图像描述推荐文本生成任务，所述图像描述推荐文本任务是指以图像显示内容为描述重点对所述样本推荐对象进行推荐性描述的任务；

13.一种推荐文本生成模型的训练装置，其特征在于，所述装置包括：

14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至12任一所述的推荐文本生成模型的训练方法。

15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至12任一所述的推荐文本生成模型的训练方法。

技术总结
本申请公开了一种推荐文本生成模型的训练方法、装置、设备及介质，涉及人工智能技术领域。该方法包括：通过候选文本生成模型对样本推荐对象的关键信息进行特征提取，得到关键信息对应的多个样本特征表示；对多个样本特征表示进行特征融合，得到融合特征表示，并对融合特征表示进行推荐文本预测，生成样本推荐对象对应的预测推荐文本；基于预测推荐文本和参考推荐文本之间的差异，对候选文本生成模型进行训练，得到推荐文本生成模型。在对候选文本生成模型进行训练的过程中，对输入模型的关键信息进行多模态的特征提取，多个模态信息之间进行交叉互补，提高了最终训练得到的推荐文本生成模型生成的推荐文本的多样性。

技术研发人员：丁瑶,姜文浩,李志锋,刘威
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15