基于增量学习的评论生成方法、系统、设备及存储介质与流程

文档序号:29803672发布日期:2022-04-23 20:58阅读:来源:国知局

技术特征:
1.一种基于增量学习的评论生成方法,其特征在于,所述基于增量学习的评论生成方法包括:获取用户输入的媒体信息;将所述媒体信息输入至第一语言模型中,对所述媒体信息进行评论生成处理,得到所述媒体信息的评论集合,其中,所述第一语言模型是先以预训练任务对预设的第二语言模型进行训练得到第三语言模型后,再基于第一训练样本,通过序列到序列的训练方法对所述第三语言模型进行训练得到的;其中,所述第一语言模型基于增量学习进行更新。2.如权利要求1所述的基于增量学习的评论生成方法,其特征在于,所述第一语言模型基于增量学习进行更新的步骤,包括:获取第二训练样本;确定所述第一训练样本中的第一代表性样本以及所述第二训练样本中的第二代表性样本;基于所述第一代表性样本和所述第二代表性样本,更新所述第一语言模型。3.如权利要求2所述的基于增量学习的评论生成方法,其特征在于,所述确定所述第一训练样本及所述第二训练样本中代表性样本的步骤,包括:分别对所述第一训练样本及所述第二训练样本施加扰动,获取所述第一训练样本及所述第二训练样本的预测值变化;基于所述预测值变化,获取样本在特征空间的相对位置;基于所述样本在特征空间的相对位置,确定所述第一训练样本及所述第二训练样本中代表性样本。4.如权利要求2所述的基于增量学习的评论生成方法,其特征在于,所述基于所述第一代表性样本和所述第二代表性样本,更新所述第一语言模型的步骤,包括:合并所述第一代表性样本和所述第二代表性样本,得到新训练样本;基于所述新训练样本,利用所述序列到序列的训练方法对所述第一语言模型进行训练,得到更新后的所述第一语言模型。5.如权利要求1所述的基于增量学习的评论生成方法,其特征在于,所述获取用户输入的媒体信息的步骤之前,所述方法包括:获取所述预训练样本、transformer模型块、所述第一训练样本和mask矩阵;基于所述预训练样本与transformer模型块,对所述预设的第二语言模型进行训练,得到所述第三语言模型;基于所述第一训练样本和mask矩阵,对所述第三语言模型进行训练得到所述第一语言模型。6.如权利要求5所述的基于增量学习的评论生成方法,其特征在于,所述基于所述mask矩阵,对所述第三语言模型进行训练得到所述第一语言模型的步骤,包括:基于所述第一训练样本和mask矩阵,引入temperature参数,利用topk和topp相结合的采样方法对所述第三语言模型进行训练,得到所述第一语言模型。7.如权利要求5所述的基于增量学习的评论生成方法,其特征在于,所述获取所述第一训练样本的步骤,包括:
获取媒体数据和评论集合;将所述媒体数据和评论集合进行信息分类,获取所述信息分类标签;对所述媒体数据和评论集合进行所述信息分类标签的标记,得到所述第一训练样本。8.一种基于增量学习的评论生成系统,其特征在于,所述基于增量学习的评论生成系统包括:获取模块,用于获取用户输入的媒体信息;处理模块,用于将所述媒体信息输入至第一语言模型中,对所述媒体信息进行评论生成处理,得到所述媒体信息的评论集合,其中,所述第一语言模型是先以预训练任务对预设的第二语言模型进行训练得到第三语言模型后,再基于第一训练样本,通过序列到序列的训练方法对所述第三语言模型进行训练得到的;更新模块,用于所述第一语言模型基于增量学习进行更新。9.一种基于增量学习的评论生成设备,其特征在于,所述基于增量学习的评论生成设备包括:存储器、处理器以及存储在存储器上的用于实现所述基于增量学习的评论生成方法的程序,所述存储器用于存储实现基于增量学习的评论生成方法的程序;所述处理器用于执行实现所述基于增量学习的评论生成方法的程序,以实现如权利要求1至7中任一项所述基于增量学习的评论生成方法的步骤。10.一种存储介质,其特征在于,所述存储介质上存储有实现基于增量学习的评论生成方法的程序,所述实现基于增量学习的评论生成方法的程序被处理器执行以实现如权利要求1至7中任一项所述基于增量学习的评论生成方法的步骤。

技术总结
本申请公开了一种基于增量学习的评论生成方法、系统、设备及存储介质,所述基于增量学习的评论生成方法包括:获取用户输入的媒体信息;将所述媒体信息输入至第一语言模型中,对所述媒体信息进行评论生成处理,得到所述媒体信息的评论集合,其中,所述第一语言模型是先以预训练任务对预设的第二语言模型进行训练得到第三语言模型后,再基于第一训练样本,通过序列到序列的训练方法对所述第三语言模型进行训练得到的;其中,所述第一语言模型基于增量学习进行更新。本申请涉及自然语言生成领域,搭建预训练语言模型,引入增量学习对模型进行更新,在保持模型评论生成任务准确性的同时适应新的媒体信息评论生成任务。时适应新的媒体信息评论生成任务。时适应新的媒体信息评论生成任务。


技术研发人员:毛震东 张勇东 韩靖轩 张立成 顾培健
受保护的技术使用者:合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)
技术研发日:2022.03.24
技术公布日:2022/4/22
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1