文本分类及模型训练的方法、装置、设备以及存储介质与流程

文档序号:27450277发布日期:2021-11-18 00:45阅读:来源:国知局

技术特征:
1.一种文本分类方法,包括:获取待分类文本;将所述待分类文本输入预先训练好的深度学习模型,通过所述深度学习模型得到所述待分类文本的分类结果,所述分类结果包括至少一个类别标签组成的序列,所述深度学习模型是基于多个训练样本分别对应的权重信息训练得到的,针对一训练样本,所述权重信息包括所述训练样本的多个样本标签之间的局部注意力权重和所述训练样本和各个样本标签的互注意力权重。2.根据权利要求1所述的方法,所述通过所述深度学习模型得到所述待分类文本的分类结果,包括:通过所述深度学习模型得到所述待分类文本的多个类别标签和各个类别标签的概率;将所述多个类别标签划分组别;针对其中一个组别,以概率最大化为解码目标,确定所述一个组别中的目标类别标签;针对各个其他组别,计算所述其他组别中各个类别标签与除所述其他组别之外的组别中类别标签的相似度,选择所述其他类别中与除所述其他组别之外的组别中类别标签的小于预设相似度阈值的类别标签,作为所述其他组别的目标类别标签;输出所述一个组别中的目标类别标签和各个所述其他组别中的目标类别标签。3.一种用于文本分类的深度学习模型的训练方法,包括:获取多个训练文本和各个训练文本的样本标签;针对各个训练文本,将所述训练文本和所述样本标签输入初始模型;通过所述初始模型,确定所述训练样本的多个样本标签之间的局部注意力权重和所述训练样本和各个样本标签的互注意力权重;基于各个训练样本的所述局部注意力权重和所述互注意力权重,训练所述初始模型,得到训练好的深度学习模型。4.根据权利要求3所述的方法,其中,所述通过所述初始模型,确定所述训练样本的多个样本标签之间的局部注意力权重和所述训练样本和各个样本标签的互注意力权重,包括:通过所述初始模型分别提取所述训练样本的特征信息和各个所述样本标签的特征信息;对所述训练样本的特征信息和各个所述样本标签的特征信息进行编码,得到编码后训练样本特征信息和各个编码后样本标签特征信息;确定各个编码后样本标签特征信息之间的局部注意力权重和编码后训练样本特征信息分别与各个编码后样本标签特征信息的互注意力权重;所述基于各个训练样本的所述局部注意力权重和所述互注意力权重,训练所述初始模型,得到训练好的深度学习模型,包括:基于各个训练样本的所述局部注意力权重和所述互注意力权重,调节模型参数,当满足预设训练结束条件时的模型参数作为训练好的初始模型的模型参数。5.一种文本分类装置,包括:第一获取模块,用于获取待分类文本;第一输入模块,用于将所述待分类文本输入预先训练好的深度学习模型;
结果获取模块,用于通过所述深度学习模型得到所述待分类文本的分类结果,所述分类结果包括至少一个类别标签组成的序列,所述深度学习模型是基于多个训练样本分别对应的权重信息训练得到的,针对一训练样本,所述权重信息包括所述训练样本的多个样本标签之间的局部注意力权重和所述训练样本和各个样本标签的互注意力权重。6.根据权利要求5所述的装置,所述结果获取模块,具体用于:通过所述深度学习模型得到所述待分类文本的多个类别标签和各个类别标签的概率;将所述多个类别标签划分组别;针对其中一个组别,以概率最大化为解码目标,确定所述一个组别中的目标类别标签;针对各个其他组别,计算所述其他组别中各个类别标签与除所述其他组别之外的组别中类别标签的相似度,选择所述其他类别中与除所述其他组别之外的组别中类别标签的小于预设相似度阈值的类别标签,作为所述其他组别的目标类别标签;输出所述一个组别中的目标类别标签和各个所述其他组别中的目标类别标签。7.一种用于文本分类的深度学习模型的训练装置,包括:第二获取模块,用于获取多个训练文本和各个训练文本的样本标签;第二输入模块,用于针对各个训练文本,将所述训练文本和所述样本标签输入初始模型;确定模块,用于通过所述初始模型,确定所述训练样本的多个样本标签之间的局部注意力权重和所述训练样本和各个样本标签的互注意力权重;训练模块,用于基于各个训练样本的所述局部注意力权重和所述互注意力权重,训练所述初始模型,得到训练好的深度学习模型。8.根据权利要求7所述的装置,其中,所述确定模块,具体用于:通过所述初始模型分别提取所述训练样本的特征信息和各个所述样本标签的特征信息;对所述训练样本的特征信息和各个所述样本标签的特征信息进行编码,得到编码后训练样本特征信息和各个编码后样本标签特征信息,所述编码后训练样本特征信息是编码后的训练样本的特征信息和,所述编码后样本标签特征信息是编码后的样本标签的特征信息;确定各个编码后样本标签特征信息之间的局部注意力权重和编码后训练样本特征信息分别与各个编码后样本标签特征信息的互注意力权重;所述训练模块,具体用于:基于各个训练样本的所述局部注意力权重和所述互注意力权重,调节模型参数,当满足预设训练结束条件时的模型参数作为训练好的初始模型的模型参数。9.一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1

2中任一项所述的方法。10.一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求3

4中任一项所述的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1

2中任一项所述的方法。12.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求3

4中任一项所述的方法。13.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1

2中任一项所述的方法。14.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求3

4中任一项所述的方法。

技术总结
本公开提供了一种文本分类及模型训练的方法、装置、设备以及存储介质,涉及计算机技术领域,尤其涉及智能搜索、大数据及深度学习等领域。具体实现方案为:获取待分类文本;将待分类文本输入预先训练好的深度学习模型,通过深度学习模型得到待分类文本的分类结果,深度学习模型是基于多个训练样本分别对应的权重信息训练得到的,针对一训练样本,权重信息包括训练样本的多个样本标签之间的局部注意力权重和训练样本和各个样本标签的互注意力权重。该深度学习模型是考虑样本标签之间的局部注意力权重和训练样本和各个样本标签的互注意力权重而训练得到的,因此使用该深度学习模型能够提升分类精度。能够提升分类精度。能够提升分类精度。


技术研发人员:余晓峰 郑立涛
受保护的技术使用者:北京百度网讯科技有限公司
技术研发日:2021.08.17
技术公布日:2021/11/17
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1