搜索结果分类模型的训练方法、装置、介质及设备与流程

文档序号:29508331发布日期:2022-04-06 19:15阅读:来源:国知局

技术特征:
1.一种搜索结果分类模型的训练方法,其特征在于,所述方法包括:获取训练数据集,所述训练数据集包括搜索查询词以及与所述搜索查询词对应的搜索结果;基于目标文本匹配算法,确定所述搜索查询词和所述搜索结果的相似度;根据预设的分类区间和所述相似度确定样本的分类标签,所述样本包括所述搜索查询词和所述搜索结果;根据所述样本和对应的所述分类标签对预训练后的语言模型进行微调,得到搜索结果分类模型。2.根据权利要求1所述的方法,其特征在于,所述基于目标文本匹配算法,确定所述搜索查询词和所述搜索结果的相似度,包括:对所述搜索查询词进行语素解析,确定所述搜索查询词中的一个或多个目标语素;基于目标文本匹配算法,确定每个所述目标语素与所述搜索结果的目标相似度;确定每个所述目标语素的归一化语素权重;根据每个所述目标语素的归一化语素权重以及每个所述目标语素与所述搜索结果的目标相似度,确定所述搜索查询词与所述搜索结果的相似度。3.根据权利要求2所述的方法,其特征在于,在所述搜索查询词对应多个搜索结果的情况下,所述基于目标文本匹配算法,确定每个所述目标语素与所述搜索结果的目标相似度,包括:确定所述目标语素在多个搜索结果中的词频;确定所述搜索查询词的第一词量和所述搜索结果的标题的第二词量;所述搜索结果是所述多个搜索结果中的任意一个;根据所述词频、所述第一词量和所述第二词量,得到所述目标语素与所述搜索结果的目标相似度。4.根据权利要求3所述的方法,其特征在于,所述确定每个所述目标语素的归一化语素权重,包括:确定每个所述目标语素在所述多个搜索结果中的逆文档频率值;根据每个所述目标语素的逆文档频率值,得到各所述目标语素的逆文档频率值之和;根据每个所述目标语素的逆文档频率值与所述逆文档频率值之和,得到每个所述目标语素的归一化语素权重。5.根据权利要求2所述的方法,其特征在于,所述根据每个所述目标语素的归一化语素权重以及每个所述目标语素与所述搜索结果的目标相似度,确定所述搜索查询词与所述搜索结果的相似度,包括:确定所述一个或多个目标语素在所述搜索查询词中的第一占比;确定所述一个或多个目标语素在所述搜索结果的标题中的第二占比;根据所述第一占比、所述第二占比以及每个所述目标语素对应的目标相似度和归一化语素权重,确定所述搜索查询词与所述搜索结果的相似度。6.根据权利要求1所述的方法,其特征在于,所述根据所述样本和对应的所述分类标签对预训练后的语言模型进行微调,得到搜索结果分类模型,包括:基于所述语言模型中的第一语言子模型对所述样本中的搜索查询词进行特征提取,得
到第一文本特征;基于所述语言模型中的第二语言子模型对所述样本中的搜索查询词进行特征提取,得到第二文本特征;根据所述第一文本特征和所述第二文本特征得到第三文本特征;将所述第三文本特征输入至所述语言模型中的输出层,得到所述第三文本特征对应的预测分类标签;根据所述预测分类标签和对应的所述分类标签对所述语言模型进行微调,得到搜索结果分类模型。7.根据权利要求6所述的方法,其特征在于,文本特征表现为向量,所述根据所述第一文本特征和所述第二文本特征得到第三文本特征,包括:根据所述第一文本特征和所述第二文本特征,得到文本差异特征;将所述第一文本特征、所述第二文本特征和所述文本差异特征进行拼接,得到第三文本特征。8.一种搜索结果分类模型的训练装置,其特征在于,所述装置包括:数据获取模块,用于获取训练数据集,所述训练数据集包括搜索查询词以及与所述搜索查询词对应的搜索结果;相似度计算模块,用于基于目标文本匹配算法,确定所述搜索查询词和所述搜索结果的相似度;分类标签确定模块,用于根据预设的分类区间和所述相似度确定样本的分类标签,所述样本包括所述搜索查询词和所述搜索结果;模型微调模块,用于根据所述样本和对应的所述分类标签对预训练后的语言模型进行微调,得到搜索结果分类模型。9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至7中任一项所述的一种搜索结果分类模型的训练方法。10.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如权利要求1至7中任一项所述的一种搜索结果分类模型的训练方法。11.一种计算机程序产品,所述计算机程序产品包括计算机指令,其特征在于,所述计算机指令被处理器执行时实现如权利要求1至7中任一项所述的一种搜索结果分类模型的训练方法。

技术总结
本申请公开了搜索结果分类模型的训练方法、装置、介质及设备,涉及人工智能领域,该方法包括:获取训练数据集,所述训练数据集包括搜索查询词以及与所述搜索查询词对应的搜索结果;基于目标文本匹配算法,确定所述搜索查询词和所述搜索结果的相似度;根据预设的分类区间和所述相似度确定样本的分类标签,所述样本包括所述搜索查询词和所述搜索结果;根据所述样本和对应的所述分类标签对预训练后的语言模型进行微调,得到搜索结果分类模型。基于本申请提供的方法得到的搜索结果分类模型,可以使获得的搜索结果与搜索查询词在相似度维度上更为匹配,提高搜索速度,满足用户搜索需求。求。求。


技术研发人员:康战辉
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2021.09.16
技术公布日:2022/4/5
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1