多语言词权重分析模型的训练方法、装置、设备及介质与流程

文档序号:38446981发布日期:2024-06-24 14:34阅读:来源:国知局

技术特征:

1.一种多语言词权重分析模型的训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述点击数据包括响应信息的被点击次数,所述响应信息与所述请求文本关联;

3.根据权利要求1或2所述的方法,其特征在于,所述多语言词权重分析模型包括编码层和分类层;

4.根据权利要求3所述的方法,其特征在于,所述通过所述编码层对所述训练样本进行编码,获取所述训练样本的词权重向量,包括:

5.根据权利要求4所述的方法,其特征在于,

6.一种多语言词权重分析方法,其特征在于,所述方法包括:

7.一种多语言词权重分析模型的训练装置,其特征在于,所述装置包括:

8.根据权利要求7所述的装置,其特征在于,所述点击数据包括响应信息的被点击次数,所述响应信息与所述请求文本关联;

9.根据权利要求7或8所述的装置,其特征在于,所述训练模块包括编码模块、分类模块和更新模块;

10.根据权利要求9所述的装置,其特征在于,所述编码模块包括第一编码模块、第二编码模块和第三编码模块;

11.根据权利要求10所述的装置,其特征在于,所述第一编码模块包括通用句子编码模块,所述第二编码模块包括位置编码模块,所述第三编码模块包括至少两个自注意力模块。

12.一种多语言词权重分析装置,其特征在于,所述装置包括:

13.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序由所述处理器加载并执行,以使得所述计算机设备实现如权利要求1至5任一所述的多语言词权重分析模型的训练方法,或如权利要求6所述的多语言词权重分析方法。

14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序由处理器加载并执行以实现如权利要求1至5任一所述的多语言词权重分析模型的训练方法,或如权利要求6所述的多语言词权重分析方法。


技术总结
本申请公开了一种多语言词权重分析模型的训练方法、装置、设备及介质,涉及自然语言处理领域。所述方法包括:获取在线搜索系统的多语言日志信息,所述多语言日志信息包括至少两种语言的请求文本和点击数据;基于所述至少两种语言的请求文本和所述点击数据构建训练集,所述训练集包括多个训练样本和所述多个训练样本对应的样本标签,所述多个训练样本对应至少两种语言;基于所述训练集对所述多语言词权重分析模型进行训练。该模型具备至少两种语言的词权重分析能力,有效提升了多语言环境下词权重分析结果的准确度。

技术研发人员:祝大伟
受保护的技术使用者:北京小米移动软件有限公司
技术研发日:
技术公布日:2024/6/23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1