语义理解模型的训练方法、语义处理方法、装置及存储介质与流程

文档序号:19947766发布日期:2020-02-18 09:43阅读:来源:国知局

技术特征:

1.一种语义理解模型训练方法,其特征在于,所述方法包括:

获取第一训练样本集合,其中所述第一训练样本集合为通过主动学习进程所获取的带有噪声的语句样本;

对所述第一训练样本集合进行去噪处理,以形成相应的第二训练样本集合;

通过语义理解模型对所述第二训练样本集合进行处理,以确定所述语义理解模型的初始参数;

响应于所述语义理解模型的初始参数,通过所述语义理解模型对所述第二训练样本集合进行处理,确定所述语义理解模型的更新参数;

根据所述语义理解模型的更新参数,通过所述第二训练样本集合对所述语义理解模型的语义表示层网络参数和任务相关输出层网络参数进行迭代更新。

2.根据权利要求1所述的方法,其特征在于,所述对所述第一训练样本集合进行去噪处理,以形成相应的第二训练样本集合,包括:

确定与所述语义理解模型的使用环境相匹配的动态噪声阈值;

根据所述动态噪声阈值对所述第一训练样本集合进行去噪处理,以形成与所述动态噪声阈值相匹配的第二训练样本集合。

3.根据权利要求1所述的方法,其特征在于,所述对所述第一训练样本集合进行去噪处理,以形成相应的第二训练样本集合,包括:

确定与所述语义理解模型相对应的固定噪声阈值;

根据所述固定噪声阈值对所述第一训练样本集合进行去噪处理,以形成与所述固定噪声阈值相匹配的第二训练样本集合。

4.根据权利要求1所述的方法,其特征在于,所述响应于所述语义理解模型的初始参数,通过所述语义理解模型对所述第二训练样本集合进行处理,确定所述语义理解模型的更新参数,包括:

将所述第二训练样本集合中不同语句样本,代入由所述语义理解模型的领域无关检测器网络和领域分类网络所组成的任务相关输出层网络所对应的损失函数;

确定所述损失函数满足相应的收敛条件时对应所述语义理解模型中领域无关检测器网络参数和领域分类网络参数作为所述语义理解模型的更新参数。

5.根据权利要求4所述的方法,其特征在于,所述根据所述语义理解模型的更新参数,通过所述第二训练样本集合对所述语义理解模型的语义表示层网络参数和任务相关输出层网络参数进行迭代更新,包括:

通过所述语义理解模型的更新参数,确定与所述第二训练样本集合相匹配的第二噪声参数,所述第二噪声参数用于表征所述第二训练样本集合中平行语句样本的噪声值;

当所述第二噪声参数到达相应的噪声值阈值时,

根据所述第二噪声参数的噪声值,对所述语义理解模型的语义表示层网络参数和任务相关输出层网络参数进行迭代更新,直至所述语义理解模型的领域无关检测器网络和所述领域分类网络构成的任务相关输出层网络对应的损失函数满足对应的收敛条件。

6.根据权利要求4所述的方法,其特征在于,所述方法还包括:

响应于所述语义理解模型的领域无关检测器网络和领域分类网络所组成的任务相关输出层网络所对应的损失函数,

对所述语义理解模型的语义表示层网络进行参数调整,以实现所述语义表示层网络的参数与所述任务相关输出层网络所对应的损失函数相适配。

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

对所述第二训练样本集合进行负例处理,以形成与所述第二训练样本集合相对应的负例样本集合,其中,所述负例样本集合用于调整所述语义理解模型的领域无关检测器网络参数和领域分类网络参数调整;

根据所述负例样本集合确定相应的双语评估研究值,其中,所述双语评估研究值,用于作为监督参数对所述语义理解模型的语义理解结果进行评价。

8.根据权利要求7所述的方法,其特征在于,所述对所述第一训练样本集合进行负例处理,包括:

将所述语义理解模型的领域分类网络中待输出语句进行随机组合,以形成与所述第一训练样本集合相对应的负例样本集合;或者,

对所述语义理解模型的领域分类网络中待输出语句进行随机删除处理或替换处理以形成与所述第一训练样本集合相对应的负例样本集合。

9.根据权利要求1所述的方法,其特征在于,所述方法还包括:

对数据源中的训练样本进行召回处理;

根据所述召回处理的结果,触发相应的主动学习进程,以实现获取所述数据源中带有噪声的语句样本;

对所述主动学习进程中所获取的带有噪声的语句样本进行标注,以形成所述第一训练样本集合。

10.一种语义理解模型的语义处理方法,其特征在于,所述方法包括:

获取语音指令信息,并将所述语音指令转换为相应的可识别文本信息;

通过所述语义理解模型的语义表示层网络,确定与可识别文本信息所对应的至少一个词语级的隐变量;

通过所述语义理解模型的领域无关检测器网络,根据所述至少一个词语级的隐变量,确定与所述词语级的隐变量相匹配的对象;

通过所述语义理解模型的领域分类网络;根据所述至少一个词语级的隐变量,确定与所述词语级的隐变量相对应的任务领域;

根据与所述词语级的隐变量相匹配的对象,和与所述词语级的隐变量相对应的任务领域,触发相应的业务进程,以实现完成与所述语音指令信息相对应的任务,

其中,所述语义理解模型基于如权利要求1至9任一项所述的方法训练得到。

11.一种语义理解模型的训练装置,其特征在于,所述训练装置包括:

数据传输模块,用于获取第一训练样本集合,其中所述第一训练样本集合为通过主动学习进程所获取的带有噪声的语句样本;

去噪模块,用于对所述第一训练样本集合进行去噪处理,以形成相应的第二训练样本集合;

语义理解模型训练模块,用于通过语义理解模型对所述第二训练样本集合进行处理,以确定所述语义理解模型的初始参数;

所述语义理解模型训练模块,用于响应于所述语义理解模型的初始参数,通过所述语义理解模型对所述第二训练样本集合进行处理,确定所述语义理解模型的更新参数;

所述语义理解模型训练模块,用于根据所述语义理解模型的更新参数,通过所述第二训练样本集合对所述语义理解模型的语义表示层网络参数和任务相关输出层网络参数进行迭代更新。

12.一种语义理解模型处理装置,其特征在于,所述装置包括:

文本转换模块,用于获取语音指令信息,并将所述语音指令转换为相应的可识别文本信息;

语义表示层网络模块,用于通过所述语义理解模型的语义表示层网络,确定与可识别文本信息所对应的至少一个词语级的隐变量;

领域无关检测器网络模块,用于通过所述语义理解模型的领域无关检测器网络,根据所述至少一个词语级的隐变量,确定与所述词语级的隐变量相匹配的对象;

领域分类网络模块,用于通过所述语义理解模型的领域分类网络;根据所述至少一个词语级的隐变量,确定与所述词语级的隐变量相对应的任务领域;

信息处理模块,用于根据与所述词语级的隐变量相匹配的对象,和与所述词语级的隐变量相对应的任务领域,触发相应的业务进程,以实现完成与所述语音指令信息相对应的任务。

13.一种语义理解模型的训练装置,其特征在于,所述训练装置包括:

存储器,用于存储可执行指令;

处理器,用于运行所述存储器存储的可执行指令时,实现权利要求1至9任一项所述的语义理解模型的训练方法。

14.一种融合图像处理装置,其特征在于,所述图像处理装置包括:

存储器,用于存储可执行指令;

处理器,用于运行所述存储器存储的可执行指令时,实现权利要求10所述的语义理解模型的语义处理方法。

15.一种计算机可读存储介质,存储有可执行指令,其特征在于,所述可执行指令被处理器执行时实现权利要求1至9任一项所述的语义理解模型的训练方法,或者实现权利要求10所述的语义理解模型的语义处理方法。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1