一种数据处理方法、装置、设备、存储介质及产品与流程

文档序号:35925566发布日期:2023-11-04 15:51阅读:来源:国知局

技术特征:

1.一种数据处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述采用所述训练数据集对所述第二语义理解模型进行训练,包括:

3.如权利要求2所述的方法,其特征在于,所述第一语义理解模型还包括输出层,所述子模型包括所述输出层;

4.如权利要求3所述的方法,其特征在于,所述k个网络层为所述m个网络层中的前k个网络层,且所述k个网络层的排列顺序与所述m个网络层中的前k个网络层的排列顺序匹配;

5.如权利要求3所述的方法,其特征在于,所述方法还包括:

6.如权利要求5所述的方法,其特征在于,与所述目标网络层关联的置信度预测模块的训练过程包括:

7.如权利要求6所述的方法,其特征在于,所述模块训练数据为至少一个样本特征组成的样本特征序列;所述调用与所述目标网络层关联的置信度预测模块对模块训练数据进行置信度分析,得到所述模块训练数据的预测置信度,包括:

8.如权利要求6所述的方法,其特征在于,所述模块训练数据包括调用更新后的第二语义理解模型的输出层,基于第s个网络层输出的待处理数据的特征,得到的输出结果,s为大于k小于m的整数;所述获取所述模块训练数据的校准置信度,包括:

9.如权利要求5所述的方法,其特征在于,所述方法还包括:

10.如权利要求9所述的方法,其特征在于,所述方法还包括:

11.如权利要求1所述的方法,其特征在于,所述采用所述训练数据集对所述子模型进行训练,得到训练后的子模型,包括:

12.如权利要求1所述的方法,其特征在于,所述第一语义理解模型包含原始词表,所述原始词表包括至少一个分词和每个分词的嵌入特征;所述方法还包括:

13.如权利要求12所述的方法,其特征在于,所述方法还包括:

14.如权利要求12所述的方法,其特征在于,所述获取所述训练数据集对应的子词表,包括:

15.如权利要求1所述的方法,其特征在于,所述m个网络层包括至少一个编码网络层,每个编码网络层的输入特征包括第一向量和第二向量;每个编码网络层确定输入特征的注意力的过程包括:

16.如权利要求1所述的方法,其特征在于,所述m个网络层包括至少一个编码网络层;每个编码网络层的残差连接是基于输入特征,以及所述输入特征的非线性变换与第二参数的积计算得到的;所述第二参数是通过所述训练数据集训练得到的。

17.一种数据处理装置,其特征在于,所述数据处理装置包括:

18.一种计算机设备,其特征在于,包括:存储器和处理器;

19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于被处理器加载并执行如权利要求1-16任一项所述的数据处理方法。

20.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序适于被处理器加载并执行如权利要求1-16任一项所述的数据处理方法。


技术总结
本申请实施例公开了一种数据处理方法、装置、设备、存储介质及产品。其中方法包括:获取包括M个网络层的第一语义理解模型及训练数据集,并获取包括M个网络层中的k个网络层的第一语义理解模型的子模型,采用训练数据集对子模型进行训练,得到训练后的子模型;在训练后的子模型中加入M个网络层中除k个网络层外的其他M‑k个网络层,得到第二语义理解模型;采用训练数据集对第二语义理解模型进行训练,训练后的第二语义理解模型用于对自然语言样本进行语义理解处理。可见,通过对第一语义理解模型中的网络层进行分批次的训练,可以减少每次训练时训练数据集的迭代次数,进而提高模型的收敛速度。

技术研发人员:保长存,曹浩宇,陈皇
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:
技术公布日:2024/1/15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1