代码大模型的训练方法、装置、计算机设备和存储介质与流程

文档序号:40236900发布日期:2024-12-06 16:59阅读:来源:国知局

技术特征:

1.一种代码大模型的训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取样本指令数据集,包括:

3.根据权利要求2所述的方法,其特征在于,所述基准代码大模型包括指令数据集生成模型和指令数据集过滤模型;

4.根据权利要求3所述的方法,其特征在于,所述生成样本指令数据集,包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述指令数据生成所述样本指令数据集,包括:

6.根据权利要求1所述的方法,其特征在于,所述根据各类型所述预测代码数据和对应类型所述实际代码数据之间的差异,对对应类型的所述动态参数进行参数调整,包括:

7.根据权利要求6所述的方法,其特征在于,所述根据各类型所述任务损失值确定待调整对应类型的动态参数,对所述待调整对应类型的动态参数进行参数调整,包括:

8.一种代码大模型的训练装置,其特征在于,所述装置包括:

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。


技术总结
本申请涉及一种代码大模型的训练方法、装置、计算机设备和存储介质。所述方法包括:样本指令数据集中包含多种类型的样本指令数据,各类型之间存在类型重叠,每种类型的样本指令数据基于对应类型的实际代码数据得到,服务器获取上述样本指令数据集,并将其输入待训练的代码大模型中,得到各类型预测代码数据,确定待训练的代码大模型中针对各类型样本指令数据预设的动态参数,并根据各类型预测代码数据和对应类型实际代码数据之间的差异,对对应类型的动态参数进行参数调整,以减少不同类型样本指令数据对应的动态参数的调整干扰,得到训练完成的代码大模型。采用本方法能够减少各类型样本指令数据之间的调整干扰,提高模型的输出效果。

技术研发人员:冯勤宇,李汉巨,林全郴,陈柔伊,李晋伟,江佳佳,钟佳益,林子毅,王品昭,周团结
受保护的技术使用者:南方电网人工智能科技有限公司
技术研发日:
技术公布日:2024/12/5
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1