1.一种基于学习权重向量的大模型微调方法, 其特征在于,包括:
2.根据权利要求1所述的一种基于学习权重向量的大模型微调方法,其特征在于,对所述transformer模块中的k矩阵增加一个可学习的权重向量,对所述transformer模块中的v矩阵增加一个可学习的权重向量,具体为:
3.根据权利要求1所述的一种基于学习权重向量的大模型微调方法,其特征在于,在所述transformer模块中增加一个可学习的权重向量lff,具体为:
4.根据权利要求1所述的一种基于学习权重向量的大模型微调方法,其特征在于,所述自注意力机制的计算公式为:
5.一种基于学习权重向量的大模型微调装置,其特征在于,包括:
6.根据权利要求5所述的一种基于学习权重向量的大模型微调装置,其特征在于,第一增加单元具体用于:
7.根据权利要求5所述的一种基于学习权重向量的大模型微调装置,其特征在于,第二增加单元具体用于:
8.根据权利要求5所述的一种基于学习权重向量的大模型微调装置,其特征在于,所述自注意力机制的计算公式为:
9.一种基于学习权重向量的大模型微调设备,其特征在于,包括存储器以及处理器,所述存储器内存储有计算机程序,所述计算机程序能够被所述处理器执行,以实现如权利要求1至4任意一项所述的基于学习权重向量的大模型微调方法。
10.一种计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行,以实现如权利要求1至4任意一项所述的基于学习权重向量的大模型微调方法。