基于文本生成模型的优化器量化方法、装置以及控制器与流程

文档序号:37880112发布日期:2024-05-09 21:24阅读:来源:国知局

技术特征:

1.一种基于文本生成模型的优化器量化方法,其特征在于,包括:

2.根据权利要求1所述的基于文本生成模型的优化器量化方法,其特征在于,所述第二位宽的整数数据由以下数据结构定义:

3.根据权利要求1所述的基于文本生成模型的优化器量化方法,其特征在于,所述第二位宽的整数数据由以下数据结构定义:

4.根据权利要求1所述的基于文本生成模型的优化器量化方法,其特征在于,所述得到所述独立块的量化结果包括:

5.根据权利要求4所述的基于文本生成模型的优化器量化方法,其特征在于,在所述存储与所述对应值所对应的索引之后,还包括:

6.根据权利要求1所述的基于文本生成模型的优化器量化方法,其特征在于,还包括:

7.根据权利要求6所述的基于文本生成模型的优化器量化方法,其特征在于,在所述将所述文本输入张量输入至所述嵌入层模块之前,还包括:

8.一种基于文本生成模型的优化器量化装置,其特征在于,包括:

9.一种控制器,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行如权利要求1至7任意一项所述的基于文本生成模型的优化器量化方法。

10.一种计算机可读存储介质,其特征在于:存储有计算机可执行指令,所述计算机可执行指令用于执行如权利要求1至7中任意一项所述的基于文本生成模型的优化器量化方法。


技术总结
本申请涉及人工智能技术领域,特别涉及基于文本生成模型的优化器量化方法、装置以及控制器。优化器量化方法包括读取优化器的文本输入张量,文本输入张量为第一位宽的浮点数据;确定文本输入张量的梯度信息并对梯度信息分块处理,得到多个独立块,根据归一化常数对独立块进行量化处理,得到独立块的量化结果,量化结果为第二位宽的整数数据;将量化结果进行优化预处理,得到优化量化结果,将优化量化结果作为第一优化器状态;对第一优化器状态进行反量化处理,得到第二优化器状态,并更新优化器;对第二优化器状态进行量化处理以回到第一优化器状态,存储独立块的优化量化结果,有利于降低文本生成模型中优化器的显存占用,提高显卡的利用率。

技术研发人员:聂建政,李论通,彭佩玺,田永鸿
受保护的技术使用者:鹏城实验室
技术研发日:
技术公布日:2024/5/8
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1