1.一种基于文本生成模型的优化器量化方法,其特征在于,包括:
2.根据权利要求1所述的基于文本生成模型的优化器量化方法,其特征在于,所述第二位宽的整数数据由以下数据结构定义:
3.根据权利要求1所述的基于文本生成模型的优化器量化方法,其特征在于,所述第二位宽的整数数据由以下数据结构定义:
4.根据权利要求1所述的基于文本生成模型的优化器量化方法,其特征在于,所述得到所述独立块的量化结果包括:
5.根据权利要求4所述的基于文本生成模型的优化器量化方法,其特征在于,在所述存储与所述对应值所对应的索引之后,还包括:
6.根据权利要求1所述的基于文本生成模型的优化器量化方法,其特征在于,还包括:
7.根据权利要求6所述的基于文本生成模型的优化器量化方法,其特征在于,在所述将所述文本输入张量输入至所述嵌入层模块之前,还包括:
8.一种基于文本生成模型的优化器量化装置,其特征在于,包括:
9.一种控制器,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行如权利要求1至7任意一项所述的基于文本生成模型的优化器量化方法。
10.一种计算机可读存储介质,其特征在于:存储有计算机可执行指令,所述计算机可执行指令用于执行如权利要求1至7中任意一项所述的基于文本生成模型的优化器量化方法。