一种模型权重参数存储方法、装置、设备及存储介质与流程

本发明涉及机器学习领域，特别涉及一种模型权重参数存储方法、装置、设备及存储介质。

背景技术：

1、目前，基于deep neural network(dnn，深度神经网络)的大模型的人工智能实现方法正在吸引越来越来越多的关注。其通常采用庞大的参数量和样本集以达到state-of-the-art(sota，最先进的)效果，但随之而来的是高计算量和高网络复杂度。而其硬件设备作为网络运作的基石，其结构需要针对具体应用做出调节。

2、一个大模型从规划到落地大致可分为训练和推理两个阶段，两个阶段对模型性能有不同的要求。其中推理阶段对模型精度有所放缓，但作为更贴近使用者的环节，其对芯片成本，功耗，延时等因素提出更高要求。因此，如何对训练完成亟待部署的大模型进行合理压缩，以便之后再部署到推理阶段是当前亟待解决的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种模型权重参数存储方法、装置、设备及存储介质，能够在保证推理精度的同时，有效降低存储成本，并提高运行效率。其具体方案如下：

2、第一方面，本技术提供了一种模型权重参数存储方法，包括：

3、获取与预设大模型对应的待存储权重参数集，并基于预设参数预处理平台对所述待存储权重参数集进行预处理，以得到相应的处理后参数集；

4、通过所述预设参数预处理平台将所述处理后参数集中的各目标子集分割成相应的单元矩阵，并对得到的各个单元矩阵进行计算，以得到与各所述单元矩阵分别对应的目标算术平均值；

5、基于预设判断规则对各所述目标算术平均值分别进行判断，并根据得到的判断结果确定对应的所述单元矩阵的目标矩阵类型；

6、基于所述目标矩阵类型以及预设存储规则将各所述单元矩阵存储至预设单元矩阵字典，以完成与所述待存储权重参数集对应的参数存储操作。

7、可选的，所述基于预设参数预处理平台对所述待存储权重参数集进行预处理，包括：

8、基于预设参数预处理平台对所述待存储权重参数集执行相应的分割操作、概率密度分析操作。

9、可选的，所述基于预设参数预处理平台对所述待存储权重参数集执行相应的分割操作、概率密度分析操作，包括：

10、通过预设参数预处理平台根据参数所在层级对所述待存储权重参数集进行分割，得到相应的若干目标子集；

11、基于预设矩阵处理平台对各所述目标子集分别执行相应的概率密度分析操作，以得到相应的处理后参数集。

12、可选的，所述基于预设矩阵处理平台对各所述目标子集分别执行相应的概率密度分析操作，包括：

13、通过利用预设矩阵处理平台对各所述目标子集分别执行相应的概率密度分析操作，确定与各所述目标子集分别对应的第一目标压缩阈值与第二目标压缩阈值；其中，所述第一目标压缩阈值小于所述第二目标压缩阈值。

14、可选的，所述基于预设判断规则对各所述目标算术平均值分别进行判断，并根据得到的判断结果确定对应的所述单元矩阵的目标矩阵类型，包括：

15、基于与各所述目标子集分别对应的第一目标压缩阈值与第二目标压缩阈值分别对对应的所述目标算术平均值进行判断，得到相应的判断结果

16、若所述判断结果表明所述目标算术平均值不大于对应的所述第一目标压缩阈值，则确定对应的所述目标子集的目标矩阵类型为无关矩阵；

17、若所述判断结果表明所述目标算术平均值大于对应的所述第一目标压缩阈值且不大于对应的所述第二目标压缩阈值，则确定对应的所述目标子集的所述目标矩阵类型为次重要矩阵；

18、若所述判断结果表明所述目标算术平均值大于对应的所述第二目标压缩阈值，则确定对应的所述目标子集的所述目标矩阵类型为重要矩阵。

19、可选的，所述基于所述目标矩阵类型以及预设存储规则将各所述单元矩阵存储至预设单元矩阵字典，包括：

20、针对所述目标矩阵类型为无关矩阵的所述单元矩阵，将所述单元矩阵中的全部元素剪枝为零，并通过生成对应的二元组并将所述二元组存储至预设单元矩阵字典中的预设单元矩阵目录；其中，所述二元组中包括相应的矩阵属性以及表征所述目标矩阵类型的矩阵标签；

21、针对所述目标矩阵类型为次重要矩阵的所述单元矩阵，将所述单元矩阵中的小于相应的第三目标压缩阈值的元素剪枝为零，并通过生成对应的三元组并将所述三元组存储至所述预设单元矩阵目录；其中，所述三元组中包括相应的所述矩阵属性、非零元素的偏移量以及表征所述目标矩阵类型的所述矩阵标签；

22、针对所述目标矩阵类型为重要矩阵的所述单元矩阵，通过生成对应的二元组并将所述二元组直接存储至所述预设单元矩阵目录。

23、可选的，所述基于所述目标矩阵类型以及预设存储规则将各所述单元矩阵存储至预设单元矩阵字典，包括：

24、基于所述目标矩阵类型以及预设存储规则将各所述单元矩阵存储至预设单元矩阵字典中的稀疏存储空间或稠密存储空间。

25、第二方面，本技术提供了一种模型权重参数存储装置，包括：

26、预处理模块，用于获取与预设大模型对应的待存储权重参数集，并基于预设参数预处理平台对所述待存储权重参数集进行预处理，以得到相应的处理后参数集；

27、目标值计算模块，用于通过所述预设参数预处理平台将所述处理后参数集中的各目标子集分割成相应的单元矩阵，并对得到的各个单元矩阵进行计算，以得到与各所述单元矩阵分别对应的目标算术平均值；

28、矩阵类型确定模块，用于基于预设判断规则对各所述目标算术平均值分别进行判断，并根据得到的判断结果确定对应的所述单元矩阵的目标矩阵类型；

29、矩阵存储模块，用于基于所述目标矩阵类型以及预设存储规则将各所述单元矩阵存储至预设单元矩阵字典，以完成与所述待存储权重参数集对应的参数存储操作。

30、第三方面，本技术提供了一种电子设备，包括：

31、存储器，用于保存计算机程序；

32、处理器，用于执行所述计算机程序，以实现前述的模型权重参数存储方法的步骤。

33、第四方面，本技术提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的模型权重参数存储方法的步骤。

34、可见，本技术中，获取与预设大模型对应的待存储权重参数集，并基于预设参数预处理平台对所述待存储权重参数集进行预处理，以得到相应的处理后参数集；通过所述预设参数预处理平台将所述处理后参数集中的各目标子集分割成相应的单元矩阵，并对得到的各个单元矩阵进行计算，以得到与各所述单元矩阵分别对应的目标算术平均值；基于预设判断规则对各所述目标算术平均值分别进行判断，并根据得到的判断结果确定对应的所述单元矩阵的目标矩阵类型；基于所述目标矩阵类型以及预设存储规则将各所述单元矩阵存储至预设单元矩阵字典，以完成与所述待存储权重参数集对应的参数存储操作。也就是说，本技术在获取待存储权重参数集之后，通过对得到相应的各单元矩阵的矩阵类型进行判断，以基于确定的相应的目标矩阵类型对各单元矩阵进行存储，以完成相应的参数存储操作。这样一来，能够在保证推理精度的同时，有效降低存储成本，并提高运行效率。