一种模型参数调整方法与流程

本申请涉及数据处理，尤其涉及一种模型参数调整方法。

背景技术：

1、近年来，随着技术的发展，模型被广泛应用于生产生活中，而模型的参数量十分庞大，通常是十亿甚至百亿级规模，并且针对不同的任务，需要对模型的参数进行不同程度的调整。

2、但是，在实际应用过程中，电子设备对模型的全部参数进行调整的工作量很大，需要较多的计算资源，进而导致模型参数调整的耗时较长，并且占用电子设备过多的计算资源，影响电子设备中的其他进程。

技术实现思路

1、本申请提供了一种模型参数调整方法，用以解决现有技术中对模型参数进行设置时，耗时长、占用计算资源多以及影响电子设备中的其他进程的问题。

2、第一方面，本申请实施例提供了一种模型参数调整方法，所述方法包括：

3、获取预先保存的待调整的模型的状态向量，其中，所述状态向量中每一维参数为所述模型的结构特征或所述模型的性能参数；

4、将所述状态向量输入到预先训练好的策略网络模型，获取所述策略网络模型输出的动作向量，其中，所述动作向量中每一维对应所述模型中的一个参数，每一维的数值标识对应的参数是否需要调整；

5、根据所述动作向量中每一维对应的数值，确定所述模型对应的需要进行调整的目标参数，并对所述目标参数进行调整。

6、第二方面，本申请实施例提供了一种模型参数调整装置，所述装置包括：

7、获取模块，用于获取预先保存的待调整的模型的状态向量，其中，所述状态向量中每一维参数为所述模型的结构特征或所述模型的性能参数；

8、处理模型，用于将所述状态向量输入到预先训练好的策略网络模型，获取所述策略网络模型输出的动作向量，其中，所述动作向量中每一维对应所述模型中的一个参数，每一维的数值标识对应的参数是否需要调整；

9、调整模块，用于根据所述动作向量中每一维对应的数值，确定所述模型对应的需要进行调整的目标参数，并对所述目标参数进行调整。

10、第三方面，本申请实施例还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述所述的模型参数调整方法的步骤。

11、第四方面，本申请实施例还提供了一种计算机存储介质，其存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行如上述所述的模型参数调整方法的步骤。

12、在本申请实施例中，电子设备获取预先保存的待调整的模型的状态向量，其中，状态向量中每一维参数为模型的结构特征或模型的性能参数；将状态向量输入到预先训练好的策略网络模型，获取策略网络模型输出的动作向量，其中，动作向量中每一维对应模型中的一个参数，每一维的数值标识对应的参数是否需要调整；根据动作向量中每一维对应的数值，确定模型对应的需要进行调整的目标参数，并对目标参数进行调整。在本申请实施例中，电子设备根据模型的状态向量以及预先训练好的策略网络模型，确定该模型中需要进行调整的目标参数，并对该目标参数进行调整，避免了对模型中的每个参数进行调整，提高了模型参数调整的效率，减小模型参数调整的计算资源占用量。

技术特征：

1.一种模型参数调整方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述模型的性能参数的确定过程包括：

3.根据权利要求1所述的方法，其特征在于，所述策略网络模型的训练过程包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述奖励值的确定过程包括：

6.根据权利要求5所述的方法，其特征在于，所述根据归一化处理得到的归一化结果，确定所述奖励值包括：

7.根据权利要求1所述的方法，其特征在于，所述结构特征包括网络结构、词表大小、隐空间维度数、注意力层数、网络规模以及是否为编解码器结构中的一项或多项。

8.一种模型参数调整装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-7任一项所述的模型参数调整方法的步骤。

10.一种计算机存储介质，其特征在于，其存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行权利要求1-7任一项所述的模型参数调整方法的步骤。

技术总结
本申请实施例提供了一种模型参数调整方法、装置、设备及介质，用以解决现有技术中对模型参数进行设置时，耗时长、占用计算资源多以及影响电子设备中的其他进程的问题。在本申请实施例中，获取保存的待调整的模型的状态向量，状态向量中每一维参数为模型的结构特征或性能参数；将状态向量输入到预先训练好的策略网络模型，获取策略网络模型输出的动作向量，动作向量中每一维对应模型中的一个参数，每一维的数值标识对应的参数是否需要调整；根据动作向量中每一维对应的数值，确定模型对应的需要进行调整的目标参数，并对目标参数进行调整，避免对模型中的每个参数进行调整，提高模型参数调整的效率，减小模型参数调整的计算资源占用量。

技术研发人员：谢龙飞
受保护的技术使用者：新奥新智科技有限公司
技术研发日：
技术公布日：2024/3/27