一种模型部署的方法、装置、存储介质及电子设备与流程

文档序号:37159978发布日期:2024-02-26 17:27阅读:来源:国知局

技术特征:

1.一种模型部署的方法,包括:

2.如权利要求1所述的方法,选取部分网络层,作为各待调整层,具体包括:

3.如权利要求1所述的方法,根据每个待调整层对应的参数精度选项,确定各候选调整策略,具体包括:

4.如权利要求1所述的方法,选取部分网络层,作为各待调整层,具体包括:

5.一种模型部署装置,包括:

6.如权利要求5所述的装置,所述选取模块具体用于,针对每个网络层,根据该网络层的输入数据的维度数和/或该网络层的输出数据的维度数,确定该网络层对所述待调整模型的输出结果的影响程度;根据每个网络层对所述待调整模型的输出结果的影响程度,从各网络层中选择部分网络层,作为各待调整层。

7.如权利要求5所述的装置,所述第一确定模块具体用于,根据每个待调整层对应的参数精度选项,确定各初始调整策略;针对每个初始调整策略,根据该初始调整策略中针对每个待调整层所选择的各参数精度选项的时间参数,预测按照该初始调整策略对所述待调整模型进行调整后得到的调整后模型的运行时长,作为该初始调整策略的运行时长,其中,针对每种参数精度选项,若是该参数精度选项对应的参数精度越低,该参数精度选项的时间参数越小;根据每个初始调整策略的运行时长,从各初始调整策略中确定出各候选调整策略。

8.如权利要求5所述的装置,所述选取模块具体用于,针对每轮调整,确定在该轮调整下选择出的部分网络层,作为该轮调整下的各待调整层;

9.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1-4任一项所述的方法。

10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述权利要求1-4任一项所述的方法。


技术总结
本说明书公开了一种模型部署的方法、装置、存储介质及电子设备,在此方法中,目标设备对待调整模型进行多轮调整时,每一轮调整均会从待调整模型所包含网络层中,进行各待调整层的选取,并会根据使用调整策略后的调整后模型的预设运行时长以及调整后模型的预期的输出结果的精确度,来对初始调整策略进行筛选,以得到符合本轮调整的最佳调整策略,每一轮调整均会在上一轮调整后的调整策略进行,以此进行调整策略的逐步优化,并通过最后一轮调整从中确定目标策略,来对待调整模型进行调整,得到目标模型,并对其进行部署。这样一来,在一定程度上减少模型运行时的计算量,并在保证待调整模型输出准确度的前提下,提高运行效率并减少存储资源浪费。

技术研发人员:唐董琦,李若愚
受保护的技术使用者:支付宝(杭州)信息技术有限公司
技术研发日:
技术公布日:2024/2/25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1