一种模型部署的方法、装置、存储介质及电子设备与流程

本说明书涉及计算机和人工智能领域，尤其涉及一种模型部署的方法、装置、存储介质及电子设备。

背景技术：

1、随着人工智能的不断发展，人工智能模型目前已经应用在诸多领域中，如信息推荐、个人信息及数据的保护，智能驾驶等，而随着人工智能的性能的不断提升以及人工智能算法的不断优化，人工智能模型在各领域中的应用效果也将不断增强。

2、对于目前的诸多业务场景来说，通常需要人工智能模型能够快速响应，并且给出较为精准的输出结果，但是，如何能够兼顾人工智能模型的运行速度以及人工智能模型输出结果的准确性，则是目前一个亟待解决的技术难题。

技术实现思路

1、本说明书实施例提供一种模型部署的方法、装置、存储介质及电子设备，以部分解决上述现有技术存在的问题。

2、本说明书实施例采用下述技术方案：

3、本说明书提供的一种模型部署的方法，包括：

4、目标设备获取待调整模型的模型参数，并根据所述模型参数在本地部署所述待调整模型；

5、接收针对所述待调整模型的调整指令，以根据所述调整指令，确定所述待调整模型中所包含的网络层，并选取部分网络层，作为各待调整层；

6、根据每个待调整层对应的各参数精度选项，确定各候选调整策略；

7、针对每个候选调整策略，按照该候选调整策略，对所述待调整模型中的各待调整层的参数精度进行调整，得到该候选调整策略下对应的调整后模型，并将预设的样本数据输入到该候选调整策略下对应的调整后模型中，得到输出结果，以根据所述输出结果与所述样本数据对应的标准结果之间的偏差，确定该候选调整策略下对应的调整后模型的精确度；

8、根据每个候选调整策略下对应的调整后模型的精确度以及确定出的按照每个候选调整策略对所述待调整模型进行调整后得到的调整后模型的运行时长，从各候选调整策略中选取目标策略，并按照所述目标策略，调整所述待调整模型中所述目标策略针对的待调整层的参数精度，得到目标模型，以将所述目标模型进行部署。

9、可选地，选取部分网络层，作为各待调整层，具体包括：

10、针对每个网络层，根据该网络层的输入数据的维度数和/或该网络层的输出数据的维度数，确定该网络层对所述待调整模型的输出结果的影响程度；

11、根据每个网络层对所述待调整模型的输出结果的影响程度，从各网络层中选择部分网络层，作为各待调整层。

12、可选地，根据每个待调整层对应的参数精度选项，确定各候选调整策略，具体包括：

13、根据每个待调整层对应的参数精度选项，确定各初始调整策略；

14、针对每个初始调整策略，根据该初始调整策略中针对每个待调整层所选择的各参数精度选项的时间参数，预测按照该初始调整策略对所述待调整模型进行调整后得到的调整后模型的运行时长，作为该初始调整策略的运行时长，其中，针对每种参数精度选项，若是该参数精度选项对应的参数精度越低，该参数精度选项的时间参数越小；

15、根据每个初始调整策略的运行时长，从各初始调整策略中确定出各候选调整策略。

16、可选地，选取部分网络层，作为各待调整层，具体包括：

17、针对每轮调整，确定在该轮调整下选择出的部分网络层，作为该轮调整下的各待调整层；

18、根据每个待调整层对应的各参数精度选项，确定各候选调整策略，具体包括：

19、根据该轮调整下的每个待调整层对应的各参数精度选项，确定该轮调整下所使用的各候选调整策略；

20、根据每个候选调整策略下对应的调整后模型的精确度以及确定出的按照每个候选调整策略对所述待调整模型进行调整后得到的调整后模型的运行时长，从各候选调整策略中选取目标策略，具体包括：

21、根据每轮调整下的各候选调整策略对应的调整后模型的精确度以及确定出的按照每个调整下的各候选调整策略对所述待调整模型进行调整后得到的调整后模型的运行时长，从各轮调整下的各候选调整策略中选取目标策略。

22、本说明书提供的一种模型部署装置，包括：

23、获取模块，用于目标设备获取待调整模型的模型参数，并根据所述模型参数在本地部署所述待调整模型；

24、选取模块，用于接收针对所述待调整模型的调整指令，以根据所述调整指令，确定所述待调整模型中所包含的网络层，并选取部分网络层，作为各待调整层；

25、第一确定模块，用于根据每个待调整层对应的各参数精度选项，确定各候选调整策略；

26、第二确定模块，用于针对每个候选调整策略，按照该候选调整策略，对所述待调整模型中的各待调整层的参数精度进行调整，得到该候选调整策略下对应的调整后模型，并将预设的样本数据输入到该候选调整策略下对应的调整后模型中，得到输出结果，以根据所述输出结果与所述样本数据对应的标准结果之间的偏差，确定该候选调整策略下对应的调整后模型的精确度；

27、部署模块，用于根据每个候选调整策略下对应的调整后模型的精确度以及确定出的按照每个候选调整策略对所述待调整模型进行调整后得到的调整后模型的运行时长，从各候选调整策略中选取目标策略，并按照所述目标策略，调整所述待调整模型中所述目标策略针对的待调整层的参数精度，得到目标模型，以将所述目标模型进行部署。

28、可选地，所述选取模块具体用于，针对每个网络层，根据该网络层的输入数据的维度数和/或该网络层的输出数据的维度数，确定该网络层对所述待调整模型的输出结果的影响程度；根据每个网络层对所述待调整模型的输出结果的影响程度，从各网络层中选择部分网络层，作为各待调整层。

29、可选地，所述第一确定模块具体用于，根据每个待调整层对应的参数精度选项，确定各初始调整策略；针对每个初始调整策略，根据该初始调整策略中针对每个待调整层所选择的各参数精度选项的时间参数，预测按照该初始调整策略对所述待调整模型进行调整后得到的调整后模型的运行时长，作为该初始调整策略的运行时长，其中，针对每种参数精度选项，若是该参数精度选项对应的参数精度越低，该参数精度选项的时间参数越小；根据每个初始调整策略的运行时长，从各初始调整策略中确定出各候选调整策略。

30、可选地，所述选取模块具体用于，针对每轮调整，确定在该轮调整下选择出的部分网络层，作为该轮调整下的各待调整层；

31、所述第一确定模块具体用于，根据该轮调整下的每个待调整层对应的各参数精度选项，确定该轮调整下所使用的各候选调整策略；

32、所述部署模块具体用于，根据每轮调整下的各候选调整策略对应的调整后模型的精确度以及确定出的按照每个调整下的各候选调整策略对所述待调整模型进行调整后得到的调整后模型的运行时长，从各轮调整下的各候选调整策略中选取目标策略。

33、本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种模型部署的方法。

34、本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的一种模型部署的方法。

35、本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：

36、本说明书实施例中目标设备会根据每个网络层对待调整模型的输出结果的影响程度，从各网络层中选择部分网络层作为各待调整层，根据每个待调整层对应的各精度选项，得到候选的调整策略，并依据每个候选的调整策略中包含的精度选项组合，对待调整模型中的各待调整层的参数精度进行调整，得到对应的调整后模型，进而，使用预设的样本数据输入到调整后模型以及待调整模型中，以确定该候选调整策略下对应的调整后模型的精确度，后续，通过每个候选策略对应的调整后模型的精确度以及调整后模型的运行时长，对各候选调整策略进行筛选，通过多轮调整，得到每轮调整下的符合条件的若干个调整策略，从中选出目标策略后，根据目标策略对待调整模型进行参数精度调整，得到目标模型，最终进行模型部署。

37、在此方法中，通过对待优化模型进行多轮调整，能够得到每轮调整下的符合运行时间和精确度的调整策略，且每轮调整均是在上一轮调整的基础上进行的，这样不仅可以保证进行调整的轮次越多，最终得到的调整策略优化效果越好，且能够在保证模型精确度的前提下，进一步对模型进行参数精度优化，减少计算量，大大提高了模型的运行速度并减少了存储资源浪费。