一种基于模型迁移性评估的任务执行方法、装置及设备与流程

本说明书涉及计算机，尤其涉及一种基于模型迁移性评估的任务执行方法、装置及设备。

背景技术：

1、迁移学习是指利用已有知识和新问题之间的相关性，将已有知识应用于解决新问题的过程。这种方法具有多种优势，包括加速训练、提升泛化能力和降低标注成本。由于其具有上述的优势，近年来迁移学习在深度学习的各项任务中取得了越来越广泛的应用。迁移学习主要包括两种类别：微调模型和线性探测。微调模型是指根据新任务的要求，调整整个模型的参数。而线性探测则是通过学习与任务相关的特定层，来调整模型的输出。

2、随着迁移学习领域的不断发展，一个问题随之涌现，即如何衡量模型在不同业务场景之间的迁移能力。然而，现有对模型迁移性能进行评估的方法的评估周期较长，可信度较低，导致难以依据评估结果来执行下游任务。

3、因此，如何提高对模型迁移能力进行评估的评估效率以及评估结果的准确性，是一个亟待解决的问题。

技术实现思路

1、本说明书提供一种基于模型迁移性评估的任务执行方法、装置及设备，以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供了一种基于模型迁移性评估的任务执行方法，包括：

4、接收针对待评估模型的迁移性能的评估指令，并确定所述待评估模型对应的初始参数；

5、获取目标业务场景下的目标数据以及对所述待评估模型进行预训练时所使用的源样本数据；

6、将所述目标数据以及所述源样本数据分别输入所述待评估模型，基于所述初始参数，根据所述目标数据确定所述待评估模型的特征提取网络对应的主梯度期望值，作为第一主梯度期望值，以及，根据所述源样本数据确定所述特征提取网络对应的主梯度期望值，作为第二主梯度期望值；

7、根据所述第一主梯度期望值以及所述第二主梯度期望值，确定所述待评估模型对应迁移性能的评估值，并根据所述评估值执行任务。

8、可选地，基于所述初始参数，根据所述目标数据确定所述待评估模型的特征提取网络对应的主梯度期望值，作为第一主梯度期望值，以及，根据所述源样本数据确定所述特征提取网络对应的主梯度期望值，作为第二主梯度期望值，具体包括：

9、确定所述特征提取网络在所述初始参数下提取到的所述目标数据对应的第一特征，以及所述特征提取网络在所述初始参数下提取到的所述源样本数据对应的第二特征；

10、根据所述第一特征确定所述第一主梯度期望值，以及，根据所述第二特征确定所述第二主梯度期望值。

11、可选地，根据所述目标数据确定所述待评估模型的特征提取网络对应的主梯度期望值之前，所述方法还包括：

12、确定所述特征提取网络在最优参数下的损失值与所述最优参数和所述初始参数之间的相关距离、所述特征提取网络在所述初始参数下的损失值之间的第一对应关系；

13、根据所述第一对应关系，确定所述特征提取网络在所述最优参数下的损失值为零的情况下，所述相关距离与所述初始参数下的损失值对应的一阶偏导数之间的第二对应关系；

14、根据所述第一主梯度期望值以及所述第二主梯度期望值，确定所述待评估模型对应迁移性能的评估值，具体包括：

15、基于所述第二对应关系，根据所述第一主梯度期望值以及所述第二主梯度期望值确定所述评估值。

16、可选地，所述相关距离越大，所述初始参数下的损失值对应的一阶偏导数越小。

17、可选地，根据所述评估值执行任务，具体包括：

18、获取每个待评估模型对应迁移性能的评估值；

19、根据每个待评估模型对应的评估值，在各待评估模型中选取出目标模型，并将所述目标模型迁移至所述目标业务场景，得到迁移后模型；

20、通过所述迁移后模型执行所述目标业务场景下的任务。

21、可选地，所述方法还包括：

22、分别将所述源样本数据和所述目标数据划分为若干个子集；

23、通过所述源样本数据下的子集以及所述目标数据下的子集确定执行所述评估指令时的稳定性指标、可靠性指标以及效率指标。

24、可选地，通过所述源样本数据下的子集以及所述目标数据下的子集确定执行所述评估指令时的稳定性指标、可靠性指标以及效率指标，具体包括：

25、按照预设概率分别在所述源样本数据的每个类中选取数据，作为所述源样本数据对应的目标子集，以及，按照所述预设概率分别在所述目标数据的每个类中选取数据，作为所述目标数据对应的目标子集；

26、通过所述源样本数据对应的目标子集以及所述目标数据对应的目标子集确定执行所述评估指令时的稳定性指标、可靠性指标以及效率指标。

27、本说明书提供一种基于模型迁移性评估的任务执行装置，包括：

28、接收模块，接收针对待评估模型的迁移性能的评估指令，并确定所述待评估模型对应的初始参数；

29、获取模块，获取目标业务场景下的目标数据以及对所述待评估模型进行预训练时所使用的源样本数据；

30、确定模块，将所述目标数据以及所述源样本数据分别输入所述待评估模型，基于所述初始参数，根据所述目标数据确定所述待评估模型的特征提取网络对应的主梯度期望值，作为第一主梯度期望值，以及，根据所述源样本数据确定所述特征提取网络对应的主梯度期望值，作为第二主梯度期望值；

31、执行模块，根据所述第一主梯度期望值以及所述第二主梯度期望值，确定所述待评估模型对应迁移性能的评估值，并根据所述评估值执行任务。

32、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于主梯度期望迁移性评估的任务执行方法。

33、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于主梯度期望迁移性评估的任务执行方法。

34、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

35、在本说明书提供的基于主梯度期望迁移性评估的任务执行方法中，接收针对待评估模型的迁移性能的评估指令，并确定待评估模型对应的初始参数；获取目标业务场景下的目标数据以及对待评估模型进行预训练时所使用的源样本数据；将目标数据以及源样本数据分别输入待评估模型，基于初始参数，根据目标数据确定待评估模型的特征提取网络对应的主梯度期望值，作为第一主梯度期望值，以及，根据源样本数据确定特征提取网络对应的主梯度期望值，作为第二主梯度期望值；根据第一主梯度期望值以及第二主梯度期望值，确定待评估模型对应迁移性能的评估值，并根据评估值执行任务。

36、从上述方法可以看出，本方案可以通过不同数据集对应的主梯度期望来对模型的迁移性能进行评估，为了降低任务网络对计算模型迁移能力的影响，在实际评估时只考虑模型的特征提取网络的梯度，不考虑任务网络的梯度，从而充分提高评估结果的准确性以及可靠性，另外，本方案基于模型的初始参数来确定主梯度期望进而计算评估结果，该过程仅需要将数据输入一次模型便可完成评估，相比于目前通过向模型多次输入数据对模型参数进行更新并基于每次调整时的模型参数来计算评估结果的方法，本方案极大的提高了评估效率。