用于管理多任务模型的方法、装置、电子设备和存储介质与流程

本公开的各实现方式涉及机器学习，更具体地，涉及用于管理多任务模型的方法、装置、电子设备和存储介质。

背景技术：

1、机器学习技术已经在多个行业中得到广泛应用，并且目前已经提出了可以处理多个任务的多任务模型。在多任务模型中，可以基于在多个任务模型之间共享的特征提取网络来获取训练数据的特征，进而执行训练过程。然而，上述特征分别来自于多个任务模型各自的训练数据，并且可能会导致多任务模型的识别精度下降。此时，如何以更为准确并且有效的方式生成特征、进而执行训练过程，成为一个研究热点。

技术实现思路

1、根据本公开的第一方面，提供了一种用于管理多任务模型的方法。在此，多任务模型包括第一任务模型和第二任务模型。在该方法中，基于注意力(attention)机制来确定第一任务模型的第一训练数据的第一特征的第一查询项。基于注意力机制来确定第二任务模型的第二训练数据的第二特征的第二关键字项和第二数值项。基于第一查询项、第二数值项和第二关键字项，确定与第一任务模型相关联的第一目标特征。

2、根据本公开的第二方面，提供了一种用于管理多任务模型的装置。在此，多任务模型包括第一任务模型和第二任务模型。该装置包括：第一注意力模块，被配置用于基于注意力机制来确定第一任务模型的第一训练数据的第一特征的第一查询项；第二注意力模块，被配置用于基于注意力机制来确定第二任务模型的第二训练数据的第二特征的第二关键字项和第二数值项；以及确定模块，被配置用于基于第一查询项、第二数值项和第二关键字项，确定与第一任务模型相关联的第一目标特征。

3、根据本公开的第三方面，提供了一种电子设备，包括：存储器和处理器；其中存储器用于存储一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据本公开的第一方面的方法。

4、根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行实现根据本公开的第一方面的方法。

5、根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序/指令，其中计算机程序/指令被处理器执行时实现根据本公开的第一方面的方法。

技术特征：

1.一种用于管理多任务模型的方法，所述多任务模型包括第一任务模型和第二任务模型，所述方法包括：

2.根据权利要求1所述的方法，其中确定所述第一目标特征包括：

3.根据权利要求1所述的方法，其中确定所述第一权重包括：基于所述第一查询项和所述第二关键字项的点积来确定所述第一权重。

4.根据权利要求1所述的方法，其中确定所述第一目标特征包括：基于所述第一权重和所述第二数值项的乘积来确定所述第一目标特征。

5.根据权利要求1所述的方法，其中确定所述第一目标特征包括进一步包括：

6.根据权利要求5所述的方法，其中基于所述第二权重和所述第一数值项，确定所述第一目标特征包括：

7.根据权利要求6所述的方法，其中所述多任务模型进一步包括第三任务模型，以及确定所述第一目标特征进一步包括：

8.根据权利要求1所述的方法，进一步包括：基于所述第一特征和所述第一目标特征的加权求和，更新所述第一目标特征。

9.根据权利要求5所述的方法，进一步包括：

10.根据权利要求9所述的方法，进一步包括：基于所述第二特征和所述第二目标特征的加权求和，更新所述第二目标特征。

11.根据权利要求9所述的方法，进一步包括以下至少任一项：

12.根据权利要求11所述的方法，进一步包括：利用所述第一损失函数和所述第二损失函数中的至少任一项，训练所述多任务模型。

13.根据权利要求12所述的方法，进一步包括：

14.一种用于管理多任务模型的装置，所述多任务模型包括第一任务模型和第二任务模型，所述装置包括：

15.一种电子设备，包括：

16.一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中所述一条或多条计算机指令被处理器执行以实现根据权利要求1至13中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序/指令，其中所述计算机程序/指令被处理器执行时实现根据权利要求1至13中任一项所述的方法。

技术总结
本公开涉及用于管理多任务模型的方法、装置、电子设备和存储介质。多任务模型包括第一任务模型和第二任务模型。在一种方法中，基于注意力机制来确定第一任务模型的第一训练数据的第一特征的第一查询项。基于注意力机制来确定第二任务模型的第二训练数据的第二特征的第二关键字项和第二数值项。基于第一查询项、第二数值项和第二关键字项，确定与第一任务模型相关联的第一目标特征。以此方式，在训练多任务模型的过程中，所使用的特征可以包括来自多个任务模型的训练数据的贡献，从而提高多任务模型的准确性。

技术研发人员：薛韬略,王智恒,张天明
受保护的技术使用者：北京嘀嘀无限科技发展有限公司
技术研发日：
技术公布日：2024/5/20