模型训练方法、装置、系统、电子设备及存储介质与流程

本公开涉及深度学习，具体而言，涉及一种模型训练方法、装置、系统、电子设备及存储介质。

背景技术：

1、随着科技的发展，深度学习技术被广泛应用于各个领域内，比如语音识别、计算机视觉等等。在深度学习中模型训练的过程尤为重要，而模型训练过程依赖提供算力的人工智能(artificial intelligence，ai)加速芯片和ai训练框架，ai训练框架和ai加速芯片相互依存且相互促进。在深度学习技术不断发展的过程中，ai加速芯片和ai训练框架也快速发展，使得业务场景在存在多种ai加速芯片和多种ai训练框架。

2、一般的，在深度学习技术中底层的基础算子是高层算子编写的基础，也即高层算子是由基础算子编写得到的，其中高层算子由训练框架的提供方进行优化，而基础算子的编译、优化需要由ai加速芯片的提供方进行编写，由于各个ai加速芯片的指令集、智能编程语言等的不同，使得基础算子无法兼容不同的训练框架，使得ai加速芯片和ai训练框架需要进行一对一的适配。而在ai加速芯片和ai训练框架的种类较多时，一对一适配的工作量较大，成本较高，适配工作繁琐且效率低，进而造成模型训练过程的也较为繁琐。

技术实现思路

1、有鉴于此，本公开至少提供一种模型训练方法、装置、系统、电子设备及存储介质。

2、第一方面，本公开提供了一种模型训练方法，包括：

3、获取生成的标准接口集合内各个标准接口的接口信息，所述标准接口包括运行时标准接口和算子标准接口，所述运行时标准接口用于实现人工智能ai加速芯片的运行功能操作，算子标准接口用于实现神经网络模型中的运算操作；

4、根据所述标准接口集合内标准接口的接口信息，对模型框架系统进行接口适配处理；

5、在对神经网络模型进行训练的过程中，调用适配处理后的模型框架系统内的第一目标接口，其中，所述第一目标接口包括所述运行时标准接口和/或所述算子标准接口；

6、响应于所述第一目标接口的调用操作，控制与所述模型框架系统对接的至少一个ai加速芯片执行匹配所述第一目标接口的目标操作，其中在模型训练结束之后得到训练后的神经网络模型，所述ai加速芯片与对接的所述模型框架系统通信相连，并且所述ai加速芯片的至少部分软件功能模块为根据所述标准接口集合内接口信息开发生成的。

7、上述方法中，通过设置预设的标准接口集合，标准接口集合内包括运行时标准接口和算子标准接口，以利用运行时标准接口实现ai加速芯片的运行功能操作，利用算子标准接口实现深度学习中的运算操作，并根据标准接口集合内接口信息，对模型框架系统进行接口适配处理，以及ai加速芯片的至少部分软件功能模块为根据标准接口集合内接口信息开发得到的，由于模型框架系统和ai加速芯片均与标准接口集合内各个标准接口适配，使得同一ai加速芯片可以服务于多个模型框架系统，也使得同一模型框架系统可以接入多个ai加速芯片以实现模型训练过程，实现了模型框架系统与ai加速芯片之间在适配工程上的解耦，无需将模型框架系统和ai加速芯片进行一对一的适配处理，减少了适配处理工作量和适配成本，提高了适配效率。

8、进而，在利用适配处理后的模型框架系统对神经网络模型进行训练的过程中，通过调用适配处理后的模型框架系统内的第一目标接口，并响应于第一目标接口的调用操作，控制接入的至少一个ai加速芯片执行匹配第一目标接口的目标操作，实现了对神经网络模型的训练，由于前期的适配工作较为简便，使得神经网络模型的训练过程也较为简便，提高了训练效率。

9、一种可能的实施方式中，根据下述过程生成所述标准接口集合：

10、确定算子集合，并根据预设的接口配置项，生成所述算子集合内每个目标算子匹配的算子标准接口的接口信息，其中所述目标算子为算子运算操作在ai加速芯片内执行的算子；以及

11、在确定ai加速芯片运行时所需的各个功能操作之后，生成每个所述功能操作匹配的运行时标准接口的接口信息；

12、基于所述算子集合内各个目标算子分别匹配的算子标准接口的接口信息、以及各个所述运行时标准接口的接口信息，生成所述标准接口集合。

13、这里通过分别定义算子标准接口的接口信息和运行时标准接口的接口信息，为ai加速芯片的开发提供接数据支持，以及为模型框架系统的适配提供数据支持，以便实现ai加速芯片和模型框架系统的适配。

14、一种可能的实施方式中，所述确定算子集合，包括：

15、获取多个候选神经网络模型；

16、对所述多个候选神经网络模型进行分析，生成包含多个候选算子的算子列表；

17、针对所述算子列表中每个候选算子，根据所述候选算子的算子功能，确定所述候选算子是否在所述ai加速芯片中执行；

18、若是，则确定所述候选算子属于目标算子；

19、基于至少一个所述目标算子构成所述算子集合。

20、一种可能的实施方式中，所述根据预设的接口配置项，生成所述算子集合内每个目标算子匹配的算子标准接口的接口信息，包括：

21、针对所述算子集合内每个目标算子，基于所述目标算子指示的算子功能，生成所述目标算子对应的函数名、参数列表和返回值的数据类型，所述参数列表用于指示输入数据的数据类型。

22、一种可能的实施方式中，在目标算子包括多个重载版本的情况下，所述基于所述目标算子指示的算子功能，生成所述目标算子对应的函数名、参数列表和返回值的数据类型，包括：

23、针对所述目标算子的至少一个重载版本，基于所述目标算子指示的算子功能、以及所述重载版本指示的数据类型，生成所述目标算子对应的函数名、参数列表和返回值的数据类型，所述参数列表指示的输入数据的数据类型与所述重载版本指示的数据类型匹配，以及所述返回值的数据类型为基于所述输入数据的数据类型和所述目标算子的算子功能确定的。

24、通过上述过程定义算子标准接口的接口信息，使得接口信息能够较准确的反应算子标准接口提供的功能，以便ai加速芯片可以基于算子标准接口的接口信息进行计算库的开发。

25、一种可能的实施方式中，所述响应于所述第一目标接口的调用操作，控制与所述模型框架系统对接的至少一个ai加速芯片执行匹配所述第一目标接口的目标操作，包括：

26、在所述第一目标接口包括算子标准接口的情况下，响应于所述算子标准接口的调用操作，将所述适配处理后的模型框架系统内的待处理数据，通过所述算子标准接口传输给所述ai加速芯片；

27、控制所述ai加速芯片按照所述算子标准接口指示的算子功能，对所述待处理数据进行运算操作，生成处理后数据，并将所述处理后数据返回给所述适配处理后的模型框架系统。

28、一种可能的实施方式中，所述响应于所述第一目标接口的调用操作，控制与所述模型框架系统对接的至少一个ai加速芯片执行匹配所述第一目标接口的目标操作，包括：

29、在所述第一目标接口包括运行时标准接口的情况下，响应于所述运行时标准接口的调用操作，控制所述ai加速芯片执行匹配所述运行时标准接口的功能操作并生成操作反馈信息，将所述操作反馈信息发送给所述适配处理后的模型框架系统。

30、一种可能的实施方式中，所述方法还包括：

31、获取待检测数据；

32、将所述训练后的神经网络模型部署于所述适配处理后的模型框架系统；

33、利用所述适配处理后的模型框架系统上所述训练后的神经网络模型，对所述待检测数据进行检测，得到检测结果。

34、一种可能的实施方式中，所述利用所述适配处理后的模型框架系统上所述训练后的神经网络模型，对所述待检测数据进行检测，包括：

35、在利用所述训练后的神经网络模型对所述待检测数据进行检测的过程中，调用所述适配处理后的模型框架系统内第二目标接口；

36、响应于所述第二目标接口的调用操作，控制所述ai加速芯片执行匹配所述第二目标接口的目标操作。

37、以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。

38、第二方面，本公开提供了一种模型训练装置，包括：

39、获取模块，用于获取生成的标准接口集合内各个标准接口的接口信息，所述标准接口包括运行时标准接口和算子标准接口，所述运行时标准接口用于实现人工智能ai加速芯片的运行功能操作，算子标准接口用于实现神经网络模型中的运算操作；

40、调用模块，用于根据所述标准接口集合内标准接口的接口信息，对模型框架系统进行接口适配处理；在对神经网络模型进行训练的过程中，调用适配处理后的模型框架系统内的第一目标接口，其中，所述第一目标接口包括所述运行时标准接口和/或所述算子标准接口；

41、控制模块，用于响应于所述第一目标接口的调用操作，控制与所述模型框架系统对接的至少一个ai加速芯片执行匹配所述第一目标接口的目标操作，其中在模型训练结束之后得到训练后的神经网络模型，接入的所述ai加速芯片与对接的所述模型框架系统通信相连，并且所述ai加速芯片的至少部分软件功能模块为根据所述标准接口集合内接口信息开发生成的。

42、第三方面，本公开提供了一种模型训练系统，包括：模型框架系统和人工智能ai加速芯片，所述模型框架系统与所述ai加速芯片通信相连；其中所述ai加速芯片的至少部分软件功能模块为根据标准接口集合内接口信息开发生成的；所述标准接口集合内标准接口包括运行时标准接口和算子标准接口，所述运行时标准接口用于实现所述ai加速芯片的运行功能操作，所述算子标准接口用于实现神经网络模型中的运算操作；

43、所述模型框架系统，用于在基于标准接口集合内标准接口的接口信息进行接口适配处理后，对神经网络模型进行训练，并在对所述神经网络模型进行训练的过程中调用第一目标接口；其中，所述第一目标接口包括所述运行时标准接口和/或所述算子标准接口；

44、所述ai加速芯片，用于响应于所述第一目标接口的调用操作，执行匹配所述第一目标接口的目标操作。

45、第四方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的模型训练方法的步骤。

46、第五方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的模型训练方法的步骤。

47、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。