一种高性能模型算子开发方法、装置、设备及存储介质与流程

本发明涉及计算机，尤其涉及一种高性能模型算子开发方法、装置、设备及存储介质。

背景技术：

1、开发高性能人工智能(artificial intelligence，ai)算子，对人工智能加速卡加速训练人工智能模型、提高计算性能和效率具有重要意义。

2、现有技术中，针对语言识别模型而言，需要结合高效数值算法、软硬件架构、并行计算优化等因素，在线设计语言识别模型对应的高性能算子。

3、但是，现有的高性能算子开发方法难度较高，并且开发过程耗时较久，导致算子开发效率较低。

技术实现思路

1、本发明提供了一种高性能模型算子开发方法、装置、设备及存储介质，可以降低语言识别模型中高性能算子的开发难度，提高开发效率。

2、根据本发明的一方面，提供了一种高性能模型算子开发方法，所述方法包括：

3、获取语言识别模型中目标算子对应的数据集，并将所述数据集加载至目标芯片的高级缓存区中；

4、其中，所述数据集中包括多个训练样本，每个训练样本中包括目标算子描述信息、原始算子代码以及优化算子代码；

5、将所述高级缓存区中的各训练样本，逐个搬运至目标芯片的低级缓存区，并将所述低级缓存区中的各训练样本，逐个搬运至计算单元；

6、通过所述计算单元，使用各所述训练样本对算子生成智能体进行迭代训练，得到目标算子开发模型；

7、通过所述目标算子开发模型，根据语言识别模型中的当前目标算子，生成高性能算子。

8、根据本发明的另一方面，提供了一种高性能模型算子开发装置，所述装置包括：

9、数据集获取模块，用于获取语言识别模型中目标算子对应的数据集，并将所述数据集加载至目标芯片的高级缓存区中；

10、其中，所述数据集中包括多个训练样本，每个训练样本中包括目标算子描述信息、原始算子代码以及优化算子代码；

11、训练样本搬运模块，用于将所述高级缓存区中的各训练样本，逐个搬运至目标芯片的低级缓存区，并将所述低级缓存区中的各训练样本，逐个搬运至计算单元；

12、模型训练模块，用于通过所述计算单元，使用各所述训练样本对算子生成智能体进行迭代训练，得到目标算子开发模型；

13、算子生成模块，用于通过所述目标算子开发模型，根据语言识别模型中的当前目标算子，生成高性能算子。

14、根据本发明的另一方面，提供了一种电子设备，所述设备包括：

15、至少一个处理器；以及

16、与所述至少一个处理器通信连接的存储器；其中，

17、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的高性能模型算子开发方法。

18、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的高性能模型算子开发方法。

19、根据本发明的另一方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现本发明任一实施例所述的高性能模型算子开发方法。

20、本发明实施例提供的技术方案，通过获取语言识别模型中目标算子对应的数据集，将数据集加载至目标芯片的高级缓存区中，将高级缓存区中的各训练样本，逐个搬运至目标芯片的低级缓存区，将低级缓存区中的各训练样本逐个搬运至计算单元，通过计算单元使用各训练样本对算子生成智能体进行迭代训练得到目标算子开发模型，通过目标算子开发模型根据语言识别模型中的当前目标算子，生成高性能算子的技术手段，可以降低语言识别模型中高性能算子的开发难度，提高开发效率。

21、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种高性能模型算子开发方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，获取语言识别模型中目标算子对应的数据集，包括：

3.根据权利要求1所述的方法，其特征在于，通过所述计算单元，使用各所述训练样本对算子生成智能体进行迭代训练，得到目标算子开发模型，包括：

4.根据权利要求3所述的方法，其特征在于，通过所述计算单元，根据各训练样本对应的优化算子代码与代码优化结果之间的差异值，对算子生成智能体的模型参数进行调整，得到所述目标算子开发模型，包括：

5.根据权利要求1所述的方法，其特征在于，所述目标算子描述信息包括：目标算子类别、目标算子对应的输入数据数量、输入数据类型、输出数据数量以及输出数据类型。

6.根据权利要求3所述的方法，其特征在于，所述预设奖励函数包括：精度奖励函数、运行时间奖励函数、资源使用奖励函数、稳定性奖励函数以及基于目标函数的奖励函数。

7.一种高性能模型算子开发装置，其特征在于，所述装置包括：

8.一种电子设备，其特征在于，所述设备包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的高性能模型算子开发方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的高性能模型算子开发方法。

技术总结
本发明公开了一种高性能模型算子开发方法、装置、设备及存储介质，包括：获取语言识别模型中目标算子对应的数据集，将数据集加载至目标芯片的高级缓存区中；将高级缓存区中的各训练样本，逐个搬运至目标芯片的低级缓存区，将低级缓存区中的各训练样本逐个搬运至计算单元；通过计算单元，使用各训练样本对算子生成智能体进行迭代训练，得到目标算子开发模型；通过目标算子开发模型，根据语言识别模型中的当前目标算子，生成高性能算子。本发明实施例的技术方案可以降低语言识别模型中高性能算子的开发难度，提高开发效率。

技术研发人员：廖金龙,姚建国,吴长平,许士芳
受保护的技术使用者：上海燧原科技股份有限公司
技术研发日：
技术公布日：2024/2/29