芯片优化方法及装置、电子设备与存储介质与流程

本公开的实施例涉及一种芯片优化方法及装置、电子设备与存储介质。

背景技术：

1、在人工智能(artificial intelligence，ai)领域，深度神经网络(deep neuralnetwork，dnn)已经成为最先进技术的基础和许多应用的核心推动力。算子融合(operatorfusion)是一种提高深度学习计算任务的执行效率的方法；在执行计算任务之前，可以将神经网络中满足一定条件或规则的多个算子进行融合，形成融合算子。通过将多个算子进行融合，可以实现内存复用，并提高诸如中央处理器(central processing unit，cpu)、图形处理器(graphics processing unit，gpu)、通用图形处理器(general-purpose graphicsprocessing units，gpgpu)等计算资源的利用率。

技术实现思路

1、本公开至少一实施例提供一种芯片优化方法，所述芯片优化方法包括：获取人工智能模型，其中，所述人工智能模型包括多个融合算子，所述多个融合算子包括目标融合算子；选取所述芯片的第一架构参数和应用于所述目标融合算子的多个优化策略；基于所述第一架构参数，分别计算所述目标融合算子在应用所述多个优化策略中的每个优化策略时的设备端耗时；响应于所述目标融合算子在应用所述多个优化策略中的第一优化策略时的设备端耗时最小，选取所述第一优化策略作为所述目标融合算子在所述第一架构参数下的目标优化策略。

2、例如，本公开至少一实施例提供的芯片优化方法，还包括：将所述目标融合算子在应用所述目标优化策略时的设备端耗时与主机端耗时进行合并，得到所述目标融合算子在应用所述目标优化策略时的总耗时。

3、例如，本公开至少一实施例提供的芯片优化方法，还包括：将所述人工智能模型拆解成所述多个融合算子；选取所述多个融合算子中的每个融合算子在所述第一架构参数下所对应的目标优化策略；基于所述第一架构参数，分别计算所述多个融合算子在应用所述所对应的目标优化策略时的总耗时；将所述多个融合算子在应用所述所对应的目标优化策略时的总耗时进行合并，得到所述人工智能模型在所述第一架构参数下的总耗时。

4、例如，在本公开至少一实施例提供的芯片优化方法中，所述目标融合算子包括多个单算子，所述多个优化策略包括第1个优化策略至第n个优化策略，其中，n为正整数，所述基于所述第一架构参数，分别计算所述目标融合算子在应用所述多个优化策略中的每个优化策略时的设备端耗时，包括：将所述目标融合算子拆解成所述多个单算子；基于所述第一架构参数，计算所述多个单算子在应用所述多个优化策略中的第i个优化策略时的耗时，其中，i＝1,2,…,n；将所述多个单算子在应用所述第i个优化策略时的多个耗时进行合并，得到所述目标融合算子在应用所述第i个优化策略时的设备端耗时。

5、例如，在本公开至少一实施例提供的芯片优化方法中，所述多个单算子中的每个单算子对应有算子策略，所述每个单算子的算子策略与所述芯片的架构参数相关联，所述基于所述第一架构参数，计算所述多个单算子在应用所述多个优化策略中的第i个优化策略时的耗时，包括：基于所述每个单算子对应于所述第一架构参数的算子策略，计算所述每个单算子在应用所述第i个优化策略时的耗时。

6、例如，在本公开至少一实施例提供的芯片优化方法中，所述多个优化策略包括第1个优化策略至第n个优化策略，其中，n为正整数，所述响应于所述目标融合算子在应用所述多个优化策略中的第一优化策略时的设备端耗时最小，选取所述第一优化策略作为所述目标融合算子在所述第一架构参数下的目标优化策略，包括：设置所述目标融合算子的预设耗时，其中，所述预设耗时被初始化为无穷大；按照所述第1个优化策略至所述第n个优化策略的遍历顺序，将所述目标融合算子在应用所述多个优化策略中的第i个优化策略时的设备端耗时与所述预设耗时进行比较，使用其中的较小值更新所述预设耗时，其中，i＝1,2,…,n；响应于所述第1个优化策略至所述第n个优化策略遍历完毕，选取所述预设耗时所对应的所述第一优化策略作为所述目标融合算子在所述第一架构参数下的目标优化策略。

7、例如，本公开至少一实施例提供的芯片优化方法，还包括：选取所述芯片的多个架构参数，其中，所述多个架构参数包括所述第一架构参数；计算所述人工智能模型在应用所述多个架构参数中的每个架构参数时的总耗时；响应于所述人工智能模型在应用所述多个架构参数中的第二架构参数时的总耗时最小，选取所述第二架构参数作为所述芯片的目标架构参数。

8、例如，本公开至少一实施例提供的芯片优化方法，还包括：使用所述目标架构参数配置所述芯片。

9、例如，在本公开至少一实施例提供的芯片优化方法中，所述多个架构参数包括第1个架构参数至第m个架构参数，其中，m为正整数，所述计算所述人工智能模型在应用所述多个架构参数中的每个架构参数时的总耗时，包括：将所述人工智能模型拆解成所述多个融合算子；选取所述多个融合算子中的每个融合算子在所述多个架构参数中的第k个架构参数下所对应的目标优化策略，其中，k＝1,2,…,m；基于所述第k个架构参数，分别计算所述多个融合算子在应用所述所对应的目标优化策略时的总耗时；将所述多个融合算子在应用所述所对应的目标优化策略时的总耗时进行合并，得到所述人工智能模型在所述第k个架构参数下的总耗时。

10、例如，在本公开至少一实施例提供的芯片优化方法中，所述目标融合算子包括多个单算子，所述多个单算子中的每个单算子对应有算子策略，对于所述多个单算子中的每个单算子，所述多个架构参数分别对应多个算子策略。

11、本公开至少一实施例还提供一种芯片优化装置，所述芯片优化装置包括：获取模块，配置为获取人工智能模型，其中，所述人工智能模型包括多个融合算子，所述多个融合算子包括目标融合算子；选取模块，配置为选取所述芯片的第一架构参数和应用于所述目标融合算子的多个优化策略；计算模块，配置为基于所述第一架构参数，分别计算所述目标融合算子在应用所述多个优化策略中的每个优化策略时的设备端耗时，其中，所述选取模块还配置为，响应于所述目标融合算子在应用所述多个优化策略中的第一优化策略时的设备端耗时最小，选取所述第一优化策略作为所述目标融合算子在所述第一架构参数下的目标优化策略。

12、本公开至少一实施例还提供一种电子设备。该电子设备包括：处理器；存储器，包括一个或多个计算机程序模块；其中，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块用于实现本公开任一实施例提供的芯片优化方法。

13、本公开至少一实施例还提供一种存储介质，存储有非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时实现本公开任一实施例提供的芯片优化方法。

技术特征：

1.一种芯片优化方法，包括：

2.根据权利要求1所述的芯片优化方法，还包括：

3.根据权利要求1所述的芯片优化方法，还包括：

4.根据权利要求1所述的芯片优化方法，其中，所述目标融合算子包括多个单算子，所述多个优化策略包括第1个优化策略至第n个优化策略，其中，n为正整数，

5.根据权利要求4所述的芯片优化方法，其中，所述多个单算子中的每个单算子对应有算子策略，所述每个单算子的算子策略与所述芯片的架构参数相关联，

6.根据权利要求1所述的芯片优化方法，其中，所述多个优化策略包括第1个优化策略至第n个优化策略，其中，n为正整数，

7.根据权利要求1所述的芯片优化方法，还包括：

8.根据权利要求7所述的芯片优化方法，还包括：使用所述目标架构参数配置所述芯片。

9.根据权利要求7所述的芯片优化方法，其中，所述多个架构参数包括第1个架构参数至第m个架构参数，其中，m为正整数，

10.根据权利要求7所述的芯片优化方法，其中，所述目标融合算子包括多个单算子，所述多个单算子中的每个单算子对应有算子策略，

11.一种芯片优化装置，包括：

12.一种电子设备，包括：

13.一种存储介质，存储有非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时实现权利要求1-10任一项所述的芯片优化方法。

技术总结
一种芯片优化方法及装置、电子设备与存储介质。该芯片优化方法包括：获取人工智能模型，其中，人工智能模型包括多个融合算子，多个融合算子包括目标融合算子；选取芯片的第一架构参数和应用于目标融合算子的多个优化策略；基于第一架构参数，分别计算目标融合算子在应用多个优化策略中的每个优化策略时的设备端耗时；响应于目标融合算子在应用多个优化策略中的第一优化策略时的设备端耗时最小，选取第一优化策略作为目标融合算子在第一架构参数下的目标优化策略。该芯片优化方法可以快速评估芯片的预期性能，提高了芯片的评估和验证效率。

技术研发人员：请求不公布姓名,请求不公布姓名,请求不公布姓名,请求不公布姓名,请求不公布姓名
受保护的技术使用者：上海壁仞科技股份有限公司
技术研发日：
技术公布日：2024/2/19