一种计算图优化方法、装置、存储介质及电子设备

本申请涉及神经网络图层优化，尤其涉及一种计算图优化方法、装置、存储介质及电子设备。

背景技术：

1、近年来，随着人工智能的发展，神经网络在图像、文本、语音和推荐系统等领域取得了显著的效果，在各行各业都进行了广泛的应用。

2、由于解决的问题日益复杂，目前神经网络的规模对应增大，相应的，神经网络的计算量日益庞大，庞大的计算量势必会影响神经网络的处理速度。

3、目前相关技术考虑了可能降低效率的规则，并且使用基于成本的回溯搜索算法，但它们对搜索的时间和空间复杂度缺乏保证。这些方法可能会探索整个搜索空间，特别是在优化复杂的深度神经网络时，这会导致搜索过程效率较低。

技术实现思路

1、本申请实施例提供一种计算图优化方法、装置、存储介质及电子设备，能够解决优化复杂的深度神经网络时，搜索过程效率较低的技术问题。

2、本申请实施例提供了一种计算图优化方法，包括：

3、将神经网络模型转化为计算图；

4、遍历规则集匹配所述计算图，将匹配成功的所述计算图进行替换得到替换后的计算图；

5、根据替换后的计算图确定候选集合；

6、若所述候选集合不为空，则将所述候选集合中成本最低的计算图作为下一轮待匹配的计算图，并将候选集合中除下一轮待匹配的计算图外的计算图加入历史记录集合，重复执行所述得到替换后的计算图集合步骤与所述确定候选集合步骤，直至所述规则集中的源图全部匹配完成；

7、基于所述历史记录集合进行匹配，得到优化后的计算图。

8、进一步地，上述计算图优化方法，其中，所述计算图包括多个子图，所述规则集包括多条规则，每条所述规则包括一个源图与一个目标图。

9、进一步地，上述计算图优化方法，其中，所述遍历规则集匹配所述计算图，将匹配成功的所述计算图进行替换得到替换后的计算图，包括：

10、遍历规则集，将规则集中的源图分别与所述计算图中的子图进行匹配；

11、当找到与所述源图匹配的子图时，将所述源图所属规则中的目标图对所述子图进行替换，得到替换后的计算图。

12、进一步地，上述计算图优化方法，其中，所述根据替换后的计算图确定候选集合，包括：

13、计算替换后的计算图的成本；

14、若所述替换后的计算图的成本低于替换前的计算图的成本最低值，则将所述替换后的计算图加入所述候选集合。

15、进一步地，上述计算图优化方法，其中，所述计算替换后的计算图的成本，包括：

16、通过成本函数计算替换后的计算图的成本；

17、所述成本函数包括：

18、

19、其中,|v|表示计算图g中算子的数量，t_i表示第i个算子的执行时间。

20、进一步地，上述计算图优化方法，其中，所述基于所述历史记录集合进行匹配，得到优化后的计算图，包括：

21、在所述历史记录集合中找到成本最低的计算图；

22、将成本最低的所述计算图作为下一轮待匹配的计算图，重复执行所述得到替换后的计算图集合步骤、所述确定候选集合步骤以及所述将候选集合中除下一轮待匹配的计算图外的计算图加入历史记录集合步骤，直至所述历史记录集合中的计算图全部被替换；

23、被替换的计算图即为优化后的计算图。

24、本申请实施例还提供了一种计算图优化装置，包括：

25、转化模块，用于将神经网络模型转化为计算图；

26、匹配模块，用于遍历规则集匹配所述计算图，将匹配成功的所述计算图进行替换得到替换后的计算图；

27、以及，用于根据替换后的计算图确定候选集合；

28、以及，若所述候选集合不为空，用于将所述候选集合中成本最低的计算图作为下一轮待匹配的计算图，并将候选集合中除下一轮待匹配的计算图外的计算图加入历史记录集合，重复执行所述得到替换后的计算图集合步骤与所述确定候选集合步骤，直至所述规则集中的源图全部匹配完成；

29、以及，基于所述历史记录集合进行匹配，得到优化后的计算图。

30、本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述任一项计算图优化方法。

31、本申请实施例还提供了一种电子设备，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于上述任一项所述的计算图优化方法中的步骤。

32、本申请提供的计算图优化方法、装置、存储介质及电子设备，本申请将贪心策略和基于历史记录搜索进行结合，不仅构建候选集合，在候选集合中选择计算图进行再次匹配，还基于历史搜索集合，在历史搜索集合选择计算图继续进行匹配，此种匹配方式有效地改善了大规模神经网络需要花费过长时间进行图层级优化的问题，在保证推理正确性和推理速度的前提下，明显缩短了图层级优化的时间。

技术特征：

1.一种计算图优化方法，其特征在于，所述方法包括：

2.根据权利要求1所述的计算图优化方法，其特征在于，所述计算图包括多个子图，所述规则集包括多条规则，每条所述规则包括一个源图与一个目标图。

3.根据权利要求2所述的计算图优化方法，其特征在于，所述遍历规则集匹配所述计算图，将匹配成功的所述计算图进行替换得到替换后的计算图，包括：

4.根据权利要求1所述的计算图优化方法，其特征在于，所述根据替换后的计算图确定候选集合，包括：

5.根据权利要求4所述的计算图优化方法，其特征在于，所述计算替换后的计算图的成本，包括：

6.根据权利要求1所述的计算图优化方法，其特征在于，所述基于所述历史记录集合进行匹配，得到优化后的计算图，包括：

7.一种计算图优化装置，其特征在于，包括：

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载以执行权利要求1至6任一项所述的计算图优化方法。

9.一种电子设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于执行权利要求1至6任一项所述的计算图优化方法中的步骤。

技术总结
本申请公开了计算图优化方法、装置、存储介质及电子设备。该方法包括：将神经网络模型转化为计算图；遍历规则集匹配所述计算图，将匹配成功的所述计算图进行替换得到替换后的计算图；根据替换后的计算图确定候选集合；若所述候选集合不为空，则将所述候选集合中成本最低的计算图作为下一轮待匹配的计算图，并将候选集合中除下一轮待匹配的计算图外的计算图加入历史记录集合，重复执行所述得到替换后的计算图集合步骤与所述确定候选集合步骤，直至所述规则集中的源图全部匹配完成；基于所述历史记录集合进行匹配，得到优化后的计算图。本申请明显缩短了图层级优化的时间。

技术研发人员：李清安,胡春,何宇昕,黄宇帆,何俊辉
受保护的技术使用者：武汉大学
技术研发日：
技术公布日：2024/9/19