图重写的处理方法及装置、计算设备及可读介质与流程

文档序号:21273575发布日期:2020-06-26 23:06阅读:来源:国知局

技术特征:

1.一种图重写的处理方法,其特征在于,所述方法包括;

对网络部署框架的前端的神经网络模型进行解析,获取所述神经网络模型对应的原始图,所述原始图包括数个单运算的操作符算子;

利用预先生成的图重写接口对所述原始图进行重写处理,得到所述网络部署框架的后端支持处理的重写图,所述优化操作符算子为所述原始图中相邻的至少两个所述单运算的操作符算子的优化组合。

2.根据权利要求1所述的方法,其特征在于,利用预先生成的图重写接口对所述原始图进行重写处理,得到所述网络部署框架的后端支持处理的重写图之前,所述方法还包括:

根据所述网络部署框架和所述后端支持的计算/编译能力生成所述图重写接口。

3.根据权利要求2所述的方法,其特征在于,根据所述网络部署框架和所述后端支持的计算/编译能力生成所述图重写接口,包括:

根据所述后端支持的计算/编译能力和所述网络部署框架所提供的操作符类型,在模版文件中定义用于图重写的多种模式;

对所述模版文件中的所述多种模式进行解析,得到模式列表;

生成所述模式列表中的各所述模式匹配的代码。

4.根据权利要求3所述的方法,其特征在于,根据所述后端支持的计算/编译能力和所述网络部署框架所提供的操作符类型,在模版文件中定义用于图重写的多种优化模式之后,对所述模版文件中的所述多种模式进行解析,得到模式列表之前,所述方法还包括:

对各所述模式进行合法性验证,确定各所述模式合法。

5.根据权利要求3所述的方法,其特征在于,根据所述网络部署框架和所述后端支持的计算/编译能力生成所述图重写接口,还包括:

配置模式定义和/或模式解析的功能支持信息。

6.根据权利要求3所述的方法,其特征在于,根据所述后端支持的计算/编译能力和所述网络部署框架所提供的操作符类型,在模版文件中定义用于图重写的多种模式,包括:

根据所述网络部署框架所提供的操作符类型,在所述模版文件中定义数种单运算对应的简单模式;

根据所述后端支持的计算/编译能力和所述网络部署框架所提供的操作符类型,在所述模版文件中定义数种优化模式,各所述优化模式对应至少两种单运算的组合。

7.根据权利要求3-6任一所述的方法,其特征在于,根据所述后端支持的计算/编译能力和所述网络部署框架所提供的操作符类型,在模版文件中定义用于图重写的多种模式,包括:

确定在所述模本文件中采用预设的模版文件格式定义用于图重写的所述多种模式的模式定义格式;

根据所述后端支持的计算/编译能力和所述网络部署框架所提供的操作符类型,采用所述模式定义格式,在所述模板文件中定义所述多种模式。

8.根据权利要求3-6任一所述的方法,其特征在于,利用预先生成的图重写接口对所述原始图进行重写处理,得到所述网络部署框架的后端支持处理的重写图,包括:

根据所述图重写接口中生成有匹配的代码的各种优化模式,判断所述原始图中相邻的至少两个所述单运算的操作符算子是否能够进行优化组合;

若能,将所述原始图中相邻的至少两个所述单运算的操作符算子优化组合为所述优化操作符算子,得到所述重写图。

9.一种图重写的处理装置,其特征在于,所述装置包括;

原始图获取模块,用于对网络部署框架的前端的神经网络模型进行解析,获取所述神经网络模型对应的原始图,所述原始图包括数个单运算的操作符算子;

重写处理模块,用于利用预先生成的图重写接口对所述原始图进行重写处理,得到所述网络部署框架的后端支持处理的重写图,所述优化操作符算子为所述原始图中相邻的至少两个所述单运算的操作符算子的优化组合。

10.根据权利要求9所述的装置,其特征在于,所述装置还包括:

生成模块,用于根据所述网络部署框架和所述后端支持的计算/编译能力生成所述图重写接口。

11.根据权利要求10述的装置,其特征在于,所述生成模块,包括:

模式定义单元,用于根据所述后端支持的计算/编译能力和所述网络部署框架所提供的操作符类型,在模版文件中定义用于图重写的多种模式;

模式解析器,用于对所述模版文件中的所述多种模式进行解析,得到模式列表;

模式匹配代码生成器,用于生成所述模式列表中的各所述模式匹配的代码。

12.根据权利要求11所述的装置,其特征在于,所述模式解析器,还用于:

对各所述模式进行合法性验证,确定各所述模式合法。

13.根据权利要求11所述的装置,其特征在于,所述生成模块,还包括:

配置单元,用于配置模式定义和/或模式解析的功能支持信息。

14.根据权利要求11所述的装,其特征在于,所述模式定义单元,用于:

根据所述网络部署框架所提供的操作符类型,在所述模版文件中定义数种单运算对应的简单模式;

根据所述后端支持的计算/编译能力和所述网络部署框架所提供的操作符类型,在所述模版文件中定义数种优化模式,各所述优化模式对应至少两种单运算的组合。

15.根据权利要求11-14任一所述的装置,其特征在于,所述模式定义单元,用于:

确定在所述模本文件中采用预设的模版文件格式定义用于图重写的所述多种模式的模式定义格式;

根据所述后端支持的计算/编译能力和所述网络部署框架所提供的操作符类型,采用所述模式定义格式,在所述模板文件中定义所述多种模式。

16.根据权利要求9-14任一所述的装置,其特征在于,所述重写处理模块,用于:

根据所述图重写接口中生成有匹配的代码的各种优化模式,判断所述原始图中相邻的至少两个所述单运算的操作符算子是否能够进行优化组合;

若能,将所述原始图中相邻的至少两个所述单运算的操作符算子优化组合为所述优化操作符算子,得到所述重写图。

17.一种计算设备,包括:

处理器;以及

存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1-8中任何一项所述的方法。

18.一种非暂时性机器可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1至8中任一项所述的方法。


技术总结
本发明提供一种图重写的处理方法及装置、计算设备及可读介质。其方法包括:对网络部署框架的前端的神经网络模型进行解析,获取神经网络模型对应的原始图,该原始图包括数个单运算的操作符算子;利用预先生成的图重写接口对原始图进行重写处理,得到网络部署框架的后端支持处理的重写图,其中优化操作符算子为原始图中相邻的至少两个单运算的操作符算子的组合。本发明的技术方案,可以自动实现图重写,从而能够最大化地利用后端的计算/编译能力,实现神经网络模型的优化运算,实现过程中不用研发人员编写代码,省时省力,有效地降低研发成本,提高研发效率。

技术研发人员:李天平;孙晓明
受保护的技术使用者:赛灵思公司
技术研发日:2018.12.18
技术公布日:2020.06.26
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1