技术特征：
1.一种模型加速方法，其特征在于，所述方法包括：根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式；所述操作融合方式表示所述训练后的待加速模型的卷积、激活和量化操作的融合方式；根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果；根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果。2.根据权利要求1所述的方法，其特征在于，所述根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式，包括：当所述训练后的待加速模型的激活函数类型为单一处理类型时，确定与所述训练后的待加速模型相匹配的融合方式为卷积、激活和量化操作融合方式；所述根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果，包括：利用所述训练后的待加速模型的激活系数和量化系数，对所述训练后的待加速模型的卷积权重进行融合，得到融合后的卷积权重；利用所述训练后的待加速模型的激活系数、量化系数和量化偏置值，对所述训练后的待加速模型的卷积偏置值进行融合，得到融合后的卷积偏置值；将所述融合后的卷积权重和所述融合后的卷积偏置值，作为所述卷积、激活和量化操作融合方式的融合结果。3.根据权利要求2所述的方法，其特征在于，所述根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果，包括：对所述卷积数据进行卷积推理处理，并将所述卷积推理处理中所调用的卷积权重和卷积偏置值，分别对应更新为所述融合后的卷积权重和所述融合后的卷积偏置值，得到所述卷积数据的卷积推理结果；将所述卷积推理结果，作为所述推理加速结果。4.根据权利要求1所述的方法，其特征在于，所述根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式，包括：当所述训练后的待加速模型的激活函数类型为分段处理类型时，确定与所述训练后的待加速模型相匹配的融合方式为激活和量化操作融合方式；所述根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果，包括：利用所述训练后的待加速模型的量化系数，对所述训练后的待加速模型的激活系数进行融合，得到融合后的激活系数，作为所述激活和量化操作融合方式的融合结果。5.根据权利要求4所述的方法，其特征在于，所述根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果，包括：
对所述卷积数据进行卷积推理处理，得到所述卷积数据的卷积后结果；对所述卷积后结果和所述融合后的激活系数进行激活函数运算，得到所述卷积数据的激活函数运算结果，作为所述推理加速结果。6.根据权利要求1所述的方法，其特征在于，所述根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果，包括：根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行离线融合运算，得到所述卷积参数、所述激活系数和所述量化参数的离线融合结果；所述离线融合运算在进行所述卷积推理加速之前离线处理完成。7.一种模型加速装置，其特征在于，所述装置包括：融合方式确定模块，用于根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式；所述操作融合方式表示所述训练后的待加速模型的卷积、激活和量化操作的融合方式；参数融合运算模块，用于根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果；卷积推理加速模块，用于根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果。8.根据权利要求7所述的装置，其特征在于，参数融合运算模块，还用于当所述训练后的待加速模型的激活函数类型为单一处理类型时，确定与所述训练后的待加速模型相匹配的融合方式为卷积、激活和量化操作融合方式；参数融合运算模块，还用于利用所述训练后的待加速模型的激活系数和量化系数，对所述训练后的待加速模型的卷积权重进行融合，得到融合后的卷积权重；利用所述训练后的待加速模型的激活系数、量化系数和量化偏置值，对所述训练后的待加速模型的卷积偏置值进行融合，得到融合后的卷积偏置值；将所述融合后的卷积权重和所述融合后的卷积偏置值，作为所述卷积、激活和量化操作融合方式的融合结果。9.一种集成电路，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
技术总结
本申请涉及一种模型加速方法、装置、集成电路、存储介质和计算机程序产品。所述方法包括：根据训练后的待加速模型的激活函数类型，得到与所述训练后的待加速模型相匹配的操作融合方式；所述操作融合方式表示所述训练后的待加速模型的卷积、激活和量化操作的融合方式；根据所述训练后的待加速模型的操作融合方式，对所述训练后的待加速模型的卷积参数、激活系数和量化参数进行融合运算，得到所述卷积参数、所述激活系数和所述量化参数的融合结果；根据所述融合结果，对输入到所述训练后的待加速模型中的卷积数据进行推理加速，得到所述卷积数据的推理加速结果。采用本方法能够提升深度神经网络的推理效率。升深度神经网络的推理效率。升深度神经网络的推理效率。
技术研发人员：张斌 沈小勇 吕江波
受保护的技术使用者：苏州思谋智能科技有限公司
技术研发日：2022.05.27
技术公布日：2022/6/28