技术特征：
1.一种获取算子数据的方法，包括：对神经网络中的网络片段进行融合优化，以获得融合算子，其中所述网络片段包括被融合算子；配置输出操作，使得所述融合算子的中间结果暂存至片上内存时，将所述中间结果从所述片上内存转载至片外，其中，所述中间结果为所述被融合算子的计算结果的至少一部分；对配置输出操作后的神经网络进行编译，以获得二进制指令；以及对所述二进制指令序列化，以获得离线模型文件。2.根据权利要求1所述的方法，其中所述配置输出操作的步骤包括：设置输出接口；其中，所述输出接口用于设置输出模式。3.根据权利要求2所述的方法，其中所述输出模式为关闭输出所述中间结果、所述中间结果为所述计算结果的特定部分或所述中间结果为所述计算结果的全部。4.一种离线模型操作方法，包括：对根据权利要求1至3任一项所述的方法所获取的离线模型文件进行反序列化，并确定输出操作，以获得推理模型；于运行时启动所述推理模型中的子进程，其中，所述子进程用于运算所述推理模型中的融合算子；当所述融合算子的中间结果暂存至片上内存时，将所述中间结果从所述片上内存转载至片外，其中，所述中间结果为被融合算子的计算结果的至少一部分。5.如权利要求4所述的离线模型操作方法，其中所述启动所述推理模型中的子进程的步骤包括：建立运行所述融合算子所需数据至所述子进程的管道。6.根据权利要求5所述的离线模型操作方法，其中所述管道的写端用以将所述中间结果写入至所述片上内存。7.如权利要求4所述的离线模型操作方法，还包括：在调用内核时执行所述融合算子的多个指令；其中，所述多个指令其中之一控制所述转载步骤。8.如权利要求7所述的离线模型操作方法，还包括：在调用内核后插入同步指令，以确保所述多个指令执行完毕。9.如权利要求5所述的离线模型操作方法，还包括：当所述推理模型执行完毕时，将转载的中间结果写入文件中。10.根据权利要求9所述的离线模型操作方法，其中所述管道的读端用以进行数据解析、去重、重组及写入所述文件中。11.一种计算机可读存储介质，其上存储有获取算子数据及离线模型操作的计算机程序代码，当所述计算机程序代码由处理装置运行时，执行权利要求1至10任一项所述的方法。12.一种计算机程序产品，包括获取算子数据及离线模型操作的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10任一项所述方法的步骤。
13.一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至10任一项所述方法的步骤。14.一种获取算子数据的处理装置，包括：融合模块，用以对神经网络中的网络片段进行融合优化，以获得融合算子，其中所述网络片段包括被融合算子；输出模块，用以配置输出操作，使得所述融合算子的中间结果暂存至片上内存时，将所述中间结果从所述片上内存转载至片外，其中，所述中间结果为所述被融合算子的计算结果的至少一部分；编译模块，用以对配置输出操作后的神经网络进行编译，以获得二进制指令；以及序列化模块，用以对所述二进制指令序列化，以获得离线模型文件。15.一种操作离线模型的计算装置，包括：反序列化模块，用以对根据权利要求14所述的处理装置所生成的离线模型文件进行反序列化，并确定输出操作，以获得推理模型；运算模块，用以于运行时启动所述推理模型中的子进程，其中，所述子进程用于运算所述推理模型中的融合算子；转载模块，用以当所述融合算子的中间结果暂存至片上内存时，将所述中间结果从所述片上内存转载至片外，其中，所述中间结果为被融合算子的计算结果的至少一部分。16.一种集成电路装置，包括根据权利要求14所述的处理装置及根据权利要求15所述的计算装置。17.一种板卡，包括根据权利要求16所述的集成电路装置。
技术总结
本发明涉及获取算子数据或离线模型操作的装置、板卡、方法及可读存储介质，其中本发明的计算装置包括在集成电路装置中，该集成电路装置包括通用互联接口和其他处理装置。计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。集成电路装置还可以包括存储装置，存储装置分别与计算装置和其他处理装置连接，用于计算装置和其他处理装置的数据存储。用于计算装置和其他处理装置的数据存储。用于计算装置和其他处理装置的数据存储。
技术研发人员：ꢀ(74)专利代理机构
受保护的技术使用者：中科寒武纪科技股份有限公司
技术研发日：2021.12.24
技术公布日：2022/4/8