技术特征:
1.一种多神经网络模型载入方法,其特征在于,所述方法包括:编译至少两个神经网络模型,并生成与所述至少两个神经网络模型对应的至少两个二进制模型文件;将所述至少两个二进制模型文件中的一个二进制模型文件作为基础模型,使用预设的差异计算方法计算并记录所述至少两个二进制模型文件中除所述基础模型外的每个二进制模型文件与所述基础模型之间的差异,生成差异记录文件;使用预设的压缩方法压缩所述基础模型与所述差异记录文件,并生成输入文件;在神经网络加速器中输入所述输入文件,解压缩所述输入文件得到所述基础模型与所述差异记录文件,并在神经网络加速器中载入所述基础模型与所述差异记录文件。2.如权利要求1所述的多神经网络模型载入方法,其特征在于,所述方法还包括:根据所述差异记录文件修改所述基础模型的参数,以在神经网络加速器中将当前的基础模型切换至与所述修改的参数对应的神经网络模型。3.如权利要求1所述的多神经网络模型载入方法,其特征在于,所述至少两个二进制模型文件符合神经网络加速器格式要求。4.如权利要求1所述的多神经网络模型载入方法,其特征在于,所述使用预设的差异计算方法计算并记录所述至少两个二进制模型文件中除所述基础模型外的每个二进制模型文件与所述基础模型之间的差异包括:以二进制格式比较所述至少两个二进制模型文件中除所述基础模型外的每个所述二进制文件与所述基础模型,记录每个所述神经网络模型的隐藏层连接和权重与所述基础模型的隐藏层连接和权重之间的差异。5.如权利要求1所述的多神经网络模型载入方法,其特征在于,所述使用预设的压缩方法压缩所述基础模型与所述差异记录文件,并生成输入文件包括:使用无损编码压缩方法压缩所述基础模型与所述差异记录文件,并生成输入文件。6.如权利要求5所述的多神经网络模型载入方法,其特征在于,所述解压缩所述输入文件得到所述基础模型与所述差异记录文件包括:使用与所述无损编码压缩方法对应的解码方法解压缩所述输入文件得到所述基础模型与所述差异记录文件。7.如权利要求1所述的多神经网络模型载入方法,其特征在于,所述根据差异记录文件修改所述基础模型的参数包括:根据所述差异记录文件修改所述基础模型的权重和/或隐藏层连接。8.一种多神经网络模型载入装置,其特征在于,包括:编译模块,用于编译至少两个神经网络模型,并生成与所述至少两个神经网络模型对应的至少两个二进制模型文件;差异记录模块,用于将所述至少两个二进制模型文件中的一个二进制模型文件作为基础模型,使用预设的差异计算方法计算并记录所述至少两个二进制模型文件中除所述基础模型外的每个二进制模型文件与所述基础模型之间的差异,生成差异记录文件;压缩模块,用于使用预设的压缩方法压缩所述基础模型与所述差异记录文件,并生成输入文件;载入模块,用于在神经网络加速器中输入所述输入文件,解压缩所述输入文件得到所
述基础模型与所述差异记录文件,并在神经网络加速器中载入所述基础模型与所述差异记录文件。9.一种电子设备,其特征在于,所述电子设备包括:存储器,存储至少一个指令;及处理器,执行所述存储器中存储的指令以实现如权利要求1至7中任一项所述的多神经网络模型载入方法。10.一种计算机存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的多神经网络模型载入方法。
技术总结
本发明涉及一种多神经网络模型载入方法、装置、电子设备及存储介质。所述方法包括:编译至少两个神经网络模型,计算所述至少两个神经网络模型之间的差异,并通过预设的压缩方法生成模型文件;在神经网络加速器中输入所述模型文件,解码并载入经过编译的神经网络模型;切换神经网络模型时,根据所述差异修改神经网络基础模型的参数。本发明中,通过记录多个模型之间的差异并对模型与记录差异的文件进行编码,从而可以压缩神经网络模型的体积,以及实现在神经网络加速器中载入多个神经网络模型。现在神经网络加速器中载入多个神经网络模型。现在神经网络加速器中载入多个神经网络模型。
技术研发人员:孙国钦 郭锦斌
受保护的技术使用者:鸿海精密工业股份有限公司
技术研发日:2021.01.12
技术公布日:2022/7/18