多神经网络模型载入方法、装置、电子设备及存储介质与流程

1.本发明涉及人工智能领域，具体涉及一种多神经网络模型载入方法、装置、电子设备及存储介质。


背景技术：

2.人工智能在模型训练中需要大量的计算，但受限于其算法和计算本身的特性，被广泛使用的传统计算芯片无法满足这些需求，因此，需要为神经网络算法打造专用的芯片，也就是神经网络加速器。然而，在神经网络加速器中载入模型时，现有的技术可以压缩神经网络模型的体积，以缩短载入时间，却无法载入多个神经网络模型。


技术实现要素：

3.鉴于以上内容，有必要提出一种多神经网络模型载入方法、装置、电子设备及存储介质以接近在神经网络加速器无法载入多个神经网络模型以及在多个神经网络模型之间进行切换的技术问题。
4.本技术的第一方面提供多神经网络模型载入方法，所述方法包括：
5.编译至少两个神经网络模型，并生成与所述至少两个神经网络模型对应的至少两个二进制模型文件；
6.将所述至少两个二进制模型文件中的一个二进制模型文件作为基础模型，使用预设的差异计算方法计算并记录所述至少两个二进制模型文件中除所述基础模型外的每个二进制模型文件与所述基础模型之间的差异，生成差异记录文件；
7.使用预设的压缩方法压缩所述基础模型与所述差异记录文件，并生成输入文件；
8.在神经网络加速器中输入所述输入文件，解压缩所述输入文件得到所述基础模型与所述差异记录文件，并在神经网络加速器中载入所述基础模型与所述差异记录文件；
9.优选地，所述方法还包括：
10.根据所述差异记录文件修改所述基础模型的参数，以在神经网络加速器中将当前的基础模型切换至与所述修改的参数对应的神经网络模型。
11.优选地，所述至少两个二进制模型文件符合神经网络加速器格式要求。
12.优选地，所述使用预设的差异计算方法计算并记录所述至少两个二进制模型文件中除所述基础模型外的每个二进制模型文件与所述基础模型之间的差异包括：
13.以二进制格式比较所述至少两个二进制模型文件中除所述基础模型外的每个所述二进制文件与所述基础模型，记录每个所述神经网络模型的隐藏层连接和权重与所述基础模型的隐藏层连接和权重之间的差异。
14.优选地，所述使用预设的压缩方法压缩所述基础模型与所述差异记录文件，并生成输入文件包括：
15.使用无损编码压缩方法压缩所述基础模型与所述差异记录文件，并生成输入文件。
16.优选地，所述解压缩所述输入文件得到所述基础模型与所述差异记录文件包括：
17.使用与所述无损编码压缩方法对应的解码方法解压缩所述输入文件得到所述基础模型与所述差异记录文件。
18.优选地，所述根据差异记录文件修改所述基础模型的参数包括：
19.根据所述差异记录文件修改所述基础模型的权重和/或隐藏层连接。
20.本技术的第二方面提供一种多神经网络模型载入装置，所述装置包括：
21.编译模块，用于编译至少两个神经网络模型，并生成与所述至少两个神经网络模型对应的至少两个二进制模型文件；
22.差异记录模块，用于将所述至少两个二进制模型文件中的一个二进制模型文件作为基础模型，使用预设的差异计算方法计算并记录所述至少两个二进制模型文件中除所述基础模型外的每个二进制模型文件与所述基础模型之间的差异，生成差异记录文件；
23.压缩模块，用于使用预设的压缩方法压缩所述基础模型与所述差异记录文件，并生成输入文件；
24.载入模块，用于在神经网络加速器中输入所述输入文件，解压缩所述输入文件得到所述基础模型与所述差异记录文件，并在神经网络加速器中载入所述基础模型与所述差异记录文件。
25.本技术的第三方面提供一种电子设备，所述电子设备包括：存储器，存储至少一个指令；及处理器，执行所述存储器中存储的指令以实现所述多神经网络模型载入方法。
26.本技术的第四方面提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的多神经网络模型载入方法。
27.利用上述技术方案，可以在神经网络加速器中载入多个模型，不仅可压缩神经网络模型的体积、缩短载入时间，还可通过记录模型差异以及根据差异修改参数，来实现在神经网络加速器中快速切换神经网络模型的功能。
附图说明
28.图1为本发明一实施方式中一种多神经网络模型载入方法的流程图。
29.图2为本发明一实施方式中一种多神经网络模型载入装置的结构图。
30.图3为本发明一实施方式中实现多神经网络模型载入方法的电子设备的示意图。
31.主要元件符号说明
32.多神经网络模型载入装置40编译模块401差异计算模块402压缩模块403载入模块404电子设备6存储器61处理器62计算机程序63
具体实施方式
33.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
34.在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
36.优选地，本发明多神经网络模型载入方法应用在一个或者多个电子设备中。所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
37.所述电子设备可以是桌上型计算机、笔记本电脑、平板电脑及云端服务器等计算设备。所述电子设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
38.实施例1
39.图1是本发明一实施方式中多神经网络模型载入方法的流程图。所述多神经网络模型载入方法应用于电子设备中。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。
40.参阅图1所示，所述多神经网络模型载入方法具体包括以下步骤：
41.步骤s11，编译至少两个神经网络模型，并生成与所述至少两个神经网络模型对应的至少两个二进制模型文件。
42.本实施方式中，所述至少两个二进制模型文件符合神经网络加速器的格式。
43.本实施方式中，所述神经网络加速器可以是中央处理模块(central processing unit，cpu)，其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，还可以是专用的神经网络加速器。
44.步骤s12，将所述至少两个二进制模型文件中的一个二进制模型文件作为基础模型，使用预设的差异计算方法计算并记录所述至少两个二进制模型文件中除所述基础模型外的每个二进制模型文件与所述基础模型之间的差异，生成差异记录文件。
45.本实施方式中，所述计算并记录所述至少两个二进制模型文件中除所述基础模型外的每个二进制模型文件与所述基础模型之间的差异包括：
46.以二进制格式比较所述至少两个二进制模型文件中除所述基础模型外的每个所述二进制文件与所述基础模型，记录每个所述神经网络模型的隐藏层连接和权重与所述基础模型的隐藏层连接和权重之间的差异。
47.本实施方式中，所述预设的差异计算方法可以是差异算法(diff算法)，例如bitap算法。
48.例如，当所述预设的差异计算方法是bitap算法时，使用bitap算法计算所述至少两个二进制模型文件中除所述基础模型外的每个所述二进制模型文件与所述基础模型之间的差异，生成差异记录文件包括：
49.将所述至少两个二进制模型文件中除所述基础模型外的每个所述二进制文件与所述基础模型转换为可读格式；
50.根据所述至少两个二进制模型文件的键值，比较格式转换后的所述至少两个二进制模型文件中除所述基础模型外的每个所述二进制文件与所述基础模型，根据上述比较计算出所述至少两个二进制模型文件中除所述基础模型外的每个所述二进制文件与所述基础模型的差异。
51.步骤s13，使用预设的压缩方法压缩所述基础模型与所述差异记录文件，并生成输入文件。
52.本实施方式中，所述使用预设的压缩方法压缩所述基础模型与所述差异记录文件，并生成输入文件包括：
53.使用无损编码压缩方法压缩所述基础模型与所述差异记录文件，并生成输入文件。
54.具体地，所述无损编码压缩方法可以是哈夫曼编码或算术编码。
55.例如，当所述预设的压缩方法采用哈夫曼编码时，使用所述预设的压缩方法压缩所述基础模型与所述差异记录文件，并生成输入文件包括：
56.读取所述基础模型与所述差异记录文件作为输入文件；
57.统计所述输入文件中每个预设长度的字符段的频次；
58.根据所述频次构造哈夫曼树；
59.构造编译表，用于将字符与变长前缀映射；
60.将哈夫曼树编码为比特字符串并写入输出流；
61.将文件长度编码为比特字符串并写入所述输出流；
62.使用编码表编译每个字符串并写入所述输出流；
63.基于所述输出流生成所述输入文件。
64.步骤s14，在神经网络加速器中输入所述输入文件，解压缩所述输入文件得到所述基础模型与所述差异记录文件，并在神经网络加速器中载入所述基础模型与所述差异记录文件。
65.本实施方式是通过载入所述基础模型与所述差异记录文件实现了将多个神经网络模型载入至所述神经网络加速器中。
66.本实施方式中，所述解压缩所述输入文件得到所述基础模型与所述差异记录文件包括：
67.使用与所述无损编码压缩方法对应的解码方法解压缩所述输入文件得到所述基础模型与所述差异记录文件。
68.例如，当所述预设的压缩方法采用哈夫曼编码时，使用与哈夫曼编码对应的解码方法解压缩所述输入文件得到所述基础模型与所述差异记录文件，包括：
69.读取所述哈夫曼树；
70.读取所述文本长度；
71.根据读取到的所述哈夫曼树将所述输入文件解码为所述基础模型与所述差异记录文件。
72.此外，在进一步的实施方式中，所述方法还包括：
73.根据所述差异记录文件修改所述基础模型的参数，以在神经网络加速器中将当前的基础模型切换至与所述修改的参数对应的神经网络模型，具体可包括：
74.响应于收到的切换指令，解析所述切换指令中指示的目标模型，所述目标模型为所述编译的至少两个神经网络模型中除了基础模型以外的其他神经网络模型之一；
75.根据所述切换指令调用所述差异记录文件中所述目标模型与所述基础模型的差异记录，并根据所述差异记录修改所述基础模型的参数，实现在所述神经网络加速器上将当前的基础模型切换至目标模型。
76.本实施方式中，所述根据差异记录文件修改所述基础模型的参数包括：
77.根据所述差异记录文件修改所述基础模型的权重和/或隐藏层连接。
78.利用上述技术方案，可以通过载入基础模型以及记录了所述基础模型与其他神经网络模型之间的差异的差异记录文件，实现在神经网络加速器中载入多个神经网络模型，此外，还可进一步根据所述差异记录文件修改所述基础模型的参数，实现在神经网络加速器中快速切换神经网络模型的功能。
79.实际应用中，神经网络模型可以用于目标检测，本实施方式所实现的将多个神经网络模型载入到神经网络加速器中可以通过切换神经网络模型对图像中不同种类的目标物体进行有效地检测。
80.实施例2
81.图2为本发明一实施方式中多神经网络模型载入装置40的结构图。
82.在一些实施例中，所述多神经网络模型载入装置40运行于电子设备中。所述多神经网络模型载入装置40可以包括多个由程序代码段所组成的功能模块。所述多神经网络模型载入装置40中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行。
83.本实施例中，所述多神经网络模型载入装置40根据其所执行的功能，可以被划分为多个功能模块。参阅图3所示，所述多神经网络模型载入装置40可以包括编译模块401、差异计算模块402、压缩模块403及载入模块404。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。所述在一些实施例中，关于各模块的功能将在后续的实施例中详述。
84.所述编译模块401编译至少两个神经网络模型，并生成与所述至少两个神经网络模型对应的至少两个二进制模型文件。
85.本实施方式中，所述至少两个二进制模型文件符合神经网络加速器的格式。
86.本实施方式中，所述神经网络加速器可以是中央处理模块(central processing unit，cpu)，其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、
分立硬件组件等，还可以是专用的神经网络加速器。
87.所述差异计算模块402将所述至少两个二进制模型文件中的一个二进制模型文件作为基础模型，使用预设的差异计算方法计算并记录所述至少两个二进制模型文件中除所述基础模型外的每个二进制模型文件与所述基础模型之间的差异，生成差异记录文件。
88.本实施方式中，所述差异计算模块402所述计算并记录所述至少两个二进制模型文件中除所述基础模型外的每个二进制模型文件与所述基础模型之间的差异包括：
89.所述差异计算模块402以二进制格式比较所述至少两个二进制模型文件中除所述基础模型外的每个所述二进制文件与所述基础模型，记录每个所述神经网络模型的隐藏层连接和权重与所述基础模型的隐藏层连接和权重之间的差异。
90.本实施方式中，所述预设的差异计算方法可以是差异算法(diff算法)，例如bitap算法。
91.例如，当所述预设的差异计算方法是bitap算法时，所述差异计算模块402使用bitap算法计算所述至少两个二进制模型文件中除所述基础模型外的每个所述二进制模型文件与所述基础模型之间的差异，生成差异记录文件包括：
92.将所述至少两个二进制模型文件中除所述基础模型外的每个所述二进制文件与所述基础模型转换为可读格式；
93.根据所述至少两个二进制模型文件的键值，比较格式转换后的所述至少两个二进制模型文件中除所述基础模型外的每个所述二进制文件与所述基础模型，根据上述比较计算出所述至少两个二进制模型文件中除所述基础模型外的每个所述二进制文件与所述基础模型的差异。
94.所述压缩模块403使用预设的压缩方法压缩所述基础模型与所述差异记录文件，并生成输入文件。
95.本实施方式中，所述压缩模块403使用预设的压缩方法压缩所述基础模型与所述差异记录文件，并生成输入文件包括：
96.所述压缩模块403使用无损编码压缩方法压缩所述基础模型与所述差异记录文件，并生成输入文件。
97.具体地，所述无损编码压缩方法可以是哈夫曼编码或算术编码。
98.例如，当所述预设的压缩方法采用哈夫曼编码时，所述压缩模块403使用所述预设的压缩方法压缩所述基础模型与所述差异记录文件，并生成输入文件包括：
99.读取所述基础模型与所述差异记录文件作为输入文件；
100.统计所述输入文件中每个预设长度的字符段的频次；
101.根据所述频次构造哈夫曼树；
102.构造编译表，用于将字符与变长前缀映射；
103.将哈夫曼树编码为比特字符串并写入输出流；
104.将文件长度编码为比特字符串并写入所述输出流；
105.使用编码表编译每个字符串并写入所述输出流；
106.基于所述输出流生成所述输入文件。
107.所述载入模块404在神经网络加速器中输入所述输入文件，解压缩所述输入文件得到所述基础模型与所述差异记录文件，并在神经网络加速器中载入所述基础模型与所述
差异记录文件。
108.本实施方式是通过载入所述基础模型与所述差异记录文件实现了将多个神经网络模型载入至所述神经网络加速器中。
109.本实施方式中，所述载入模块404解压缩所述输入文件得到所述基础模型与所述差异记录文件包括：
110.所述载入模块404使用与所述无损编码压缩方法对应的解码方法解压缩所述输入文件得到所述基础模型与所述差异记录文件。
111.例如，当所述预设的压缩方法采用哈夫曼编码时，所述载入模块404使用与哈夫曼编码对应的解码方法解压缩所述输入文件得到所述基础模型与所述差异记录文件，包括：
112.读取所述哈夫曼树；
113.读取所述文本长度；
114.根据读取到的所述哈夫曼树将所述输入文件解码为所述基础模型与所述差异记录文件。
115.进一步地，在其他实施方式中，所述多神经网络模型载入装置40还包括切换模块，根据所述差异记录文件修改所述基础模型的参数，以在神经网络加速器中将当前的基础模型切换至与所修改的参数对应的神经网络模型，具体可包括：
116.所述切换模块响应于收到的切换指令，解析所述切换指令中指示的目标模型，所述目标模型为所述编译的至少两个神经网络模型中除了基础模型以外的其他神经网络模型之一；
117.所述切换模块根据所述切换指令调用所述差异记录文件中所述目标模型与所述基础模型的差异记录，并根据所述差异记录修改所述基础模型的参数，实现在所述神经网络加速器上将当前的基础模型切换至目标模型。
118.本实施方式中，所述切换模块根据差异记录文件修改所述基础模型的参数包括：
119.所述切换模块根据所述差异记录文件修改所述基础模型的权重和/或隐藏层连接。
120.利用上述技术方案，可以通过载入基础模型以及记录了所述基础模型与其他神经网络模型之间的差异的差异记录文件，实现在神经网络加速器中载入多个神经网络模型，此外，还可进一步根据所述差异记录文件修改所述基础模型的参数，实现在神经网络加速器中快速切换神经网络模型的功能。
121.实施例3
122.图3为本发明一实施方式中电子设备6的示意图。
123.所述电子设备6包括存储器61、处理器62以及存储在所述存储器61中并可在所述处理器62上运行的计算机程序63。所述处理器62执行所述计算机程序63时实现上述多神经网络模型载入方法实施例中的步骤，例如图1所示的步骤s11～s14。或者，所述处理器62执行所述计算机程序63时实现上述在多神经网络模型载入装置实施例中各模块/单元的功能，例如图2中的模块401～404。
124.示例性的，所述计算机程序63可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器62执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用
于描述所述计算机程序63在所述电子设备6中的执行过程。例如，所述计算机程序63可以被分割成图2中的编译模块401、差异计算模块402、压缩模块403及载入模块404，各模块具体功能参见实施例2。
125.本实施方式中，所述电子设备6可以是桌上型计算机、笔记本、掌上电脑及云端终端装置等计算设备。本领域技术人员可以理解，所述示意图仅仅是电子设备6的示例，并不构成对电子设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备6还可以包括输入输出设备、网络接入设备、总线等。
126.所称处理器62可以是中央处理模块(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器62也可以是任何常规的处理器等，所述处理器62是所述电子设备6的控制中心，利用各种接口和线路连接整个电子设备6的各个部分。
127.所述存储器61可用于存储所述计算机程序63和/或模块/单元，所述处理器62通过运行或执行存储在所述存储器61内的计算机程序和/或模块/单元，以及调用存储在存储器61内的数据，实现所述电子设备6的各种功能。所述存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备6的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
128.所述电子设备6集成的模块/单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
129.在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
130.另外，在本发明各个实施例中的各功能模块可以集成在相同处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在相同模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
131.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在
不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。电子设备权利要求中陈述的多个模块或电子设备也可以由同一个模块或电子设备通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
132.最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。