神经网络压缩方法、装置和存储介质与流程

1.本发明实施例涉及计算机视觉技术领域，尤其涉及一种神经网络压缩方法、装置和存储介质。


背景技术：

2.随着深度学习模型越来越复杂，而过于复杂的模型在实际应用中，特别是在资源受限的物联网设备上运行时，复杂模型将导致功耗的上升，响应时间变长，以及占用过多的存储资源，从而影响物联网设备的性能。例如，对于训练数据集规模较小的应用，模型过于复杂度，可能会由于过拟合等问题导致性能有所下降。
3.因此，模型压缩技术得到了广泛的应用，剪枝是其中一种神经网络压缩方法。剪枝指删除模型中冗余的参数，从而减小模型体积，减少计算复杂度的方法。现有技术中的剪枝有多种方式，常见的有基于重要性的剪枝以及基于正则化的剪枝，前者的难点在于如何评判权值的重要性，后者的难点在于构造合适的惩罚项。


技术实现要素：

4.本发明提出了一种神经网络压缩方法、装置和存储介质，通过对剪枝方法的优化，实现对卷积神经网络的压缩效果的优化。
5.为了解决上述技术问题，本发明是这样实现的：
6.第一方面，本发明实施例提供了一种神经网络压缩方法，所述方法包括：
7.针对训练后的神经网络中的每一指定卷积层，依次执行以下操作：
8.在所述指定卷积层后分别添加编码层和激活层，得到待压缩的神经网络；所述编码层用于对所述指定卷积层输出的特征进行转化和提取；所述激活层用于对所述编码层输出的特征进行归一化映射；
9.采用训练图像集和验证图像集，将所述待压缩的神经网络训练m个迭代，直到所述激活层输出的特征向量的稀疏性满足第一阈值；
10.根据所述激活层输出的特征向量和第二阈值，删除所述指定卷积层中的冗余通道，获取剪枝后的指定卷积层；
11.获得对所有指定卷积层都完成剪枝后的压缩后的神经网络模型。
12.可选的，所述编码层包括一个全局平均池化层和两个全连接层，通过所述全局平均池化层对所述卷积层的特征进行转化，通过所述全连接层对转化后的所述卷积层的特征进行提取。
13.可选的，所述激活层通过激活函数中的第一调节参数α对所述激活层的输出向量的稀疏性进行调整，所述激活函数为：
[0014][0015]
其中，x是所述神经网络的输入，α是第一调节参数。
[0016]
可选的，所述第一调节参数α的值通过所述神经网络的损失函数约束。
[0017]
可选的，所述损失函数为：l＝∑
(x，y)
l(f(x，w)，y)+λ∑
α
g(α)；
[0018]
w为所述神经网络的权重，f(x，w)为所述神经网络的输出，y为样本的标签，∑
(x，y)
l(f(x，w)，y)为所述神经网络预测所产生的损失；
[0019]
λ∑
α
g(α)为α值的约束项，第二调节参数λ用于平衡所述神经网络预测所产生的损失与α值的约束项，g(α)为单调递减函数。
[0020]
可选的，所述的神经网络压缩方法，还包括：
[0021]
采用训练图像集和验证图像集，对所述对所有指定卷积层都完成剪枝后的所述压缩后的神经网络训练z个迭代。
[0022]
第二方面，本发明实施例提供了一种神经网络压缩装置，所述装置包括：
[0023]
第一处理模块，用于针对训练后的神经网络中的每一指定卷积层，依次执行以下操作：
[0024]
用于在所述指定卷积层后分别添加编码层和激活层，得到待压缩的神经网络；所述编码层用于对所述指定卷积层输出的特征进行转化和提取；所述激活层用于对所述编码层输出的特征进行归一化映射；
[0025]
用于采用训练图像集和验证图像集，将所述待压缩的神经网络训练m个迭代，直到所述激活层输出的特征向量的稀疏性满足第一阈值；
[0026]
用于根据所述激活层输出的特征向量和第二阈值，删除所述指定卷积层中的冗余通道，获取剪枝后的指定卷积层；
[0027]
第二处理模块，用于获得对所有指定卷积层都完成剪枝后的压缩后的神经网络模型。
[0028]
可选的，所述第一处理模块中的编码层包括：
[0029]
一个全局平均池化层和两个全连接层，通过所述全局平均池化层对所述卷积层的特征进行转化，通过所述全连接层对转化后的所述卷积层的特征进行提取。
[0030]
可选的，所述第一处理模块中的激活层用于通过激活函数中的第一调节参数α对所述激活层的输出向量的稀疏性进行调整，所述激活函数为：
[0031][0032]
其中，x是所述神经网络的输入，α是第一调节参数。
[0033]
可选的，所述第一调节参数α的值通过所述神经网络的损失函数约束。
[0034]
可选的，所述损失函数为：l＝∑
(x，y)
l(f(x，w)，y)+λ∑
α
g(α)；
[0035]
w为所述神经网络的权重，f(x，w)为所述神经网络的输出，y为样本的标签，∑
(x，y)
l(f(x，w)，y)为所述神经网络预测所产生的损失；
[0036]
λ∑
α
g(α)为α值的约束项，第二调节参数λ用于平衡所述神经网络预测所产生的损失与α值的约束项，g(α)为单调递减函数。
[0037]
可选的，所述的神经网络压缩装置，还包括：
[0038]
第三处理模块，用于采用训练图像集和验证图像集，对所述对所有指定卷积层都完成剪枝后的所述压缩后的神经网络训练z个迭代。
[0039]
第三方面，本发明实施例提供了一种网络设备，包括收发机和处理器；
[0040]
所述处理器，用于针对训练后的神经网络中的每一指定卷积层，依次执行以下操作：
[0041]
用于在所述指定卷积层后分别添加编码层和激活层，得到待压缩的神经网络；所述编码层用于对所述指定卷积层输出的特征进行转化和提取；所述激活层用于对所述编码层输出的特征进行归一化映射；
[0042]
用于采用训练图像集和验证图像集，将所述待压缩的神经网络训练m个迭代，直到所述激活层输出的特征向量的稀疏性满足第一阈值；
[0043]
用于根据所述激活层输出的特征向量和第二阈值，删除所述指定卷积层中的冗余通道，获取剪枝后的指定卷积层；
[0044]
所述处理器，还用于获得对所有指定卷积层都完成剪枝后的压缩后的神经网络模型。
[0045]
可选的，所述编码层包括一个全局平均池化层和两个全连接层，通过所述全局平均池化层对所述卷积层的特征进行转化，通过所述全连接层对转化后的所述卷积层的特征进行提取。
[0046]
可选的，所述激活层通过激活函数中的第一调节参数α对所述激活层的输出向量的稀疏性进行调整，所述激活函数为：
[0047][0048]
其中，x是所述神经网络的输入，α是第一调节参数。
[0049]
可选的，所述第一调节参数α的值通过所述神经网络的损失函数约束。
[0050]
可选的，所述损失函数为：l＝∑
(x，y)
l(f(x，w)，y)+λ∑
α
g(α)；
[0051]
w为所述神经网络的权重，f(x，w)为所述神经网络的输出，y为样本的标签，∑
(x，y)
l(f(x，w)，y)为所述神经网络预测所产生的损失；
[0052]
λ∑
α
g(α)为α值的约束项，第二调节参数λ用于平衡所述神经网络预测所产生的损失与α值的约束项，g(α)为单调递减函数。
[0053]
可选的，处理器还用于采用训练图像集和验证图像集，对所述对所有指定卷积层都完成剪枝后的所述压缩后的神经网络训练z个迭代。
[0054]
第四方面，本发明实施例提供了一种网络设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现上述第一方面的神经网络压缩方法的步骤。
[0055]
第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的神经网络压缩方法的步骤。
[0056]
本发明实施例提供的技术方案带来的有益效果至少包括：本发明提供的神经网络压缩方法，通过对训练后的神经网络的每一指定卷积层进行逐层执行如下操作：在所述指定卷积层后分别添加编码层和激活层，得到待压缩的神经网络；所述编码层用于对所述指定卷积层输出的特征进行转化和提取；所述激活层用于对所述编码层输出的特征进行归一化映射；采用训练图像集和验证图像集，将所述待压缩的神经网络训练m个迭代，直到所述激活层输出的特征向量的稀疏性满足第一阈值；根据所述激活层输出的特征向量和第二阈
值，删除所述指定卷积层中的冗余通道，获取剪枝后的指定卷积层；最后，获得对所有指定卷积层都完成剪枝后的压缩后的神经网络模型；通过上述方法实现对通过对剪枝方法的优化，实现对卷积神经网络的压缩效果的优化。
附图说明
[0057]
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0058]
图1为本发明实施例提供的一种神经网络压缩方法流程图；
[0059]
图2为本发明实施例提供的一种激活函数示意图；
[0060]
图3为本发明实施例提供的第一调整参数α变化对激活函数的影响示意图；
[0061]
图4为本发明实施例提供的一种函数g(x)示意图；
[0062]
图5为本发明实施例采用的cifar10图像数据库示意图；
[0063]
图6为本发明实施例提供的一种第一调整参数α约束与否对比图；
[0064]
图7为本发明实施例提供的一种神经网络压缩装置的结构示意图；
[0065]
图8为本发明实施例提供的一种网络设备的结构示意图；
[0066]
图9为本发明实施例提供的一种网络设备的结构示意图。
具体实施方式
[0067]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0068]
请参考图1，图1示出了本发明实施例提供的神经网络压缩方法流程图，所述方法包括：
[0069]
针对训练后的神经网络中的每一指定卷积层，依次执行以下操作：
[0070]
步骤11，在所述指定卷积层后分别添加编码层和激活层，得到待压缩的神经网络；所述编码层用于对所述指定卷积层输出的特征进行转化和提取；所述激活层用于对所述编码层输出的特征进行归一化映射。
[0071]
具体的，基于训练好的卷积神经网络，在指定的卷积层之后添加编码层和激活层(sigmoid)。编码层对当前层产生的输出进行特征进行转化和提取，，激活层对所述编码层输出的特征进行归一化映射，激活层输出的向量的物理意义是当前卷积核的重要程度。
[0072]
具体的，越重要的特征中的响应值越高，激活函数对输入特征进行非线性变换后，可以更好地区分各个通道的重要程度，更有利于根据激活层输出的向量进行通道剪枝。
[0073]
步骤12，采用训练图像集和验证图像集，将所述待压缩的神经网络训练m个迭代，直到所述激活层输出的特征向量的稀疏性满足第一阈值。
[0074]
具体的，m个迭代结束后，激活层的输出向量已经被稀疏化，能够进行下一步剪枝操作，而具体的稀疏性的阈值则为第一阈值。
[0075]
步骤13，根据所述激活层输出的特征向量和第二阈值，删除所述指定卷积层中的
冗余通道，获取剪枝后的指定卷积层。
[0076]
具体的，当所述激活层输出的特征向量的稀疏性满足第一阈值，即激活层的输出向量已经被稀疏化，此时将向量中趋近于0的值(设定第二阈值)所对应的通道进行剪枝。
[0077]
步骤14，获得对所有指定卷积层都完成剪枝后的压缩后的神经网络模型。
[0078]
具体的，对于神经网络中的每一个指定卷积层，逐层执行上述操作，直到最后一层需要剪枝的卷积层。
[0079]
值得注意的是，压缩后的神经网络模型中已经删除步骤11中添加的编码层与激活层。
[0080]
上述神经网络压缩方法，能够通过对剪枝方法的优化，实现对卷积神经网络的压缩效果的优化，能够对指定的卷积层进行剪枝，根据不同的需求，配置不同的剪枝比例，以使得剪枝后的神经网络保持更好的准确率。
[0081]
可选的，所述编码层包括一个全局平均池化层和两个全连接层，通过所述全局平均池化层对所述卷积层的特征进行转化，通过所述全连接层对转化后的所述卷积层的特征进行提取。
[0082]
具体的，通过全局平均池化层(gap，global average pooling)将当前连接的卷积层输出的向量进行降维，降低成一维向量，通过两个全连接层，对gap层的输出进行特征提取。
[0083]
可选的，所述激活层通过激活函数中的第一调节参数α对所述激活层的输出向量的稀疏性进行调整，所述激活函数为：
[0084][0085]
其中，x是所述神经网络的输入，α是第一调节参数。
[0086]
具体的，激活层中本方法使用自定义的激活函数psigmoid函数。通过第一调节参数α对所述激活层的输出向量的稀疏性进行调整。
[0087]
具体的，神经网络中的每个神经元节点接受上一层神经元的输出作为本神经元的输入，并将输出值传递给下一层。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称之为激活函数。
[0088]
其中，sigmoid函数是使用范围最广的一类激活函数，如图2所示的激活函数示意图，该激活函数为sigmoid函数连续、光滑、严格单调，以(0，0.5)中心对称，是一个非常良好的阈值函数。sigmoid函数的值域范围限制在(0，1)之间，由于[0，1]与概率值的范围是相对应的，因此sigmoid函数与概率分布关联。
[0089]
为了增加激活层输出向量的可分性(稀疏性)，本方法通过第一调节参数α，自定义psigmoid函数，对sigmoid函数增加陡峭处理。如图3所示的激活函数示意图，该激活函数为第一调节参数α的数值越大，psigmoid函数越陡峭，输出的向量越具有可分性(稀疏性)。
[0090]
可选的，所述第一调节参数α的值通过所述神经网络的损失函数约束。
[0091]
具体的，在训练的过程中，psigmoid函数中的参数α被添加到loss约束中，以确保能够随着迭代次数的增多α值逐渐增大并保持在一个合适的值。
[0092]
可选的，所述损失函数为：l＝∑
(x，y)
l(f(x，w)，y)+λ∑
α
g(α)；
[0093]
w为所述神经网络的权重，f(x，w)为所述神经网络的输出，y为样本的标签，∑
(x，y)
l(f(x，w)，y)为所述神经网络预测所产生的损失；
[0094]
λ∑
α
g(α)为α值的约束项，第二调节参数λ用于平衡所述神经网络预测所产生的损失与α值的约束项，g(α)为单调递减函数。
[0095]
具体的，为了适应各种网络结构，将第一调节参数α加入到损失函数中进行约束，实现第一调节参数α的自动优化，从而能够实现参数自适应。
[0096]
具体的，因为在网络训练的过程中，总是期望最小化损失函数l，而我们期望α的值变大，把α放在损失函数的第二项，会在损失函数的约束下越来越小，为了让第一调节参数α越来越大，用了g(α)函数进行调整，g(α)函数是一个单调递减的函数，示例性的，参考图4，g(α)＝sigmoid(-α)是一个(0，1)范围内的单调递减的函数。
[0097]
参考图6所示，若不对psigmoid中α值加损失函数的约束，α值不会朝着我们想要的变大的方向变化，则起不到增加sigmoid函数的陡峭度的目的。在将α值加入到损失函数的约束中，α值会随着迭代次数的增加而变大，并稳定在一个合适的值，这证明了我们提出的方法的有效性。
[0098]
可选的，所述的神经网络压缩方法，还包括：
[0099]
采用训练图像集和验证图像集，对所述对所有指定卷积层都完成剪枝后的所述压缩后的神经网络训练z个迭代。
[0100]
剪枝完成后，可通过再次训练使压缩后的神经网络更准确。
[0101]
综上所述，本发明实施例提供的神经网络压缩方法，编码层和激活层的组合，能适应各种网络结构，具有很好的普适性，并且充分利用了非线性变换函数的特点，通过将激活层参数加入到损失函数的约束中，实现参数自适应，更好地区分各个通道的重要程度，优化剪枝的效果，能够对网络结构进行优化，降低计算资源和存储资源，为在资源受限设备上运行高性能的神经网络提供支持。
[0102]
为了进一步说明本发明提供的神经网络压缩方法，以图像分类任务为例，使用cifar10数据库，来进一步说明本发明提供的神经网络压缩方法。
[0103]
cifar10相对比较简单，是由60000张32x32像素的彩色图片组成的图片数据库，分为10类，每类含6000张图片。如图5所示，这10类图片分别是飞机、车、鸟、猫、鹿、狗、青蛙、马、船和卡车。
[0104]
第一阶段，进行数据准备，将每张图像和相应的标签进行格式处理，每一张图像对应一个标签，生成训练集。
[0105]
第二阶段，定义网络结构，如以经典网络结构vgg16为例。采用第一阶段中的数据集对vgg16网络训练n个迭代，或者在imagenet预训练好的vgg16模型的基础上进行finetuning(微调)。得到在验证集上精度最好的模型，这个模型就是图1中步骤11中的训练好的模型。
[0106]
第三阶段，对于上述训练好的vgg16模型的指定卷积层(以指定所有卷积层为例)进行逐层剪枝。对每一个指定卷积层逐层执行以下操作：
[0107]
在每一个指定卷积层的后面添加编码层和激活层，得到待压缩的神经网络。其中，编码层由一个全局平均池化层(gap，global average pooling)和两个全连接层组成。
[0108]
采用训练图像集和验证图像集，将待压缩的神经网络训练m个迭代，直到所述激活层输出的特征向量的稀疏性满足第一阈值。
[0109]
然后根据激活层的输出进行剪枝。例如对于第一个卷积层，卷积产生的特征的维度是112*112*64，经过一个gap层得到1*64维的向量，然后分别经过两个全连接层fc(64，16)和fc(16，64)，括号中的数字分别表示输入维度和输出维度。将编码层产生的向量经过一层激活层，这里激活层的激活函数是自定义的psigmoid函数，在训练m个迭代之后，激活层的输出是一个1*64维的向量，向量中的每一个值的范围是[0，1]，数值越小表示所对应的卷积核通道的重要程度越小。由于我们将psigmoid函数的参数进行了约束，激活层的输出更加稀疏，重要程度小的卷积核通道对应的向量中的值分布在0附近，根据第二阈值，我们将冗余通道进行删除，就完成了一个卷积层的剪枝。vgg16网络一共有13个卷积层，我们重复执行上述操作13次。
[0110]
第四阶段，将所有卷积层剪枝完成之后的模型，在cifar10的训练数据集上训练n次。
[0111]
第五阶段，保存剪枝完成后的网络模型参数。
[0112]
表1 cifar10数据集在vgg16模型上的剪枝结果
[0113][0114]
参考表1，通过上述实验结果，我们可以看到，cifar10数据集在vgg16上进行60％左右的剪枝时，精度不会发生明显的变化，在误差范围之内。当剪枝率达到80％的时候，精度会有一定的下降，但是可以看到模型大小降低了很多，已经降低到了2.72m。值得注意的是，我们这里使用的vgg16模型，不是最原始的13层卷积加三层全连接的结构，由于全连接层参数过于庞大，我们将使用gap层替换前两个全连接层，只保留了最后一个用于分类的全连接层。
[0115]
另外，虽然这里的具体实施例是cifar10数据集在vgg16模型上剪枝，但是本方案并不限于此数据集和此网络结构-可以用于其他网络结构。
[0116]
请参考图7，本发明实施例提供一种神经网络压缩装置70，包括：
[0117]
第一处理模块71，用于针对训练后的神经网络中的每一指定卷积层，依次执行以下操作：
[0118]
用于在所述指定卷积层后分别添加编码层和激活层，得到待压缩的神经网络；所述编码层用于对所述指定卷积层输出的特征进行转化和提取；所述激活层用于对所述编码层输出的特征进行归一化映射；
[0119]
用于采用训练图像集和验证图像集，将所述待压缩的神经网络训练m个迭代，直到所述激活层输出的特征向量的稀疏性满足第一阈值；
[0120]
用于根据所述激活层输出的特征向量和第二阈值，删除所述指定卷积层中的冗余通道，获取剪枝后的指定卷积层；
[0121]
第二处理模块72，用于获得对所有指定卷积层都完成剪枝后的压缩后的神经网络模型。
[0122]
可选的，所述第一处理模块71中的编码层包括：
[0123]
一个全局平均池化层和两个全连接层，通过所述全局平均池化层对所述卷积层的特征进行转化，通过所述全连接层对转化后的所述卷积层的特征进行提取。
[0124]
可选的，所述第一处理模块71中的激活层用于通过激活函数中的第一调节参数α对所述激活层的输出向量的稀疏性进行调整，所述激活函数为：
[0125][0126]
其中，x是所述神经网络的输入，α是第一调节参数。
[0127]
可选的，所述第一调节参数α的值通过所述神经网络的损失函数约束。
[0128]
可选的，所述损失函数为：l＝∑
(x，y)
l(f(x，w)，y)+λ∑
α
g(α)；
[0129]
w为所述神经网络的权重，f(x，w)为所述神经网络的输出，y为样本的标签，∑
(x，y)
l(f(x，w)，y)为所述神经网络预测所产生的损失；
[0130]
λ∑
α
g(α)为α值的约束项，第二调节参数λ用于平衡所述神经网络预测所产生的损失与α值的约束项，g(α)为单调递减函数。
[0131]
可选的，参考图7，所述的神经网络压缩装置70，还包括：
[0132]
第三处理模块73，用于采用训练图像集和验证图像集，对所述对所有指定卷积层都完成剪枝后的所述压缩后的神经网络训练z个迭代。
[0133]
通过上述神经网络压缩装置的各个模块，能够通过编码层和激活层的组合，适应各种网络结构，具有很好的普适性，并且充分利用了非线性变换函数的特点，通过将激活层参数加入到损失函数的约束中，实现参数自适应，更好地区分各个通道的重要程度，优化剪枝的效果，能够对网络结构进行优化，降低计算资源和存储资源，为在资源受限设备上运行高性能的神经网络提供支持。
[0134]
请参考图8，本发明实施例还提供一种网络设备80，包括收发机81和处理器82；
[0135]
所述处理器82，用于针对训练后的神经网络中的每一指定卷积层，依次执行以下操作：
[0136]
用于在所述指定卷积层后分别添加编码层和激活层，得到待压缩的神经网络；所述编码层用于对所述指定卷积层输出的特征进行转化和提取；所述激活层用于对所述编码层输出的特征进行归一化映射；
[0137]
用于采用训练图像集和验证图像集，将所述待压缩的神经网络训练m个迭代，直到所述激活层输出的特征向量的稀疏性满足第一阈值；
[0138]
用于根据所述激活层输出的特征向量和第二阈值，删除所述指定卷积层中的冗余通道，获取剪枝后的指定卷积层；
[0139]
所述处理器82，还用于获得对所有指定卷积层都完成剪枝后的压缩后的神经网络模型。
[0140]
可选的，所述编码层包括一个全局平均池化层和两个全连接层，通过所述全局平
均池化层对所述卷积层的特征进行转化，通过所述全连接层对转化后的所述卷积层的特征进行提取。
[0141]
可选的，所述激活层通过激活函数中的第一调节参数α对所述激活层的输出向量的稀疏性进行调整，所述激活函数为：
[0142][0143]
其中，x是所述神经网络的输入，α是第一调节参数。
[0144]
可选的，所述第一调节参数α的值通过所述神经网络的损失函数约束。
[0145]
可选的，所述损失函数为：l＝∑
(x，y)
l(f(x，w)，y)+λ∑
α
g(α)；
[0146]
w为所述神经网络的权重，f(x，w)为所述神经网络的输出，y为样本的标签，∑
(x，y)
l(f(x，w)，y)为所述神经网络预测所产生的损失；
[0147]
λ∑
α
g(α)为α值的约束项，第二调节参数λ用于平衡所述神经网络预测所产生的损失与α值的约束项，g(α)为单调递减函数。
[0148]
可选的，处理器82还用于采用训练图像集和验证图像集，对所述对所有指定卷积层都完成剪枝后的所述压缩后的神经网络训练z个迭代。
[0149]
通过上述网络设备的各个模块，能够通过编码层和激活层的组合，适应各种网络结构，具有很好的普适性，并且充分利用了非线性变换函数的特点，通过将激活层参数加入到损失函数的约束中，实现参数自适应，更好地区分各个通道的重要程度，优化剪枝的效果，能够对网络结构进行优化，降低计算资源和存储资源，为在资源受限设备上运行高性能的神经网络提供支持。
[0150]
请参考图9，本发明实施例还提供一种网络设备90，包括处理器91，存储器92，存储在存储器92上并可在所述处理器91上运行的计算机程序，该计算机程序被处理器91执行时实现上述神经网络压缩方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0151]
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述神经网络压缩方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等。
[0152]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0153]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务
器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0154]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。