一种神经网络模型量化方法、设备、产品及介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种神经网络模型量化方法、设备、产品及介质。


背景技术：

2.目前，神经网络模型通常包含有数百万的模型参数，这些模型参数一般是浮点数，占用了很大的磁盘空间，而由于普通的压缩算法很难压缩其占用的磁盘空间，因此，引入了神经网络模型量化技术。
3.现有技术中，通常是在神经网络模型训练过程中在梯度回传时对神经网络模型的权重进行量化，同时使用直通估计器规定量化运算的梯度为1，从而使梯度连续，然而，这种基于直通估计器的神经网络模型量化方法会使神经网络模型的性能出现一定下降。


技术实现要素：

4.本技术实施例提供了一种神经网络模型量化方法、设备、产品及介质，用以解决现有技术利用直通估计器量化神经网络模型时导致神经网络模型性能下降的问题。
5.本技术实施例提供的技术方案如下：
6.一方面，本技术实施例提供了一种神经网络模型量化方法，包括：
7.获取预先训练的用于对输入的图像数据进行处理且各权重为浮点数的第一神经网络模型；
8.基于梯度调整函数，分别对第一神经网络模型的各权重进行调整，得到第二神经网络模型；其中，梯度调整函数在正向传播时为恒等函数，在反向传播时分别对第一神经网络模型的各权重进行调整，使得第一神经网络模型的各权重分别收敛于其对应的量化整数值；
9.基于权重量化系数，分别对第二神经网络模型的各权重进行量化，得到目标神经网络模型；其中，权重量化系数用于将第二神经网络模型的各权重分别映射到其对应的整数域上。
10.另一方面，本技术实施例提供了一种电子设备，包括：存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本技术实施例提供的神经网络模型量化方法。
11.另一方面，本技术实施例还提供了一种计算机程序产品，计算机程序产品包括程序代码，程序代码在处理器上运行时实现本技术实施例提供的神经网络模型量化方法。
12.另一方面，本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现本技术实施例提供的神经网络模型量化方法。
13.本技术实施例的有益效果如下：
14.本技术实施例中，通过利用梯度调整函数调整神经网络模型的各权重使神经网络
模型的各权重分别收敛于其对应的量化整数值后再基于权重量化系数分别对神经网络模型的各权重进行量化，可以实现完全绕过直通估计器的模型量化，从而在达到了模型量化效果的同时，保持了神经网络模型的最优性能，在不影响神经网络模型对输入的图像数据的处理精度的同时，有效地解决了因借助直通估计器进行模型量化引起的模型性能下降的问题。
15.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地可以从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中特别指出的结构来实现和获得。
附图说明
16.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
17.图1为本技术实施例中神经网络模型量化方法的总体框架示意图；
18.图2为本技术实施例中神经网络模型量化方法的概况流程示意图；
19.图3为本技术实施例中中间神经网络模型训练方法的概况流程示意图；
20.图4为本技术实施例中神经网络模型量化装置的功能结构示意图；
21.图5为本技术实施例中电子设备的硬件结构示意图。
具体实施方式
22.为了使本技术的目的、技术方案及有益效果更加清楚明白，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，并不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
23.为便于本领域技术人员更好地理解本技术，下面先对本技术涉及的技术用语进行简单介绍。
24.‑‑‑
神经网络模型，为基于深度学习、机器学习等技术获得的用于对输入的图像数据进行处理的模型，例如，用于对输入的图像中的人脸、行人、车辆、车道线、文字等目标对象进行识别的神经网络模型，用于对输入的图像中目标对象的关键点、姿态、行为等特征信息进行提取的神经网络模型，用于对输入的至少两张图像进行图像融合的神经网络模型，用于对输入的图像中的人脸、人像、动物等目标对象进行三维重建的神经网络模型等。本技术实施例中，神经网络模型包括第一神经网络模型、中间神经网络模型、第二神经网络模型和目标神经网络模型，其中；
25.第一神经网络模型，为基于训练样本集(例如训练样本图像集)对初始神经网络模型进行迭代训练获得的各权重为浮点数的神经网络模型；
26.中间神经网络模型，为基于梯度调整函数分别对第一神经网络模型的各权重进行变形得到的神经网络模型；
27.第二神经网络模型，为基于训练样本集对中间神经网络模型进行迭代训练得到的各权重无限接近于其对应的量化整数值的浮点数的神经网络模型；
28.目标神经网络模型，为基于权重量化系数分别对第二神经网络模型的各权重进行量化得到的各权重分别映射在其对应的整数域上的神经网络模型。
29.‑‑‑
梯度调整函数，为在正向传播时为恒等函数，在反向传播时利用各权重的权重量化参数调整各权重的当前梯度以调整各权重使各权重分别收敛于其对应的量化整数值的浮点数的函数。本技术实施例中，梯度调整函数可以是但不限于是梯度陷阱衰减函数。
30.‑‑‑
权重量化系数，为用于将各权重分别映射到其对应的整数域上的参数。本技术实施例中，以神经网络模型中的卷积层为例，权重量化系数可以是基于channel-wise的变量，由于卷积层的各权重的形状为(oc,ic,kernel_size1,kernel_size2)，因此chennel-wise可以保留第一个维度oc；其中，oc表征输出通道数，ic表征输入通道数，kernel_size1和kernel_size2分别表征卷积核的长和宽。
31.‑‑‑
梯度比例参数，为基于训练样本集对中间神经网络模型进行迭代训练的过程中，在反向传播时，利用各权重的权重量化参数确定出的表征各权重在本次迭代训练的目标梯度与在上次迭代训练的当前梯度之间的比例关系的参数。
32.需要说明的是，本技术中提及的“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样的用语在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
33.在介绍了本技术涉及的技术用语后，接下来，对本技术实施例的应用场景和设计思想进行简单介绍。
34.近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(slam)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
35.基于计算机视觉、深度学习、机器学习、图像处理、图像识别等技术获得的神经网络模型是人工智能的一个重要应用，例如，用于对输入的图像中目标对象的关键点、姿态、行为等特征信息进行提取的神经网络模型，用于对输入的图像中的人脸、行人、车辆、车道线、文字等目标对象进行识别的神经网络模型，用于对输入的至少两张图像进行图像融合的神经网络模型，用于对输入的图像中的人脸、人像、动物等目标对象进行三维重建的神经网络模型等，实际应用中，这些神经网络模型通常包含有数百万的模型参数，例如卷积层和全连接层中的各权重，这些模型参数一般都是浮点数，占用了很大的磁盘空间，为了降低这些模型参数占用的磁盘空间，可以利用直通估计器对神经网络模型进行量化，然而，这种基
于直通估计器的神经网络模型量化方法虽然可以降低模型参数占用的磁盘空间，但也会使神经网络模型的性能出现一定下降。
36.为此，本技术实施例中，参阅图1所示，针对预先训练的用于对输入的图像数据进行处理且各权重为浮点数的第一神经网络模型，先基于梯度调整函数，分别对第一神经网络模型的各权重进行调整，得到各权重分别收敛于其对应的量化整数值的第二神经网络模型后，再基于权重量化系数，分别对第二神经网络模型的各权重进行量化，得到各权重分别映射在其对应的整数域上的目标神经网络模型。这样，通过利用梯度调整函数调整神经网络模型的各权重使神经网络模型的各权重分别收敛于其对应的量化整数值后再基于权重量化系数分别对神经网络模型的各权重进行量化，可以实现完全绕过直通估计器的模型量化，从而在达到了模型量化效果的同时，保持了神经网络模型的最优性能，在不影响神经网络模型对输入的图像数据的处理精度的同时，有效地解决了因借助直通估计器进行模型量化引起的模型性能下降的问题。
37.在介绍了本技术实施例的应用场景和设计思想之后，下面对本技术实施例提供的技术方案进行详细说明。
38.本技术实施例提供了一种神经网络模型量化方法，该神经网络模型量化装置可以应用于计算机、服务器等电子设备，参阅图2所示，本技术实施例提供的神经网络模型量化方法的概况流程如下：
39.步骤201：电子设备获取预先训练的用于对输入的图像数据进行处理且各权重为浮点数的第一神经网络模型。
40.实际应用中，电子设备可以预先基于训练样本集(例如训练样本图像集)对初始神经网络模型进行迭代训练获得用于对输入的图像数据进行处理且各权重为浮点数的第一神经网络模型，也可以直接获取预先训练好的用于对输入的图像数据进行处理且各权重为浮点数的第一神经网络模型。
41.步骤202：电子设备基于梯度调整函数，分别对第一神经网络模型的各权重进行调整，得到第二神经网络模型。
42.实际应用中，电子设备执行步骤202时，可以采用但不限于以下方式：
43.首先，电子设备基于梯度调整函数，分别对第一神经网络模型的各权重进行变形，得到中间神经网络模型。
44.例如，电子设备可以采用下述公式(1)分别对第一神经网络模型的各权重进行变形，得到中间神经网络模型；
45.new_w＝f(old_w)
……
公式(1)
46.其中，old_w表征第一神经网络模型的任一权重，f表征梯度调整函数，new_w表征基于梯度调整函数对第一神经网络模型的任一权重进行变形后得到的权重。
47.然后，电子设备基于训练样本集(例如训练样本图像集)，对中间神经网络模型进行训练，得到第二神经网络模型。
48.这样，通过基于训练样本集对利用梯度调整函数分别对第一神经网络模型的各权重进行变形得到的中间神经网络模型训练一段时间后，即可使中间神经网络模型的各权重无限接近于其对应的量化整数值的浮点数，即中间神经网络模型的各权重分别收敛于其对应的量化整数值的浮点数，从而得到了各权重为浮点数的第二神经网络模型。
49.步骤203：电子设备基于权重量化系数，分别对第二神经网络模型的各权重进行量化，得到目标神经网络模型。
50.实际应用中，电子设备基于梯度调整函数分别对第一神经网络模型的各权重进行调整得到的第二神经网络模型的各权重为浮点数，为了降低各权重占用的存储空间，电子设备还可以基于权重量化系数，分别对第二神经网络模型的各权重进行量化，具体可以基于权重量化系数，分别将第二神经网络模型的各权重映射到相应的整数域上，得到各权重的量化权重后，即可基于各量化权重，得到目标神经网络模型。
51.在具体实施时，电子设备基于权重量化系数，分别将第二神经网络模型的各权重映射到相应的整数域上，得到各权重的量化权重时，可以采用但不限于以下方式：
52.第一种方式：电子设备针对第二神经网络模型的每一权重，可以基于该权重和权重量化系数的乘积的整数值与权重量化系数的比值，确定该权重的量化值，将该权重的量化值确定为该权重的量化权重。
53.例如，电子设备针对第二神经网络模型的每一权重，可以采用下述公式(2)获得该权重的量化权重；
54.w_q＝round(w*scale)/scale
……
公式(2)
55.其中，w表征第二神经网络模型的任一权重，scale表征权重量化系数，round表征按照指定位数进行四舍五入，w_q表征第二神经网络模型的任一权重的量化权重。
56.第二种方式：电子设备针对第二神经网络模型的每一权重，将该权重和权重量化系数的乘积的整数值确定为该权重的量化权重。
57.例如，电子设备针对第二神经网络模型的每一权重，可以采用下述公式(3)获得该权重的量化权重；
58.w_int＝round(w*scale)
……
公式(3)
59.其中，w表征第二神经网络模型的任一权重，scale表征权重量化系数，round表征按照指定位数进行四舍五入，w_int表征第二神经网络模型的任一权重的量化权重。
60.本技术实施例中，电子设备针对预先训练的用于对输入的图像数据进行处理且各权重为浮点数的第一神经网络模型，先基于梯度调整函数分别对第一神经网络模型的各权重进行变形得到中间神经网络模型，并基于训练样本集对中间神经网络模型进行训练得到各权重分别收敛于其对应的量化整数值的第二神经网络模型后，再基于权重量化系数，分别对第二神经网络模型的各权重进行量化，即可得到各权重分别映射在其对应的整数域上的目标神经网络模型，从而实现了完全绕过直通估计器的模型量化，在达到了模型量化效果的同时，保持了神经网络模型的最优性能以及神经网络模型对输入的图像数据的处理精度。
61.接下来，对本技术实施例中基于训练样本集(例如训练样本图像集)对中间神经网络模型进行训练时的中间神经网络模型训练方法进行简单介绍，参阅图3所示，本技术实施例提供的中间神经网络模型的训练方法的概况流程如下：
62.步骤301：电子设备基于训练样本集，对中间神经网络模型进行迭代训练；每次迭代训练包括：从训练样本集中选取目标训练样本；将目标训练样本输入中间神经网络模型，得到目标训练样本的预测结果，并基于目标训练样本的预测结果和标注结果，得到目标损失值；基于中间神经网络模型的各权重和各权重的权重量化参数，确定各权重的梯度比例
参数，分别基于各权重的梯度比例参数和当前梯度，确定各权重的第一目标梯度；分别基于目标损失值和各权重的第一目标梯度更新各权重，得到各目标权重；其中，各权重的当前梯度为上次迭代训练获得的各权重的第一目标梯度。
63.例如，电子设备在每次迭代训练过程中，在基于中间神经网络模型的各权重和各权重的权重量化参数，确定各权重的梯度比例参数时，针对中间神经网络模型的各权重，可以采用下述公式(4)获得该权重的梯度比例参数；
64.g_scale＝1-exp(-(6*abs(w/scale-round(w/scale)))^2/2)
……
公式(4)
65.其中，w表征中间神经网络模型的任一权重，scale表征中间神经网络模型的任一权重w的权重量化参数，g_scale表征中间神经网络模型的任一权重w的梯度比例参数，exp表征以自然常数e为底的指数函数，abs表征求绝对值的lv函数，round表征按照指定位数进行四舍五入。
66.进一步的，电子设备针对中间神经网络模型的各权重，采用上述公式(4)获得该权重的梯度比例参数后，还可以采用下述公式(5)获得该权重的第一目标梯度；
67.new_gradient＝old_gradient*g_scale
……
公式(5)
68.其中，new_gradient表征中间神经网络模型的任一权重w的第一目标梯度，old_gradient表征中间神经网络模型的任一权重w的当前梯度(即上次迭代训练获得的该任一权重w的第一目标梯度)，g_scale表征中间神经网络模型的任一权重w的梯度比例参数。
69.值得说的是，本技术实施例中，为了使中间神经网络模型的各权重能够更快地收敛到其对应的量化整数值，电子设备在基于中间神经网络模型的各权重和各权重的权重量化参数，确定各权重的梯度比例参数之后，在分别基于各权重的梯度比例参数和当前梯度，确定各权重的第一目标梯度之前，还可以对各权重的梯度比例参数进行优化，具体的，电子设备可以采用但不限于以下方式：
70.第一种方式：基于牛顿动量法的优化。
71.在具体实施时，电子设备针对中间神经网络模型的每一权重，获取不包含梯度比例参数时该权重的第二目标梯度，确定基于第二目标梯度和目标损失值更新后的新权重相比该权重更接近整数时，将该权重的梯度比例参数设置为1，否则，保持该权重的梯度比例参数不变。
72.例如，取new_g_scale＝alpha*g_scale+(1-alpha)*1，其中，g_scale表征中间神经网络模型的任一权重所对应的梯度比例参数，new_g_scale表征中间神经网络模型的任一权重所对应的更新后的梯度比例参数，alpha表征比例优化参数；电子设备针对中间神经网络模型的每一权重w，可以先计算不包含梯度比例参数g_scale时权重w经过梯度下降优化后的新权重new_w，当新权重new_w相比权重w更接近整数时，取alpha＝0，使权重w的梯度比例参数g_scale更新为new_g_scale＝1，否则，取alpha＝1，使权重w的梯度比例参数g_scale保持不变。
73.第二种方式：基于单向梯度收敛的优化。
74.在具体实施时，电子设备在采用上述公式(4)确定中间神经网络模型的各权重的梯度比例参数，分别基于各权重的梯度比例参数和当前梯度，确定各权重的第一目标梯度，并分别基于各权重的第一目标梯度更新各权重的过程中，由于上述公式(4)中abs函数的存在，梯度衰减是不考虑更新后的新权重的移动方向的，基于此，电子设备针对中间神经网络
模型的每一权重，基于该权重的当前梯度确定该权重与该权重的权重量化参数的比值向距离该比值最近的整数移动时，将该权重的梯度比例参数设置为1，否则，保持该权重的梯度比例参数不变。
75.例如，取new_g_scale＝beta*g_scale+(1-beta)*1，其中，g_scale表征中间神经网络模型的任一权重所对应的梯度比例参数，new_g_scale表征中间神经网络模型的任一权重所对应的更新后的梯度比例参数，beta表征比例优化参数；电子设备针对中间神经网络模型的每一权重w，确定权重w的当前梯度old_gradient的符号使得权重w与权重w的权重量化参数scale的比值w/scale向与比值w/scale最近的整数移动时(例如，若当前梯度old_gradient与比值w/scale的差值的符号为正，则可以确定当前梯度old_gradient的符号使比值w/scale向与比值w/scale最近的整数移动)，取1-beta＝1(即beta＝0)，使权重w的梯度比例参数g_scale更新为new_g_scale＝1，将权重w的梯度比例参数设置为1，否则，确定权重w的当前梯度old_gradient的符号使得权重w与权重w的权重量化参数scale的比值w/scale向远离与比值w/scale最近的整数移动时(例如，若当前梯度old_gradient与比值w/scale的差值的符号为负，则可以确定当前梯度old_gradient的符号使比值w/scale向远离与比值w/scale最近的整数移动)，取beta＝1，使权重w的梯度比例参数g_scale保持不变。
76.步骤302：电子设备判断迭代训练的次数是否达到设定次数；若是，则执行步骤303；若否，则返回步骤301。
77.步骤303：电子设备基于最后一次迭代训练获得的各目标权重，得到第二神经网络模型。
78.基于同一发明构思，本技术实施例还提供了一种神经网络模型量化装置，该神经网络模型量化装置可以应用于计算机、服务器等电子设备，参阅图4所示，本技术实施例提供的神经网络模型量化装置400至少包括：
79.模型获取单元401，用于获取预先训练的用于对输入的图像数据进行处理且各权重为浮点数的第一神经网络模型；
80.模型调整单元402，用于基于梯度调整函数，分别对第一神经网络模型的各权重进行调整，得到第二神经网络模型；其中，梯度调整函数在正向传播时为恒等函数，在反向传播时分别对第一神经网络模型的各权重进行调整，使得第一神经网络模型的各权重分别收敛于其对应的量化整数值；
81.模型量化单元403，用于基于权重量化系数，分别对第二神经网络模型的各权重进行量化，得到目标神经网络模型；其中，权重量化系数用于将第二神经网络模型的各权重分别映射到其对应的整数域上。
82.在一种可能的实施方式中，基于梯度调整函数，分别对第一神经网络模型的各权重进行调整，得到第二神经网络模型时，模型调整单元402具体用于：
83.基于梯度调整函数，分别对第一神经网络模型的各权重进行变形，得到中间神经网络模型；
84.基于训练样本集，对中间神经网络模型进行训练，得到第二神经网络模型。
85.在一种可能的实施方式中，基于训练样本集，对中间神经网络模型进行训练，得到第二神经网络模型时，模型调整单元402具体用于：
86.基于训练样本集，对中间神经网络模型进行迭代训练，直至确定迭代训练的次数
达到设定次数时，基于最后一次迭代训练获得的各目标权重，得到第二神经网络模型；其中，每次迭代训练包括：
87.从训练样本集中选取目标训练样本；
88.将目标训练样本输入中间神经网络模型，得到目标训练样本的预测结果，并基于目标训练样本的预测结果和标注结果，得到目标损失值；
89.基于中间神经网络模型的各权重和各权重的权重量化参数，确定各权重的梯度比例参数，分别基于各权重的梯度比例参数和当前梯度，确定各权重的第一目标梯度；其中，各权重的当前梯度为上次迭代训练获得的各权重的第一目标梯度；
90.分别基于目标损失值和各权重的第一目标梯度，更新各权重，得到各目标权重。
91.在一种可能的实施方式中，分别基于各权重的梯度比例参数和当前梯度，确定各权重的第一目标梯度之前，模型调整单元402还用于：
92.针对中间神经网络模型的每一权重，获取不包含梯度比例参数时权重的第二目标梯度，确定基于第二目标梯度和目标损失值更新后的权重相比权重更接近整数时，将权重的梯度比例参数设置为1，否则，保持权重的梯度比例参数不变。
93.在一种可能的实施方式中，分别基于各权重的梯度比例参数和当前梯度，确定各权重的第一目标梯度之前，模型调整单元402还用于：
94.针对中间神经网络模型的每一权重，基于权重的当前梯度确定权重与权重的权重量化参数的比值向距离比值最近的整数移动时，将权重的梯度比例参数设置为1，否则，保持权重的梯度比例参数不变。
95.在一种可能的实施方式中，基于权重量化系数，分别对第二神经网络模型的各权重进行量化，得到目标神经网络模型时，模型量化单元403具体用于：
96.基于权重量化系数，分别将第二神经网络模型的各权重映射到相应的整数域上，得到各权重的量化权重，并基于各量化权重，得到目标神经网络模型。
97.在一种可能的实施方式中，基于权重量化系数，分别将第二神经网络模型的各权重映射到相应的整数域上，得到各权重的量化权重时，模型量化单元403具体用于：
98.针对第二神经网络模型的每一权重，基于权重和权重量化系数的乘积的整数值与权重量化系数的比值，确定权重的量化值，将权重的量化值确定为权重的量化权重；
99.或者；
100.针对第二神经网络模型的每一权重，将权重和权重量化系数的乘积的整数值确定为权重的量化权重。
101.需要说明的是，本技术实施例提供的神经网络模型量化装置400解决技术问题的原理与本技术实施例提供的神经网络模型量化方法相似，因此，本技术实施例提供的神经网络模型量化装置400的实施可以参见本技术实施例提供的神经网络模型量化方法的实施，重复之处不再赘述。
102.在介绍了本技术实施例提供的神经网络模型量化方法和装置之后，接下来，对本技术实施例提供的电子设备进行简单介绍。
103.参阅图5所示，本技术实施例提供的电子设备500至少包括：处理器501、存储器502和存储在存储器502上并可在处理器501上运行的计算机程序，处理器501执行计算机程序时实现本技术实施例提供的神经网络模型量化方法。
104.本技术实施例提供的电子设备500还可以包括连接不同组件(包括处理器501和存储器502)的总线503。其中，总线503表示几类总线结构中的一种或多种，包括存储器总线、外围总线、局域总线等。
105.存储器502可以包括易失性存储器形式的可读介质，例如随机存储器(random access memory，ram)5021和/或高速缓存存储器5022，还可以进一步包括只读存储器(read only memory，rom)5023。
106.存储器502还可以包括具有一组(至少一个)程序模块5024的程序工具5025，程序模块5024包括但不限于：操作子系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
107.电子设备500也可以与一个或多个外部设备504(例如键盘、遥控器等)通信，还可以与一个或者多个使得用户能与电子设备500交互的设备通信(例如手机、电脑等)，和/或，与使得电子设备500与一个或多个其它电子设备500进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(input/output，i/o)接口505进行。并且，电子设备500还可以通过网络适配器506与一个或者多个网络(例如局域网(local area network，lan)，广域网(wide area network，wan)和/或公共网络，例如因特网)通信。如图5所示，网络适配器506通过总线503与电子设备500的其它模块通信。应当理解，尽管图5中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(redundant arrays of independent disks，raid)子系统、磁带驱动器以及数据备份存储子系统等。
108.需要说明的是，图5所示的电子设备500仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
109.此外，本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现本技术实施例提供的神经网络模型量化方法。具体地，该计算机指令可以内置或者安装在处理器中，这样，处理器就可以通过执行内置或者安装的计算机指令实现本技术实施例提供的神经网络模型量化方法。
110.而且，本技术实施例提供的神经网络模型量化方法还可以实现为一种计算机程序产品，该计算机程序产品包括程序代码，该程序代码在处理器上运行时实现本技术实施例提供的神经网络模型量化方法。
111.本技术实施例提供的计算机程序产品可以采用一个或多个可读介质的任意组合，其中，可读介质可以是可读信号介质或者可读存储介质，而可读存储介质可以是但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合，具体地，可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、ram、rom、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、光纤、便携式紧凑盘只读存储器(compact disc read-only memory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
112.本技术实施例提供的计算机程序产品可以采用cd-rom并包括程序代码，还可以在计算机、服务器等电子设备上运行。然而，本技术实施例提供的计算机程序产品不限于此，在本技术实施例中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
113.应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
114.此外，尽管在附图中以特定顺序描述了本技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
115.尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
116.显然，本领域的技术人员可以对本技术实施例进行各种改动和变型而不脱离本技术实施例的精神和范围。这样，倘若本技术实施例的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。