神经网络数据的量化方法、装置、系统及可读存储介质与流程

1.本发明属于数据量化领域，具体涉及一种神经网络数据的量化方法、装置、系统及可读存储介质。


背景技术：

2.本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.神经网络模型的量化是指把神经网络模型中的参数，从高精度数据转换成低精度数据，使得神经网络模型的大小变小，运行速度变快，且准确率与量化前相近。其中，神经网络模型的量化包括两个阶段，即权重数据的量化和输出数据的量化。常用的量化技术有int8量化，int8量化是指将神经网络数据，例如双精度(64位)、单精度(32位)或半精度(16位)和输入数据(双进度、单精度或半精度)，通过线性或者非线性方法映射为8位的量化数据。
4.现有技术中，通常采用均匀映射量化(uniform affine quantizer)方式对神经网络数据进行量化，也即将根据原始浮点数据的最大浮点值和最小浮点值确定原始量化范围，并将原始量化范围内的原始浮点数据按缩放系数统一地映射为均匀分布的整型数据。然而，上述均匀映射量化在实际量化过程中通常会导致较大的神经网络数据的量化误差，降低了神经网络模型的精度。
5.因此，如何降低神经网络数据的量化误差是一个亟待解决的问题。


技术实现要素：

6.针对上述现有技术中存在的问题，提出了一种神经网络数据的量化方法、装置、系统及计算机可读存储介质，利用这种方法、装置、系统及计算机可读存储介质，能够解决上述问题。
7.本发明提供了以下方案。
8.第一方面，提供一种神经网络数据的量化方法，包括：获取神经网络的校准输出数据；根据校准输出数据的概率分布信息选取量化边界值，确定神经网络的目标量化范围；根据目标量化范围，对神经网络的输出进行量化。
9.在一种实施方式中，确定神经网络的目标量化范围，还包括：根据校准输出数据的概率分布信息，得到概率密度函数；根据概率密度函数的累积分布函数选取量化边界值，确定神经网络的目标量化范围。
10.在一种实施方式中，根据概率密度函数的累积分布函数选取量化边界值，还包括：根据累积分布函数的斜率，确定量化边界值。
11.在一种实施方式中，从累积分布函数的端点向中心逐点计算每个点的斜率；当检测到斜率超过预设阈值的目标点，根据目标点确定量化边界值。
12.在一种实施方式中，还包括：从累积分布函数的端点向中心逐点计算每个点的斜
率；当连续检测到n个点的斜率超过预设阈值时，确定n个点中靠近端点的目标点，根据目标点确定量化边界值；n为大于1的整数。
13.在一种实施方式中，还包括：若量化为对称量化，从累积分布函数的任意一侧端点向中心逐点计算每个点的斜率。
14.在一种实施方式中，还包括：若量化为非对称量化，从累积分布函数的两端分别向中心逐点计算每个点的斜率。
15.在一种实施方式中，根据累积分布函数的斜率，确定量化边界值，还包括：从累积分布函数的最小值端点，正向逐点搜索斜率超过预设阈值的最小目标点，根据最小目标点确定目标量化范围的最小量化边界值；和/或，从累积分布函数的最大值端点，反向逐点搜索斜率超过预设阈值的最大目标点，根据最大目标点确定目标量化范围的最大量化边界值。
16.在一种实施方式中，还包括：对累积分布函数进行归一化处理；按照累积分布函数的设定比例区间，去除累积分布函数的最大值区间和/或最小值区间。
17.在一种实施方式中，还包括：采用平滑窗对概率密度函数做滑动滤波，消除概率密度函数中的毛刺。
18.在一种实施方式中，神经网络包括多个层，方法还包括：根据每个层的校准输出数据，确定对应于每个层的目标量化范围；根据对应于每个层的目标量化范围，分别对每个层的输出进行量化。
19.在一种实施方式中，还包括：获取校准数据集；将校准数据集输入神经网络，得到神经网络的校准输出数据。
20.第二方面，提供一种神经网络数据的量化装置，用于执行如第一方面的方法，装置包括：获取模块，用于获取神经网络的校准输出数据；量化范围模块，用于根据校准输出数据的概率分布信息选取量化边界值，确定神经网络的目标量化范围；量化模块，用于根据目标量化范围，对神经网络的输出进行量化。
21.第三方面，提供一种神经网络数据的量化系统，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行：如第一方面的方法。
22.第四方面，提供一种计算机可读存储介质，计算机可读存储介质存储有程序，当程序被多核处理器执行时，使得多核处理器执行如第一方面的方法。
23.上述实施方式的优点之一，能够降低输出的量化精度误差，提高量化后神经网络模型的精度。
24.本发明的其他优点将配合以下的说明和附图进行更详细的解说。
25.应当理解，上述说明仅是本发明技术方案的概述，以便能够更清楚地了解本发明的技术手段，从而可依照说明书的内容予以实施。为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举例说明本发明的具体实施方式。
附图说明
26.通过阅读下文的示例性实施方式的详细描述，本领域普通技术人员将明白本文的优点和益处以及其他优点和益处。附图仅用于示出示例性实施方式的目的，而并不认为是
对本发明的限制。而且在整个附图中，用相同的标号表示相同的部件。在附图中：
27.图1为根据本发明一实施方式的神经网络数据的量化装置的结构示意图；
28.图2为根据本发明一实施方式的神经网络数据的量化方法的流程示意图；
29.图3为根据本发明一实施方式的神经网络数据的量化示意图；
30.图4为根据本发明一实施方式的神经网络数据的量化方法的流程示意图；
31.图5为根据本发明一实施方式的校准输出数据的概率密度函数的示意图；
32.图6为根据本发明一实施方式的校准输出数据的累积分布函数的示意图；
33.图7为根据本发明一实施方式的神经网络数据的量化装置的结构示意图。
具体实施方式
34.下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
35.在本技术实施方式的描述中，应理解，诸如“包括”或“具有”等术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不旨在排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在的可能性。
36.除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
37.术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术实施方式的描述中，除非另有说明，“多个”的含义是两个或两个以上。
38.为节省存储空间和提升运算效率，通常需要对神经网络模型的输出数据进行量化处理，上述量化处理具体可以是将神经网络的每个网络层的输出数据从浮点类型数据(例如32比特浮点类型数据，以下简称fp32)量化为更低比特的定点型数(例如8比特定点型数据，以下简称int8)，从而能够使得所使用的计算资源数目减少。
39.如上，传统方案中常用均匀映射量化(uniform affine quantizer)。其具体原理如下：
40.假设该神经网络层的输出包括浮点型数据。首先确定该神经网络层输出整体的浮点最小值v
min
、浮点最大值v
max
；当需要对该浮点型的神经网络层输出进行均匀映射量化到n比特定点型数据v
quant
时，定点型数据v
quant
表示浮点型数据r量化到n比特后的定点值，定点最小值可为0，定点最大值可为2
n-1。
41.将浮点值量化为定点值时，其中一实施例，采用的量化公式为：
[0042]vquant
＝q*(v
x-v
min
)
[0043]
其中，q＝s/r，r＝v
max-v
min
，s＝1＜＜quant
bit-1
[0044]
其中，v
x
表示待量化的浮点值，v
quant
表示量化后的定点数值，v
min
和v
max
表示浮点最小值和浮点最大值，quant
bit
表示量化后的位数，比如int8为8位定点位数。除却上述量化方
法外，现有技术中还有其他量化方式，在此不再赘述。
[0045]
对于均匀分布的数据，v
min
和v
max
直接取真实浮点数的最大值和浮点最小值即可，但是神经网络的激活数据通常呈现一种接近高斯分布的形态，大量的数据集中在均值附近，直接取真实浮点数的最大值和最小值会导致中间大部分数据的因为量化损失过多精度。
[0046]
为了至少部分地解决上述量化损失过多精度的问题，本公开的示例实施方式提出了一种神经网络权重量化的方案。在该方案中，在获取神经网络的校准输出数据(多个浮点型数据的集合)。根据该校准输出数据的概率分布信息选取量化边界值，也即选择校准输出数据的数据范围内的某两个值分别作为目标量化范围的量化边界值，该概率分布信息具体比如是根据该校准输出数据的累积分布函数cdf(cumulative distribution function)而生成。随后，可以根据该目标量化范围对神经网络实际的激活输出进行量化，将处于目标量化范围以外的值直接映射成定点最小值或定点最大值，这样可以为大多数数据保留更高的精度。
[0047]
以此方式，能够修正浮点最小值v
min
，浮点最大值v
max
与量化后定点值的对应关系，提升量化性能，减少量化精度损失。
[0048]
下面将参考附图并结合实施方式来详细说明本发明。
[0049]
首先参见图1，其示意性示出了其中可以使用根据本公开的示例性实现方式的环境100的示意图。
[0050]
图1示出了根据本公开的实施方式的计算设备100的示例的示意图。需要说明的是，图1即可为神经网络数据的量化方法的硬件运行环境的结构示意图。本发明实施方式基于神经网络数据的量化装置可以是pc，便携计算机等终端设备。
[0051]
如图1所示，该神经网络数据的量化系统可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
[0052]
本领域技术人员可以理解，图1中示出的神经网络数据的量化装置结构并不构成对神经网络数据的量化装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0053]
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及神经网络数据的量化程序。其中，操作系统是管理和控制神经网络数据的量化装置硬件和软件资源的程序，支持神经网络数据的量化程序以及其它软件或程序的运行。
[0054]
在图1所示的神经网络数据的量化系统中，用户接口1003主要用于接收第一终端、第二终端和监管终端发送的请求、数据等；网络接口1004主要用于连接后台服务器与后台服务器进行数据通信；而处理器1001可以用于调用存储器1005中存储的神经网络数据的量化程序，并执行以下操作：获取神经网络的校准输出数据；根据校准输出数据的概率分布信
息选取量化边界值，确定神经网络的目标量化范围；根据目标量化范围，对神经网络的输出进行量化。
[0055]
由此，能够以简单地方式快速搜寻获得神经网络的目标量化范围，能有效显著降低神经网络的量化精度损失。
[0056]
图2示出了根据本公开的实施方式的用于执行神经网络数据的量化方法的流程图。该方法例如可以由如图1所示的计算设备100来执行。应当理解的是，方法300还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。
[0057]
步骤210，获取神经网络的校准输出数据；
[0058]
该校准输出数据是指向神经网络输入校准数据之后，该神经网络的各个层的激活输出数据。具体地，可以通过向神经网络输入专门的校准数据以收集该校准输出数据。也可以通过收集该神经网络在实际工作运行中的激活输出数据作为该校准输出数据。优选地，还可以动态搜集该神经网络在各个工作运行时间段的激活输出作为校准输出数据，并基于各个时间段的激活输出定期动态调整该神经网络的目标量化范围，以适应神经网络的数据变化。本实施例对此不作具体限制。
[0059]
步骤220，根据校准输出数据的概率分布信息选取量化边界值，确定神经网络的目标量化范围；
[0060]
具体地，该校准输出数据实际包括神经网络输出的大量浮点值。本实施例并非单纯地直接选取该大量浮点值中的最大值和最小值作为量化边界值，而是首先获取该大量浮点值的概率分布信息。例如，如果该校准输出数据的概率分布信息显示为高斯概率分布，则可以根据其分布散度选取量化边界值，进而确定缩小的目标量化范围。如该校准输出数据集中的各个数据呈现均匀概率分布，则可以选取该大量浮点值中的最大值和最小值作为量化边界值。
[0061]
步骤230，根据目标量化范围，对神经网络的输出进行量化。
[0062]
具体地，在该神经网络的后续运行中，将基于调整后的该目标量化范围[-|t|，|t|]对神经网络的输出进行量化。参考图3，可以看出，假设原始直接基于大量浮点值的最小值和最大值获得的量化范围为[-|t|’，|t|]，处于浮点数最小值附近的若干浮点数明显离散程度较大，如利用该量化范围进行量化，会导致较大的量化精度损失。而通过调整后的目标量化范围[-|t|，|t|]，则能一定程度上减少量化精度损失。
[0063]
神经网络包括多个层，其各个层的任务不同，造成各个层的激活输出分布情况也存在较大差别。
[0064]
在一种实施方式中，为了针对各个层实现更小精度损失的量化效果，将针对神经网络包括的多个层，将根据每个层的校准输出数据，独立地确定对应于每个层的目标量化范围；进而根据对应于每个层的目标量化范围，分别对每个层的输出进行量化。如此，在每个层的激活输出存在差异的情况下，能够实现更为精准化地量化效果。
[0065]
可选地，也可以将两个以上层的校准输出数据整合在一起，并输出针对该两个以上层的目标量化范围。如此可以减少量化复杂度。尤其是，如果能够提前检测到两个以上层的激活输出的分布情况相似度高，则可以将该两个层的量化策略绑定。
[0066]
在一种实施方式中，上述步骤210之前，为了获得该神经网络的校准数据，可以先获取校准数据集，并将校准数据集输入神经网络，得到神经网络的每个层的输出数据作为
该校准输出数据。
[0067]
具体来说，可以根据该神经网络实现的功能搜集得到该校准数据集。比如，如果该神经网络是人脸识别神经网络，则可以搜集大量真实人脸图像构成该校准数据集。如果该神经网络是语义识别神经网络，则可以搜集大量文本数据构成该校准数据集，以此类推。可以理解，神经网络的激活输出数据和其处理的数据内容高度相关，通过该神经网络实现的功能搜集后续真实需要处理的数据样本作为校准数据集，能够获得更准确量化范围。
[0068]
图4是本发明另一示例性实施方式示出的神经网络数据的量化方法的流程示意图，本实施方式在图2所示实施方式的基础上，对上述步骤220的过程进一步详细描述。
[0069]
如图4所示，上述步骤220中，为了更为准确地确定神经网络的目标量化范围，可以执行以下步骤：
[0070]
步骤221，根据校准输出数据的概率分布信息，得到概率密度函数；
[0071]
步骤222，根据概率密度函数的累积分布函数选取量化边界值，确定神经网络的目标量化范围。
[0072]
概率密度函数(probability density function，简称pdf),连续型随机变量的概率密度函数(在不至于混淆时可以简称为密度函数)是一个描述这个随机变量的输出值，在某个确定的取值点附近的可能性的函数。典型的连续概率分布包括正态分布，指数分布等。具体到步骤221中，可以通过获得该校准输出数据的分布直方图获得该密度概率函数。
[0073]
累积分布函数(cumulative distribution function，简称cdf)，又叫分布函数，是概率密度函数的积分，能完整描述一个实随机变量x的概率分布。例如，当某个校准输出数据的概率分布函数呈现为图5所示的正态分布时，其累积分布函数呈现为图6所示。
[0074]
可以理解，通过上述校准输出数据的概率密度函数pdf和累积分布函数cdf来选择量化边界值的方案，提供了一种全新的量化边界值搜索方案，其能够快速算出该校准输出数据中合适的量化边界值。
[0075]
在一种具体的实施方式中，根据概率密度函数的累积分布函数的斜率，选取并确定量化边界值。可以理解，基于累积分布函数cdf的特点，其斜率小的地方说明概率分布累积慢，对应的概率密度函数小，适合作为分界点。如此，直接通过计算该概率密度函数的累积分布函数的斜率，可以更为快速搜索出合适的量化边界值。
[0076]
例如，可以从图6所示的累积分布函数中计算每个点的斜率，最终选择斜率超过预设阈值的若干个点中的最小值点和最大值点作为量化边界值，也可以选择斜率超过预设阈值的若干个点中的次小值点和次大值点作为量化边界值，本技术对此不作具体限制。
[0077]
在一种具体的实施方式中，从累积分布函数的端点向中心逐点计算每个点的斜率；当检测到斜率超过预设阈值的目标点，根据目标点确定量化边界值。
[0078]
例如，可以从图6所示的累积分布函数的左端点向右侧逐点计算每个点的斜率，其初始斜率较小，随着累计概率的增加斜率逐渐呈现加速上升，当首次计算到斜率超过预设阈值的点时，可以停止计算，并确定该斜率超过预设阈值的点作为量化边界值的最小值。量化边界值的最大值的选择与之类似，本实施例不再赘述。
[0079]
可选地，还可以按照一定步长从该累积分布函数的端点向中心进行斜率计算，从而节省计算时间，加快搜索速度。
[0080]
在一种具体的实施方式中，可以从累积分布函数的最小值端点，正向逐点搜索斜
率超过预设阈值的最小目标点，根据最小目标点确定目标量化范围的最小量化边界值；和/或，从累积分布函数的最大值端点，反向逐点搜索斜率超过预设阈值的最大目标点，根据最大目标点确定目标量化范围的最大量化边界值。
[0081]
其中，上述正向也即从小到大的搜索，上述反向也即从大到小的搜索。
[0082]
在一种可能的实施方式中，可以从累积分布函数的端点向中心逐点计算每个点的斜率；当连续检测到n个点的斜率超过预设阈值时，确定n个点中靠近端点的目标点，根据目标点确定量化边界值；n为大于1的整数。
[0083]
例如，参考图6，当从左端点向右进行搜索时，当搜索到某个点的斜率超过预设阈值时，继续向右搜索，直至搜索到连续3个值的斜率均大于预设阈值时，才将搜索到的第一个点作为该量化边界值。
[0084]
本实施方式中，并未直接将搜索到的斜率超过预设值的第一个点确定该量化边界值，而是在连续检测到多个点的斜率均超过预设阈值之后，才将搜索到的第一个点作为量化边界值。如此可以避免集中的数据噪音的不利影响。
[0085]
在一种实施方式中，若量化为对称量化，从累积分布函数的任意一侧端点向中心逐点计算每个点的斜率。可以理解，如果是对称量化，其两端的分布情况是对称的，如此仅需要计算一个量化边界值即可，可以节省搜索量，加快速度。
[0086]
在一种实施方式中，若量化为非对称量化，从累积分布函数的两端分别向中心逐点计算每个点的斜率。可以理解，如果是非对称量化，其两端的分布情况是不一致的，如此则需要分别计算2个量化边界值。
[0087]
在一种实施方式中，在步骤220中，还可以对累积分布函数cdf进行归一化处理；按照累积分布函数的设定比例区间，去除累积分布函数的最大值区间和/或最小值区间。
[0088]
例如，仍参考图6，可以从其左侧去除其最小5％区间，从右侧去除其最大5％的区间，由于处在两侧的数据通常属于离散数据，如此处理可以加快逐点搜索的工作，提升搜索速度。
[0089]
在一种实施方式中，还包括：采用平滑窗对分布直方图做滑动滤波，消除分布直方图中的毛刺。可以理解校准数据集中的数据量可能并不多，其会造成该累积概率分布函数cdf上产生较多的数据“毛刺”，进而影响斜率的计算，通过该平滑窗可以减少该数据“毛刺”，降低了斜率计算出现误差的概率。
[0090]
在本说明书的描述中，参考术语“一些可能的实施方式”、“一些实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。
[0091]
关于本技术实施方式的方法流程图，将某些操作描述为以一定顺序执行的不同的步骤。这样的流程图属于说明性的而非限制性的。可以将在本文中所描述的某些步骤分组在一起并且在单个操作中执行、可以将某些步骤分割成多个子步骤、并且可以以不同于在本文中所示出的顺序来执行某些步骤。可以由任何电路结构和/或有形机制(例如，由在计
算机设备上运行的软件、硬件(例如，处理器或芯片实现的逻辑功能)等、和/或其任何组合)以任何方式来实现在流程图中所示出的各个步骤。
[0092]
基于相同的技术构思，本发明实施方式还提供一种神经网络数据的量化装置，用于执行上述任一实施方式所提供的神经网络数据的量化方法。图7为本发明实施方式提供的一种神经网络数据的量化装置结构示意图。
[0093]
如图7所示，神经网络数据的量化装置700包括：
[0094]
获取模块710，用于获取神经网络的校准输出数据；
[0095]
量化范围模块720，用于根据校准输出数据的概率分布信息选取量化边界值，确定神经网络的目标量化范围；
[0096]
量化模块730，用于根据目标量化范围，对神经网络的输出进行量化。
[0097]
需要说明的是，本技术实施方式中的装置可以实现前述方法的实施方式的各个过程，并达到相同的效果和功能，这里不再赘述。
[0098]
根据本技术的一些实施方式，提供了神经网络数据的量化方法的非易失性计算机存储介质，其上存储有计算机可执行指令，该计算机可执行指令设置为在由处理器运行时执行：上述实施方式的方法。
[0099]
本技术中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。尤其，对于装置、设备和计算机可读存储介质实施方式而言，由于其基本相似于方法实施方式，所以其描述进行了简化，相关之处可参见方法实施方式的部分说明即可。
[0100]
本技术实施方式提供的装置、系统和计算机可读存储介质与方法是一一对应的，因此，装置、系统和计算机可读存储介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述装置、设备和计算机可读存储介质的有益技术效果。
[0101]
本领域内的技术人员应明白，本发明的实施方式可提供为方法、装置(设备或系统)、或计算机可读存储介质。因此，本发明可采用完全硬件实施方式、完全软件实施方式、或结合软件和硬件方面的实施方式的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机可读存储介质的形式。
[0102]
本发明是参照根据本发明实施方式的方法、装置(设备或系统)、和计算机可读存储介质的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0103]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0104]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0105]
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。