一种基于强化学习的CNN网络剪枝率自动搜索方法及系统

一种基于强化学习的cnn网络剪枝率自动搜索方法及系统
技术领域
1.本发明属于人工智能领域，涉及一种基于强化学习的cnn网络剪枝率自动搜索方法及系统。


背景技术：

2.深度学习是人工智能的重要前沿核心技术之一，当前其应用已渗透到了国民生产、生活的几乎所有领域。卷积神经网络是一种重要的深度学习技术，然而其巨大的模型参数量和运算量往往受限于硬件计算资源，在实际应用部署中需要进行模型压缩。剪枝是实现深度网络模型压缩的主要手段之一，其目标是在不显著损失模型精度的前提下，利用模型固有的稀疏性来移除部分不重要的参数，从而压缩模型的规模。根据被剪枝对象的颗粒度，当前的剪枝算法可以分为两大类：面向移除单个权重或神经元的非结构化剪枝、以及面向移除整个通道或卷积核的结构化剪枝。其中结构化剪枝可以直接利用通用的卷积和矩阵乘法算子，不需要专门定制的硬件库来实现推理加速或节省运行时内存，实际应用更为便捷。
3.早期的结构化剪枝技术多侧重于寻求更准确、更高效的通道重要性度量方法，从而通过重要度排序和预设剪枝率来实现模型压缩。然而，cnn中各层的冗余度和灵敏度非常不同。大多数剪枝算法使用经验手段来确定网络中每一层的剪枝率/通道保留率，部分算法通过归一化每一层的重要度，根据全局剪枝率来确定每层剪枝率。这些算法难以挖掘出网络每一层的实际冗余度，从而影响了修剪后网络的精度。
4.近年来一些方法关注自动搜索每个网络层的剪枝率，包括网络结构搜索、启发式搜索、二分法、统计建模和强化学习类算法等。其中深度强化学习算法能够通过智能体与环境的交互，在连续动作空间中搜索最优策略，非常适用于解决上述问题，代表性算法如amc等的效果就显著优于传统的依据经验确定每层剪枝率的方法。然而，当前这类算法仍以网络全局精度表现为奖励函数的主要设计依据，未充分考虑网络各层冗余度对精度的影响，模型压缩比与网络精度间未能实现较好的折衷。


技术实现要素：

5.本发明的目的在于解决现有技术中自动搜索每个网络层剪枝率的算法未充分考虑网络各层冗余度对精度的影响，导致模型压缩比与网络精度间未能实现较好的折衷问题，提供一种基于强化学习的cnn网络剪枝率自动搜索方法及系统。
6.为达到上述目的，本发明采用以下技术方案予以实现：
7.本发明提出的一种基于强化学习的cnn网络剪枝率自动搜索方法，包括以下步骤：
8.根据待剪枝目标网络的各层剪枝率搜索问题构建马尔可夫决策过程模型；
9.基于待剪枝目标网络整体剪枝率和深度强化算法搜索马尔可夫决策过程模型的最优策略，得到待剪枝目标网络各层最优的剪枝率；
10.根据待剪枝目标网络各层最优的剪枝率，对完成预训练的待剪枝目标网络执行结
构化剪枝，实现待剪枝目标网络的模型压缩。
11.优选地，根据待剪枝目标网络的各层剪枝率搜索问题构建马尔可夫决策过程模型的方法如下：
12.将经过预训练并执行剪枝过程中的待剪枝目标网络m作为环境，构建出待剪枝目标网络m每一层特征抽象出的状态向量，作为强化学习智能体对环境的观测；
13.将待剪枝目标网络m各层的通道保留率定义为强化学习智能体执行的动作，构成连续动作空间；
14.构建兼顾待剪枝目标网络m整体精度性能、以及各层精度表现的奖励函数；
15.其中，将待剪枝目标网络m进行复制作为基准网络b；待剪枝目标网络m和基准网络b构成孪生网络(m，b)，基准网络b用于奖励函数的计算。
16.优选地，所述奖励函数r(i，t)的计算方法如下：
17.r(i，t)＝λ
·rl
(i，t)+(1-λ)
·rn
(i)-α
·
||r
l
(i)||218.其中，r
l
(i，t)为第i个episode中待剪枝目标网络m的第t层上执行动作a
t
后获得的层级奖励；rn(i)为待剪枝目标网络m经过一轮逐层剪枝，由所测得精度计算出的网络级奖励；λ是控制层级奖励与网络级奖励分别所占权重的超参数，||r
l
(i)||2是用于约束层级奖励所带来后发劣势问题的惩罚项；α是用于控制惩罚项权重的超参数。
19.优选地，所述层级奖励函数r
l
(i，t)的计算方法如下：
[0020][0021]
其中，d(x)表示相同输入图像x下，临时网络m
t
的第t+1层输出特征图与基准网络b的第t+1层输出特征图间的欧式距离；
[0022]
欧式距离d(x)的计算方法如下：
[0023][0024]
其中，表示输入图像x后基准网络b中第t+1层的输出特征图，表示基准网络b的参数张量；表示输入图像x后临时网络m
t
中第t+1层的输出特征图，表示m
t
的参数张量。
[0025]
优选地，输入图像x后基准网络b中第t+1层的输出特征图的计算方法如下：
[0026][0027]
其中，表示目标网络中包含层t和t+1之间的所有计算单元的子网络；
[0028]
利用m
t
第t-1层的输出特征图来计算输入图像x后临时网络m
t
中第t+1层的输出特征图方法如下：
[0029][0030]
其中，运算符表示特征图每个通道上的元素级乘法。
[0031]
优选地，第i个episode中各层层级奖励所构成的列向量r
l
(i)的定义如下：
[0032]rl
(i)＝[r
l
(i，1)，r
l
(i，2)，
…
，r
l
(i，t)]
′
[0033]
其中，利用l2范数对各层的层级奖励值进行均匀化处理。
[0034]
优选地，所述深度强化算法为双延迟深度确定性策略梯度法td3。
[0035]
本发明提出的一种基于强化学习的cnn网络剪枝率自动搜索系统，包括：
[0036]
模型构建模块，所述模型构建模块用于根据待剪枝目标网络的各层剪枝率搜索问题构建马尔可夫决策过程模型；
[0037]
最优策略搜索模块，所述最优策略搜索模块用于基于待剪枝目标网络整体剪枝率和深度强化算法搜索马尔可夫决策过程模型的最优策略，得到待剪枝目标网络各层最优的剪枝率；
[0038]
cnn网络剪枝模块，所述cnn网络剪枝模块用于根据待剪枝目标网络各层最优的剪枝率，对完成预训练的待剪枝目标网络执行结构化剪枝，实现待剪枝目标网络的模型压缩。
[0039]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序时实现基于强化学习的cnn网络剪枝率自动搜索方法的步骤。
[0040]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现基于强化学习的cnn网络剪枝率自动搜索方法的步骤。
[0041]
与现有技术相比，本发明具有以下有益效果：
[0042]
本发明提出的一种基于强化学习的cnn网络剪枝率自动搜索方法，针对待剪枝目标网络的模型压缩任务，本发明基于深度强化学习的层剪枝率自动搜索技术相比传统依据经验人为确定每层剪枝率的方法，网络剪枝的自动化程度更高，能够挖掘出网络每层潜在的固有稀疏度特征，在全局剪枝率确定的前提下，能够更好地平衡模型精度与模型压缩率的效果。充分利用性能更加优秀的深度强化学习智能体，解决了这些方法中存在的压缩比过估计问题以及参数更新不稳定的问题。
[0043]
进一步地，本发明针对现有同类技术中粗粒度的“多步相同奖励”带来的网络精度下降问题，所设计的细粒度层级奖励函数综合了每层剪枝动作后的网络级反馈和层级反馈因素，得到真正意义上的单步独立奖励，使得整个剪枝策略搜索过程中智能体能够从环境及时得到反馈，更加符合强化学习的特点，智能体在相同条件下有利于学习到更优的剪枝策略。
[0044]
进一步地，每层的剪枝动作都拥有一个独立的奖励值，使得智能体能充分挖掘网络各层隐含的稀疏敏感度，从而有助于搜索出更优的剪枝率策略。
[0045]
本发明提出一种基于强化学习的cnn网络剪枝率自动搜索系统，通过将系统划分为模型构建模块、模型求解模块和模型剪枝模块，采用模块化思想使各个模块之间相互独立，方便对各模块进行统一管理。
附图说明
[0046]
为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0047]
图1为本发明的基于强化学习的cnn网络剪枝率自动搜索方法流程图。
[0048]
图2为本发明中网络剪枝率强化学习策略搜索方法总体框架图。
[0049]
图3为本发明方法在时间轴上的运行原理示意图。
[0050]
图4为本发明中采用孪生网络的层级奖励函数计算原理图。
[0051]
图5为验证性实验中本发明获得的vgg-16网络各层稀疏度可视化图。
[0052]
图6为验证性实验中本发明选用智能体td3与ddpg的效果比较。
[0053]
图7为本发明的基于强化学习的cnn网络剪枝率自动搜索系统图。
具体实施方式
[0054]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0055]
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0057]
在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0058]
此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
[0059]
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0060]
下面结合附图对本发明做进一步详细描述：
[0061]
实施例一
[0062]
本发明提出的一种基于强化学习的cnn网络剪枝率自动搜索方法，如图1所示，包括如下步骤：
[0063]
s1、根据待剪枝目标网络的各层剪枝率搜索问题构建马尔可夫决策过程模型；
[0064]
根据待剪枝目标网络的各层剪枝率搜索问题构建马尔可夫决策过程模型的方法如下：
[0065]
将经过预训练并执行剪枝过程中的待剪枝目标网络m作为环境，构建出待剪枝目标网络m每一层特征抽象出的状态向量，作为强化学习智能体对环境的观测；
[0066]
将待剪枝目标网络m各层的通道保留率定义为强化学习智能体执行的动作，构成连续动作空间；
[0067]
构建兼顾待剪枝目标网络m整体精度性能、以及各层精度表现的奖励函数；
[0068]
其中，将待剪枝目标网络m进行复制作为基准网络b；待剪枝目标网络m和基准网络b构成孪生网络(m，b)，基准网络b用于奖励函数的计算。
[0069]
奖励函数r(i，t)的计算方法如下：
[0070]
r(i，t)＝λ
·rl
(i，t)+(1-λ)
·rn
(i)-α
·
||r
l
(i)||2[0071]
其中，r
l
(i，t)为第i个episode中待剪枝目标网络m的第t层上执行动作a
t
后获得的层级奖励；rn(i)为待剪枝目标网络m经过一轮逐层剪枝，所测得精度计算出的网络级奖励；λ是控制层级奖励与网络级奖励分别所占权重的超参数，||r
l
(i)||2是用于约束层级奖励所带来后发劣势问题的惩罚项；α是用于控制惩罚项权重的超参数。
[0072]
层级奖励函数r
l
(i，t)的计算方法如下：
[0073][0074]
其中，d(x)表示相同输入图像x下，临时网络m
t
的第t+1层输出特征图与基准网络b的第t+1层输出特征图间的欧式距离；
[0075]
欧式距离d(x)的计算方法如下：
[0076][0077]
其中，表示输入图像x后基准网络b中第t+1层的输出特征图，表示基准网络b的参数张量；表示输入图像x后临时网络m
t
中第t+1层的输出特征图，表示m
t
的参数张量。
[0078]
输入图像x后基准网络b中第t+1层的输出特征图的计算方法如下：
[0079][0080]
其中，表示目标网络中包含层t和t+1之间的所有计算单元的子网络；
[0081]
利用m
t
第t-1层的输出特征图来计算输入图像x后临时网络m
t
中第t+1层的输出特征图方法如下：
[0082][0083]
其中，运算符表示特征图每个通道上的元素级乘法。
[0084]
第i个episode中各层层级奖励所构成的列向量r
l
(i)的定义如下：
[0085]rl
(i)＝[r
l
(i，1)，r
l
(i，2)，
…
，r
l
(i，t)]
′
[0086]
其中，利用l2范数对各层的层级奖励值进行均匀化处理。
[0087]
s2、基于待剪枝目标网络整体剪枝率和深度强化算法搜索马尔可夫决策过程模型的最优策略，得到待剪枝目标网络各层最优的剪枝率；
[0088]
所述深度强化算法为双延迟深度确定性策略梯度法td3。
[0089]
s3、根据待剪枝目标网络各层最优的剪枝率，对完成预训练的待剪枝目标网络执行结构化剪枝，实现待剪枝目标网络的模型压缩。
[0090]
其中，构建孪生网络架构(m，b)具体过程如下：
[0091]
其中m为待剪枝目标网络，对其第t层进行单层剪枝得到的临时网络记为m
t
，m的包括层t和t+1之间的所有计算单元的子网络记为各层剪枝率搜索过程中的所有剪枝行为均为伪剪枝，即以mask
t
表示根据动作a
t
和通道重要性排序结果生成的临时掩码矩阵，用以评价该剪枝动作a
t
对网络精度的影响。待强化学习算法搜索出各层最优剪枝率后，再对网络施行实质性剪枝。
[0092]
在剪枝前对原始m网络进行复制即得到基准网络b，该基准网络在剪枝率搜索算法执行过程中保持不变，用作度量m各层剪枝行为影响网络精度程度的基准。
[0093]
如图2所示，为本发明提出的基于深度强化学习的卷积神经网络剪枝率自动搜索方法及系统总体架构图。包含由基准网络b和待剪枝目标网络m构成的孪生网络架构、td3深度强化学习算法构成的智能体、用于强化学习反馈的奖励函数等三个主要部分。以t层目标网络m作为强化学习的环境，以各层的通道保留率作为强化学习的动作a
t
，采用td3算法自动搜索出网络的各层最优剪枝率。
[0094]
定义从目标网络m的第1层顺序搜索到第t层的一轮完整过程为强化学习智能体训练的一个episode。在一个episode中，首先对于目标网络m的每个层t，智能体对该环境进行观测得到状态向量s
t
；然后利用td3算法中的actor网络计算出当前层的对应动作a
t
；再通过基准网络b和目标网络m的对比计算出当前层的层级奖励r
l
(i，t)，如图2中粗实线箭头所示；然后移动至下一层重复上述操作，经过t层的逐层搜索后，整个网络的各层剪枝率搜索及伪剪枝操作完成，得到伪剪枝后的目标网络m(i)；基于伪剪枝后的目标网络m(i)和验证图像集计算该网络的图像分类正确率，将其作为网络级奖励rn(i)，如图2中虚线箭头所示；将层级奖励r
l
(i，t)和网络级奖励rn(i)加权组合得到各层动作的总奖励r(i，t)，与状态向量、动作一起存入经验回放池，并通过回放池采样来更新td3智能体网络，并得到本episode更新后的剪枝率策略πi(s
t
)。
[0095]
如图3所示，显示本发明在时间维度上的运行方式。每个episode获得一个网络级奖励rn(i)，其中每层的剪枝率动作执行后都获得一个独立的层级奖励r
l
(i，t)，两者组合形成总奖励r(i，t)，并与对应动作a
t
、对应状态向量s
t
存储至经验回放池，并在每个episode结束后更新一次智能体网络。经过足够多轮episode的循环对智能体进行训练，当策略已不再发生明显改变时，即获得最终剪枝策略π(s
t
)。
[0096]
图2中智能体观测到的目标网络m的第t层状态向量s
t
具体形式为：
[0097]st
＝(t，n，c，h，w，stride，k，flops[t]，reduced，rest，a
t-1
)
[0098]
其中t∈{1，
…
，t}是t层cnn网络的层索引，n和c分别是第t层的输出和输入通道数，该层输入特征图像的高和宽分别记为h和w，stride是该层卷积核的移动步长，k是卷积核的边长，flops[t]表示第t层的浮点计算量，reduced表示t层前的所有伪剪枝操作所减少的浮点计算量，rest表示后续层剩余的浮点计算量，a
t-1
表示第t-1层执行的智能体动作，即前一层的通道保留率。
[0099]
图2中动作a
t
指目标网络m第t层的通道保留率，a
t
∈(0，1)，即动作的取值范围为0到1间的实数。td3智能体的actor网络根据观测到的s
t
计算出a
t
，该动作在实际剪枝执行前将进行校准，确保其符合预先设定的各层剪枝率上下限和预先设定的网络整体flops限制条件；在获得最终剪枝策略π(s
t
)后，将依据通道重要性度量准则(如卷积核的l1范数)对排
slimming、sfp、cacp、amc、lpf、hrank、gal、variational cnn pruning、hinge、fpgm和aofp。验证性实验使用自然场景图像分类数据集cifar-10和遥感图像目标分类数据集uc-merced land-use，待剪枝目标网络为卷积神经网络vgg-16和轻量级网络mobilenet-v1。
[0117]
表1
[0118][0119]
表1展示了本发明与传统剪枝算法在cifar-10数据集上针对vgg-16网络进行剪枝所获得的网络各项性能对比。表中加粗数值为该保留率下的最好结果。可以看出，在{30％，50％，60％，70％}四个预设全局压缩率指标下，本发明得到的剪枝后网络具有最好的top1分类正确率，并且在压缩比高于50％时，本发明剪枝得到的网络精度高于基准网络(原始未剪枝网络)，表明本发明可以有效消除高冗余网络中的过拟合问题。
[0120]
表2
[0121][0122]
表2展示了本发明与另一个同样具有剪枝率自动搜索能力的网络剪枝算法amc的对比。在uc-merced land-use数据集上针对轻量级网络mobilenet-v1进行剪枝，所有图像大小均调整为224x224，表格中加粗数值为该全局保留率下的最好结果。可以看出本发明在{10％，30％，70％}三个flops保留率下的网络精度均优于amc算法，展示了本发明在硬件资源有限设备上部署压缩后轻量级网络的应用潜力。
[0123]
如图5至图6所示，展示的验证性实验均为本发明在cifar-10数据集上对vgg-16网络进行剪枝的性能对比结果。
[0124]
图5展示了本发明针对不同全局保留率下自动搜索出的各层剪枝率。可以看出，网络靠前端各层的通道保留率较高，靠后端各层的通道保留率较低，不同全局保留率下表现出大致相同的趋势。上述实验结果揭示了cnn网络各层内在的稀疏度和冗余度差异，与先前工作中关于vgg-16的各层稀疏敏感性研究结果一致，验证了本发明的正确性。
[0125]
图6展示了选择不同的深度强化学习智能体对剪枝率搜索效果的影响。可以看出，在所有的预设全局剪枝率条件下，采用td3智能体均能获得相比ddpg智能体更高的剪枝后网络精度，验证了本发明采用td3智能体的优势。
[0126]
实施例二
[0127]
本发明提出的一种基于强化学习的cnn网络剪枝率自动搜索方法的系统，如图7所示，包括：
[0128]
模型构建模块，所述模型构建模块用于根据待剪枝目标网络的各层剪枝率搜索问题构建马尔可夫决策过程模型；
[0129]
最优策略搜索模块，所述最优策略搜索模块用于基于待剪枝目标网络整体剪枝率和深度强化算法搜索马尔可夫决策过程模型的最优策略，得到待剪枝目标网络各层最优的剪枝率；
[0130]
cnn网络剪枝模块，所述cnn网络剪枝模块用于根据待剪枝目标网络各层最优的剪枝率，对完成预训练的待剪枝目标网络执行结构化剪枝，实现待剪枝目标网络的模型压缩。
[0131]
实施例三
[0132]
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述使用孪生网络获得层级奖励的网络剪枝策略自动搜索方法的步骤，其中，所述存储器可能包含内存，例如高速随
机存储器，也可能还包括非易失性存储器，例如，至少一个磁盘存储器等；处理器、网络接口、存储器通过内部总线互相连接，该内部总线可以是工业标准体系结构总线、外设部件互连标准总线、扩展工业标准结构总线等，总线可以分为地址总线、数据总线、控制总线等。存储器用于存放程序，具体地，程序可以包括程序代码、所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
[0133]
实施例四
[0134]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述使用孪生网络获得层级奖励的网络剪枝策略自动搜索方法的步骤，具体地，所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器可以包括随机存储存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器可以包括只读存储器(rom)、硬盘、闪存、光盘、磁盘等。
[0135]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0136]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0137]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0138]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0139]
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。