专利文本分类方法、电子设备及计算机存储介质

本发明涉及人工智能技术领域，尤其涉及一种专利文本分类方法、电子设备及计算机存储介质。

背景技术：

随着科技的快速发展，技术迭代速度也不断加快，知识产权资源的数量呈现爆炸式增长。通过专利分析可以揭示技术的关系、技术发展的趋势等有价值的信息。良好的专利分类可以有效提高利用和管理海量专利文献中的关键信息的效率。现阶段专利分类主要依靠专利审查员完成，需要大量的人力和时间成本，因此需要对专利文本进行自动化分类，帮助加快专利的分类与审查。专利文献中包含了大量专业词汇，对专利分析人员的专业背景要求较高，非专业人员很难理解专利中的内容。专利文本有规范的写作格式，语言精准且语义信息较为复杂，同时部分类别间的相似度较高，需要较为精确的特征表达。

随着人工智能技术的发展，深度学习模型在文本分类中得到了广泛的应用，主要包括循环神经网络（rnn）、卷积神经网络（cnn）。目前已有自动化的专利文本分类方法，主要分为利用词频等统计信息的分类方法和深度学习（如cnn、bert）分类方法两类。

然而，目前的深度学习分类方法往往缺少或不能很好地捕捉上下文信息，导致不能很好的提取到高区分度的专利文本全局信息，进而导致专利文本分类的准确性不高。

技术实现要素：

有鉴于此，本发明实施例提供了一种专利文本分类方法、电子设备及计算机存储介质，以提升专利文本分类的准确性。

为了达到上述目的，本发明采用以下方案实现：

根据本发明实施例的一个方面，提供了一种专利文本分类方法，包括：

获取专利文本的字向量表示；

利用卷积神经网络提取所述字向量表示中的短语特征，得到专利文本的短语特征；

利用长短时记忆网络提取所述字向量表示中的上下文特征，得到长短时记忆网络输出的隐层特征向量；

利用第一注意力层为长短时记忆网络输出的隐层特征向量添加不同的注意力权重，以突出不同专利文本之间区分度较大的部分，并降低专利文本的文本结构的权重和在不同专利中重复度较高的结构的权重，得到第一注意力层的输出；

利用全连接层将第一注意力层的输出压缩并优化为其长度与短语特征的维度匹配的特征向量，得到专利文本的上下文特征；

将专利文本的短语特征和专利文本的上下文特征连接起来，得到输入向量，利用第二注意力层为该输入向量添加注意力权重，以减少融合过程中的信息损失，得到融合特征向量；

利用融合特征向量对专利文本进行分类。

在一些实施例中，获取专利文本的字向量表示，包括：

利用预训练语言模型将专利文本转化为专利文本的字向量表示。

在一些实施例中，利用卷积神经网络提取所述字向量表示中的短语特征，得到专利文本的短语特征，包括：

利用卷积神经网络中多个大小不同的卷积核分别提取所述字向量表示中的短语特征，得到各卷积核对应输出的短语特征；其中，卷积核的大小根据设定短语长度确定；

对所有卷积核对应输出的短语特征进行最大池化操作，得到维度与卷积核数量相同的特征向量；

将维度与卷积核数量相同的各特征向量拼接在一起，得到专利文本的短语特征。

在一些实施例中，所述卷积神经网络中的卷积核提取短语特征的计算过程中所使用的激活函数为relu函数。

在一些实施例中，所述长短时记忆网络为双向长短时记忆网络。

在一些实施例中，利用融合特征向量对专利文本进行分类，包括：

通过对融合特征向量使用softmax网络处理，得到专利文本分类结果。

在一些实施例中，所述卷积神经网络包括大小分别为3、4、5及6的卷积核。

在一些实施例中，所述卷积神经网络中的卷积核提取短语特征的计算为一维卷积计算。

根据本发明实施例的另一个方面，还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述方法的步骤。

根据本发明实施例的另一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述方法的步骤。

本发明实施例的专利文本分类方法、电子设备及计算机存储介质，通过在提取上下文特征的过程中针对不同部分添加不同的注意力权重，能够减少专利文本中对分类没有实质帮助的文本结构、重复结构等信息的影响，而且，通过在融合过程中添加注意力权重，能够减少融合过程的信息损失。所以，本发明实施例能够充分提取专利文本的局部短语特征信息和全局上下文特征信息，从而能够提高专利文本分类的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明一实施例的专利文本分类方法的流程示意图；

图2是本发明一具体实施例的专利文本分类方法的框架结构示意图；

图3是本发明一具体实施例中短语特征提取的网络结构示意图；

图4是本发明一具体实施例中lstm的细胞结构示意图；

图5是本发明一具体实施例中对bilstm模型的输出添加上下文注意力机制的结构示意图；

图6是本发明一具体实施例中特征融合注意力层的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

需要预先说明的是，下述实施例或示例的描述或其中所提及的特征可以以相同或类似的方式，与其他实施例或示例中的特征组合，或替换其他实施例或示例中的特征，以形成可能的实施方式。另外，本文所使用的术语“包括/包含”是指特征、要素、步骤或组件的存在，但并不排除还存在一个或多个其他特征、要素、步骤或组件。

图1是本发明一实施例的专利文本分类方法的流程示意图，参见图1，该实施例的专利文本分类方法可包括以下步骤s110~步骤s170。

下面将对步骤s110至步骤s170的具体实施方式进行详细说明。

步骤s110：获取专利文本的字向量表示。

该步骤s110中，可以是获取专利文本的已有的字向量表示，或者是通过对专利文本进行处理得到其字向量表示。该专利文本可以是指某一篇专利文献的文本。

具体实施时，上述步骤s110，即，获取专利文本的字向量表示，具体可包括步骤：s111，利用预训练语言模型将专利文本转化为专利文本的字向量表示。

该实施例中，预训练语言模型可以是word2vec、bert等模型。输入的专利文本可只包含专利的摘要，并可直接以文本的形式输入。字向量表示是指将文本中的每个字表示为一个向量，将文本序列转化成字向量的序列。通过预训练语言模型可以利用自然语言处理技术将专利文本由文本形式转换为字向量表示形式，以便利用深度学习的方法进行后续处理。

步骤s120：利用卷积神经网络提取所述字向量表示中的短语特征，得到专利文本的短语特征。

该步骤s120中，所述卷积神经网络可以为cnn。通过卷积神经网络可以得到专利文本中的局部特征。

具体实施时，上述步骤s120，即，利用卷积神经网络提取所述字向量表示中的短语特征，得到专利文本的短语特征，具体可包括步骤：s121，利用卷积神经网络中多个大小不同的卷积核分别提取所述字向量表示中的短语特征，得到各卷积核对应输出的短语特征；其中，卷积核的大小根据设定短语长度确定；s122，对所有卷积核对应输出的短语特征进行最大池化操作，得到维度与卷积核数量相同的特征向量；s123，将维度与卷积核数量相同的各特征向量拼接在一起，得到专利文本的短语特征。

对于池化操作，举例而言，卷积核尺寸表示为filter_size，卷积核数量表示为num_filters，序列长度表示为seq_len。若经过卷积后得到一个[num_filters,seq_len-filter_size+1]的矩阵，再经池化后得到维度[num_filters，1]的特征向量。

上述步骤s122中，最大池化只保留最大特征丢弃弱特征。通过池化操作能够在保留局部最优特征的同时减少参数实现降维，防止过拟合。各个卷积核的尺寸可以互不相同，其尺寸可以根据常用的短语长度确定。上述步骤s123中，将不同高度卷积核提取到的特征进行拼接，得到文本的短语特征。

进一步地，所述卷积神经网络中的卷积核提取短语特征的计算过程中所使用的激活函数可以为relu函数。该实施例中，通过relu函数可使在模型训练过程中加快模型收敛速度。

进一步地，所述卷积神经网络中卷积核的尺寸可以根据专利文本中常出现的短语的长度确定，例如，所述卷积神经网络可包括大小分别为3、4、5及6的卷积核。

进一步地，所述卷积神经网络中的卷积核提取短语特征的计算可以为一维卷积计算。通过选用一维卷积计算来获得专利文本中句子内的词或短语的特征，可以提高对文本的浅层语义特征抽取能力。

步骤s130：利用长短时记忆网络提取所述字向量表示中的上下文特征，得到长短时记忆网络输出的隐层特征向量。

该步骤s130中，所述长短时记忆网络可以为双向长短时记忆网络（bilstm）。通过选用双向长短时记忆网络可以增强语义对上下文的依赖程度。

步骤s140：利用第一注意力层为长短时记忆网络输出的隐层特征向量添加不同的注意力权重，以突出不同专利文本之间区分度较大的部分，并降低专利文本的文本结构的权重和在不同专利中重复度较高的结构的权重，得到第一注意力层的输出。

该步骤s140，区分度、文本结构、重复度等这些部分可以是隐层特征向量中的列。其权重是由模型学习出来的参数。突出不同专利文本之间区分度较大的部分，并降低专利文本的文本结构的权重和在不同专利中重复度较高的结构的权重，可以是指，不同专利文本之间区分度较大的部分的权重大于专利文本的文本结构的权重和在不同专利中重复度较高的结构的权重，具体地，由模型学习情况确定。

步骤s150：利用全连接层将第一注意力层的输出压缩并优化为其长度与短语特征的维度匹配的特征向量，得到专利文本的上下文特征。

该步骤s150中，可以通过设置全连接层的输入维度为注意力层的输出维度，全连接层输出维度为短语特征维度，完成压缩和优化。可以将第一注意力层的输出压缩和优化为与原长短时记忆网络输出的上下文特征匹配的特征向量。原有的长短时记忆网络输出与专利文本的短语特征的维度不匹配，无法在后续步骤s160中使用注意力机制，所以在此通过压缩和优化可以使得向量匹配。

步骤s160：将专利文本的短语特征和专利文本的上下文特征连接起来，得到输入向量，利用第二注意力层为该输入向量添加注意力权重，以减少融合过程中的信息损失，得到融合特征向量。

其中，“连接”可以是指将短语特征和上下文特征拼接起来。其中“融合过程”可以是指该步骤s160中的连接过程。具体的注意力权重是由对模型训练得到。可以是相当于把多个特征进行加权平均了。

步骤s170：利用融合特征向量对专利文本进行分类。

该步骤s170，具体实施时，可以通过对融合特征向量使用softmax网络处理，得到专利文本分类结果。

另外，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述专利文本分类方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述专利文本分类方法的步骤。

通过cnn可以利用卷积获得文本的短语特征，通过最大池化可以获得区分度较大的短语。通过lstm（长短时记忆网络）或bilstm（双向长短时记忆网络）可以捕捉上下文中的依赖关系，可以更好利用文本的全局结构信息。通过在单一模型（如cnn）基础上增加attention等机制，可以提高模型抽取特征的区分度，能在一定程度上提高分类准确度，但尚不能充分结合文本的短语特征和结构特征。

通过改进的单一模型，如多层cnn，可以融合多尺度特征注意力。多层cnn中密集连接的上下游卷积块，能使模型将提取的较小尺度的特征组合较大尺度的特征，从而产生可变的n-gram特征。通过多级抽象构造层次表示，可以无需重新学习冗余特征映射，从而使得模型提取出的特征更加紧凑。在此基础上，运用多尺度特征注意机制能有效地利用这些特征进行分类，该机制在文本的每个位置自适应地选择不同尺度的特征。

仅通过多层cnn不能提取并利用文本的上下文结构特征，加入的注意力机制通过对特征权重的重新分配，能够获得更高区分度和准确性的特征，但是仍然不能解决缺乏上下文信息的问题。

卷积循环神经网络的文本分类模型既具有卷积神经网络（cnn）提取文本局部特征的优点，又具有递归神经网络（如lstm）结合之前的历史信息连接提取特征的优点。将cnn通过卷积和池化提取的特征拼接起来，将不同卷积核的文本特征序列作为lstm的输入，通过lstm单元提取每一时刻的文本特征，有助于提高分类精度。虽然通过在模型中使用cnn与lstm网络的组合提高了分类精度，但该中模型仍不能很好的提取到高区分度的专利文本全局信息。

本发明的发明人发现，是由于专利文本数据长度较长，且专利文本字序列中包含了很多专利文本共有的结构，对分类任务没有实质性帮助，再加上lstm模型的隐层还会损失一定的前文信息，导致lstm模型部分并不能很好的提取到高区分度的专利文本全局信息，同时cnn输出特征时也损失了一些上下文信息。因此，本发明实施例的有益效果更在于，通过在提取上下文特征的过程中针对不同部分添加不同的注意力权重，能够减少专利文本中对分类没有实质帮助的文本结构、重复结构等信息的影响，而且，通过在融合过程中添加注意力权重，能够减少融合过程的信息损失。所以，本发明实施例能够充分提取专利文本的局部短语特征信息和全局上下文特征信息，从而能够提高专利文本分类的准确性。

下面结合一个具体实施例对上述方法进行说明，然而，值得注意的是，该具体实施例仅是为了更好地说明本申请，并不构成对本申请的不当限定。

在一具体实施例中，采用基于融合短语与上下文特征的专利文本分类模型（pcff，phrase-contextfusionfeature）来实现专利文本的分类。pcff模型在预训练语言模型提供较为准确字向量表示的基础上，融合了全局的文本结构与上下文依赖信息和局部的词语的特征，同时引入注意力机制，为关键信息调整权值分配，有效减少关键信息损失，提升文本分类的准确性。

图2是本发明一具体实施例的专利文本分类方法的框架结构示意图，参见图2，本实施例包括由专利文本短语特征提取和上下文特征提取部分组成的特征提取模块与使用注意力机制的特征融合模块。

在特征提取模块中，短语特征可以使用cnn等方法获得。本实施例可以利用cnn网络提取短语特征，卷积核大小可以设置为3、4、5、6等专利文本中常见的短语长度。

在特征提取模块中，上下文特征可以由transformer、gru（gaterecurrentunit，循环神经网络）网络等生成。本实施例可以利用bilstm网络生成上下文特征，为了克服长序列造成的信息丢失问题，应用注意力机制提升上下文特征的准确性与区分度，以此提供了一种基于注意机制的上下文特征自适应选择方法。

在特征融合模块中，由于两种特征向量一般维度不同，且上下文特征维度更高，使用全连接层对上下文特征进行压缩，保证两种特征具有相同的维度。最后，在融合这两个特征时，利用融合注意机制对上下文特征和短语特征赋予注意权重，并在这些特征中有选择地选取关键信息（如注意力权重高的信息），进一步增强了融合特征的识别能力。

图3是本发明一具体实施例中短语特征提取的网络结构示意图，参见图3，短语特征提取部分的网络结构主要可由卷积层、池化层和拼接层组成。专利文本短语特征由卷积神经网络（cnn）提取，其中卷积核大小可以为3、4、5、6。cnn可以通过一维卷积来获取句子中词的特征表示，对文本的浅层语义特征抽取能力很强。

卷积层可以通过卷积运算感知文本的局部信息，各种卷积核大小可以提取不同的短语特征。卷积的计算过程如下面的公式所示：

ch=f(wh·x+b)，

其中，ch为高度为h卷积核提取到的特征，wh为卷积核对应的权重矩阵，x为文本字向量矩阵，b为偏置，f为激活函数。在训练过程中，可以使用relu函数作为激活函数以提高模型的收敛速度。池化的主要作用是在保留局部最优特征的同时减少参数实现降维，防止过拟合。本实施例可以采取最大池化策略，即只保留最大特征丢弃弱特征。经过cnn网络的卷积和池化操作后，可以获得维度与卷积核数量相同的特征向量。将不同高度卷积核提取到的特征进行拼接，得到文本的短语特征，其中，vpf表示短语特征，k是某个尺寸卷积核的用来进行卷积操作的卷积核数量，n是不同尺寸卷积核的数目，r表示实数集。

上下文特征由双向长短期记忆网络（bilstm）和上下文注意力机制生成。长短期记忆网络作为一种特殊的循环神经网络，可以更好捕捉较长距离的依赖关系，lstm模型设计了三个门组织：输入门组织、遗忘门组织和输出门组织。通过对细胞中信息的遗忘和对新信息的记忆，使得对后续计算有用的信息得以传递。图4是本发明一具体实施例中lstm的细胞结构示意图，参见图4，xt为lstm网络t时刻输入，ht-1为上一个时刻输出，h表示输出变量，ct-1为上一个时刻的细胞状态，ht和ct为t时刻细胞状态。f为遗忘门，控制丢弃部分上一时刻输出的信息；i为输入门，选择接受新输入信息的多少；o为输出门，选择输出的信息。具体计算过程如下：

ft=σ(wf·[ct-1,ht-1,xt]+bf)

it=σ(wi·[ct-1,ht-1,xt]+bi)

ot=σ(wo·[ct-1,ht-1,xt]+bo)

其中，ft表示t时刻的遗忘信息，it表示t时刻的输入，ot表示t时刻的输出，wf表示遗忘门权重，wi表示输入门权重，wo表示输出门权重，xt表示t时刻输入，bf表示遗忘门偏置，bi表示输入门偏置，bo表示输出门偏置，σ表示sigmoid函数。

bilstm同时从前往后和从后往前两个方向读取文本数据，可以进一步增强语义对上下文的依赖程度。输入的文本表示向量在经bilstm网络后得到前向隐层输出和后向隐层输出，前后向隐层输出拼接为bilstm模型的隐层输出h=[,]。最终得到与句子长度相等的隐层状态序列。

专利文本数据长度较长，且专利文本字序列中包含了很多专利文本共有的结构，对分类任务没有实质性帮助，另外bilstm模型的隐层还会损失一定的前文信息。以上因素导致单纯的bilstm模型并不能很好的提取到高区分度的专利文本全局信息。图5是本发明一具体实施例中对bilstm模型的输出添加上下文注意力机制的结构示意图，图5中左边“文本字向量”、“bilstm层”、“隐层状态”及“特征维度同一”为对应于右侧相应位置的说明，如图5所示，利用注意力（attention）机制可以根据对分类影响的重要程度，分配不同的权值，有效解决以上问题。

注意力层为bilstm层输出的隐层特征向量添加不同的注意力权重，突出区分度较大的部分，降低对专利文本分类贡献不高的文本结构或者在各个专利中重复度较高结构的权重，提高专利文本分类的准确性。具体的计算过程如下：

m=tanh(wh)

其中，h表示bilstm网络输出的隐状态序列，表示得到的注意力权重，表示经注意力加权之后获得的特征向量，即专利文本的上下文依赖特征。bilstm输出的尺寸由其隐藏大小决定，并且是隐藏大小的两倍，通常与短语特征维度不匹配，导致注意力机制不能工作。本实施例使用全链接层将上下文注意力层的输出压缩并优化为长度与上下文特征相同的新向量。

图6是本发明一具体实施例中特征融合注意力层的结构示意图，参见图6，特征融合注意层在减少特征向量融合过程中丢失的信息的同时，尽量将注意力集中在两个特征之间具有较高区分度的关键信息上。首先，将全局上下文特征和局部短语特征连接起来作为新的输入向量。然后，通过注意层对融合向量赋予不同的注意权重，生成融合特征。融合特征向量包含了上下文特征向量和四阶段特征向量的重要部分，其长度远小于原始特征向量。最后利用融合特征对专利内容进行分类。

短语与上下文特征融合模型将文本的长距离依赖和结构特征与文本局部的短语特征结合，从更多角度构建专利文本的特征，提升了分类的准确度。融合特征模型还可以实现特征信息的相互补充，在单一特征准确率较低的情况下，通过对两种特征的融合，从全局和局部两个角度，构建出更具区分度的专利文本特征向量，从而提高专利分类任务的表现。

本文各实施例中，短语特征可以代表专利文本中文本和短语的特征向量，是专利文本的局部特征，短语特征主要反映了不同类别专利文本中技术关键词的差异，可以利用卷积神经网络等生成。上下文特征可以代表专利文本中文本的结构信息，以及字词之间的上下文依赖关系，是专利文本的全局信息，反映了不同类别专利文本结构差异，可以利用rnn、transformer等生成。融合特征结合了短语特征和上下文特征中的关键信息，既能反映专利中技术关键词的局部差异，又能反映文本结构和上下文层面的全局差异。

该实施例的基于融合短语特征和上下文特征的专利文本分类方法，实现了在专利文本分类任务中提出融合短语特征与上下文特征的方法。分别使用cnn方法提取专利文本的短语特征、使用bilstm提取上下文特征并使用上下文注意力机制压缩和整合上下文特征，使两种特征向量的维度统一。使用特征融合注意层对拼接的特征向量赋予不同的注意权重，将短语特征和上下文特征融合为一个特征，再使用融合特征进行专利文本分类，提高分类准确性。

本实施例中，通过设计的pcff模型，将短语特征和上下文特征相结合，生成互补的融合特征，综合了短语特征和上下文特征的优点，并通过注意力机制有选择地选择短语特征与上下文特征中的关键信息进入融合特征中，减少特征融合过程中的信息损失，并弥补各自特征的不足。使用融合特征进行专利文本分类有效提高了专利文本的分类准确性。本实施例利用深度学习算法的卷积神经网络、长短期记忆网络和注意力机制，提出的基于短语与上下文融合特征的专利文本分类模型，能够对专利文本进行自动化分类，帮助加快专利的分类与审查，同时减少人力成本和时间成本，能够提高专利文本分类的准确性。

在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。