基于自编码神经网络的文本生成方法、装置、终端及介质与流程

本发明涉及自然语言理解技术领域，尤其涉及一种基于自编码神经网络的文本生成方法、装置、终端及介质。

背景技术：

文本自动生成是自然语言处理领域的一个重要研究方向，实现文本自动生成也是人工智能走向成熟的一个重要标志。文本生成的应用可以分为监督式和无监督式的文本生成。对于监督的文本生成，例如机器翻译、智能问答系统、对话系统以及文本摘要。对于无监督的文本生成，通过学习到数据的原本分布，然后可以生成与原本数据类似的样本，例如诗歌创作、音乐创作等。利用文本生成，可以实现更加智能和自然的人机交互，通过文本自动生成系统替代编辑实现新闻的自动撰写与发布。

然而，现有的文本生成模型，例如对抗生成模型，一方面需要较大的数据标注资源，另一方面会耗费较大的资源建模。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现要素：

本发明的主要目的在于提供了一种基于自编码神经网络的文本生成方法、装置、终端及介质，旨在解决现有技术文本生成模型需要较大的数据标注资源或耗费较大的资源建模的技术问题。

为实现上述目的，本发明提供了一种基于自编码神经网络的文本生成方法，包括如下步骤：

获取待输入语句的文本词向量以及分类需求；

将所述文本词向量逆向输入已训练的自编码神经网络模型，得到所述自编码神经网络模型的中间隐层的隐含特征；

根据预设分类尺度以及所述分类需求，修正所述隐含特征；

将修正后的隐含特征作为所述自编码神经网络模型的中间隐层，自所述中间隐层逆向生成所述自编码神经网络模型的输入层对应的词向量；

根据生成的词向量，生成对应的文本。

优选地，所述获取待输入语句的文本词向量以及分类需求的步骤之前，包括如下步骤：

获取带标签的多类训练样本，并生成对应的分类词向量；

将所述分类词向量正向输入所述已训练的自编码神经网络模型，得到多类样本的隐含特征；

计算多类样本的所述隐含特征的向量差，并作为多类样本的所述分类尺度，其中修正前的隐含特征为h前，调节向量为b，则修正后的隐含特征h后＝h前-b。

优选地，所述根据预设分类尺度以及所述分类需求，修正所述隐含特征的步骤，包括：

根据所述预设分类尺度以及分类需求，确定所述隐含特征对应的调节向量；

根据所述调节向量，修正所述隐含特征。

优选地，所述根据所述调节向量，修正所述隐含特征的步骤，包括：

将所述隐含特征与所述调节向量的向量差，作为修正后的隐含特征。

优选地，所述自编码神经网络模型的中间隐层为多层时；

相应地，所述将所述文本词向量逆向输入已训练的自编码神经网络模型，得到所述自编码神经网络模型的中间隐层的隐含特征的步骤，包括：

将所述文本词向量从已训练的自编码神经网络模型的输出层输入，自所述输出层逆向生成所述自编码神经网络模型的中间隐层的的隐含特征，作为所述自编码神经网络模型的中间隐层的隐含特征，其中，

当所述中间隐层为奇数层时，取最中间的中间隐层对应的隐含特征作为所述自编码神经网络模型的中间隐层的隐含特征；

当所述中间隐层为偶数层时，取最中间的两个中间隐层对应的隐含特征的平均值作为所述自编码神经网络模型的中间隐层的隐含特征。

优选地，所述获取待输入语句的文本词向量以及分类需求的步骤之前，所述方法还包括如下步骤：

建立自编码神经网络模型；

获取不带类别标签的训练样本，并生成对应的词向量；

将所述词向量正向输入，训练所述自编码神经网络模型，其中，训练过程为：

将所述词向量正向输入，正向训练所述自编码神经网络模型的第一隐层，在隐层为多层时，将第一隐层由原始输入转化成由隐藏单元激活值组成的向量，将该向量作为第二隐层的输入，继续训练得到第二层的参数，重复执行将前一层的输出作为下一层输入依次训练，在训练每一层参数的时候，其他各层的参数保持不变。

优选地，所述根据生成的词向量，生成对应的文本的步骤，包括：

将生成的词向量与预训练的词向量库匹配，生成每一个词向量对应的词语；

将生成的词语连接在一起，生成对应的文本。

为了实现上述目的，本发明还提供一种基于自编码神经网络的文本生成装置，包括：

获取模块，用于获取待输入语句的文本词向量以及分类需求；

输入模块，用于将所述文本词向量逆向输入已训练的自编码神经网络模型，得到所述自编码神经网络模型的中间隐层的隐含特征；

修正模块，用于根据预设分类尺度以及所述分类需求，修正所述隐含特征；

解码模块，用于将修正后的隐含特征作为所述自编码神经网络模型的中间隐层，自所述中间隐层逆向生成所述自编码神经网络模型的输入层对应的词向量；

生成模块，用于根据生成的词向量，生成对应的文本。

为了实现上述目的，本发明还提供一种终端，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于自编码神经网络的文本生成程序，所述基于自编码神经网络的文本生成程序配置为实现上述的基于自编码神经网络的文本生成方法的步骤。

为了实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有基于自编码神经网络的文本生成程序，所述基于自编码神经网络的文本生成程序被处理器执行时实现上述的基于自编码神经网络的文本生成方法的步骤。

本发明通过获取待输入语句的文本词向量以及分类需求，将所述文本词向量逆向输入已训练的自编码神经网络模型，得到所述自编码神经网络模型的中间隐层的隐含特征，根据预设分类尺度以及所述分类需求，修正所述隐含特征，将修正后的隐含特征作为所述自编码神经网络模型的中间隐层，自所述中间隐层逆向生成所述自编码神经网络模型的输入层对应的词向量，根据生成的词向量，生成对应的文本，通过预设分类尺度以及所述分类需求调节文本生成风格，而不要耗费大量的数据标注资源，不需要耗费大量的资源建模。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端的结构示意图；

图2为本发明基于自编码神经网络的文本生成方法第一实施例的流程示意图；

图3为本发明自编码神经网络学习模型一实施例的结构示意图；

图4为本发明基于自编码神经网络的文本生成方法第二实施例的流程示意图；

图5为本发明基于自编码神经网络的文本生成方法第三实施例的流程示意图；

图6为本发明基于自编码神经网络的文本生成方法第四实施例的流程示意图；

图7为本发明基于自编码神经网络的文本生成方法第五实施例的流程示意图；

图8为本发明基于自编码神经网络的文本生成装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图。

如图1所示，该终端可以包括：处理器1001，例如中央处理器(centralprocessingunit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入模块比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(randomaccessmemory，ram)存储器，也可以是稳定的非易失性存储器(non-volatilememory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及基于自编码神经网络的文本生成程序。

在图1所示的终端中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明终端中的处理器1001、存储器1005可以设置在终端中，所述终端通过处理器1001调用存储器1005中存储的基于自编码神经网络的文本生成程序，并执行本发明实施例提供的基于自编码神经网络的文本生成方法。

本发明实施例提供了一种基于自编码神经网络的文本生成方法，参照图2，图2为本发明基于自编码神经网络的文本生成方法第一实施例的流程示意图。

本实施例中，所述基于自编码神经网络的文本生成方法包括如下步骤：

步骤s10：获取待输入语句的文本词向量以及分类需求；

应该理解的是，本实施例方法的执行主体为终端，分类需求通常指的是期望的分类类别，例如以评价文本为例，评价可分为正面评价和负面评价多类，而分类需求可以是期望输出负面评价，也可以是期望输出正面评价；再例如以情绪文本为例，可以分为正面情绪、负面情绪；又例如以友好程度文本为例，可以分为非常友好、较友好、一般友好、不友好。所述分类需求可以是用户自定义输入得到的，也可以是预先设定的，在此不做具体限制。

具体实现时，所述待输入语句的文本词向量的步骤具体包括：获取输入语句，并对输入语句进行预处理；获取预处理后的输入语句的文本词向量。

对输入语句进行预处理通常包括：去除停用词，即文本中大量出现的对文本没有太大作用的词，例如汉语中“的”、“地”、“得”等，也可以是网页数据集中html标签，脚本语言等。

例如输入的文本为doc，则对应的文本词向量为{ω1、ω2、…、ωn}，ωi为语句中第i个词的词向量。

步骤s20：将所述文本词向量逆向输入已训练的自编码神经网络模型，得到所述自编码神经网络模型的中间隐层的隐含特征；

应该理解的是，将所述文本词向量逆向输入已训练的自编码神经网络模型指的是，将所述文本词向量作为已训练的自编码神经网络模型的输出，逆向得到中间隐层的隐含特征(请参阅图3，图3为中间隐层为1层的情况，将文本词向量从layerl3输入，得到中间隐层layerl2的隐含特征)。当中间隐层数为多层时，取最中间的隐层得到的隐含特征作为所述中间隐层的隐含特征。例如中间隐层数为3层时，则取中间的第二层得到的隐含特征作为所述中间隐层的隐含特征，又例如中间隐层数为2层时，则取两个中间隐层的隐含特征的平均值作为中间隐层的隐含特征，以此类推，当中间隐层数为奇数层时，取最中间的隐层得到的隐含特征作为所述中间隐层的隐含特征，当中间隐层数为偶数层时，则取最中间的两个中间隐层的隐含特征的平均值作为中间隐层的隐含特征。

具体实现时，所述将所述文本词向量逆向输入已训练的自编码神经网络模型，得到所述自编码神经网络模型的中间隐层的隐含特征包括：

将所述文本词向量从已训练的自编码神经网络模型的输出层输入，自所述输出层逆向生成所述自编码神经网络模型的中间隐层的的隐含特征，作为所述自编码神经网络模型的中间隐层的隐含特征，其中，

当所述中间隐层为奇数层时，取最中间的中间隐层对应的隐含特征作为所述自编码神经网络模型的中间隐层的隐含特征；

当所述中间隐层为偶数层时，取最中间的两个中间隐层对应的隐含特征的平均值作为所述自编码神经网络模型的中间隐层的隐含特征。

自编码神经网路模型的训练过程包括：

预训练，利用不带类别标签的训练样本，正向训练自编码神经网络模型的第一隐层l2，得到(w¹,b¹)，在隐层为多层时，网络第一隐层将原始输入转化成由隐藏单元激活值组成的向量，接着把该向量作为第二隐层l3的输入，继续训练得到第二层的参数(w²,b²)，重复执行将前一层的输出作为下一层输入依次训练，在训练每一层参数的时候，其他各层的参数保持不变。也可以是在预训练完成后，通过反向传播算法同时调整所有层的参数，以完善结果。

步骤s30：根据预设分类尺度以及所述分类需求，修正所述隐含特征；

应该理解的是，分类尺度通常指的是各分类之间尺度，例如文本分类可以分为两类，分别为正面评价、负面评价，而由正面评价到负面评价之间的尺度即分类尺度。分类尺度可以是预先定义的，也可以是根据样本计算得到的。

以评价文本为例，评价可分为正面评价和负面评价，第i维特征分类尺度表示为li＝|h1i-h2i|，其中，h1i为第i维特征正面评价样本的隐含特征平均值，h2i为第i维特征负面评价样本的隐含特征平均值。

步骤s40：将修正后的隐含特征作为所述自编码神经网络模型的中间隐层，自所述中间隐层逆向生成所述自编码神经网络模型的输入层对应的词向量；

应该理解的是，所述将修正后的隐含特征作为所述自编码神经网络模型的中间隐层，自所述中间隐层逆向生成所述自编码神经网络模型的输入层对应的词向量是对修正后的隐含特征，解码为自编码神经网络模型的输入(如图3中，以中间隐层为单层为例，自layerl2层解码得到layerl1层，得到对应的词向量)

步骤s50：根据生成的词向量，生成对应的文本。

应该理解的，所述根据生成的词向量，生成对应的文本的步骤是将生成的词向量对应的词语，形成文本。形成文本的方式可以是直接将各词语连接在一起，形成文本，也可以是按照一定的规则将各词语组成文本。

具体实现时，所述根据生成的词向量，生成对应的文本的步骤包括：

步骤s51：将生成的词向量与预训练的词向量库匹配，生成每一个词向量对应的词语；

应该理解的是，预训练的词向量库，是预先按照一定规则建立的词语与词向量之间的对应关系库。

步骤s52：将生成的词语连接在一起，生成对应的文本。

应该理解的是，生成文本的方式可以是直接将各词语连接在一起，形成文本，也可以是按照一定的规则将各词语组成文本。

本发明通过获取待输入语句的文本词向量以及分类需求，将所述文本词向量逆向输入已训练的自编码神经网络模型，得到所述自编码神经网络模型的中间隐层的隐含特征，根据预设分类尺度以及所述分类需求，修正所述隐含特征，将修正后的隐含特征作为所述自编码神经网络模型的中间隐层，自所述中间隐层逆向生成所述自编码神经网络模型的输入层对应的词向量，根据生成的词向量，生成对应的文本，通过预设分类尺度以及所述分类需求调节文本生成风格，如供用户调节客服机器人的对话方面的风格尺度，包括正负面情绪、友好程度等尺度，而不要耗费大量的数据标注资源，不需要耗费大量的资源建模。

参考图4，图4为本发明基于自编码神经网络的文本生成方法第二实施例的流程示意图。

基于上述第一实施例，在本实施例中，所述步骤s10之前，所述方法包括如下步骤：

步骤s101：获取带标签的多类训练样本，并生成对应的分类词向量；

应该理解的是，多类训练样本指的是训练样本分为多种类别，以评价文本为例，评价样本分为正面评价文本和负面评价文本两种类别，带标签的多类训练样本指的是多类训练样本分别带有标签(例如带有正面评价或负面评价的标签)。

步骤s102：将所述分类词向量正向输入所述已训练的自编码神经网络模型，得到多类样本的隐含特征；

应该理解的是，将所述分类词向量正向输入所述已训练的自编码神经网络模型指的是，将所述分类词向量作为已训练的自编码神经网络模型的输入，正向得到中间隐层的的隐含特征，作为多类样本的隐含特征(请参阅图3，图3为中间隐层为1层的情况，将分类词向量从layerl1输入，得到中间隐层layerl2的隐含特征)，当中间隐层数为多层时，取最中间的隐层得到的隐含特征作为多类样本的隐含特征。例如中间隐层数为3层时，则取中间的第二层得到的隐含特征作为多类样本的隐含特征，又例如中间隐层数为2层时，则取两个中间隐层的隐含特征的平均值作为多类样本的隐含特征。

步骤s103：计算多类样本的所述隐含特征的向量差，并作为多类样本的所述分类尺度。

应该理解的是，所述计算多类样本的所述隐含特征的向量差，并作为多类样本的所述分类尺度，以评价文本为例，评价可分为正面评价和负面评价，第i维特征分类尺度表示为li＝|h1i-h2i|，其中，h1i为第i维特征正面评价样本的隐含特征平均值，h2i为第i维特征负面评价样本的隐含特征平均值。

参考图5，图5为本发明基于自编码神经网络的文本生成方法第三实施例的流程示意图。

基于上述第二实施例，在本实施例中，所述步骤s30，具体包括：

步骤s31：根据所述预设分类尺度以及分类需求，确定所述隐含特征对应的调节向量；

具体实现时，假设分类尺度为l，分类需求为输出负面评价文本，则可以根据负面评价的程度确定调节向量b，通常调节向量b。

步骤s32：根据所述调节向量，修正所述隐含特征。

应该理解的是，根据确定的调节向量，修正所述隐含特征，可以是取隐含特征与调节向量的向量差，也可以是作为权值，以使修正后的隐含特征在解码后按分类需求输出。

参考图6，图6为本发明基于自编码神经网络的文本生成方法第四实施例的流程示意图。

基于上述第三实施例，在本实施例中，所述步骤s32，具体包括：

步骤s321：将所述隐含特征与所述调节向量的向量差，作为修正后的隐含特征。

具体实现时，修正前的隐含特征为h前，调节向量为b，则修正后的隐含特征h后＝h前-b。

参考图7，图7为本发明基于自编码神经网络的文本生成方法第四实施例的流程示意图。

基于上述第一实施例，在本实施例中，所述步骤s10之前，所述方法还包括：

步骤s104：建立自编码神经网络模型；

应该理解的是，自编码神经网络模型是一种尽可能重构输入信号的无监督学习神经网络，自编码神经网络模型可以是多中间隐层，也可以单中间隐层的自编码网络模型(参见图3)。

步骤s105：获取不带类别标签的训练样本，并生成对应的词向量；

应该理解的是，不带类别标签的训练样本即该训练样本并未标记其类别。

步骤s106：将所述词向量正向输入，训练所述自编码神经网络模型。

具体实现时，利用不带类别标签的训练样本，正向训练自编码神经网络模型的第一隐层l2，得到(w¹,b¹)，在隐层为多层时，网络第一隐层将原始输入转化成由隐藏单元激活值组成的向量，接着把该向量作为第二隐层l3的输入，继续训练得到第二层的参数(w²,b²)，重复执行将前一层的输出作为下一层输入依次训练，在训练每一层参数的时候，其他各层的参数保持不变。也可以是在预训练完成后，通过反向传播算法同时调整所有层的参数，以完善结果。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于自编码神经网络的文本生成程序，所述基于自编码神经网络的文本生成程序被处理器执行时实现如上文所述的基于自编码神经网络的文本生成方法的步骤。

参照图8，图8为本发明基于自编码神经网络的文本生成装置第一实施例的结构框图。

如图8所示，本发明实施例提出的基于自编码神经网络的文本生成装置包括：

获取模块801，用于获取待输入语句的文本词向量以及分类需求；

应该理解的是，分类需求通常指的期望的分类类别，例如以评价文本为例，评价可分为正面和负面两类，而分类需求可以是期望输出负面评价，也可以是期望输出正面评价。所述分类需求可以是用户自定义输入得到的，也可以是预先设定的，在此不做具体限制。

具体实现时，所述待输入语句的文本词向量的步骤具体包括：获取输入语句，并对输入语句进行预处理；获取预处理后的输入语句的文本词向量。

对输入语句进行预处理通常包括：去除停用词，即文本中大量出现的对文本没有太大作用的词，例如汉语中“的”、“地”、“得”等，也可以是网页数据集中html标签，脚本语言等。

例如输入的文本为doc，则对应的文本词向量为{ω1、ω2、…、ωn}，ωi为语句中第i个词的词向量。

输入模块802，用于将所述文本词向量逆向输入已训练的自编码神经网络模型，得到所述自编码神经网络模型的中间隐层的隐含特征；

应该理解的是，将所述文本词向量逆向输入已训练的自编码神经网络模型指的是，将所述文本词向量作为已训练的自编码神经网络模型的输出，逆向得到中间隐层的隐含特征(请参阅图3，图3为中间隐层为1层的情况，将文本词向量从layerl3输入，得到中间隐层layerl2的隐含特征)。当中间隐层数为多层时，取最中间的隐层得到的隐含特征作为所述中间隐层的隐含特征。例如中间隐层数为3层时，则取中间的第二层得到的隐含特征作为所述中间隐层的隐含特征，又例如中间隐层数为2层时，则取两个中间隐层的隐含特征的平均值作为中间隐层的隐含特征。

具体实现时，自编码神经网路模型的训练过程包括：

预训练，利用不带类别标签的训练样本，正向训练自编码神经网络模型的第一隐层l2，得到(w¹,b¹)，在隐层为多层时，网络第一隐层将原始输入转化成由隐藏单元激活值组成的向量，接着把该向量作为第二隐层l3的输入，继续训练得到第二层的参数(w²,b²)，重复执行将前一层的输出作为下一层输入依次训练，在训练每一层参数的时候，其他各层的参数保持不变。也可以是在预训练完成后，通过反向传播算法同时调整所有层的参数，以完善结果。

修正模块803，用于根据预设分类尺度以及所述分类需求，修正所述隐含特征；

应该理解的是，分类尺度通常指的是各分类之间尺度，例如文本分类可以分为两类，分别为正面评价、负面评价，而由正面评价到负面评价之间的尺度即分类尺度。分类尺度可以是预先定义的，也可以是根据样本计算得到的。

以评价文本为例，评价可分为正面评价和负面评价，第i维特征分类尺度表示为li＝|h1i-h2i|，其中，h1i为第i维特征正面评价样本的隐含特征的平均值，h2i为第i维特征负面评价样本的隐含特征的平均值。

解码模块804，用于将修正后的隐含特征作为所述自编码神经网络模型的中间隐层，自所述中间隐层逆向生成所述自编码神经网络模型的输入层对应的词向量；

应该理解的是，所述将修正后的隐含特征作为所述自编码神经网络模型的中间隐层，自所述中间隐层逆向生成所述自编码神经网络模型的输入层对应的词向量是根据修正后的所述隐含特征，解码为自编码神经网络模型的输入(如图3中，以中间隐层为单层为例，自layerl2层解码得到layerl1层，得到对应的词向量)

生成模块805，用于根据生成的词向量，生成对应的文本。

应该理解的，所述根据生成的词向量，生成对应的文本的步骤是将生成的词向量对应的词语，形成文本。形成文本的方式可以是直接将各词语连接在一起，形成文本，也可以是按照一定的规则将各词语组成文本。

本发明通过获取待输入语句的文本词向量以及分类需求，将所述文本词向量逆向输入已训练的自编码神经网络模型，得到所述自编码神经网络模型的中间隐层的隐含特征，根据预设分类尺度以及所述分类需求，修正所述隐含特征，将修正后的隐含特征作为所述自编码神经网络模型的中间隐层，自所述中间隐层逆向生成所述自编码神经网络模型的输入层对应的词向量，根据生成的词向量，生成对应的文本，通过预设分类尺度以及所述分类需求调节文本生成风格，如供用户调节客服机器人的对话方面的风格尺度，包括正负面情绪、友好程度等尺度，而不要耗费大量的数据标注资源，不需要耗费大量的资源建模。

本发明基于自编码神经网络的文本生成装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。