批次归一化层的制作方法

本说明书涉及通过神经网络层处理输入以生成输出。

背景技术：

神经网络是采用一个或者多个非线性单元层来针对接收到的输入预测输出的机器学习模型。除了输出层之外，一些神经网络还包括一个或者多个隐藏层。每个隐藏层的输出被用作网络中的下一层的输入，即，下一隐藏层或者输出层。网络中的每一层根据相应参数集的当前值从接收到的输入生成输出。

技术实现要素：

一般而言，本说明书所描述的主题的一个创新方面可以体现为神经网络系统，该神经网络系统由一个或者多个计算机实施，该神经网络系统包括：批次归一化层，该批次归一化层在第一神经网络层与第二神经网络层之间，其中，第一神经网络层生成具有多个分量的第一层输出，其中，批次归一化层被配置为，在基于训练示例批次对所述神经网络系统进行训练期间：接收批次中的每个训练示例的相应的第一层输出；根据第一层输出计算批次的多个归一化统计量；使用归一化统计量对每个第一层输出的每个分量进行归一化，以生成批次中的每个训练示例的相应的经归一化的层输出；从经归一化的层输出生成训练示例中的每个训练示例的相应的批次归一化层输出；以及提供批次归一化层输出作为对第二神经网络层的输入。

对于待配置为执行特定操作或者动作的一个或者多个计算机的系统而言，意味着系统具有安装在其上的在操作时使系统执行操作或者动作的软件、固件、硬件、或者其组合。对于待配置为执行特定操作或者动作的一种或者多种计算机程序而言，意味着该一种或者多种程序包括指令，该指令在由数据处理装置执行时使该装置执行操作或者动作。

本说明书中描述的主题的具体实施例可以实施为实现以下优点中的一个或者多个。与不包括任何批次归一化层的相同的神经网络相比较，可以更加快速地对包括一个或者多个批次归一化层的神经网络系统进行训练。例如，通过将一个或者多个批次归一化层包括在神经网络系统中，可以减轻由在训练期间改变的给定层的输入的分布造成的问题。这可以允许在训练期间有效地使用更高的学习速率并且可以减少如何初始化参数对训练过程的影响。另外，在训练期间，批次归一化层可以充当正则化矩阵并且可以减少对待在训练期间采用的其它正则化技术(例如，丢弃)的需要。一旦被训练，包括一个归一化层的神经网络系统就可以生成神经网络输出，该神经网络输出即便不会比相同的神经网络系统所生成的神经网络输出更精确，也会与其一样精确。

在附图和以下描述中陈述了本说明书中的主题的一个或者多个实施例的细节。本主题的其它特征、方面和优点将通过说明书、附图和权利要求书变得显而易见。

附图说明

图1示出了示例神经网络系统。

图2是在对神经网络系统进行训练期间使用批次归一化层来处理输入的示例过程的流程图。

图3是在已经对神经网络系统进行了训练之后使用批次归一化来处理输入的示例过程的流程图。

在各个附图中，相同的参考数字和标志指示相同的元素。

具体实施方式

本说明书描述了包括批次归一化层的神经网络系统，该神经网络系统被实施为在一个或者多个位置处的一个或者多个计算机上的计算机程序。

图1示出了示例神经网络系统100。该神经网络系统100是被实施为在一个或者多个位置处的一个或者多个计算机上的计算机程序的系统的示例，其中，可以实施下面所描述的系统、组件和技术。

神经网络系统100包括多个神经网络层，这些神经网络层排列成序列：从序列中的最低层到序列中的最高层依次排列。神经网络系统通过处理经过序列中的每一层的神经网络输入，来通过神经网络输入生成神经网络输出。

神经网络系统100可以被配置为接收任何种类的数字数据输入，并且基于该输入生成任何种类的分数或者分类输出。

例如，如果对神经网络系统100的输入是图像或者已经从图像提取到的特征，则由神经网络系统100针对给定图像生成的输出可以是对象类别集中的每个类别的分数，其中，每个分数表示图像包含属于该类别的对象的图像的估计似然率。

作为另一示例，如果对神经网络系统100的输入是互联网资源(例如，网页)、文档、或者文档的部分、或者从互联网资源、文档、或者文档的部分提取到的特征，则由神经网络系统100针对给定互联网资源、文档、或者文档的部分生成的输出可以是话题集中的每一个话题的分数，其中，每个分数表示互联网资源、文档、或者文档的部分与该话题有关的估计似然率。

作为另一示例，如果对神经网络系统100的输入是特定广告的闪现场境的特征，则由神经网络系统100生成的输出可以是表示将点击该特定广告的估计似然率的分数。

作为另一示例，如果对神经网络系统100的输入是对用户的个性化推荐的特征，例如，表征推荐的场境的特征，例如，表征用户之前所采取的动作的特征，则由神经网络系统100生成的输出可以是内容项集中的每个内容项的分数，其中，每个分数表示用户将积极响应被推荐内容项的估计似然率。

作为另一示例，如果对神经网络系统100的输入是一种语言的文本，则由神经网络系统100生成的输出可以是另一种语言的文本段集中的每个文本段的分数，其中，每个分数表示其它语言的文本段是输入文本变成其它语言的一种合适的翻译的估计似然率。

作为另一示例，如果对神经网络系统100的输入是口语话语、口语话语序列、或者从前两者中的一个推导出的特征，则由神经网络系统100生成的输出可以是文本段集中的每个文本段的分数，每个分数表示文本段是话语或者话语序列的正确转录的估计似然率。

作为另一示例，神经网络系统100可以是自动完成系统的部分或者文本处理系统的部分。

作为另一示例，神经网络系统100可以是增强式学习系统的部分并且可以生成用于选择待由与环境交互的代理执行的动作的输出。

具体地，神经网络的层中的每个层被配置为接收输入并且从所述输入生成输出，并且神经网络层共同处理由神经网络系统100接收到的神经网络输入以生成每个接收到的神经网络输入的相应的神经网络输出。序列中的神经网络层中的一些或者全部根据神经网络层的参数集的当前值从输入生成输出。例如，一些层可以将接收到的输入与当前参数值的矩阵相乘，作为从接收到的输入生成输出的部分。

神经网络系统100还包括批次归一化层108，该批次归一化层108在神经网络层序列中的神经网络层a104与神经网络层b112之间。批次归一化层108被配置为：在对神经网络系统100进行训练期间，对从神经网络层a104接收到的输入执行操作集，并且，在已经对神经网络系统100进行了训练之后，对从神经网络层a104接收到的输入执行另一操作集。

具体地，可以基于多个训练示例批次对神经网络系统100进行训练，以确定神经网络层的参数的训练值。训练示例批次是多个训练示例集。例如，在训练期间，神经网络系统100可以处理训练示例批次102并且生成批次102中的每个训练示例的相应的神经网络输出。然后，使用神经网络输出来调整序列中的神经网络层的参数的值，例如，通过传统的梯度下降和反向传播神经网络训练技术。

在基于给定的训练示例批次对神经网络系统100进行训练期间，批次归一化层108被配置为接收由神经网络层a104针对批次中的训练示例而生成的层a输出106，对层a输出106进行处理以生成批次中的每个训练示例的相应的批次归一化层输出110，然后提供批次归一化层输出110作为对神经网络层b112的输入。层a输出106包括由神经网络层a104针对批次中的每个训练示例而生成的相应的输出。同样，批次归一化层输出110包括由批次归一化层108针对批次中的每个训练示例而生成的相应的输出。

通常，批次归一化层108根据层a输出106计算针对批次的归一化统计量集，对层a输出106进行归一化以生成批次中的每个训练示例的相应的经归一化的输出，并且，可选地，在提供输出作为对神经网络层b112的输入之前，对经归一化的输出中的每一个经归一化的输出进行转换。

由批次归一化层108计算的归一化统计量和批次归一化层108在训练期间对层a输出106进行归一化的方式取决于生成层a输出106的神经网络层a104的性质。

在一些情况下，神经网络层a104是生成输出的层，该输出包括通过维度而被索引的多个分量。例如，神经网络层a104可以是全连接神经网络层。然而，在一些其它情况下，神经网络层a104是卷积层或者其它种类的神经网络层，其生成包括分别通过特征索引和空间位置索引两者而被索引的多个分量的输出。下面将参照图2更详细地描述在这两种情况中的每种情况下在对神经网络系统100进行训练期间生成批次归一化层输出。

一旦已经对神经网络系统100进行了训练，神经网络系统100就可以接收新的神经网络输入以进行处理，并且通过神经网络层处理神经网络输入以根据神经网络系统100的分量的参数的训练值来针对输入生成新的神经网络输出。批次归一化层108在对新的神经网络输入进行处理期间执行的操作也取决于神经网络层a104的性质。下面将参照图3更详细地描述在已经对神经网络系统100进行了训练之后对新的神经网络输入进行处理。

批次归一化层108可以包括在神经网络层序列中的各种位置处，并且，在一些实施方式中，多个批次归一化层可以包括在序列中。

在图1的示例中，在一些实施方式中，神经网络层a104通过根据第一神经网络层的参数集的当前值对对该层的输入进行修改(例如，通过将对该层的输入与当前参数值的矩阵相乘)来生成输出。在这些实施方式中，神经网络层b112可以接收来自批次归一化层108的输出，并且通过将非线性运算(即，非线性激活函数)应用于批次归一化层输出来生成输出。因此，在这些实施方式中，将批次归一化层108插入传统神经网络层内，并且在神经网络层a104与神经网络层b112之间划分传统神经网络层的操作。

在一些其它实施方式中，神经网络层a104通过根据参数集的当前值对层输入进行修改以生成修改后的第一层输入并且然后在提供输出至批次归一化层108之前将非线性运算应用于修改后的第一层输入，来生成输出。因此，在这些实施方式中，在序列中的传统神经网络层后插入批次归一化层108。

图2是用于基于训练示例批次在对神经网络进行训练期间生成批次归一化层输出的示例过程200的流程图。为了方便起见，将过程200描述为由位于一个或者多个位置中的一个或者多个计算机的系统执行。例如，包括在神经网络系统中的批次归一化层(例如，包括在图1的神经网络系统100中的批次归一化层108)经过适当地编程可以执行过程200。

批次归一化层接收训练示例批次的较低层输出(步骤202)。较低层输出包括由在神经网络层序列中的批次归一化层下面的层针对批次中的每个训练示例而生成的相应的输出。

批次归一化层生成批次中的每个训练示例的相应的经归一化的输出(步骤204)。即，批次归一化层从每个接收到的较低层输出生成相应的经归一化的输出。

在一些情况下，批次归一化层下面的层是生成输出的层，该输出包括通过维度而被索引的多个分量。

在这些情况下，批次归一化层针对每个维度来计算与该维度对应的较低层输出的分量的平均值和标准偏差。批次归一化层然后使用平均值和标准偏差对较低层输出中的每个较低层输出的每个分量进行归一化，以生成批次中的每个训练示例的相应的经归一化的输出。具体地，针对给定输出的给定分量，批次归一化层使用针对与分量对应的维度而计算的平均值和标准偏差，对分量进行归一化。例如，在一些实施方式中，针对与来自批次β的第i个较低层输出的第k个维度对应的分量xk,i，经归一化的输出满足：

其中，μβ是与批次β中的较低层输出的第k个维度对应的分量的平均值，并且σb是与批次β中的较低层输出的第k个维度对应的分量的标准偏差。在一些实施方式中，标准偏差是等于(σb²+ε)^1/2的数值稳定的标准偏差，其中，ε是常数值，并且σb²是与批次β中的较低层输出的第k个维度对应的分量的方差。

然而，在一些其它情况下，批次归一化层下面的神经网络层是卷积层或者其它种类的神经网络层，该其它种类的神经网络层生成包括分别通过特征索引和空间位置索引两者而被索引的多个分量的输出。

在这些情况中的一些情况下，批次归一化层针对每个可能的特征索引和空间位置索引组合来计算具有该特征索引和该空间位置索引的较低层输出的分量的平均值和方差。批次归一化层然后针对每个特征索引来计算包括该特征索引的特征索引和空间位置索引组合的平均值的平均数。批次归一化层还针对每个特征索引来计算包括该特征索引的特征索引和空间位置索引组合的方差的平均数。因此，在计算了平均数之后，批次归一化层已经计算了跨越所有空间位置的每个特征的平均值统计量和跨越所有空间位置的每个特征的方差统计量。

批次归一化层然后使用平均的平均值和平均的方差，对较低层输出中的每个较低层输出的每个分量进行归一化，以生成批次中的每个训练示例的相应的经归一化的输出。具体地，针对给定输出的给定分量，批次归一化层使用与分量对应的特征索引的平均的平均值和平均的方差(例如，按照与上面在批次归一化层下面的层生成通过维度而被索引的输出时描述的方式相同的方式)，对分量进行归一化。

在这些情况中的其它情况下，批次归一化层针对每个特征索引来计算与该特征索引对应的较低层输出(即，具有该特征索引的较低层输出)的分量的平均值和方差。

批次归一化层然后使用特征索引的平均值和方差，对较低层输出中的每个较低层输出的每个分量进行归一化，以生成批次中的每个训练示例的相应的经归一化的输出。具体地，针对给定输出的给定分量，批次归一化层然后使用与分量对应的特征索引的平均值和方差(例如，按照与上面在批次归一化层下面的层生成通过维度而被索引的输出时描述的方式相同的方式)，对分量进行归一化。

可选地，批次归一化层对每个经归一化的输出的每个分量进行转换(步骤206)。

在批次归一化层下面的层是生成包括通过维度而被索引的多个分量的输出的层的情况下，批次归一化层针对每个维度根据针对该维度的参数集的当前值，对该维度中的每个经归一化的输出的分量进行转换。即，批次归一化层维护每个维度的相应的参数集并且使用这些参数将转换应用于该维度中的经归一化的输出的分量。对该参数集的值进行调整，作为对神经网络系统的训练的部分。例如，在一些实施方式中，从经归一化的输出生成的转换后的经归一化的输出yk,i满足：

其中，γk和ak是针对第k个维度的参数。

在批次归一化层下面的层是卷积层的情况下，批次归一化层针对经归一化的输出中的每个经归一化的输出的每个分量根据与该分量对应的特征索引的参数集的当前值，对该分量进行转换。即，批次归一化层维护每个特征索引的相应参数集并且使用这些参数来将转换应用于具有特征索引的经归一化的输出的分量，例如，按照与上面在批次归一化层下面的层生成通过维度而被索引的输出时描述的方式相同的方式。对该参数集的值进行调整，作为对神经网络系统的训练的部分。

批次归一化层提供经归一化的输出或者转换后的经归一化的输出作为对序列中的批次归一化层上的层的输入(步骤208)。

在神经网络已经生成批次中的训练示例的神经网络输出之后，向后传播归一化统计量，作为调整神经网络的参数的值的部分，即，作为执行向后传播训练技术的部分。

图3是用于在已经训练了神经网络之后生成新的神经网络输入的批次归一化层输出的示例过程300的流程图。为了方便起见，将过程300描述为由位于一个或者多个位置中的一个或者多个计算机的系统执行。例如，包括在神经网络系统中的批次归一化层(例如，包括在图1的神经网络系统100中的批次归一化层108)经过适当地编程可以执行过程300。

批次归一化层接收新的神经网络输入的较低层输出(步骤302)。较低层输出是由神经网络层序列中的批次归一化层下面的层针对新的神经网络输入而生成的输出。

批次归一化层生成新的神经网络输入的经归一化的输出(步骤304)。

如果由批次归一化层下面的层生成的输出是通过维度而被索引的，则批次归一化层使用维度中的每个维度的预先计算的平均值和标准偏差，对较低层输出中的每个分量进行归一化，以生成经归一化的输出。在一些情况下，从由批次归一化层下面的层在对神经网络系统进行训练期间生成的所有输出的维度中的分量计算出给定维度的平均值和标准偏差。

然而，在一些其它情况下，根据由批次归一化层下面的层在训练之后生成的较低层输出的维度中的分量(例如，根据在指定持续时间的最近时间窗中期间生成的较低层输出或者从由批次归一化层下面的层最近生成的指定数量的较低层输出)，计算给定维度的平均值和标准偏差。

具体地，在一些情况下，网络输入的分布可以在训练期间所使用的训练示例与在训练了神经网络系统之后所使用的新的神经网络输入之间改变，因此，较低层输出的分布可以在它们之间改变，例如，如果新的神经网络输入是与训练示例不同种类的输入。例如，已经基于用户图像对神经网络系统进行了训练并且现在可以使用神经网络系统来处理视频帧。在拍得的类别(classespictured)、图像属性、组成等方面，用户图像和视频帧可能具有不同的分布。因此，使用来自训练的统计量来对较低层输入进行归一化可能不会准确地捕捉到针对新的输入而生成的较低层输出的统计量。因此，在这些情况下，批次归一化层可以使用根据由批次归一化层下面的层在训练之后生成的较低层输出中计算的归一化统计量。

如果由批次归一化层下面的层生成的输出是通过特征索引和空间位置索引而被索引的，则批次归一化层使用特征索引中的每个特征索引的预先计算的平均的平均值和平均的方差，对较低层输出的每个分量进行归一化，以生成经归一化的输出。在一些情况下，如上所述，给定特征索引的平均的平均值和平均的方差是根据由批次归一化层下面的层针对训练期间所使用的所有训练示例而生成的输出计算的。在一些其它情况下，如上所述，给定特征索引的平均值和标准偏差是根据由批次归一化层下面的层在训练之后生成的较低层输出计算的。

可选地，批次归一化层对经归一化的输出的每个分量进行转换(步骤306)。

如果由批次归一化层下面的层生成的输出是通过维度而被索引的，则批次归一化层针对每个维度根据该维度的参数集的训练值，对该维度中的经归一化的输出的分量进行转换。如果由批次归一化层下面的层生成的输出是通过特征索引和空间位置索引而被索引的，则批次归一化层根据与分量对应的特征索引的参数集的训练值，对经归一化的输出的每个分量进行转换。批次归一化层提供经归一化的输出或者转换后的经归一化的输出作为对序列中的批次归一化层上的层的输入(步骤308)。

本说明书中所描述的主题和功能操作的实施例可以实施在数字电子电路中、在有形地体现的计算机软件或者固件中、在包括本说明书中所公开的结构和其结构等同物的计算机硬件中，或者在它们中的一个或者多个的组合中。本说明书中所描述的主题的实施例可以实施为一个或者多个计算机程序，即，编码在有形非暂时性程序载体上的由数据处理装置执行或者控制数据处理装置的操作的计算机程序指令的一个或者多个模块。可替代地或者另外，程序指令可以编码在人工生成的传播信号(例如，机器生成的电、光或者电磁信号)上，生成该信号是为了对用于传输至合适的接收器装置以供数据处理装置执行的信息进行编码。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或者串行存取存储器设备、或者它们中的一个或者多个的组合。

术语“数据处理装置”涵盖用于处理数据的所有种类的装置、设备和机器，包括：例如，可编程处理器、计算机、或者多个处理器或者计算机。装置可以包括专用逻辑电路，例如，fpga(现场可编程门阵列)或者asic(专用集成电路)。除了硬件之外，装置还可以包括：为讨论中的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或者它们中的一个或者多个的组合的代码。

计算机程序(也可以被称为或者描述为程序、软件、软件应用、模块、软件模块、脚本或者代码)可以用任何形式的编程语言(包括编译语言或者解释型语言、声明性的或过程的语言)来编写，并且计算机程序可以按照任何形式(包括独立程序或者模块、组件、子例程、或者适合用于计算环境的其它单元)来部署。计算机程序可以但不必与文件系统中的文件相对应。程序可以存储在保存其它程序或者数据的文件的一部分中(例如，存储在标记语言文档中的一个或者多个脚本)、存储在专用于讨论中的程序的单个文件或者多个协同文件(例如，存储一个或者多个模块、子程序或者部分代码的文件)中。计算机程序可以被部署为在位于一个地点或者跨多个地点分布并且通过通信网络互连的一台计算机或者多台计算机上执行。

本说明书中所描述的过程和逻辑流程可以由一个或者多个可编程计算机执行，该一个或者多个可编程计算机执行一个或者多个计算机程序以通过对输入数据进行操作和生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路(例如，fpga(现场可编程门阵列)或者asic(专用集成电路))执行，并且装置也可以实施为专用逻辑电路。

适合执行计算机程序的计算机例如可以是基于通用或者专用微处理器或者两者、或者任何其它种类的中央处理单元。一般而言，中央处理单元将接收来自只读存储器或者随机存取存储器或者两者的指令和数据。计算机的基本元件是用于进行或者执行指令的中央处理单元和用于存储指令和数据的一个或者多个存储器设备。一般而言，计算机还包括用于存储数据的一个或者多个海量存储设备(例如，磁盘、磁光盘、或者光盘)，或者可以操作地耦合以接收来自该海量存储设备的数据或者将数据传递至该海量存储设备或者进行两者。然而，计算机不需要具有这样的设备。此外，计算机可以嵌入在另一设备中，例如，移动电话、个人数字助理(pda)、移动音频或者视频播放器、游戏机、全球定位系统(gps)接收器、或者便携式存储设备(例如，通用串行总线(usb)闪存驱动)，仅举几例。适合存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括：例如，半导体存储器设备(例如，eprom、eeprom和闪速存储器设备)、磁盘(例如，内部硬盘或者可移动盘)、磁光盘、cd-rom盘和dvd-rom盘。处理器和存储器可以由专用逻辑电路补充或者可以并入该专用逻辑电路中。

为了提供与用户的交互，本说明书中所描述的主题的实施例可以实施在具有用于向用户显示信息的显示设备(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)、键盘和指针设备(诸如，鼠标或者轨迹球)的计算机上，用户可以通过键盘和指针设备将输入提供至计算机。其它种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如，视觉反馈、听觉反馈或者触觉反馈；并且来自用户的输入可以以任何形式被接收，包括声音、语音或者触觉输入。另外，计算机可以通过向用户使用的设备发送文档并且从用户使用的设备接收文档(例如，通过响应于从web浏览器接收到的请求，向用户的客户端设备上的web浏览器发送网页)来与用户进行交互。

本说明书中所描述的主题的实施例可以实施在计算系统中，计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有图形用户界面或者web浏览器的客户端计算机，用户可以通过图形用户界面或者web浏览器与本说明书中所描述的主题的实施方式进行交互)，或者计算系统包括一个或者多个这种后端组件、中间件组件或者前端组件的任意组合。系统的组件可以通过任何形式的数字数据通信介质进行互连，例如通信网络。通信网络的示例包括局域网(“lan”)和广域网(“wan”)，例如，互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。

虽然本说明书包含了许多具体实施方式细节，但是不应该将这些细节视为对任何发明或者可能被要求保护的内容的范围的限制，而是作为针对特定发明的特定实施例的特征的描述。本说明书中在单独实施例的场境下描述的某些特征还可以组合形式实施在单个实施例中。相反，在单个实施例的场境下描述的各种特征也可以单独地或者按照任何合适的子组合的形式实施在多个实施例中。而且，虽然特征可以如上描述为在某些组合中起作用甚至最初要求这样保护的，但是在某些情况下来自要求保护的组合的一个或者多个特征可以从组合中删去，而且要求保护的组合可以指向子组合或者子组合的变体。

同样，虽然在附图中按照特定顺序描绘操作，但是不应该将其理解为需要按照所示的特定顺序或者按照相继的顺序来进行这种操作，或者需要进行所有图示的操作以实现期望的结果。在某些环境下，多任务和并行处理可能是有利的。而且，上述实施例中的各种系统模块和组件的分离不应该被理解为在所有实施例中需要这种分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。

已经描述了主题的特定实施例。其它实施例在以下权利要求书的范围内。例如，在权利要求书中所引用的动作可以按照不同的顺序执行并且仍然可以实现期望结果。作为一个示例，附图中所示的过程不一定需要所示的特定顺序或者相继顺序以实现期望结果。在某些实施方式中，多任务处理和并行处理可能是有益的。