基于局部特征显著化的图像场景分类方法和装置与流程

本申请涉及场景分类技术领域，特别是涉及一种基于局部特征显著化的图像场景分类方法和装置。

背景技术：

随着互联网多媒体技术的发展和视觉数据的增长，如何处理这些海量的数据成为了新时代的难题。场景分类技术，作为解决图像检索、图像识别问题的关键技术，已成为计算机视觉领域中一个非常重要且极具挑战的研究课题。同时，场景分类在遥感图像分析、视频监控、机器人感知等领域都具有广泛的应用。因此，对于场景分类技术进行相应的研究和提高计算机场景识别能力具有十分重要的意义。

所谓图像场景分类，是指对于已经给定的图像，通过判断识别它所包含的信息和内容来判断其所属的场景，从而达到分类的目的。近年来，深度学习技术迅速发展，逐渐取代了传统手工设计图像特征的方法，在场景分类领域取得了全新的进展。然而，深度学习需要大量的训练样本，这对于一些小规模的场景数据集而言并不能满足，如同实际应用中也不能保证每类场景都能提供相当数量的图像进行训练，迁移学习的诞生为解决这类问题提供了思路与解决方案。迁移学习是一种机器学习的方法，指的是一个预训练的模型被重新用在另一个任务中，通过合理选择一些在大规模数据集上预训练的深度网络，将网络在目标数据集上进行选择性地微调，以适应当前任务需要，在一些深度学习问题中得到了广泛的应用。在不同数据集中预训练的网络参数结构往往有较大的差异，通过这些网络在任务数据集上提取的特征也能反映出数据不同方面的性质。场景图像内容丰富，概念复杂，仅仅使用一类预训练的网络提取的特征并不足以描述场景图像，所以一种常见的做法就是通过融合不同网络提取的特征，形成更具判别力的场景特征表示。然而，尽管不同预训练模型提取的特征能反映场景的不同方面的性质，这些特征描述场景的准确程度也各不相同，如何结合这些特征各自的特点提取其中有效的部分进行融合成为了一个难题，且目前尚未存在一种通用的解决方案。另一方面，卷积神经网络对于不同尺度下的场景图像的理解不同，在某个尺度下无法提取到的特征可能在另一个尺度下能够得到，所以，结合多个尺度下的场景图像信息能够有效增强场景图像描述。但是，在多尺度图像中提取的特征并不是总能相互补充，形成更准确的场景表示。例如，在小尺度图像中能够提取到更加细节性的信息，但是同时也会将图像中的噪声信息放大，如何合理地将这些特征进行过滤筛选也成了一个问题。目前多尺度图像通常是在原图像中进行密集采样得到的，以一张256×256像素的图像为例，通过设置新图像的尺寸和采样步长，就可以从原图像中采样出不同尺寸的局部图像。通过密集采样的局部特征数量会比较多，通常需要结合视觉词袋模型(bag-of-visual-word，bovw)等方法对其进行编码，最后进行聚合得到新的场景图像描述。使用这类方法得到的多尺度场景图像描述存在计算量较大、存在结构冗余等不足。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种能够解决多尺度场景图像描述存在计算量较大、存在结构冗余问题的基于局部特征显著化的图像场景分类方法和装置。

一种基于局部特征显著化的图像场景分类方法，所述方法包括：

将待分类的图像场景数据进行分割，得到图像场景数据块；

通过预先设置的场景特征提取模型和对象特征提取模型，分别提取所述图像场景数据块中的场景局部特征和对象局部特征，以及通过所述的场景特征提取模型和所述对象特征提取模型，提取所述图像场景数据中的场景全局特征和对象全局特征；

通过设置每个所述场景局部特征和所述对象局部特征的权重，分别得到增强场景局部特征和增强对象局部特征；

将所述增强场景局部特征、所述增强对象局部特征、所述场景全局特征和所述对象全局特征进行融合，得到图像场景数据的融合特征；

将所述融合特征输入预先训练的分类模型，得到所述图像场景数据的场景分类。

在其中一个实施例中，还包括：计算所有所述图像场景数据块对应所述场景局部特征的均值，确定特征中心；根据所述场景局部特征到所述特征中心的距离，确定每个所述场景局部特征的场景距离向量；对所述场景距离向量进行归一化，得到每个场景距离向量的初始场景局部特征权重；根据预先设置的第一超参数，对所述初始场景局部特征权重进行调整，得到场景局部特征权重；根据所述场景局部特征权重，对所述场景局部特征进行加权，得到增强场景局部特征。

在其中一个实施例中，还包括：将所述对象全局特征与所述对象局部特征作差，取绝对值得到所述对象局部特征对应的局部特征距离向量；对所述局部特征距离向量进行归一化，得到每个对象局部特征对应的初始对象局部特征权重；根据预先设置的第二超参数，对所述初始对象局部特征权重进行调整，得到对象局部特征权重；根据所述对象局部特征权重，对所述对象局部特征进行加权，得到增强对象局部特征。

在其中一个实施例中，还包括：采用拼接方式将所述增强场景局部特征、所述增强对象局部特征、所述场景全局特征和所述对象全局特征进行融合，得到图像场景数据的融合特征。

在其中一个实施例中，还包括：将所述融合特征输入预先训练的线性支持向量机，得到所述图像场景数据的场景分类。

在其中一个实施例中，还包括：对所述场景距离向量进行归一化，得到每个场景距离向量的初始场景局部特征权重为：

其中，表示初始场景局部特征权重，表示场景局部特征，表示特征中心，l表示场景局部特征中采样图片数，n表示类别中的图像数。

在其中一个实施例中，还包括：对所述局部特征距离向量进行归一化，得到每个对象局部特征对应的初始对象局部特征权重为：

其中，表示初始对象局部特征权重，表示对象局部特征，表示局部特征距离向量。

一种基于局部特征显著化的图像场景分类装置，所述装置包括：

分割模块，用于将待分类的图像场景数据进行分割，得到图像场景数据块；

特征提取模块，用于通过预先设置的场景特征提取模型和对象特征提取模型，分别提取所述图像场景数据块中的场景局部特征和对象局部特征，以及通过所述的场景特征提取模型和所述对象特征提取模型，提取所述图像场景数据中的场景全局特征和对象全局特征；

显著化模块，用于通过设置每个所述场景局部特征和所述对象局部特征的权重，分别得到增强场景局部特征和增强对象局部特征；

融合模块，用于将所述增强场景局部特征、所述增强对象局部特征、所述场景全局特征和所述对象全局特征进行融合，得到图像场景数据的融合特征；

分类模块，用于将所述融合特征输入预先训练的分类模型，得到所述图像场景数据的场景分类。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

将待分类的图像场景数据进行分割，得到图像场景数据块；

通过预先设置的场景特征提取模型和对象特征提取模型，分别提取所述图像场景数据块中的场景局部特征和对象局部特征，以及通过所述的场景特征提取模型和所述对象特征提取模型，提取所述图像场景数据中的场景全局特征和对象全局特征；

通过设置每个所述场景局部特征和所述对象局部特征的权重，分别得到增强场景局部特征和增强对象局部特征；

将所述增强场景局部特征、所述增强对象局部特征、所述场景全局特征和所述对象全局特征进行融合，得到图像场景数据的融合特征；

将所述融合特征输入预先训练的分类模型，得到所述图像场景数据的场景分类。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

将待分类的图像场景数据进行分割，得到图像场景数据块；

通过预先设置的场景特征提取模型和对象特征提取模型，分别提取所述图像场景数据块中的场景局部特征和对象局部特征，以及通过所述的场景特征提取模型和所述对象特征提取模型，提取所述图像场景数据中的场景全局特征和对象全局特征；

通过设置每个所述场景局部特征和所述对象局部特征的权重，分别得到增强场景局部特征和增强对象局部特征；

将所述增强场景局部特征、所述增强对象局部特征、所述场景全局特征和所述对象全局特征进行融合，得到图像场景数据的融合特征；

将所述融合特征输入预先训练的分类模型，得到所述图像场景数据的场景分类。

上述基于局部特征显著化的图像场景分类方法、装置、计算机设备和存储介质，通过预先设置的场景特征提取模型和对象特征提取模型分别提取，场景局部特征和对象局部特征，以及场景全局特征和对象全局特征，然后对于场景局部特征和对象局部特征，通过设置权重的方式，对其侧重的点设置不同的权重，从而提高特征的针对性，通过特征融合，得到融合特征，通过分类模型，可以对融合特征对应的场景进行分类，由于通过权重进行局部特征显著化，可以减小计算量，并解决结构冗余的问题。

附图说明

图1为一个实施例中基于局部特征显著化的图像场景分类方法的流程示意图；

图2为一个实施例中place-cnn和imagenet-cnn关注场景图像的要素示意图；

图3为一个实施例中模型的框架图；

图4为一个实施例中特征提取的示意图；

图5为一个实施例中place-cnn和imagenet-cnn对于不同场景的类激活图；

图6为一个实施例中特征融合的示意图；

图7为一个实施例中基于局部特征显著化的图像场景分类装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种基于局部特征显著化的图像场景分类方法，包括以下步骤：

步骤102，将待分类的图像场景数据进行分割，得到图像场景数据块。

图像场景数据可以是在场景中采集到的图像，通过对采集的图像进行分割，可以得到图像场景数据块。

具体的，可以利用双线性插值将采集到的原始图像进行调整，例如，将图像尺寸调整至224×224，然后减去imagenet数据集的图像均值，再除以标准差进行图像的标准化，通过标准化后，使得数据符合分布规律，增加模型的泛化能力。对于多尺度图像，将上一步处理后的图像进行调整，例如调整至448×448，而后选取调整后的图像的四角进行切割，形成4个图像场景数据块。该局部图像尺寸为224×224，作为原始场景图像在小尺度下的补充数据。与密集采样不同，该简易采样只增加了4个小尺度图像对原始图像进行补充，减少了数据方面的重复和冗余。

值得说明的是，上述尺寸，切割的数量均是示例，采用其他数值同样可以实现本发明的技术效果。

步骤104，通过预先设置的场景特征提取模型和对象特征提取模型，分别提取图像场景数据块中的场景局部特征和对象局部特征，以及通过的场景特征提取模型和对象特征提取模型，提取图像场景数据中的场景全局特征和对象全局特征。

场景特征提取模型和对象特征提取模型均可以是cnn网络，具体的，场景特征提取模型可以是places-cnn和对象特征提取模型可以是imagenet-cnn。

具体的，本发明选择的深度网络表示为densenet，具体可以以gaohuang提出的densenet161为基础网络，在pytorch深度学习框架中搭建好网络。在进行特征提取时，densenet设置为测试模式，用于正则化的dropout将以概率值的形式与神经元的输出相乘，最终的特征向量是densenet的最后一层卷积层输出。

步骤106，通过设置每个场景局部特征和对象局部特征的权重，分别得到增强场景局部特征和增强对象局部特征。

本步骤中，对场景局部特征和对象局部特征进行显著化，对于场景局部特征，显著化的目的是突出细节，对于对象局部特征，显著化的目的是保留主体。

步骤108，将增强场景局部特征、增强对象局部特征、场景全局特征和对象全局特征进行融合，得到图像场景数据的融合特征。

特征融合的方式有多种，例如相加操作、拼接操作等。

步骤110，将融合特征输入预先训练的分类模型，得到图像场景数据的场景分类。

分类模型可以是支持向量机、逻辑回归等模型，在此不做限制。

上述基于局部特征显著化的图像场景分类方法中，通过预先设置的场景特征提取模型和对象特征提取模型分别提取，场景局部特征和对象局部特征，以及场景全局特征和对象全局特征，然后对于场景局部特征和对象局部特征，通过设置权重的方式，对其侧重的点设置不同的权重，从而提高特征的针对性，通过特征融合，得到融合特征，通过分类模型，可以对融合特征对应的场景进行分类，由于通过权重进行局部特征显著化，可以减小计算量，并解决结构冗余的问题。

在其中一个实施例中，计算所有图像场景数据块对应场景局部特征的均值，确定特征中心；根据场景局部特征到特征中心的距离，确定每个场景局部特征的场景距离向量；对场景距离向量进行归一化，得到每个场景距离向量的初始场景局部特征权重；根据预先设置的第一超参数，对初始场景局部特征权重进行调整，得到场景局部特征权重；根据场景局部特征权重，对场景局部特征进行加权，得到增强场景局部特征。

具体的，计算所有图像场景数据块对应场景局部特征的均值，确定特征中心为：

其中，表示特征中心，表示场景局部特征，l表示采样图片数，n为类别中的图片数。

根据场景局部特征到特征中心的距离，确定每个场景局部特征的场景距离向量，具体为：特征中心与每个场景局部特征做差，取绝对值得到场景局部特征到特征中心的场景距离向量，该向量代表了每一维特征的离散程度。

在一个具体实施例中，对场景距离向量进行归一化，得到每个场景距离向量的初始场景局部特征权重为：

其中，表示初始场景局部特征权重，表示场景局部特征，表示特征中心，l表示场景局部特征中采样图片数，n表示类别中的图像数。

本实施例中，考虑到在原尺度上已经有了较为准确的全局特征，在小尺度上就要求相对突出的场景细节，那么要做的就是加强那些距离特征中心较远的值，以便对场景全局特征进行补充。通过上述归一化方式，可以突出场景的局部细节。

另外，在根据预先设置的第一超参数，对初始场景局部特征权重进行调整，得到场景局部特征权重为：

表示第一超参数。

最后将这些权重和局部特征的乘积之和作为增强场景局部特征

在其中一个实施例中，将对象全局特征与对象局部特征作差，取绝对值得到对象局部特征对应的局部特征距离向量；对局部特征距离向量进行归一化，得到每个对象局部特征对应的初始对象局部特征权重；根据预先设置的第二超参数，对初始对象局部特征权重进行调整，得到对象局部特征权重；根据对象局部特征权重，对对象局部特征进行加权，得到增强对象局部特征。

具体的，与场景局部特征对应的是由imagenet-cnn提取的对象局部特征。由于图像场景数据包含的对象内容丰富，尤其是小尺度图像提取的特征会包含大量的对象细节特征，这些细节特征对于已经有场景局部特征作为补充的全局特征而言会起到反效果，导致直接使用imagenet-cnn提取的全局特征作为场景全局特征的补充的效果并不理想，所以将其作为对象特征语义中心对小尺度局部特征进行指导修正，减少对象特征中细节性的部分，从而得到更为合适的对象局部特征。

具体步骤如下：

用对象全局特征与每个对象局部特征做差，得绝对值得到局部特征距离向量。因为需要用全局特征来引导得到局部向量，所以与场景局部特征突出细节相反，给予距离全局特征近的特征更高的权重。对象局部特征权重的计算如下：

具体的，局部特征显著化的过程是对4个局部特征进行赋权相加，而这几个权重的和需要为1，这也是进行归一化的目的。除以3能恰好使得4个权重的和为1。

使用超参数λ控制对象局部特征权重的影响程度：

最后将对象局部特征权重赋予至对象局部特征得到修正后的增强对象局部特征：

在其中一个实施例中，采用拼接方式将增强场景局部特征、增强对象局部特征、场景全局特征和对象全局特征进行融合，得到图像场景数据的融合特征。

本实施例中，考虑到场景局部特征和对象局部特征是两种截然不同的特征，在语义上相加没有意义，因此选择拼接方式。

在其中一个实施例中，将融合特征输入预先训练的线性支持向量机，得到图像场景数据的场景分类。

本实施例中，线性支持向量机能在保证一定训练准确率的情况下最大化类与类之间的间隔，减少过拟合。

综上，本发明达到的有益效果如下：

1、使用的多尺度场景图像简易采样方案和多尺度特征生成方法，与常用的密集采样和构建语义码本方法相比，计算量有了显著的降低。

2、使用了基于不同深度网络特征的优化方案，即特征显著化方法。该优化方法与特征的性质相结合，有效地提升了融合特征的场景描述能力，且优化后的特征相互之间的互补性更加充分，提升了场景分类的精度。

以下以一个具体实施例，对本发明的有益效果进行说明。

图2为模型中place-cnn和imagenet-cnn所关注的场景图像的不同要素。places-cnn和imagenet-cnn关注的重点有所区别。场景图像的内容较为丰富，要素较多，places-cnn在提取的图像特征往往会带有更多的整体性、空间性特点，而imagenet-cnn提取的特征会更注重细节，尤其是单个对象的细节。

图3为本发明总体框架图，本发明包括以下三个步骤：

第一步，特征提取。使用构建好的places-cnn和imagenet-cnn在两个尺度上对场景图像进行特征提取。

第二步，特征显著化。对提取的不同类型的和不同尺度下的特征进行优化处理，具体包含两个部分，一是场景局部特征突出细节，二是对象局部特征保留主体。

第三步，特征融合与分类。对优化后的特征进行维度上的拼接，再利用线性支持向量机完成分类。

图4描述了第一步特征提取过程。在特征提取阶段，输入的图像进行前向传播，最后一个denseblock的输出将会作为两类卷积神经网络提取的特征。在输入的图像的尺寸为224×224的情况下，加上全局平均池化，得到的特征图的维度为1×2208。其中，使用一个网络提取的局部特征维度为4×2208，全局特征维度为1×2208。

图5为两类网络对于不同场景的类激活图。不同类型的深度特征面向同一个分类任务，其激活区域和分类效果也有明显的不同。图5展示了places-cnn和imagenet-cnn在mitindoor67数据集上的一些场景图像激活的可视化功能图，类激活映射用于实现不同cnn的重点视觉关注区域的可视化(图像越亮的地方代表判别力越强)，反映了场景特征和对象特征的不同性质。从图中能够看出，places-cnn的激活区域和颜色亮度都明显高于imagenet-cnn，这也从另一方面说明了places-cnn在场景分类任务上的效果要好于imagenet-cnn的原因。与places-cnn更为关注场景特征不同，imagenet-cnn将视觉重点放在了一些的场景对象中，如bathroom中的马桶和橱柜，fastfoodrestaurant中的桌椅等。

图6为第三步特征融合与分类中两种不同的特征融合策略，一种是维度上的拼接，如图6左所示，另一种是维度上的相加，如图6右所示，考虑到场景局部特征和对象局部特征是两种截然不同的特征，在语义上相加没有意义，所有本发明选择的融合策略是第一种融合策略。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种基于局部特征显著化的图像场景分类装置，包括：分割模块702、特征提取模块704、显著化模块706、融合模块708和分类模块710，其中：

分割模块702，用于将待分类的图像场景数据进行分割，得到图像场景数据块；

特征提取模块704，用于通过预先设置的场景特征提取模型和对象特征提取模型，分别提取所述图像场景数据块中的场景局部特征和对象局部特征，以及通过所述的场景特征提取模型和所述对象特征提取模型，提取所述图像场景数据中的场景全局特征和对象全局特征；

显著化模块706，用于通过设置每个所述场景局部特征和所述对象局部特征的权重，分别得到增强场景局部特征和增强对象局部特征；

融合模块708，用于将所述增强场景局部特征、所述增强对象局部特征、所述场景全局特征和所述对象全局特征进行融合，得到图像场景数据的融合特征；

分类模块710，用于将所述融合特征输入预先训练的分类模型，得到所述图像场景数据的场景分类。

在其中一个实施例中，显著化模块706还用于计算所有所述图像场景数据块对应所述场景局部特征的均值，确定特征中心；根据所述场景局部特征到所述特征中心的距离，确定每个所述场景局部特征的场景距离向量；对所述场景距离向量进行归一化，得到每个场景距离向量的初始场景局部特征权重；根据预先设置的第一超参数，对所述初始场景局部特征权重进行调整，得到场景局部特征权重；根据所述场景局部特征权重，对所述场景局部特征进行加权，得到增强场景局部特征。

在其中一个实施例中，显著化模块706还用于将所述对象全局特征与所述对象局部特征作差，取绝对值得到所述对象局部特征对应的局部特征距离向量；对所述局部特征距离向量进行归一化，得到每个对象局部特征对应的初始对象局部特征权重；根据预先设置的第二超参数，对所述初始对象局部特征权重进行调整，得到对象局部特征权重；根据所述对象局部特征权重，对所述对象局部特征进行加权，得到增强对象局部特征。

在其中一个实施例中，融合模块708还用于采用拼接方式将所述增强场景局部特征、所述增强对象局部特征、所述场景全局特征和所述对象全局特征进行融合，得到图像场景数据的融合特征。

在其中一个实施例中，分类模块710还用于将所述融合特征输入预先训练的线性支持向量机，得到所述图像场景数据的场景分类。

在其中一个实施例中，显著化模块706还用于对所述场景距离向量进行归一化，得到每个场景距离向量的初始场景局部特征权重为：

其中，表示初始场景局部特征权重，表示场景局部特征，表示特征中心，l表示场景局部特征中采样图片数，n表示类别中的图像数。

在其中一个实施例中，显著化模块706还用于对所述局部特征距离向量进行归一化，得到每个对象局部特征对应的初始对象局部特征权重为：

其中，表示初始对象局部特征权重，表示对象局部特征，表示局部特征距离向量。

关于基于局部特征显著化的图像场景分类装置的具体限定可以参见上文中对于基于局部特征显著化的图像场景分类方法的限定，在此不再赘述。上述基于局部特征显著化的图像场景分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于局部特征显著化的图像场景分类方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。