基于光度立体视觉的检测方法及系统与流程

本申请涉及计算机视觉技术领域，尤其涉及基于光度立体视觉的检测方法及系统。

背景技术：

当今社会，随着计算机技术，人工智能等科学技术的出现和发展，以及研究的深入，出现了基于机器视觉技术的表面缺陷检测技术。这种技术的出现，大大提高了生产作业的效率，避免了因作业条件，主观判断等影响检测结果的准确性，实现能更好更精确地进行表面缺陷检测，更加快速的识别产品表面瑕疵缺陷。

相关技术中，基于光度立体的3d恢复物体表面纹理特征的方法最早由robert.j.woodham于1980年提出，传统的光度立体视觉技术基于辐照方程和朗伯余弦定律进行待测物体表面法向量特征重构。

但是，传统的光度立体视觉法对于待测物体表面的反射特性有严格的要求。传统光度立体视觉法要求物体必须具有朗伯反射特性，即它必须以漫反射的方式反射入射光。对于有镜面反射的物体或者区域使用上述方法进行表面检测会得到错误的检测结果。

技术实现要素：

为克服相关技术中存在的问题，本申请提供一种基于光度立体视觉的检测方法及系统，能够降低传统光度立体视觉法对待测表面反射特征的严格要求。

本申请第一方面提供一种基于光度立体视觉的检测方法，包括：

采集待测表面的m张二维图像，其中m为大于2的正整数；所述m张二维图像包括：m个光源照射下的待测表面的二维图像；

对所述m张二维图像的漫射分量和反射分量进行分离处理，得到所述待测表面的m张漫射图；

基于所述m张漫射图进行所述待测表面法向量特征的重建，得到所述待测表面的相对深度图；

根据所述待测表面的相对深度图进行缺陷检测，得到所述待测表面的检测结果。

在一种实施方式中，所述对所述m张二维图像的漫射分量和反射分量进行分离处理，包括：

利用k-means聚类算法对所述m张二维图像进行分类，得到n个簇；所述n为正整数；所述簇为所述待测表面上具有相同法向量的区域在各个光源照射下的m张区域图像的集合；

对所有簇内m×n张区域图像的各个像素点进行分量类型判定；所述分量类型包括：漫射分量；

基于所述分量类型判定的结果对各个区域图像进行分量图提取，得到m×n张漫射分量图；所述分量图包括：漫射分量图；

对所述m×n漫射分量图进行并集处理，得到m张漫射图。

在一种实施方式中，所述对所有簇内m×n张区域图像的各个像素点进行分量类型判定中，一个所述像素点的分量类型判定，包括：

计算所述像素点的统计数据；所述统计数据包括：最大像素值和最小像素值；

基于所述最大像素值和所述最小像素值计算得到所述像素点的gap值；

根据所述gap值和所述最大像素值判断得到所述像素点所属的分量类型。

在一种实施方式中，所述基于所述分量类型判定的结果对各个区域图像进行分量图提取中，一个所述区域图像的分量图提取，包括：

判断所述像素点的分量类型是否为漫射分量，若是，则将所述像素点的像素强度作为当前区域图像上所述像素点的漫射分量值，生成所述区域图像的漫射分量图。

在一种实施方式中，所述计算所述像素点的统计数据，包括：

根据以下计算公式计算得到所述像素点的最大像素值；

其中，maxval表示最大像素值，表示簇内第i张区域图像上(x,y)位置的像素点的像素强度，n的取值为k-1，k表示光源数量；

根据以下计算公式计算得到所述像素点的最小像素值；

其中，minval表示最小像素值，表示簇内第i张区域图像上(x,y)位置的像素点的像素强度，n的取值为k-1，k表示光源数量。

在一种实施方式中，所述基于所述最大像素值和所述最小像素值计算得到所述像素点的gap值，包括：

根据以下公式计算得到所述各个像素点的gap值；

其中，maxval表示最大像素值，minval表示最小像素值。

在一种实施方式中，所述分量类型还包括：反射分量和阴影；

所述根据所述gap值和所述最大像素值判断得到所述像素点所属的分量类型，包括：

判断所述gap值和所述最大像素值是否均大于反射阈值，若是，则判定所述像素点的分量类型属于反射分量；

若否，则判断所述像素点的像素强度是否大于漫射阈值，若是，则判定所述像素点的分量类型属于漫射分量；否则，判定所述像素点的分量类型属于阴影。

在一种实施方式中，所述并集处理，包括：

对同一光源照射下各个区域图像对应的漫射分量图求并集。

在一种实施方式中，所述基于所述m张漫射图进行所述待测表面法向量特征的重建，得到所述待测表面的相对深度图，包括：

基于所述m张漫射图进行奇异值分解处理，得到所述m个光源的方向向量特征；

基于所述m个光源的方向向量特征和所述m张漫射图进行所述待测表面法向量特征的重建，得到所述待测表面的相对深度图。

在一种实施方式中，所述奇异值分解处理，包括：

根据以下公式计算得出所述漫射图对应光源的方向向量特征；

；

；

；

其中，i为所述漫射图的像素强度矩阵，s为所述待测表面的法线向量，l为光源的方向向量特征矩阵，为第n个簇内分量类型为漫射分量的像素点数，k为光源数，为第k个光源的向量特征值。

在一种实施方式中，所述基于所述m张漫射图进行所述待测表面法向量特征的重建，得到所述待测表面的相对深度图，包括：

基于辐照方程和朗伯余弦定律对所述m张漫射图进行3d重建，得到呈现所述待测表面法向量特征的相对深度图。

本申请第二方面提供一种基于光度立体视觉的检测系统，包括：

m个光源发射装置、成像装置以及数据处理装置；

所述成像装置的光轴与待测表面垂直；

所述数据处理装置与所述成像装置连接，用于接收所述成像装置传输的图像数据；

所述数据处理装置包括：处理器和存储器；所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

本申请提供的技术方案可以包括以下有益效果：

本技术方案在基于待测表面的二维图像进行待测物体表面法向量特征重构之前，对采集到的二维图像进行了预处理，将所有二维图像中的漫射分量和反射分量进行了分离，从而消除了待测表面的反射因素对光度立体成像造成的干扰，因此，本方案与传统的光度立体视觉法相比，降低了对待测物体的要求，即使是非朗伯体也可采用本技术方案进行表面缺陷检测，拓宽了光度立体视觉法的应用范围，便于工业场景的大规模应用。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的基于光度立体视觉的检测方法的流程示意图；

图2是本申请实施例示出的漫射与反射分量的分离处理方法的流程示意图；

图3是本申请实施例示出的像素点的分量类型判定方法的流程示意图；

图4是本申请实施例示出的待测表面法向量特征的重建方法的流程示意图；

图5是本申请实施例示出的基于光度立体视觉的检测系统的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

传统的光度立体视觉法对于待测物体表面的反射特性有严格的要求。传统光度立体视觉法要求物体必须具有朗伯反射特性，即它必须以漫反射的方式反射入射光。对于有镜面反射的物体或者区域使用上述方法进行表面检测会得到错误的检测结果。

实施例1

针对上述问题，本申请实施例提供一种基于光度立体视觉的检测方法，能够对非朗伯物体表面进行缺陷检测。

以下结合附图详细描述本申请实施例的技术方案。

图1是本申请实施例示出的基于光度立体视觉的检测方法的流程示意图。

参见图1，所述基于光度立体视觉的检测方法，包括：

101、采集待测表面的m张二维图像，其中m为大于2的正整数；

所述m张二维图像包括：m个光源照射下的待测表面的二维图像；

在本申请实施例中，采用4个光源发射装置对所述待测表面进行照射，通过rgb成像装置进行所述4张二维图像的采集。4张二维图像分别是在不同光源照射下采集得到的，4张二维图像与采用的4个光源发射装置一一对应。

需要说明的是，在实际应用中，对采用的光源数目并没有严格的限定，可以依据实际情况，采用6个或8个光源发射装置。

可以理解的是，上述对于二维图像采集过程的描述仅是本申请实施例中的一个示例，不应该作为对本发明的限定。

102、对所述m张二维图像的漫射分量和反射分量进行分离处理，得到所述待测表面的m张漫射图；

在本申请实施例中，需要对所述m张二维图像中的每一张二维图像均进行漫射分量和反射分量的分离处理。

进一步地，对所述m张二维图像的漫射分量和反射分量进行分离处理后，还可以得到m张反射图。

103、基于所述m张漫射图进行所述待测表面法向量特征的重建，得到所述待测表面的相对深度图；

在本申请实施例中，所述待测表面法向量特征的重建过程为基于辐照方程和朗伯余弦定律对所述m张漫射图进行3d重建，得到呈现所述待测表面法向量特征的相对深度图。

104、根据所述待测表面的相对深度图进行缺陷检测，得到所述待测表面的检测结果。

在本申请实施例中，可以通过计算得到的相对深度图与预设的标准相对深度图的欧氏距离，并将所述欧氏距离与距离阈值进行比较，得到所述待测表面的缺陷检测结果。

进一步地，还可以建立包含各类缺陷对应的缺陷相对深度图的数据库，将所述相对深度图与上述数据库中的缺陷相对深度图逐一进行比对，从而识别出所述待测表面的缺陷类型。

进一步地，根据所述相对深度图可以进行划伤和凹凸的缺陷检测；根据步骤103得到的漫射图和反射图，可以得到光度对比图像，从而实现待测表面外观暗沉的缺陷检测。

需要说明的是，上述对于缺陷检测的描述仅是本申请实施例中的一个示例，不应该作为对本发明的限定。

本申请实施例在基于待测表面的二维图像进行待测物体表面法向量特征重构之前，对采集到的二维图像进行了预处理，将所有二维图像中的漫射分量和反射分量进行了分离，从而消除了待测表面的反射因素对光度立体成像造成的干扰，因此，本方案与传统的光度立体视觉法相比，降低了对待测物体的要求，即使是非朗伯体也可采用本技术方案进行表面缺陷检测，拓宽了光度立体视觉法的应用范围，便于工业场景的大规模应用。

实施例2

本申请实施例对上述实施例1中步骤102进行了设计。

图2为漫射与反射分量的分离处理方法的流程示意图。

请详见图2，所述漫射与反射分量的分离处理方法，包括：

201、利用聚类算法对所述m张二维图像进行分类，得到n个簇；

利用k-means聚类算法对所述m张二维图像进行分类，得到n个簇；

在本申请实施例中，所述n为正整数，所述簇为所述待测表面上具有相同法向量的区域在各个光源照射下的m张区域图像的集合；

在本申请实施例中，由于不存在绝对理想表面，因此，所述待测表面具有至少2个表面法向量。将具有同一个表面法向量对应的待测表面部分视作一个区域，同一个区域在不同光源照射下的采集到二维图像的集合形成一个簇。

需要说明的是，在实际应用过程中，可以依据应用环境采用不同的聚类算法对所述m张二维图像进行分类，例如：层次聚类算法。

可以理解的是，上述对于簇的形成过程的描述仅是一种示例，不应该作为对本发明的限定。

202、对所有簇内m×n张区域图像的各个像素点进行分量类型判定；

所述分量类型包括：漫射分量；

在本申请实施例中，需要对所述m张二维图像的所有像素点都进行分量类型判定。

203、基于所述分量类型判定的结果对各个区域图像进行分量图提取，得到m×n张漫射分量图；

所述分量图包括：漫射分量图；

在本申请实施例中，一个所述区域图像的分量图提取的过程为：判断所述像素点的分量类型是否为漫射分量，若是，则将所述像素点的像素强度作为当前区域图像上所述像素点的漫射分量值，生成所述区域图像的漫射分量图。

进一步地，所述分量图还可以包括：反射分量图和阴影分量图。

进一步地，一个所述区域图像的分量图提取的另一过程可以表述为：判断所述像素点的分量类型是否为反射分量，若是，则将所述像素点的像素强度作为当前区域图像上所述像素点的反射分量值，生成所述区域图像的反射分量图；若否，则判断所述像素点的分量类型是否为漫射分量，若所述像素点的分量类型是漫射分量，则将所述像素点的像素强度作为当前区域图像上所述像素点的漫射分量值，生成所述区域图像的漫射分量图；若所述像素点的分量类型非漫射分量，则将所述像素点的像素强度作为当前区域图像上所述像素点的阴影分量值，生成所述区域图像的阴影分量图。

进一步地，基于上述另一分量图提取过程，步骤203执行完毕后可以得到m×n张反射分量图、m×n张漫射分量图和m×n张阴影分量图。

需要说明的是，上述另一分量图提取过程的描述是本申请实施例在实际生产过程中的基于生产需求可执行方式的一种示例，不应该作为对本发明的限定。

204、对所述m×n漫射分量图进行并集处理，得到m张漫射图。

在本申请实施例中，所述并集处理，包括：对同一光源照射下各个区域图像对应的漫射分量图求并集。

具体的：对一个光源照射下的分属于不同簇的n张区域图像提取其对应的漫射分量图，得到n张漫射分量图；对上述n张漫射分量图求并集，得到一张漫射图。由于本申请实施例包含了m个光源，对每一个光源照射下的漫射分量图像均需进行一次并集处理，因此，可以得到m张漫射图。

进一步地，对步骤203中得到的反射分量图和阴影分量图分别进行所述并集处理，可以得到m张反射图和m张阴影图。

需要说明的是，对所述反射分量图和所述阴影分量图进行所述并集处理是实际生产过程中可执行方式的一种示例，实际应用过程中可以根据实际生产需求进行步骤上的调整。

可以理解的是，上述对于并集处理的描述仅是本申请实施例中的一个示例，不应该作为对本发明的限定。

本申请实施例提供了一种分离漫射分量和反射分量的图像处理方法，利用k-means聚类算法对所述m张二维图像进行分类，得到n个簇及m×n张区域图像，从而实现了将待测表面按照法向量进行图像的切分，以避免进行簇内每个像素点的分量类型判定时，因待测表面法向量的不同造成分量类型判定的干扰；将区域图像拆分为像素点进行分量类型的判定，再对判定后的像素点提取生成对应区域图像的漫射分量图，能够降低分量类型判定的计算量的同时得到准确的漫射分量图；对漫射分量图进行并集处理，即可得到漫射图，从而实现二维图像的漫射分量与反射分量的分离，从而解决了光度立体视觉法对于检测物体朗伯特性的严格要求，拓宽了光度立体视觉法的应用范围。

实施例3

本申请实施例对上述实施例2中步骤202进行了设计。

图3为像素点的分量类型判定方法的流程示意图。

详见图3，一个所述像素点的分量类型判定方法，包括：

301、计算所述像素点的统计数据；

所述统计数据包括：最大像素值和最小像素值；

在本申请实施例中，可以根据以下计算公式进行所述最大像素值的计算：

其中，maxval表示最大像素值，表示簇内第i张区域图像上(x,y)位置的像素点的像素强度，n的取值为k-1，k表示光源数量。

在本申请实施例中，可以依据以下计算公式进行所述最小像素值的计算：

其中，minval表示最小像素值，表示簇内第i张区域图像上(x,y)位置的像素点的像素强度，n的取值为k-1，k表示光源数量。

需要说明的是，本申请实施例中对于所述最大像素值和所述最小像素值的计算时序并没有严格的限定，即所述最大像素值可以后于所述最小像素值进行计算，或与所述最小像素值并行计算。

可以理解的是，上述对于统计数据的描述仅是本申请实施例中的一个示例，不应该作为对本发明的限定。

进一步地，所述统计数据还包括：像素平均值。

进一步地，根据以下计算公式计算得到所述像素点的平均像素值：

其中，meanval表示平均像素值，表示簇内第i张区域图像上(x,y)位置的像素点的像素强度；k表示光源数量。

进一步地，如果反射分量突出，图像像素点的强度会产生突变或峰值，为了消除最小像素值和最大像素值的噪声，在实际应用中，若簇内第i张区域图像上(x,y)位置的像素值为簇内该像素点的最大值或最小值，则可以使用上述平均像素值替换该位置的像素值，以达到消除最小像素值和最大像素值的噪声的目的。

进一步地，上述消除最小像素值和最大像素值的噪声的过程可以通过另一种方式实施：若簇内第i张区域图像上(x,y)位置的像素值为簇内该像素点的最大值或最小值，则可以以第i张区域图像为中心图像，取包含中心图像在内的簇内s+1张区域图像，计算s+1张区域图像在(x,y)位置的s+1个像素点的像素平均值替换第i张区域图像上(x,y)位置的像素值，以达到消除最小像素值和最大像素值的噪声的目的。

需要说明的是，本申请实施例对于上述s的取值并没有严格的限定，在实际应用过程中，可以根据需求对s进行数值设置。

需要说明的是，上述对所述消除最小像素值和最大像素值的噪声的描述是实际生产过程中可执行方式的一种示例，实际应用过程中可以根据实际生产需求进行步骤上的调整。

可以理解的是，上述对于像素平均值的描述仅是本申请实施例中的一个示例，不应该作为对本发明的限定。

302、基于所述最大像素值和所述最小像素值计算得到所述像素点的gap值；

在本申请实施例中，可以根据以下计算公式进行所述gap值的计算：

其中，maxval表示最大像素值，minval表示最小像素值。

需要说明的是，上述计算公式是本申请实施例中的一个示例，在实际应用过程中，也可以采用最小像素值减去最大像素值得到的差值的绝对值作为gap值。

可以理解的是，上述对于gap值的描述仅是一种示例，不应该作为对本发明的限定。

303、根据所述gap值和所述最大像素值判断得到所述像素点所属的分量类型。

示例性的：

判断所述gap值和所述最大像素值是否均大于反射阈值，若是，则判定所述像素点的分量类型属于反射分量；

若否，则判断所述像素点的像素强度是否大于漫射阈值，若是，则判定所述像素点的分量类型属于漫射分量；否则，判定所述像素点的分量类型属于阴影。

需要说明的是，在实际应用过程中，所述反射阈值和所述漫射阈值为可调整参数，可以依据实际生产需求对所述反射阈值和所述漫射阈值进行调整，即所述反射阈值和所述漫射阈值不应构成对本发明的限定。

在本申请实施例中，上述分量类型的判定过程可以调整为：判断所述gap值和所述最大像素值是否均大于反射阈值，若是，则判定所述像素点的分量类型属于反射分量；

若否，则判断所述像素点的像素强度是否小于或等于漫射阈值，若是，则判定所述像素点的分量类型属于阴影；否则，判定所述像素点的分量类型属于漫射分量。

可以理解的是，上述对所述像素点进行漫射分量和阴影的判定顺序仅是本申请实施例中的一个示例，不应该作为对本发明的限定。

本申请实施例中提供了一种像素点的分量类型判定方法，利用所述像素点的最大像素值和最小像素值计算得到gap值，基于gap值和最大像素值与反射阈值的比较结果以及所述像素点的像素强度与漫射阈值的比较结果判断出所述像素点所属的分量类型，计算过程简单且快速，能够简易地实现分量类型的判定。

实施例4

本申请实施例对上述实施例1中步骤103进行了设计。

图4为待测表面法向量特征的重建方法的流程示意图。

详见图4，所述待测表面法向量特征的重建方法，包括：

401、基于所述m张漫射图进行奇异值分解处理，得到所述m个光源的方向向量特征；

在本申请实施例中，所述奇异值分解处理过程为：

根据以下公式计算得出所述漫射图对应光源的方向向量特征；

；

；

；

其中，i为所述漫射图的像素强度矩阵，s为所述待测表面的法线向量，l为光源的方向向量特征矩阵，为第n个簇内分量类型为漫射分量的像素点数，k为光源数，为第k个光源的向量特征值。

进一步地，为了剔除噪声数据，还可以根据以下过程进行奇异值分解：

根据以下公式计算得到u、∑和v；

其中，i为所述漫射图的像素强度矩阵，∑为对角矩阵，u为估算的所述待测表面的法线向量特征矩阵，v为估算的光源的方向向量特征矩阵；

取∑中特征值最大的3×3的矩阵块进行数据更新，得到;

根据分别所述对u和所述v进行对应位置矩阵块的提取，得到和；所述为去噪后的对角矩阵；所述为去噪后的所述待测表面的法线向量特征矩阵；所述为去噪后的光源的方向向量特征矩阵；

根据以下公式计算得到；

其中；；，所述为待测表面的法线向量特征的集合，所述为光源的方向向量特征的集合。

基于提取得到；其中，包含p个不共面的待测表面的法向量，p为取值大于或等于3的正整数，k为取值大于或等于6的正整数；

根据以下公式计算得到b；

其中，b为去噪后精准求解得到的对角矩阵；

依据以下公式对b进行奇异值分解，得到、和；

根据以下计算公式计算得到a；

其中，a为基于去噪后精准求解的对角矩阵奇异值分解得到的分解因子；

根据以下公式计算得到s和l；

；

；

其中，s为所述待测表面的法线向量，l为光源的方向向量特征矩阵。

需要说明的是，上述光源的方向向量特征矩阵的求解过程是实际生产过程中可执行方式的一种示例，实际应用过程中可以根据实际生产需求进行步骤上的调整。

可以理解的是，上述对于奇异值分解的描述仅是本申请实施例中的一个示例，不应该作为对本发明的限定。

402、基于所述m个光源的方向向量特征进行3d重建。

基于所述m个光源的方向向量特征和所述m张漫射图进行所述待测表面法向量特征的重建，得到所述待测表面的相对深度图。

示例性的：

基于辐照方程和朗伯余弦定律对所述m张漫射图进行3d重建，得到呈现所述待测表面法向量特征的相对深度图。

本申请实施例提供了一种待测表面法向量特征的重建方法，该方法中，基于漫射图利用奇异值分解可以求解得到光源的方向向量特征矩阵，从而得知m个光源的照射方向，实现光源的标定。该方法解决了光度立体视觉法中需要提前对光源进行标定的弊端，降低了对光源的设计要求，点光源或平行光源都可以应用于该方案，提高了光度立体视觉法的适用性。

实施例5

与前述应用功能实现方法实施例相对应，本申请还提供了一种基于光度立体视觉的检测系统及相应的实施例。

图5是本申请实施例示出的基于光度立体视觉的检测系统的结构示意图。

参见图5，所述基于光度立体视觉的检测系统，包括：

m个光源发射装置501、成像装置502以及数据处理装置503；

所述成像装置502的光轴与待测表面504垂直；

所述数据处理装置503与所述成像装置502连接，用于接收所述成像装置502传输的图像数据；

所述数据处理装置503包括：处理器5031和存储器5032；所述存储器5032上存储有可执行代码，当所述可执行代码被所述处理器5031执行时，使所述处理器5031执行如上所述的方法。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。

在本申请实施例中，处理器5031可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器5032可以包括各种类型的存储单元，例如系统内存、只读存储器（rom），和永久存储装置。其中，rom可以存储处理器5031或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器5032可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（dram，sram，sdram，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器5032可以包括可读和/或写的可移除的存储设备，例如激光唱片（cd）、只读数字多功能光盘（例如dvd-rom，双层dvd-rom）、只读蓝光光盘、超密度光盘、闪存卡（例如sd卡、minsd卡、micro-sd卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器5032上存储有可执行代码，当可执行代码被处理器5031处理时，可以使处理器5031执行上文述及的方法中的部分或全部。

上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。

本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。