结合深度信息的人脸检测方法、检测装置和电子装置与流程

本发明实施例涉及图像处理技术，特别涉及一种结合深度信息的人脸检测方法、检测装置和电子装置。

背景技术：

人脸往往是图像中的感兴趣区域，因此需要检测出来加以应用，然而现有的人脸检测方法基于人脸特征进行检测，无法在人脸发生偏转导致人脸特征丢失时检测出来，效果差。

技术实现要素：

本发明实施例旨在至少解决现有技术中存在的技术问题之一。为此，本发明需要一种结合深度信息的人脸检测方法、检测装置和电子装置。

本发明实施方式的结合深度信息的人脸检测方法，用于处理成像装置采集的场景数据，所述场景数据包括当前帧场景主图像和下一帧场景主图像，所述人脸检测方法包括以下步骤：

处理所述当前帧场景主图像以判断是否存在正向人脸区域；

在存在所述正向人脸区域时识别所述正向人脸区域；

根据所述正向人脸区域确定人像区域；

根据所述人像区域确定肩颈特征数据；

处理所述下一帧场景主图像以判断是否存在所述正向人脸区域；和

在不存在所述正向人脸区域时结合所述肩颈特征数据检测人脸区域。

本发明实施方式的结合深度信息的人脸检测装置，用于处理成像装置采集的场景数据，所述场景数据包括当前帧场景主图像和下一帧场景主图像，所述人脸检测装置包括：

第一处理模块，用于处理所述当前帧场景主图像以判断是否存在正向人脸区域；

识别模块，用于在存在所述正向人脸区域时识别所述正向人脸区域；

第一确定模块，用于根据所述正向人脸区域确定人像区域；

第二确定模块，根据所述人像区域确定肩颈特征数据；

第二处理模块，用于处理所述下一帧场景主图像以判断是否存在所述正向人脸区域；和

检测模块，用于在不存在所述正向人脸区域时结合所述肩颈特征数据检测人脸区域。

本发明实施方式的电子装置包括成像装置和上述的人脸检测装置，所述人脸检测装置和所述成像装置电连接。

本发明实施方式的结合深度信息的人脸检测方法、人脸检测装置和电子装置利用拍摄得的图像中的人脸区域确定人像区域，从而在人脸发生偏转无法获取人脸特征使得人脸识别失败时，可以根据人像区域辅助检测人脸区域，在人脸发生偏转的情况下，仍能检测人脸区域以对人脸区域进行追踪，改善用户体验。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施方式的人脸检测方法的流程示意图。

图2是本发明实施方式的人脸检测装置的功能模块示意图。

图3是本发明实施方式的人脸检测检测方法的状态示意图。

图4是本发明实施方式的人脸检测检测方法的状态示意图。

图5是本发明某些实施方式的人脸检测方法的流程示意图。

图6是本发明某些实施方式的人脸检测装置的功能模块示意图。

图7是本发明某些实施方式的人脸检测方法的流程示意图。

图8是本发明某些实施方式的人脸检测装置的功能模块示意图。

图9是本发明某些实施方式的人脸检测方法的流程示意图。

图10是本发明某些实施方式的人脸检测装置的功能模块示意图。

图11是本发明某些实施方式的人脸检测方法的流程示意图。

图12是本发明某些实施方式的人脸检测装置的功能模块示意图。

图13是本发明某些实施方式的人脸检测检测方法的状态示意图。

图14是本发明某些实施方式的人脸检测检测方法的状态示意图。

图15是本发明某些实施方式的人脸检测检测方法的状态示意图。

图16是本发明某些实施方式的人脸检测检测方法的状态示意图。

图17是本发明某些实施方式的人脸检测检测方法的状态示意图。

图18是本发明某些实施方式的人脸检测检测方法的状态示意图。

图19是本发明实施方式的电子装置的功能模块示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1至4，本发明实施方式的结合深度信息的人脸检测方法，用于处理成像装置采集的场景数据，场景数据包括当前帧场景主图像和下一帧场景主图像，人脸检测方法包括以下步骤：

s10：处理当前帧场景主图像以判断是否存在正向人脸区域；

s20：在存在正向人脸区域时识别正向人脸区域；

s30：根据正向人脸区域确定人像区域；

s40：根据人像区域确定肩颈特征数据；

s50：处理下一帧场景主图像以判断是否存在正向人脸区域；和

s60：在不存在正向人脸区域时结合肩颈特征数据检测人脸区域。

本发明实施方式的人脸检测装置100包括第一处理模块10、识别模块20、第一确定模块30、第二确定模块40、第二处理模块50和检测模块60。作为例子，本发明实施方式的人脸检测方法可以由本发明实施方式的控人脸检测装置100实现。

其中，本发明实施方式的控制方法的步骤s10可以由第一处理模块10实现，步骤s20可以由识别模块20实现，步骤s30可以由第一确定模块30实现，步骤s40可以由第二确定模块40实现，步骤s50可以由第二处理模块50实现，步骤s60可以由检测模块60实现。

也即是说，第一处理模块10用于处理当前帧场景主图像以判断是否存在正向人脸区域。识别模块20用于在存在正向人脸区域时识别正向人脸区域。第一确定模块30用于根据正向人脸区域确定人像区域。第二确定模块40用于根据人像区域确定肩颈特征数据。第二处理模块50用于处理下一帧场景主图像以判断是否存在正向人脸区域。检测模块60用于在不存在正向人脸区域时结合肩颈特征数据检测人脸区域。

本发明实施方式人脸检测装置100可应用于本发明实施方式的电子装置1000，也即是说，本发明实施方式的电子装置1000包括本发明实施方式的人脸检测装置100。当然，本发明实施方式的电子装置1000还包括成像装置200。其中，人脸检测装置100和成像装置200电连接。

在某些实施方式中，本发明实施方式的电子装置1000包括手机和/或平板电脑，在此不作限制。在本发明的具体实施例中，电子装置1000为手机。

在日常摄影过程中，特别是对于人像进行拍摄时，人脸往往是图像中用户感兴趣的区域，因此需要检测出来加以应用，例如保持对人脸对焦，或调高对人脸的曝光以提高亮度等，一般地，人脸区域朝向成像装置200，人脸检测基于人脸特征进行检测，例如通过特征点及彩色信息等人脸特征进行检测，而当人脸发生扭动时，人脸不再正对成像装置200，可用于检测人脸区域的特征信息丢失，将无法检测出人脸区域，而此时，原有针对人脸区域调节的相关参数或动作将无法继续进行。

本发明实施方式中，通过人脸检测算法，判断当前场景图像中是否存在正向人脸，并识别该正向人脸。而后，可根据人脸与人像的位置、大小等关系以及彩色数据等相关图像信息确定人像区域，根据人像区域确定如肩颈等特征部位的特征数据，例如肩颈等特征部分可以构成形如三角形的特征结构。

当被摄人脸转动时，成像装置200所获取的该帧场景主图像中检测到不存在正向人脸，此时，将结合人像轮廓以及将肩颈特征数据来反推人脸区域。例如，当人脸转动时，一般肩颈也发生轻微转动，肩颈所构成的特征结构或者说肩颈特征数据也发生微小变化，可以设置肩颈特征数据的变化预定阈值，当变化在预定阈值范围内时，可据此确定人脸区域，从而实现在人脸转动时持续识别人脸区域。

综上所述，本发明实施方式的人脸检测方法、人脸检测装置100和电子装置1000利用拍摄得的图像中的人脸区域确定人像区域，从而在人脸发生偏转无法获取人脸特征使得人脸识别失败时，可以根据人像区域辅助检测人脸区域，在人脸发生偏转的情况下，仍能检测人脸区域以对人脸区域进行追踪，改善用户体验。

请参阅图5，在某些实施方式中，步骤s30包括以子下步骤：

s32：处理所述场景数据以获取正向人脸区域的深度信息；和

s34：根据正向人脸区域和正向人脸区域的深度信息确定人像区域。

请参阅图6，第一确定模块30包括处理单元32和确定单元34。步骤s32可以由处理单元32实现，步骤s34可以由确定单元34实现。

也即是说，处理单元32用于处理所述场景数据以获取正向人脸区域的深度信息；确定单元34用于根据正向人脸区域和正向人脸区域的深度信息确定人像区域。

具体地，正向人脸区域及人像区域的识别可基于灰度图像识别，而基于灰度图像识别易受光照变化、阴影、物体遮挡及环境变化等因素的干扰，使得人像区域的识别准确率下降，本发明实施方式中，基于成像装置200采集的场景数据即对应的场景的彩色信息和深度信息，获取正向人脸区域的深度信息。由于正向人脸区域是人像区域的一部分，也即是说，正向人像区域的深度信息与正向人脸区域对应的深度信息同处于一个深度范围内，如此，可以根据正向人脸区域及正向人脸区域的深度信息即可确定人像区域。

较佳地，对于正向人脸区域识别过程，可以采用已训练好的基于彩色信息和深度信息的深度学习模型检测场景主图像中是否存在人脸。深度学习模型在给定训练集时，训练集中的数据包括正向人脸的彩色信息和深度信息。因此，训练过后的深度学习训练模型可以根据当前场景的彩色信息和深度信息推断当前场景中是否存在正向人脸区域。由于正向人脸区域的深度信息的获取不易受光照等环境因素的影响，可以提升人脸检测准确性。进一步度，根据正向人脸可确定基本位于同一深度的人像区域。

请参阅图7，在某些实施方式中，场景数据包括当前帧场景主图像和与当前帧场景主图像对应的深度图像，步骤s32包括以下子步骤：

s321：处理深度图像以获取对应正向人脸区域的深度数据；和

s322：处理正向人脸区域的深度数据以得到正向人脸区域的深度信息。

请参阅图8，在某些实施方式中，处理单元32包括第一处理子单元321和第二处理子单元322。步骤s321可以由第一处理子单元321实现，步骤s322可以由第二处理子单元322实现。或者说，第一处理子单元321用于处理深度图像以获取对应正向人脸区域的深度数据，第二处理子单元322用于处理正向人脸区域的深度数据以得到正向人脸区域的深度信息。

场景内各个人、物相对于成像装置200的距离可以用深度图像来表征，深度图像中的每个像素值也即是深度数据表示场景中某一点与成像装置的200的距离，根据组成场景中的人或物的点的深度数据即可获知相应的人或物的深度信息。深度信息通常可以反映场景内的人或物的空间位置信息。

可以理解，场景数据包括当前帧场景主图像和与当前帧场景主图像对应的深度图像。其中，场景主图像为rgb彩色图像，深度图像包含场景中各个人或物体的深度信息。由于场景主图像的色彩信息与深度图像的深度信息是一一对应的关系，因此，若检测到正向人脸区域，即可在对应的深度图像中获取到正向人脸区域的深度信息。

需要说明的是，在当前帧场景主图像中，正向人脸区域表现为二维图像，但由于人脸区域包括鼻子、眼睛、耳朵等特征，因此，在深度图像中，人脸区域中鼻子、眼睛、耳朵等特征在深度图像中所对应的深度数据是不同的，例如对于人脸正对成像装置200的情况下所拍摄得的深度图像中，鼻子对应的深度数据可能较小，而耳朵对应的深度数据可能较大。因此，在某些示例中，处理正向人脸区域的深度数据得到的人脸区域深度信息可能为一个数值或一个数值范围。其中，当人脸区域的深度信息为一个数值时，该数值可通过对人脸区域的深度数据取平均值得到，或通过对正向人脸区域的深度数据取中值得到。

在某些实施方式中，成像装置200包括深度摄像头。深度摄像头可用来获取深度图像。其中，深度摄像头包括基于结构光深度测距的深度摄像头和基于tof测距的深度摄像头。

具体地，基于结构光深度测距的深度摄像头包括摄像头和投射器。投射器将一定模式的光结构投射到当前待拍摄的场景中，在场景中的各个人或物体表面形成由该场景中的人或物调制后的光条三维图像，再通过摄像头探测上述的光条三维图像即可获得光条二维畸变图像。光条的畸变程度取决于投射器宇摄像头之间的相对位置以及当前待拍摄的场景中各个人或物体的表面形廓或高度。由于深度摄像头中的摄像头和投射器之间的相对位置是一定的，因此，由畸变的二位光条图像坐标便可重现场景中各个人或物体的表面三维轮廓，从而可以获取深度信息。结构光深度测距具有较高的分辨率和测量精度，可以提升获取的深度信息的精确度。

基于tof(timeofflight)测距的深度摄像头是通过传感器记录从发光单元发出的调制红外光发射到物体，再从物体反射回来的相位变化，在一个波长的范围内根据光速，可以实时的获取整个场景深度距离。当前待拍摄的场景中各个人或物体所处的深度位置不一样，因此调制红外光从发出到接收所用时间是不同的，如此，便可获取场景的深度信息。基于tof深度测距的深度摄像头计算深度信息时不受被摄物表面的灰度和特征的影响，且可以快速地计算深度信息，具有很高的实时性。

请参阅图9，在某些实施方式中，场景数据包括当前帧场景主图像和与所述当前帧场景主图像对应的当前帧场景副图像，步骤s32处理所述场景数据以获取所述人脸区域的深度信息包括以子下子步骤:

s323：处理当前帧场景主图像和当前帧场景副图像以得到正向人脸区域的深度数据；和

s324：处理正向人脸区域的深度数据以得到正向人脸区域的深度信息。

请参阅图10，在某些实施方式中，处理单元32包括第三处理子单元323和第四处理子单元324。步骤s323可以由第三处理子单元323实现。步骤s324可以由第四处理单元324实现，步骤s324可以由第四处理单元324实现。或者说，第三处理单元323用于处理当前帧场景主图像和当前帧场景副图像以得到人脸区域的深度数据；第四处理单元324用于处理正向人脸区域的深度数据以得到正向人脸区域的深度信息。

在某些实施方式中，成像装置200包括主摄像头和副摄像头。

可以理解，深度信息可以通过双目立体视觉测距方法进行获取，此时场景数据包括当前帧场景主图像和当前帧场景副图像。其中，当前帧场景主图像由主摄像头拍摄得到，当前帧场景副图像由副摄像头拍摄得到，且当前帧场景主图像与当前帧场景副图像均为rgb彩色图像。在一些示例中，主摄像头和副摄像头可以是相同规格的两个摄像头，双目立体视觉测距是运用两个规格相同的摄像头对同一场景从不同的位置成像以获得场景的立体图像对，再通过算法匹配出立体图像对的相应像点，从而计算出视差，最后采用基于三角测量的方法恢复深度信息。在另一些示例中，主摄像头与副摄像头可以是不同规格的摄像头，主摄像头用于获取当前场景彩色信息，副摄像头则用于记录场景的深度数据。如此，通过对当前帧场景主图像和当前帧场景副图像这一立体图像对进行匹配便可获得人脸区域的深度数据。随后，对正向人脸区域的深度数据进行处理获得正向人脸区域的深度信息。由于正向人脸区域中包含有多个特征，各个特征对应的深度数据可能不一样，因此，正向人脸区域的深度信息可以为一个数值范围；或者，可对深度数据进行求平均值处理以得到正向人脸区域的深度信息，或取深度数据的中值以获得正向人脸区域的深度信息。

请参阅图11，在某些实施方式中，步骤s34包括以下子步骤：

s341：根据正向人脸区域确定预估人像区域；

s342：根据正向人脸区域的深度信息确定人像区域的深度范围；

s343：根据人像区域的深度范围确定与正向人脸区域连接且落入深度范围的计算人像区域；

s344：判断计算人像区域与预估人像区域是否匹配；和

s345：在计算人像区域与预估人像区域匹配时确定计算人像区域为人像区域。

请参阅图12，在某些实施方式中，确定单元34包括第一确定子单元341、第二确定子单元342、第三确定子单元343、判断子单元344和第四确定子单元135。步骤s341可以由第一确定子单元341实现；步骤s342可以由第二确定子单元342实现；步骤s343可以由第三确定子单元343实现；步骤s344可以由判断子单元344实现；步骤s345可以由第四确定子单元345实现。或者说，第一确定子单元341用于根据正向人脸区域确定预估人像区域；第二确定单元342用于根据正向人脸区域的深度信息确定人像区域的深度范围；第三确定子单元343用于根据人像区域的深度范围确定与正向人脸区域连接且落入深度范围的计算人像区域；判断子单元344用于判断计算人像区域与预估人像区域是否匹配；第四确定子单元345用于在计算人像区域与预估人像区域匹配时确定计算人像区域为人像区域。

请参阅图13，具体地，由于拍摄过程中的人像存在有多种行为姿势，如站立、蹲坐等，因此，确定正向人脸区域后，首先根据正向人脸区域的当前状态确定预估人像区域，也即是说，根据人脸区域的当前状态确定人像当前的行为姿势。其中，预估人像区域为人像区域的匹配样本库，样本库中包含多种人像的行为姿势的信息。由于人像区域包含正向人脸区域，也即是说，人像区域与正向人脸区域同处于某一个深度范围内，因此，确定正向人脸区域的深度信息后，可以根据正向人脸区域的深度信息设定人像区域的深度范围，并根据人像区域的深度范围提取落入该深度范围内且与人脸区域相连接的计算人像区域。由于拍摄人像时人像所处的场景可能较为复杂，也即是说，与人像所处位置相邻的位置上可能存在有其他物体并且这些物体与人体发生接触，这些物体处于人像区域的深度范围内，因此，计算人像区域的提取仅在人像区域的深度范围内提取与人脸相连接的部分以去除其他落入人像区域的深度范围内的物体。在确定计算人像区域后，需将计算人像区域与预估人像区域进行匹配，匹配成功则可将计算人像区域确定为人像区域。若匹配不成功，则表明计算人像区域中还可能包含有除人像外的其他物体，人像区域的识别失败。

在另一示例中，针对拍摄场景中较为复杂的情况，还可对计算得到人像进行区域划分，并将面积较小的区域去除，可以理解，相对于人像区域，其他面积较小的区域可明显确定为非人像，如此可排除与人像处于同一深度范围内的其他物体的干扰。

在某些实施方式中，对获取的人像区域处理还包括以下步骤：

处理当前帧场景主图像的人像区域以得到彩色边缘图；

处理当前帧场景主图像的人像区域对应的深度信息以得到深度边缘图；和

利用彩色边缘图和深度边缘图修正所述人像区域的边缘。

请参阅图14，可以理解，由于彩色边缘图包含人像区域内部的边缘信息，如服装的边缘信息等，而目前获取的深度信息的精度有限，如在手指、头发、衣领等边缘存在些许误差。如此，利用彩色边缘图和深度边缘图共同修正人像区域的边缘一方面可以去除人像区域包含的人脸、服装等部分的边缘及细节信息，另一方面在手指、头发、衣领等边缘部分有更高的准确度，从而可以获得较为准确的人像区域的外轮廓的边缘信息。由于彩色边缘图及深度边缘图均只对人像区域部分对应的数据进行处理，因此所需处理的数据量较少，处理的速度较快。

请参阅图15，具体地，彩色边缘图可以通过边缘检测算法得到。边缘检测算法是通过对当前帧场景主图像中人像区域所对应的图像数据求微分以获得具有阶跃变化或屋顶变化的像素点的集合。常用的边缘检测算法包括roberts算子、sobel算子、prewitt算子、canny算子、laplacian算子、log算子等。在一些示例中，可以采用上述的任一种边缘检测算法进行计算以获得彩色边缘图，在此不做任何限制。

请参阅图16，进一步地，在深度边缘图的获取过程中，由于只需要对人像区域对应的深度信息进行处理，因此，首先对获得的人像区域进行膨胀处理，扩大人像区域以保留人像区域对应的深度信息中深度边缘的细节。随后，对膨胀处理后的人像区域对应的深度信息进行滤波处理，从而去除深度信息中携带的高频噪声，以用于平滑深度边缘图的边缘细节。最后，将滤波后的数据转换为灰度值数据，并对灰度数据进行线性逻辑回归组合，再利用图像边缘概率密度算法对线性逻辑回归组合以获取深度边缘图。

单一的彩色边缘图会保留人像内部区域的边缘，而单一的深度边缘图存在些许误差因此，需要通过深度边缘图去除彩色边缘概率中人像内部边缘，并通过彩色边缘图修正深度边缘图中外轮廓的精度。如此，利用深度边缘图和彩色边缘图修正所述人像区域的边缘，可得到较为精准的人像区域。

请参阅图17和图18，确定人像区域后，可根据人体比例或骨骼点等特征确定肩颈特征数据，例如肩颈的位置关系，当人脸扭动时，肩颈的位置关系基本保持不变，而人脸区域作为一个整体无论是否转动，其与肩颈的位置关系不变，因此可以依据肩颈的位置估计人脸区域的位置从而实现对人脸区域的持续识别。

请参阅图19，本发明实施方式的电子装置1000包括壳体300、处理器400、存储器500、电路板600和电源电路700。其中，电路板600安置在壳体300围成的空间内部，处理器400和存储器500设置在电路板上；电源电路700用于为电子装置1000的各个电路或器件供电；存储器500用于存储可执行程序代码；处理器400通过读取存储器500中存储的可执行程序代码来运行与可执行程序代码对应的程序以实现上述的本发明任一实施方式的人脸检测方法。在对当前帧场景主图像和下一帧场景主图像进行处理的过程中，处理器400用于执行以下步骤：

处理当前帧场景主图像以判断是否存在正向人脸区域；

在存在正向人脸区域时识别正向人脸区域；

根据正向人脸区域确定人像区域；

根据人像区域确定肩颈特征数据；

处理下一帧场景主图像以判断是否存在正向人脸区域；和

在不存在正向人脸区域时结合肩颈特征数据检测人脸区域。

需要说明的是，前述对人脸检测方法和人脸检测装置100的解释说明也适用于本发明实施方式的电子装置1000，此处不再赘述。

本发明实施方式的计算机可读存储介质，具有存储于其中的指令，当电子装置1000的处理器400执行指令时，电子装置1000执行本发明实施方式的人脸检测方法，前述对人脸检测方法和人脸检测装置100的解释说明也适用于本发明实施方式的计算机可读存储介质，此处不再赘述。

综上所述，本发明实施方式的电子装置1000和计算机可读存储介质，利用拍摄得的图像中的人脸区域确定人像区域，从而在人脸发生偏转无法获取人脸特征使得人脸识别失败时，可以根据人像区域辅助检测人脸区域，从而可以在人脸发生偏转的情况下，仍能检测人脸区域以对人脸区域进行追踪。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。