一种辅助化妆方法、装置及智能镜与流程

本发明涉及智能设备技术领域，尤其涉及一种辅助化妆方法、装置及智能镜。

背景技术

伴随时代发展，人们尤其是女性越来越重视美妆尤其是面部美妆的运用。而美妆的具体实现则离不开镜子，现有的智能镜产品主要提供的功能为显示新闻和路况等，而随着互联网技术能力的不断增长，人脸识别技术的成熟，已出现用于美妆的智能镜产品，这类产品可以根据用户的五官特点为用户推荐定制化的妆容，以供用户参考，同时，还能够为用户提供化妆的具体操作流程，以帮助用户实现快速的上妆。

然而，由于用户化妆实力的高低不同，不同的用户对于同一款智能镜所推送的定制化妆容进行化妆后，所得到的妆容效果往往与推送的妆容效果具有一定差距，无法达到用户的心理预期，导致智能镜的用户体验较差。

技术实现要素：

鉴于上述问题，本发明提出了一种辅助化妆方法、装置及智能镜，主要目的在于向用户提供化妆位置的妆容对比信息，辅助用户更好的化妆。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明提供一种辅助化妆方法，具体包括：

获取用户选中化妆方案的妆容效果图像；

获取用户当前的人脸图像；

利用预置算法对比所述妆容效果图像与所述人脸图像中指定区域的图像差异；

当所述图像差异大于阈值时，生成妆容修改提示信息。

优选的，在获取用户选中化妆方案的妆容效果图像之前，所述方法还包括：

根据用户的人脸图像提取人脸化妆区域，向妆容匹配服务器发送所述人脸化妆区域；

展示所述妆容匹配服务器根据所述人脸化妆区域匹配的至少一组化妆方案。

优选的，所述根据用户的人脸图像提取人脸化妆区域包括：

利用人脸超分算法放大所述人脸化妆区域，得到高清人脸化妆区域。

优选的，所述利用预置算法对比所述妆容效果图像与所述人脸图像中指定区域的图像差异包括：

利用特征识别算法识别所述妆容效果图像与所述人脸图像中化妆区域；

计算所述妆容效果图像与所述人脸图像中对应的化妆区域的特征差值、纹理差值、色差值。

优选的，所述方法还包括：

接收用户对所述妆容效果图像的修改操作，生成修改后的妆容效果图像；

将所述修改后的妆容效果图像存储至妆容匹配服务器。

优选的，所述生成妆容修改提示信息包括：

在所述妆容效果图像中高亮显示待修改的化妆区域；和/或

利用语音播报图像差异大于阈值的化妆区域的位置。

另一方面，本发明提供一种辅助化妆装置，具体包括：

第一获取单元，用于获取用户选中化妆方案的妆容效果图像；

第二获取单元，用于获取用户当前的人脸图像；

对比单元，用于利用预置算法对比所述第一获取单元获取的妆容效果图像与所述第二获取单元获取的人脸图像中指定区域的图像差异；

生成单元，用于当所述对比单元对比出的图像差异大于阈值时，生成妆容修改提示信息。

优选的，所述装置还包括：

提取单元，用于在第一获取单元获取用户选中化妆方案的妆容效果图像之前，根据用户的人脸图像提取人脸化妆区域；

发送单元，用于向妆容匹配服务器发送所述提取单元提取的人脸化妆区域；

展示单元，用于展示所述妆容匹配服务器根据所述人脸化妆区域匹配的至少一组化妆方案。

优选的，所述提取单元还用于，利用人脸超分算法放大所述人脸化妆区域，得到高清人脸化妆区域。

优选的，所述对比单元包括：

识别模块，用于利用特征识别算法识别所述妆容效果图像与所述人脸图像中化妆区域；

计算模块，用于计算所述识别模块识别出的妆容效果图像与所述人脸图像中对应的化妆区域的特征差值、纹理差值、色差值。

优选的，所述装置还包括：

修改单元，用于接收用户对所述妆容效果图像的修改操作，生成修改后的妆容效果图像；

存储单元，用于将所述修改单元修改后的妆容效果图像存储至妆容匹配服务器。

优选的，所述生成单元包括：

差异显示模块，用于在所述妆容效果图像中高亮显示待修改的化妆区域；

差异播报模块，用于利用语音播报图像差异大于阈值的化妆区域的位置。

另一方面，本发明还提供一种智能镜，所述智能镜中设置有上述的辅助化妆装置。

另一方面，本发明还提供一种存储介质，所述存储介质用于存储计算机程序，其中，所述计算机程序运行时控制所述存储介质所在设备执行上述的辅助化妆方法。

借由上述技术方案，本发明提供的一种辅助化妆方法、装置及智能镜，用户可以通过智能镜获取其为用户匹配的化妆方案，并选择用户所需的一套方案进行化妆，在化妆过程中，智能镜会获取用户化妆时的人脸图像，并将该人脸图像与用户所选中的化妆方案中的妆容效果图像进行比对，并给出妆容修改提示信息，以告知用户当前的妆容还存在那些不足，便于用户有针对性地对当前的妆容进行调整，确保用户的化妆效果与选择的化妆方案的妆容效果相一致。通过本发明用户不仅可以选择所要参照的化妆效果，而且在化妆过程中，智能镜会根据用户的上妆效果实时地给出修改建议，帮助用户更高效地化妆。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提出的一种辅助化妆方法的流程图；

图2示出了本发明实施例提出的另一种辅助化妆方法的流程图；

图3示出了本发明实施例提出的一种辅助化妆装置的结构示意图；

图4示出了本发明实施例提出的另一种辅助化妆装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种辅助化妆方法，如图1所示，该方法的具体步骤包括：

101、获取用户选中化妆方案的妆容效果图像。

本发明所提出的辅助化妆方法主要应用于智能镜，但也可以用于具有智能镜功能的智能终端中。智能镜与这类智能终端都至少设置有用于显示图像的显示器，以及用于拍摄用户图像的摄像头。在本步骤中，当用户启动智能镜，智能镜将通过摄像头获取用户的人脸图像，并基于用户的人脸图像匹配出符合该用户的化妆方案。此处，主要是根据人脸图像中的五官位置与轮廓匹配适合用户的化妆方案。

进一步的，在匹配化妆方案时，还可以向用户提供一些化妆方案的筛选条件，用于过滤化妆方案，帮助用户快速选中所需的化妆方案，比如，向用户提供晚妆、淡妆等化妆类型的筛选条件。

在为用户匹配出化妆方案后，接收用户所选中的化妆方案，即为用户想要参照的化妆方案，一般地，化妆方案中至少会包括化妆的步骤说明和对应的妆容效果图像。其中，本步骤所获取的妆容效果图像即可以是完整的妆容效果图像，也可以是在化妆步骤说明中的局部妆容效果图像。

102、获取用户当前的人脸图像。

根据步骤101，在用户选中化妆方案后，智能镜将开启化妆模式，认为用户开始根据所选的化妆方案进行化妆，此时，智能镜将开始采集用户当前的人脸图像。

在本步骤中，获取用户的人脸图像是为了采集用户需要上妆的人脸区域，主要包括人脸的五官、眉毛等区域，以此来识别用户是否开始化妆。

进一步的，考虑到化妆的过程较长，因此，本实施例中并不需要对用户当前的人脸图像进行实时的采集，其采集周期可以根据用户自定义设置，这主要是看用户对化妆操作的熟练程度，比如，采集周期可以分为10秒、20秒等多个级别供用户选择。

103、利用预置算法对比妆容效果图像与人脸图像中指定区域的图像差异。

其中，预置算法主要是计算妆容效果图像与人脸图像中对应的化妆区域的图像差异，包括图像中物体的轮廓、颜色等特征的差异，通过对比来确定用户化妆的效果是否符合推送给用户的化妆方案中的妆容效果图。在实际应用中，由于用户化妆得到的图像与妆容效果图不可能完全一致，因此，该图像差异的认定可以是一个区间范围，当图像的差异值超过该区间范围时，才确定用户化妆的效果与妆容效果图像不符。

此外，在进行比对时，由于在化妆过程中会采集到多张的用户人脸图像，且这些图像中并不一定都是可用的图像，比如，采集到的图像中用户的手遮挡了五官等化妆区域，此时将无法进行对比。对此，本发明实施例会从多张的用户人脸图像中先筛选出符合要求的图像，如人脸的位置是否位于图像中心区域、人脸的五官区域是否清晰等条件都可以用于筛选用户人脸图像，具体的筛选条件可自定义设置，本发明不做限定。

需要说明的是，在实际应用中，该对比的过程和结果可以是都显示在智能镜中，通过屏幕的分区显示展示对比结果，也可以是在后台进行对比计算，而智能镜中仅展示用户当前的人脸图像，在存在图像差异时，将图像差异的区域在用户当前的人脸图像中进行标记，以告知用户该区域的妆容与所选中的妆容效果图像存在差异。对此，同样可以向用户提供不同的模式选择，根据用户的使用习惯选择相应的对比参考模式。

104、当图像差异大于阈值时，生成妆容修改提示信息。

根据步骤103的对比结果，当图像差异大于阈值时，智能镜除了会标记对应的化妆区域外，还会生成妆容修改提示信息，该妆容修改提示信息用户告知用户在当前的妆容效果下如何修改至所选中的妆容效果图像的效果，为此，智能镜会基于用户人脸图像的当前化妆效果进行数据对比与分析，得到一套对应的妆容修改步骤，并将该妆容修改步骤以提示信息的形式展示在智能镜中，用户则可以选择查看，也可以选择忽略。

结合上述的实现方式可以看出，本发明实施例所采用的辅助化妆方法，用户可以通过智能镜获取其为用户匹配的化妆方案，并选择用户所需的一套方案进行化妆，在化妆过程中，智能镜会获取用户化妆时的人脸图像，并将该人脸图像与用户所选中的化妆方案中的妆容效果图像进行比对，并给出妆容修改提示信息，以告知用户当前的妆容还存在那些不足，便于用户有针对性地对当前的妆容进行调整，确保用户的化妆效果与选择的化妆方案的妆容效果相一致。通过本发明用户不仅可以选择所要参照的化妆效果，而且在化妆过程中，智能镜会根据用户的上妆效果实时地给出修改建议，帮助用户更高效地化妆。

为了更加详细地说明本发明实施例所提出的辅助化妆方法，特别是针对图1所示实施例中的步骤103、104的具体实现方式进行详细说明。其具体步骤如图2所示，包括：

201、根据用户的人脸图像获取匹配的化妆方案。

在本发明实施例中，智能镜或者是具有智能镜功能的智能终端并不需要直接匹配化妆方案，只需要将所识别出的用户的人脸图像进行特征提取，提取出对应该用户的化妆区域，包括用户的眼、鼻、口、脸、眉等面部五官区域，以及各个化妆区域的轮廓以及相对位置关系，再将这些数据发送到妆容匹配服务器进行化妆方案的匹配。如此处理，可以降低智能镜或智能终端的数据计算压力，并且合理利用妆容匹配服务器的计算资源，提高匹配效率，让用户快速得到与其面部特征相匹配的化妆方案。

当智能镜或智能终端接收到妆容匹配服务器匹配出的化妆方案后，将化妆方案展示给用户，用户通过展示界面浏览至少一组的化妆方案，每组化妆方案中至少包括化妆效果图以及对应的化妆步骤说明。

进一步的，妆容匹配服务器要更为准确的匹配出化妆方案，就需要智能镜或智能终端所发送的用户的化妆区域更加的精细，为此，在步骤101的基础上，本发明实施例的一种优选实现方式是利用人脸超分算法放大该化妆区域，从而得到高清的人脸化妆区域。人脸超分算法是将低分辨率的人脸图像通过图像复原得到高分辨率的人脸图像，从而使得人脸图像中的细节部分便于区分，能够更准确的划分面部中的化妆区域。其中，人脸超分算法在目前的人脸识别技术中已有应用，因而对于其具体的计算过程，此处不再详细说明，在本步骤中，智能镜或智能终端可以向用户提供不同的人脸图像的倍率选择，如2倍、4倍、8倍等，倍率越高对应所需的计算资源也就越大，所需的计算时间也就越久。以此，在实际应用中为了保证向用户的快速响应速度，所默认设置的倍率为2倍，用户可以根据自身需求选择所需的倍率。

202、获取用户选中化妆方案的妆容效果图像。

203、获取用户当前的人脸图像。

以上步骤与图1所示的实施例中的步骤101、102的内容相同，此处不再赘述。

204、利用预置算法对比妆容效果图像与人脸图像中指定区域的图像差异。

该对比过程是可以视为对两幅图像中的对应区域的图案相似度的计算过程：首先识别出两幅图像中的人脸轮廓，再基于该人脸轮廓分别识别出人脸的五官区域，即化妆区域，将对应的化妆区域进行图案相似度计算，其中，对应的化妆区域则是以区域轮廓的相似程度区分的。

具体的，图像中的人脸轮廓识别可利用人脸特征库识别从图像中提取出的特征点，常用的人脸特征库如dlib库，利用dlib库检测图像中的人脸，从而得到人脸的轮廓，再利用asm(activeshapemodels)算法从人脸的轮廓中进一步地提取人脸中的化妆区域，最后，对两幅图像中所识别出的化妆区域进行比对，计算对应化妆区域的特征差值、纹理差值和色差值，其中，特征差值可以通过sift特征提取算法计算得到，纹理差值可以通过gabor变化计算得到，而色差值则可以利用色度直方图算出，以上仅是给出实现上述图像差异计算的示例性算法，本实施例并不限定计算图像差异的其他可行算法。以上计算的特征差值、纹理差值和色差值可通过向量化表示并采用欧式距离计算得到，其结果可以表示两幅图像中对应的化妆区域所存在的差异程度。

通过判断该差异程度是否大于阈值，就可以确定用户化妆后的人脸图像是否达到其所选中的妆容效果图像中的妆容效果，若达到则可以直接结束本发明的流程，而若两者之间存在不同则继续执行步骤205。

205、生成妆容修改提示信息。

本步骤中，所生成的妆容修改提示信息向用户展示时也可以通过多种方式提示用户，比如，通过视觉提示用户的方式可以是在妆容效果图像中高亮显示待修改的化妆区域，而通过听觉提示用户的方式则可以是利用语音播报图像差异大于阈值的化妆区域的位置。对此，本实施例不具体限定所生成的提示信息的展示形式。

通过上述图2所示的各个步骤已经详细说明了用户在选中化妆的参照效果图后，通过对比用户的在化妆过程中所采集的人脸图像，对用户的化妆效果进行实时的对比，并提示具体不足的区域，帮助用户及时修改妆容，以达到最佳的化妆效果。

然而，还存在一种特殊情况，就是用户对于妆容匹配服务器所匹配推荐的所有化妆方案都不满意，此时，本发明在图2的基础上还提供一种实现方式，就是向用户提供对化妆方案的修改功能，以满足用户对妆容的个性化需求。对此，智能镜或智能终端在向用户展示的界面中，用户可以选择对化妆方案的修改操作，通过系统提供的修改工具栏向用户提供相应的模拟工具，以实现对化妆方案所提供的妆容效果图进行修改，在用户修改完成后，生成修改后的妆容效果图像，并根据用户的确认操作，保存该妆容效果图像，同时，上传该妆容效果图像至妆容匹配服务器。而妆容匹配服务器根据用户所反馈的经过修改的妆容效果图像可以在以后该用户操作时直接提供该妆容效果图像，还可以将该妆容效果图像作为训练样本对妆容匹配服务器中的化妆方案的匹配模型进行训练，从而提高妆容匹配服务器匹配化妆方案的准确性。

进一步的，作为对上述方法实施例的实现，本发明实施例提供了一种辅助化妆装置，该装置不限定设置在智能镜或其它具有镜子功能的智能终端中，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。具体如图3所示，该装置包括：

第一获取单元31，用于获取用户选中化妆方案的妆容效果图像；

第二获取单元32，用于获取用户当前的人脸图像；

对比单元33，用于利用预置算法对比所述第一获取单元31获取的妆容效果图像与所述第二获取单元32获取的人脸图像中指定区域的图像差异；

生成单元34，用于当所述对比单元33对比出的图像差异大于阈值时，生成妆容修改提示信息。

进一步的，如图4所示，所述装置还包括：

提取单元35，用于在第一获取单元31获取用户选中化妆方案的妆容效果图像之前，根据用户的人脸图像提取人脸化妆区域；

发送单元36，用于向妆容匹配服务器发送所述提取单元35提取的人脸化妆区域；

展示单元37，用于展示所述妆容匹配服务器根据所述人脸化妆区域匹配的至少一组化妆方案。

进一步的，如图4所示，所述提取单元还用于，利用人脸超分算法放大所述人脸化妆区域，得到高清人脸化妆区域。

进一步的，如图4所示，所述对比单元33包括：

识别模块331，用于利用特征识别算法识别所述妆容效果图像与所述人脸图像中化妆区域；

计算模块332，用于计算所述识别模块331识别出的妆容效果图像与所述人脸图像中对应的化妆区域的特征差值、纹理差值、色差值。

进一步的，如图4所示，所述装置还包括：

修改单元38，用于接收用户对所述第一获取单元31获取的妆容效果图像的修改操作，生成修改后的妆容效果图像；

存储单元39，用于将所述修改单元38修改后的妆容效果图像存储至妆容匹配服务器。

进一步的，如图4所示，所述生成单元34包括：

差异显示模块341，用于在所述妆容效果图像中高亮显示待修改的化妆区域；

差异播报模块342，用于利用语音播报图像差异大于阈值的化妆区域的位置。

进一步的，本发明实施例还提供了一种智能镜，该智能镜中设置有上述图3或图4所述的辅助化妆装置。

进一步的，该智能镜中还包括有处理器和存储器，其中，所述存储器用于存储一条或多条计算机指令，所述一条或多条计算机指令被所述处理器执行以实现上述图1或图2所示的辅助化妆方法的步骤。该智能镜在实际应用中可以是以镜子形式的产品，也可以是在智能终端中设置的智能镜应用，比如在手机中的一个镜子应用，通过该应用实现上述的辅助化妆方法的步骤。

进一步的，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序运行时控制所述存储介质所在设备执行上述图1或图2所示的辅助化妆方法。

综上所述，本发明实施例所采用的一种辅助化妆方法、装置及智能镜，用户可以通过智能镜或其它智能终端获取其为用户匹配的化妆方案，并选择用户所需的一套方案进行化妆，在化妆过程中，智能镜会获取用户化妆时的人脸图像，并将该人脸图像与用户所选中的化妆方案中的妆容效果图像进行比对，并给出妆容修改提示信息，以告知用户当前的妆容还存在那些不足，便于用户有针对性地对当前的妆容进行调整，确保用户的化妆效果与选择的化妆方案的妆容效果相一致。通过本发明用户不仅可以选择所要参照的化妆效果，而且在化妆过程中，智能镜会根据用户的上妆效果实时地给出修改建议，帮助用户更高效地化妆。同时，由于采用了妆容匹配服务器进行化妆方案的匹配，使得用户所使用的终端无需配置较高的计算资源也可以为用户快速提供适合的化妆方案。此外，本发明还具有根据用户的个性化需求为用户提供化妆方案的修改功能，用户可根据自身的喜好进一步修改化妆效果图像，并基于该化妆效果图像进行化妆，提升了用户的应用体验。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)，存储器包括至少一个存储芯片。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。