一种识别方法、装置和电子设备与流程

本发明涉及数据处理技术领域，特别是涉及一种识别方法、装置和电子设备。

背景技术：

文字作为一种普遍使用的信息传播和交流工具，在人机交互系统中扮演着重要的角色，目前广泛使用的文字输入方式包括：键盘、触屏、手写板等，用户在使用这些手写设备进行手写的过程中，需要与手写设备进行接触实现书写；但是在某些场景下，例如驾驶过程中语音识别受噪声影响失效情况下，接触式手写显得尤其不简便，因此隔空手写应运而生。

目前，业内均是基于深度摄像头进行隔空手写识别，其弊端在于首先需要采用深度摄像头采集图像，成本高，其次，在实际识别过程中需要用到深度信息，因此识别效率低。

技术实现要素：

本发明实施例提供一种识别方法，以降低隔空手写的识别成本和提高识别效率。

相应的，本发明实施例还提供了一种识别装置和一种电子设备，用以保证上述方法的实现及应用。

为了解决上述问题，本发明实施例公开了一种识别方法，具体包括：进入书写状态，从摄像头采集的视频图像中获取第一手部视频图像；对所述第一手部视频图像进行图像处理，获取书写手指的指尖位置信息并依据所述指尖位置信息在显示屏上显示书写轨迹；待书写状态结束后，依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息并展示。

可选地，所述从摄像头采集的视频图像中获取第一手部视频图像，包括：获取摄像头采集的视频图像，提取所述视频图像中手写区域的图像作为第一手部视频图像。

可选地，对所述第一手部视频图像进行图像处理，包括：对第一手部视频图像进行预处理，得到第一预处理图像；依据所述第一预处理图像，判断所述第一手部视频图像中手部的手势是否为书写手势；若所述第一手部视频图像中手部的手势为书写手势，则执行获取书写手指的指尖位置信息的步骤。

可选地，所述对第一手部视频图像进行预处理，得到第一预处理图像，包括：采用高斯混合模型对所述第一手部视频图像进行背景减除，从所述第一手部视频图像中提取前景得到第一图像；采用所述肤色模型对所述第一图像进行过滤，得到第二图像；对所述第二图像进行形态学处理，得到第三图像；对所述第三图像进行二值化处理，得到第一预处理图像。

可选地，所述依据所述第一预处理图像，判断所述第一手部视频图像中手部的手势是否为书写手势，包括：对所述第一预处理图像进行轮廓检测，确定所述第一预处理图像中的手部轮廓；对所述手部轮廓进行凸包检测，确定凸出手指的个数和各凸出手指的指尖位置信息；若所述凸出手指的个数与书写手势对应凸出手指的设定个数匹配，则确定所述第一手部视频图像中手部的手势是书写手势。

可选地，所述依据所述第一预处理图像，判断所述第一手部视频图像中手部的手势是否为书写手势，包括：将所述第一预处理图像输入至静态手势识别模型中，得到各手势的概率分值，其中，所述手势至少包括：开始书写手势、书写手势、选取手势、删除手势和其他手势；若书写手势的概率分值最高，则确定所述第一手部视频图像中手部的手势是书写手势。

可选地，所述获取书写手指的指尖位置信息，包括：将凸出手指的指尖位置信息确定为书写手指的指尖位置信息。

可选地，所述的方法还包括：从所述摄像头采集的视频图像中获取第二手部视频图像；判断所述第二手部视频图像中手部的手势是否为开始书写手势；若所述第二手部视频图像中手部的手势为开始书写手势，则进入书写状态。

可选地，所述的方法还包括：若所述第一手部视频图像中手部的手势是选取手势，则确定书写状态结束。

可选地，所述候选信息包括多个候选项，在所述展示的步骤之后，所述的方法还包括：周期性轮询当前页面的各个候选项，并从所述摄像头采集的视频图像中获取第三手部视频图像；当检测到所述第三手部视频图像中手部的手势为开始书写手势时，上屏对应轮询到的候选项并再次进入书写状态。

可选地，所述的方法还包括：若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后未获取书写手指的指尖位置信息，则删除最后上屏的候选项。

可选地，所述的方法还包括：若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后已获取书写手指的指尖位置信息，则清除显示屏上显示的书写轨迹。

可选地，所述依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息，包括：将所述指尖位置信息输入至手写引擎中，以使手写引擎依据所述指尖位置信息对书写轨迹进行识别，得到候选信息并返回；接收所述手写引擎返回的候选信息。

本发明实施例还公开了一种识别装置，具体包括：获取模块，用于进入书写状态，从摄像头采集的视频图像中获取第一手部视频图像；图像处理模块，用于对所述第一手部视频图像进行图像处理，获取书写手指的指尖位置信息并依据所述指尖位置信息在显示屏上显示书写轨迹；识别模块，用于待书写状态结束后，依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息并展示。

可选地，所述获取模块，用于获取摄像头采集的视频图像，提取所述视频图像中手写区域的图像作为第一手部视频图像。

可选地，所述图像处理模块包括：预处理子模块，用于对第一手部视频图像进行预处理，得到第一预处理图像；手势判断子模块，用于依据所述第一预处理图像，判断所述第一手部视频图像中手部的手势是否为书写手势；位置获取子模块，用于若所述第一手部视频图像中手部的手势为书写手势，则获取书写手指的指尖位置信息。

可选地，所述预处理子模块，用于采用高斯混合模型对所述第一手部视频图像进行背景减除，从所述第一手部视频图像中提取前景得到第一图像；采用所述肤色模型对所述第一图像进行过滤，得到第二图像；对所述第二图像进行形态学处理，得到第三图像；对所述第三图像进行二值化处理，得到第一预处理图像。

可选地，所述手势判断子模块包括：第一判断单元，用于对所述第一预处理图像进行轮廓检测，确定所述第一预处理图像中的手部轮廓；对所述手部轮廓进行凸包检测，确定凸出手指的个数和各凸出手指的指尖位置信息；若所述凸出手指的个数与书写手势对应凸出手指的设定个数匹配，则确定所述第一手部视频图像中手部的手势是书写手势。

可选地，所述手势判断子模块包括：第二判断单元，用于将所述第一预处理图像输入至静态手势识别模型中，得到各手势的概率分值，其中，所述手势至少包括：开始书写手势、书写手势、选取手势、删除手势和其他手势；若书写手势的概率分值最高，则确定所述第一手部视频图像中手部的手势是书写手势。

可选地，所述位置获取子模块，用于将凸出手指的指尖位置信息确定为书写手指的指尖位置信息。

可选地，所述的装置还包括：书写状态开始确定模块，用于从所述摄像头采集的视频图像中获取第二手部视频图像；判断所述第二手部视频图像中手部对应的手势是否为开始书写手势；若所述第二手部视频图像中手部对应的手势为开始书写手势，则进入书写状态

可选地，所述的装置还包括：书写状态结束确定模块，用于若所述第一手部视频图像中手部的手势是选取手势，则确定书写状态结束。

可选地，所述候选信息包括多个候选项，所述的装置还包括：轮询模块，用于周期性轮询当前页面的各个候选项，并从所述摄像头采集的视频图像中获取第三手部视频图像；上屏模块，用于当检测到所述第三手部视频图像中手部的手势为选取手势时，上屏对应轮询到的候选项。

可选地，所述的装置还包括：第一删除模块，用于若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后未获取书写手指的指尖位置信息，则删除最后上屏的候选项。

可选地，所述的装置还包括：第二删除模块，用于若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后已获取书写手指的指尖位置信息，则清除显示屏上显示的书写轨迹。

可选地，所述识别模块，用于将所述指尖位置信息输入至手写引擎中，以使手写引擎依据所述指尖位置信息对书写轨迹进行识别，得到候选信息并返回；接收所述手写引擎返回的候选信息。

本发明实施例还公开了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如本发明实施例任一所述的识别方法。

本发明实施例还公开了一种电子设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：进入书写状态，从摄像头采集的视频图像中获取第一手部视频图像；对所述第一手部视频图像进行图像处理，获取书写手指的指尖位置信息并依据所述指尖位置信息在显示屏上显示书写轨迹；待书写状态结束后，依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息并展示。

可选地，所述从摄像头采集的视频图像中获取第一手部视频图像，包括：获取摄像头采集的视频图像，提取所述视频图像中手写区域的图像作为第一手部视频图像。

可选地，所述对所述第一手部视频图像进行图像处理，包括：对第一手部视频图像进行预处理，得到第一预处理图像；依据所述第一预处理图像，判断所述第一手部视频图像中手部的手势是否为书写手势；若所述第一手部视频图像中手部的手势为书写手势，则执行获取书写手指的指尖位置信息的步骤。

可选地，所述对第一手部视频图像进行预处理，得到第一预处理图像，包括：采用高斯混合模型对所述第一手部视频图像进行背景减除，从所述第一手部视频图像中提取前景得到第一图像；采用所述肤色模型对所述第一图像进行过滤，得到第二图像；对所述第二图像进行形态学处理，得到第三图像；对所述第三图像进行二值化处理，得到第一预处理图像。

可选地，所述依据所述第一预处理图像，判断所述第一手部视频图像中手部的手势是否为书写手势，包括：对所述第一预处理图像进行轮廓检测，确定所述第一预处理图像中的手部轮廓；对所述手部轮廓进行凸包检测，确定凸出手指的个数和各凸出手指的指尖位置信息；若所述凸出手指的个数与书写手势对应凸出手指的设定个数匹配，则确定所述第一手部视频图像中手部的手势是书写手势。

可选地，所述依据所述第一预处理图像，判断所述第一手部视频图像中手部的手势是否为书写手势，包括：将所述第一预处理图像输入至静态手势识别模型中，得到各手势的概率分值，其中，所述手势至少包括：开始书写手势、书写手势、选取手势、删除手势和其他手势；若书写手势的概率分值最高，则确定所述第一手部视频图像中手部的手势是书写手势。

可选地，所述获取书写手指的指尖位置信息，包括：将凸出手指的指尖位置信息确定为书写手指的指尖位置信息。

可选地，还包含用于进行以下操作的指令：从所述摄像头采集的视频图像中获取第二手部视频图像；判断所述第二手部视频图像中手部的手势是否为开始书写手势；若所述第二手部视频图像中手部的手势为开始书写手势，则进入书写状态。

可选地，还包含用于进行以下操作的指令：若所述第一手部视频图像中手部的手势是选取手势，则确定书写状态结束。

可选地，所述候选信息包括多个候选项，在所述展示的步骤之后，还包含用于进行以下操作的指令：周期性轮询当前页面的各个候选项，并从所述摄像头采集的视频图像中获取第三手部视频图像；当检测到所述第三手部视频图像中手部的手势为开始书写手势时，上屏对应轮询到的候选项并再次进入书写状态。

可选地，还包含用于进行以下操作的指令：若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后未获取书写手指的指尖位置信息，则删除最后上屏的候选项。

可选地，还包含用于进行以下操作的指令：若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后已获取书写手指的指尖位置信息，则清除显示屏上显示的书写轨迹。

可选地，所述依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息，包括：将所述指尖位置信息输入至手写引擎中，以使手写引擎依据所述指尖位置信息对书写轨迹进行识别，得到候选信息并返回；接收所述手写引擎返回的候选信息。

本发明实施例包括以下优点：

本发明实施例中，在确定进入书写状态时，可以从摄像头采集视频图像中获取的第一手部视频图像，然后对所述第一手部视频图像进行图像处理，获取书写手指的指尖位置信息并依据所述指尖位置信息在显示屏上显示书写轨迹，待书写状态结束后，依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息并展示；进而通过图像处理确定的指尖位置信息实现书写轨迹的识别，而无需采用深度信息进行识别，能够提高识别效率。此外，由于本发明实施例无需采用深度信息进行识别，因此也无需采用深度摄像头采集视频图像，从而降低了隔空手写的识别成本。

附图说明

图1是本发明的一种识别方法实施例的步骤流程图；

图2a是本发明实施例的一种书写轨迹显示界面的示意图；

图2b是本发明实施例的一种候选信息展示界面的示意图；

图3a是本发明实施例的一种开始书写手势的示意图；

图3b是本发明实施例的一种书写手势的示意图；

图3c是本发明实施例的一种选取手势的示意图；

图3d是本发明实施例的一种删除手势的示意图；

图4是本发明的一种识别方法可选实施例的步骤流程图；

图5a是本发明实施例的一种视频图像中手写区域的示意图；

图5b是本发明实施例的一种第四图像的示意图；

图5c是本发明实施例的一种第六图像的示意图；

图5d是本发明实施例的一种第二预处理图像的示意图；

图5e是本发明实施例的一种经过轮廓检测和凸边检测的手部示意图；

图5f是本发明实施例的一种判断是否为开始书写手势的方法步骤流程图；

图5g是本发明实施例的一种轮询候选项的示意图；

图5h是本发明实施例的一种上屏候选项的示意图；

图6是本发明的一种识别装置实施例的结构框图；

图7是本发明的一种识别装置可选实施例的结构框图；

图8根据一示例性实施例示出的一种用于识别的电子设备的结构框图；

图9是本发明根据另一示例性实施例示出的一种用于识别的电子设备的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例的核心构思之一是，在隔空手写过程中，可以采用摄像头采集视频图像，然后通过对手部视频图像进行图像处理，获取书写手指的指尖位置信息，待书写状态结束后，依据获取的指尖位置信息对书写轨迹进行识别，从而无需采用深度信息进行识别，提高了识别效率。对应的，也无需采用深度摄像头进行视频图像的采集，降低了隔空手写的识别成本。

参照图1，示出了本发明的一种识别方法实施例的步骤流程图，具体可以包括如下步骤：

步骤102、进入书写状态，从摄像头采集的视频图像中获取第一手部视频图像。

步骤104、对所述第一手部视频图像进行图像处理，获取书写手指的指尖位置信息并依据所述指尖位置信息在显示屏上显示书写轨迹。

步骤106、待书写状态结束后，依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息并展示。

本发明实施例中，隔空手写设备可以采用摄像头采集用户隔空手写的视频图像，通过对视频图像进行图像处理，对隔空手写的书写轨迹的进行识别；其中，可以采用除深度摄像头之外的普通摄像头(如rgb摄像头)采集视频图像，进而能够降低隔空手写的识别成本。此外，所述摄像头可以是隔空手写设备的内置摄像头，也可以是外接摄像头，本发明实施例对此不作限制。本发明实施例中，隔空手写设备可以对采集的视频图像进行实时处理，即每采集一帧视频图像，可以从该帧视频图像中提取出手部视频图像，然后对手部视频图像进行图像处理。

用户在进行隔空手写的过程中，可以通过执行开始书写手势告知隔空手写设备开始进行书写，然后采用书写手势进行隔空手写，再通过执行结束书写手势告知隔空手写设备结束书写。进而待用户执行开始书写手势后，隔空手写设备可以进入书写状态，然后在用户采用书写手势进行隔空书写的过程中，可以每次从摄像头采集的视频图像中，获取手部视频图像，其中为了区分用户在执行不同手势之间获取的手部视频图像，可以将进入书写状态后至书写状态结束前获取的手部视频图像称为第一手部视频图像。然后可以对第一手部视频图像进行图像处理，如背景消除、前景提取、手部轮廓检测、凸包检测等，获取书写手指的指尖位置信息；在获取指尖位置信息后，一方面可以保存该指尖位置信息，以便于后续依据保存的指尖位置信息进行书写轨迹的识别；另一方面可以基于该指尖位置信息查找映射关系，确定显示屏中对应的显示位置，然后在显示屏中该显示位置进行标记，并将当前显示位置与上一个显示位置进行连接，进而显示出对应的书写轨迹。当用户书写完成时可以执行结束书写手势，此时隔空手写设备可以确定书写状态结束，然后可以采用进入书写状态之后至书写状态结束过程中，记录的各个指尖位置信息对书写轨迹进行识别，如调用手写引擎进行书写轨迹的识别，确定对应的候选信息并进行展示；其中，所述候选信息可以包括多个候选项。后续用户可以通过执行对应的手势选取需要的候选项进行上屏，实现隔空手写的输入。

本发明的一个示例中，用户采用隔空手写“搜”字的过程如下：执行开始书写手势，隔空手写设备进入书写状态；然后用户采用书写手势书写“搜”，对应的，隔空手写设备从摄像头采集的视频图像中获取第一手部视频图像；然后对所述第一手部视频图像进行图像处理，获取书写手指的指尖位置信息并依据所述指尖位置信息在显示屏上显示书写轨迹；如图2a所示。用户书写完“搜”后执行结束书写手势，隔空手写设备可以确定手写状态结束，然后可以依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息并展示；如图2b所示。

综上，本发明实施例中，在确定进入书写状态时，可以从摄像头采集的视频图像中获取第一手部视频图像，然后对所述第一手部视频图像进行图像处理，获取书写手指的指尖位置信息并依据所述指尖位置信息在显示屏上显示书写轨迹，待书写状态结束后，依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息并展示；进而通过图像处理确定的指尖位置信息实现书写轨迹的识别，而无需采用深度信息进行识别，能够提高识别效率。此外，由于本发明实施例无需采用深度信息进行识别，因此本发明实施例也无需采用深度摄像头采集视频图像，从而降低了隔空手写的识别成本。

本发明的一个示例中，在隔空手写设备显示书写轨迹对应的候选信息后，用户可以执行开始书写操作选取出满足要求的候选项，对应的，隔空手写设备可以将开始书写操作选取的候选项进行上屏，并再次进入书写状态，便于用户连续性书写。当然，可以理解的是，这里只是给出了一种选取候选项的一种手势实施例，实际应用中可以定义专门的手势用于执行该选取候选项的操作。

本发明的另一个示例中，用户可能操作失误导致上屏的候选项是错误的，因此在隔空手写设备上屏候选项并再次进入书写状态后，用户可以执行删除操作，进而隔空手写设备可以删除对应已上屏的候选项；后续用户可以再执行开始书写手势，重新进行手写输入。

本发明的又一个示例中，用户在书写某一个字符的过程中，书写的笔画可能出现错误，此时用户可以执行删除手势，进而隔空手写设备可以删除之前输入的笔画；后续用户可以再执行开始书写手势，重新进行手写输入。

其中，所述开始书写手势可以是指用户用于告知隔空手写设备书写开始的手势，以及可以是指用户用于上屏候选项的手势；如图3a所示，图3a中示出了一种开始书写手势，即掌心朝向摄像头且五指张开。所述书写手势可以是指用户用于书写的手势；如图3b所示，图3b中示出了一种书写手势，即手掌朝向摄像头且食指张开、其他四指向掌心弯曲。所述删除手势可以是指用户用于删除书写轨迹、已上屏的候选项等信息的手势；如图3c所示，图3c中示出了一种结束书写手势，即手掌朝向摄像头，且拇指和食指张开、其他三指向掌心弯曲。所述选取手势可以是指用户用于告知隔空手写设备书写结束的手势；如图3d所示，图3d中示出了一种选取手势，即是掌朝向摄像头且五指向掌心弯曲。其中，上述的手势可以按照用户的需求设置，本发明实施例对此不作限制；此外，可以将上述手势称为设定手势，将除设定手势之外的手势称为其他手势，其他手势可以对应其他功能，本发明实施例对此不作限制。

其中，为了便于说明用户在隔空手写过程中，执行手势的顺序，可以为每个手势进行编号：

11、开始书写手势；12、书写手势；13、选取手势；14、删除手势。

例如，用户一种执行手势的顺序可以如下：11→12→13→11；

又例如，用户一种执行手势的顺序可以如下：11→12→13→11→14→11；

还例如，用户一种执行手势的顺序可以如下：11→12→14→11→12→13→11；

再例如，用户一种执行手势的顺序可以如下：11→12→14→11→12→13→11→14→11。

当然，在用户隔空手写一个字符的过程中，还可以包括上述手势的其他组合方式，本发明实施例在此不一一举例说明，且对此也不作限制。

其中，隔空手写设备是基于手部视频图像中手部对应的手势，判断是否进入书写状态、是否获取书写手指的指尖位置信息、书写状态是否结束、是否删除书写轨迹、是否上屏、是否删除上屏候选项等的。因此本发明实施例中，在每获取一帧手部视频图像后，可以通过对该手部视频图像进行图像处理，确定该手部视频图像中手部对应的手势，再执行对应的操作。

参照图4，示出了本发明的一种识别方法实施例的步骤流程图，具体可以包括如下步骤：

步骤402、从摄像头采集的视频图像中获取第二手部视频图像。

本发明实施例中，在隔空手写设备启动后至确定视频图像中手部的手势为开始书写手势之前，或者，在确定手部视频图像中手部的手势为选取手势之后至确定视频图像中手部的手势为开始书写手势之前，可以从摄像头采集的视频图像中获取手部视频图像，以判断是否进入书写状态。其中，可以将这个过程中获取的手部视频图像称为第二手部视频图像。本发明的一个示例中，可以获取摄像头采集的视频图像，从手写区域提取图像作为第二手部视频图像。本发明实施例中，隔空手写设备摄像头在采集到视频图像后，可以在显示屏上显示该视频图像，并在显示的视频图像中标识出手写区域如视频图像的右上角区域如图5a所示，图5a中a所指的方框内的区域为手写区域，以使用户在该手写区域进行隔空手写，便于获取出用户的手部视频图像，提高识别的准确率。因此在获取摄像头采集的视频图像后，可以依据所述手写区域的区域信息，从视频图像中提取手写区域对应的图像，作为第二手部视频图像。

步骤404、判断所述第二手部视频图像中手部对应的手势是否为开始书写手势。

在获取到第二手部视频图像后，可以对第二手部视频图像进行手势识别，判断所述第二手部视频图像中的手部对应的手势是否为开始书写手势；若第二手部视频图像中手部对应的手势为开始书写手势，则可以确定用户需要进行书写，可以进入书写状态，然后执行步骤406；若第二手部视频图像中手部对应的手势不是开始书写手势，则可以确定用户无需进行书写，可以从下一帧摄像头采集的视频图像中获取第二手部视频图像，执行步骤402。

本发明的一个示例中，一种判断所述第二手部视频图像中手部对应的手势是否为开始书写手势可以是，对第二手部视频图像进行预处理，得到第二预处理图像，依据所述第二预处理图像，判断所述第二手部视频图像中的手势是否为开始书写手势；其中，若所述第二手部视频图像中的手势为开始书写手势，则进入书写状态，若所述第二手部视频图像中的手势不是开始书写手势，则从下一帧摄像头采集的视频图像中获取第二手部视频图像，执行步骤402。

其中，一种对第二手部视频图像进行预处理，得到第二预处理图像的步骤，可以包括如下子步骤：

子步骤a2、采用高斯混合模型对所述第二手部视频图像进行背景减除，从所述第二手部视频图像中提取前景得到第四图像。

子步骤a4、采用所述肤色模型对所述第四图像进行过滤，得到第五图像。

子步骤a6、对所述第五图像进行形态学处理，得到第六图像。

子步骤a8、对所述第六图像进行二值化处理，得到第二预处理图像。

本发明实施例中，可以采用高斯混合模型对第二手部视频图像进行背景减除，从第二手部视频图像中提取前景得到第四图像，如图5b所示。再采用预先训练的肤色模型，对第四图像进行过滤，得到第五图像，其中，所述肤色模型可以包括贝叶斯肤色模型。然后通过对第五图像进行形态学处理，恢复手部形态，进而提高手势识别的准确率，得到第六图像，可以如图5c所示；再通过对第六图像进行二值化处理，将手部对应区域的图像，与背景部分对应的图像进行分离，便于后续对手部手势的识别，得到第二预处理图像，可以如图5d所示。

本发明实施例中，依据所述第二预处理图像，判断所述第二手部视频图像中的手势是否为开始书写手势的方式可以包括多种，其中，本发明的一个示例中，一种判断所述第二手部视频图像中的手势是否为开始书写手势的方式，可以包括如下子步骤：

子步骤a10、对所述第二预处理图像进行轮廓检测，确定所述第二预处理图像中的手部轮廓；

子步骤a12、对所述手部轮廓进行凸包检测，确定凸出手指的个数和各凸出手指顶端的位置信息；

子步骤a14、判断所述凸出手指的个数与开始书写手势对应凸出手指的设定个数是否匹配。

子步骤a16、确定所述第二手部视频图像中手部的手势是开始书写手势。

其中，可以通过忽略第二预处理图像中的背景、手部内部的纹理、以及噪声干扰的影响，确定手部轮廓；然后基于确定的手部轮廓进行凸包检测，确定手部轮廓最外层的点(可以包括确定各个手指顶端的位置信息)，将最外层的点连接起来构成凸多边形如图5e所示。进而可以依据各手指顶端的位置信息，确定哪些手指是凸出手指，然后统计凸出手指的个数；其中，凸出手指顶端的位置信息即为凸出手指的指尖位置信息。例如开始书写手势如3a所示，对应凸出手指的设定个数可以是5个，则若凸出手指的个数为5个，则可以确定第二预处理图像中手部的手势是开始书写手势；若凸出手指的个数不是5个，则可以确定第二预处理中手部的手势不是开始书写手势，可以结束本次判断所述第二视频图像中手部的手势是否是开始书写手势的流程。

本发明的另一个示例中，另一种判断所述第二手部视频图像中手部的手势是否是开始书写手势的方式，可以包括如下子步骤：

子步骤a18、将所述第二预处理图像输入至静态手势识别模型中，得到各手势的概率分值，其中，所述手势可以包括设定手势和其他手势；

子步骤a20、判断开始书写手势的概率分值是否最高。

子步骤a22、确定所述第二手部视频图像中手部的手势是开始书写手势。

其中，可以采用设定手势和其他手势对静态手势识别模型进行训练，例如可以将开始书写手势输入至静态手势识别模型，得到各个手势对应的概率分值，然后采用开始书写手势对应的概率分值计算损失函数，采用损失函数对静态手势识别模型的权值进行调整；当然也可以采用其他设定手势和其他手势，按照上述方式对静态手势识别模型进行训练。进而可以采用训练后的静态手势识别模型对所述第二预处理图像中手部的手势进行识别，然后判断开始书写手势的概率分值是否最高，若开始书写手势的概率分值最高，则确定所述第二预处理图像中手部的手势是书写手势，执行子步骤a22，若开始书写手势的概率分值不是最高，则可以结束本次判断所述第二手部视频图像中手部的手势是否是开始书写手势的流程。

本发明实施例中，在执行完子步骤a8后，可以执行子步骤a10-a16，也可以执行子步骤a18-a22；当然也可以将上述两种方式进行结合，判断第二预处理图像中手部的手势是否是开始书写手势，将当根据第一种方式确定第二预处理图像中手部的手势是开始书写手势，且根据第二种方式确定第二预处理图像中手部的手势是开始书写手势时，可以确定第二预处理图像中手部的手势是开始书写手势。例如在执行子步骤a10-a14后，若所述凸出手指的个数与开始书写手势对应凸出手指的设定个数匹配，则执行子步骤a18-a22，可参照图5f，示出了本发明实施例的一种判断是否为开始书写手势的方法步骤流程图。

步骤406、从摄像头采集视频图像中获取第一手部视频图像。

若确定所述第一手部视频图像中的手部对应的手势是开始书写手势，则可以进入书写状态，从摄像头采集视频图像中获取的第一手部视频图像，其中，可以获取摄像头采集的视频图像，提取所述视频图像中手写区域的图像作为第一手部视频图像。

步骤408、判断第一手部视频图像中手部对应的手势是否是书写手势。

其中，对第一手部视频图像进行预处理，得到第一预处理图像；依据所述第一预处理图像，判断所述第一手部视频图像中的手势是否为书写手势；若所述第一手部视频图像中的手势为书写手势，则执行步骤410；若所述第一手部视频图像中手部的手势是选取手势，则确定书写状态结束，可执行步骤414。若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后未获取书写手指的指尖位置信息，执行步骤422。若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后已获取书写手指的指尖位置信息，则执行步骤416。

其中，所述对第一手部视频图像进行预处理，得到第一预处理图像的步骤，可以包括如下子步骤：

子步骤b2、采用高斯混合模型对所述第一手部视频图像进行背景减除，从所述第一手部视频图像中提取前景得到第一图像。

子步骤b4、采用所述肤色模型对所述第一图像进行过滤，得到第二图像。

子步骤b6、对所述第二图像进行形态学处理，得到第三图像。

子步骤b8、对所述第三图像进行二值化处理，得到第一预处理图像。

子步骤b10、对所述第一预处理图像进行轮廓检测，确定所述第一预处理图像中的手部轮廓；

子步骤b12、对所述手部轮廓进行凸包检测，确定凸出手指的个数和各凸出手指顶端的位置信息；

子步骤b14、判断所述凸出手指的个数与书写手势对应凸出手指的设定个数是否匹配。

子步骤b16、确定所述第一手部视频图像中手部的手势是书写手势。

子步骤b18、将所述第一预处理图像输入至静态手势识别模型中，得到各手势的概率分值，其中，所述手势可以包括设定手势和其他手势；

子步骤b20、判断书写手势的概率分值是否最高。

子步骤b22、确定所述第一手部视频图像中手部的手势是书写手势。

其中，子步骤b2-b22，与上述子步骤a2-a22类似，在此不再赘述。

步骤410、若确定所述第一手部视频图像中手部的手势是书写手势，将凸出手指的指尖位置信息确定为书写手指的指尖位置信息。

步骤412、依据所述指尖位置信息在显示屏上显示书写轨迹。

本发明实施例中，若确定所述第一手部视频图像中手部的手势的书写手势，可以确定用户正在进行隔空手写，此时可以获取书写手指的指尖位置信息；其中，书写手势可以是一个手指展开且其他手指弯曲的手势如图3b所示，因此可将凸出手指确定为书写手指，将该凸出手指的指尖位置信息确定为书写手指的指尖位置信息。然后可以基于该指尖位置信息查找映射关系，确定显示屏中对应的显示位置，然后在显示屏中该显示位置进行标记，并将当前显示位置与上一个显示位置进行连接，进而显示出对应的书写轨迹。其中，当相邻的两个显示位置的距离超过距离阈值时，可以在两个相邻的显示位置之间进行插值，再通过插值点连接相邻的两个显示位置，使得显示的书写轨迹更平滑。然后可以从下一帧摄像头采集的视频图像中获取第一手部视频图像，再次执行步骤406。

步骤414、若所述第一手部视频图像中手部的手势是选取手势，则依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息并展示。

本发明实施例中，若确定所述第一手部视频图像中手部的手势是选取手势，则确定用户书写结束，此时可以将所述指尖位置信息输入至手写引擎中，以使手写引擎识别依据所述指尖位置信息对书写轨迹进行识别，得到候选信息并返回；接收所述手写引擎返回的候选信息。然后可以对候选信息进行展示，其中，所述候选信息可以包括多个候选项，手写引擎在返回候选信息的同时，可以返回候选信息中各候选项对应的候选分值；因此可以按照候选分值从高到低的顺序对各候选进行展示，然后可以执行步骤418。

步骤416、若所述第一手部视频图像中手部的手势是删除手势，且在进入书写状态后已获取书写手指的指尖位置信息，则清除显示屏上显示的书写轨迹。

本发明实施例中，用户可以在书写过程中，删除已输入的书写轨迹，因此若确定第一手部视频图像中手部的手势是删除手势，且在进入书写状态后已获取书写手指的指尖位置信息，则可以确定用户需要删除之前书写的轨迹，因此可以清除显示屏上显示的书写轨迹，以及删除从进入书写状态后存储的指尖位置信息。后续用户可再次执行开始书写手势，重新进行隔空手写，对应的，隔空手写设备可以执行步骤402。

步骤418、周期性轮询当前页面的各个候选项，并从摄像头采集的视频图像中第三手部视频图像。

步骤420、当检测到所述第三手部视频图像中手部的手势为开始书写手势时，上屏对应轮询到的候选项并再次进入书写状态。

本发明实施例中，候选栏中每个页面展示候选项的数量可以是预先设定的，当所述候选信息中包含的候选项数量，多于一个页面展示候选项的数量时，可以将候选信息在候选栏的两个及以上页面中进行展示。在显示候选信息后，若用户确定当前页面中存在需要的候选项，则可以从当前页面中选取对应的候选项。其中，可以由隔空手写设备周期性轮询当前页面的各个候选项，当用户确定轮询到的候选项是需要选取的候选项时，可以执行开始书写手势，以选取对应轮询到的候选项；在轮询到需要选取的候选项之前，用户可以继续保持选取手势。若用户确定当前页面中没有需要的候选项，则用户可以执行翻页手势，对应的，隔空手写设备可以翻到下一个页面；若用户确定下一个页面中存在需要的候选项时，则可以从下一个页面中选取对应的候选项。其中，可以由隔空手写设备周期性轮询下一个页面的各个候选项，当用户确定轮询到的候选项是需要选取的候选项时，可以执行开始书写手势，以选取对应轮询到的候选项；在轮询到需要选取的候选项之前，用户可以继续保持选取手势。因此隔空手写设备在周期性轮询当前页面中各个候选项的同时，可以从摄像头采集的视频图像中手部视频图像，其中，可以将显示候选信息之后至确定手部视频图像中手部的手势为开始书写手势之前，获取的手部视频图像称为第三手部视频图像，所述轮询的周期可以按照需求设置。然后判断所述第三手部视频图像中手部的手势是否为开始书写手势，当检测到所述第三手部视频图像中手部的手势为开始书写手势时，可以执行步骤420，上屏对应轮询到的候选项；同时可以再次进入书写状态，然后可以执行步骤406，进而用户在选取需要输入的候选项后，可以继续进行书写，操作流畅简便。当检测到所述第三手部视频图像中手部的手势是翻页手势时，可以进行翻页，展示下一个页面中的候选项；然后继续执行步骤418。当检测到所述第三手部视频图像中手部的手部依然是选取手势时，可以继续执行步骤418，即继续进行轮询，并从下一帧视频图像中获取第三手部视频图像。如图2b所示，图中轮询到第一个候选项，在轮询周期到达时，若检测到所述第三手部视频图像中手部的手势不是开始书写手势，可以继续轮询。如图5g所示，当轮询第6个候选项，且在下一个轮询周期到达之前，若检测到所述第三手部视频图像中手部的手势是开始书写手势，则上屏轮询到的第六个候选项，如图5h所示。

步骤422、若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后未获取书写手指的指尖位置信息，则删除最后上屏的候选项。

本发明实施例中，可以在上屏候选项并再次进入书写状态之后，用户可以在执行书写手势之前执行了删除手势，删除最后上屏的候选项，因此在进入书写状态并获取第一手部视频图像后，若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后未获取书写手指的指尖位置信息，可以确定用户需要删除最后上屏的候选项，此时可以执行最后上屏的候选项。进而用户可以通过执行删除操作，删除已上屏的内容。

综上，本发明实施例中，在确定进入书写状态时，可以从摄像头采集的视频图像中获取第一手部视频图像，然后对所述第一手部视频图像进行图像处理，获取书写手指的指尖位置信息并依据所述指尖位置信息在显示屏上显示书写轨迹，待书写状态结束后，依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息并展示；进而通过图像处理确定的指尖位置信息实现书写轨迹的识别，而无需采用深度信息进行识别，能够提高识别效率。此外，由于本发明实施例无需采用深度信息进行识别，因此也无需采用深度摄像头采集视频图像，从而降低了隔空手写的识别成本。

其次，本发明实施例可以采用高斯混合模型对所述第一手部视频图像进行背景减除，从所述第一手部视频图像中提取前景得到第一图像；采用所述肤色模型对所述第一图像进行过滤，得到第二图像；对所述第二图像进行形态学处理，得到第三图像；对所述第三图像进行二值化处理，得到第一预处理图像；再依据所述第一预处理图像，判断所述第一手部视频图像中手部的手势是否为书写手势，进而可以提高后续对第一手部视频图像中手部对应手势的识别的准确率。

进一步，本发明实施例中，在依据第一预处理图像，判断所述第一手部视频图像中手部的手势是否是书写手势过程中，可以通过对第一预处理图像进行轮廓检测和凸包检测，进行手势识别；也可以采用静态手势识别模型对第一预处理图像中手部的手势进行识别，提高了手势识别的准确率。

进一步，本发明实施例中，在所述展示的步骤之后，可以周期性轮询当前页面的各个候选项，并从摄像头采集的视频图像中获取第三手部视频图像；当检测到所述第三手部视频图像中手部的手势为开始书写手势时，上屏对应轮询到的候选项并再次进入书写状态；进而不仅能够实现将用户选取的候选项上屏，还可以再次进入书写状态，从而用户可以继续执行书写手势即可进行手写输入，减少了从上屏候选项到书写下一个字符的操作，简便快捷，能够提高用户体验。

进一步，本发明实施例中，若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后未获取书写手指的指尖位置信息，则删除最后上屏的候选；便于用户删除已上屏的内容；依据若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后已获取书写手指的指尖位置信息，则清除显示屏上显示的书写轨迹，便于用户删除已输入的轨迹，提高用户体验。

再次，本发明实施例中，可以将所述指尖位置信息输入至手写引擎中，以使手写引擎依据所述指尖位置信息对书写轨迹进行识别，得到候选信息并返回，接收所述手写引擎返回的候选信息；提高了书写轨迹识别的准确性。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图6，示出了本发明的一种识别装置实施例的结构框图，具体可以包括如下模块：

获取模块602，用于进入书写状态，从摄像头采集的视频图像中获取第一手部视频图像；

图像处理模块604，用于对所述第一手部视频图像进行图像处理，获取书写手指的指尖位置信息并依据所述指尖位置信息在显示屏上显示书写轨迹；

识别模块606，用于待书写状态结束后，依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息并展示。

参照图7，示出了本发明的一种识别装置可选实施例的结构框图。

本发明一个可选的实施例中，所述获取模块602，用于获取摄像头采集的视频图像，提取所述视频图像中手写区域的图像作为第一手部视频图像。

本发明一个可选的实施例中，所述图像处理模块604包括：

预处理子模块6042，用于对第一手部视频图像进行预处理，得到第一预处理图像；

手势判断子模块6044，用于依据所述第一预处理图像，判断所述第一手部视频图像中手部的手势是否为书写手势；

位置获取子模块6046，用于若所述第一手部视频图像中手部的手势为书写手势，则获取书写手指的指尖位置信息。

本发明一个可选的实施例中，所述预处理子模块6042，用于采用高斯混合模型对所述第一手部视频图像进行背景减除，从所述第一手部视频图像中提取前景得到第一图像；采用所述肤色模型对所述第一图像进行过滤，得到第二图像；对所述第二图像进行形态学处理，得到第三图像；对所述第三图像进行二值化处理，得到第一预处理图像。

本发明一个可选的实施例中，所述手势判断子模块6044包括：

第一判断单元60442，用于对所述第一预处理图像进行轮廓检测，确定所述第一预处理图像中的手部轮廓；对所述手部轮廓进行凸包检测，确定凸出手指的个数和各凸出手指的指尖位置信息；若所述凸出手指的个数与书写手势对应凸出手指的设定个数匹配，则确定所述第一手部视频图像中手部的手势是书写手势。

本发明一个可选的实施例中，所述手势判断子模块6044包括：

第二判断单元60444，用于将所述第一预处理图像输入至静态手势识别模型中，得到各手势的概率分值，其中，所述手势至少包括：开始书写手势、书写手势、选取手势、删除手势和其他手势；若书写手势的概率分值最高，则确定所述第一手部视频图像中手部的手势是书写手势。

本发明一个可选的实施例中，所述位置获取子模块6046，用于将凸出手指的指尖位置信息确定为书写手指的指尖位置信息。

本发明一个可选的实施例中，所述的装置还包括：

书写状态开始确定模块608，用于从所述摄像头采集的视频图像中获取第二手部视频图像；判断所述第二手部视频图像中手部对应的手势是否为开始书写手势；若所述第二手部视频图像中手部对应的手势为开始书写手势，则进入书写状态。

本发明一个可选的实施例中，所述的装置还包括：

书写状态结束确定模块610，用于若所述第一手部视频图像中手部的手势是选取手势，则确定书写状态结束。

本发明一个可选的实施例中，所述候选信息包括多个候选项，所述的装置还包括：

轮询模块612，用于周期性轮询当前页面的各个候选项，并从所述摄像头采集的视频图像中获取第三手部视频图像；

上屏模块614，用于当检测到所述第三手部视频图像中手部的手势为开始书写手势时，上屏对应轮询到的候选项并再次进入书写状态。

本发明一个可选的实施例中，所述的装置还包括：

第一删除模块616，用于若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后未获取书写手指的指尖位置信息，则删除最后上屏的候选项。

本发明一个可选的实施例中，所述的装置还包括：

第二删除模块618，用于若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后已获取书写手指的指尖位置信息，则清除显示屏上显示的书写轨迹。

本发明一个可选的实施例中，所述识别模块606，用于将所述指尖位置信息输入至手写引擎中，以使手写引擎依据所述指尖位置信息对书写轨迹进行识别，得到候选信息并返回；接收所述手写引擎返回的候选信息。

本发明实施例中，在确定进入书写状态时，可以从摄像头采集视频图像中获取第一手部视频图像，然后对所述第一手部视频图像进行图像处理，获取书写手指的指尖位置信息并依据所述指尖位置信息在显示屏上显示书写轨迹，待书写状态结束后，依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息并展示；进而通过图像处理确定的指尖位置信息实现书写轨迹的识别，而无需采用深度信息进行识别，能够提高识别效率。此外，由于本发明实施例无需采用深度信息进行识别，因此也无需采用深度摄像头采集视频图像，从而降低了隔空手写的识别成本。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

图8是根据一示例性实施例示出的一种用于识别的电子设备800的结构框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图8，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电力组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信部件814经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件814还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种识别方法，所述方法包括：进入书写状态，从摄像头采集的视频图像中获取第一手部视频图像；对所述第一手部视频图像进行图像处理，获取书写手指的指尖位置信息并依据所述指尖位置信息在显示屏上显示书写轨迹；待书写状态结束后，依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息并展示。

可选地，所述从摄像头采集的视频图像中获取第一手部视频图像，包括：获取摄像头采集的视频图像，提取所述视频图像中手写区域的图像作为第一手部视频图像。

可选地，对所述第一手部视频图像进行图像处理，包括：对第一手部视频图像进行预处理，得到第一预处理图像；依据所述第一预处理图像，判断所述第一手部视频图像中手部的手势是否为书写手势；若所述第一手部视频图像中手部的手势为书写手势，则执行获取书写手指的指尖位置信息的步骤。

可选地，所述对第一手部视频图像进行预处理，得到第一预处理图像，包括：采用高斯混合模型对所述第一手部视频图像进行背景减除，从所述第一手部视频图像中提取前景得到第一图像；采用所述肤色模型对所述第一图像进行过滤，得到第二图像；对所述第二图像进行形态学处理，得到第三图像；对所述第三图像进行二值化处理，得到第一预处理图像。

可选地，所述依据所述第一预处理图像，判断所述第一手部视频图像中手部的手势是否为书写手势，包括：对所述第一预处理图像进行轮廓检测，确定所述第一预处理图像中的手部轮廓；对所述手部轮廓进行凸包检测，确定凸出手指的个数和各凸出手指的指尖位置信息；若所述凸出手指的个数与书写手势对应凸出手指的设定个数匹配，则确定所述第一手部视频图像中手部的手势是书写手势。

可选地，所述依据所述第一预处理图像，判断所述第一手部视频图像中手部的手势是否为书写手势，包括：将所述第一预处理图像输入至静态手势识别模型中，得到各手势的概率分值，其中，所述手势至少包括：开始书写手势、书写手势、选取手势、删除手势和其他手势；若书写手势的概率分值最高，则确定所述第一手部视频图像中手部的手势是书写手势。

可选地，所述获取书写手指的指尖位置信息，包括：将凸出手指的指尖位置信息确定为书写手指的指尖位置信息。

可选地，所述的方法还包括：从所述摄像头采集的视频图像中获取第二手部视频图像；判断所述第二手部视频图像中手部的手势是否为开始书写手势；若所述第二手部视频图像中手部的手势为开始书写手势，则进入书写状态。

可选地，所述的方法还包括：若所述第一手部视频图像中手部的手势是选取手势，则确定书写状态结束。

可选地，所述候选信息包括多个候选项，在所述展示的步骤之后，所述的方法还包括：周期性轮询当前页面的各个候选项，并从所述摄像头采集的视频图像中获取第三手部视频图像；当检测到所述第三手部视频图像中手部的手势为开始书写手势时，上屏对应轮询到的候选项并再次进入书写状态。

可选地，所述的方法还包括：若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后未获取书写手指的指尖位置信息，则删除最后上屏的候选项。

可选地，所述的方法还包括：若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后已获取书写手指的指尖位置信息，则清除显示屏上显示的书写轨迹。

可选地，所述依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息，包括：将所述指尖位置信息输入至手写引擎中，以使手写引擎依据所述指尖位置信息对书写轨迹进行识别，得到候选信息并返回；接收所述手写引擎返回的候选信息。

图9是本发明根据另一示例性实施例示出的一种用于识别的电子设备900的结构示意图。该电子设备900可以是服务器，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessingunits，cpu)922(例如，一个或一个以上处理器)和存储器932，一个或一个以上存储应用程序942或数据944的存储介质930(例如一个或一个以上海量存储设备)。其中，存储器932和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器922可以设置为与存储介质930通信，在服务器上执行存储介质930中的一系列指令操作。

服务器还可以包括一个或一个以上电源926，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口958，一个或一个以上键盘956，和/或，一个或一个以上操作系统941，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm等等。

一种电子设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：进入书写状态，从摄像头采集的视频图像中获取第一手部视频图像；对所述第一手部视频图像进行图像处理，获取书写手指的指尖位置信息并依据所述指尖位置信息在显示屏上显示书写轨迹；待书写状态结束后，依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息并展示。

可选地，所述从摄像头采集的视频图像中获取第一手部视频图像，包括：获取摄像头采集的视频图像，提取所述视频图像中手写区域的图像作为第一手部视频图像。

可选地，所述对所述第一手部视频图像进行图像处理，包括：对第一手部视频图像进行预处理，得到第一预处理图像；依据所述第一预处理图像，判断所述第一手部视频图像中手部的手势是否为书写手势；若所述第一手部视频图像中手部的手势为书写手势，则执行获取书写手指的指尖位置信息的步骤。

可选地，所述对第一手部视频图像进行预处理，得到第一预处理图像，包括：采用高斯混合模型对所述第一手部视频图像进行背景减除，从所述第一手部视频图像中提取前景得到第一图像；采用所述肤色模型对所述第一图像进行过滤，得到第二图像；对所述第二图像进行形态学处理，得到第三图像；对所述第三图像进行二值化处理，得到第一预处理图像。

可选地，所述依据所述第一预处理图像，判断所述第一手部视频图像中手部的手势是否为书写手势，包括：对所述第一预处理图像进行轮廓检测，确定所述第一预处理图像中的手部轮廓；对所述手部轮廓进行凸包检测，确定凸出手指的个数和各凸出手指的指尖位置信息；若所述凸出手指的个数与书写手势对应凸出手指的设定个数匹配，则确定所述第一手部视频图像中手部的手势是书写手势。

可选地，所述依据所述第一预处理图像，判断所述第一手部视频图像中手部的手势是否为书写手势，包括：将所述第一预处理图像输入至静态手势识别模型中，得到各手势的概率分值，其中，所述手势至少包括：开始书写手势、书写手势、选取手势、删除手势和其他手势；若书写手势的概率分值最高，则确定所述第一手部视频图像中手部的手势是书写手势。

可选地，所述获取书写手指的指尖位置信息，包括：将凸出手指的指尖位置信息确定为书写手指的指尖位置信息。

可选地，还包含用于进行以下操作的指令：从所述摄像头采集的视频图像中获取第二手部视频图像；判断所述第二手部视频图像中手部的手势是否为开始书写手势；若所述第二手部视频图像中手部的手势为开始书写手势，则进入书写状态。

可选地，还包含用于进行以下操作的指令：若所述第一手部视频图像中手部的手势是选取手势，则确定书写状态结束。

可选地，所述候选信息包括多个候选项，在所述展示的步骤之后，还包含用于进行以下操作的指令：周期性轮询当前页面的各个候选项，并从所述摄像头采集的视频图像中获取第三手部视频图像；当检测到所述第三手部视频图像中手部的手势为开始书写手势时，上屏对应轮询到的候选项并再次进入书写状态。

可选地，还包含用于进行以下操作的指令：若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后未获取书写手指的指尖位置信息，则删除最后上屏的候选项。

可选地，还包含用于进行以下操作的指令：若所述第一手部视频图像中的手势为删除手势，且在进入书写状态后已获取书写手指的指尖位置信息，则清除显示屏上显示的书写轨迹。

可选地，所述依据所述指尖位置信息对书写轨迹进行识别，得到对应的候选信息，包括：将所述指尖位置信息输入至手写引擎中，以使手写引擎依据所述指尖位置信息对书写轨迹进行识别，得到候选信息并返回；接收所述手写引擎返回的候选信息。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种识别方法、一种识别装置和一种电子设备，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。