一种用于确定智能设备的人机交互信息的方法与设备与流程

本申请涉及通信领域，尤其涉及一种用于确定智能设备的人机交互信息的技术。

背景技术：

当前智能设备(例如，智能眼镜或头戴式显示设备)中，现有的主流输入方式主要有语音识别、手势识别、头部转动跟踪、触摸板和外接键盘等。与其它输入方式相比较，键盘无疑是最可靠的输入方式，然而，智能眼镜或是其它头戴式显示设备的优点之一是方便移动，如果外接键盘，那么该优点将大打折扣。

技术实现要素：

本申请的一个目的是提供一种用于确定智能设备的人机交互信息的方法与设备。

根据本申请的一个方面，提供了一种用于确定智能设备的人机交互信息的方法，该方法包括：

获取人机交互过程中关于用户手指的手指运动信息；

基于对应的虚拟键盘与所述用户手指的映射关系，及所述手指运动信息确定对应的人机交互信息，其中，所述人机交互信息包括所述用户手指中运动手指的虚拟按键信息。

根据本申请的一个方面，提供了一种用于确定智能设备的人机交互信息的设备，该设备包括：

第一一模块，用于获取人机交互过程中关于用户手指的手指运动信息；

第一二模块，用于基于对应的虚拟键盘与所述用户手指的映射关系，及所述手指运动信息确定对应的人机交互信息，其中，所述人机交互信息包括所述用户手指中运动手指的虚拟按键信息。

根据本发明的一个方面，提供了一种用于确定智能设备的人机交互信息的设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：

获取人机交互过程中关于用户手指的手指运动信息；

基于对应的虚拟键盘与所述用户手指的映射关系，及所述手指运动信息确定对应的人机交互信息，其中，所述人机交互信息包括所述用户手指中运动手指的虚拟按键信息。

根据本发明的一个方面，提供了存储指令的计算机可读介质，所述指令在被执行时使得系统进行：

获取人机交互过程中关于用户手指的手指运动信息；

基于对应的虚拟键盘与所述用户手指的映射关系，及所述手指运动信息确定对应的人机交互信息，其中，所述人机交互信息包括所述用户手指中运动手指的虚拟按键信息。

与现有技术相比，本申请中智能设备获取用户手指的手指运动信息后，基于用户手指与虚拟键盘的映射关系确定对应的人机交互信息，在本申请中，用户在通过输入装置获取人机交互信息时不需要将手放在特定位置，这种方式不受外界环境变化影响，不仅输入速度快，准确率高，而且用户可以得到与敲打实际键盘一样的友好体验。同时，通过在虚拟键盘输入获取人机交互信息时，用户可以实时清楚的看到自己手指变化以及虚拟键盘中对应的输入内容，当用户通过可视化的虚拟键盘和虚拟手指发现选择错误时，可以调整自己实际的手势，从而提高输入准确性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请的一个系统拓扑图；

图2示出根据本申请一个实施例的一种用于确定智能设备的人机交互信息的方法流程图；

图3示出根据本申请一个实施例的一种用于确定智能设备的人机交互信息的设备示意图；

图4示出可被用于实施本发明中所述各个实施例的示例性系统。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(centralprocessingunit，cpu))、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(randomaccessmemory，ram)和/或非易失性内存等形式，如只读存储器(readonlymemory，rom)或闪存(flashmemory)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(phase-changememory，pcm)、可编程随机存取存储器(programmablerandomaccessmemory，pram)、静态随机存取存储器(staticrandom-accessmemory，sram)、动态随机存取存储器(dynamicrandomaccessmemory，dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(electrically-erasableprogrammableread-onlymemory，eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(compactdiscread-onlymemory，cd-rom)、数字多功能光盘(digitalversatiledisc,dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、ios操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(applicationspecificintegratedcircuit，asic)、可编程逻辑器件(programmablelogicdevice，pld)、现场可编程门阵列(fieldprogrammablegatearray，fpga)、数字信号处理器(digitalsignalprocessor，dsp)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(cloudcomputing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、vpn网络、无线自组织网络(adhoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。

当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。

图1示出了本申请的一个典型场景，用户佩戴着手指运动检测设备，例如，该设备通过传感器(例如，陀螺仪、加速度计等)获取用户手指的传感信息并传输至智能设备，其中，智能设备包括但不限于ar设备、vr设备、智能手机以及平板电脑等具有显示屏幕的计算设备。智能设备接收用户手指的传感信息，并基于与手指运动检测设备对应的算法获取手指运动信息(例如，手指向前、后、左、右的移动或者摆动信息，手指的弯曲、抬起信息)。图1(a)中用户佩戴智能设备(例如，智能ar/vr眼镜)后，基于用户特定操作(例如，十指张开，语音，其它触发指令等)，智能设备在选取的位置投射虚拟键盘，可选地，同时，在虚拟键盘的特定位置投射与用户十指对应的虚拟手掌。又例如，用户佩戴智能设备(例如，智能ar/vr眼镜)后，智能设备在选取的位置投射虚拟键盘，基于用户手指的特定操作，智能设备在虚拟键盘的特定位置投射与用户十指对应的虚拟手指。图1(b)中显示每个手指对应的键盘按键区域。智能设备基于虚拟键盘与所述用户手指的映射关系，及所述手指运动信息确定对应的用户手指对应虚拟键盘的按键信息(例如，“n键”、“h键”)，并输出对应的人机交互信息(例如，“你好”)。

参考图1所示的系统，为进一步说明本申请实施例的方案，下面结合图2，从智能设备的角度进行举例介绍。

图2示出根据本申请一个实施例的一种用于确定智能设备的人机交互信息的方法，所述方法包括步骤s11和步骤s12。在步骤s11中，智能设备获取人机交互过程中关于用户手指的手指运动信息；在步骤s12中，智能设备基于对应的虚拟键盘与所述用户手指的映射关系，及所述手指运动信息确定对应的人机交互信息，其中，所述人机交互信息包括所述用户手指中运动手指的虚拟按键信息。

具体地，在步骤s11中，智能设备获取人机交互过程中关于用户手指的手指运动信息。其中，手指运动信息包括但不限于手指抬起、弯曲以及手指移动(例如，前后左右进行移动)信息。例如，在用户与智能设备进行互动的过程中，用户的手指通过佩戴手指运动检测设备获取手指运动的传感信息，其中，手指运动检测设备包括但不限于运动手环、运动指环以及运动手套、运动臂环，例如，手指运动检测设备中的生物电流传感器、运动传感器以及姿态传感器等获取手指运动的传感信息并转换成电信号通过通信连接传递给智能设备，其中，通信连接包括有线(例如，数据线)或者无线连接(例如，wifi、蓝牙、nfc等)。智能设备接收用户手指的传感信息，并基于与手指运动检测设备对应的算法获取手指运动信息。或者，用户的手指通过佩戴手指运动检测设备获取手指运动的传感信息，并根据运动检测设备内嵌的算法获取手指运动信息，并将所述手指运动信息传递给智能设备。

在步骤s12中，智能设备基于对应的虚拟键盘与所述用户手指的映射关系，及所述手指运动信息确定对应的人机交互信息，其中，所述人机交互信息包括所述用户手指中运动手指的虚拟按键信息。其中，虚拟按键信息包括用户手指进行的按键确认信息及该按键动作对应的键位信息。例如，用户佩戴智能设备(例如，智能ar/vr眼镜)后，智能设备在选取的位置投射虚拟键盘，基于用户手指的特定操作(例如，十指张开)，智能设备在虚拟键盘的特定位置投射与用户十指对应的虚拟手指(例如，该虚拟手指摆放在虚拟键盘上的位置与绝大多数用户进行键盘输入时手指摆放位置一致，或者，用户可自定义该虚拟手指的摆放位置)，其中，用户的手指指尖部分对应着虚拟手指指尖在虚拟键盘中的位置。在一些实施例中，用户的手指对应的虚拟手指在虚拟键盘中对应键盘中预设区域的预设虚拟按键(例如，左手食指对应着r、t、f、g、v、b这几个虚拟按键)，基于用户手指的手指运动信息，该手指运动信息对应于在虚拟键盘上的虚拟手指的运动信息，智能设备候选虚拟键盘中与该虚拟手指对应的一个或者多个虚拟按键，并基于该一个或者多个虚拟按键信息生成对应的人机交互信息。

在这种输入方式下，用户进行输入摆脱了繁杂的键盘实体设备，同时仍具有键盘输入的准确性的优势，增加了用户输入的友好体验。

例如，用户佩戴手指运动检测设备，该检测设备通过一个或者多个微型传感器获取用户手指运动的传感信息，其中，每一个微型传感器均由一个三轴mems陀螺仪、三轴mems加速度计和三轴磁传感器组成，且内嵌了多传感器融合算法用于测量每个关节的姿态变化，进而实现手指运动信息的解算。该检测设备将解算出的手指运动信息发送至智能ar设备(例如，智能ar眼镜)。用户穿戴该智能ar眼镜，通过ar眼镜可看见投射于特定位置的虚拟键盘，根据预设的特定动作(例如，用户十指张开)，智能ar设备在虚拟键盘上投射摆放虚拟手掌。在初始状态时，该虚拟手掌中的各虚拟手指指尖在虚拟键盘的初始位置，对应着用户的实际手指指尖在虚拟键盘的初始位置。根据手指的运动信息，智能ar设备实时接收该手指的运动信息并更新在虚拟键盘上的虚拟手指的运动情况，例如，检测设备检测到用户右手中指的运动，对应着虚拟手掌中右手中指的运动，智能ar设备候选虚拟键盘上的“i”、“k”、“，”虚拟按键。

在一些实施例中，所述方法还包括步骤s13(未示出)，在步骤s13中，智能设备基于用户的设置，建立或更新所述虚拟键盘与所述用户手指的映射关系。例如，基于用户的键盘输入习惯，智能设备接收用户对虚拟手掌中虚拟手指的摆放位置的自定义设置，并依此建立或更新所述虚拟键盘与所述用户手指的映射关系，又例如，基于用户的键盘输入习惯，智能设备接收用户对虚拟手掌中虚拟手指在虚拟键盘中对应的键盘中预设区域的预设虚拟按键的自定义设置，并依此建立或更新所述虚拟键盘与所述用户手指的映射关系，增加了人机交互的互动性，给与了用户更好的使用体验。

在一些实施例中，所述方法还包括步骤s14(未示出)，在步骤s14中，智能设备呈现所述虚拟键盘。例如，所述智能设备包括投影装置，智能设备预设虚拟键盘，并将该虚拟键盘通过投影仪投射到特定或者用户选定的位置，例如，智能眼镜将虚拟键盘显示在光学显示屏幕中的预设位置。基于用户的操作，投影装置可以将虚拟键盘投影在用户选择的任意位置，使得用户进行输入更具有灵活性，增加了用户输入的友好体验。

在一些实施例中，所述方法还包括步骤s15(未示出)，在步骤s15中，智能设备基于所述虚拟键盘与所述用户手指的映射关系在所述虚拟键盘对应位置呈现虚拟手指。例如，基于预设的虚拟键盘与虚拟手指的映射关系，其中，虚拟手指对应着用户的手指，智能设备通过投影装置在虚拟键盘对应位置投影呈现虚拟手指，或者，基于用户自定义的虚拟键盘与虚拟手指的映射关系，其中，虚拟手指对应着用户的手指。

在一些实施例中，虚拟键盘中出现虚拟手掌后，用户手指的预设动作(例如，任一手指运动)触发虚拟手指的变化。这种情况下，智能设备通过手指运动检测设备检测真实手掌的上下左右移动，虚拟手掌随之移动，通过用户真实手指的向下弯曲点击动作，对应的虚拟手指也会呈现向下弯曲。

智能设备在虚拟键盘对应位置呈现虚拟手指，增加了人机交互的互动性，给与了用户更好的使用体验。

在一些实施例中，所述方法还包括步骤s16(未示出)，在步骤s16中，智能设备基于所述手指运动信息，实时调整所述虚拟手指在所述虚拟键盘中的位置。例如，在用户与智能设备进行互动的过程中，用户的手指通过佩戴手指运动检测设备获取手指运动的传感信息，手指运动检测设备中的生物电流传感器、运动传感器以及姿态传感器等获取手指运动的传感信息并转换成电信号通过通信连接传递给智能设备。智能设备接收用户手指的传感信息，并基于与手指运动检测设备对应的算法获取手指运动信息。或者，用户的手指通过佩戴手指运动检测设备获取手指运动的传感信息，并根据运动检测设备内嵌的算法获取手指运动信息。智能设备基于该手指运动信息(例如，前后左右的移动等)，调整位于虚拟键盘上的与用户的手指对应的虚拟手指的位置(例如，在虚拟键盘上相对于初始位置的前后左右移动)。在这种情况下实时呈现虚拟手指的位置，给予用户直观的输入体验。

例如，智能设备获取手指运动检测设备(例如，手势识别手套)发送的用户手指的运动传感信息，并通过与该检测设备对应的算法分析出用户手指的运动信息(例如，用户右手的中指往上侧移动)，对应着用户手指的虚拟手指，调整为从相对于初始位置“k键”到“i键”的位移。

在一些实施例中，所述方法还包括步骤s17(未示出)，在步骤s17中，智能设备基于所述用户手指中运动手指的虚拟按键信息，调整并呈现所述虚拟手指。例如，检测设备检测到用户某根手指的运动传感信息，并发送至智能设备。智能设备根据该运动传感信息确认对应的手指运动信息，并根据该手指运动信息中用户的手指相对于初始手指摆放位置的相对运动信息确定对应的虚拟按键信息，智能设备获取该虚拟按键信息并将对应用户手指的虚拟手指的运动后的摆放状态呈现在虚拟键盘上。

例如，智能设备获取手指运动检测设备(例如，手势识别手套)发送的用户手指的运动传感信息，并通过与该检测设备对应的算法分析出用户手指的运动信息(例如，用户左手的食指相对于初始位置往右侧移动并向下按压)，对应着用户手指的虚拟手指在虚拟键盘中最后呈现于“b键”上。

在一些实施例中，所述方法还包括步骤s18(未示出)，在步骤s18中，智能设备基于所述用户手指中运动手指的虚拟按键信息，在所述虚拟键盘中突出显示所述运动手指对应的按键区域。例如，检测设备检测到用户某根手指的运动传感信息，并发送至智能设备。智能设备根据该运动传感信息确认对应的手指运动信息(例如，用户的手指进行虚拟按键的动作)，智能设备在虚拟键盘中突出对应着用户某根手指的虚拟手指对应的按键区域，其中按键区域可以是虚拟手指对应的整个按键区域，也可以是虚拟手指按键动作对应的单个按键，还可以是虚拟手指按键动作对应的单个按键以及该按键周边的按键。例如，可以通过高亮按键区域内的虚拟键盘中的按键来进行突出显示。在这种情况下实时呈现按键区域的位置，给与用户直观的视觉呈现，辅助用户确认本次按键操作对应的按键键位是否正确等。

例如，智能设备获取手指运动检测设备(例如，手势识别手套)发送的用户手指的运动传感信息，并通过与该检测设备对应的算法分析出用户手指的运动信息(例如，用户右手的中指往下按压)，对应着用户右手的中指的虚拟手指，智能设备调整虚拟手指的按压动作(例如，按压“k键”)，同时高亮突出显示对应的按键区域(例如，“k键”，或者“i”、“k”、“，”虚拟按键)。

在一些实施例中，所述方法还包括步骤s19(未示出)，在步骤s19中，智能设备基于所述手指运动信息，在所述虚拟键盘中突出显示对应的按键区域。例如，检测设备检测到用户某根手指的运动传感信息，并发送至智能设备。智能设备根据该运动传感信息确认对应的手指运动信息(例如，该手指的前后左右移动等)，智能设备在虚拟键盘中突出对应着用户某根运动手指的虚拟手指对应的按键区域，例如，可以通过高亮按键区域内的虚拟键盘中的按键来进行突出显示。在这种情况下实时呈现按键区域的位置，给与用户直观的视觉呈现。

例如，智能设备获取手指运动检测设备(例如，手势识别手套)发送的用户手指的运动传感信息，并通过与该检测设备对应的算法分析出用户手指的运动信息(例如，用户右手的中指往上移动)，对应着用户右手的中指的虚拟手指，随后智能设备高亮突出虚拟键盘中的虚拟按键区域(例如，“i键”、“k键”、“，键”组成的区域)，其中，该虚拟按键区域中的按键与用户右手的中指的虚拟手指距离小于预设距离阈值。

在一些实施例中，在步骤s11中，智能设备接收人机交互过程中处于使用状态下的手指运动检测设备采集的关于用户手指的传感数据信息；根据所述传感数据信息确定所述用户手指的手指运动信息。其中，传感数据信息包括但不限于手指运动检测设备检测的加速度数据以及手指的运动角度、姿态数据。例如，在用户与智能设备进行互动的过程中，用户的手指通过佩戴手指运动检测设备获取手指运动的传感信息，其中，手指运动检测设备包括但不限于运动手环、运动指环以及运动手套、运动臂环，例如，手指运动检测设备中的生物电流传感器、运动传感器以及姿态传感器等获取手指运动的传感信息并转换成电信号通过通信连接传递给智能设备，其中，通信连接包括有线(例如，数据线)或者无线连接(例如，wifi、蓝牙、nfc等)。智能设备接收用户手指的传感信息，并基于与手指运动检测设备对应的算法获取手指运动信息。在智能设备端获取手指运动信息有利于减轻检测设备的复杂度，同时获取过程更有效率。

例如，用户佩戴手指运动检测设备(例如，手势识别手套，cn106445130a)，该检测设备通过一个或者多个微型传感器获取用户手指运动的传感信息，其中，每一个微型传感器均由一个三轴mems陀螺仪、三轴mems加速度计和三轴磁传感器组成，手指运动检测设备将获取的用户手指运动的传感信息发送至智能ar设备(例如，智能ar眼镜)，智能ar设备通过将用户手指运动的传感信息在本地或者上传到云端，基于多传感器融合算法测量每个手指关节的姿态变化，进而实现手指运动信息的解算。

在一些实施例中，在步骤s11中，智能设备接收人机交互过程中处于使用状态下的手指运动检测设备采集的关于用户手指的手指运动信息。例如，在用户与智能设备进行互动的过程中，用户的手指通过佩戴手指运动检测设备获取手指运动的传感信息，其中，手指运动检测设备包括但不限于运动手环、运动指环以及运动手套、运动臂环，例如，手指运动检测设备中的生物电流传感器、运动传感器以及姿态传感器等获取手指运动的传感信息，并根据内嵌的对应检测设备的算法获取手指运动信息。在这种情况下，智能设备无需进行多余的操作，节省了运算时间，提高了效率。

例如，用户佩戴手指运动检测设备(例如，手势识别手套，cn106445130a)，该检测设备通过一个或者多个微型传感器获取用户手指运动的传感信息，其中，每一个微型传感器均由一个三轴mems陀螺仪、三轴mems加速度计和三轴磁传感器组成，且内嵌了多传感器融合算法用于测量每个关节的姿态变化，进而实现手指运动信息的解算。该检测设备将解算出的手指运动信息发送至智能ar设备(例如，智能ar眼镜)。

在一些实施例中，所述手指运动检测设备包括以下至少一项：运动检测手环；运动检测手套；运动检测指环；运动检测臂环。例如，所述手指运动检测设备包括运动检测手环，当用户的手指做某种手势时，相应的肌肉会产生微弱的生物电流。通过检测肌肉电流的变化，配合运动传感器检测的加速度数据和角度数据，经过实时数字信号算法处理，可以检测出手臂、手指、手掌、手腕的运动。一种可行的方案是佩戴和紧贴在手腕处的弹性手环，也可直接集成到例如智能手表等佩戴在手臂上的设备中，通过紧贴皮肤处安置的传感器监测环下皮肤处的一路或者多路表皮肌肉电流，经过实时数据运算和处理，模式匹配等算法，提取各个手势的特征参数，配合运动传感器检测到的在三维空间上的运动，实现相应的手势动作识别。例如，所述手指运动检测设备包括运动检测手套，在该运动检测手套中，在手套每个关节两端的手指部位均安装一个微型传感器，均由一个三轴mems陀螺仪、三轴mems加速度计、三轴磁传感器和传感微处理器组成，三轴陀螺仪用于测量手部运动的角速度，三轴加速度计用于测量手部运动的加速度，三轴磁传感器用于测量手部运动时不同方位下的地磁场大小，传感微处理器用于融合多传感器测量的数据，得到手部各关节运动的姿态并输出姿态四元数，进而实现手势姿态的解算。例如，所述手指运动检测设备包括运动检测指环，该运动检测指环利用加速度传感器实时检测手指关节运动，以获得手指运动姿态信息，然后获得手指关节运动的瞬时角度变化。或者，在指环内环整合一系列的压力传感器，当感应到用户指尖的压力不同时输出相关的信号，然后获得手指关节运动的瞬时角变化。例如，所述手指运动检测设备包括运动检测臂环，该运动检测臂环包括可佩戴在手腕处的手环或前臂处的臂环；通过紧贴皮肤位置的一路或者多路肌肉表皮电流传感器，提取手臂肌肉运动时产生的生物电流，并经放大器电路，滤波电路，模拟数字转换电路，实时数字信号算法处理进行手势的特征参数提取，实现手势识别。

在一些实施例中，步骤s12包括步骤s121(未示出)和步骤s122(未示出)，在步骤s121中，智能设备基于所述手指运动信息确定所述用户手指中运动手指及运动手指的运动向量信息；在步骤s122中，智能设备基于对应的虚拟键盘与所述用户手指的映射关系、所述运动手指及所述运动向量信息确定对应的人机交互信息，其中，所述人机交互信息包括所述用户手指中运动手指的虚拟按键信息。例如，运动手指的运动向量信息包括手指指尖的位移变化的大小及方向等；用户通过手指运动检测设备获取用户手指的运动信息，并根据用户手指的运动信息(例如，用户的某根手指从初始位置到终点摆放位置的运动)获取该运动手指的运动向量信息，基于用户手指的手指运动信息，该手指运动信息对应于在虚拟键盘上的虚拟手指的运动信息(例如，对应的虚拟手指从初始位置到终点摆放位置的运动)，智能设备确认虚拟键盘中与该虚拟手指对应的终点摆放位置的虚拟按键。在这种输入方式下，用户进行输入摆脱了繁杂的键盘实体设备，同时仍具有键盘输入的准确性的优势，增加了用户输入的友好体验。

在一些实施例中，在步骤s121中，智能设备基于所述手指运动信息确定所述用户手指中每个手指的相对运动向量信息；将所述用户手指中各手指相对运动向量的垂直分量中最大的垂直分量对应的用户手指作为对应的运动手指，并将该手指的相对运动向量信息作为所述运动手指的运动向量信息。例如，用户通过手指运动检测设备获取用户手指的运动信息，并根据用户手指的运动信息(例如，用户的每根手指从初始位置到终点摆放位置的运动)获取每根运动的手指的相对运动向量信息，智能设备将多根手指中相对运动向量的垂直分量中最大的垂直分量对应的手指作为运动手指，其中，智能设备选取特定的水平面(例如，以相对于用户手面的垂直方向)用来确定每个手指相对运动向量的垂直分量。根据该运动手指的运动，智能设备获取该运动手指的运动向量信息。

在一些实施例中，在步骤s121中，智能设备基于所述手指运动信息确定所述用户手指中每个手指的相对运动向量信息；若存在手指的相对运动向量信息的垂直分量大于或等于预设按键阈值，将该手指作为对应的运动手指，并将该手指的相对运动向量信息作为所述运动手指的运动向量信息。例如，用户通过手指运动检测设备获取用户手指的运动信息，并根据用户手指的运动信息(例如，用户的每根手指从初始位置到终点摆放位置的运动)获取每根运动的手指的相对运动向量信息。对应每根手指的相对运动向量，智能设备选取特定的水平面(例如，以相对于用户手指指尖拟合的平面的垂直方向)用来确定每个手指相对运动向量的垂直分量，若该垂直分量大于或等于预设按键阈值，智能设备确定该手指为对应的运动手指。根据该运动手指的运动，智能设备获取该运动手指的运动向量信息。

在一些实施例中，步骤s122包括步骤s1221(未示出)和步骤s1222(未示出)，在步骤s1221中，智能设备基于所述虚拟键盘与所述用户手指的映射关系信息、所述运动手指确定对应的虚拟按键区域；在步骤s1222中，智能设备根据所述运动手指的运动向量信息及所述虚拟按键区域确定对应的人机交互信息，其中，所述人机交互信息包括所述用户手指中运动手指的虚拟按键信息。例如，用户佩戴智能设备(例如，智能ar/vr眼镜)后，智能设备在选取的位置投射虚拟键盘，基于用户手指的特定操作(例如，十指张开)，智能设备在虚拟键盘的特定位置投射与用户十指对应的虚拟手指(例如，该虚拟手指摆放在虚拟键盘上的位置与绝大多数用户进行键盘输入时手指摆放位置一致，或者，用户可自定义该虚拟手指的摆放位置)，其中，用户的手指指尖部分对应着虚拟手指指尖在虚拟键盘中的位置。在一些实施例中，用户的手指对应的虚拟手指在虚拟键盘中对应键盘中预设区域的预设虚拟按键(例如，左手食指对应着r、t、f、g、v、b这几个虚拟按键，若左手食指是运动手指，则这几个虚拟按键作为运动手指对应的虚拟按键区域)，基于用户手指的手指运动信息，该手指运动信息对应于在虚拟键盘上的虚拟手指的运动信息(例如，对应的虚拟手指从初始位置到终点摆放位置的运动)，智能设备候选虚拟键盘中与该虚拟手指对应的一个或者多个虚拟按键，其中，该一个或者多个虚拟按键组成虚拟按键区域。并根据该运动手指在虚拟按键区域中的运动向量信息，智能设备确认虚拟键盘中与该虚拟手指对应的终点摆放位置的虚拟按键。

在这种输入方式下，用户进行输入摆脱了繁杂的键盘实体设备，同时仍具有键盘输入的准确性的优势，增加了用户输入的友好体验。

在一些实施例中，在步骤s1222中，智能设备根据所述运动手指的运动向量信息在水平方向的位移及方向，确定所述运动手指在所述虚拟按键区域的虚拟按键信息；基于所述虚拟按键信息确定对应的人机交互信息。在一些实施例中，用户的手指对应的虚拟手指在虚拟键盘中对应键盘中预设区域的预设虚拟按键(例如，左手食指对应着r、t、f、g、v、b这几个虚拟按键，若左手食指是运动手指，则这几个虚拟按键作为运动手指对应的虚拟按键区域)，基于用户手指的手指运动信息，该手指运动信息对应于在虚拟键盘上的虚拟手指的运动信息，智能设备候选虚拟键盘中与该虚拟手指对应的一个或者多个虚拟按键，其中，该一个或者多个虚拟按键组成虚拟按键区域。例如，智能设备根据用户手指的运动信息(例如，用户的某根手指从初始位置到终点摆放位置的运动)获取该运动手指的运动向量信息，其中，该手指运动信息根据选定的平面确定所述运动手指的运动向量信息在垂直方向的位移，以及在水平方向的位移与具体方向(例如，前后左右等)。智能设备根据运动手指确定对应的虚拟按键区域，并根据该运动手指的运动向量中水平方向位移以及方向确定对应的虚拟手指在虚拟键盘中的水平方向的移动，确定该运动手指在虚拟按键区域的虚拟按键信息。基于用户的一个或者多个手指的运动信息确定一个或者多个虚拟按键信息，所述一个或者多个虚拟按键组成了对应的人机交互信息。在这种输入方式下，用户进行输入摆脱了繁杂的键盘实体设备，同时仍具有键盘输入的准确性的优势，增加了用户输入的友好体验。

在一些实施例中，步骤s12包括步骤s123(未示出)和步骤s124(未示出)，在步骤s123中，智能设备基于所述手指运动信息确定所述用户手指中的运动手指、所述运动手指的运动向量信息以及对应的候选虚拟按键区域，其中，所述候选虚拟按键区域与所述运动手指的虚拟按键区域相对应；在步骤s124中，智能设备基于所述候选虚拟按键区域以及所述运动手指的运动向量信息确定对应的人机交互信息，其中，所述人机交互信息包括所述用户手指中运动手指的虚拟按键信息。例如，运动手指的运动向量信息包括手指指尖的位移变化的大小及方向等；用户通过手指运动检测设备获取用户手指的运动信息，并根据用户手指的运动信息(例如，用户的某根手指从初始位置到终点摆放位置的运动)获取对应的运动手指以及该运动手指的运动向量信息，并基于虚拟键盘与用户手指的映射关系，确定对应的候选虚拟按键区域。基于用户手指中的运动手指对应的虚拟手指在候选虚拟按键区域的运动信息(例如，对应的虚拟手指从初始位置到终点摆放位置的运动)，智能设备确认虚拟键盘中与该虚拟手指对应的终点摆放位置的虚拟按键。在这种输入方式下，用户进行输入摆脱了繁杂的键盘实体设备，同时仍具有键盘输入的准确性的优势，增加了用户输入的友好体验。

在一些实施例中，在步骤s123中，智能设备基于所述手指运动信息确定所述用户手指中每个手指的相对运动向量信息；将所述用户手指中各手指相对运动向量大小中最大的相对运动向量对应的用户手指作为对应的运动手指，并将该手指的相对运动向量信息作为所述运动手指的运动向量信息，将所述运动手指的虚拟按键区域作为对应的候选虚拟按键区域。例如，用户通过手指运动检测设备获取用户手指的运动信息，并根据用户手指的运动信息(例如，用户的每根手指从初始位置到终点摆放位置的运动)获取每根运动的手指的相对运动向量信息，智能设备将多根手指的相对运动向量中最大的相对运动向量对应的用户手指作为运动手指，并将该手指的相对运动向量信息作为所述运动手指的运动向量信息，智能设备将该运动手指的虚拟按键区域作为对应的候选虚拟按键区域。

在一些实施例中，在步骤s123中，智能设备基于所述手指运动信息确定所述用户手指中每个手指的相对运动向量信息；将所述用户手指中各手指相对运动向量大小大于或者等于预设移动阈值的相对运动向量对应的用户手指作为对应的运动手指，并将该手指的相对运动向量信息作为所述运动手指的运动向量信息，将所述运动手指的虚拟按键区域作为对应的候选按键区域。例如，用户通过手指运动检测设备获取用户手指的运动信息，并根据用户手指的运动信息(例如，用户的每根手指从初始位置到终点摆放位置的运动)获取每根运动的手指的相对运动向量信息，智能设备将多根手指中各手指相对运动向量大小大于或者等于预设移动阈值的相对运动向量对应的用户手指作为对应的运动手指，并将该手指的相对运动向量信息作为所述运动手指的运动向量信息，智能设备将该运动手指的虚拟按键区域作为对应的候选虚拟按键区域。

在一些实施例中，在步骤s124中，智能设备根据所述相对运动向量信息在水平方向的位移及方向，从所述候选按键区域中确定所述运动手指的候选虚拟按键信息；若所述相对运动向量信息的垂直分量大于或等于预设按键阈值，基于所述候选虚拟按键信息确定对应的人机交互信息，其中，所述人机交互信息包括所述用户手指中运动手指的虚拟按键信息。在一些实施例中，用户的手指对应的虚拟手指在虚拟键盘中对应键盘中预设区域的预设虚拟按键(例如，左手食指对应着r、t、f、g、v、b这几个虚拟按键，若左手食指是运动手指，则这几个虚拟按键作为候选虚拟按键区域)，基于用户手指的手指运动信息确定的运动手指的相对运动向量信息，智能设备根据所述相对运动向量信息在水平方向的位移及方向(例如，前后左右等)，从所述候选按键区域中确定所述运动手指的候选虚拟按键信息(例如，候选v虚拟按键)。若对应着候选虚拟按键的运动手指的相对运动向量信息的垂直分量大于或等于预设按键阈值，智能设备确定对应运动手指的虚拟按键信息(例如，确定v虚拟按键)。基于用户的一个或者多个手指的运动信息确定一个或者多个虚拟按键信息，所述一个或者多个虚拟按键组成了对应的人机交互信息。在这种输入方式下，用户进行输入摆脱了繁杂的键盘实体设备，同时仍具有键盘输入的准确性的优势，增加了用户输入的友好体验。

在一些实施例中，所述方法还包括步骤s20(未示出)，在步骤s20中，智能设备基于所述人机交互信息前后的其他虚拟按键信息，对所述虚拟按键信息进行模糊匹配，调整所述虚拟按键信息。例如，智能设备根据用户手指的运动信息，确定对应的虚拟手指在虚拟键盘中的虚拟按键信息，并根据人机交互信息前后的其他虚拟按键信息，例如，根据前后一个或者多个运动手指的运动信息生成的虚拟按键信息，智能设备对所述虚拟按键信息进行模糊匹配，并根据匹配结果更新所述虚拟按键信息。

在一些实施例中，当智能设备根据手指运动检测设备检测到用户手指的手指运动信息时，其中，所述手指运动信息包括用户手指向下按压或向上抬起或其它区分性输入的动作。对应于在虚拟键盘中的虚拟手指，将虚拟手指选中的某个键作为最优输入值，该键周围的几个键作为次优输入值，利用用户选择的语言(包括不限于英文词库、中文词库、日语词库)，智能设备对输入的前后文进行模糊匹配和自动纠错识别。由于是模糊识别，因此对现有的键盘构造进行了优化修改，在一些实施例中，去除了会影响模糊识别的特殊字符和数字键，由于采用模糊识别和纠错操作后会产生多个识别结果，此时用户根据预设动作(例如，包括但不限于利用右手的大拇指向手掌方向滑动的操作)来进行备选词的滑动选择，然后根据预设动作(包括但不限于大拇指向下按压、向上抬起等具有区分性的动作)确定输入。相应地，若用户想进行虚拟按键的删除，用户可根据预设动作(例如，左手大拇指向手掌方向滑动等操作)来进行已经输入的虚拟按键的删除。进一步的，当需要输入数字或特殊字符时，采用单手输入。用户左手握拳右手十指展开切换为数字键盘，右手握拳左手十指展开切换为特殊字符输入，双手都十指展开切换为字母键盘，双手都握拳结束此次输入。当下一次在需要输入的时候屏幕弹出虚拟键盘，双手或单手展开触发虚拟手出现，即可开始输入，当然，本领域技术人员应能理解响应动作仅为举例，其他现有的或今后可能出现的响应动作如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。采用本申请中的方法，可以通过手势识别快速的模拟出键盘硬件设备才能完成的交互信息，只需要按照预定的手势规则，就可以通过图像化界面看到键盘中对应的输入内容，操作方便，快捷，交互方式友好。

上文主要从设备的角度对本申请实施例提供的方法进行了举例介绍，相对应的，本申请还提供了能够执行上述各方法对应的设备，下面结合图2进行介绍。

图3示出根据本申请一个实施例的一种用于确定智能设备的人机交互信息的智能设备所述设备包括第一一模块11和第一二模块12。第一一模块11，用于获取人机交互过程中关于用户手指的手指运动信息；第一二模块12，用于基于对应的虚拟键盘与所述用户手指的映射关系，及所述手指运动信息确定对应的人机交互信息，其中，所述人机交互信息包括所述用户手指中运动手指的虚拟按键信息。

具体地，第一一模块11，用于获取人机交互过程中关于用户手指的手指运动信息。其中，手指运动信息包括但不限于手指抬起、弯曲以及手指移动(例如，前后左右进行移动)信息。例如，在用户与智能设备进行互动的过程中，用户的手指通过佩戴手指运动检测设备获取手指运动的传感信息，其中，手指运动检测设备包括但不限于运动手环、运动指环以及运动手套、运动臂环，例如，手指运动检测设备中的生物电流传感器、运动传感器以及姿态传感器等获取手指运动的传感信息并转换成电信号通过通信连接传递给智能设备，其中，通信连接包括有线(例如，数据线)或者无线连接(例如，wifi、蓝牙、nfc等)。智能设备接收用户手指的传感信息，并基于与手指运动检测设备对应的算法获取手指运动信息。或者，用户的手指通过佩戴手指运动检测设备获取手指运动的传感信息，并根据运动检测设备内嵌的算法获取手指运动信息，并将所述手指运动信息传递给智能设备。

第一二模块12，用于基于对应的虚拟键盘与所述用户手指的映射关系，及所述手指运动信息确定对应的人机交互信息，其中，所述人机交互信息包括所述用户手指中运动手指的虚拟按键信息。其中，虚拟按键信息包括用户手指进行的按键确认信息及该按键动作对应的键位信息。例如，用户佩戴智能设备(例如，智能ar/vr眼镜)后，智能设备在选取的位置投射虚拟键盘，基于用户手指的特定操作(例如，十指张开)，智能设备在虚拟键盘的特定位置投射与用户十指对应的虚拟手指(例如，该虚拟手指摆放在虚拟键盘上的位置与绝大多数用户进行键盘输入时手指摆放位置一致，或者，用户可自定义该虚拟手指的摆放位置)，其中，用户的手指指尖部分对应着虚拟手指指尖在虚拟键盘中的位置。在一些实施例中，用户的手指对应的虚拟手指在虚拟键盘中对应键盘中预设区域的预设虚拟按键(例如，左手食指对应着r、t、f、g、v、b这几个虚拟按键)，基于用户手指的手指运动信息，该手指运动信息对应于在虚拟键盘上的虚拟手指的运动信息，智能设备候选虚拟键盘中与该虚拟手指对应的一个或者多个虚拟按键，并基于该一个或者多个虚拟按键信息生成对应的人机交互信息。

在这种输入方式下，用户进行输入摆脱了繁杂的键盘实体设备，同时仍具有键盘输入的准确性的优势，增加了用户输入的友好体验。

例如，用户佩戴手指运动检测设备，该检测设备通过一个或者多个微型传感器获取用户手指运动的传感信息，其中，每一个微型传感器均由一个三轴mems陀螺仪、三轴mems加速度计和三轴磁传感器组成，且内嵌了多传感器融合算法用于测量每个关节的姿态变化，进而实现手指运动信息的解算。该检测设备将解算出的手指运动信息发送至智能ar设备(例如，智能ar眼镜)。用户穿戴该智能ar眼镜，通过ar眼镜可看见投射于特定位置的虚拟键盘，根据预设的特定动作(例如，用户十指张开)，智能ar设备在虚拟键盘上投射摆放虚拟手掌。在初始状态时，该虚拟手掌中的各虚拟手指指尖在虚拟键盘的初始位置，对应着用户的实际手指指尖在虚拟键盘的初始位置。根据手指的运动信息，智能ar设备实时接收该手指的运动信息并更新在虚拟键盘上的虚拟手指的运动情况，例如，检测设备检测到用户右手中指的运动，对应着虚拟手掌中右手中指的运动，智能ar设备候选虚拟键盘上的“i”、“k”、“，”虚拟按键。

在一些实施例中，所述设备还包括第一三模块13(未示出)，第一三模块13，用于基于用户的设置，建立或更新所述虚拟键盘与所述用户手指的映射关系。例如，基于用户的键盘输入习惯，智能设备接收用户对虚拟手掌中虚拟手指的摆放位置的自定义设置，并依此建立或更新所述虚拟键盘与所述用户手指的映射关系，又例如，基于用户的键盘输入习惯，智能设备接收用户对虚拟手掌中虚拟手指在虚拟键盘中对应的键盘中预设区域的预设虚拟按键的自定义设置，并依此建立或更新所述虚拟键盘与所述用户手指的映射关系，增加了人机交互的互动性，给与了用户更好的使用体验。

在一些实施例中，所述设备还包括第一四模块14(未示出)，第一四模块14，用于呈现所述虚拟键盘。例如，所述智能设备包括投影装置，智能设备预设虚拟键盘，并将该虚拟键盘通过投影仪投射到特定或者用户选定的位置，例如，智能眼镜将虚拟键盘显示在光学显示屏幕中的预设位置。基于用户的操作，投影装置可以将虚拟键盘投影在用户选择的任意位置，使得用户进行输入更具有灵活性，增加了用户输入的友好体验。

在一些实施例中，所述设备还包括第一五模块15(未示出)，第一五模块15基于所述虚拟键盘与所述用户手指的映射关系在所述虚拟键盘对应位置呈现虚拟手指。例如，基于预设的虚拟键盘与虚拟手指的映射关系，其中，虚拟手指对应着用户的手指，智能设备通过投影装置在虚拟键盘对应位置投影呈现虚拟手指，或者，基于用户自定义的虚拟键盘与虚拟手指的映射关系，其中，虚拟手指对应着用户的手指。

在一些实施例中，虚拟键盘中出现虚拟手掌后，用户手指的预设动作(例如，任一手指运动)触发虚拟手指的变化。这种情况下，智能设备通过手指运动检测设备检测真实手掌的上下左右移动，虚拟手掌随之移动，通过用户真实手指的向下弯曲点击动作，对应的虚拟手指也会呈现向下弯曲。

智能设备在虚拟键盘对应位置呈现虚拟手指，增加了人机交互的互动性，给与了用户更好的使用体验。

在一些实施例中，所述设备还包括第一六模块16(未示出)，第一六模块16，用于基于所述手指运动信息，实时调整所述虚拟手指在所述虚拟键盘中的位置。例如，在用户与智能设备进行互动的过程中，用户的手指通过佩戴手指运动检测设备获取手指运动的传感信息，手指运动检测设备中的生物电流传感器、运动传感器以及姿态传感器等获取手指运动的传感信息并转换成电信号通过通信连接传递给智能设备。智能设备接收用户手指的传感信息，并基于与手指运动检测设备对应的算法获取手指运动信息。或者，用户的手指通过佩戴手指运动检测设备获取手指运动的传感信息，并根据运动检测设备内嵌的算法获取手指运动信息。智能设备基于该手指运动信息(例如，前后左右的移动等)，调整位于虚拟键盘上的与用户的手指对应的虚拟手指的位置(例如，在虚拟键盘上相对于初始位置的前后左右移动)。在这种情况下实时呈现虚拟手指的位置，给予用户直观的输入体验。

例如，智能设备获取手指运动检测设备(例如，手势识别手套)发送的用户手指的运动传感信息，并通过与该检测设备对应的算法分析出用户手指的运动信息(例如，用户右手的中指往上侧移动)，对应着用户手指的虚拟手指，调整为从相对于初始位置“k键”到“i键”的位移。

在一些实施例中，所述设备还包括第一七模块17(未示出)，第一七模块17，用于基于所述用户手指中运动手指的虚拟按键信息，调整并呈现所述虚拟手指。例如，检测设备检测到用户某根手指的运动传感信息，并发送至智能设备。智能设备根据该运动传感信息确认对应的手指运动信息，并根据该手指运动信息中用户的手指相对于初始手指摆放位置的相对运动信息确定对应的虚拟按键信息，智能设备获取该虚拟按键信息并将对应用户手指的虚拟手指的运动后的摆放状态呈现在虚拟键盘上。

例如，智能设备获取手指运动检测设备(例如，手势识别手套)发送的用户手指的运动传感信息，并通过与该检测设备对应的算法分析出用户手指的运动信息(例如，用户左手的食相对于初始位置往右侧移动并向下按压)，对应着用户手指的虚拟手指在虚拟键盘中最后呈现于“b键。

在一些实施例中，所述设备还包括第一八模块18(未示出)，第一八模块18，用于基于所述用户手指中运动手指的虚拟按键信息，在所述虚拟键盘中突出显示所述运动手指对应的按键区域。例如，检测设备检测到用户某根手指的运动传感信息，并发送至智能设备。智能设备根据该运动传感信息确认对应的手指运动信息(例如，用户的手指进行虚拟按键的动作)，智能设备在虚拟键盘中突出对应着用户某根手指的虚拟手指对应的按键区域，其中按键区域可以是虚拟手指对应的整个按键区域，也可以是虚拟手指按键动作对应的单个按键，还可以是虚拟手指按键动作对应的单个按键以及该按键周边的按键。，例如，可以通过高亮按键区域内的虚拟键盘中的按键来进行突出显示。在这种情况下实时呈现按键区域的位置，给与用户直观的视觉呈现，辅助用户确认本次按键操作对应的按键键位是否正确等。

例如，智能设备获取手指运动检测设备(例如，手势识别手套)发送的用户手指的运动传感信息，并通过与该检测设备对应的算法分析出用户手指的运动信息(例如，用户右手的中指往下按压)，对应着用户右手的中指的虚拟手指，智能设备调整虚拟手指的按压动作(例如，按压“k键”)，同时高亮突出显示对应的按键区域(例如，“k键”，或者“i”、“k”、“，”虚拟按键)。

在一些实施例中，所述设备还包括第一九模块19(未示出)，第一九模块19，用于基于所述手指运动信息，在所述虚拟键盘中突出显示对应的按键区域。例如，检测设备检测到用户某根手指的运动传感信息，并发送至智能设备。智能设备根据该运动传感信息确认对应的手指运动信息(例如，该手指的前后左右移动等)，智能设备在虚拟键盘中突出对应着用户某根运动手指的虚拟手指对应的按键区域，例如，可以通过高亮按键区域内的虚拟键盘中的按键来进行突出显示。在这种情况下实时呈现按键区域的位置，给与用户直观的视觉呈现。

例如，智能设备获取手指运动检测设备(例如，手势识别手套)发送的用户手指的运动传感信息，并通过与该检测设备对应的算法分析出用户手指的运动信息(例如，用户右手的中指往左移动)，对应着用户右手的中指的虚拟手指，随后智能设备高亮突出虚拟键盘中的虚拟按键区域(例如，“i键”、“k键”、“，键”组成的区域)，其中，该虚拟按键区域中的按键与用户右手的中指的虚拟手指距离小于预设距离阈值。

在一些实施例中，第一一模块11，用于接收人机交互过程中处于使用状态下的手指运动检测设备采集的关于用户手指的传感数据信息；根据所述传感数据信息确定所述用户手指的手指运动信息。其中，传感数据信息包括但不限于手指运动检测设备检测的加速度数据以及手指的运动角度数据、姿态数据。例如，在用户与智能设备进行互动的过程中，用户的手指通过佩戴手指运动检测设备获取手指运动的传感信息，其中，手指运动检测设备包括但不限于运动手环、运动指环以及运动手套、运动臂环，例如，手指运动检测设备中的生物电流传感器、运动传感器以及姿态传感器等获取手指运动的传感信息并转换成电信号通过通信连接传递给智能设备，其中，通信连接包括有线(例如，数据线)或者无线连接(例如，wifi、蓝牙、nfc等)。智能设备接收用户手指的传感信息，并基于与手指运动检测设备对应的算法获取手指运动信息。在智能设备端获取手指运动信息有利于减轻检测设备的复杂度，同时获取过程更有效率。

例如，用户佩戴手指运动检测设备(例如，手势识别手套，cn106445130a)，该检测设备通过一个或者多个微型传感器获取用户手指运动的传感信息，其中，每一个微型传感器均由一个三轴mems陀螺仪、三轴mems加速度计和三轴磁传感器组成，手指运动检测设备将获取的用户手指运动的传感信息发送至智能ar设备(例如，智能ar眼镜)，智能ar设备通过将用户手指运动的传感信息在本地或者上传到云端，基于多传感器融合算法测量每个手指关节的姿态变化，进而实现手指运动信息的解算。

在一些实施例中，第一一模块11，用于接收人机交互过程中处于使用状态下的手指运动检测设备采集的关于用户手指的手指运动信息。例如，在用户与智能设备进行互动的过程中，用户的手指通过佩戴手指运动检测设备获取手指运动的传感信息，其中，手指运动检测设备包括但不限于运动手环、运动指环以及运动手套、运动臂环，例如，手指运动检测设备中的生物电流传感器、运动传感器以及姿态传感器等获取手指运动的传感信息，并根据内嵌的对应检测设备的算法获取手指运动信息。在这种情况下，智能设备无需进行多余的操作，节省了运算时间，提高了效率。

例如，用户佩戴手指运动检测设备(例如，手势识别手套，cn106445130a)，该检测设备通过一个或者多个微型传感器获取用户手指运动的传感信息，其中，每一个微型传感器均由一个三轴mems陀螺仪、三轴mems加速度计和三轴磁传感器组成，且内嵌了多传感器融合算法用于测量每个关节的姿态变化，进而实现手指运动信息的解算。该检测设备将解算出的手指运动信息发送至智能ar设备(例如，智能ar眼镜)。

在一些实施例中，所述手指运动检测设备包括以下至少一项：运动检测手环；运动检测手套；运动检测指环；运动检测臂环。例如，所述手指运动检测设备包括运动检测手环，当用户的手指做某种手势时，相应的肌肉会产生微弱的生物电流。通过检测肌肉电流的变化，配合运动传感器检测的加速度数据和角度数据，经过实时数字信号算法处理，可以检测出手臂、手指、手掌、手腕的运动。一种可行的方案是佩戴和紧贴在手腕处的弹性手环，也可直接集成到例如智能手表等佩戴在手臂上的设备中，通过紧贴皮肤处安置的传感器监测环下皮肤处的一路或者多路表皮肌肉电流，经过实时数据运算和处理，模式匹配等算法，提取各个手势的特征参数，配合运动传感器检测到的在三维空间上的运动，实现相应的手势动作识别。例如，所述手指运动检测设备包括运动检测手套，在该运动检测手套中，在手套每个关节两端的手指部位均安装一个微型传感器，均由一个三轴mems陀螺仪、三轴mems加速度计、三轴磁传感器和传感微处理器组成，三轴陀螺仪用于测量手部运动的角速度，三轴加速度计用于测量手部运动的加速度，三轴磁传感器用于测量手部运动时不同方位下的地磁场大小，传感微处理器用于融合多传感器测量的数据，得到手部各关节运动的姿态并输出姿态四元数，进而实现手势姿态的解算。例如，所述手指运动检测设备包括运动检测指环，该运动检测指环利用加速度传感器实时检测手指关节运动，以获得手指运动姿态信息，然后获得手指关节运动的瞬时角度变化。或者，在指环内环整合一系列的压力传感器，当感应到用户指尖的压力不同时输出相关的信号，然后获得手指关节运动的瞬时角变化。例如，所述手指运动检测设备包括运动检测臂环，该运动检测臂环包括可佩戴在手腕处的手环或前臂处的臂环；通过紧贴皮肤位置的一路或者多路肌肉表皮电流传感器，提取手臂肌肉运动时产生的生物电流，并经放大器电路，滤波电路，模拟数字转换电路，实时数字信号算法处理进行手势的特征参数提取，实现手势识别。

在一些实施例中，第一二模块12包括第一二一模块121(未示出)和第一二二模块122(未示出)，第一二一模块121，用于基于所述手指运动信息确定所述用户手指中运动手指及运动手指的运动向量信息；第一二二模块122，用于基于对应的虚拟键盘与所述用户手指的映射关系、所述运动手指及所述运动向量信息确定对应的人机交互信息，其中，所述人机交互信息包括所述用户手指中运动手指的虚拟按键信息。例如，运动手指的运动向量信息包括手指指尖的位移变化的大小及方向等；用户通过手指运动检测设备获取用户手指的运动信息，并根据用户手指的运动信息(例如，用户的某根手指从初始位置到终点摆放位置的运动)获取该运动手指的运动向量信息，基于用户手指的手指运动信息，该手指运动信息对应于在虚拟键盘上的虚拟手指的运动信息(例如，对应的虚拟手指从初始位置到终点摆放位置的运动)，智能设备确认虚拟键盘中与该虚拟手指对应的终点摆放位置的虚拟按键。在这种输入方式下，用户进行输入摆脱了繁杂的键盘实体设备，同时仍具有键盘输入的准确性的优势，增加了用户输入的友好体验。

在一些实施例中，第一二一模块121，用于基于所述手指运动信息确定所述用户手指中每个手指的相对运动向量信息；将所述用户手指中各手指相对运动向量的垂直分量中最大的垂直分量对应的用户手指作为对应的运动手指，并将该手指的相对运动向量信息作为所述运动手指的运动向量信息。例如，用户通过手指运动检测设备获取用户手指的运动信息，并根据用户手指的运动信息(例如，用户的每根手指从初始位置到终点摆放位置的运动)获取每根运动的手指的相对运动向量信息，智能设备将多根手指中相对运动向量的垂直分量中最大的垂直分量对应的手指作为运动手指，其中，智能设备选取特定的水平面(例如，以相对于用户手面的垂直方向)用来确定每个手指相对运动向量的垂直分量。根据该运动手指的运动，智能设备获取该运动手指的运动向量信息。

在一些实施例中，第一二一模块121，用于基于所述手指运动信息确定所述用户手指中每个手指的相对运动向量信息；若存在手指的相对运动向量信息的垂直分量大于或等于预设按键阈值，将该手指作为对应的运动手指，并将该手指的相对运动向量信息作为所述运动手指的运动向量信息。例如，用户通过手指运动检测设备获取用户手指的运动信息，并根据用户手指的运动信息(例如，用户的每根手指从初始位置到终点摆放位置的运动)获取每根运动的手指的相对运动向量信息。对应每根手指的相对运动向量，智能设备选取特定的水平面(例如，以相对于用户手指指尖拟合的平面的垂直方向)用来确定每个手指相对运动向量的垂直分量，若该垂直分量大于或等于预设按键阈值，智能设备确定该手指为对应的运动手指。根据该运动手指的运动，智能设备获取该运动手指的运动向量信息。

在一些实施例中，第一二二模块122包括第一二二一模块1221(未示出)和第一二二二模块1222(未示出)，第一二二一模块1221，用于基于所述虚拟键盘与所述用户手指的映射关系信息、所述运动手指确定对应的虚拟按键区域；第一二二二模块1222，用于根据所述运动手指的运动向量信息及所述虚拟按键区域确定对应的人机交互信息，其中，所述人机交互信息包括所述用户手指中运动手指的虚拟按键信息。例如，用户佩戴智能设备(例如，智能ar/vr眼镜)后，智能设备在选取的位置投射虚拟键盘，基于用户手指的特定操作(例如，十指张开)，智能设备在虚拟键盘的特定位置投射与用户十指对应的虚拟手指(例如，该虚拟手指摆放在虚拟键盘上的位置与绝大多数用户进行键盘输入时手指摆放位置一致，或者，用户可自定义该虚拟手指的摆放位置)，其中，用户的手指指尖部分对应着虚拟手指指尖在虚拟键盘中的位置。在一些实施例中，用户的手指对应的虚拟手指在虚拟键盘中对应键盘中预设区域的预设虚拟按键(例如，左手食指对应着r、t、f、g、v、b这几个虚拟按键，若左手食指是运动手指，则这几个虚拟按键作为运动手指对应的虚拟按键区域)，基于用户手指的手指运动信息，该手指运动信息对应于在虚拟键盘上的虚拟手指的运动信息(例如，对应的虚拟手指从初始位置到终点摆放位置的运动)，智能设备候选虚拟键盘中与该虚拟手指对应的一个或者多个虚拟按键，其中，该一个或者多个虚拟按键组成虚拟按键区域。并根据该运动手指在虚拟按键区域中的运动向量信息，智能设备确认虚拟键盘中与该虚拟手指对应的终点摆放位置的虚拟按键。在这种输入方式下，用户进行输入摆脱了繁杂的键盘实体设备，同时仍具有键盘输入的准确性的优势，增加了用户输入的友好体验。

在一些实施例中，第一二二二模块1222，用于根据所述运动手指的运动向量信息在水平方向的位移及方向，确定所述运动手指在所述虚拟按键区域的虚拟按键信息；基于所述虚拟按键信息确定对应的人机交互信息。在一些实施例中，用户的手指对应的虚拟手指在虚拟键盘中对应键盘中预设区域的预设虚拟按键(例如，左手食指对应着r、t、f、g、v、b这几个虚拟按键，若左手食指是运动手指，则这几个虚拟按键作为运动手指对应的虚拟按键区域)，基于用户手指的手指运动信息，该手指运动信息对应于在虚拟键盘上的虚拟手指的运动信息，智能设备候选虚拟键盘中与该虚拟手指对应的一个或者多个虚拟按键，其中，该一个或者多个虚拟按键组成虚拟按键区域。例如，智能设备根据用户手指的运动信息(例如，用户的某根手指从初始位置到终点摆放位置的运动)获取该运动手指的运动向量信息，其中，该手指运动信息根据选定的平面确定所述运动手指的运动向量信息在垂直方向的位移，以及在水平方向的位移与具体方向(例如，前后左右等)。智能设备根据运动手指确定对应的虚拟按键区域，并根据该运动手指的运动向量中水平方向位移以及方向确定对应的虚拟手指在虚拟键盘中的水平方向的移动，确定该运动手指在虚拟按键区域的虚拟按键信息。基于用户的一个或者多个手指的运动信息确定一个或者多个虚拟按键信息，所述一个或者多个虚拟按键组成了对应的人机交互信息。在这种输入方式下，用户进行输入摆脱了繁杂的键盘实体设备，同时仍具有键盘输入的准确性的优势，增加了用户输入的友好体验。

在一些实施例中，第一二模块12包括第一二三模块123(未示出)和第一二四模块124(未示出)，第一二三模块123，用于基于所述手指运动信息确定所述用户手指中的运动手指、所述运动手指的运动向量信息以及对应的候选虚拟按键区域，其中，所述候选虚拟按键区域与所述运动手指的虚拟按键区域相对应；第一二四模块124，用于基于所述候选虚拟按键区域以及所述运动手指的运动向量信息确定对应的人机交互信息，其中，所述人机交互信息包括所述用户手指中运动手指的虚拟按键信息。例如，运动手指的运动向量信息包括手指指尖的位移变化的大小及方向等；用户通过手指运动检测设备获取用户手指的运动信息，并根据用户手指的运动信息(例如，用户的某根手指从初始位置到终点摆放位置的运动)获取对应的运动手指以及该运动手指的运动向量信息，并基于虚拟键盘与用户手指的映射关系，确定对应的候选虚拟按键区域。基于用户手指中的运动手指对应的虚拟手指在候选虚拟按键区域的运动信息(例如，对应的虚拟手指从初始位置到终点摆放位置的运动)，智能设备确认虚拟键盘中与该虚拟手指对应的终点摆放位置的虚拟按键。在这种输入方式下，用户进行输入摆脱了繁杂的键盘实体设备，同时仍具有键盘输入的准确性的优势，增加了用户输入的友好体验。

在一些实施例中，第一二三模块123，用于基于所述手指运动信息确定所述用户手指中每个手指的相对运动向量信息；将所述用户手指中各手指相对运动向量大小中最大的相对运动向量对应的用户手指作为对应的运动手指，并将该手指的相对运动向量信息作为所述运动手指的运动向量信息，将所述运动手指的虚拟按键区域作为对应的候选虚拟按键区域。例如，用户通过手指运动检测设备获取用户手指的运动信息，并根据用户手指的运动信息(例如，用户的每根手指从初始位置到终点摆放位置的运动)获取每根运动的手指的相对运动向量信息，智能设备将多根手指的相对运动向量中最大的相对运动向量对应的用户手指作为运动手指，并将该手指的相对运动向量信息作为所述运动手指的运动向量信息，智能设备将该运动手指的虚拟按键区域作为对应的候选虚拟按键区域。

在一些实施例中，第一二三模块123，用于基于所述手指运动信息确定所述用户手指中每个手指的相对运动向量信息；将所述用户手指中各手指相对运动向量大小大于或者等于预设移动阈值的相对运动向量对应的用户手指作为对应的运动手指，并将该手指的相对运动向量信息作为所述运动手指的运动向量信息，将所述运动手指的虚拟按键区域作为对应的候选按键区域。例如，用户通过手指运动检测设备获取用户手指的运动信息，并根据用户手指的运动信息(例如，用户的每根手指从初始位置到终点摆放位置的运动)获取每根运动的手指的相对运动向量信息，智能设备将多根手指中各手指相对运动向量大小大于或者等于预设移动阈值的相对运动向量对应的用户手指作为对应的运动手指，并将该手指的相对运动向量信息作为所述运动手指的运动向量信息，智能设备将该运动手指的虚拟按键区域作为对应的候选虚拟按键区域。

在一些实施例中，第一二四模块124，用于根据所述相对运动向量信息在水平方向的位移及方向，从所述候选按键区域中确定所述运动手指的候选虚拟按键信息；若所述相对运动向量信息的垂直分量大于或等于预设按键阈值，基于所述候选虚拟按键信息确定对应的人机交互信息，其中，所述人机交互信息包括所述用户手指中运动手指的虚拟按键信息。在一些实施例中，用户的手指对应的虚拟手指在虚拟键盘中对应键盘中预设区域的预设虚拟按键(例如，左手食指对应着r、t、f、g、v、b这几个虚拟按键，若左手食指是运动手指，则这几个虚拟按键作为候选虚拟按键区域)，基于用户手指的手指运动信息确定的运动手指的相对运动向量信息，智能设备根据所述相对运动向量信息在水平方向的位移及方向(例如，前后左右等)，从所述候选按键区域中确定所述运动手指的候选虚拟按键信息(例如，候选v虚拟按键)。若对应着候选虚拟按键的运动手指的相对运动向量信息的垂直分量大于或等于预设按键阈值，智能设备确定对应运动手指的虚拟按键信息(例如，确定v虚拟按键)。基于用户的一个或者多个手指的运动信息确定一个或者多个虚拟按键信息，所述一个或者多个虚拟按键组成了对应的人机交互信息。在这种输入方式下，用户进行输入摆脱了繁杂的键盘实体设备，同时仍具有键盘输入的准确性的优势，增加了用户输入的友好体验。

在一些实施例中，所述设备还包括第二零模块20(未示出)，第二零模块20，用于基于所述人机交互信息前后的其他虚拟按键信息，对所述虚拟按键信息进行模糊匹配，调整所述虚拟按键信息。例如，智能设备根据用户手指的运动信息，确定对应的虚拟手指在虚拟键盘中的虚拟按键信息，并根据人机交互信息前后的其他虚拟按键信息，例如，根据前后一个或者多个运动手指的运动信息生成的虚拟按键信息，智能设备对所述虚拟按键信息进行模糊匹配，并根据匹配结果更新所述虚拟按键信息。

在一些实施例中，当智能设备根据手指运动检测设备检测到用户手指的手指运动信息时，其中，所述手指运动信息包括用户手指向下按压或向上抬起或其它区分性输入的动作。对应于在虚拟键盘中的虚拟手指，将虚拟手指选中的某个键作为最优输入值，该键周围的几个键作为次优输入值，利用用户选择的语言(包括不限于英文词库、中文词库、日语词库)，智能设备对输入的前后文进行模糊匹配和自动纠错识别。由于是模糊识别，因此对现有的键盘构造进行了优化修改，在一些实施例中，去除了会影响模糊识别的特殊字符和数字键，由于采用模糊识别和纠错操作后会产生多个识别结果，此时用户根据预设动作(例如，包括但不限于利用右手的大拇指向手掌方向滑动的操作)来进行备选词的滑动选择，然后根据预设动作(包括但不限于大拇指向下按压、向上抬起等具有区分性的动作)确定输入。相应地，若用户想进行虚拟按键的删除，用户可根据预设动作(例如，左手大拇指向手掌方向滑动等操作)来进行已经输入的虚拟按键的删除。进一步的，当需要输入数字或特殊字符时，采用单手输入。用户左手握拳右手十指展开切换为数字键盘，右手握拳左手十指展开切换为特殊字符输入，双手都十指展开切换为字母键盘，双手都握拳结束此次输入。当下一次在需要输入的时候屏幕弹出虚拟键盘，双手或单手展开触发虚拟手出现，即可开始输入，当然，本领域技术人员应能理解响应动作仅为举例，其他现有的或今后可能出现的响应动作如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。采用本申请中的方法，可以通过手势识别快速的模拟出键盘硬件设备才能完成的交互信息，只需要按照预定的手势规则，就可以通过图像化界面看到键盘中对应的输入内容，操作方便，快捷，交互方式友好。

除上述各实施例介绍的方法和设备外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。

图4示出了可被用于实施本申请中所述的各个实施例的示例性系统；

如图4所示在一些实施例中，系统300能够作为各所述实施例中的任意一个设备。在一些实施例中，系统300可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或nvm/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。

对于一个实施例，系统控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。

系统控制模块310可包括存储器控制器模块330，以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。

系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例，系统存储器315可包括任意适当的易失性存储器，例如，适当的dram。在一些实施例中，系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(ddr4sdram)。

对于一个实施例，系统控制模块310可包括一个或多个输入/输出(i/o)控制器，以向nvm/存储设备320及(一个或多个)通信接口325提供接口。

例如，nvm/存储设备320可被用于存储数据和/或指令。nvm/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(hdd)、一个或多个光盘(cd)驱动器和/或一个或多个数字通用光盘(dvd)驱动器)。

nvm/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，nvm/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。

(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。

对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(soc)。

在各个实施例中，系统300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统300包括一个或多个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、rf、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。

作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(ram,dram,sram)；以及非易失性存储器，诸如闪存、各种只读存储器(rom,prom,eprom,eeprom)、磁性和铁磁/铁电存储器(mram,feram)；以及磁性和光学存储设备(硬盘、磁带、cd、dvd)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。

在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。