有限的用户自定义手势语义的手势知识库创建方法与流程

本发明涉及人机交互技术领域，具体涉及一种有限的用户自定义手势语义的手势知识库创建方法。

背景技术：

人机交互是指人与计算机之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与计算机之间的信息交换过程。主要体现在两个层面，一个是机器界面是否易于用户理解与操作，用户通过人机交互界面与机器交流，并进行操作。小如收音机的播放按键，大至飞机上的仪表板、或是发电厂的控制室。人机交互界面的设计要包含用户对系统的理解(即心智模型)，那是为了系统的可用性或者用户友好性。另外一个层面，即机器如何理解用户意图，机器理解用户有多个方面，本发明主要针对的是用户手势操作，通过摄像头捕捉用户的手势，识别用户手势语义并进行反馈。

通过摄像头捕捉用户手势并判断用户意图有一定准确性问题，有时候会出现歧义，有时候会被干扰。如果对相关手势进行训练，存进知识库，有利于机器捕捉到类似的手势时的识别几率。

机器识别用户手势并判断用户意图，对于用户来说，还存在一个问题，即用户必须要去学习程序员预先设置好的手势，除了学习成本高之外，还往往手势不符合用户操作习惯，导致用户手势跟预先的设定好的手势不一样，机器无法识别。本发明提出用户自定义的手势规则设计解决了这个问题。用户可以根据自己的操作习惯设定手势规则，设定触发手势命令的初始状态，中间状态以及结束状态，提高了手势被机器识别的几率。

技术实现要素：

针对现有技术的不足，本发明的目的在于提供一种有限的用户自定义手势语义的手势知识库创建方法，以提高手势识别的便利性和准确性。

为了实现上述目的，本发明采取的技术方案是：

一种有限的用户自定义手势语义的手势知识库创建方法，包括步骤：

确定手势动作，提取手势动作特征点并进行机器训练，对训练后的手势动作分配ID编号并存入手势知识库，每一个手势动作都有一个唯一的ID编号；

人机交互环境下，以ID编号调用手势知识库中的手势动作并赋予手势语义，同时设计手势动作的逻辑规则；

用户通过自定义的手势动作及其逻辑规则与人机交互系统进行交互。

本发明有限的用户自定义手势语义的手势知识库创建方法，先创建手势知识库，再设计人机交互系统手势逻辑规则框架，按照人机交互系统手势规则设定手势的初始状态，中间状态以及结束状态并赋予整个行为以语义，从而，用户可以通过自定义的手势与人机交互系统进行交互。当用户执行一个手势操作后，系统可以预测用户下来可能有几个可能的意图，当用户手势操作一个个执行完毕，直到一个行为完成，一个完整的逻辑判断就会执行，即响应用户的操作，机器进行反馈，完成完整的人机交互。

附图说明

图1为本发明有限的用户自定义手势语义的手势知识库创建方法的流程示意图；

图2为手指抓取三角形物体、旋转物体以及抓取手势的的示意图；

图3为一个旋转的手势语义设计示意图；

图4为用户设置自定义手势的流程示意图；

图5为用户设定自定义手势的界面示意图；

图6为人机交互系统探测用户手势的示意图；

图7为人机交互的流程示意图。

具体实施方式

下面结合具体实施方式对本发明作进一步的说明。

本发明用户手势的创建方法，如图1所示，包括步骤：

步骤s101、确定手势基本单元，提取手势特征，对基本单元进行训练，按照ID编号存入手势知识库。

比如，抓取这个手势，根据这些手部动作，提取5个关键特征点，分别是：拇指尖、食指尖、掌心、拇指与食指之间的凹点以及手内所包含的中空区。如图2所示。对这个手势进行训练之后，存进手势知识库，知识库具有自学习，独立，以及可扩展的良好特性。知识库独立但支持人机交互系统，提供ID编号等接口供人机交互系统调用。手势知识库包含一些比较常见的抓取，移动，旋转，放大放小等手势集。手势库设计成一个公用包，可以应用于不同的人机交互系统，比如手势穿衣系统可以以ID编号的方式调用知识库里面的抓取，移动等手势。而汽车发动机装配系统可以调用里面的抓取，移动，旋转，放大放小等手势。

步骤s102、设计人机交互系统手势逻辑规则框架。

手势逻辑规则框架，包括：位移，角度，幅度，时序等等。构建规则框架，允许用户通过设定几个拐点来触发某种命令。比如角度从多少到多少表示旋转操作，人机交互系统从而判断用户执行旋转的意图，给予反馈。如图3所示是一个旋转的手势语义设计,根据旋转的动作特点，定义手势初始位置R₀(xR₀,yR₀),当手势位置改变后R₁(xR₁,yR₁).物体的位置为R_C(xR_c,yR_c),那么∠R₀R_cR₁满足

如果yR₁>yR₀,表示顺时针旋转，反之，则为逆时针旋转。中间状态：当∠R₀R_cR₁旋转到中间的角度时为中间状态；结束状态：当∠R₀R_cR₁旋转一定的角度到结束状态，旋转命令触发。

步骤s103、用户根据自身操作习惯，调用手势知识库的手势，按照人机交互系统手势规则设定手势的初始状态，中间状态以及结束状态并赋予整个行为以语义。

相同的手势在不同的系统中可能语义不同，如挥手，可能是再见的意思，也可能是不要的意思。

比如用户要执行“下一页”这个功能，用户可以根据位移的规则设置初始状态x<0,中间状态X＝0，结束状态X>0,系统根据捕捉用户手势，当用户手势完成了这3个状态，人机交互系统即执行“下一页”功能。图4所示表示用户设置自定义手势的流程，图5为用户设定自定义手势的界面图。用户设定完自定义手势，将保存与人机交互系统，而不是知识库，因为知识库是独立的，用户只能读取，用户不能修改。

步骤s104、用户通过自定义手势与人机交互系统进行交互。

人机交互系统探测到用户的手势，如图6所示，当用户执行一个手势操作后，系统可以预测用户接下来可能有几个可能的意图，比如探测到用户的抓取手势，用户下一步可能会移动物体，也可能会旋转物体，或者放大放小物体，这种方法的好处就是可以一定程度上预测用户的意图。如图7所示，当用户手势操作一个个执行完毕，直到一个行为完成，一个完整的逻辑判断就会执行，即响应用户的操作，机器进行反馈，完成完整的人机交互。

“有限”的意义体现在，手势训练这一块仍然由程序员完成，用户没法自定义，因为这一块属于专业的知识。“用户自定义”体现在，用户可以选择手势进行语义设定，可以选择手势组织成一定的规则以形成命令。

手势知识库的手势动作是没有语义的，当被调入人机交互系统中时，用户才赋予手势语义，才能进行人机交互。

上列详细说明是针对本发明可行实施例的具体说明，该实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。