基于手势识别的演示系统控制方法及控制系统与流程

本发明涉及计算机领域，具体涉及一种基于手势识别的演示系统控制方法及控制系统。

背景技术：

随着计算机和投影仪的普及，办公、教育等环境下常利用投影仪作演示。而现今存在的与投影仪同步使用的操作工具具有一定的局限性，首先，其局限于单线条时序，只能进行前后翻页；其次，远离电脑控制需要用激光笔进行操作，其操作方式不便利，对操作距离也有一定要求，且激光笔的携带并不便捷，容易遗失，加上激光对人体有一定的危害，注定不能被广泛长久的使用。在教学中，鼠标、键盘等传统的多媒体设备局限了教育者的活动范围，从而导致教育者不能在教室的任意位置实施教学工作。目前，一些教学系统已经运用到了体感设备，利用体感设备识别手势的动作来控制投影仪上ppt的翻页，但是体感设备容易受环境的影响，从而使得在运用中因干扰因素而达不到想要的效果，同时教育者若想要在教室的各个方位都能控制演示文稿，利用这些受区域影响的体感识别设备是不能做到的。

技术实现要素：

为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种基于手势识别的演示系统控制方法及控制系统。

为了实现本发明的上述目的，本发明提供了一种基于手势识别的演示系统控制方法，包括以下步骤：

s1，采集用户手势视频图像；

s2，对所述视频图像进行处理，具体如下：

s2-1，建立坐标系：以用户的脊椎与双肩交点为原点建立笛卡尔空间坐标系，以用户的双肩为y轴，脊椎为z轴，用户的移动方向为x轴；

s2-2，对视频中每帧图像中的用户的手掌的关节特征点进行提取；

s2-3，在每帧图像中对手臂的关节特征点提取并链接成段，在建立的笛卡尔空间坐标系中确定出每帧图像中手掌的位置坐标；

具体为：第一、计算手臂与x、y、z轴的夹角；第二、计算手掌对相对x、y、z轴的距离；第三、最后利用该夹角和距离得到手掌的位置坐标，并保存；

s2-4，对手掌的运动进行跟踪，在笛卡尔空间坐标系中描绘运动轨迹，建立运动矢量；

s3，根据手掌的运动矢量控制演示系统翻页。

该方法以用户自己本身来建立坐标系，以用户自身身体作为参考系，克服了现有技术中依据摄像头建立的固定的坐标系而使得灵活性不高、准确度不够的缺点。

进一步的，在建立坐标系之前，将采集所得的手势视频图像进行隔帧提取处理。这降低了运算量，提高运算的效率。

进一步的，所述步骤s2还包括步骤s2-5，根据视频中每帧图像中的用户的手掌的关节特征点的坐标对手掌的开拳状态和握拳状态进行识别；

当为开拳状态时，维持翻页模式，即执行步骤s3；

当为握拳状态时，执行步骤s4：进入光标控制模式，光标跟随所述手掌的运动轨迹进行移动。更进一步的，当两手掌均呈握拳状态进入目标选中模式，一手维持不动，另一手进行移动，根据移动的手的运动轨迹对目标内容进行选中；当任一手掌呈开掌状态时，维持翻页模式，并根据开拳状态的手掌的运动矢量控制翻页。克服了传统的只能进行前后翻页的缺点，增加了光标跟随和目标选中的功能。

进一步的，当手掌的运动矢量方向包含从y轴的负向到正向时，控制单元控制向上翻页；当手掌的运动矢量方向包含从y轴的正向到负向时，控制单元控制向下翻页。

优选的，在建立坐标系之前，对视频中的人脸进行识别，寻找正确的用户，再对该用户建立坐标系。

本发明还提出了一种基于手势识别的演示控制系统，包括控制单元，还包括手势采集模块、手势识别模块和显示单元，所述手势采集模块采集用户手势视频图像，其输出端连接至所述手势识别模块，所述手势识别模块连接所述控制单元，所述控制单元与显示单元连接；

所述手势识别模块包括图像提取模块、运动跟踪模块、图像处理模块和手势分析模块；

所述图像提取模块对视频中一帧图像中的用户的手掌的关节特征点进行提取；并对视频中该帧图像中对手臂的关节特征点提取；

所述运动跟踪模块对手掌进行运动跟踪；

所述图像处理模块将采集所得的手势视频图像进行隔帧提取处理；

所述手势分析模块按上述的基于手势识别的演示系统控制方法对手势进行识别分析；

所述控制单元根据手势分析结果控制显示单元显示分析结果。

进一步的，所述手势识别模块还包括人脸识别单元。

本发明的有益效果是：该方法及系统可广泛应用于教学、会议等环境下，具有成本低廉、部署方便的优点。演示者可以在房间的各个方位控制演示文稿，受房间复杂环境的影响小。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明的流程图；

图2是本发明的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，本发明提供了一种基于手势识别的演示系统控制方法，包括以下步骤：

s1，采集用户手势视频图像。

s2，对所述视频图像进行处理，具体如下：

s2-1，建立坐标系：以用户的脊椎与双肩交点为原点建立笛卡尔空间坐标系，以用户的双肩为y轴，脊椎为z轴，用户的移动方向为x轴；

比如：设定用户水平向右为y轴的负半轴，以左为y轴的正半轴；以向前为x轴的正半轴，以向后为x轴的负半轴；以竖直向上为z轴的正半轴，以竖直向下为z轴负半轴。

s2-2，对视频中每帧图像中的用户的手掌的关节特征点进行提取。

s2-3，在每帧图像中对手臂的关节特征点提取并链接成段，在建立的笛卡尔空间坐标系中确定出每帧图像中手掌的位置坐标。当对手掌的位置进行定位时，以手掌心的坐标作为手掌的位置坐标。

具体为：第一、计算手臂与x、y、z轴的夹角；第二、计算手掌对相对x、y、z轴的距离；第三、最后利用该夹角和距离得到手掌的位置坐标，并保存。

s2-4，对手掌进行运动跟踪，在笛卡尔空间坐标系中描绘运动轨迹，建立运动矢量。

具体方法优选但不限于为：对手掌关节特征点以及手臂关节特征点的运动进行跟踪，在笛卡尔空间坐标系中描绘手掌关节特征点和手臂关节特征点运动轨迹，建立手掌关节特征点和手臂关节特征点的运动矢量，最后将手掌关节特征点和手臂关节特征点的运动矢量进行矢量融合，得到手掌的运动矢量，并保存其运动特征矩阵。

也可以直接采用自动视频跟踪模块对手掌进行运动跟踪。

s2-5，将获得的视频中每帧图像中的用户的手掌的关节特征点的坐标在卷积神经网络下进行训练，根据手掌上各关节特征点的相对关系来判断手形，并保存其特征矩阵，以方便区别用户不同的手的形状。也可以根据获得的各关节特征点的坐标来判断各个关节特征点之间的距离，特别是手指头之间的距离，设置阈值，当各个关节特征点之间的距离小于该阈值时，则判断为握拳；当各个关节特征点之间的距离大于该阈值时，则判断为开掌。

当为开拳状态时，维持翻页模式，即执行步骤s3，根据手掌的运动矢量控制演示系统翻页。

当手掌的运动矢量方向包含从y轴的负向到正向时，控制单元控制向上翻页；当手掌的运动矢量方向包含从y轴的正向到负向时，控制单元控制向下翻页。

当为握拳状态时，执行步骤s4：进入光标控制模式，光标跟随所述手掌的运动轨迹进行移动。

具体的，当两手掌均呈握拳状态进入目标选中模式，一手维持不动，另一手进行移动，根据移动的手的运动轨迹对目标内容进行选中，当两手皆移动时或只采集到一只手且为握拳状态时，为无效动作；当任一手掌呈开掌状态时，维持翻页模式，并根据开拳状态的手掌的运动矢量控制翻页，如果两只手掌皆为开掌状态，判断两只手掌的运动矢量方向是否一致，一致则根据运动矢量方向执行翻页；如果不一致，则对页面进行放大或缩小处理。

对人体腰部以下的手势识别视为无效识别，避免手臂自然下垂时对手势识别造成干扰。

在建立坐标系之前，将采集所得的手势视频图像进行隔帧提取处理，比如，将摄像头提取的30帧画面提取成15帧的画面流，降低计算机的运算量，提高运算的效率。

在建立坐标系之前，对视频中的人脸进行识别，寻找正确的用户，再对该用户建立坐标系。避免其他人的手势对手势识别结果产生干扰。

本实施例中的位置关系皆是在所建立的坐标系内而言。

本发明还提出了一种基于手势识别的演示控制系统，包括控制单元，还包括手势采集模块、手势识别模块和显示单元，所述手势采集模块采集用户手势视频图像，其输出端连接至所述手势识别模块，所述手势识别模块连接所述控制单元，所述控制单元与显示单元连接。

所述手势识别模块包括图像提取模块、运动跟踪模块、图像处理模块和手势分析模块。

其中，所述图像提取模块对视频中一帧图像中的用户的手掌的关节特征点进行提取；并对视频中该帧图像中对手臂的关节特征点提取。

所述运动跟踪模块对手掌进行运动跟踪。

所述图像处理模块将采集所得的手势视频图像进行隔帧提取处理。

所述手势分析模块按上述的基于手势识别的演示系统控制方法对手势进行识别分析。

所述控制单元根据手势分析结果控制显示单元显示分析结果。

为避免其他人的手势对手势识别结果产生干扰，所述手势识别模块还包括人脸识别单元，仅对通过人脸识别后的人体进行手势识别。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。