一种基于激光笔轨迹识别的人机交互系统及设计方法

1.本发明属于现代人机交互和图像处理研究技术领域，具体是一种基于激光笔轨迹识别的人机交互系统及设计方法。


背景技术：

2.现如今的多媒体教学，大体是指利用计算机和ppt等辅助工具开展的教学活动。但是，多媒体教学中的人机交互过程还存在许多需要解决的问题和缺陷。怎样才能让人机交互朝着更加人性化、智能化的方向发展，可以让演讲者从台上走到台下，脱离讲台的束缚，直接将信息传递给观众而不需要依靠其他因素，成为了当前迫在眉睫的问题。
3.近年来，针对人机交互的研究中，在智慧课堂方面应用较为成熟的包括激光笔和电子白板两大类，遥控激光笔自其产生到现在自始至终因为其便携小巧而且使用方便快捷，进而为多媒体课堂的教学贡献自己的不可或缺的力量。目前应用最为广泛的是第三代射频遥控激光笔，它是通过近年来发展良好的无线射频技术来实现相应的功能，消除了之前需要对准方向的限制，但在电磁干扰的情况下效果较差。就目前状况来看，遥控激光笔的功能包括指示，上下翻页以及退出全屏等功能，虽然可以实现基础教学过程的需求，但是却不能够满足不同老师的不同需求，若演讲者想要实现较为复杂的目的，使用激光笔就远远达不到想要的效果，因此如何将激光笔进行适当的扩展，使其能够增加许多相对复杂的功能，进而提高演讲者上课的效率，是本发明的核心并成功解决的问题。


技术实现要素：

4.为了方便教学，使其更加智能化、简洁化，本发明提供了一种基于激光笔轨迹识别的人机交互系统及人机交互方法，能够实现新型的交互式智慧教学，方便演讲者的操作，提高了课堂的效率。
5.实现本发明的技术方案如下:
6.一方面，本技术提供一种基于激光笔轨迹识别的人机交互系统，该系统包括：
7.图像采集模块，用于采集激光笔的轨迹图像；
8.图像处理模块，用于对所述轨迹图像进行预处理，识别出激光笔滑动轨迹并传输给轨迹匹配模块；
9.轨迹匹配模块存储控制命令数据库，所述数据库包含多组与激光笔滑动轨迹一一对应的控制命令；轨迹匹配模块调取与所接收的激光笔滑动轨迹对应的控制命令并传输给控制模块；
10.控制模块，根据接收的控制命令执行相应的控制动作。
11.进一步地，本发明所述图像处理模块内预设的神经网络模型，基于所述神经网络模型实现对激光笔滑动轨迹的识别，
12.进一步地，本发明所述图像处理模块对采集的图像进行预处理，所述预处理包括高斯滤波、阈值分割及形态学运算。
13.进一步地，本发明所述神经网络模型为三层的bp神经网络模型。
14.另一方面，本技术一种基于激光笔轨迹识别的人机交互系统的设计方法，该方法包括如下步骤：
15.利用激光笔在给定的投影屏幕或白板上画出多种特定的轨迹；
16.采集所述多种特定的轨迹，并将对每一帧图像进行预处理；
17.针对预处理后的图像，先采用帧间差分法对图像进行处理，初步判断出运动区域和目标光点的大致位置；在运动区域和目标光点的大致位置内，采用背景差分法对实时运动的光点坐标进行检测和识别；
18.将得到的光点坐标拟合成为平滑的曲线，得到不同轨迹；
19.创建练神经网络模型，将上述预处理后的图像作为神经网络的输入，将所得到的轨迹作为神经网络的输出，进行神经网络训练；
20.设置图像采集模块、图像处理模块、轨迹匹配模块和控制模块，其中所述图像处理模块中存储有训练完毕的神经网络模型，所述轨迹匹配模块中存储有与激光笔轨迹一一对应的控制命令。
21.进一步地，本发明所述预处理包括高斯滤波，阈值分割和形态学运算处理。
22.有益效果：
23.第一、本发明解决了演讲者受困于多媒体交互设备功能较为单一的限制，本发明人机交互系统，可以根据不同地区和课程老师的需求，制定出相对应的功能和手势并存储，可以满足所有老师授课习惯等，增强演讲质量和水平，并且系统具有扩展性和鲁棒性。
24.第二、本发明图像处理模块、轨迹匹配模块和控制模块采用计算机实现，因此本发明实现了将图像采集模块、计算机(用于实现)和激光笔的有机结合，将它们看做一个整体，相较于传统的使用智慧白板以及手势识别来说更具一体性，完整性。
25.第三、光点检测方面，本发明在研究主流算法的基础上，根据实现目标自身的特征，提出了背景差分法与帧间差分法相结合的方法，结合opencv的图像处理手段，有效的提高了光点识别准确率并实现了快速识别提取。
26.第四、轨迹识别方面，本发明采用的是三层的bp神经网络算法，利用训练集可以实现快速稳定的响应，而且识别的准确率高达95％，系统的鲁棒性和适应性都比较强。
27.第五、本发明是可以根据不同地区和课程老师的需求，制定出相对应的功能和手势，可以满足所有老师的条件。
附图说明
28.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
29.图1为人机交互系统的设计图；
30.图2为人机交互系统的流程图；
31.图3是kinect的基本结构图；
32.图4为运动光点的识别和检测示意图；
33.图5为曲线拟合的流程图；
34.图6为bp神经网络的模型图。
具体实施方式
35.下面结合附图对本发明实施例进行详细描述。
36.需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
37.需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
38.一方面，本技术实施例提供了一种基于激光笔轨迹识别的人机交互系统，如图1所示，该系统是建立在已有的智能白板和激光笔的基础之上，可以使课堂中老师不再被讲台所束缚，在教室的各个地方都能够通过简单的操作激光笔，从而经过图像采集模块和控制模块的处理识别，最终达到相应功能的实现，响应速度快，准确率高，具有一定的鲁棒性和适应性。该系统包括：图像采集模块、图像处理模块、轨迹匹配模块和控制模块；图像采集模块，用于采集激光笔的轨迹图像；图像处理模块，用于对所述轨迹图像进行处理，识别出激光笔滑动轨迹并传输给轨迹匹配模块；轨迹匹配模块存储控制命令数据库，所述数据库包含多组与激光笔滑动轨迹一一对应的控制命令；轨迹匹配模块调取与所接收的激光笔滑动轨迹对应的控制命令并传输给控制模块；控制模块，根据接收的控制命令执行相应的控制动作。
39.本实施例解决了演讲者受困于多媒体交互设备功能较为单一的限制，本发明人机交互系统，可以根据不同地区和课程老师的需求，制定出相对应的功能和手势并存储，可以满足所有老师授课习惯等，增强演讲质量和水平，并且系统具有扩展性和鲁棒性。
40.本技术又一实施例，图像处理模块内预设的神经网络模型，基于所述神经网络模型实现对激光笔滑动轨迹的识别。
41.在具体实施时，通过预先设定的神经网络模型对图像采集模块所采集的轨迹图像进行识别，可以快速识别出激光笔的轨迹。
42.本技术又一实施例，图像处理模块对采集的图像进行预处理，所述预处理包括高斯滤波、阈值分割及形态学运算。
43.本实施例通过对采集的图像进行预处理，将噪声信息和不需要的信息去除，以便神经网络模型可以更好识别出，输入图像的激光笔轨迹。
44.另一方面，本技术实施例一种基于激光笔轨迹识别的人机交互系统的设计方法，具体过程如图2所示：
45.步骤1：手持激光笔，在给定的投影屏幕或智能白板上画出多种特定的轨迹，例如轨迹可以是
△
、
□
或者
○
等等。本步骤所使用的特定的轨迹均不包括方向，大大降低了演讲
者的操作难度同时提高了准确率，且轨迹不仅限于
△
、
□
和
○
，所有满足线条简单轮廓明显的其他轨迹都可用于本技术中。
46.步骤2：实时拍摄投影屏幕上的画面并将视频传输给计算机。本实施例中可以采用kinect作为摄像机来对投影屏幕或智能白板进行实时拍摄以及传输，使得拍摄过程简单且图像具有良好的清晰度。用来识别的激光笔特征明显，便于查看和识别，而且价格低廉，容易购买，如图3所示。
47.步骤3：首先将kinect传输的视频按帧做预处理，把每一帧当做一个图像；预处理的内容包括高斯滤波，阈值分割和形态学运算处理；高斯滤波可以处理掉大量的背景信息，阈值分割可以将彩色图像先转化为灰度图像，进而转化为二值图像，形态学运算处理之后得到的图像，基本上没有空洞和毛刺。通过上述预处理，将噪点信息和不需要的信息去除，以为更好得到激光笔的轨迹。
48.步骤4：得到预处理后的图像，先采用帧间差分法对图像进行处理，初步判断出运动区域和目标光点的大致位置，而后采用背景差分法对实时的运动目标进行检测和识别，如图4所示。
49.本步骤在利用帧间差分法识别出运动区域和非运动区域之后，后续仅针对识别出的运动区域，利用背景差分法进行运动目标检测和识别的时候，该过程可以大大提升检测的效率。
50.步骤5：检测并提取实时的光点坐标，并存入二维数组中。
51.步骤6：利用最小二乘法，如图5所示，将得到的光点坐标拟合成为平滑的曲线(即激光笔的运动轨迹)。
52.步骤7：重复步骤1到步骤6，得到足够数量的不同轨迹的图片并保存。
53.步骤8：创建神经网络，将预处理后的图片当做输入进行神经网络的训练，神经网络的输出为激光笔的运动轨迹，得到训练完毕的神经网络。该步骤中所创建的神经网络可以为三层bp神经网络，如图6所示。
54.步骤9：设置图像采集模块、图像处理模块、轨迹匹配模块和控制模块，其中所述图像处理模块中存储有训练完毕的神经网络模型，所述轨迹匹配模块中存储有与激光笔轨迹一一对应的控制命令。
55.本技术实施例实质上是一种以激光笔的轨迹跟踪和识别为核心的一种人机交互系统的构建方法，其重点在于对于光点的实时检测识别和跟踪，以及轨迹的提取和识别。其中的kinect只是承担摄像机的作用，因此所有可以实现视频拍摄的单目、双目以及rgb相机均可以适用于本发明，而本发明所使用的神经网络算法也不是唯一的，类似机器学习的算法例如粒子群算法、差分进化算法和随机森林算法也同样适用于本发明，但是不同的相机以及算法对于最终结果的影响有所差异。本技术技术方案对于计算机的处理能力要求较低，可以广泛应用于各大主流课堂教学和演讲中。
56.演讲者利用本技术基于激光笔轨迹识别的人机交互系统进行操作时，演讲者只需要利用激光笔在白板或者投影屏幕上画出预要实现功能对应的激光笔轨迹，例如演讲者想要关闭当前屏幕上显示的内容时，该命令所对应的轨迹为圆形，此时图像采集模块采集演讲者画出的视屏轨迹，图像处理模块中的神经网络识别出该圆形轨迹，轨迹匹配模块从所存储的数据库中调取与所述圆形轨迹对应的控制命令
‑‑‑‑
关闭当前演讲屏幕的命令，控制
模块执行该命令关闭当前演讲屏幕。该系统能够满足演讲者在演讲过程中多中需求，以增强演讲的质量和水平。
57.以上公开的实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于所述的实施例；通过以上所述可知，本发明中的许多内容可作修改和替换，本实施例固定了某些取值只是为了更好地说明本发明的原理和应用，从而更易理解和运用；凡在本发明的技术方案的基础上所做的局部改动、等同替换、改进等均应包含在本发明的保护范围之内。