一种多媒体互动教学控制系统及教学控制方法
【专利摘要】本发明提供一种多媒体互动教学控制系统及教学控制方法，包括：数据采集模块：采集视频流；其特征在于，还包括：抠像模块：对采集到的视频流进行处理，将感兴趣的运动目标提取出来，获取前景图像；影像合成模块：将获取的前景图像用异形窗口的形式在所有窗口的最前端实时显示；影像传输及实时显示模块：将教师机上的含有合成影像的异形窗口通过网络实时传输到学生机并进行实时显示。本系统通过摄像头获取教师讲课画面，通过网络实时传输给抠像模块进行前景人物图像的提取，通过影像合成模块将提取出的前景人物图像以异形窗口的形式与教师机正在播放的课件叠加，在教师机实时显示，同时将合成的影像以视频流的形式通过网络实时传输给学生机，教师“钻”进电脑里。
【专利说明】一种多媒体互动教学控制系统及教学控制方法
【技术领域】
[0001] 本发明涉及多媒体教学领域，具体地讲，涉及一种多媒体互动教学控制系统及教 学控制方法。
【背景技术】
[0002] 多媒体是信息化的体现，也是社会发展的趋势，信息化的水平已经成为衡量一个 国家现代化水平和综合国力的重要标准，多媒体教育是信息化的一个部分，大力促进多媒 体教育已成为教育发展的潮流。
[0003] 教学中使用多媒体技术，有利于提高教师的专业水平，有利于教师整合教学资源。 多媒体教学技术能弥补传统教学中的不足，是新型的科学教学技术。
[0004] 现有大部分的多媒体教学系统虽然在功能方面已经比较齐全，但上课学生看电脑 的时候看不到教师的表情、动作、肢体语言，因此会遗漏老师的肢体表达信息，除此之外，其 互动性及趣味性也较差。
[0005] 从采集的视频流中提取出效果比较好的前景人物图像是本系统的关键，为了提取 效果较好的前景，需要找到好的抠像算法。
[0006]目前抠像技术主要有蓝箱、绿箱及背景移除。蓝箱、绿箱对环境要求较高，需要搭 建纯色背景以及灯光；背景移除需要场景稳定，即摄像头画面中只有教师能动，但是对环境 要求低。
[0007] 现有的背景移除算法有帧差法、背景建模发和光流法。帧差法虽简单，但是提取出 的运动目标存在空洞；背景建模方法对背景中存在规律运动性的背景效果好，但是并不能 保证提取的运动目标不会存在空洞；光流法因其计算量大很少采用，这三种算法都有不足。 此为现有技术的不足之处。
【发明内容】
：
[0008] 本技术方案要解决的技术问题是提供一种多媒体互动教学控制系统及教学控制 方法，提高了课堂的趣味性，创新了教学模式，达到了更好的教学效果。
[0009] 本发明通过如下技术手段实现发明目的：
[0010] 一种多媒体互动教学控制系统，包括：
[0011] 数据采集模块：采集视频流；其特征在于，还包括：
[0012] 抠像模块：对采集到的视频流进行处理，将感兴趣的运动目标提取出来，获取前景 图像；
[0013] 影像合成模块：将获取的前景图像用异形窗口的形式在所有窗口的最前端实时显 示；
[0014] 影像传输及实时显示模块：将教师机上的含有合成影像的异形窗口通过网络实时 传输到学生机并进行实时显示。
[0015] 互动控制模块：对采集到的视频流进行处理，通过图像识别技术识别人物的轮廓 并计算轮廓的中心点及凸包点从而确定手的位置，然后根据手的停留时间判断指令，从而 做出相应的响应动作。
[0016] 本发明还公开了一种多媒体互动教学控制方法，包括：
[0017] (1)利用摄像头进行数据采集，获取视频流；其特征是：
[0018] 还包括如下步骤：
[0019] (2)对采集的视频流进行处理，将感兴趣的运动目标提取出来，获取前景图像； (3)将获取的前景图像用异形窗口的形式在所有窗口的最前端实时显示；
[0020] (4)将教师机上的含有合成影像的异形窗口通过网络实时传输到学生机并进行实 时显示。
[0021] (5)对采集的视频流进行处理，识别视频流中人物的轮廓，确定手的位置，根据手 的停留时间触发相应的操作。
[0022] 作为对本技术方案的进一步限定，所述步骤（2)包括如下步骤：
[0023] (2. 1)从视频流中选取一张无人和运动物体的图像作为背景图像；
[0024] (2. 2)选择混合颜色空间中的不同颜色通道；
[0025] (2. 3)获取摄像头当前帧图像，根据步骤（2. 2)选择的颜色通道，分离出当前帧图 像和步骤（2. 1)中获取的背景图像中相对应的各颜色通道；
[0026] (2. 4)当前帧图像进行运动检测，判断是否为所要检测的运动目标，若为检测的运 动目标，则提取到该通道的前景，否则提取不到该通道的前景图像；
[0027] (2. 5)将步骤（2. 4)中获取的各颜色通道提取的前景图像进行或运算，得到效果 较好的前景图像；
[0028] (2. 6)根据步骤（2. 5)计算得到的前景图像和当前帧的彩色图像进行掩码计算， 得到彩色的前景图像；
[0029] (2. 7)重复步骤（2. 3)-(2. 6)，得到实时的前景图像，以视频流的形式输出。
[0030] 作为对本技术方案的进一步限定，所述步骤（2. 3)包括如下步骤：
[0031] 设定L(x，y)为当前帧图像在某一颜色通道上的像素灰度值，设定B(x，y)为背景 图像在某一颜色通道上的像素灰度值，设定d为前景图像在某一颜色通道上的像素灰度 值，DB(X，y)为前景图像二值化以后的像素灰度值，T为设定的阀值，有：
[0032]
【权利要求】
1. 一种多媒体互动教学控制系统，包括： 数据采集模块：采集视频流；其特征在于，还包括： 抠像模块：对采集到的视频流进行处理，将感兴趣的运动目标提取出来，获取前景图 像； 影像合成模块：将获取的前景图像用异形窗口的形式在所有窗口的最前端实时显示； 影像传输及实时显示模块：将教师机上的含有合成影像的异形窗口通过网络实时传输 到学生机并进行实时显示。 互动控制模块：对采集到的视频流进行处理，通过图像识别技术识别人物的轮廓并计 算轮廓的中心点及凸包点从而确定手的位置，然后根据手的停留时间判断指令，从而做出 相应的响应动作。
2. -种多媒体互动教学控制方法，包括： (1) 利用摄像头进行数据采集，获取视频流；其特征是： 还包括如下步骤： (2) 对采集的视频流进行处理，将感兴趣的运动目标提取出来，获取前景图像； (3) 将获取的前景图像用异形窗口的形式在所有窗口的最前端实时显示； (4) 将教师机上的含有合成影像的异形窗口通过网络实时传输到学生机并进行实时显 不〇 (5) 对采集的视频流进行处理，识别视频流中人物的轮廓，确定手的位置，根据手的停 留时间触发相应的操作。
3. 根据权利要求2所述的多媒体互动教学控制方法，其特征在于，所述步骤（2)包括如 下步骤： (2. 1)从视频流中选取一张无人和运动物体的图像作为背景图像； (2. 2)选择混合颜色空间中的不同颜色通道； (2.3)获取摄像头当前帧图像，根据步骤（2.2)选择的颜色通道，分离出当前帧图像和 步骤（2. 1)中获取的背景图像中相对应的各颜色通道； (2. 4)当前帧图像进行运动检测，判断是否为所要检测的运动目标，若为检测的运动目 标，则提取到该通道的前景，否则提取不到该通道的前景图像； (2.5) 将步骤（2.4)中获取的各颜色通道提取的前景图像进行或运算，得到效果较好 的前景图像； (2.6) 根据步骤（2.5)计算得到的前景图像和当前帧的彩色图像进行掩码计算，得到 彩色的前景图像； (2. 7)重复步骤（2. 3)-(2. 6)，得到实时的前景图像，以视频流的形式输出。
4. 根据权利要求3所述的多媒体互动教学控制方法，其特征在于，所述步骤（2. 3)包括 如下步骤： 设定L(x，y)为当前帧图像在某一颜色通道上的像素灰度值，设定B(x，y)为背景图 像在某一颜色通道上的像素灰度值，设定d为前景图像在某一颜色通道上的像素灰度值， DB(x，y)为前景图像二值化以后的像素灰度值，T为设定的阀值，有：
若d> =T，则判定为需要检测的运动目标，可以提取到该通道的前景图像， 若d〈T，则提取不到该通道的前景图像。
5. 根据权利要求2所述的多媒体互动教学控制方法，其特征在于，所述步骤（3)包括如 下步骤： (3. 1)创建主控窗口； (3.2) 主控窗口控制创建异形窗口； (3.3) 以异形窗口的形式实时显示前景图像。
6. 根据权利要求5所述的多媒体互动教学控制方法，其特征在于，所述步骤（3. 1)包括 如下步骤： (3. 1. 1)设置主控窗口大小及风格； (3. 1.2)设置主控窗口功能模块；
7. 根据权利要求5所述的多媒体互动教学控制方法，其特征在于，所述步骤（3. 2)包括 如下步骤： (3.2. 1)异形窗口实时获取彩色的前景图像，作为异形窗口的背景位图； (3. 2. 2)检查背景位图的像素颜色，进行透明区域处理，当某一区域像素颜色属于事先 设定的透明区范围时，将此区域设定为透明区域，并从完整的区域中剪裁掉； (3. 2. 3)透明区域裁剪结束，完整的前景人物图像以异形窗口的形式实时显示。
8. 根据权利要求2所述的多媒体互动教学控制方法，其特征在于，所述步骤（5)包括如 下步骤： (5. 1)打开摄像头获取背景，在无人的环境下，提取一幅比较纯净的图像作为背景； (5.2)获取当前帧图像，提取人物前景的灰度图像； 具体步骤为：设定L(x，y)为当前帧图像的像素灰度值，B(x，y)为背景图像的像素灰度 值，D(x，y)为前景图像的像素灰度值则有：
(5. 3)对灰度图像进行阈值计算，得到二值图像； 具体步骤为：假设f(x，y)为灰度图像中某一点的像素值，d(x，y)为二值图像中某一点
(5. 4)边缘梯度计算，检测到到人物的轮廓； (5. 5)确定手的位置，具体步骤为： 根据步骤（5.4)中检测到的人物轮廓，计算轮廓的中心点和轮廓的凸包点，根据得到 的轮廓中心点和凸包点，分别计算在x方向和y方向上凸包点到轮廓中心点的距离，如果x 方向的距离大于y方向上的距离，那么该凸包点位置就认为是手指的位置； (5.6)重复步骤（5. 2)-(5. 5)，获取实时的手的位置数据； (5. 7)触发响应事件进行事件响应，具体包括： gl事件的触发，当连续3帧图像手指的位置都在一定的小范围内，那么就认为手指的 位置在连续3帧之内位置没变，就触发点击事件； g2根据当前图像的大小和桌面屏幕的分辨率进行转换，将手指在图像中的位置转换为 桌面鼠标点击的位置，这样就可以实现手指位置到鼠标的点击响应位置的转换，位置转换 公式具体为： 假设图像尺寸大小为（PicWidth，PicHight)，桌面屏幕分辨率为（ScreenX，ScreenY)，手指在图像中的位置为（PicX，PicY)，桌面鼠标的点击位置为（x，y)，则有：
9.根据权利要求8所述的多媒体互动教学控制方法，其特征在于，所述步骤（5. 5)包括 如下步骤： 计算轮廓凸包点的具体步骤为： 假设组成轮廓的点集为S，取集合中的任意两点p(Xl，yi)和p(x2,y2)，则这两点组成的 直线为：ax+by=c，其中，a=y2_yi，b=x2_Xi，c=x^-yA，将点集中的其他所有的点分 别带入直线方程ax+by=c，若表达式的符号相同，都〉c或者都<c，则表示上述两点为该轮 廓的凸包点，否则便不是凸包点， 对轮廓的每对顶点进行检测，找到所有的凸包点； 计算轮廓中心点的具体步骤为： 遍历轮廓上所有的点，获取点的总个数，提取各点的坐标值； N=EX1 求所有点坐标的平均值，得到轮廓的中心点
其中，轮廓点总个数为N，各点坐标值为mtx(x,y)，中心点坐标为M(x,y)。
【文档编号】G06F3/01GK104484040SQ201410814274
【公开日】2015年4月1日 申请日期:2014年12月23日 优先权日:2014年12月23日
【发明者】陈清奎 申请人:山东建筑大学