混合现实的教学环境、教师、教具互动系统及互动方法与流程

文档序号:19679314发布日期:2020-01-14 17:06阅读:来源:国知局

技术特征:

1.一种混合现实的教学环境互动系统,其特征在于,至少包括一个ar显示设备,所述ar显示设备根据真实环境的空间尺寸,提供用于显示覆盖于所述真实环境的真实地面、真实墙面和真实顶棚的不同教学环境相关内容选项的虚拟地面、虚拟墙面和虚拟顶棚,所述虚拟地面、所述虚拟墙面及所述虚拟顶棚组成一虚拟环境。

2.根据权利要求1所述的教学环境互动系统,其特征在于,所述ar显示设备包括一第一图像采集模块与一第一传感器模块;

所述第一图像采集模块,用于获取所述真实环境的图像信息;

所述第一传感器模块,用于获取所述ar显示设备的状态信息,以及相对于所述ar显示设备的所述真实环境的状态信息。

3.根据权利要求2所述的教学环境互动系统,其特征在于,所述第一图像采集模块包括一3d扫描仪或tof摄像头;

所述3d扫描仪或tof摄像头,用于采集所述真实环境内的图像信息、距离信息及尺寸信息,并根据所述图像信息、所述距离信息及所述尺寸信息来识别用户与所述真实环境的实时相对位置状态。

4.根据权利要求2所述的教学环境互动系统,其特征在于,所述第一传感器模块包括一角速度传感器、一陀螺仪或imu传感器;

所述角速度传感器,用于识别所述ar显示设备在所述真实环境内的旋转角度,并根据所述旋转角度计算得到所述ar显示设备在所述虚拟环境内的位置信息;

所述陀螺仪或imu传感器,用于识别所述ar显示设备在所述真实环境内的移动距离,并根据所述移动距离计算得到所述ar显示设备在所述虚拟环境内的所述位置信息。

5.根据权利要求1所述的教学环境互动系统,其特征在于,所述教学环境互动系统还包括一虚拟环境生成模块,所述虚拟环境生成模块用于根据所述真实环境建立与教学环境相关的所述虚拟环境,并将所述虚拟环境投射至所述ar显示设备中,并敷贴显示于所述真实环境的表面。

6.一种混合现实的教师互动系统,其特征在于,至少包括一个ar显示设备,所述ar显示设备根据真实教师的影像/图像,提供用于显示虚拟教师的影像/图像,用户通过使用所述ar显示设备与所述虚拟教师进行教学互动。

7.根据权利要求6所述的教师互动系统,其特征在于,所述ar显示设备包括一第二图像采集模块与一第二传感器模块;

所述第二图像采集模块,用于获取所述真实教师的影像/图像信息;

所述第二传感器模块,用于获取所述ar显示设备的状态信息,以及相对于所述ar显示设备的所述真实教师和/或虚拟教师的状态信息。

8.根据权利要求7所述的教师互动系统,其特征在于,所述第二图像采集模块包括一3d扫描仪或tof摄像头;

所述3d扫描仪或tof摄像头,用于采集所述真实教师的所述影像/图像信息,并根据所述影像/图像信息来识别所述真实教师的实时状态。

9.根据权利要求7所述的教师互动系统,其特征在于,所述第二传感器模块包括一角速度传感器、一陀螺仪或imu传感器;

所述角速度传感器,用于识别所述ar显示设备在所述真实环境内的旋转角度,并根据所述旋转角度计算得到所述ar显示设备在所述虚拟环境内的位置信息;

所述陀螺仪或imu传感器,用于识别所述ar显示设备在所述真实环境内的移动距离,并根据所述移动距离计算得到所述ar显示设备在所述虚拟环境内的所述位置信息。

10.根据权利要求6所述的教师互动系统,其特征在于,所述教师互动系统还包括一虚拟人物生成模块,所述虚拟人物生成模块用于根据所述真实教师建立所述虚拟教师,并将所述虚拟教师投射至所述ar显示设备中。

11.根据权利要求6所述的教师互动系统,其特征在于,所述教师互动系统还包括:

一手势识别模块,所述手势识别模块用于识别所述用户执行的手势动作;

一语音提示模块,所述语音提示模块用于根据触发条件触发所述虚拟教师对所述真实教具的信息进行讲解。

12.根据权利要求11所述的教师互动系统,其特征在于,所述教师互动系统还包括:

一语音识别模块,所述语音识别模块用于采集所述用户发出的语音信息,并根据所述语音信息查找对应的反馈内容;

所述语音提示模块,用于根据所述触发条件触发所述虚拟教师对所述真实教具和/或虚拟教具的信息进行讲解。

13.一种混合现实的教具互动系统,其特征在于,至少包括一个ar显示设备,所述ar显示设备根据真实教具,提供用于显示由所述真实教具触发的3d虚拟教具,用户通过使用所述ar显示设备与所述3d虚拟教具进行教学互动。

14.根据权利要求13所述的教具互动系统,其特征在于,所述ar显示设备包括一第三图像采集模块与一第三传感器模块;

所述第三图像采集模块,用于获取所述真实教具的图像信息;

所述第三传感器模块,用于获取所述ar显示设备的状态信息,以及相对于所述ar显示设备的所述真实教具和/或3d虚拟教具的状态信息。

15.根据权利要求14所述的教具互动系统,其特征在于,所述第三图像采集模块包括一3d扫描仪或tof摄像头;

所述3d扫描仪或tof摄像头,用于采集所述真实教具的图像信息,并根据所述图像信息来识别所述真实教具的实时状态。

16.根据权利要求14所述的教具互动系统,其特征在于,所述第三传感器模块包括一角速度传感器、一陀螺仪或imu传感器;

所述角速度传感器,用于识别所述ar显示设备在所述真实环境内的旋转角度,并根据所述旋转角度计算得到所述ar显示设备在所述虚拟环境内的位置信息;

所述陀螺仪或imu传感器,用于识别所述ar显示设备在所述真实环境内的移动距离,并根据所述移动距离计算得到所述ar显示设备在所述虚拟环境内的所述位置信息。

17.根据权利要求13所述的教具互动系统,其特征在于,所述教具互动系统还包括一虚拟教具生成模块,所述虚拟教具生成模块用于根据所述真实教具触发建立所述3d虚拟教具,并将所述3d虚拟教具投射至所述ar显示设备中;

所述虚拟教具生成模块还用于根据用户的真实手模型触发建立虚拟手模型,并将所述虚拟手模型投射至所述ar显示设备中。

18.根据权利要求17所述的教具互动系统,其特征在于,所述教具互动系统还包括:

一红外感应模块,所述红外感应模块用于感应所述真实手模型的手势信息,并根据所述手势信息判断所述虚拟手模型的执行动作。

19.根据权利要求13所述的教具互动系统,其特征在于,所述教具互动系统还包括:

一手势同步模块,所述手势同步模块用于识别真实教师对所述3d虚拟教具执行的手势动作,并将所述手势动作同步到其他所述ar显示设备中;

一语音同步模块,所述语音同步模块用于采集所述真实教师讲解的语音信息,并将所述语音信息同步到其他所述ar显示设备中。

20.根据权利要求13所述的教具互动系统,其特征在于,所述教具互动系统还包括至少一个教师控制端和/或至少一个学生控制端,当地或者远程的所述真实教师通过所述教师控制端连接所述ar显示设备,并与每个所述学生控制端进行互动。

21.根据权利要求20所述的教具互动系统,其特征在于,所述教师控制端包括:

一存储模块,所述存储模块用于预先存储课程学习视频、考试测评习题、游戏项目及教学资源;

一创建模块,所述创建模块用于根据所述课程学习视频、所述考试测评习题、所述游戏项目及所述教学资源,以创建教学课程、游戏项目及测试项目;

一管理模块,所述管理模块用于分别对所述教学课程、所述游戏项目及所述测试项目进行编辑、添加、删除及修改。

22.根据权利要求21所述的教具互动系统,其特征在于,所述教具互动系统还包括一云端;

所述云端分别通信连接,或者通过网络设备分别通信连接至少一个所述ar显示设备。

23.一种混合现实的教学环境互动方法,其特征在于,包括以下步骤:

步骤s10、ar显示设备根据真实环境的空间尺寸,提供用于显示覆盖于所述真实环境的真实地面、真实墙面和真实顶棚的不同教学环境相关内容选项的虚拟地面、虚拟墙面和虚拟顶棚,所述虚拟地面、所述虚拟墙面及所述虚拟顶棚组成一虚拟环境。

24.根据权利要求23所述的教学环境互动方法,其特征在于,于所述步骤s10包括:

步骤s100、采集所述真实环境内的图像信息、距离信息及尺寸信息,并根据所述图像信息、所述距离信息及所述尺寸信息来识别用户与所述真实环境的实时相对位置状态。

25.根据权利要求23所述的教学环境互动方法,其特征在于,于所述步骤s10包括:

步骤s101、识别所述ar显示设备在所述真实环境内的旋转角度,并根据所述旋转角度计算得到所述ar显示设备在所述虚拟环境内的位置信息;

步骤s102、识别所述ar显示设备在所述真实环境内的移动距离,并根据所述移动距离计算得到所述ar显示设备在所述虚拟环境内的所述位置信息。

26.根据权利要求23所述的教学环境互动方法,其特征在于,于所述步骤s10还包括:

步骤s103、根据所述真实环境建立与教学环境相关的所述虚拟环境,并将所述虚拟环境投射至所述ar显示设备中,并敷贴显示于所述真实环境的表面。

27.一种混合现实的教师互动方法,其特征在于,包括以下步骤:

步骤s20、ar显示设备根据真实教师的影像/图像,提供用于显示虚拟教师的影像/图像,用户通过使用所述ar显示设备与所述虚拟教师进行教学互动。

28.根据权利要求27所述的教师互动方法,其特征在于,于所述步骤s20包括:

步骤s201、采集所述真实教师的影像/图像信息,并根据所述影像/图像信息来识别所述真实教师的实时状态。

29.根据权利要求27所述的教师互动方法,其特征在于,于所述步骤s20包括:

步骤s202、识别所述ar显示设备在所述真实环境内的旋转角度,并根据所述旋转角度计算得到所述ar显示设备在所述虚拟环境内的位置信息;

步骤s203、识别所述ar显示设备在所述真实环境内的移动距离,并根据所述移动距离计算得到所述ar显示设备在所述虚拟环境内的所述位置信息。

30.根据权利要求27所述的教师互动方法,其特征在于,于所述步骤s20包括:

步骤s204、根据所述真实教师建立所述虚拟教师,并将所述虚拟教师投射至所述ar显示设备中。

31.根据权利要求27所述的教师互动方法,其特征在于,于所述步骤s20包括:

步骤s205、识别所述用户执行的手势动作;

步骤s206、根据触发条件触发所述虚拟教师对所述真实教具的信息进行讲解。

32.根据权利要求27所述的教师互动方法,其特征在于,于所述步骤s20还包括:

步骤s207、采集所述用户发出的语音信息,并根据所述语音信息查找对应的反馈内容;

步骤s208、根据触发条件触发所述虚拟教师对所述真实教具或虚拟教具的信息进行讲解。

33.一种混合现实的教具互动方法,其特征在于,包括以下步骤:

步骤s30、ar显示设备根据真实教具,提供用于显示由所述真实教具触发的3d虚拟教具,用户通过使用所述ar显示设备与所述3d虚拟教具进行教学互动。

34.根据权利要求33所述的教具互动方法,其特征在于,于所述步骤s30包括:

步骤s300、采集所述真实教具的图像信息,并根据所述图像信息来识别所述真实教具的实时状态。

35.根据权利要求33所述的教具互动方法,其特征在于,于所述步骤s30还包括:

步骤s301、识别所述ar显示设备在所述真实环境内的旋转角度,并根据所述旋转角度计算得到所述ar显示设备在所述虚拟环境内的位置信息;

步骤s302、识别所述ar显示设备在所述真实环境内的移动距离,并根据所述移动距离计算得到所述ar显示设备在所述虚拟环境内的所述位置信息。

36.根据权利要求33所述的教具互动方法,其特征在于,于所述步骤s30还包括:

步骤s303、根据所述真实教具触发建立所述3d虚拟教具,并将所述3d虚拟教具投射至所述ar显示设备中;

步骤s304、根据用户的真实手模型触发建立虚拟手模型,并将所述虚拟手模型投射至所述ar显示设备中。

37.根据权利要求33所述的教具互动方法,其特征在于,于所述步骤s30包括:

步骤s305、感应所述真实手模型的手势信息,并根据所述手势信息判断所述虚拟手模型的执行动作。

38.根据权利要求33所述的教具互动方法,其特征在于,于所述步骤s30还包括:

步骤s306、识别真实教师对所述3d虚拟教具执行的手势动作,并将所述手势动作同步到其他所述ar显示设备中;

步骤s307、采集所述真实教师讲解的语音信息,并将所述语音信息同步到其他所述ar显示设备中。

39.根据权利要求33所述的教具互动方法,其特征在于,于所述步骤s30还包括:

步骤s308、所述ar显示设备预先存储课程学习视频、考试测评习题、游戏项目及教学资源;

步骤s309、所述ar显示设备根据所述课程学习视频、所述考试测评习题、所述游戏项目及所述教学资源,以创建教学课程、游戏项目及测试项目;

步骤s310、所述ar显示设备分别对所述教学课程、所述游戏项目及所述测试项目进行编辑、添加、删除及修改。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1