一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法

本发明涉及教学系统，尤其涉及到一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法。

背景技术：

1、翻转课堂作为一种高效、便利、灵活的课堂教学模式，沉浸式翻转课堂教学系统利用vr技术的沉浸性、交互性、想象性和智能性的特征，构建超越屏幕限制的教学空间，创设具备高度沉浸感、自然高效的交互方式和视听效果的新型情境化教学环境。使用虚拟化身作为师生在虚拟教学环境中的代表，可提高学习者的专注度和参与感，有助于激发学习兴趣。借助沉浸式翻转课堂教学系统，在虚拟教学资源中引入不同功能的虚拟化身，教师能够创设不同的虚拟教学情境，开展课前备课、课中讲解、答疑和交流，课后考核等教学活动；学习者能够课前自主预先，课中提问、展示和讨论，课后复习等教学活动，但是传统的翻转课堂教学模式缺乏针对性，无法满足不同学生的学习需求和偏好。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供了一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法，相比于现有技术，本发明中的公开的方案中可以针对不同类型的用户提供个性化的教学。

2、本发明是通过以下技术方案实现的：本发明公开一种基于多虚拟化身的沉浸式翻转课堂教学系统，包括第一交互系统和头戴式显示系统，头戴式显示系统向用户提供vr场景，第一交互系统对头戴式显示系统所提供的vr场景进行监控和反馈；

3、vr场景包括虚拟教师和虚拟课堂，虚拟教师对虚拟课堂的内容进行互动讲解，虚拟教师构件的方法包括：

4、构建虚拟化身数据库；

5、对用户的特征进行检测，输出检测的结果

6、依据检测的结果从虚拟化身数据库中构建虚拟化身；

7、虚拟化身对学习内容和用户的学习状态进行监视；

8、依据监视的内容，虚拟化身对用户进行互动反馈。

9、具体的，vr场景包括虚拟教师和虚拟课堂。虚拟教师是一个虚拟实体，能够根据用户的学习偏好进行互动讲解，提供个性化的学习体验。虚拟教师可以通过声音，展示文字、图像等多种形式与用户进行互动，根据用户的学习状态和反馈进行灵活的教学策略调整。虚拟教师还具备对学习内容的理解能力，能够根据学习内容的特点进行有针对性的讲解和引导。

10、虚拟教师的构建过程包括以下步骤：构建虚拟化身数据库、对用户的特征进行检测并输出检测结果、依据检测结果从虚拟化身数据库中构建虚拟化身。

11、教学系统对用户的特征进行检测主要包括对其语音、文字、面部表情、肢体动作等进行分析，这些特征可以通过智能传感器和识别算法进行实时检测和识别，并将结果输出。

12、最后，虚拟化身对学习内容和用户的学习状态进行监视，并根据监视的内容对用户进行互动反馈，这种反馈可以是及时的提醒、讲解、答疑解惑，也可以是根据学习内容的特点进行有针对性的引导和辅助。这种互动反馈机制能够有效地提高用户的学习效果和体验质量。

13、优选地，虚拟化身数据库包括外貌特征、性格特征、服装特征、声音特征和知识储备特征中的一种或多种；

14、用户的特征检测的步骤包括：

15、s100：对用户的语音、文字、面部表情、肢体动作进行实时的判断；

16、s200：用户的身体状态、知识水平检测结果、性格测试结果上传至云端；

17、s300：校园教师将相关用户性别、年龄、学习风格的判断结果上传至云端

18、s400：结合步骤s100和s300的内容，输出用户的特征以匹配学习偏好，依据学习偏好确定用户特征。

19、具体的，虚拟化身数据库是一个包含多种虚拟化身的资料库，每个虚拟化身都具有不同的外貌特征、性格特征、服装特征、声音特征和知识储备特征等。这些特征可以按照一定的规律进行组合，形成各种不同类型的虚拟化身，以满足不同用户的学习偏好。

20、对于用户的特征检测步骤，包括对用户的语音、文字、面部表情、肢体动作进行实时的判断，以及将用户的身体状态、知识水平检测结果、性格测试结果上传至云端。这些数据能够通过智能传感器和识别算法进行实时检测和识别，并通过云端进行存储和分析。

21、接下来，校园教师将相关用户性别、年龄、学习风格的判断结果上传至云端。这些数据能够帮助系统更加准确地匹配用户的学习偏好，并选择出最适合的虚拟化身进行构建。

22、最后，结合步骤s100和s300的内容，输出用户的特征以匹配学习偏好，依据学习偏好确定用户特征，这个步骤是整个特征检测过程的关键，它能够将用户的各种特征进行综合分析，并根据学习偏好来确定最合适的学习内容和策略，通过上述的方案，不仅提供了逼真的学习环境和个性化的学习体验，而且优化了学习过程和反馈机制，能够有效地提高用户的学习效果和体验质量。

23、优选地，用户的学习状态包括用户的面部表情、用户的肢体动作、用户的语音和用户的文字输入；

24、互动反馈的步骤包括：

25、依据监视的内容识别用户是否出现异常状态；

26、当识别到异常状态，虚拟化身对用户进行提醒；

27、其中，异常状态为用户不利于学习的语言、表情或肢体动作以及不规范的肢体动作。

28、具体而言，用户的面部表情和肢体动作可以反映出他们的情绪状态和学习投入程度，例如，积极的表情通常表示他们对学习内容感到兴趣和兴奋；而消极的表情可能表示他们感到困惑或无聊。

29、用户的语音和文字输入则可以反映他们的学习进度和理解程度。例如，系统可以通过语音识别技术对用户的发音和语调进行分析，从而评估他们的口语表达能力；而通过文字输入，用户可以与虚拟教师进行沟通和交互，系统可以从中了解用户的学习需求和问题。

30、在了解用户的学习状态后，互动反馈的步骤将根据监视的内容识别用户是否出现异常状态。这里的异常状态包括用户使用不利于学习的语言、表情或肢体动作，或者进行不规范的肢体动作。例如，如果用户出现明显的困倦或分心的表现，系统可以识别出这些异常状态，并及时提醒或纠正他们。

31、优选地，第一交互系统包括：

32、第一支架，第一支架布置有支撑面，支撑面靠近用户头部布置；

33、显示设备，显示设备安装于第一支架支撑面；

34、下肢感测系统，下肢感测系统对用户下肢状态进行检测，这个系统可以通过传感器和算法实时检测用户的步行状态、姿势等，并将这些信息反馈给系统其他部分，用于对虚拟人物的步态进行同步；

35、上肢感测系统，上肢感测系统对用户的上肢状态进行检测；

36、其中，显示设备显示头戴式显示系统向用户提供的vr场景，用户将能够通过头戴式显示器看到虚拟教师和虚拟课堂，并且通过下肢感和上肢感测系统的反馈，虚拟教师可以根据用户的状态进行互动讲解，且外部人员可以从显示设备上了解学生具体的观看内容。

37、优选地，第一交互系统还包括物理反馈系统，物理反馈系统的结构包括；

38、第一支撑平台，第一支撑平台支撑第一支架和用户；

39、升降构件，升降构件布置有三个，第一端位于第一支撑平台表面布置，且升降构件长度改变时，升降构件第二端与第一支撑平台之间的距离发生改变；

40、第二支撑平台，第二支撑平台接触升降构件的第二端，第一支撑平台和第二支撑平台之间相对布置；

41、其中，三个升降构件的位置呈三角状布置，第二支撑平台上布置有用户双脚放置位置处，且布置有二个升降构件位于用户双脚位置处，同时，第二支撑平台上还布置有用户双脚放置位置处，这使得用户在虚拟环境中行动更加稳定。而且，有二个升降构件位于用户双脚位置处，这样可以帮助系统更准确地检测和反馈用户的下肢状态信息，通过上述的物理反馈系统，用户可以与虚拟的场景进行互动。

42、优选地，物理反馈系统依据虚拟课堂的教学内容对用户进行反馈，反馈的步骤包括：

43、教学内容出现用户选择的情景，选择的情景包括左右二个选项；

44、用户将身体进行倾斜，通过倾斜的方向选择左右选项；

45、当感知到用户身体倾斜时，对应方位的升降构件的高度发生改变；

46、例如，一情景中，当用户在学习英语单词时，仅仅通过文字描述来记忆单词可能会比较抽象和难以理解。如果结合图片，通过视觉和文字两种方式来呈现单词的含义和应用场景，可以更直观地帮助用户理解单词。而调节倾斜级数可以帮助将单词与图片结合起来，提供更加沉浸式的学习体验。

47、例如，当用户学习“dog”这个单词时，可以通过弯曲不同的腿部，选择左右倾斜的方向，而此时对应的用户脚位置处的升降构件的高度发生改变，使用户身体发生倾斜，当用户将身体倾斜到一个角度时，图片中的动物也会相应地朝向用户，让用户更加真实地感受到单词的含义和对应的应用场景。当用户选择了正确的图片时，升降构件恢复成初始状态，用户身体重新平衡，这种互动方式可以增加学习的趣味性，也使得用户记忆更加深刻。

48、除了图片和单词的结合，调节倾斜级数还可以实现其他形式的交互和体验。例如，在学习语法和句型时，可以通过调节倾斜级数，将语法和句型与虚拟场景进行结合。例如，当用户学习“疑问句”这个句型时，可以通过调节倾斜级数，将虚拟人物之间的对话呈现出来，让用户更加真实地感受到疑问句的语气和用法。

49、和/或，

50、反馈的步骤包括：

51、识别到用户处于异常状态；

52、升降构件高度发生改变，使用户的身体发生倾斜；

53、例如，当系统检测到用户出现一些不利于学习的行为，比如打瞌睡、与外部人员长时间交谈等，就将其定义为异常状态。这种识别是基于用户在学习过程中的各种行为和状态进行实时监测和分析得到的。

54、一旦识别到用户处于异常状态，系统就会进入下一步操作，升降构件高度发生改变，使用户的身体发生倾斜：这是反馈机制的一部分，目的是将用户的身体姿势调整到更有利于学习的状态。具体来说，当系统检测到用户处于异常状态时，会通过升降构件的高度改变来对用户的身体姿势进行调整。例如，如果用户打瞌睡，升降构件的高度可能会降低，使得第二支撑平台上升，从而提醒用户保持清醒并恢复到正确的观察角度，这种反馈机制可以在很大程度上提高用户的学习效率，同时也能避免对用户的身体造成伤害。

55、和/或，

56、反馈的步骤包括：

57、识别到用户所处环境中的危险因素；

58、升降构件的高度发生改变，使用户的身体发生倾斜；

59、其中，识别到危险因素的倾斜程度大于识别到用户异常状态的倾斜程度。

60、当系统检测到用户所处环境中可能存在的危险因素，如突然出现的障碍物、突发的自然灾害或其他突发情况时，就将其定义为危险因素。

61、一旦识别到用户所处环境中的危险因素，系统就会进入下一步操作，升降构件的高度发生改变，使用户的身体发生倾斜：这是反馈机制的一部分，目的是将用户的身体姿势调整到更有利于应对危险的状态。具体来说，当系统检测到用户所处环境中的危险因素时，会通过升降构件的高度改变来对用户的身体姿势进行调整以警示用户周边环境发生危险因素，识别到危险因素的倾斜程度大于识别到用户异常状态的倾斜程度，用户在此倾斜的状态下无法正常学习，以强制使用户脱离vr情景。

62、本发明还公开一种基于多虚拟化身的沉浸式翻转课堂教学系统工作方法，通过教学系统进行执行，工作方法包括步骤：

63、制定教学目标，依据教学目标准备教学视频素材进行上传；

64、学生通过教学系统自主进行学习和交流，教学系统向校园教师反馈用户的学习状态和成果，例如学生的学习进度、成绩表现等，并将这些信息反馈给校园教师；

65、校园教师依据反馈的学习状态和成果，对用户学习过程中的问题进行指导，校园教师可以通过系统了解每个学生的学习情况，针对性地提供个性化的辅导和指导。例如，对于学习进度较慢的学生，教师可以给予更多的学习资源和指导；对于学习成绩优秀的学生，教师可以提供更高级别的学习资源和挑战；

66、用户基于虚拟教师以及校园教师的指导，对学习内容的成果进行展示，教师是该教学系统中的重要角色，可以根据学生的学习需求和状态提供个性化的指导和反馈。同时，用户也可以通过系统展示自己的学习成果，例如完成特定的习题、进行虚拟实验等。

67、这种工作方法可以有效地提高学生的学习效果和体验质量它通过为学生提供沉浸式的学习体验和个性化的指导服务来激发学生的学习动力和创造性思维它也能够有效地提升学生的学习成果和能力提升相较于传统的教学模式它更具有灵活性和适应性可以满足不同学生的学习需求和个性发展。

68、此外，该方法还可以提高校园教师的工作效率和教学质量。通过教学系统的自动分析和反馈，教师可以更准确地了解学生的学习状态和需求，从而针对性地提供有效的指导和资源支持。同时，教师还可以通过系统与学生进行实时的互动交流，及时解决学生的学习问题并给予学生更多的支持和鼓励。

69、优选地，对学习内容的成果进行展示的步骤包括：

70、用户在课上展示自己的技术学习成果，这一步骤学习者对学习内容的直接展示，可以理解为是一种自我表达和交流的过程。通过这个过程，学习者能够将自己所学的技术知识和技能以实体的形式展现出来，而教师则可以通过观察学习者的展示，了解他们的学习情况；

71、虚拟教师反馈用户的学习问题，教师根据展示的成果发现学习问题，在这个步骤中，虚拟教师通过分析学习者的展示，可以发现他们在技术学习上的问题，例如知识点的掌握不足、技能应用不够熟练等。虚拟教师将这些问题反馈给校园教师，帮助他们更全面地了解学习者的学习状态；

72、根据问题反馈，教师创建相应的学习情境，一方面的校园教师根据虚拟教师的反馈和自己的观察，发现学习者在技术学习上的问题，并针对性地创建相应的学习情境，这些情境可以是新的学习任务、挑战性的实际问题等，旨在帮助学习者解决他们所遇到的问题，本发明中的校园教师为区别于虚拟教师的真实环境中的教师；

73、在教师指导下，对出现的问题进行深入剖析，学习者在教师创建的学习情境中，需要对自身所遇到的问题进行深入的分析和理解。这个过程可以帮助学习者更深入地理解问题，并寻找解决问题的策略和方法；

74、用户通过分组形式进行合作，自主开展探究练习，在教师的指导下，用户可以通过分组合作的方式来解决学习问题。这样可以发挥群体的力量，通过讨论和交流来寻找解决问题的最佳方式。同时，学习者还可以在探究练习的过程中深入掌握知识和技能；

75、教师按分组分别进行指导，在分组合作的过程中，教师可以在每个小组之间进行巡回指导，为学习者提供个性化的指导和帮助。这种指导方式可以更好地满足学习者的个性化需求，帮助他们更好地掌握知识和技能。同时也可以及时纠正学习者在解决问题时出现的错误或偏差；

76、总的来说，这种基于多虚拟化身的沉浸式翻转课堂教学系统工作方法能够有效地促进学习者对技术的学习和应用能力提升通过课上展示学习成果、虚拟教师反馈问题、教师创建学习情境、剖析问题、分组合作探究练习以及教师指导等步骤的实施。

77、优选地，危险因素包括环境温度突然改变、环境气压突然改变、环境中识别出异常声音中的一个或多个。

78、本发明公开了一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法，与现有技术相比：

79、本发明中vr场景包括虚拟教师和虚拟课堂。虚拟教师是一个虚拟体，能够根据用户的学习偏好进行互动讲解，提供个性化的学习体验。虚拟教师可以通过声音，展示文字、图像等多种形式与用户进行互动，根据用户的学习状态和反馈进行灵活的教学策略调整，虚拟教师还具备对学习内容的理解能力，能够根据学习内容的特点进行有针对性的讲解和引导，虚拟教师的构建过程包括以下步骤：构建虚拟化身数据库、对用户的特征进行检测并输出检测结果、依据检测结果从虚拟化身数据库中构建虚拟化身，教学系统对用户的特征进行检测主要包括对其语音、文字、面部表情、肢体动作等进行分析，这些特征可以通过智能传感器和识别算法进行实时检测和识别，并将结果输出，最后，虚拟化身对学习内容和用户的学习状态进行监视，并根据监视的内容对用户进行互动反馈，这种反馈可以是及时的提醒、讲解、答疑解惑，也可以是根据学习内容的特点进行有针对性的引导和辅助，这种互动反馈机制能够有效地提高用户的学习效果和体验质量。