使用虚拟现实的教育系统和方法

专利名称：使用虚拟现实的教育系统和方法
技术领域：
本发明一般涉及使用虚拟现实的教育系统和方法；更具体地，涉及这样的教育系
统和方法，其实现其中出现位于教室中的学生和位于远程地点的讲师的虚拟空间，由此支 持允许学生与虚拟现实内容相互作用、同时学生感到似乎正沉浸在学习内容中的学习。
背景技术：
最近，已强调具有现实基础的教育对于外语等学习的重要性。因此，一些公共机构 通过建立用于基于体验的英语学习的英语村等而提供学习空间。然而，很多人由于其空间 限制而不能访问英语村。因此，已进行了使用随着信息通信技术的发展而最近引入的电子 学习(e-学习)服务(即，远程视频教育和使能在基于因特网的虚拟学习空间中的学习的 虚拟教室)来克服该问题的努力。 然而，远程视频教育是不利的，因为它提供了仅具有简单格式的学习方法。此外， 虚拟教室具有的问题在于，主要使用原始模型(avatar)而不是学生他或她自己来实施 (conduct)学习，从而学生难以具有他或她似乎正出现在虚拟空间中的真实感或沉浸感。配 置这样的传统技术，使得将远程地点处的讲师的图像或学生的图像简单投影在屏幕上的预 置位置，并使得简单改变背景，由此使得难以有效提供具有真实性的基于虚拟现实的教育。
所以，当前需要能够使用计算机技术在克服空间限制的同时提供基于体验的教育 的教育系统和方法。

发明内容
考虑到以上，本发明提供了一种基于体验的教育系统和方法，其实现虚拟现实并 提供用于识别用户的姿态(gesture)并与用户相互作用的接口 ，由此增加教育的真实感。
此外，本发明提供了一种基于体验的教育系统和方法，其允许位于远程地点的用 户和位于教室中的用户彼此共享单一虚拟世界，而不简单改变屏幕的背景，由此增加学习 中的学生的沉浸感。 根据本发明的第一方面，提供了一种使用虚拟现实的教育系统，包括图像计算 机，用于从通过捕获学生所获取的整体图像中提取学生的图像；远程讲师计算机，用于从通 过捕获该远程讲师所获取的整体图像中提取远程地点处的讲师的图像；教室讲师计算机， 用于运行其中实现虚拟空间的学习内容，并执行与该远程讲师计算机的实时通信；和虚拟 现实计算机，用于组合该学生的图像和该远程讲师的图像以及该学习内容的虚拟空间。
根据本发明的第二方面，提供了一种使用虚拟现实的教育方法，包括从通过捕获 学生所获取的整体图像中提取学生的图像；从通过捕获该远程讲师所获取的整体图像中提取远程地点处的讲师的图像；运行其中实现虚拟空间的学习内容，并执行与该远程讲师的
实时通信；和组合该学生的图像和该远程讲师的图像以及该学习内容的虚拟空间。 根据本发明，可能提供能够使用虚拟现实来在克服空间限制的同时提供基于体验
的教育的教育系统和方法。此外，教室和远程讲师出现在同一虚拟空间中，识别学生的姿态
并实施内容，由此增加课堂中的学生的沉浸感。


通过结合附图给出的对于实施例的以下描述，本发明的目的和特征将变得清楚， 其中 图1是示出了根据本发明实施例的使用虚拟现实的教育系统的构造的框图；
图2是示出了图1的使用虚拟现实的教育系统的示例的图；
图3是示出了其中正执行学习内容的图1的教室的图； 图4是示出了其中在图3的学习内容中出现学生和远程讲师并且正在实施学习的 图1的教室的图；禾口 图5是示出了根据本发明实施例的使用虚拟现实的教育方法的流程图。
具体实施例方式
其后，将参考形成其一部分的附图来详细描述本发明的实施例。
图1是示出了根据本发明实施例的使用虚拟现实的教育系统的构造的框图。 根据本发明实施例的教育系统可在物理上分离的空间(即，教室100和远程地点
105)中操作。例如，在外语教育的情况下，位于韩国的教室100中的学生和讲师可通过在实
施教室100中的课程的同时，将教室100与远程地点105相连，而在位于远程地点105的远
程讲师的支持下实施课程。 第一学生相机110从每一学生捕获图像。第一图像计算机120从该第一学生相机 捕获的整体图像中提取仅该学生的图像。在实施例中，蓝地毯115可用于促进提取学生图 像的过程。当第一学生相机110从站在蓝地毯115上的学生捕获图像时，获得促进用于从 背景中仅提取该学生的图像的过程的优点。当该学生不需要移动时或者当可能仅使用该学 生的两维图像时，可使用蓝屏幕代替蓝地毯115，以允许学生站或坐在蓝屏幕的前面，并由 此获取该学生的图像。 在实施例中，可使用三维图像来实现本发明的虚拟现实。在该情况下，为了实现该 学生的三维图像，使用包括第二学生相机112和第二图像计算机122的两个或更多相机和 图像计算机。第一和第二相机110和112可被实现为单一立体摄像机。实现为该立体摄像 机的第一和第二学生相机110和112可分别位于教室内部的前面和后面。在该情况下，作 为学习内容，可使用基于三维图像的学习内容。 其间，远程讲师相机180捕获在远程地点处的讲师的图像。远程讲师计算机190 从该远程讲师相机180捕获的整体图像中提取该远程讲师的图像。在实施例中，蓝屏幕185 可用于促进提取该远程讲师的图像的过程。当远程讲师相机180从站在蓝屏幕185前面的 远程讲师捕获图像时，获得促进从背景提取远程讲师的图像的过程的优点。当远程讲师需 要移动时或者当使用远程讲师的三维图像时，使用蓝地毯代替蓝屏幕185，以允许远程讲师在蓝地毯上站立或移动，并由此使用实现为立体摄像机等的远程讲师相机180来捕获远程 讲师的三维图像。 虚拟现实计算机150通过将学习内容中包括的图像、学生的图像、和远程讲师的 图像彼此组合，而实现其中出现学生和远程讲师的虚拟空间。 预先创建学习内容，并且将用于创建内容的过程划分为例如三维建模、语音记录、 动画产生、和图像产生的原始(raw)内容产生操作、以及用于定位原始内容并定义对于学 生和讲师的各种类型交互作用起作用的规则的内容封装操作。仅在已完成这两个操作之 后，完成可由虚拟现实计算机150使用的学习内容的创建。 为了组合学生和讲师的图像与学习内容的图像，使用空间信息感知技术。虚拟现 实计算机150使用空间信息感知技术来计算第一和第二学生相机110和112与教室末端 (bottom)的相对位置，以对准真实世界的末端与虚拟世界的末端，这允许真实世界中的学 生的运动甚至在虚拟世界中自然地实现。只要在已安装了根据本发明实施例的教育系统之 后没有移动相机，就不需要再次对准末端，并由此也预先执行对准。 虚拟现实计算机150要对于相机的每一帧执行的操作如下。首先，第一和第二相 机110和112捕获每一学生。第一和第二图像计算机120和122提取学生的图像，并使用 学生的脚的位置来计算学生的世界座标的位置。此外，远程讲师相机180捕获远程讲师，而 远程讲师计算机190提取远程讲师的图像。使用所提取的学生和远程讲师的图像以及该学 习内容中包括的其他虚拟对象，来构造三维虚拟空间。学生和远程讲师彼此共享同一虚拟 空间，由此增加课堂中的学生的真实感和沉浸感。 在实施例中，第一和第二图像计算机120和122可实现为识别学生的姿态。使用例 如对象图像的颜色或运动的信息来估计对象的手、脚或头的位置的方法可被用作姿态识别 方法。在该情况下，可执行基于学生的手、脚或头的位置的学习交互作用，并可使用手、脚或 头的位置的连续估计的结果，基于学生的动作，来执行学习内容中使用的场景(scenario)。 学习内容中使用的场景的执行基本上基于通过教室中的讲师的教室讲师计算机140的操 纵所预定义的规则来实现。 投影仪170输出在三维虚拟空间中实现的结果。投影仪170 —般取决于使用虚拟 现实的教育系统的特性而在例如教室屏幕175的大屏幕上输出结果。 其间，监视相机145捕获教室中的学习场面，并允许教室中的讲师和远程地点的 讲师监视教室中的学习进度。 为了实现使用虚拟现实的教育系统和方法，也需要音频系统。学生麦克风130接 收学生的语音，而远程讲师麦克风196接收远程讲师的语音。分别地，教室讲师计算机140 处理学生的语音，而远程讲师计算机190处理远程讲师的语音。 此外，教室讲师计算机140运行的学习内容也包括唯一语音。混音器160将学习 内容的语音、学生的语音、和远程讲师的语音彼此混合。教室扬声器165输出混合的语音。 远程讲师扬声器198将语音输出到远程讲师。这里，扬声器可由例如耳机或头戴听筒的类 似声音输出装置之一来实现。 图2是示出了图1的使用虚拟现实的教育系统的示例的图。 根据本发明实施例的教育系统包括两部分，即教室100和远程地点105。教室100 是其中实施学习的空间，而远程地点105是其中远程讲师支持课程的空间。
投影仪170和大教室屏幕175两者都被安装在教室100内部的前方。在大教室屏 幕175上实现虚拟世界。虚拟世界包括每一学生的图像、本地讲师的图像、和由教室讲师计 算机140运行的学习内容的其他虚拟对象。由于将虚拟世界映射到真实世界，所以没有改 变地将教室100中的学生的运动映射为虚拟世界中的学生的运动。在实施例中，跟踪学生 的手、脚或头的位置，使得通过该系统来识别学生的姿态，并由此可生成事件。对于构成虚 拟世界的其他虚拟对象，可使用其中插入有动画的对象以及静态对象，并且结果，可增加真 实性。远程地点105处的本地讲师可使用从监视相机145传送的图像来监视教室中的情形。 当本地讲师在蓝屏幕185前方执行某一会话并执行某一动作时，通过远程讲师相机180来 捕获与该会话和动作对应的图像，并然后将这些图像通过教室屏幕175传送到教室中的学 生。 图3是示出了其中正运行学习内容的图1的教室的图。 当教室中的讲师接通根据本发明实施例的教育系统时，取决于学习内容的实质而 在教室屏幕175上实现虚拟空间。该虚拟空间对应于在与学生和远程讲师的图像组合之前 的结果。 可取决于学习内容的实质来创建各种虚拟空间。例如，大门、售票处、过路人、内部 结构、和波士顿地铁的火车被没有改变地建模，并可在虚拟世界中实现。当学生位于虚拟空 间中时，学生观看在屏幕上出现的他或她自己，并可具有他或她似乎正在波士顿地铁中移 动的同时参观地铁内部的体验。当远程讲师适当地作为售票处工作人员、警察、过路人等位 于虚拟空间中时，学生可通过与远程讲师的实际会话而进一步改进他或她的体验感觉。教 室讲师的操纵可连续改变虚拟空间，并由此在虚拟空间改变的同时，学生可连续实施具有 新内容的学习活动。 图4是示出了其中在学习内容中出现学生和远程讲师并且正在实施课程的图1的 教室的图。 当学生410站在蓝地毯115上时，在教室屏幕175上出现学生的图像420，并通过 教室讲师的操纵在屏幕上出现作为虚拟对象的原始模型440。学生410可执行与原始模型 的会话。在该情况下，可通过教室讲师来操纵原始模型440。在学习期间，学生410可在蓝 地毯115上自由移动的同时，使用姿态来继续进行他或她的学习。 当教室讲师替换学习内容时，可改变背景并可实现新场景。虚拟空间中的一些原 始模型440可由本地讲师430替换，并且学生410可更自由地执行与本地讲师430的会话。 教室讲师和远程讲师使用从监视相机145传送的图像来观察课程的进展，并可评估学生。
图5是示出了根据本发明实施例的使用虚拟现实的教育方法的流程图。
首先，在步骤S510，捕获教室中的每一学生，并提取学生的图像。在步骤S520，捕 获远程讲师，并提取远程讲师的图像。接下来，在步骤S530中，运行其中实现虚拟空间的 学习内容，在步骤S540中，组合学生和远程讲师的图像与学习内容的虚拟空间，并在步骤 S550中，输出组合的虚拟现实的图像。 可配置包括音频系统的实施例，以接收学生和远程讲师的语音，混合学习内容中
包括的语音以及学生和远程讲师的语音，并输出混合的语音。这里，实现该实施例，使得远
程讲师计算机处理远程讲师的语音，而教室讲师计算机处理学生的语音。 此外，根据本实施例的模块、功能块或部件可使用例如电子电路、集成电路(IC)或专用集成电路(ASIC)的各种公知装置来实现，并可被实现为单独组件。此外，作为选择， 可将两个或更多组件集成在单一组件中。 尽管已针对这些实施例而示出和描述了本发明，但是本领域技术人员将理解的 是，可进行各种改变和修改，而不脱离以下权利要求所限定的本发明的范围。
权利要求
一种使用虚拟现实的教育系统，包括图像计算机，用于从通过捕获学生所获取的整体图像中提取学生的图像；远程讲师计算机，用于从通过捕获该远程讲师所获取的整体图像中提取远程地点处的讲师的图像；教室讲师计算机，用于运行其中实现虚拟空间的学习内容，并执行与该远程讲师计算机的实时通信；和虚拟现实计算机，用于组合该学生的图像和该远程讲师的图像以及该学习内容的虚拟空间。
2. 根据权利要求1的教育系统，还包括 学生麦克风，用于接收学生的语音；禾口 远程讲师麦克风，用于接收远程讲师的语音，其中该远程讲师计算机处理该远程讲师的语音，并且该教室讲师计算机处理该学生的语音。
3. 根据权利要求1的教育系统，还包括混音器，用于将该学习内容中包括的语音、学生的语音和远程讲师的语音彼此混合；和 教室扬声器，用于输出混合的语音。
4. 根据权利要求1的教育系统，还包括监视相机，用于捕获教室中的学习场面， 其中该远程讲师计算机输出教室中的学习场面的图像。
5. 根据权利要求1的教育系统，还包括蓝地毯，用作学生的背景，并被配置为促进学生的图像的提取；禾口 蓝屏幕，用作远程讲师的背景，并被配置为促进远程讲师的图像的提取。
6. 根据权利要求1的教育系统，其中配置所述学生相机和图像计算机中的每一个，使得使用两个或多个相机以及两个或多 个图像计算机来获取学生的立体图像； 该学习内容是三维学习内容；禾口该虚拟现实计算机组合在该三维学习内容中包括的图像和该学生的立体图像，由此生 成三维图像。
7. 根据权利要求1的教育系统，其中该图像计算机通过估计学生的手、脚和头中的一 个或多个的位置，来识别和处理学生的姿态。
8. 根据权利要求7的教育系统，其中使用有关学生的图像的颜色和运动中的一个或多 个的信息，来执行位置的估计。
9. 根据权利要求l的教育系统，其中该虚拟现实计算机在将图像彼此组合之前，使用 该学习内容的虚拟空间、学生的图像和远程讲师的图像的相对位置，来对准真实世界的末 端和虚拟世界的末端。
10. 根据权利要求1的教育系统，还包括投影仪，用于输出组合图像；禾口 教室屏幕，用于显示从该投影仪输出的图像。
11. 一种使用虚拟现实的教育方法，包括 从通过捕获学生所获取的整体图像中提取学生的图像；从通过捕获该远程讲师所获取的整体图像中提取远程地点处的讲师的图像； 运行其中实现虚拟空间的学习内容，并执行与该远程讲师的实时通信；禾口 组合该学生的图像和该远程讲师的图像以及该学习内容的虚拟空间。
12. 根据权利要求11的教育方法，还包括 接收学生的语音；禾口 接收远程讲师的语音； 处理该远程讲师的语音；禾口 处理该学生的语音。
13. 根据权利要求11的教育方法，还包括将该学习内容中包括的语音、学生的语音和远程讲师的语音彼此混合；禾口 输出混合的语音。
14. 根据权利要求11的教育方法，还包括 捕获教室中的学习场面；禾口允许在远程地点显示该教室中的学习场面的图像。
15. 根据权利要求11的教育方法，还包括 通过使用蓝地毯来促进学生的图像的提取；禾口 通过使用蓝屏幕来促进远程讲师的图像的提取。
16. 根据权利要求11的教育方法，其中 所提取的学生的图像是立体图像； 该学习内容是三维学习内容；禾口将该三维学习内容中包括的图像和该学生的立体图像组合，以生成三维图像。
17. 根据权利要求11的教育方法，其中通过估计学生的手、脚和头中的一个或多个的 位置，来识别和处理学生的姿态。
18. 根据权利要求17的教育方法，其中使用有关学生的图像的颜色和运动中的一个或 多个的信息，来执行位置的估计。
19. 根据权利要求ll的教育方法，其中在组合图像之前，使用该学习内容的虚拟空间、 学生的图像和远程讲师的图像的相对位置，来对准真实世界的末端和虚拟世界的末端。
20. 根据权利要求11的教育方法，还包括 输出组合图像；禾口 显示所输出的图像。
全文摘要
一种使用虚拟现实的教育系统包括图像计算机，用于从通过捕获学生所获取的整体图像中提取学生的图像；远程讲师计算机，用于从通过捕获该远程讲师所获取的整体图像中提取远程地点处的讲师的图像。此外，所述使用虚拟现实的教育系统包括教室讲师计算机，用于运行其中实现虚拟空间的学习内容，并执行与该远程讲师计算机的实时通信；和虚拟现实计算机，用于组合该学生的图像和该远程讲师的图像以及该学习内容的虚拟空间。
文档编号G09B19/00GK101763762SQ20091026221
公开日2010年6月30日 申请日期2009年12月22日 优先权日2008年12月22日
发明者李俊燮, 李洙雄, 李骏硕, 池亨根, 高钟国 申请人:韩国电子通信研究院