本发明涉及英语教学设备领域,具体涉及一种基于增强现实技术的智能化英语辅助学习系统。
背景技术
目前,英语学习得到了越来越多人的重视,从幼儿时期的启蒙到工作中的进修,英语学习无论是在学习还是在工作阶段,均占据着一定比例的时间。幼儿时期的学习比较系统,学生有专门的学习时间和空间,但是对于想要进修和充电的上班族来说,英语学习的条件就相当有限,工作和日常生活已经占用了生活的大部分时间,无法抽出专门的时间进行学习,这在当今快节奏的生活中对成年人来说是很难坚持下来的。另外,没有经过一个系统的学习规划,闲暇时间会被一些非必要的事情占用,从而浪费了学习英语的时间。
另外,在英语学习过程中,无论是对口语表达能力,还是对读写能力而言,单词的积累量都是需要克服的首要问题。传统的单词记忆方法是先理解单词的具体含义及用法,然后通过读音标和拼写的方式帮助学习者巩固记忆。但是以此种方法背单词的效率较低,且需要大量的时间进行重复记忆,同时也因枯燥的记忆模式导致学习者产生厌倦心理,进一步降低了学习效率。为此,一些教育机构提供了各种联想记忆法,例如:词根词缀联想记忆法、谐音联想记忆法、词义比较记忆法和图形联想记忆法等等,以快速提高英语单词的记忆速度。而在上述诸多联想记忆方法中,将图形与英语单词相互关联的方式最为有效,是目前最合乎人类的大脑运作模式的记忆法,与其他记忆方式相比效率提高了3-10倍。
目前,图形联想记忆法的运用方式均是以书本上印刷的静态图形或以教学设备播放的预设图像作为教学参考,需要提供特定的时间及环境来完成学习,因此,该方法的应用在学习过程中存在一定的局限性。
技术实现要素:
本发明的目的在于,为解决现有技术中不存在针对图形联想记忆法应用的英语教学系统,提供一种基于增强现实技术的智能化英语辅助学习系统,本发明的系统通过运用增强现实技术,将现实场景的实物与英语单词相互关联,能够在任何实际场景中随时完成教学,克服了现有学习模式的局限性。
为实现上述目的,本发明提供的一种基于增强现实技术的智能化英语辅助学习系统,该系统包括:ar眼镜、图像采集器、微型投影仪、发声器和中央控制器;
所述ar眼镜的两侧镜架上对称设置有至少两个图像采集器,所述的图像采集器用于采集其可视范围内的图像,并将生成的图像数据发送至中央控制器;
所述的中央控制器从图像数据中对物体进行特征提取,通过对特征数据进行分析后以辨识出物体信息,并将物体信息所对应的物体汉语名称和英文单词进行图像转化,获得虚拟显示对象,结合真实场景对虚拟显示对象进行渲染,并通过微型投影仪将渲染后的虚拟显示对象进行投影,同时将英文单词对应的发音数据发送至发声器,该中央控制器还用于从接收的图像数据中识别出人体的手势数据,通过对手势数据进行分析后生成对应的动作数据,并利用该动作数据执行人机交互操作;
所述微型投影仪的信号输入端与中央控制器连接,该微型投影仪的投射端与ar眼镜上设置的半透射镜相对,用于将中央控制器输出的图像投影至半透射镜上;
所述的发声器的信号输入端与中央控制器连接,用于将中央控制器输出的发音数据转换成语音信号进行播放。
作为上述技术方案的进一步改进,所述的图像采集器采用ccd摄像头对图像进行采集。
作为上述技术方案的进一步改进,所述的中央控制器包括:信号处理模块、特征提取模块、物体辨识模块、知识库、图像渲染模块、发音数据传送模块和手势辨识模块;
所述信号处理模块用于接收图像采集器输出的图像信号,并将图像信号进行处理,生成供特征提取模块识别的图像数据;
所述的特征提取模块用于在图像数据中识别出物体的特征数据,并将获得的特征数据发送至物体辨识模块,所述的特征数据包括物体的颜色、纹理、轮廓和立体形状数据;
所述的物体辨识模块将特征数据与知识库中存储的特征组合序列进行匹配,提取经匹配的特征组合序列所对应的物体汉语名称、英文单词及英文单词对应的发音数据;
所述的知识库用于存储各种特征组合序列,所述的特征组合序列包括由物体的颜色、纹理、轮廓和立体形状数据组成的特征组合及其对应的物体汉语名称、英文单词及英文单词对应的发音数据;
所述的图像渲染模块用于将匹配获得的物体汉语名称和英文单词进行图像转化,获得虚拟显示对象,并结合真实场景中物体的位置选定虚拟显示对象的显示位置,同时根据真实场景图像帧中的亮度对虚拟显示对象进行光照渲染;
所述的发音数据传送模块用于将英文单词对应的发音数据发送至发声器;
所述的手势辨识模块用于在图像数据中识别出人体的手势数据,并通过对手势数据进行分析后生成对应的动作数据,并以动作数据控制中央控制器的运行。
作为上述技术方案的进一步改进,所述的信号处理模块包括:a/d转换器、信号放大器和滤波器,用于将图像采集器输出的信号依次进行模数转换、放大和滤波处理。
作为上述技术方案的进一步改进,所述的中央控制器还包括学习模式选择模块,所述的学习模式选择模块内设置有若干个学习模式,用于将物体辨识模块匹配获得的物体汉语名称和英文单词与用户选定的学习模式相比较,如果在学习模式中存在该匹配获得的物体汉语名称和英文单词,则将物体汉语名称和英文单词输出至图像渲染模块,否则不输出该匹配获得的物体汉语名称和英文单词;
所述的学习模式是按照不同等级的知识水平对知识库中存储的所有特征组合序列进行划分,并组合成对应的物体汉语名称及英语单词集合。
作为上述技术方案的进一步改进,所述的知识库还存储与英文单词关联的音标、例句和思维导图数据;
所述的物体辨识模块还用于提取与英文单词关联的音标、例句和思维导图数据,并发送至图像渲染模块;
所述的图像渲染模块还用于将接收到的音标、例句和思维导图数据进行图像转化,获得虚拟显示对象,并结合真实场景中物体的位置选定虚拟显示对象的显示位置,同时根据真实场景图像帧中的亮度对虚拟显示对象进行光照渲染;
所述的思维导图数据是以匹配获得的英文单词为核心,将与其属性相关的所有英文单词构建得到的关联图。
本发明提供的一种基于增强现实技术的智能化英语辅助学习系统优点在于:
本发明将ar技术应用到英语学习系统中,通过对现实物体的图像采集,并将采集的图像与系统存储的物体图像进行对比,在匹配成功后能够辨识出当前物体的信息,此时即可在系统内存中提取该物体信息所对应的物体汉语名称、英文单词和英文单词对应的发音数据,这些英文单词就是学习者需要记住的;为此,将物体汉语名称和英文单词进行图像转化,获得虚拟显示对象,结合真实场景将虚拟显示对象直接显示在ar眼镜上;由此实现了图形与英语单词的关联,同时通过收听英文单词的发音,进一步加深单词的记忆深度,从而能够在任何实际场景中随时完成教学,克服了现有学习模式的局限性,提高了学习效率。
附图说明
图1为本发明提供的一种基于增强现实技术的智能化英语辅助学习系统结构示意图;
图2为本发明一个实施例中提供的中央控制器结构示意图;
图3为本发明另一个实施例中提供的中央控制器结构示意图;
图4为本发明实施例中提供的信号处理模块结构示意图;
图5a为本发明实施例中提供的ar眼镜佩戴示意图;
图5b为本发明实施例中提供的ar眼镜外部结构示意图。
附图标记
1、ar眼镜2、图像采集器
3、微型投影仪4、半透射镜
具体实施方式
下面结合附图和实施例对本发明所述的一种基于增强现实技术的智能化英语辅助学习系统进行详细说明。
如图1所示,本发明提供的一种基于增强现实技术的智能化英语辅助学习系统,该系统具体包括:ar眼镜、图像采集器、微型投影仪、发声器和中央控制器。
如图5b所示,所述ar眼镜1的两侧镜架上对称设置有至少两个图像采集器2,所述的图像采集器2用于采集其可视范围内的图像,并将生成的图像数据发送至中央控制器;
所述的中央控制器从图像数据中对物体进行特征提取,通过对特征数据进行分析后以辨识出物体信息,并将物体信息所对应的物体汉语名称和英文单词进行图像转化,获得虚拟显示对象,结合真实场景对虚拟显示对象进行渲染,并通过微型投影仪将渲染后的虚拟显示对象进行投影,同时将英文单词对应的发音数据发送至发声器,该中央控制器还用于从接收的图像数据中识别出人体的手势数据,通过对手势数据进行分析后生成对应的动作数据,并利用该动作数据执行人机交互操作;
所述的发声器的信号输入端与中央控制器连接,用于将中央控制器输出的发音数据转换成语音信号进行播放。
所述微型投影仪的信号输入端与中央控制器连接,如图5b所示,该微型投影仪3的投射端与ar眼镜1上设置的半透射镜4相对,用于将中央控制器输出的图像投影至半透射镜4上,并由半透射镜4将虚拟显示对象反射至人的眼部;
所述的半透射镜4能够使微型投影仪3射出的光进行反射,而使外界环境入射的光进行透射,从而将真实场景与虚拟对象在人眼部实现了图像融合。其中,佩戴ar眼镜的状态如图5a所示。
ar技术作为目前虚拟现实技术的前端体验,在各个行业有着广泛的应用。它是一种图像处理的概念,与相关视觉工具相互结合便成为一门技术,也就是人们常说的增强现实。这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动,在实现效果上需要将摄像头等多媒体、传感器与场景融合,增强现实技术不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。
本发明将上述ar技术应用到英语教学系统中,通过对现实物体的图像采集,并将采集的图像与系统存储的物体图像进行对比,在匹配成功后能够辨识出当前物体的信息,此时即可在系统内存中提取该物体信息所对应的物体汉语名称和英文单词,这些英文单词就是学习者需要记住的;为此,将物体汉语名称和英文单词进行图像转化,获得虚拟显示对象,结合真实场景将虚拟显示对象直接显示在ar眼镜上;由此实现了图形与英语单词的关联,同时通过收听英文单词的发音,进一步加深单词的记忆深度,从而能够在任何实际场景中随时完成教学,克服了现有学习模式的局限性,提高了学习效率。
相比于现有的诸多教学设备,利用本发明的系统进行英语学习,使用者不需要在固定的时间或地点专注于学习,仅需佩戴可移动的ar视觉眼镜,在日常生活环境内行走即可随时观察到图像化的、与现实物体相关联的英语知识。与此同时,结合人体手势的感知功能,能够实现人机交互操作,便于生产者手动控制系统的运行。
为了实现上述中央控制器的智能控制功能,如图2所示,本实施例中的中央控制器可包括:信号处理模块、特征提取模块、物体辨识模块、知识库、图像渲染模块、发音数据传送模块和手势辨识模块。
所述信号处理模块用于接收图像采集器输出的图像信号,并将图像信号进行处理,生成供特征提取模块识别的图像数据;
所述的特征提取模块用于在图像数据中识别出物体的特征数据,并将获得的特征数据发送至物体辨识模块,所述的特征数据包括物体的颜色、纹理、轮廓和立体形状数据;
所述的物体辨识模块将特征数据与知识库中存储的特征组合序列进行匹配,提取经匹配的特征组合序列所对应的物体汉语名称、英文单词及英文单词对应的发音数据;
所述的知识库用于存储各种特征组合序列,所述的特征组合序列包括由物体的颜色、纹理、轮廓和立体形状数据组成的特征组合及其对应的物体汉语名称、英文单词及英文单词对应的发音数据;
所述的图像渲染模块用于将匹配获得的物体汉语名称和英文单词进行图像转化,获得虚拟显示对象,并结合真实场景中物体的位置选定虚拟显示对象的显示位置,同时根据真实场景图像帧中的亮度对虚拟显示对象进行光照渲染;
所述的发音数据传送模块用于将英文单词对应的发音数据发送至发声器;
所述的手势辨识模块用于在图像数据中识别出人体的手势数据,并通过对手势数据进行分析后生成对应的动作数据,并以动作数据控制中央控制器的运行。
如图3所示,在本发明的另一个实施例中,所述的中央控制器还可包括学习模式选择模块,所述的学习模式选择模块内设置有若干个学习模式,用于将物体辨识模块匹配获得的物体汉语名称和英文单词与用户选定的学习模式相比较,如果在学习模式中存在该匹配获得的物体汉语名称和英文单词,则将物体汉语名称和英文单词输出至图像渲染模块,否则不输出该匹配获得的物体汉语名称和英文单词;
所述的学习模式是按照不同等级的知识水平对知识库中存储的所有特征组合序列进行划分,并组合成对应的物体汉语名称及英语单词集合。
对于不同的人群而言,会存在不同的学习需求;为此,本发明的系统以不同的知识水平将英语单词划分成多个集合;例如:针对学生考试可划分成符合小学英语、初中英语、高中英语、大学四级考试、大学六级考试、专业四级考试、专业八级考试、托福考试、雅思考试等多种词汇集,针对上班族可划分成符合日常交际用语、商业交流用语、技术专业用语等多种词汇集。学习者可根据自身的需求和知识水平的等级,选择对应的学习模式;在模式选定后,系统会只输出模式中存在的词汇,对于匹配获得的超范围词汇不予显示,实现了个性化的教学功能。
另外,如图4所示,本发明系统中的图像采集器可采用ccd摄像头对图像进行采集。ccd是chargecoupleddevice(电荷耦合器件)的缩写,它是一种半导体成像器件,因而具有灵敏度高、抗强光、畸变小、体积小、寿命长、抗震动等优点;另外,本发明通过运用ccd摄像头实现图像采集,能够获得分辨率较高的清晰图像,为中央控制器后续的数据分析提供保障。
如图4所示,所述的信号处理模块可通过设置的a/d转换器,将其接收的模拟信号转换为供特征提取模块及手势辨识模块识别的数字信号;同时,为了降低信号的噪声干扰,提高信号的探测精度,所述的信号处理模块还可包括信号放大器和滤波器,用于将图像采集器输出的信号进行放大和滤波处理。
另外,为了进一步提高英语知识的记忆效率,所述的知识库还存储与英文单词关联的音标、例句和思维导图数据。
为此,所述的物体辨识模块还用于提取与英文单词关联的音标、例句和思维导图数据,并发送至图像渲染模块;所述的图像渲染模块还用于将接收到的音标、例句和思维导图数据进行图像转化,获得虚拟显示对象,并结合真实场景中物体的位置选定虚拟显示对象的显示位置,同时根据真实场景图像帧中的亮度对虚拟显示对象进行光照渲染。本发明的系统将多维度的信息与英语单词相关联,能够进一步加深学习者对英语知识的理解,同时提高其词汇运用能力。
上述思维导图又叫心智导图,是表达发散性思维的有效图形思维工具,它简单却又很有效。思维导图运用图文并重的技巧,把各级主题的关系用相互隶属与相关的层级图表现出来,把主题关键词与图像、颜色等建立记忆链接。思维导图充分运用左右脑的机能,利用记忆、阅读、思维的规律,协助人们在科学与艺术、逻辑与想象之间平衡发展,从而开启人类大脑的无限潜能,思维导图因此具有人类思维的强大功能。
另外,思维导图是一种将思维形象化的方法。我们知道放射性思考是人类大脑的自然思考方式,每一种进入大脑的资料,不论是感觉、记忆或是想法——包括文字、数字、符码、香气、食物、线条、颜色、意象、节奏、音符等,都可以成为一个思考中心,并由此中心向外发散出成千上万的关节点,每一个关节点代表与中心主题的一个连结,而每一个连结又可以成为另一个中心主题,再向外发散出成千上万的关节点,呈现出放射性立体结构。
运用思维导图来记忆的精髓在于,平衡人大脑左脑和右脑的运用,刺激出大脑中的潜能,将存在于大脑中的信息变成可视化的图文进行记忆,因为人脑对于图文信息的接受记忆能力要比单独的文字高出近百倍,其中最需要大量记忆的莫过于英语单词。
基于上述思维导图的原理,本发明提供的用于学习的导图数据是以匹配获得的英文单词为核心,将与其属性相关的所有英文单词构建得到的关联图,通过设置思维导图,能够在提高记忆速度的同时帮助学习者对学习的知识进行扩展。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。