一种针对学语前听觉障碍人群的语言学习设备及方法

1.本发明涉及听觉障碍人群语言学习技术领域，具体地，涉及一种针对学语前听觉障碍人群的语言学习设备及方法。


背景技术：

2.根据全国统计局的显示，目前我国听力语言残疾者即聋哑人居视力残疾、肢残、智残等五大残疾之首，其中绝大部分听力语言残疾情况为“因聋致哑”，即由于无法从外界接收声音而失去了通过语音模仿进行学习说话的机会，但这并不意味着他们没有说话的能力，而是在学语期间因为无法听到声音导致无法学习说话。
3.目前市面上没有针对学语前丧失听力的人群进行说话训练的机器或者设备，市场上主流以帮助那些弱听力或者没有完全丧失听力的患者能够听到声音的助听器、人工耳蜗最为流行，或者通过手语教学的方式让他们通过手语的方式进行交流，或者一些辅助类教具，帮助相应的教师来对患者进行教育。然而，现有的语言学习辅助装置受众局限性高，成本高昂且携带不便，并且采用手语辅助学习的方式便捷性没有语言交流高。
4.现有专利申请号为cn202110987380.2揭示了一种通过视频收集人脸数据，并对人脸通过进行识别，进而通过计算机视觉中的目标检测技术识别聋哑人士唇读口型的方法，最后将得出的对应结果与人脸id绑定，并输出推理结果，达到聋哑人与正常人士沟通交流的目的，然而该专利仅仅矫正聋哑人士的唇读口型，语言学习的效果并不好。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的在于提供一种设备简单、配戴容易、语言学习效果好的针对学语前听觉障碍人群的语言学习设备及方法。
6.为解决上述问题，本发明的技术方案为：
7.一种针对学语前听觉障碍人群的语言学习设备，所述设备包括主机面板以及与主机面板电性连接的声音震动转换器、口腔传感器，所述主机面板包括用于显示和人机交互的主机屏幕以及摄像头，所述声音震动转换器用于将主机面板输出声音信息转换成震动信息并传导到使用者手中，所述口腔传感器用于采集使用者在说话过程中口腔内舌头的位置，通过摄像头捕捉使用者说话过程中的口型，所述主机屏幕上将同时显示患者发声和标准发声的区别，患者舌头位置和标准舌头位置的区别，患者嘴型和标准嘴型的区别，从而提醒使用者进行更正。
8.可选地，所述主机面板还包括通讯充电接口、声音外放口、音量调节按键、开关机按键、声音震动转换器接口以及口腔传感器接口。
9.可选地，所述声音震动转换器包括左手声音震动转换器以及右手声音震动转换器，每个声音震动转换器均包括手掌掌心紧握处、大拇指掌握处、食指掌握处、中指掌握处、无名指掌握处、小拇指掌握处。
10.可选地，所述设备还包括骨传导声音放大器，所述骨传导声音放大器为骨传导耳
机，适用于弱听患者及仅能通过骨传导感受声音的听觉障碍人群，所述骨传导耳机包括骨传导接触器及头戴式固定器，所述头戴式固定器戴到使用者的头上，所述骨传导接触器卡在使用者耳朵的前后。
11.可选地，所述口腔传感器包括前舌下压板、后舌下压板、前上颚上压板及后上颚上压板，通过口腔内的唾液吸附力，前舌下压板吸附在舌头的前半边，后舌下压板吸附在舌头的后半边，前上颚上压板吸附在上颚前半边和前舌下压板相对应，后上颚上压板吸附在上颚前后半边和后舌下压板相对应。
12.可选地，所述口腔传感器材质为食品级硅胶，所述前舌下压板、后舌下压板、前上颚上压板及后上颚上压板均为轻薄硅胶薄膜包裹的电路，所述上下压板之间通过线圈互感传递电压，根据电压值计算上下压板之间的距离，来检测口腔内舌头的位置。
13.进一步地，本发明还提供一种针对学语前听觉障碍人群的语言学习方法，所述方法包括以下步骤：
14.通过引导使用者模仿的形式让使用者学会声带振动；
15.通过口腔传感器检测舌头的位置并与标准舌位进行对比，将对比信息反馈给使用者；
16.通过摄像头捕捉使用者的口型与标准口型进行对比，矫正其说话过程中口型的变化；
17.在声带振动、舌位正确、口型正确的条件下，使用者进行协调发音。
18.可选地，所述通过引导使用者模仿的形式让使用者学会声带振动的步骤具体包括：通过设备发声传导震动给使用者，并且能够把使用者学习发声的声音进行录制，随后通过震动的方式播放出来，同时主机屏幕显示使用者发声和标准发声的强度差异，让使用者通过对比不断矫正自己的发声向标准声音靠拢。
19.可选地，所述通过口腔传感器检测舌头的位置并与标准舌位进行对比，将对比信息反馈给使用者的步骤具体包括：在主机屏幕的左边显示实时的舌头位置反馈图，右边是能够发出所选择声音的标准舌头位置，患者通过对比标准舌头位置，调节自己的舌头位置直到设备检测达到标准位置。
20.可选地，所述通过摄像头捕捉使用者的口型与标准口型进行对比，矫正其说话过程中口型的变化的步骤具体包括：主机摄像头通过拍摄患者嘴型，识别关键点位，在主机屏幕左侧转化为对应的实时二维示意图，在屏幕右侧显示能够发出所选发音的标准嘴型，使用者通过对比可使自己的嘴型达到标准的嘴型。
21.与现有技术相比，本发明利用听觉障碍人群的视觉和触觉高度敏感的特点，创造了一套完备的语言学习方案，本套语言学习方案属于聋哑用品领域的创新产品，能够有效缓解“因聋致哑”这一现象，让听觉障碍人群早日实现说话梦。
22.本发明的有益效果如下：
23.1、通过引导患者模仿的形式帮助患者学会声带振动，确保患者可以先学会发音的前提声带振动；
24.2、通过摄像头对使用者的口型进行捕捉识别的基础上，将使用者口型与标准口型显示在主机屏幕上，并与标准口型进行对比，确保使用者可以对照标准口型做出正确的口型，进而学会正常发音；
25.3、通过口腔传感器采集使用者在说话过程中口腔内舌头的位置，让舌头的动作如同四肢一般可以模仿学习，在患者听觉受损的情况下，充分发挥视觉带来的效益；
26.4、使用者能够通过在声带振动、口型正确、舌位正确的前提下正确发音，并且本发明配备完备的学习教程，从易到难，循序渐进的学习模式，从初级阶段、中级阶段到高级阶段，以引导的方式辅助患者主动开口说话，另外，本发明简单便携，使用者可轻松配戴。
附图说明
27.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
28.图1为本发明实施例提供的针对学语前听觉障碍人群的语言学习设备结构示意图；
29.图2为本发明实施例提供的主机面板示意图；
30.图3为本发明实施例提供的声音震动转换器示意图；
31.图4为本发明实施例提供的骨传导声音放大器示意图；
32.图5为本发明实施例提供的口腔传感器示意图；
33.图6为本发明实施例提供的屏幕欢迎界面示意图；
34.图7为本发明实施例提供的屏幕测试页面示意图；
35.图8为本发明实施例提供的屏幕模式选择示意图；
36.图9为本发明实施例提供的屏幕初级模式示意图；
37.图10为本发明实施例提供的屏幕中级模式示意图；
38.图11为本发明实施例提供的屏幕高级模式示意图；
39.图12为本发明实施例提供的屏幕发音教学页面示意图。
40.图13为本发明实施例提供的屏幕舌头位置教学页面示意图；
41.图14为本发明实施例提供的屏幕嘴型矫正页面示意图；
42.图15为本发明实施例提供的屏幕协调发音页面示意图；
43.图16为本发明实施例提供的针对学语前听觉障碍人群的语言学习方法流程框图。
具体实施方式
44.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
45.图1本发明实施例提供的针对学语前听觉障碍人群的语言学习设备结构示意图，如图1所示，所述设备包括主机面板1以及与主机面板1电性连接的声音震动转换器2、口腔传感器4，在一个可选的实施例中，所述设备还包括有骨传导声音放大器3，该骨传导声音放大器3使用者为弱听患者或者能够通过骨传导感受声音的听觉障碍人群，完全听不到声音的听觉障碍人群则无需骨传导声音放大器3。
46.如图2所示，所述主机面板1还包括通讯充电接口101、以方便患者家属能够听到学习内容的声音外放口102、音量调节按键103、开关机按键104、用于拍摄嘴型的摄像头105、
用于显示和人机交互的主机屏幕106，另外，所述主机面板1还包括分别和声音震动转换器2、骨传导声音放大器3以及口腔传感器4连接的接口，即声音震动转换器接口107、骨传导声音放大器接口108、口腔传感器接口109。所述主机面板1包括数据信号的处理与生成功能、人机交互功能、训练方案选择功能、显示数据信息功能、引导矫正患者行为的功能、训练方案执行等功能。
47.如图3所示，所述声音震动转换器2用于将主机面板1输出声音信息转换成震动信息并传导到使用者手中以帮助使用者学会声带振动，所述声音震动转换器2是用来让患者双手紧握的外部配件，患者通过双手紧握来感受声音所转化的震动，包括左手紧握器件，即左手声音震动转换器201，右手紧握器件，即右手声音震动转换器202，具体地，以右手声音震动转换器202来说明，右手声音震动转换器202包括手掌掌心紧握处203、大拇指掌握处204、食指掌握处205、中指掌握处206、无名指掌握处207以及小拇指掌握处208。
48.如图4所示，所述骨传导声音放大器3为骨传导耳机，所述骨传导耳机包括骨传导接触器301及头戴式固定器302，患者通过头戴式固定器302将此放大器戴到头上，将骨传导接触器301前后两瓣卡在耳朵的前后，刚好固定在耳朵前后的骨骼上。骨传导耳机仅针对使用者为弱听患者或者能够通过骨传导感受声音的听觉障碍人群，完全听不到声音的听觉障碍人群无需骨传导声音放大器3。
49.如图5所示，所述口腔传感器4也叫舌头位置采样仪，材质为食品级硅胶，所述口腔传感器4包括前舌下压板401、后舌下压板402、前上颚上压板403及后上颚上压板404，所述前舌下压板401、后舌下压板402、前上颚上压板403及后上颚上压板404均为轻薄硅胶薄膜包裹的电路，通过唾液吸附力，前舌下压板401吸附在舌头的前半边，后舌下压板402吸附在舌头的后半边，前上颚上压板403吸附在上颚前半边和前舌下压板401上下对照，后上颚上压板404吸附在上颚前后半边和后舌下压板402上下对照。具体地，所述上下压板之间通过线圈互感传递电压，根据电压值计算上下压板之间的距离，来检测口腔内舌头的位置。
50.使用本发明语言学习设备前的准备工作包括：首先将口腔传感器放入嘴中，如果使用者为弱听患者或者能够通过骨传导感受声音，那么将骨传导声音放大器3与主机连接并配戴在使用者头上。随后将主机开机，如图6所示，在主界面选择测试按钮，进入测试页面，如图7所示，测试声音震动转换器2、骨传导声音放大器3、口腔传感器4、的正常工作情况。若工作正常，则返回主界面，进入正常工作界面。
51.模式选择：进入正常工作界面后，如图8所示，需要选择学习阶段，分为初级阶段、中级阶段和高级阶段，不同阶段对应着不同的学习水平。首先选择初级阶段，如图9所示，在初级阶段里面选择要学习的发音字母；如图10所示，在中级阶段可以选择要学习的字和词；如图11所示，高级阶段可以选择学习的四字词语、小短语、简单句子。
52.学习流程：在初级阶段，完成一个学习目标需要四个阶段，分为发声教学、舌头动作教学、嘴型教学、协调发音。
53.发声教学：如图12所示，通过设备发声传导震动给使用者，并且能够把使用者学习发声的声音进行录制，随后同样通过震动的方式播放出来，同时屏幕显示患者发声和标准发声的强度差异，让患者通过对比不断矫正自己的发声向标准声音靠拢。当设备识别出患者发声和标准发声差异不大时，设备显示通过。
54.舌头动作教学：如图13所示，随后进入舌头动作教学界面，选择字母或者单词的发
音过程舌头和嘴型是一个变化的过程，并不是一个不变的动作，只有非常简单的发音，通过不变的嘴型和舌头位置就可以发声，初级阶段就是对此类发音进行学习，在舌头教学界面，屏幕分为左右两个部分，其显示都以舌头的二维剖面简图的方式显示，左边的图形显示的是实时的舌头位置反馈图，会随着舌头位置的改变反馈到屏幕上，而右边是能够发出所选择声音的标准舌头位置，患者通过对比标准舌头位置，调节自己的舌头位置直到设备检测达到标准位置。
55.嘴型教学：如图14所示，随后进入嘴型教学界面，屏幕同样分为左右两边，主机摄像头通过拍摄患者嘴型，识别关键点位，在屏幕左图转化为对应的实时二维示意图，在屏幕右侧显示能够发出所选发音的标准嘴型。患者通过对比使自己的嘴型达到标准的嘴型，这个过程中主机也会提示患者有哪些关键位置没有达到标准位置。
56.协调发音：如图15所示，最后设备进入协调发音阶段，因为一个声音的发出是由发声、嘴型、舌头位置同时进行的，所以这一步就是让患者将之前学习的三个方面同时进行，屏幕上将同时显示患者发声和标准发声的区别，患者舌头位置和标准舌头位置的区别，患者嘴型和标准嘴型的区别，患者在发音的时候就可以知道在这个过程中这关键的三个部位具体哪一个细节没有做好，从而进行更正，同时系统也会自动的识别三者中的差异，做出汇总给患者以图形的形式进行提示，机器也会将患者发音进行录制，和标准发音对比播放，让患者通过声音震动转换器来感受两者的区别。
57.初级阶段与中级阶段、高级阶段的对比：初级阶段，主要针对那些在发音过程中嘴型和舌头位置不发生变化的字母发音或者字发音，主要帮助患者熟悉教学流程。另外因为发声教学是共通的所以仅出现在初级阶段。中级阶段，在初级阶段的基础上继续对需要变化嘴型和舌头位置才能发出的读音进行教学。在舌头教学界面先对发音过程中舌头变化的过程进行播放，要求使用者模仿屏幕上所播放的舌头动作，设备通过口腔传感器检测用户的真实动作来确认用户的动作是否达标，达标后进入嘴型教学界面，类似于舌头教学界面来检测用户的嘴部动作是否达标。由于嘴型和舌头位置是一系列变化的过程，而不是一个单一不变的动作，所以在中级阶段的教学中，舌头动作和嘴唇动作的协调搭配尤为重要，在协调发音界面上不仅会同时显示标准的舌头位置和对应嘴型，而且会显示该读音舌头位置和对应嘴型的变化动图，从而提高学习效果。高级阶段则是在其学会单个字母或汉字的发音后，对短语或句子的教学过程。这一阶段变化更多，难度更高，在舌头教学界面，用户可以选择完整舌头动作的动画播放也可以选择单个汉字的舌头动作播放也可以对播放过程的速度进行控制，以上操作完全根据用户对这句话的学习程度，在设备检测舌头的动作符合要求之后进行嘴型的教学，嘴型教学流程和舌头教学流程类似，在逐个舌头位置和嘴型位置的学习完成后，所需要的协调发音也更复杂，协调发音界面上会提示用户具体的哪个嘴型动作和哪个舌头动作是应当互相搭配的，用户根据提示将嘴型动作和舌头动作进行结合，并由系统检测这个过程用户的动作是否匹配正确，如若符合标准继续进行综合性的整句话的发音练习，并能够提示用户哪个字或者词发音不正确，用户根据提示可以选择发音错误的字词单独练习，以达到掌握语句发音的能力。
58.图16为本发明实施例提供的针对学语前听觉障碍人群的语言学习方法流程框图，如图16所示，所述方法包括以下步骤：
59.s1：通过引导使用者模仿的形式让使用者学会声带振动；
60.具体地，通过声音震动转换器将设备发声传导震动给使用者，并且能够把使用者学习发声的声音进行录制，随后同样通过震动的方式播放出来，同时主机屏幕显示患者发声和标准发声的强度差异，让患者通过对比不断矫正自己的发声向标准声音靠拢，当设备识别出患者发声和标准发声差异不大时，设备显示通过。
61.s2：通过口腔传感器检测舌头的位置并与标准舌位进行对比，将对比信息反馈给使用者；
62.具体地，利用口腔传感器对使用者前舌与后舌位置进行检测，并将具体位置信息清晰地反馈给使用者，使其能够适当调整动作。
63.在舌头教学界面，主机屏幕分为左右两个部分，左边的图形显示的是实时的舌头位置反馈图，会随着舌头位置的改变反馈到屏幕上，而右边是能够发出所选择声音的标准舌头位置，患者通过对比标准舌头位置，调节自己的舌头位置直到设备检测达到标准位置。
64.s3：通过摄像头捕捉使用者的口型与标准口型进行对比，矫正其说话过程中口型的变化；
65.具体地，主机摄像头通过拍摄使用者嘴型，识别关键点位，在主机屏幕左侧转化为对应的实时二维示意图，在屏幕右侧显示能够发出所选发音的标准嘴型，使用者通过对比可使自己的嘴型达到标准的嘴型，这个过程中主机也会提示使用者有哪些关键位置没有达到标准位置，确保使用者可以按照标准调整自己的动作和口型。
66.s4：在声带振动、舌位正确、口型正确的条件下，使用者进行协调发音。
67.具体地，因为一个声音的发出是由发声、嘴型、舌头位置同时进行的，主机屏幕上同时显示使用者发声和标准发声的区别，使用者舌头位置和标准舌头位置的区别，使用者嘴型和标准嘴型的区别，使用者在发音的时候就可以知道在这个过程中这关键的三个部位具体哪一个细节没有做好，从而进行更正，同时系统也会自动的识别三者中的差异，做出汇总给使用者以图形的形式进行提示，机器也会将使用者发音进行录制，和标准发音对比播放，让使用者通过声音震动转换器来感受两者的区别。
68.与现有技术相比，本发明利用听觉障碍人群的视觉和触觉高度敏感的特点，创造了一套完备的语言学习方案，本套语言学习方案属于聋哑用品领域的创新产品，能够有效缓解“因聋致哑”这一现象，让听觉障碍人群早日实现说话梦。
69.本发明的有益效果如下：
70.1、通过引导患者模仿的形式帮助患者学会声带振动，确保患者可以先学会发音的前提声带振动；
71.2、通过摄像头对使用者的口型进行捕捉识别的基础上，将使用者口型与标准口型显示在主机屏幕上，并与标准口型进行对比，确保使用者可以对照标准口型做出正确的口型，进而学会正常发音；
72.3、通过口腔传感器采集使用者在说话过程中口腔内舌头的位置，让舌头的动作如同四肢一般可以模仿学习，在患者听觉受损的情况下，充分发挥视觉带来的效益；
73.4、使用者能够通过在声带振动、口型正确、舌位正确的前提下正确发音，并且本发明配备完备的学习教程，从易到难，循序渐进的学习模式，从初级阶段、中级阶段到高级阶段，以引导的方式辅助患者主动开口说话，另外，本发明简单便携，使用者可轻松配戴。
74.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述
特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。