基于智能穿戴设备的听力增强方法、系统和穿戴设备与流程

本发明涉及声学处理技术领域，具体涉及一种基于智能穿戴设备的听力增强方法、系统和穿戴设备。

背景技术：

随着移动通信的发展和人们生活水平的不断提高，各种智能穿戴设备的使用越来越普及，无线耳机已经成为大众生活的必需品。目前无线耳机基本都是用于听音乐、听音视频以及打电话，虽然相比于有线耳机给人们带来了很大便利，但在使用中如果遇见他人与别人当面交流时，还需要手动地将相关app如音乐、视频停止，并且摘下耳机，否则会严重影响与别人交流的效果。使用中的这些人为操作增添了很多麻烦，而且一般无线耳机的尺寸较小，摘下后容易搞丢。虽然还可以通过调低音量来减轻干扰，但这也增加了人为操作，而且在嘈杂环境下不容易听清楚对方的讲话内容。

技术实现要素：

发明目的：有鉴于此，本发明提出一种基于智能穿戴设备的听力增强方法和系统，能够自动检测使用场景进行自动操作，与人对话和交流时不需要摘下耳机，且能够消除环境噪声和降低混响，提高语音可懂度和清晰度。

本发明的另一目的在于提供相应的智能穿戴设备。

技术方案：为了实现上述目的，本发明采用如下的技术方案：

第一方面，提供一种基于智能穿戴设备的听力增强方法，方法包括：

在使用所述智能穿戴设备的普通耳机功能时，所述智能穿戴设备进入环境监控模式，实时监测智能穿戴设备外部周围环境声音，对外部声音进行语音识别；

当识别出外部声音中包含预设关键词时，降低耳机当前播放音量或暂停耳机当前状态，并播放所识别的语音信号，所述智能穿戴设备切换至当面交流模式；

在所述当面交流模式下，所述智能穿戴设备利用麦克风阵列消噪功能消除环境噪声，使得用户能够清晰拾取对方讲话声音；

当所述智能穿戴设备接通电话时，切换至无线通话模式，在该模式下，所述智能穿戴设备利用麦克风阵列消噪功能消除环境噪声，使得通话另一端能够获取更清晰的声音。

其中，所述环境监控模式下对外部声音进行语音识别包括：利用麦克风拾取外部声音，将频率在500～3000hz范围之内的声音识别为语音，从中撷取预设时间长度的声音利用语音识别算法进行语音识别，将识别出的语音数据与预设关键词比对，判断外部语音中是否包含预设关键词。

优选地，在外部语音包含预设关键词的场景下，播放该语音信号的具体方法如下：利用基于波束成形理论的声源定位算法提取指定方向的声音分量，对每只耳机，计算左右两侧接收到的声音分量总和，根据左右声音分量的大小控制左右耳机的播放音量。

优选地，在所述智能穿戴设备上间隔一定距离设置两个麦克风组成麦克风阵列，第一麦克风用于拾取包括周围环境的噪声的第一声音信号，第二麦克风用于拾取包括当面交流时的对方语音和电话时的用户自己语音的第二声音信号，所述智能穿戴设备利用麦克风阵列消噪功能消除环境噪声包括：先生成与所述第二声音信号相位相反、振幅相同的第一相消信号，与第一声音信号叠加，从第一声音信号中将语音信号滤除得到纯噪声信号，再生成与所述纯噪声信号相位相反、振幅相同的第二相消信号，与第二声音信号叠加，从第二声音信号中将噪声滤除得到纯净的语音信号。

优选地，所述方法还包括：环境监控模式下，所述智能穿戴设备利用主动消噪功能消除环境噪声，所述主动消噪功能为：利用麦克风拾取环境噪声，生成与环境噪声相位相反、振幅相同的相消信号。

第二方面，提供一种基于智能穿戴设备的听力增强系统，包括：

环境监控模块，被配置为利用麦克风拾取智能穿戴设备外部周围声音，并识别外部声音中的语音；

模式切换模块，被配置为当识别出外部声音中包含预设关键词时，切换至当面交流模式，当所述智能穿戴设备连接手机接通电话时，切换至无线通话模式；

消噪模块，被配置为当所述智能穿戴设备处于当面交流模式或无线通话模式时，利用麦克风阵列消噪功能消除环境噪声。

其中，所述环境监控模块将从麦克风拾取的外部声音中频率在500～3000hz范围之内的声音信号识别为语音，并利用语音识别算法判断外部语音中是否包含预设关键词。

优选地，所述消噪模块包括麦克风阵列单元和信号处理单元，所述麦克风阵列单元包括设置于智能穿戴设备上间隔一定距离的第一麦克风和第二麦克风，所述第一麦克风用于拾取包括周围环境的噪声的第一声音信号，所述第二麦克风用于拾取包括当面交流时的对方语音和电话时的用户自己语音的第二声音信号；所述信号处理单元被配置为先生成与所述第二声音信号相位相反、振幅相同的第一相消信号，将第一相消信号与第一声音信号叠加，以从第一声音信号中将语音信号滤除得到纯噪声信号，再生成与所述纯噪声信号相位相反、振幅相同的第二相消信号，将第二相消信号与第二声音信号叠加，以从第二声音信号中将噪声滤除得到纯净的语音信号。

优选地，所述听力增强系统还包括主动消噪模块，用于在所述智能穿戴设备进行环境监控的同时，消除环境噪声，所述主动消噪功能为：利用麦克风拾取环境噪声，生成与环境噪声相位相反、振幅相同的相消信号。

第三方面，提供一种智能穿戴设备，所述智能穿戴设备上运行如本发明第一方面所述听力增强方法或者采用第二方面所述的听力增强系统实现听力增强。

有益效果：无线耳机是当今的主流产品，而现实中会频繁遇到戴着耳机听音乐时要与人交流，往往需要摘下耳机或者手工停止音乐以和别人当面交流，无线耳机尺寸小容易丢失，使用本发明的听力增强方法或系统，耳机上的麦克风会检测周围环境来判断，自动识别出外界呼唤的语音并播放，便于用户与人交流。此过程中不仅无需任何人为操作，场景间的切换是全智能实现，而且利用耳机上的麦克风进行消噪，在普通耳机中增加了当面交流下的助听模式，有助于佩戴者在嘈杂环境下的交流，保护了听力。本发明提高了耳机的效率，简单易用，更避免了不慎丢失耳机的风险，通过消除环境噪声和降低混响，提高了语音可懂度和清晰度，有助于提高沟通效率。

附图说明

图1为根据本发明的智能穿戴设备的两个麦克风简单形式的示意图；

图2为根据本发明的智能穿戴设备的工作状态图；

图3为根据本发明的智能穿戴设备在环境监控模式下工作状态。

具体实施方式

下面结合实施例对本发明的技术方案作进一步说明。

本发明公开了一种基于智能穿戴设备的听力增强方法，该智能穿戴设备具备普通耳机功能，如连接智能移动终端播放音频、视频、游戏音效，以及接听电话等，在此基础上，本实施例通过新增如下功能实现听力增强：实时监测环境状态，当使用者和别人当面讲话时，如果周遭环境噪声很响，设备可以将对方讲话中的环境噪声消除，以方便用户自己能够更好地接听，且在此过程中还无需摘下耳机，无线耳机自动起到助听器作用。在接听电话时，也可以将环境噪声消除，使得使用者的声音能够更清楚地传递到对方。

下面是对本发明提出的基于智能穿戴设备的听力增强方法的详细描述。以下描述中，智能穿戴设备是无线耳机，每一只耳机上设有至少二个麦克风构成麦克风阵列。在一个实施例中，如图1所示，耳机上间隔一定距离设有两个麦克风构成麦克风阵列，放置在耳机尾端的麦克风1用于拾取周围环境的噪声，靠近耳机前端的麦克风2用于在当面交流时拾取对方语音，以及在电话时拾取用户自己的语音信号。所述前端、尾端是以图1所示的形状为参照，仅在起到示例的作用，应当理解并不是对本发明的限制。

如图2所示，基于该智能穿戴设备的听力增强方法包括以下步骤：

s10，实时监测耳机外部周围环境声音，对外部声音进行语音识别。

在使用时，左右耳可分别戴一只耳机，两边可以同时用，也可以只用其中一只。在使用耳机的普通功能时，耳机可以连接智能移动终端如智能手机，用户可以听音乐，看视频，打游戏，同时开启监听周围环境模式，耳机上的麦克风1实时采集周围环境声音信号，先过滤出语音，再进行语音识别。一般认为，人类语音频率范围为300hz～3400hz，人们正常说话的最主要的频带在500～3000hz范围之内。麦克风采集外部声音之后，送入耳机内的处理器芯片进行运算分析。本发明将频率在300hz～3400hz范围之外的声音信号识别为环境噪声，将频率在500～3000hz范围之内的声音识别为语音，对于初步判断为语音的声音数据，利用语音识别技术对该声音数据进行语音识别，分析语音中包含的词语信息。语音识别采用现有技术即可实现，此处不再赘述。

s20，当识别出外部声音中包含预设关键词时，耳机切换至当面交流模式。

在耳机使用前，用户可以根据自己的需要设置关键词，将其存储在耳机中，作为预设关键词。例如，小张是耳机的用户，jack是他的英文名，使用耳机前，小张可以设置关键词为“小张”、“jack”等或日常生活中别人对他的称呼，然后将设置好的关键词存储在耳机中。当对外界语音进行语音识别后，通过关键词匹配技术判断外界语音中是否包含“小张”、“jack”等预设关键词。若判断出外界语音包含关键词，说明外界环境中有人在呼叫用户，此时耳机需要进行调整，使用户能清晰接收外界语音。在一种实施方式中，耳机降低当前播放音量，并播放外界语音信号，开启当面交流模式；在另一种实施方式中，耳机暂停正在播放的音乐或视频或游戏，并播放外界语音信号，开启当面交流模式。如图3所示，在一个实施例中，环境监控模式下，通过语音识别和关键词匹配判断有无人叫名字，判断没有则继续环境监控，若关键词有匹配，则停止放音，播放外界语音呼唤名字，耳机自动切换到当面交流模式。

作为一种优选的实施方式，在播放外界语音信号时，将名字的呼唤通过所定的位置，用音频虚拟现实的方式将名字呼唤播放出去，让用户能分别音源方向。具体地，可以利用基于波束成形理论的声源定位算法提取指定方向的声音分量，计算左右两侧耳机接收到的声音分量总和，将语音信号从声音分量总和大的方向的输出通道播出。例如，以耳机使用者的左、右、前、后两个维度来划分象限，分别计算左前、右前、左后、右后四个方向范围内收到的声音分量，然后计算耳机左右两侧接收到的声音分量总和，即左前+右前作为左声音分量；左后+右后作为右声音分量，放音时，根据左右声音分量的大小控制左右耳机的播放音量，如左声音分量大于右声音分量，说明声音来源于用户左侧，相应地将语音信号从左耳机输出通道播出的音量大于从右耳机输出通道播放的音量。对用户而言，达到好像未戴耳机时听到左侧外部呼叫声音的立体声效果。

s30，在当面交流模式下，耳机上两个麦克风开启消噪模式，消除对方讲话的环境噪声，使得用户可以更清晰的交流。

具体而言，在当面交流模式下，耳机上两个麦克风都能够接收到对方讲话的声音和环境噪声，但由于设置的位置不同，拾取的声音主要内容含量也不同。将麦克风1拾取的主要包含噪声的声音记为第一声音信号，将麦克风2拾取的主要包含对方讲话的声音记为第二声音信号，首先控制生成与第二声音信号相位相反、振幅相同的第一相消信号，与第一声音信号叠加，从第一声音信号中将语音信号滤除，得到纯噪声信号，然后再控制生成与该纯噪声信号相位相反、振幅相同的第二相消信号，与第二声音信号叠加，从第二声音信号中将噪声滤除得到尽可能纯净的语音信号。这样当用户和别人当面讲话时，如果周遭环境噪声很响，耳机可以起到助听器的作用，将对方讲话中的环境噪声消除，以方便自己可以更好地接听，在此过程中还无需摘下耳机，对于无线耳机来说很方便，降低了摘下后被丢失的风险。

如果交流结束，回到环境监控模式，继续听歌看视频。

s40，当耳机接听电话时，切换至无线通话模式，此时耳机上的麦克风阵列消噪功能消除用户讲话时环境噪声，使得通话另一端能够获取更清晰的声音。

在接听电话时，如果用户自己讲话环境中有较大噪声，可以利用耳机上的麦克风阵列消噪功能，来消除环境噪声。将麦克风1拾取的主要包含噪声的声音记为第一声音信号，将麦克风2拾取的主要包含用户讲话的声音记为第二声音信号，首先控制生成与第二声音信号相位相反、振幅相同的第一相消信号，与第一声音信号叠加，从第一声音信号中将语音信号滤除，得到纯噪声信号，然后再控制生成与该纯噪声信号相位相反、振幅相同的第二相消信号，与第二声音信号叠加，从第二声音信号中将噪声滤除得到纯净的语音信号。

作为优选的实施方式，在耳机的无线通话模式下，手机另一端的对方讲话了，用户这里是接听状态，此时开启耳机的主动降噪功能，降低周围环境噪声，方便用户听清电话另一端的内容。主动降噪的基本原理是利用一个麦克风拾取环境噪声，生成与环境噪声相位相反、振幅相同的相消信号，叠加到耳机中的音源输入声音上。现有技术中也有很多主动降噪耳机的实现方式，此处不再赘述。

作为优选的实施方式，在环境监控模式下，耳机的主动消噪功能也是开启的，以消除环境噪声，方便用户更好地听音乐、视频声音。

基于上述听力增强方法，耳机能自动检测环境的情景变化，在平时的状态下，为环境监控模式，用于监听周围环境情景，并且降低环境噪声。如果有人与使用者说话，就自动转为当面交流模式，消除噪声、降低混响，清晰地拾取对方的讲话声。如果耳机连接手机通话，就自动转为通常消噪蓝牙耳机模式，进行通话。通过耳机上的麦克风进行检测周围环境来判断，无需任何人为操作，极大了便利了用户的使用，并增强了耳机的听力功能，扩展了耳机的使用场景。

根据发明的另一实施例，公开了一种基于智能穿戴设备的听力增强系统，该智能穿戴设备为无线耳机，在使用时，左右耳可分别戴一只耳机，两边可以同时用，也可以只用其中一只。该听力增强系统包括：

环境监控模块，被配置为利用麦克风拾取智能穿戴设备外部周围声音，并识别外部声音中的语音。耳机上设有至少二个麦克风构成麦克风阵列。作为示例，参照图1，耳机上间隔一定距离设有两个麦克风构成麦克风阵列，放置在耳机尾端的麦克风1用于拾取周围环境的噪声，靠近耳机前端的麦克风2用于在当面交流时拾取对方语音，以及在电话时拾取用户自己的语音信号。麦克风采集外部声音之后，将频率在300hz～3400hz范围之外的声音信号识别为环境噪声，将频率在500～3000hz范围之内的声音识别为语音，对于初步判断为语音的声音数据，利用语音识别技术对该声音数据进行语音识别，分析语音中包含的词语信息。语音识别采用现有技术即可实现，此处不再赘述。

模式切换模块，被配置为当识别出外部声音中包含预设关键词时，切换至当面交流模式，当耳机连接手机接通电话时，切换至无线通话模式。耳机中预先存储了用户根据自身需求设置的关键词，如人名。对于环境监控模块识别出的词语信息，模式切换模块通过关键词匹配判断有无人叫名字，判断没有则继续环境监控，若关键词有匹配，则停止放音或降低当前播放音量，播放外界语音呼唤名字，耳机自动切换到当面交流模式。当耳机连接手机接通电话时，切换到无线通话模式。

消噪模块，被配置为当耳机处于当面交流模式或无线通话模式时，利用麦克风阵列消噪功能消除环境噪声。消噪模块包括麦克风阵列单元和信号处理单元，麦克风阵列单元包括设置于耳机上间隔一定距离的麦克风1和麦克风2，麦克风1用于拾取包括周围环境的噪声的第一声音信号，麦克风2用于拾取包括当面交流时的对方语音和电话时的用户自己语音的第二声音信号；信号处理单元被配置为先生成与所述第二声音信号相位相反、振幅相同的第一相消信号，将第一相消信号与第一声音信号叠加，以从第一声音信号中将语音信号滤除得到纯噪声信号，再生成与所述纯噪声信号相位相反、振幅相同的第二相消信号，将第二相消信号与第二声音信号叠加，以从第二声音信号中将噪声滤除得到纯净的语音信号。

作为优选的实施方式，该听力增强系统还包括主动消噪模块，利用主动消噪技术消除环境噪声，通过一个麦克风拾取环境噪声，生成与环境噪声相位相反、振幅相同的相消信号，叠加到耳机中的音源输入声音上。在耳机处于环境监控模式或无线通话模式下，开启耳机的主动消噪功能，消除环境噪声，方便用户更好地听电话、或音乐、视频声音。

根据本发明的另一实施例，提供一种智能穿戴设备，该智能穿戴设备为无线耳机，其可使用上述方法实施例中的听力增强方法实现听力增强，或者采用上述系统实施例中的听力增强系统。

普通耳机只能给用于通电话、听音乐、看视频等，利用本发明的听力增强系统还能在与别人见面交流时，不仅不用摘下耳机，而且还能增强听力，即让使用者更加能听清楚别人的声音，增强可懂度和清晰度。从而将普通耳机升级成为一个完整的听力增强设备，不仅在打电话时能增强自己讲话的声音和从对方传过来的声音，而且也能增强当面与别人交流时的可懂度和清晰度，大大增强了无线耳机的使用功能并提高了使用方便性。

以上所述仅是本发明的具体实施方式，在上述教导下，本领域技术人员可以进行其他的改进或变形。在不脱离本发明精神和实质的情形下的任何改进或修改，均应落入本发明要求的保护范围内。