基于音频设备的异物检测方法和装置、终端与流程

文档序号:15926445发布日期:2018-11-14 01:11阅读:278来源:国知局

本申请涉及通信技术领域,特别是涉及一种基于音频设备的异物检测方法和装置、终端、音频设备及可读存储介质。

背景技术

随着通信技术的发展,智能设备已经密切融入人们生活中,大大改善了人们的生活。越来越多的人喜欢使用终端来收听音乐和观看视频,那么为了保证良好收听体验,避免给他人造成声音干扰,用户一般佩戴音频设备利用耳朵来收听音频。

为了提高用户耳朵的听觉体验,用户经常会处理耳道内的异物,但是处理异物时,不能知晓耳道内是否存在异物,通常是“盲掏”耳朵,体验度低;或者需要借助特殊的辅助设备观察并清理异物,操作复杂、使用不便。



技术实现要素:

本申请实施例提供一种基于音频设备的异物检测方法、装置、终端、音频设备及可读存储介质,可以自动检测耳道内是否存在异物,并及时提醒用户对异物进行清理,提升用户的听觉体验。

一种基于音频设备的异物检测方法,包括:

获取基于音频设备播放的音频信号经耳道反射和振动而形成的声学反射信号;

将所述声学反射信号与预设反射信号进行比较,其中,所述预设反射信号为耳道内不存在异物时所述音频信号经耳道反射和振动而形成的信号;

根据比较结果输出所述耳道内是否存在异物的检测结果。

一种基于音频设备的异物检测装置,包括:

获取模块,用于获取基于音频设备播放的音频信号经耳道反射和振动而形成的声学反射信号;

比较模块,用于将所述声学反射信号与预设反射信号进行比较,其中,所述预设反射信号为耳道内不存在异物时所述音频信号经耳道反射和振动而形成的信号;

输出模块,用于根据比较结果输出所述耳道内是否存在异物的检测结果。

一种终端,包括存储器及处理器,该存储器中储存有计算机可读指令,所述指令被该处理器执行时,使得该处理器执行上述方法的步骤。

一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法的步骤。

一种音频设备,该音频设备包括音频采集模块、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器与所述存储器、采集模块、电连接,该处理器执行计算机程序时实现上述方法的步骤。

上述基于音频设备的异物检测方法、装置、终端、音频设备及计算机可读存储介质,可以获取基于音频设备播放的音频信号经耳道反射和振动而形成的声学反射信号;将所述声学反射信号与预设反射信号进行比较,其中,所述预设反射信号为耳道内不存在异物时所述音频信号经耳道反射和振动而形成的信号;根据比较结果输出所述耳道内是否存在异物的检测结果,可以智能的根据声学反射信号与预设反射信号的比较结果输出耳道内是否存在异物的检测结果,能够及时提醒用户对异物进行清理,提升用户的听觉体验,扩展了耳机或终端的使用功能。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为一个实施例中基于音频设备的异物检测方法的应用环境示意图;

图2为一个实施例中终端的内部结构示意图;

图3为一个实施例中基于音频设备的异物检测方法的流程示意图;

图4为一个实施例中将所述声学反射信号与预设反射信号进行比较的流程图;

图5为一个实施例中根据比较结果确定所述耳道内是否存在异物的流程图;

图6为另一个实施例中将所述声学反射信号与预设反射信号进行比较的流程图;

图7为另一个实施例中根据比较结果确定所述耳道内是否存在异物的流程图;

图8为另一个实施例中基于音频设备的异物检测方法的流程示意图;

图9为又一个实施例中基于音频设备的异物检测方法的流程示意图;

图10为一个实施例中基于音频设备的异物检测装置的结构框图;

图11为与本申请实施例提供的终端相关的手机的部分结构的框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本申请。

图1为一个实施例中输入操作控制方法的应用环境示意图。如图1所示,该应用环境包括终端110和与该终端110进行通信的音频设备120。

其中,终端110上播放有音频信号,该音频信号包括但不限于歌曲、视频音、通话音等,终端110与音频设备120进行通信连接。终端110与音频设备120可以通过有线或无线的方式进行通信,实现数据的传输。

终端110上安装有应用程序(application,app),应用程序指的是为完成某项或多项特定工作的计算机程序,它运行在用户模式,可以和用户进行交互,具有可视的用户界面。终端110通过应用程序与用户进行交互,例如终端110通过音乐app可以播放用户喜欢的歌曲并向用户推荐歌曲等。

音频设备120可以为扬声器或听筒具有发声功能的器件,也可以为包括扬声器或听筒的耳机等具有输入、输出音频信号的电子设备。

图2为一个实施例中终端的内部结构示意图。该终端110包括通过系统总线连接的处理器、存储器和显示屏。其中,该处理器用于提供计算和控制能力,支撑整个终端110的运行。存储器用于存储数据、程序、和/或指令代码等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于终端110的基于音频设备的异物检测方法。存储器可包括磁碟、光盘、只读存储记忆体(read-onlymemory,rom)等非易失性存储介质,或随机存储记忆体(random-access-memory,ram)等。例如,在一个实施例中,存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统、数据库和计算机程序。该数据库中存储有用于实现以上各个实施例所提供的一种基于音频设备的异物检测方法相关的数据。该计算机程序可被处理器所执行,以用于实现本申请各个实施例所提供的一种基于音频设备的异物检测方法。内存储器为非易失性存储介质中的操作系统、数据库和计算机程序提供高速缓存的运行环境。显示屏可以是触摸屏,比如为电容屏或电子屏,用于显示终端110的界面信息,显示屏包括亮屏状态和灭屏状态。该终端110可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本领域技术人员可以理解,图2中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的终端110的限定,具体的终端110可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

图3为一个实施例中基于音频设备的异物检测方法的流程图,本实施例中的基于音频设备的异物检测方法,以运行于图1中的终端和/或音频设备上为例进行描述。音频设备可以为扬声器或听筒具有发生功能的器件,也可以为包括扬声器或听筒的耳机等具有输入、输出音频信号的电子设备。本申请中,以耳机作为音频设备进行阐述,其中,耳机可以为能够放置到用户耳道内的有线或无线耳机。该基于音频设备的异物检测方法,包括以下步骤302~步骤306:

步骤302:获取基于音频设备播放的音频信号经耳道反射和振动而形成的声学反射信号。

其中,音频设备可以为入耳式、耳塞式等可以放置在用户耳道内的有线或无线耳机。用户可以利用该耳机听音乐、接听电话等。当用户将耳机放置到耳道后,可以基于耳机当前播放的音频信号录制该音频信号经耳道反射和振动而形成的声学反射信号。

其中,耳机播放的音频信号,可以由与该耳机连接的终端进行控制,该终端可以输出音频信号至耳机,由耳机实现音频信号的播放。该音频信号可以为应用程序(音乐类、视频类、游戏类、通话类等)播放多媒体文件而发出的音乐或语音信号;音频信号还可以为通话过程中用户本人或联系人的语音信号;音频信号还可以为用户听力范围以外的声音信号(高于20khz的音频信号)等。需要说明的是,上述列举为音频信号的举例而非限制,还可以通过其他的方式来设置音频信号。

当耳机放置到耳道中时,耳机播放音频信号时,该音频信号在耳道中传输,经过耳道的反射和振动而形成声学反射信号。

在一个实施例中,该耳机包括电声换能器,可以基于耳机的电声换能器来采集或录制音频信号经耳道反射和振动而形成的声学反射信号。其中,电声换能器为扬声器,可以将音频信号对应的电信号转换成用户可以听到的声波信号。同时,电声换能器对用户耳朵内部结构(耳道)中的声波非常敏感,能够引起扬声器纸盆的振动,带动与纸盆相连的线圈在永久磁体的磁场中作切割磁力线的运动,从而产生随着声波的变化而变化的电流(产生电流的现象在物理学上称为电磁感应现象),同时,在线圈两端将输出音频的电动势。因此,电声转换器也可以用于采集音频信号经耳道反射和振动而形成的声学反射信号。也即,电声换能器也可以作为麦克风来使用。

基于播放所述音频信号的电声换能器录制所述音频信号经耳道反射和振动而形成的声学反射信号,不需要通过在耳机内额外设置麦克风来,节约了成本,简化了耳机的内部结构。

可选的,耳机还可以包括麦克风,该麦克风用于采集所述音频信号及所述振动信号经耳道的反射和振动而形成的声学反射信号。其中,当耳机佩戴在用户的耳道中时,其麦克风设置在耳机与用户耳道相接触的一侧,例如,麦克风可以设置在扬声器通孔的耳机壳体上。

需要说明的是,步骤302中获取基于音频设备播放的音频信号经耳道反射和振动而形成的声学反射信号的执行主体可以为音频设备(耳机),也可以为终端。耳机可以直接获取电声换能器或麦克风采集到经耳道反射和振动而形成的声学反射信号,或,耳机可以将获取的声学反射信号传输给与该耳机进行通讯连接的终端,继而使终端获取该声学反射信号。

步骤304:将所述声学反射信号与预设反射信号进行比较。

预设反射信号可以为耳道内不存在异物时所述音频信号经耳道反射和振动而形成的信号。也即,当用户将耳道内的异物清除干净后,将耳机放置在耳道中,耳机播放音频信号,并采集该音频信号经耳道反射和振动而形成的信号,该信号即为预设反射信号。预设反射信号可以预先存储在耳机或终端中。

当用户耳道中存在异物时,其音频信号在用户耳道中传输的过程中,会因为异物的存在,影响音频信号的传输行程、反射行程,同时,其异物与用户耳道肤质对音频信号的吸收程度也会有所不同。可以将获取的声学反射信号与预设反射信号进行比较,根据该比较结果可以判断用户耳道中是否存在异物。

具体的,在比较声学反射信号与预设反射信号时,可以比较两个信号的响度信息、能量信息的大小。其中,响度信息可指人耳对音量大小、声音强弱的主观感受,响度主要决定于声强,提高声强,响度级也相应增加;声音的响度并不是单纯由声强决定的,还取决于频率,不同频率的纯音有不同的响度增长率,其中低频纯音的响度增长率比中频纯音要快。能量信息可以通过该声学反射信号在预设时长内的各信号强度的平方和计算获取。

可选的,在比较声学反射信号与预设反射信号时,还可以根据声学反射信号与音频信号的比值获取能够表征耳机在用户耳道内空间声学特征的声学脉冲响应。也即,该声学脉冲响应可以用来表征耳机放置在耳道中时,耳机与用户耳道形成的封闭空间的空间声学特征。通过比较声学反射信号、音频信号分别与音频信号的比值的大小,进而可以判断用户耳道中是否存在异物。

需要说明的是,步骤304中将所述声学反射信号与预设反射信号进行比较的执行主体可以为音频设备(耳机),也可以为终端。预设反射信号可以预设存储在音频设备或终端中,当步骤302获取声学反射信号的执行主体为耳机时,耳机可以将获取的声学反射信号与存储的预设反射信号进行比较。当步骤302获取声学反射信号的执行主体为终端时,终端可以将获取的声学反射信号与存储的预设反射信号进行比较。

步骤306:根据比较结果输出所述耳道内是否存在异物的检测结果。

根据声学反射信号与预设反射信号比较结果,可以确定用户耳道内是否存在异物,并输出耳道内是否存在异物的检测结果。

具体,若比较的为反射信号与预设反射信号的响度信息,可以通过比较两者响度信息的差值,根据差值判断其耳道内是否存在异物;若比较的为反射信号与预设反射信号的能量信息,可以通过比较两者能量信息的差值,根据差值判断其耳道内是否存在异物;若比较的为反射信号、预设反射信号分别与音频信号的比值,可以通过比较两者能量信息的比例因子,根据比例因子判断其耳道内是否存在异物。

检测结果的输出方式可以通过耳机语音输出,也可以通过终端语音和/或显示输出。进一步的,当用户耳道内存在异物时,耳机或终端可以输出相应的提示音提示用户,便于用户及时清理耳道中的异物,提高用户的听觉体验,同时还可以避免耳道中的异物对用户的健康造成影响。当用户耳道内不存在异物时,耳机或终端也可以输出相应的提示音告知用户,耳道内无异物,不需要频繁掏耳朵等提示信息。

需要说明的是,步骤304中根据比较结果输出所述耳道内是否存在异物的检测结果的执行主体可以为音频设备(耳机),也可以为终端。

上述基于音频设备的异物检测方法,获取基于音频设备播放的音频信号经耳道反射和振动而形成的声学反射信号;将所述声学反射信号与预设反射信号进行比较,其中,所述预设反射信号为耳道内不存在异物时所述音频信号经耳道反射和振动而形成的信号;根据比较结果输出所述耳道内是否存在异物的检测结果,可以智能的根据声学反射信号与预设反射信号的比较结果输出耳道内是否存在异物的检测结果,能够及时提醒用户对异物进行清理,提升用户的听觉体验,扩展了耳机或终端的使用功能。

需要说明的是,步骤302-步骤306,各个步骤的执行主体可以是终端,也可以是音频设备,在此,不做进一步的限定。

在一个实施例中,将所述声学反射信号与预设反射信号进行比较之前,还可以包括:对音频信号进行滤波降噪处理,以滤除对音频信号造成影响的噪声信号,其中,噪声信号可以为播放音频信号时的环境噪声,例如,外界鸣笛声、说话声等,还可以为音频设备自身的电路噪声等。环境噪声和电路噪声会对比较结果造成大的干扰,通过对音频信号进行滤波降噪处理,可以提高耳道中是否存在异物判断的准确性,防止误判的情况发生。

图4为一个实施例中将所述声学反射信号与预设反射信号进行比较的流程图。在一个实施例中,将所述声学反射信号与预设反射信号进行比较,包括:

步骤402:根据所述声学反射信号与所述音频信号确定所述音频设备所在耳道的空间特征的声学脉冲响应。

将耳机放置在用户耳道的预设位置处,获取耳机当前播放的音频信号s(t)以及由电声换能器或麦克风采集到的耳道中的声学反射信号为r(t),根据声学反射信号r(t)与音频信号s(t)确定耳机在用户耳道内空间特征的声学脉冲响应w(t)。可以用如下公式表达声学反射信号为r(t)、音频信号s(t)以及声学脉冲响应w(t)三者之间的关系:

r(t)=s(t)*w(t)(1)

式中,声学脉冲响应w(t)是一个能够反映耳机和用户耳朵耦合的参量。其中,声学脉冲响应w(t)可以理解为耳机当前所在用户耳道的空间特征。当耳道中不存在异物且耳机位于耳道的不同位置时,其对应的声学脉冲响应w(t)不同;当耳机位于同一位置的情况下其耳道中存在不同量的异物时,其对应的声学脉冲响应w(t)也不同。公式(1)中,音频信号为s(t)与声学反射信号为r(t)可以通过音频设备或终端设置的音频电路监测获得,进而可以获取与耳机所在耳道的空间特征相关联的声学脉冲响应w(t)。

进一步的,上述公式(1)中还可以增加一项噪声因子e(t),其中噪声因子e(t)包括环境噪声和电路噪声;环境噪声为在没有播放音频信号s(t)时,录音声学反射信号的过程中产生的环境噪声,该环境噪声可以有额外的麦克风来采集;电路噪声为音频设备内置电路中而引起的噪声,是音频设备的固有属性。增加噪声因子e(t)为已知参数,考虑噪声因子e(t)后,其公式(1)可以修订为:

r(t)=s(t)*w(t)+e(t)(2)

公式(2)中,新增加的噪声因子e(t)、音频信号为s(t)以及声学反射信号为r(t)均为已知参数,进而可以获取与耳机所在的耳道的空间特征相关联的声学脉冲响应w(t)。

进一步的,还可以用声学脉冲响应w(t)来表征每个用户的的耳纹信息,根据耳纹信息就可以确定用户的身份信息,相应的,声学脉冲响应也可以用户表征用户的身份信息。

需要说明的是,该预设位置可以为用户佩戴耳机的最舒适的位置,也可以为佩戴耳机最稳定的位置,也可以为用户自定义的位置。在本申请的实施例中,对该预设位置不做进一步的限制。

步骤404:根据所述预设反射信号与所述音频信号确定所述音频设备所在耳道的空间特征的预设脉冲响应。

其中,预设反射信号为可为用户耳道内不存在异物时,耳机佩戴在预设位置处时,音频信号经耳道反射和振动而形成的信号。也即,当用户将耳道内的异物清除干净后,将耳机放置在耳道的预设位置处,耳机播放音频信号,并采集该音频信号经耳道反射和振动而形成的信号,该信号即为预设反射信号。

相应的,将耳机放置在用户耳道的预设位置处,获取耳机当前播放的音频信号s(t)以及由电声换能器或麦克风采集到的耳道中的预设反射信号r'(t),根据预设反射信号r'(t)与音频信号s(t)确定耳机在用户耳道内空间特征的预设脉冲响应w'(t)。可以用如下公式表达音频信号s(t)、预设反射信号r'(t)以及预设脉冲响应w'(t)三者之间的关系:

r'(t)=s(t)*w'(t)(3)

式中,预设脉冲响应w'(t)是在用户耳道内不存在异物的情况下,能够反映耳机和用户耳朵耦合的参量。公式(3)中,音频信号为s(t)与预设反射信号r'(t)可以通过音频设备或终端设置的音频电路监测获得,进而可以获取与耳机所在耳道空间特征相关联的预设脉冲响应w'(t)。

进一步的,可以调整耳机在耳道中的位置,获取一组(1-10个)用于表征当前耳机所在用户耳道的空间特征的预设脉冲响应。

步骤406:比较所述预设脉冲响应和声学脉冲响应,并获取所述预设脉冲响应和声学脉冲响应的比例因子。

将获取的预设脉冲响应w'(t)和声学脉冲响应w(t)进行比较,其中,可以获取预设脉冲响应w'(t)与声学脉冲响应w(t)的差值或比值,将获取的差值记为差值因子,将获取的比值记为比例因子。当耳机固定放置在预设位置处时,用户耳道内不存在异物时对应的耳道的空间特征最大,也即对应的预设脉冲响应w'(t)也最大。在本实施例中,可以获取预设脉冲响应w'(t)和声学脉冲响应w(t)的比例因子μ,比例因子μ=预设脉冲响应w'(t)/声学脉冲响应w(t)。

图5为一个实施例中根据比较结果确定所述耳道内是否存在异物的流程图。在一个实施例中,根据比较结果确定所述耳道内是否存在异物,包括:

步骤502:将所述比例因子与预设比例因子进行比较。

步骤504:当所述比例因子大于预设比例因子时,则输出耳道内存在异物的提示信息。

根据上述步骤406,比较所述预设脉冲响应和声学脉冲响应,并获取所述预设脉冲响应和声学脉冲响应的比例因子。比例因子μ=预设脉冲响应w'(t)/声学脉冲响应w(t),将获取的比例因子与预设比例因子进行比较,当获取的比例因子大于预设比例因子时,则输出耳道内存在异物的提示信息。

其中,用户可以肉眼或借助其他窥镜设备确定用户耳道内存在异物时,基因耳机播放的测试信号和声学反射信号获取声学脉冲响应w(t),进而获取预设脉冲响应w'(t)与声学脉冲响应w(t)的比例因子μ。在已知用户耳道内存在异物的情况下,获取大量的比例因子μ,并对获取的比例因子μ进行数据统计分析,进而得到预设比例因子。其中,预设比例因子可以设置为1、1.1、1.2等数值。可选的,预设比例因子还可以根据用户的身份信息来设定,具有不同的身份信息的用户,其预设比例因子不同。在本申请实施例中,对预设比例因子的获取方式以及数值不做进一步的限定。

当获取的比例因子大于预设比例因子时,则可确定用户耳道内存在异物,可以输出提示信息,以提醒用户及时掏耳朵,清理耳道中的异物,提高用户的听觉体验。同时,还可以避免因耳道存在的异物过多、停留时间过长而对身体健康造成影响。

可选的,还可以根据比例因子与预设比例因子的差值的大小,输出具有不同程度的检测结果,例如,“异物过多,建议就医处理”;“异物较多,及时掏耳朵处理”;“存在异物,在空闲时间掏耳朵处理”等。

当获取的比例因子小于或等于预设比例因子时,则可确定用户耳道中不存在异物,或存在的异物量非常少,可以忽略不计。此时,可以输出“不存在异物,不需要掏耳朵处理”等提示信息。

需要说明的是,输出耳道是否存在存在异物的检测结果时,其输出检测结果的方式可以耳机语音输出,也可以终端语音输出或终端显示输出;其中输出检测结果的提示内容并不限于上述举例说明,还可以根据用户的实际体验,设置相应的提示内容。在本申请中,其提示方式、提示内容均不作进一步的限定。

图6为另一个实施例中将所述声学反射信号与预设反射信号进行比较的流程图。在一个实施例中,根据比较结果输出所述耳道内是否存在异物的检测结果,包括:

步骤602:获取所述声学反射信号中预设音频片段的第一分贝信息;

步骤604:获取所述预设反射信号中所述预设音频片段的第二分贝信息;

分贝(decibel)是量度两个相同单位之数量比例的计量单位,主要用于度量声音强度,常用db表示。分贝是较常用的计量单位。分贝可表示功率量之比的一种单位,等于功率强度之比的常用对数的10倍。分贝可表示场量之比的一种单位,等于场强幅值之比的常用对数的20倍。分贝可表示声压级的单位,大约等于人耳通常可觉察响度差别的最小分度值。

具体的,可以基于获取的预设音频片段,获取该预设音频片段的振幅信息(amplitude),该振幅信息可以为该预设音频片段的最大振幅,也可以为该预设音频片段的平均振幅,其中,平均振幅可以为该预设音频片段的平方和平均,还可以为该预设音频片段的绝对值的平均值。例如,可以基于下列公式获取该预设音频片段的分贝信息:

式中,ldb表示预设音频片段的分贝信息(分贝值),a1表示该预设音频片段的振幅信息,a0表示该参考值振幅。其中,参考值振幅a0可以取600,此时,计算出来的分贝信息是相对背景噪音的分贝值;参考值振幅a0还可以为20微帕声压值对应的振幅,参考值振幅a0还可以定义为1,即音频设备中麦克风所能采集到的最小声音振幅。需要说明的是,本申请实施例对参考值振幅a0不作具体限制。

具体地,终端或耳机可以将声学反射信号中预设音频片段的音源数据用read(byte[]audiodata,intoffsetinbytes,intsizeinbytes)方法从缓冲区读取到字节数组audiodata后,进而获取声学反射信号中预设音频片段的振幅信息,例如最大振幅或平均振幅(平方和或绝对值的平均值)。在本实施例中,可以获取声学反射信号中预设音频片段的平均振幅,这样可以避免个别极端值的影响,使计算的结果更加稳定。获取平均振幅后,当平均振幅a1为平方和平均,则将该平均振幅a1代入常数系数为10的公式中;当平均振幅a1为绝对值的平均值时,则将该平均振幅a1代入常数系数为20的公式中,进而获取第一分贝信息。

相应的,终端或耳机也可以提取预设反射信号中的预设音频片段,进而根据预设音频片段的振幅信息获取第二分贝信息。

其中,预设音频片段可以为音频信号中的用户自定义设置的片段,也可以为音频信号中特定频率的片段,还可以为预设时长内的音频片段。其中,预设时长的起点、时长以及数量可根据音频信号的特点进行设置,本申请实施例不做限定。例如,可以是开始采集的第5秒至第15秒为预设时长,还可以是开始采集的第5秒开始,接下来每个时长为1秒的时间段为一个预设时长。

步骤606:比较并获取所述第二分贝信息与第一分贝信息的差值。

比较获取的第一分贝信息和第二分贝信息,进而得出第二分贝信息与第一分贝信息的差值,也即,差值δ=第二分贝信息ldb2-第一分贝信息ldb1。

可选的,还可以比较并获取第一分贝信息与第二分贝信息的比值,或获取第一分贝信息与第二分贝信息的差值的绝对值等信息。

图7为另一个实施例中根据比较结果确定所述耳道内是否存在异物的流程图。在一个实施例中,根据比较结果确定所述耳道内是否存在异物,包括:

所述根据比较结果确定所述耳道内是否存在异物,包括:

步骤702:将所述差值与预设差值进行比较;

步骤704:当所述差值大于预设差值时,则输出耳道内存在异物的提示信息。

当耳道中存在异物时,其耳机与耳道形成的封闭空间因异物的存在,其封闭空间相对于不存在异物的空间要小,其音频信号经耳道的反射和振动形成的声学反射信号的反射路径要小于预设反射信号。当耳机中的电声换能器或麦克风分别采集到声学反射信号、预设反射信号时,继而可以获取声学反射信号、预设反射信号对应的分贝信息。其中,反射路径越短,其声音信号的吸收、传播损耗也就越小,因反射和振动而形成的声学反射信号的声音强度越大,也即,分贝信息也就越大。基于此,可以根据声学反射信号、预设反射信号的分贝信息的大小来判断用户耳道内是否存在异物。

根据获取的差值δ=第二分贝信息ldb2-第一分贝信息ldb1,进一步的,可以与预设差值δ预进行比较,当获取的差值δ大于预设差值δ预时,则可以确定耳道内存在异物,并输出“耳道内有异物,烦请及时清理”的提示信息,根据该提示信息,用户可以及时对耳道内的异物进行清理,提高用户的听觉体验,同时可以避免因异物过多、停留在耳道内的时间过长而对用户的健康造成影响。

可选的,还可以根据差值的大小,输出具有不同程度的检测结果,例如,“异物过多,建议就医处理”;“异物较多,及时掏耳朵处理”;“存在异物,在空闲时间掏耳朵处理”等。

当获取的差值小于或等于预设差值时,则可确定用户耳道中不存在异物,或存在的异物量非常少,可以忽略不计。此时,可以输出“不存在异物,不需要掏耳朵处理”等提示信息。

需要说明的是,输出耳道是否存在存在异物的检测结果时,其输出检测结果的方式可以耳机语音输出,也可以终端语音输出或终端显示输出;其中输出检测结果的提示内容并不限于上述举例说明,还可以根据用户的实际体验,设置相应的提示内容。在本申请中,其提示方式、提示内容均不作进一步的限定。

在一个实施例中,所述输出耳道内存在异物的提示信息后,还包括:

步骤802:获取所述音频设备播放所述音频信号的预设音量。

步骤804:根据所述比例因子补偿所述预设音量以控制输出具有目标音量的音频信号。

当耳道内存在异物时,会因为异物的存在导致用户接受的音频信号的音量小于耳机播放该音频的音量,为了弥补因异物存在而导致的音量损耗,可以根据耳机播放音频信号的音量来补偿损耗的音量,以提高播放音量,使用户可以接受到具有完美音量的音频信号。

具体的,可以基于耳机获取耳机播放该音频信号的预设音量,根据比例因子补偿预设音量以控制输出具有目标音量的音频信号。其中,比例因子为预设脉冲响应w'(t)与声学脉冲响应w(t)的比值。根据该比例因子对其预设音量进行补偿,以获得目标音量。目标音量为预设音量与比例因子的乘积。当耳道内存在异物时,以预设音量播放音频信号时,因耳道中异物的存在,会使用户接受到的该音频信号的音量小于预设音量,利用比例因子,可以对因异物阻挡而损失的音量进行补偿,自动提高预设音量,以目标音量来播放音频信号,可以使用户接受到具有预设音量的音频,可以基于比例因子自动调节耳机输出音频信号的音量,提高用户收听音频信号的体验度。同时,调整音量的方式简单快捷,响应速度快,且对需要播放的音频信号本身影响较小,避免失真。

可选的,还可以通过调节硬件增益对需要播放的音频信号进行增益提升调节,提高放大倍数,从而提高播放音量。

本实施例的异物检测方法,能够基于耳机自动检测用户耳道内是否存在异物,当耳道内存在异物时,可以输出相应的检测结果,并提高耳机播放音频信号的音量,保证被用户所接收的音频信号的音量不会因耳道中存在异物而受到影响。

图9为一个实施例中基于音频设备的异物检测方法的流程图,基于音频设备的异物检测方法,包括:

步骤902:获取当前佩戴所述音频设备的用户的身份信息。

其中,身份信息可以为用户的耳纹信息、指纹信息等。具体的,可以基于耳机当前播放的音频信号来获取用户的耳纹信息,也可以基于终端,对用户的指纹信息进行验证等。例如,基于耳机当前播放的音频信号来获取用户的耳纹信息包括:耳机当前有音频信号播放时,音频信号经耳道(耳朵内部结构)的反射和振动会形成声学反射信号,根据播放的音频信号和采集的声学反射信号,就可以获取用户的声学脉冲响应。其中,该声学脉冲响应用于表征耳机当前所在耳道的空间特征,也可以理解为耳机的听筒当前所在耳道的耳纹信息,由于每个用户耳朵的耳纹信息具有唯一性,因此可以根据耳纹信息确定与耳纹信息对应的用户的身份信息。

步骤904:当所述身份信息与预设身份信息一致时,判断是否接受到用户输入的异物检测的触发操作;

其中,预设身份信息为机主用户的身份信息,也即该耳机的原始使用者。

具体地,身份信息可以用耳纹信息来表示,预设身份信息包括机主用户的预设耳纹信息(包括左耳道的耳纹信息和右耳道的耳纹信息)。当用户使用耳机播放音频信号时,其耳机包括第一听筒和第二听筒,其中,第一听筒放置在左耳道中,第二听筒放置在右耳道中。若用户的左耳道的耳纹信息、右耳道的耳纹信息与预设耳纹信息匹配时,则认为当前用户的身份信息与预设身份信息一致。当所述身份信息与预设身份信息一致时可以判断耳机或终端是否接受到用户输入的异物检测触发操作。

其中,触发操作,可以为用户在耳机上的按照预设操作方式进行的触摸、敲击等方式的输入操作,也可以为用户在终端上按照预设操作方式进行的触摸、滑动、语音、按压等方式的输入操作。还可以为系统的自动触发操作,例如可以是耳机播放音频信号时,可以是预设时间间隔检测一次等等。在本申请中,对触发操作的操作方式、接收触发操作的对象均不作进一步的限定。

步骤906:当接收到所述触发操作时,获取基于音频设备播放的音频信号经耳道反射和振动而形成的声学反射信号。

该触发操作用于开启异物检测的通道,也即,当接收到用户输入的触发操作时,获取基于音频设备播放的音频信号经耳道反射和振动而形成的声学反射信号。

步骤908:将所述声学反射信号与预设反射信号进行比较,其中,所述预设反射信号为耳道内不存在异物时所述音频信号经耳道反射和振动而形成的信号;

步骤910:根据比较结果输出所述耳道内是否存在异物的检测结果。

步骤908-步骤910与前述实施例中的步骤304-步骤306一一对应,在此,不做进一步的限定。

上述基于音频设备的异物检测方法,当音频设备佩戴在预设用户的耳道中时,才能根据用户输入的触发操作执行异物检测方法,通过设定异物检测的触发条件,只有在用户需要的时刻才启动异物检测,节省功耗,提高用户体验度。同时,通过身份验证,仅对符合预设身份信息的用户的耳道进行异物检测,可以避免给洁癖用户者带来不必要的麻烦。

应该理解的是,虽然上述实施例对应的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图3-9中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图10所示,在一个实施例中,提供一种基于音频设备的异物检测装置,该装置,包括:

获取模块1010,用于获取基于音频设备播放的音频信号经耳道反射和振动而形成的声学反射信号;

比较模块1020,用于将所述声学反射信号与预设反射信号进行比较,其中,所述预设反射信号为耳道内不存在异物时所述音频信号经耳道反射和振动而形成的信号;

输出模块1030,用于根据比较结果输出所述耳道内是否存在异物的检测结果。

上述基于音频设备的异物检测装置,可以获取基于音频设备播放的音频信号经耳道反射和振动而形成的声学反射信号;将所述声学反射信号与预设反射信号进行比较,其中,所述预设反射信号为耳道内不存在异物时所述音频信号经耳道反射和振动而形成的信号;根据比较结果输出所述耳道内是否存在异物的检测结果,可以智能的根据声学反射信号与预设反射信号的比较结果输出耳道内是否存在异物的检测结果,能够及时提醒用户对异物进行清理,提升用户的听觉体验,扩展了耳机或终端的使用功能。

在一个实施例中,比较模块,包括:

确定单元,用于根据所述声学反射信号与所述音频信号确定所述音频设备所在耳道的空间特征的声学脉冲响应;根据所述预设反射信号与所述音频信号确定所述音频设备所在耳道的空间特征的预设脉冲响应;

比较单元,用于比较所述预设脉冲响应和声学脉冲响应,并获取所述预设脉冲响应和声学脉冲响应的比例因子。

在一个实施例中,输出模块,包括:

判断单元,用于将所述比例因子与预设比例因子进行比较;

输出单元,用于当所述比例因子大于预设比例因子时,则输出耳道内存在异物的提示信息。

本实施例的异物检测装置,能够基于耳机采集的声学反射信号、预设反射信号获取相应的脉冲响应,根据脉冲响应自动检测用户耳道内是否存在异物,当耳道内存在异物时,可以输出相应的检测结果,能够及时提醒用户对异物进行清理,提升用户的听觉体验,扩展了耳机或终端的使用功能。

在另一个实施例中,比较模块,包括:

分贝获取单元,用于获取所述声学反射信号中预设音频片段的第一分贝信息;还用于获取所述预设反射信号中所述预设音频片段的第二分贝信息;

分贝比较单元,用于比较并获取所述第二分贝信息与所述第一分贝信息的差值。

在另一个实施例中,输出模块,包括:

差值比较单元,用于将所述差值与预设差值进行比较;

结果输出单元,用于当所述差值大于预设差值时,则输出耳道内存在异物的提示信息。

本实施例的异物检测装置,能够基于耳机采集的声学反射信号与预设反射信号的分贝信息,自动检测用户耳道内是否存在异物,当耳道内存在异物时,可以输出相应的检测结果,能够及时提醒用户对异物进行清理,提升用户的听觉体验,扩展了耳机或终端的使用功能。

在一个实施例中,基于音频设备的异物检测装置,还包括:

音量获取模块,用于获取所述音频设备播放所述音频信号的预设响度信息;

音量补偿模块,用于根据所述比例因子补偿所述预设响度信息以控制输出具有目标响度的音频信号。

本实施例的异物检测装置,能够基于耳机自动检测用户耳道内是否存在异物,当耳道内存在异物时,可以输出相应的检测结果,并提高耳机播放音频信号的音量,保证被用户所接收的音频信号的音量不会因耳道中存在异物而受到影响。

在一个实施例中,基于音频设备的异物检测装置,还包括:

触发模块,用于获取当前佩戴所述音频设备的用户的身份信息;当所述身份信息与预设身份信息一致时,判断是否接受到用户输入的异物检测的触发操作。

上述基于音频设备的异物检测装置,当音频设备佩戴在预设用户的耳道中时,才能根据用户输入的触发操作执行异物检测方法,通过设定异物检测的触发条件,只有在用户需要的时刻才启动异物检测,节省功耗,提高用户体验度。同时,通过身份验证,仅对符合预设身份信息的用户的耳道进行异物检测,可以避免给洁癖用户者带来不必要的麻烦。

上述基于音频设备的异物检测装置中各个模块的划分仅用于举例说明,在其他实施例中,可将基于音频设备的异物检测装置按照需要划分为不同的模块,以完成上述基于音频设备的异物检测装置的全部或部分功能。

关于基于音频设备的异物检测装置的具体限定可以参见上文中对于基于音频设备的异物检测方法的限定,在此不再赘述。上述基于音频设备的异物检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

本申请实施例中提供的基于音频设备的异物检测装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述的基于音频设备的异物检测方法的步骤。

本申请实施例还提供了一种音频设备,该音频设备包括音频采集模块、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器与所述存储器、采集模块、电连接,所述处理器执行所述计算机程序时实现如上述各实施例中所描述的基于音频设备的异物检测方法。

在一个实施例中,所述音频采集模块为电声换能器,所述电声换能器用于播放音频信号和采集所述音频信号经耳道反射和振动形成的声学回声信号。

在一个实施例中,所述音频采集模块为麦克风;所述麦克风用于采集所述音频信号经耳道反射和振动形成的声学回声信号。

在一个实施例中,所述音频装置还包括用于获取耳道内图像信息的图像采集模块,所述图像采集模块与所述处理器连接。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行如上述各实施例中所描述的基于音频设备的异物检测方法。

本申请实施例还提供了一种计算机程序产品。一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各实施例中所描述的基于音频设备的异物检测方法。

本申请实施例还提供了一种终端设备。如图11所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、pda(personaldigitalassistant,个人数字助理)、pos(pointofsales,销售电子设备)、车载电脑、穿戴式设备等任意终端设备,以终端设备为手机为例:

图11为与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图11,手机包括:射频(radiofrequency,rf)电路1110、存储器1120、输入单元1130、显示单元1140、传感器1150、音频电路1160、无线保真(wirelessfidelity,wifi)模块1170、处理器1180、以及电源1190等部件。本领域技术人员可以理解,图11所示的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

其中,rf电路1110可用于收发信息或通话过程中,信号的接收和发送,可将基站的下行信息接收后,给处理器1180处理;也可以将上行的数据发送给基站。通常,rf电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(lownoiseamplifier,lna)、双工器等。此外,rf电路1110还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(globalsystemofmobilecommunication,gsm)、通用分组无线服务(generalpacketradioservice,gprs)、码分多址(codedivisionmultipleaccess,cdma)、宽带码分多址(widebandcodedivisionmultipleaccess,wcdma)、长期演进(longtermevolution,lte))、电子邮件、短消息服务(shortmessagingservice,sms)等。

存储器1120可用于存储软件程序以及模块,处理器1180通过运行存储在存储器1120的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1120可主要包括程序存储区和数据存储区,其中,程序存储区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能的应用程序、图像播放功能的应用程序等)等;数据存储区可存储根据手机的使用所创建的数据(比如音频数据、通讯录等)等。此外,存储器1120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1130可用于接收输入的数字或字符信息,以及产生与手机1100的用户设置以及功能控制有关的键信号输入。具体地,输入单元1130可包括操作面板1131以及其他输入设备1132。操作面板1131,也可称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在操作面板1131上或在操作面板1131附近的操作),并根据预先设定的程式驱动相应的连接装置。在一个实施例中,操作面板1131可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1180,并能接收处理器1180发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现操作面板1131。除了操作面板1131,输入单元1130还可以包括其他输入设备1132。具体地,其他输入设备1132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)等中的一种或多种。

显示单元1140可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1140可包括显示面板1141。在一个实施例中,可以采用液晶显示器(liquidcrystaldisplay,lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板1141。在一个实施例中,操作面板1131可覆盖显示面板1141,当操作面板1131检测到在其上或附近的触摸操作后,传送给处理器1180以确定触摸事件的类型,随后处理器1180根据触摸事件的类型在显示面板1141上提供相应的视觉输出。虽然在图11中,操作面板1131与显示面板1141是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将操作面板1131与显示面板1141集成而实现手机的输入和输出功能。

手机1100还可包括至少一种传感器1150,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及距离传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1141的亮度,距离传感器可在手机移动到耳边时,关闭显示面板1141和/或背光。运动传感器可包括加速度传感器,通过加速度传感器可检测各个方向上加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换)、振动识别相关功能(比如计步器、敲击)等;此外,手机还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器等。

音频电路1160、扬声器1161和传声器1162可提供用户与手机之间的音频接口。音频电路1160可将接收到的音频数据转换后的电信号,传输到扬声器1161,由扬声器1161转换为声音信号输出;另一方面,传声器1162将收集的声音信号转换为电信号,由音频电路1160接收后转换为音频数据,再将音频数据输出处理器1180处理后,经rf电路1110可以发送给另一手机,或者将音频数据输出至存储器1120以便后续处理。

wifi属于短距离无线传输技术,手机通过wifi模块1170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图11示出了wifi模块1170,但是可以理解的是,其并不属于手机1100的必须构成,可以根据需要而省略。

处理器1180是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1120内的软件程序和/或模块,以及调用存储在存储器1120内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监听。在一个实施例中,处理器1180可包括一个或多个处理单元。在一个实施例中,处理器1180可集成应用处理器和调制解调器,其中,应用处理器主要处理操作系统、用户界面和应用程序等;调制解调器主要处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1180中。比如,该处理器1180可集成应用处理器和基带处理器,基带处理器与和其它外围芯片等可组成调制解调器。手机1100还包括给各个部件供电的电源1190(比如电池),优选的,电源可以通过电源管理系统与处理器1180逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

在一个实施例中,手机1100还可以包括摄像头、蓝牙模块等。

在本申请实施例中,该手机所包括的处理器执行存储在存储器上的计算机程序时实现上述所描述的基于音频设备的异物检测方法。

在处理器上运行的计算机程序的执行时,节省了监测用户健康数据的设备成本,使用户获取健康数据的方式更便捷,并提升用户的人机交互体验。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram),它用作外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1