便携式终端和在便携式终端中指示声源的位置的方法与流程

本申请是向中国知识产权局提交的申请日为2014年3月5日的标题为“便携式终端、助听器以及在便携式终端中指示声源的位置的方法”的第201480018987.8号申请的分案申请。

本公开涉及一种便携式终端、助听器以及指示声源的位置的方法。

背景技术：

诸如智能电话、便携式电话和平板个人计算机(pc)的终端近来已提供了各种各样的服务和附加功能。根据现有技术，终端配备有相机、麦克风、扬声器、显示器、无线通信模块和传感器。因此，终端提供许多功能以便满足各种用户的需求。

具体地讲，终端可利用显示器提供各种图形用户界面(gui)。如果声源可在显示器上可视化并被控制，则普通用户以及听力障碍者将受益于终端。

例如，如果终端提供检测邻近声源并且显示声源的位置的功能，则普通用户以及听力障碍者可更方便地使用终端。

呈现上述信息作为背景信息仅用于帮助理解本公开。关于以上任何信息是否可作为关于本公开的现有技术来应用尚未被确定和声明。

技术实现要素：

技术问题

本公开的各方面旨在至少解决上述问题和/或缺点并且至少提供下述优点。因此，本公开的一方面旨在提供一种检测邻近声源并且指示声源的位置的便携式终端、助听器以及指示声源的位置的方法。

本公开的另一方面旨在提供一种使得用户能够检测声源的位置并且选择性地聆听预期声源的便携式终端、助听器以及指示声源的位置的方法。

本公开的另一方面旨在提供一种使得用户能够通过各种手势选择预期声源的方向、范围、距离或位置并且输出所选择的声源的声音的便携式终端、助听器以及指示声源的位置的方法。

问题的解决方案

依据本公开的一方面，提供一种在具有触摸屏的便携式终端中指示声源的位置的方法。该方法包括：接收多个声源的声音信号；基于所接收的所述多个声源的声音信号来确定所述多个声源与便携式终端之间的相应距离以及所述多个声源相对于便携式终端的相应方向；基于所确定的所述多个声源的距离和方向来确定所述多个声源在触摸屏上的位置；以及在触摸屏上显示所确定的所述多个声源的位置。

依据本公开的另一方面，提供一种在助听器中输出声音的方法。该方法包括：从便携式终端接收声源的声音信号，其中，所述声源是响应于便携式终端的触摸屏上的用户手势而被选择并具有被控制的音量；以及根据所述被控制的音量输出所接收的被选择的声源的声音信号。

依据本公开的另一方面，提供一种具有触摸屏的便携式终端。该便携式终端包括：触摸屏，被配置为显示多个声源的位置；以及控制器，被配置为基于所接收的所述多个声源的声音信号来确定所述多个声源与便携式终端之间的相应距离以及所述多个声源相对于便携式终端的相应方向，基于所确定的所述多个声源的距离和方向来确定所述多个声源在触摸屏上的位置，并且控制在触摸屏上显示所确定的所述多个声源的位置。

依据本公开的另一方面，提供一种助听器。该助听器包括：无线单元，被配置为从便携式终端接收声源的声音信号，其中，所述声源是响应于便携式终端的触摸屏的用户手势而被选择并具有被控制的音量；输出单元，被配置为根据所述被控制的音量输出所接收的被选择的声源的声音信号。

对于本领域技术人员而言，本公开的其它方面、优点和显著特征将从以下结合附图进行的公开了本公开的各种实施例的详细描述而变得明显。

本发明的有益效果

如从本公开的各种实施例的以上描述而明显的，用户可利用终端100的显示器来定位用户周围的声源。

根据本公开的各种实施例，用户可(选择性地)仅聆听从声源当中选择的预期声源的声音并且逐步控制声音的音量。

根据本公开的各种实施例，如果听力较差的人使用助听器300，则该人可通过与助听器300结合来操作的终端100来定位声源并且通过助听器300聆听预期声源的声音。

由于用户可通过各种手势来聆听预期声源的声音，所以向用户提供方便的ui。

附图说明

通过下面结合附图进行的描述，本公开的特定实施例的上述和其它方面、特征和优点将更加明显，其中：

图1示出根据本公开的实施例的终端和声音输出装置的操作；

图2是根据本公开的实施例的终端的框图；

图3是示出根据本公开的实施例的在终端中显示至少一个邻近声源的操作的流程图；

图4示出根据本公开的实施例的显示终端周围的声源的雷达屏幕；

图5示出根据本公开的实施例的显示终端周围的声源的声源位置指示屏幕；

图6是示出根据本公开的实施例的在终端中输出声源的声音的操作的流程图；

图7示出根据本公开的实施例的显示终端周围的声源的终端的屏幕；

图8是示出根据本公开的实施例的在终端中根据所识别的用户手势选择声源的操作的流程图；

图9示出根据本公开的实施例的指示声源选择方向的用户手势输入；

图10a和图10b示出根据本公开的实施例的指示声源选择范围的用户手势输入；

图11示出根据本公开的实施例的指示声源选择距离的用户手势输入；

图12示出根据本公开的实施例的指示声源选择位置的用户手势输入；

图13是根据本公开的实施例的助听器的框图；以及

图14是示出根据本公开的实施例的助听器的操作的流程图。

贯穿附图，相似的标号将被理解为指代相似的部件、组件和结构。

具体实施方式

提供以下参照附图的描述来帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。以下描述包括帮助理解的各种具体细节，但是这些将被视为仅是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可对本文所述的实施例进行各种改变和修改。另外，为了清晰和简洁，公知功能和构造的描述可被省略。

以下描述和权利要求书中所使用的术语和词汇不限于文献含义，而是仅由发明人用来实现对本公开的清晰和一致的理解。因此，对于本领域技术人员而言应该明显的是，提供以下对本公开的各种实施例的描述仅是为了示例性目的，而非限制本公开，本公开由所附权利要求及其等同物限定。

应该理解，除非上下文明确另外指示，否则单数形式也包括复数指代。因此，例如，对一组件表面的引用包括对一个或更多个这样的表面的引用。

术语基本上意指所列举的特性、参数或值无需被精确地实现，而是量可发生偏差或变化(包括例如公差、测量误差、测量精度限制以及本领域技术人员已知的其它因素)，其不排除特性预期将提供的效果。

将提供本公开的各种实施例以实现本公开的上述技术方面。在实现中，所定义的实体可具有相同的名称，本公开不限于此。因此，本公开的各种实施例可利用具有相似技术背景的系统中的相同或易得的修改来实现。

贯穿说明书，“用户手势输入”对应于用户通过在触摸屏上做手势而创建的输入(例如，为了控制终端)。例如，用户手势输入可包括触摸、触摸并保持、拖动、轻拂、保持等。

“触摸”对应于利用手指或者触摸输入单元(例如，手写笔、笔等)触摸屏幕的手势。具体地讲，触摸具有预设触摸时间，其被定义为手指或触摸输入单元触摸屏幕时的触摸开始时间与手指或触摸输入单元从屏幕移开时的触摸结束时间之差。

“触摸并保持”对应于包括利用手指或触摸输入单元触摸屏幕并且保持触摸屏幕达预定的阈值时间或更长时间的手势。触摸并保持具有等于或大于阈值的时间差。例如，如果触摸开始时间与触摸结束时间之差大于或等于阈值，则手势被确定为对应于触摸并保持。为了指示触摸输入是触摸还是触摸并保持，如果触摸输入被保持达阈值时间或更长，则可向用户提供视觉或听觉反馈信号。

“拖动”对应于利用手指或触摸输入单元触摸屏幕并且在不使手指或触摸输入脱离屏幕的情况下将触摸移至屏幕的另一位置的手势。

“轻拂”对应于在屏幕上快速地拖动手指或触摸输入单元的手势。拖动和轻拂可根据用户是否按照阈值速度或更快的速度移动手指或触摸输入单元来彼此区分。

“保持”对应于在不使手指或触摸输入单元脱离屏幕的情况下将手指或触摸输入单元在屏幕的特定点处的触摸保持阈值时间或更长时间的手势。保持手势在特定点处在触摸开始时间与触摸结束时间之间持续阈值时间或更长时间。

图1示出根据本公开的实施例的终端和声音输出装置的操作。

参照图1，终端100可以是便携式终端。终端100可定位终端100(或用户)周围的一个或更多个声源，并且显示表示终端100的终端图像10以及表示在声源相对于终端100的对应位置处的声源的声源图像11至17。

声源是指发出声音的源或其等同物。例如，声源可包括说话的人、演奏音乐的播放器、输出音乐的扬声器、响铃的电话等。此外，输出声音的任何其它源可以是声源。

终端100可从声源图像11至17当中根据用户手势输入来选择发出声音的声源的声源图像，并且可输出所选择的声源的声音。另外，终端100可将所选择的声源的声音提供给声音输出装置300(例如，助听器、耳塞式传声器、头戴式耳机等)。

终端100可根据用户手势输入从多个预设音量等级当中选择声源的至少一个音量等级，并且按照所选择的音量等级来输出声源的声音。终端100还可按照所选择的音量等级将所选择的声源的声音输出给声音输出装置300。

声音输出装置300可以是输出声音的装置，例如助听器、耳塞式传声器、头戴式耳机等。作为示例，将在助听器用作声音输出装置300的背景下描述本公开的各种实施例。助听器300可通过麦克风接收一个或更多个声源的声音信号，放大声音信号，并且通过扬声器将放大的声音信号可听地输出给用户。

助听器300可无线地或有线地与终端100通信，并且可从终端100接收从一个或更多个声源当中选择的声源的声音，并且输出所接收的声音。助听器300可接收音量被控制为终端100所选择的音量等级的声源的声音，并且输出所接收的音量被控制的声音。

图2是根据本公开的实施例的终端的框图。

参照图2，终端100可包括反射波收发器103、声源距离计算器105、声源方向计算器107和控制器110。终端100还可包括移动通信模块120、子通信模块130、多媒体模块140、相机模块150、全球定位服务(gps)模块157、输入/输出(i/o)模块160、传感器模块170、存储器175和电源180。另外，终端100可包括至少一个触摸屏190和至少一个触摸屏控制器195。

控制器110可包括中央处理单元(cpu)111、存储用于控制终端100的控制程序的只读存储器(rom)112以及存储外部输入信号或数据或者用作终端100的操作的存储空间的随机存取存储器(ram)113。cpu111可包括各种数量的核。例如，cpu111可包括单核、双核、三核、四核等。cpu111、rom112和ram113可通过内部总线彼此连接。控制器110可控制反射波收发器103、声源距离计算器105、声源方向计算器107、移动通信模块120、子通信模块130、多媒体模块140、相机模块150、gps模块157、i/o模块160、传感器模块170、存储器175、电源180、触摸屏190和触摸屏控制器195。

反射波收发器103可在控制器110的控制下在所有方向上发送电磁波信号并且接收由于电磁波信号被对象反射而导致的反射波信号。控制器110可使用从反射波收发器103接收的反射波信号来检测终端100周围的对象。

声源距离计算器105通过第一麦克风162-1至第n麦克风162-n接收来自声源的语音或声音，识别一个或更多个声源，并且计算终端100与各个声源之间的距离。具体地讲，声源距离计算器105对通过第一麦克风162-1至第n麦克风162-n当中的至少两个麦克风从声源接收的语音或声音进行组合来产生多个麦克风输出信号，并且基于多个麦克风输出信号相对于距离的声音衰减率来计算到各个声源的距离。

声源方向计算器107在控制器110的控制下通过第一麦克风162-1至第n麦克风162-n从声源接收语音或声音，识别一个或更多个声源，并且计算各个声源的方向。具体地讲，声源方向计算器107基于通过第一麦克风162-1至第n麦克风162-n当中的至少两个麦克风从声源接收到的语音或声音之间的时间延迟来计算各个声源的方向。关于各个声源的方向的信息被提供给控制器110。

控制器110可利用从反射波收发器103接收的反射波来定位终端100(或用户)周围的至少一个对象。

控制器110可通过第一麦克风162-1至第n麦克风162-n来从声源接收语音或声音，从而识别至少一个声源。然后，控制器110分析所述至少一个声源的频率分量，并且将所分析的频率分量与预定频率分量进行比较，从而确定所述至少一个声源的类型。例如，控制器110可确定来自至少一个声源的语音或声音是不是人的语音、来自动物的声音、电话铃声、来自车辆的声音等。

控制器110还可计算来自各个声源的声音的强度，从声源距离计算器105接收关于从终端100到各个声源的距离的信息，并且从声源方向计算器107接收关于各个声源的方向的信息。

根据本公开的各种实施例，控制器110可从助听器300接收通过助听器300的多个麦克风(而非第一麦克风162-1至第n麦克风162-n)接收的声源的语音或声音。随后，控制器110可识别至少一个声源，并且计算各个声源的声强、方向以及距终端100的距离。例如，助听器300可包括至少两个麦克风，并且通过通信将通过所述至少两个麦克风接收的声源的语音或声音发送给终端100。

控制器110基于所检测的对象的位置、来自声源的声音的强度、声源的方向以及声源与终端100之间的距离来控制表示终端100的终端图像和表示声源的声源图像在触摸屏190上的显示。例如，控制器110可将终端图像以及表示所检测的声源的声源图像连同终端100与各个声源之间的距离、各个声源的方位角以及来自各个声源的声音的强度中的至少一个一起显示在雷达屏幕上。

如果声源是人的语音，则控制器110可检测人的位置，从类似通信服务提供商的外部实体接收与声源对应的人的信息，并且将声源连同与声源对应的人的信息一起显示。例如，控制器110可显示与声源对应的人的电话号码、姓名和/或类似信息。

声源的距离和方向可相对于终端100显示在雷达屏幕上。声源图像可采取图形、字符等的形式。根据声源的声强和距离，表示声源的声源图像的颜色或尺寸可不同。

例如，如果声源发出响亮的声音，则与表示发出弱的声音的声源的声源图像相比，表示该声源的声源图像可显示得更大或者以更深的颜色来显示。如果声源靠近终端100，则与表示远处的声源的声源图像相比，表示该声源的声源图像可显示得更大或者以更深的颜色来显示。声源的声源图像的形状、尺寸和颜色可根据声源的声强和距离来选择性地改变。

另选地，控制器110可控制终端图像和声源图像显示在具有预定背景的声源位置指示屏幕(而非雷达屏幕)上。

作为示例，在终端图像和至少一个声源图像显示在触摸屏190上的同时，控制器110监测通过手指或触摸输入单元168(例如，电子笔)所作出的用户手势输入的接收。当用户利用手指或输入单元168在触摸屏上作出手势时，控制器110可检测所得的用户手势输入。在本公开的实施例中，用户手势输入可以是触摸、触摸并保持、轻拂和保持中的至少一个。此外，许多其它用户手势输入也是可用的。

控制器110可从一个或更多个声源图像当中根据用户手势输入来选择将输出声音的声源的声音图像，并且可控制通过扬声器163输出来自所选择的声源的声音。

在响应于用户手势输入为声源图像选择多个预定音量等级中的至少一个时，控制器110可控制扬声器163按照所选择的音量等级来输出与声源图像对应的声源的声音。

根据本公开的各种实施例，控制器110可根据用户手势输入来从一个或更多个声源图像当中选择将输出声音的声源的声源图像，并且可控制将所选择的声源的声音发送给助听器300以使得助听器300可输出所选择的声源的声音。

在响应于用户手势输入为声源图像选择多个预定音量等级中的至少一个时，控制器110可控制将基于所选择的音量等级控制了音量的与声源图像对应的声源的声音发送给助听器300，以使得助听器300可输出所选择的声源的音量被控制的声音。

移动通信模块120在控制器110的控制下经一个或更多个天线(未示出)通过移动通信将终端100连接到外部装置。移动通信模块120向便携式电话(未示出)、智能电话(未示出)、平板pc(未示出)或者电话号码将被输入到终端100的其它装置(未示出)发送无线信号或者从其接收无线信号，以进行语音呼叫、视频呼叫、短消息服务(sms)或者多媒体信使服务(mms)。

子通信模块130可包括无线局域网(wlan)模块131和短距离通信模块132中的至少一个。例如，子通信模块130可单独地或组合地包括wlan模块131或者短距离通信模块132。

wlan模块131可在安装有无线接入点(ap)(未示出)的地点在控制器110的控制下连接到互联网。wlan模块131支持wlan标准、电气和电子工程师协会(ieee)802.11x。短距离通信模块132可在控制器110的控制下在终端100与图像形成装置(未示出)之间进行短距离无线通信。短距离通信可遵循蓝牙、红外数据协会(irda)、无线保真(wi-fi)直连、近场通信(nfc)等。

终端100可通过移动通信模块120和子通信模块130中的至少一个来与助听器300通信。另外，终端100可通过移动通信模块120和子通信模块130中的至少一个将声源的声音发送给助听器300。例如，终端100可通过移动通信模块120和子通信模块130中的至少一个来将用户所选择的声源的声音发送给助听器300。终端100还可通过移动通信模块120和子通信模块130中的至少一个来将基于用户所选择的音量等级控制了音量的声源的声音发送给助听器300。

终端100可根据终端100的能力包括移动通信模块120、wlan模块131和短距离通信模块132中的至少一个。例如，终端100可根据终端100的能力包括移动通信模块120、wlan模块131和短距离通信模块132的组合。在本公开中，移动通信模块120、wlan模块131和短距离通信模块132中的一个或更多个被统称为收发器，这不应被解释为限制本公开的范围。

多媒体模块140可包括广播通信模块141、音频播放模块142或视频播放模块143。广播通信模块141可在控制器110的控制下通过广播通信天线(未示出)从广播站接收广播信号(例如，tv广播信号、无线电广播信号、数据广播信号等)和附加广播信息(例如，电子节目指南(epg)、电子服务指南(esg)等。音频播放模块142可在控制器110的控制下打开存储或接收的数字音频文件(例如，具有诸如mp3、wma、ogg、wav等的扩展名的文件)。视频播放模块142可在控制器110的控制下打开存储或接收的数字视频文件(例如，具有诸如mpeg、mpg、mp4、avi、mov、mkv等的扩展名的文件)。视频播放模块143也可打开数字音频文件。

根据本公开的各种实施例，多媒体模块140可包括广播通信模块141、音频播放模块142和视频播放模块143的任何组合。例如，多媒体模块140可包括音频播放模块142和视频播放模块143，而不包括广播通信模块141。

根据本公开的各种实施例，多媒体模块140的音频播放模块142或视频播放模块143可被并入控制器110中。

相机模块150可包括第一相机151和第二相机152中的至少一个，以在控制器110的控制下捕获静止图像或视频。另外，第一相机151或第二相机152可包括在捕获对象时相对于对象拉近或拉远镜头的镜头筒155、控制镜头筒155的移动的电机154以及提供用于捕获图像的辅助光源的闪光灯153中的至少一个。第一相机151可设置在终端100的前表面上，第二相机152可设置在终端100的后表面上。另选地，第一相机151和第二相机152可彼此靠近地布置(例如，第一相机151与第二相机152之间的距离可介于1cm和8cm之间)以便捕获三维静止图像或视频。相机模块150将所捕获的画面或图像发送给控制器110。

第一相机151和第二相机152中的每一个可包括镜头系统和图像传感器。第一相机151和第二相机152中的每一个可将在镜头系统处接收(或捕获)的光学信号转换为电图像信号，并且将电图像信号输出给控制器110。因此，用户可利用第一相机151和第二相机152来捕获视频或静止图像。

gps模块157可从地球轨道中的多个gps卫星(未示出)接收信号波，并且基于卫星信号从gps卫星到终端100的到达时间(toa)来计算终端100的位置。

i/o模块160可包括多个按钮161、第一麦克风162-1至第n麦克风162-n、扬声器163、振动电机164、连接器165、键区166、耳机连接插孔167、输入单元168等中的至少一个。然而，i/o模块160不限于这些组件，可提供光标控制以与控制器110通信并且通过鼠标、轨迹球、操纵杆、光标方向键等来控制触摸屏190上的光标移动。

按钮161可形成在终端100的壳体的前表面、侧表面或后表面上，并且可包括电源/锁定按钮(未示出)、音量按钮(未示出)、菜单按钮、主按钮、后退按钮、搜索按钮(未示出)等中的至少一个。

第一麦克风162-1至第n麦克风162-n在控制器110的控制下从声源接收语音或声音并且将所接收的语音或声音转换为电信号。例如，第一麦克风162-1至第n麦克风162-n可从终端100周围的声源接收语音或声音，例如由播放器播放的音乐、来自人的言语、电话响铃声、来自扬声器的言语等。

扬声器163可将与从移动通信模块120、子通信模块130、多媒体模块140和相机模块150接收的各种信号(例如，无线信号、广播信号、数字音频文件、数字视频文件、照片等)对应的声音输出到终端100的外部。根据本公开的各种实施例，扬声器163可在控制器110的控制下放大用户从终端100周围的声源当中选择的声源的声音并且将放大后的声音输出到外部。声源的声音的音量可根据用户手势输入来控制。一个或更多个扬声器163可设置在终端100的壳体的适当位置处。

振动电机164可在控制器110的控制下将电信号转换为机械振动。例如，当终端100在振动模式下从另一装置(未示出)接收到来语音呼叫时，振动电机164操作。一个或更多个振动电机164可安装在终端100的壳体的内部。振动电机164可响应于用户在触摸屏190上的触摸以及触摸在触摸屏190上的连续移动而操作。

连接器165可用作将终端100连接到外部装置(未示出)或电源(未示出)的接口。终端100可在控制器110的控制下经由连接到连接器165的线缆来将存储在存储器175中的数据发送给外部装置，或者可经由所述线缆从外部装置接收数据。终端100可经由连接到连接器165的线缆来从电源接收电力或者对电池(未示出)进行充电。

键区166可从用户接收键输入以控制终端100。键区166包括形成在终端100中的物理键区(未示出)或者显示在触摸屏190上的虚拟键区(未示出)。根据本公开的各种实施例，根据终端100的能力或配置可不设置物理键区。

耳机(未示出)可被插入耳机连接插孔167中，因此连接到终端100。

输入单元168可被插入终端100中。当使用输入单元168时，输入单元168可从终端100延伸或脱离。在终端100的插入输入单元168的区域处设置插入和移除检测开关(未示出)，以便根据输入单元168的插入和移除来操作并且向控制器110提供指示输入单元168的插入或移除的信号。插入和移除开关被配置为当输入单元168被插入时在输入单元168的插入区域中直接或间接地接触输入单元168。因此，插入和移除开关生成指示输入单元168的插入或移除的信号并且将所生成的信号提供给控制器110。

传感器模块170包括至少一个传感器以检测终端100的状态。例如，传感器模块170可包括：接近传感器，检测用户是否靠近终端100；照度传感器(未示出)，检测终端100周围的环境光的量；运动传感器(未示出)，检测终端100的运动(例如，终端100的旋转、加速度或振动)；地磁传感器172，利用地球的磁场来检测罗经点；重力传感器(未示出)，检测重力的方向；以及高度计(未示出)，通过测量气压来检测海拔。至少一个传感器可检测终端100的状态，生成与所检测的状态对应的信号，并且将所生成的信号发送给控制器110。可根据终端100的能力向传感器模块170增加传感器或者从传感器模块170移除传感器。

存储器175可在控制器110的控制下依据移动通信模块120、子通信模块130、多媒体模块140、相机模块150、gps模块157、i/o模块160、传感器模块170和触摸屏190的操作存储输入/输出信号或数据。存储器175可存储控制终端100或控制器110的多个程序以及多个应用。

术语“存储器”涵盖控制器110内的存储器175、rom112和ram113或者安装到终端100的存储卡(未示出)(例如，安全数字(sd)卡、记忆棒等)。存储器可包括非易失性存储器、易失性存储器、硬盘驱动器(hdd)或者固态驱动器(ssd)。

存储器175可存储具有诸如导航、视频呼叫、游戏和基于时间的闹钟应用的各种功能的应用、用于提供与应用有关的gui的图像、用户信息、文本、数据库或者与处理触摸输入的方法有关的数据、背景图像(例如，菜单屏幕、等待屏幕、雷达屏幕、声源位置指示屏幕等)或者操作终端100所需的操作程序以及由相机模块150捕获的静止图像和照片。存储器175是非暂时性机器可读介质(例如，非暂时性计算机可读介质)。非暂时性机器可读介质可被定义为向机器提供数据以使得该机器可执行特定功能的介质。非暂时性机器可读介质可以是存储介质。存储器175可包括易失性介质和非易失性介质。介质应该是将可由读取命令的物理装置检测的命令传送给机器的一种介质。

根据本公开的各种实施例，非暂时性机器可读介质包括软盘、柔性盘、硬盘、磁带、致密盘只读存储器(cd-rom)、光盘、打孔卡片、纸带、ram、可编程rom(prom)、可擦除prom(eprom)、闪速eprim等中的至少一个。

电源180可在控制器110的控制下向安装在终端100的壳体中的一个或更多个电池(未示出)供电。所述一个或更多个电池向终端100供电。另外，电源180可经由连接到连接器165的线缆将从外部电源(未示出)接收的电力供应给终端100。电源180还可经由无线充电技术将无线地从外部电源接收的电力供应给终端100。

根据本公开的各种实施例，终端100可包括至少一个触摸屏以提供与各种服务(例如，呼叫、数据传输、广播、照片拍摄和声源位置指示)对应的用户界面(ui)。各个触摸屏可将与ui上的至少一个触摸对应的模拟信号发送给与该触摸屏对应的触摸屏控制器。可设置与触摸屏一样多的触摸屏控制器以从触摸屏接收模拟信号。根据本公开的各种实施例，终端100可包括至少一个触摸屏。为了描述方便，将描述使用单个触摸屏的情况。

触摸屏190可通过用户的身体(例如，包括食指在内的手指)或触摸输入单元168(例如，手写笔、电子笔等)接收至少一个用户手势输入。触摸屏190包括笔识别面板(未示出)以从手写笔或电子笔识别用户手势输入。笔识别面板可通过磁场来识别笔与触摸屏190之间的距离。另外，触摸屏190可接收至少一个连续触摸的连续移动作为用户手势输入。根据本公开的各种实施例，触摸屏190可将与用户手势输入对应的模拟信号提供给触摸屏控制器195。

触摸屏190可被配置成例如电阻型、电容型、红外型、声波型等。

为了顺序地或同时地从用户的身体或触摸输入单元168接收手势输入，触摸屏190可包括至少两个触摸屏面板(未示出)以分别检测用户的身体和触摸输入单元168的触摸或接近。所述至少两个触摸屏面板向触摸屏控制器195提供不同的输出值。触摸屏控制器195将从所述至少两个触摸屏面板接收的值彼此区分开，并且确定来自触摸屏190的输入值是从用户的身体的手势输入产生的还是从触摸输入单元168产生的。

更具体地讲，触摸屏190可包括通过所感生的电力的变化来检测来自手指或输入单元168的输入的面板与检测来自手指或输入单元168的触摸的面板的叠堆。这两个面板空间上彼此间隔开或者接触。触摸屏190包括大量像素并且在所述像素处显示图像。根据本公开的各种实施例，触摸屏190可被配置成液晶显示器(lcd)、有机发光二极管(oled)显示器、led显示器等。

图3是示出根据本公开的实施例的显示终端100周围的至少一个声源的操作的流程图。

参照图3，在操作310，终端100可利用地磁传感器172来确定相对于终端100的位置的东西南北方位。具体地讲，终端100可利用gps模块157来检测终端100的位置，并且可利用地磁传感器172来确定相对于终端100的位置的东西南北方位。

在操作320，终端100可利用反射波来检测终端100周围的对象并且定位所检测的对象。例如，终端100可通过反射波收发器113在所有方向上发送电磁波信号并且接收被对象发射的与所发送的电磁波信号对应的反射波信号。终端100可检测终端100的位置周围的一个或更多个对象，并且可利用所接收的反射波信号来定位所述一个或更多个对象。

在操作330，终端100可通过分析通过多个麦克风接收的声音来将一个或更多个声源彼此区分开。例如，终端100可通过分析通过第一麦克风162-1至第n麦克风162-n从声源接收的语音或声音来区分一个或更多个声源。根据本公开的各种实施例，终端100可从助听器300接收助听器300通过多个麦克风从声源接收的语音或声音，并且可将一个或更多个声源彼此区分开。例如，不是通过第一麦克风162-1至第n麦克风162-n来接收语音或声音，终端100可接收助听器300通过包括在助听器300中的多个麦克风从声源接收的语音或声音。随后，终端100可在发起(或发出)语音或声音的一个或更多个声源当中进行区分。

在操作340，终端100计算每个所区分的声源的声强、方向和距离。例如，终端100可经第一麦克风162-1至第n麦克风162-n通过分析声源的语音或声音来计算各个声源的声强。另外，控制器110可通过声源距离计算器103来计算终端100与各个声源之间的距离，并且可通过声源方向计算器105来计算各个声源的方向。

在操作350，终端100基于所检测的对象的位置、所计算的声源的声强、方向和距离来显示终端100以及终端100周围的一个或更多个声源。例如，终端100可显示终端100周围的一个或更多个声源的相对位置。

例如，终端100从终端100周围的一个或更多个声源当中选择将要显示在触摸屏190上的至少一个声源，并且确定所选择的声源将要显示在触摸屏190上的位置。随后，终端100将所述至少一个声源显示在触摸屏190的所确定的位置处。

具体地讲，终端100可从终端100周围的一个或更多个声源当中选择在距终端100预定距离内的至少一个声源或者声强等于或大于预定(或所选择的)等级的至少一个声源，以使得所选择的至少一个声源可显示在触摸屏190上。

所选择的至少一个声源的显示位置可考虑触摸屏190的尺寸以及终端100与所述至少一个声源之间的距离来确定。

例如，触摸屏190的中心点可被设定为终端100的位置，至少一个声源的显示位置可基于终端100与至少一个声源之间的距离在考虑触摸屏190的尺寸的情况下相对于触摸屏190的中心点来确定。例如，终端100可根据触摸屏190的尺寸基于缩放来显示终端的位置以及的至少一个声源的相对位置。

终端100可将表示终端100的终端图像显示在触摸屏190上的终端100的位置处，并且将表示至少一个声源的至少一个声源图像显示在触摸屏190上所确定的所述至少一个声源的位置处。

终端100可将终端图像和至少一个声源图像显示在预定类型的屏幕上，并且可另外将至少一个声源的距离、方位角和类型中的至少一个显示在该屏幕上。

声源图像可采取表示声源的图形、字符等的形式。声源图像可根据声源的声强和距离按照不同的颜色或尺寸来显示。例如，如果声源发出响亮的声音，则与表示发出弱的声音的声源的声源图像相比，表示该声源的声源图像可显示得更大或者以更深的颜色来显示。作为另一示例，如果声源靠近终端100，则与表示远处的声源的声源图像相比，表示该声源的声源图像可显示得更大或者以更深的颜色来显示。与声源对应的声源图像的形状、尺寸和颜色可根据声源的声强和距离来选择性地改变。声源图像可被形成为与声源的类型匹配的形状。例如，声源图像可被形成为表示声源的类型对应于人、电话或仪器等的形状。

如果声源的类型是人的语音，则终端100可检测人的位置，从类似通信服务提供商的外部实体接收与声源对应的人的信息(例如，电话号码和姓名)，并且将声源连同与声源对应的人的信息一起显示。根据本公开的各种实施例，终端100可确定声音从其接收的人对应于存储在终端100中的联系人。结果，终端100可检索并显示与该人关联的联系人信息(例如，电话号码、姓名和/或类似信息)。

终端100和终端100周围的声源可按照预定指示方案来显示，例如雷达显示方案、雷达显示方案以外的声源位置指示方案或者其它未提及的方案。

首先将描述本公开的以雷达显示方案来显示终端100和终端100周围的声源的实施例。

图4示出根据本公开的实施例的显示终端周围的声源的雷达屏幕。

参照图4，可在雷达屏幕上相对于终端100显示声源的距离和方向。在雷达屏幕上利用n、w、s和e来标记北西南东方位。表示终端100的终端图像40以及分别表示声源的一个或更多个声源图像41至44可显示在雷达屏幕上。雷达屏幕还可显示终端100与各个声源之间的距离以及声源的声强47和方位角49。例如，如果选择源图像41至44中的源图像，则终端100可显示关于该声源和/或对应声音的详细信息。例如，终端100可显示终端与所选择的声源之间的距离、来自所选择的声源的声音的声强、与所选择的声源的特性有关的联系人信息或其它信息等。

图5示出根据本公开的实施例的显示终端周围的声源的位置的屏幕。

参照图5，声源位置指示屏幕可显示表示终端100的终端图像50以及表示声源的一个或更多个声源图像51至55。如果声源输出响亮的声音，则该声源的声源图像可按照比输出弱的声音的声源的声源图像深的颜色来显示。声源的声源图像可指示声源的类型是人的语音(话语)还是电话铃声。根据本公开的各种实施例，声源的声源图像可指示声源的其它类型(例如，常见类型)。

通过以上述方式在屏幕上显示终端100周围的声源，终端100可根据用户手势输入选择声源，输出所选择的声源的声音。并且控制输出声音的音量。

图6是示出根据本公开的实施例的在终端中输出声源的声音的操作的流程图。图7示出根据本公开的实施例的显示终端周围的声源的终端的屏幕。

参照图6和图7，在操作610，终端100可确定用户是否触摸了屏幕上的声源图像，其中，屏幕上显示有终端图像70以及表示终端100周围的声源的声源图像71至75。用户可利用手指或输入单元168(例如，触摸笔或手写笔)来触摸屏幕上的声源图像。

如果在操作610，终端100确定用户没有触摸屏幕上的声源图像，则终端100可继续对声源图像上的用户触摸进行轮询(例如，直至终端100基于用户输入或其它操作被中断以执行另一对应功能)。

相比之下，如果在操作610，终端100确定用户触摸了屏幕上的声源图像，则在检测到声源图像上的触摸时，终端前进至操作620，在该操作620，终端100可输出与所触摸的声源图像对应的声源的声音。例如，当如图7(a)所示触摸与话语3对应的声源图像71时，终端100可输出与所触摸的声源图像71对应的声源的声音。

根据本公开的各种实施例，终端100可将与所触摸的声源图像对应的声源的声音发送给助听器300。例如，终端100可将与所触摸(例如，所选择)的声源图像对应的声源的声音发送给助听器300，以使得助听器300可输出声源的声音。

当如图7(a)所示触摸与话语3对应的声源图像71时，如图7(b)所示，所触摸的声源图像71可按照与其它声源图像72至75不同的方式来显示，以指示所触摸的声源图像71。例如，所触摸的声源图像71可被显示为具有实线轮廓，而其它声源图像72至75可被显示为具有虚线轮廓。根据本公开的各种实施例，可使用其它标记来标识所触摸的声源图像(例如，阴影、加粗等)。

根据本公开的各种实施例，如果多个声源图像被触摸，则与所触摸(例如，所选择)的多个声源图像对应的声源的声音可被输出，并且所触摸的声源图像可与其它声源图像不同地显示以使得所触摸的声源图像可被识别。

在操作630，终端100确定用户是否选择了音量等级。例如，可根据用户手势输入选择高等级、标准等级和静音等级中的一个。高等级可以是最高音量等级，标准等级可以是中等音量等级，静音等级可以是静音。音量等级还可包括将所选择的声源的音量增大至高于其它声源的音量的等级或者将所选择的声源的音量减小至低于其它声源的音量的等级。

根据本公开的各种实施例，可定义各种数量的音量等级(例如，除了这三种音量等级以外)。根据本公开的各种实施例，可通过在静音位置和与最大音量对应的位置之间设定音量条来设定音量等级。高等级、标准等级和静音等级的音量可由用户或开发者来设定。

如果终端100确定用户选择了高等级，则终端100可前进至操作632，在该操作632，终端100可按照与高等级对应的音量来输出声源的声音。

如果终端100确定用户选择了标准等级，则终端100可前进至操作634，在该操作634，终端100可按照与标准等级对应的音量来输出声源的声音。

如果终端100确定用户选择了静音等级，则终端100可前进至操作636，在该操作636，终端100可将声源的声音静音。

根据本公开的各种实施例，终端100可将音量被控制为所选择的音量等级的声源的声音发送给助听器300，以使得助听器300可输出音量被控制的声音。

相比之下，如果在操作630，终端100确定在输出声源的声音期间没有选择音量等级，则终端100前进至操作640，在该操作640，终端100监测与正在输出声音的声源对应的声源图像上的触摸。例如，在操作640，终端100确定用户是否触摸了与正输出声音的声源对应的声源图像。

如果终端100确定与正输出声音的声源对应的声源图像被触摸，则终端100前进至操作650，在该操作650，终端100终止该声源的声音的输出。

如果终端100确定与正输出声音的声源对应的声源图像未被触摸，则终端100可前进至操作630。

根据本公开的各种实施例，如果终端100正在将声源的声音输出给助听器300，则终端100可终止将声源的声音输出给助听器300。

如上所述，通过在屏幕上显示终端100周围的声源，用户可在屏幕上选择声源，并且终端100或助听器300可输出所选择的声源的声音。另外，用户可调节声源的声音的音量。因此，听力障碍者可聆听预期声源。

尽管在本公开的上述实施例中描述了在用户手势输入是触摸的情况下终端100选择将要输出声音的声源，但是终端100可通过识别触摸以外的许多用户手势输入来选择用户预期的声源。

图8是示出根据本公开的实施例的在终端中根据所识别的用户手势来选择声源的操作的流程图。

参照图8，在操作810，终端100识别(例如，检测)用户手势。用户手势输入可以是单个手势输入或者多个用户手势的连续输入。

例如，用户手势输入可以是拖动输入。用户手势输入可以是触摸并保持输入之后的轻拂输入。用户手势输入可以是在触摸并保持输入之后的轻拂然后保持输入。用户手势输入可以是在触摸并保持输入之后，在由轻拂输入限定半径的圆周上的特定点处的保持输入。根据本公开的各种实施例，用户手势可以是语音输入。

在操作820，终端100确定用户手势输入是否指示声源选择方向。例如，指示声源选择方向的用户手势输入可以是在选择终端图像之后在预期声音输出方向上的拖动输入。

图9示出根据本公开的实施例的指示声源选择方向的用户手势输入。

参照图9，在表示终端100周围的一个或更多个声源的声源图像91至95显示在屏幕上的同时，在接收到从终端图像90朝着与话语3对应的声源图像92的拖动输入时，终端100基于该拖动输入确定声源选择方向。

如果在操作820，终端100确定用户手势输入指示声源选择方向，则在确定声源选择方向时，终端100前进至操作822，在该操作822，终端100选择声源选择方向上的声源并且输出所选择的声源的声音。

相比之下，如果在操作820，终端100确定用户手势输入没有指示声源选择方向，则终端100前进至操作830，在该操作830，终端100确定用户手势输入是否指示声源选择范围。例如，指示声源选择范围的用户手势输入可以是在对终端图像的触摸并保持输入之后对特定范围的轻拂输入。

图10a和图10b示出根据本公开的实施例的指示声源选择范围的用户手势输入。

参照图10a和图10b，在终端图像1000和表示终端100周围的一个或更多个声源的声源图像1001至1005显示在屏幕上的同时，在接收到如图10a所示对终端图像1000的触摸并保持输入，然后接收到如图10b所示与特定范围(例如，5m范围)对应的轻拂输入时，终端100根据所接收的输入来确定声源选择范围。终端100可根据触摸并保持输入来显示被触摸并保持的点，然后根据轻拂输入的长度来确定特定范围。根据本公开的各种实施例，可利用另一输入或通过菜单选择来配置源选择范围。

如果在操作830，终端100确定用户手势输入指示声源选择范围，则终端100前进至操作832，在该操作832，终端100选择所指示的范围内的至少一个声源并且输出所选择的至少一个声源的声音。

相比之下，如果在操作830，终端100确定用户手势输入没有指示声源选择范围，则终端100前进至操作840，在该操作840，终端100确定用户手势输入是否指示声源选择距离。例如，指示声源选择距离的用户手势输入可以是在触摸并保持输入之后的轻拂输入然后保持输入。

图11示出根据本公开的实施例的指示声源选择距离的用户手势输入。

参照图11，在表示终端100的终端图像1110以及表示终端100周围的一个或更多个声源的声源图像1111至1115显示在屏幕上的同时，在接收到如图11(a)所示对终端图像1110的触摸并保持输入，然后接收到如图11(b)所示与特定距离(例如，5m)对应的轻拂输入时，终端100根据所接收的输入来确定声源选择距离。如图11(c)所示，终端100显示与距终端100的声源选择距离对应的半径。在如图11(c)所示继轻拂输入之后，接收到半径指示声源选择距离的圆周上的维持达预定时间的保持输入时，终端100将该半径确定为声源选择距离。

如果在操作840，终端100确定用户手势输入指示声源距离，则一旦声源选择距离被确定，终端100就前进至操作842，在该操作842，终端100可选择声源选择距离内的声源并且输出所选择的声源的声音。

相比之下，如果在操作840，终端100确定用户手势输入没有指示声源距离，则终端100前进至操作850，在该操作850，终端100确定用户手势输入是否指示声源选择位置。例如，指示声源选择位置的用户手势输入可以是在触摸并保持输入之后在半径由轻拂输入限定的圆周上的特定点处的保持输入。

图12示出根据本公开的实施例的指示声源选择位置的用户手势输入。

参照图12，在表示终端100的终端图像1140以及表示终端100周围的一个或更多个声源的声源图像1141、1143、1145、1147和1147显示在屏幕上的同时，在接收到如图12(a)所示对终端图像1140的触摸并保持输入，然后接收到如图12(b)所示与特定距离(例如，5m)对应的轻拂输入时，终端100可如图12(c)所示从终端图像1140显示与声源选择距离对应的半径。在如图12(d)所示继轻拂输入之后，接收到在半径指示距终端100的距离的圆周上的维持达预定时间的保持输入时，终端100可将具有该半径的圆周上的位置确定为声源选择位置。

一旦在操作850终端100确定了声源选择位置，终端100就前进至操作852，在该操作852，终端100可选择声源选择位置处的声源并且输出所选择的声源的声音。

根据如上所述本公开的各种实施例，终端100区分终端100周围的邻近声源并且分别显示这些声源。终端100可输出用户所选择的声源的声音或者控制输出声音的音量。

终端100可从助听器300接收邻近声源的声音信号并且显示声源。在用户选择声源时，终端100可将所选择的声源的声音发送给助听器300，以使得助听器300可输出所选择的声源的声音。

如果用户选择声源的声音的音量等级，则终端100按照与所选择的音量等级对应的音量将声源的声音发送给助听器300，以使得助听器300可输出声源的音量被控制的声音。

将描述根据本公开的实施例的助听器300的配置和操作。

图13是根据本公开的实施例的助听器的框图。

参照图13，助听器300可包括助听器控制器310、麦克风单元320、转换器330、放大器340、输出单元350、无线单元360、存储器370和电源380。

助听器控制器310提供对助听器300的总体控制，并控制麦克风单元320、转换器330、放大器340、输出单元350、无线单元360、存储器370和电源380的操作。

麦克风单元320可包括至少两个麦克风并且可检测和接收邻近声音。例如，所述至少两个麦克风可设置在助听器300外部，在用户的耳中从邻近声源接收模拟声音信号，并且在助听器控制器310的控制下将所述模拟声音信号发送给转换器330。

转换器330可将从麦克风单元320接收的模拟声音信号转换为数字声音信号，并且可将放大的数字声音信号转换为模拟声音信号。例如，转换器330可将从麦克风单元320接收的模拟声音信号转换为数字声音信号并且将所述数字声音信号提供给助听器控制器310。

助听器控制器310对从转换器330接收的数字声音信号执行数字信号处理，例如不必要的噪声的消除、反馈控制、放大增益控制、非线性放大等。随后，助听器控制器310将所处理的数字声音信号提供给转换器330。

放大器340基于从助听器控制器310接收的放大增益来放大从转换器330接收的数字声音信号，并将所放大的声音信号提供给助听器控制器310。

转换器330将从助听器控制器310接收的处理的数字声音信号转换为模拟声音信号，并且将所述模拟声音信号提供给输出单元350。

输出单元350输出所接收的模拟声音信号。

无线单元360可包括移动通信模块(未示出)、wlan模块(未示出)、短距离通信模块(未示出)等中的一个，并且可与终端100无线地通信。短距离通信模块可包括红外通信模块、蓝牙通信模块和/或类似模块。无线单元360在助听器控制器310的控制下与终端100无线地通信。无线单元360从终端100接收所选择的声源的声音信号或者所选择的声源的音量被控制的声音信号，或者将通过麦克风单元320收集的声源的声音信号发送给终端100。

存储器370存储从终端100接收的所选择的声源的声音信号或者所选择的声源的音量被控制的声音信号，或者存储通过麦克风单元320收集的声源的声音信号。

电源380向助听器300的各个组件供电。

根据本公开的各种实施例，如上所述配置的助听器300可通过麦克风单元320接收声源的声音信号并且将所接收的声音信号发送给终端100。另外，助听器300可从终端100接收用户所选择的声源的声音信号或者声源的声音信号当中用户所选择的声源的音量被控制的声音信号，并且输出所接收的声音信号。

图14是示出根据本公开的实施例的助听器的操作的流程图。

参照图14，在操作1410，助听器300可通过麦克风单元320接收邻近声源的声音信号。具体地讲，助听器300可通过至少两个麦克风(可设置在助听器300的外部，用户的耳中)从邻近声源接收模拟声音信号。

在操作1420，助听器300可将所接收的声源的声音信号发送给终端100。例如，助听器300可通过无线单元360与终端100无线地通信，并且通过无线通信将声源的声音信号发送给终端100。终端100可从助听器300接收声源的声音信号，基于所接收的声源的声音信号区分一个或更多个声源，计算各个声源的声强、方向和距离，并且将所述一个或更多个声源显示在终端100的屏幕上。

在用户从所显示的声源当中选择声源时，终端100可将所选择的声源的声音信号发送给助听器300。在用户选择声源的声音信号的音量等级时，终端100可将声源的音量被控制的声音信号发送给助听器300。根据本公开的各种实施例，终端100可将所选择的声源的声音信号发送给助听器300，并且终端100可发送所选择的声源的声音信号的所选择的音量等级的指示。

在操作1430，助听器300可通过无线单元360从终端100接收所选择的声源的声音信号或者音量被控制的声音信号。

在操作1440，助听器300将所接收的所选择的声源的声音信号或者音量被控制的声音信号输出给输出单元350。

尽管上面描述了助听器300将通过麦克风单元320接收的声源的声音信号发送给终端100，但是助听器300可从终端100接收终端100通过第一麦克风162-1至第n麦克风162-n接收的所选择的声源的声音信号或者音量被控制的声音信号，然后输出所接收的声音信号，而非通过无线单元360将通过麦克风单元320接收的声源的声音信号发送给终端100。

从本公开的各种实施例的以上描述明显的是，用户可利用终端100的显示器来定位用户周围的声源。

根据本公开的各种实施例，用户可(选择性地)仅聆听从声源当中选择的预期声源的声音并且逐步控制声音的音量。

根据本公开的各种实施例，如果听力障碍者使用助听器300，则该人可通过与助听器300结合操作的终端100来定位声源，并且通过助听器300聆听预期声源的声音。

由于用户可通过各种手势来聆听预期声源的声音，所以向用户提供方便的ui。

就这一点，应该注意的是，如上所述的本公开的各种实施例通常在一定程度上涉及输入数据的处理和输出数据的生成。此输入数据处理和输出数据生成可在硬件或者与硬件组合的软件中实现。例如，可在移动装置或者相似或相关的电路中采用特定电子组件以用于实现与如上所述本公开的各种实施例关联的功能。另选地，依据所存储的指令来操作的一个或更多个处理器可实现与如上所述本公开的各种实施例关联的功能。如果是这样，则这些指令可被存储在一个或更多个非暂时性处理器可读介质上在本公开的范围内。非暂时性处理器可读介质的示例包括只读存储器(rom)、随机存取存储器(ram)、cd-rom、磁带、软盘和光学数据存储装置。非暂时性处理器可读介质还可分布于联网的计算机系统上以使得指令以分布式方式被存储和执行。另外，用于实现本公开的功能计算机程序、指令和指令段可由本公开所属领域的程序员容易地解释。

尽管已参照其各种实施例示出并描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可对其进行形式和细节上的各种改变。