一种异常信号的过滤方法及装置与流程

文档序号:29034257发布日期:2022-02-25 17:09阅读:302来源:国知局
一种异常信号的过滤方法及装置与流程

1.本技术涉及通信技术领域,尤其涉及一种异常信号的过滤方法及装置。


背景技术:

2.随着网络与信息化的快速发展,通过因特网发布信息和通过因特网进行的网络贸易等正被人们广泛使用,同时各种机密信息,包括国家安全信息、私密信息(如个人账号)等都需要通过网络进行传输,为了保护各种秘密信息安全,隐藏通信技术可以有效的防治秘密信息被第三方拦截和获取。
3.基于声波的隐藏通信技术已得到广泛的应用。其主要的工作流程是:合成设备将待发送信息调制到特定频率的载波信号中,并将载波信号合成到正常声音信号中;发送端将正常声音信号发送出去,接收端接收并解调出正常的声音信号中的待发送信息,完成基于声波的隐藏通信。
4.基于声波的隐藏通信也为用户带来个人信息泄漏的风险。攻击者通过合成设备将特殊信息调制到高频载波信号中,并将高频载波信号合成到正常的声音信号中,该高频载波信号是用户无法感知的。播放设备(例如音响)播放合成的声音信号。当用户靠近播放设备时,则用户的电子设备(例如手机)可以接收到该合成的声音信号。若用户的电子设备(例如手机)中安装有攻击者开发的应用程序,且该应用程序可以检测到攻击者调制的高频载波信号,则该应用程序可以收集用户的或者设备信息,例如电子设备(例如手机)的标识或者电子设备(例如手机)的当前位置等,并发送给攻击者。此时在用户不知情的情况下,攻击者获得了用户的信息。


技术实现要素:

5.本技术提供了一种异常信号的过滤方法,电子设备对采集的声音信号进行检测,异常信号检测模块发现异常高频信号,即声音信号的高频能量值高出阈值时,将该异常情况告知用户,用户可选择过滤掉异常高频信号,以拦截潜在的隐藏通信威胁,同时将过滤掉异常高频信号的声音信号返回至第一应用中。这样,可以识别并拦截隐藏通信,提高了用户隐私的安全性。
6.第一方面,本技术提供了一种异常高频信号检测和过滤方法。该方法包括:电子设备接收声音信号获取请求;响应于声音信号获取请求,电子设备获取声音信号;电子设备根据声音信号,确定声音信号的高频能量值。若声音信号的高频能量值大于环境声音能量阈值,则电子设备向用户发出提示信息,提示信息用于提示用户声音信号中存在异常高频信号。
7.电子设备根据事先训练的检测模型,对获取的声音信号进行检测。如果电子设备检测出声音信号中存在异常高频信号,可以向用户发出警告,或者将该声音信号中的异常高频信号过滤掉。这种方式的好处在于,可以防止用户的隐私在用户不知情的情况下被泄露。通过该方法,可以识别并拦截潜在的隐藏通信威胁,降低了隐私信息泄露的风险。
8.结合第一方面,在第一方面的一种可能的实现方式中,在电子设备向用户发出提示信息之后,电子设备还接收用户的滤除操作;响应于滤除操作,电子设备滤除声音信号中存在的异常高频信号。这样,用户可以感知电子设备获取的声音信号中存在异常高频信号,当用户下次经过此区域时,会堤防该区域存在的异常高频信号;或者用户将该区域存在异常高频信号的情况上报至服务器,服务器将汇总用户上报的信息并采取措施预防异常高频信号导致用户的隐私信息泄露。在一些实施例中,当电子设备判断声音信号的高频能量值大于环境声音能量阈值时,电子设备不需要向用户发出提示信息,电子设备直接率除掉声音信号中的异常高频信号。这样,当用户在通过电子设备与好友打电话或者电子设备正在显示导航路线时,电子设备不向用户发出提示信息,不会影响用户的当前操作。
9.结合第一方面,在第一方面的一种可能的实现方式中,电子设备还将滤除掉异常高频信号的声音信号发送给接收设备。当用户通过电子设备与好友打电话或者正在与好友组队打游戏时,电子设备将滤除异常高频信号的声音信号通过通信模块发送至接收设备,接收设备为用户好友正在使用的设备,这样,不会影响用户的当前操作。
10.结合第一方面,在第一方面的一种可能的实现方式中,电子设备获取第一环境信息,第一环境信息包括位置信息和/或环境声音;电子设备根据第一环境信息确定环境声音能量阈值。这里,第一环境信息用于确定出当前环境(例如商场),电子设备根据当前环境确定出当前环境对应的环境声音能量阈值,环境声音能量阈值用于与声音信号的高频能量值作比较,若声音信号的高频能量值大于当前环境对应的环境声音能量阈值,则电子设备确定出声音信号中存在异常高频信号。
11.结合第一方面,在第一方面的一种可能的实现方式中,电子设备根据声音信号,确定所述声音信号的高频能量值,具体包括以下步骤:首先电子设备在获取声音信号之前,获取环境声音;其次电子设备根据环境声音,确定出环境噪音能量值;最后电子设备根据声音信号的实际高频能量值和环境噪音能量值,确定出所述声音信号的高频能量值。这里,电子设备根据声音信号的实际高频能量值和环境噪音能量值,确定出声音信号的高频能量值是为了消除环境噪音的影响,在声音信号的实际高频能量值中去除环境噪音能量值。这样,可以提高确认声音信号的高频能量值的准确性。
12.结合第一方面,在第一方面的一种可能的实现方式中,电子设备根据声音信号的实际高频能量值和所述环境噪音能量值,确定出所述声音信号的高频能量值,具体包括以下步骤:电子设备获取声音信号中的高频信号;电子设备将高频信号分割成n个时间窗的高频信号段,n为正整数;电子设备计算n个时间窗中高频信号段的实际高频能量值;电子设备根据n个时间窗中高频信号段的实际高频能量值,计算n个时间窗中高频信号段的全分贝高频能量值;电子设备根据n个时间窗中高频信号段的全分贝高频能量值和环境噪音能量值,确定出所述声音信号的高频能量值。这里,由于异常高频信号的频段范围在高频段,只用获取声音信号的高频段信号,根据声音信号的高频段信号计算声音信号的高频能量值,这样,可以减少电子设备的运算,节省消耗。
13.结合第一方面,在第一方面的一种可能的实现方式中,电子设备根据n个时间窗中高频信号段的实际高频能量值,可以通过如下公式确定出n个时间窗中高频信号段的全分贝高频能量值:
[0014][0015]
其中,pbi为第i个时间窗中高频信号段的全分贝高频能量值,sbi为第i个时间窗中中高频信号段的实际高频能量值,sj为电子设备存储所述第j个时间窗中高频信号段所需的位数,j为大于等于1小于等于n的正整数,i为小于等于n的正整数。
[0016]
结合第一方面,在第一方面的一种可能的实现方式中,电子设备根据n个时间窗中高频信号段的全分贝高频能量值和环境噪音能量值,可以通过如下公式确定出声音信号的高频能量值:
[0017][0018]
其中,pbi为第i个时间窗中高频信号段的全分贝高频能量值,pci为第i个时间窗中高频信号段的全分贝高频能量值与环境噪音能量值的差值,pm表示环境噪音能量值,i为小于等于n的正整数;p0表示所述声音信号的高频能量值。
[0019]
结合第一方面,在第一方面的一种可能的实现方式中,异常高频信号的频段范围包括18khz-20khz。
[0020]
第二方面,本技术提供了一种电子设备,包括声音采集模块、异常信号检测框架;其中,声音采集模块,用于获取声音信号;异常信号检测框架,用于确定出声音信号的高频能量值;异常信号检测框架,还用于判断若声音信号的高频能量值大于环境声音能量阈值,向用户发出提示信息,所述提示信息用于提示所述声音信号存在异常高频信号。
[0021]
电子设备根据异常信号检测框架,对获取的声音信号进行检测。如果异常信号检测框架检测出声音信号中存在异常高频信号,可以向用户发出警告,或者将该声音信号中的异常高频信号过滤掉。这种方式的好处在于,可以防止用户的隐私在用户不知情的情况下被泄露。这样,可以识别并拦截潜在的隐藏通信威胁,降低了隐私信息泄露的风险。
[0022]
结合第二方面,在第二方面的一种可能的实现方式中,异常信号检测框架,还用于接收用户的滤除操作;响应于用户的滤除操作,滤除声音信号中存在的异常高频信号。这样,用户可以感知电子设备获取的声音信号中存在异常高频信号,当用户下次经过此区域时,会堤防该区域存在的异常高频信号;或者用户将该区域存在异常高频信号的情况上报至服务器,服务器将汇总用户上报的信息并采取措施预防异常高频信号导致用户的隐私信息泄露。在一些实施例中,当电子设备判断声音信号的高频能量值大于环境声音能量阈值时,电子设备不需要向用户发出提示信息,电子设备直接率除掉声音信号中的异常高频信号。这样,当用户在通过电子设备与好友打电话或者电子设备正在显示导航路线时,电子设备不向用户发出提示信息,不会影响用户的当前操作。
[0023]
结合第二方面,在第二方面的一种可能的实现方式中,声音采集模块,还用于将滤除掉异常高频信号的声音信号发送给接收设备。当用户通过电子设备与好友打电话或者正在与好友组队打游戏时,异常信号检测框架调用声音采集模块,声音采集模块将滤除异常高频信号的声音信号通过通信模块发送至接收设备,接收设备为用户好友正在使用的设备,这样,不会影响用户的当前操作。在一些实施例中,异常信号检测框架不需要调用声音采集模块,直接将滤除异常高频信号的声音信号通过通信模块发送至接收设备。
[0024]
结合第二方面,在第二方面的一种可能的实现方式中,异常信号检测框架,还用于获取第一环境信息,第一环境信息包括位置信息和/或环境声音;根据第一环境信息确定环境声音能量阈值。这里,第一环境信息用于确定出当前环境(例如商场),异常信号检测框架根据当前环境确定出当前环境对应的环境声音能量阈值,环境声音能量阈值用于与声音信号的高频能量值作比较,若声音信号的高频能量值大于当前环境对应的环境声音能量阈值,则异常信号检测框架确定出声音信号中存在异常高频信号。
[0025]
结合第二方面,在第二方面的一种可能的实现方式中,声音采集模块,还用于在获取声音信号之前,获取环境声音;异常信号检测框架,还用于根据环境声音,确定出环境噪音能量值;根据声音信号的实际高频能量值和环境噪音能量值,确定出所述声音信号的高频能量值。这里,电子设备根据声音信号的实际高频能量值和环境噪音能量值,确定出声音信号的高频能量值是为了消除环境噪音的影响,在声音信号的实际高频能量值中去除环境噪音能量值,这样,可以提高确认声音信号的高频能量值的准确性。
[0026]
结合第二方面,在第二方面的一种可能的实现方式中,异常信号检测框架,还用于获取声音信号中的高频信号;将高频信号分割成n个时间窗的高频信号段,n为正整数;计算n个时间窗中高频信号段的实际高频能量值;根据n个时间窗中高频信号段的实际高频能量值;计算n个时间窗中高频信号段的全分贝高频能量值;根据n个时间窗中高频信号段的全分贝高频能量值和环境噪音能量值,确定出声音信号的高频能量值。这里,由于异常高频信号的频段范围在高频段,异常信号检测框架只用获取声音信号的高频段信号,根据声音信号的高频段信号计算声音信号的高频能量值,这样,可以减少运算,节省消耗。
[0027]
结合第二方面,在第二方面的一种可能的实现方式中,异常信号检测框架,还用于根据n个时间窗中高频信号段的实际高频能量值,可以通过如下公式确定出n个时间窗中高频信号段的全分贝高频能量值:
[0028][0029]
其中,pbi为第i个时间窗中高频信号段的全分贝高频能量值,sbi为第i个时间窗中中高频信号段的实际高频能量值,sj为电子设备存储所述第j个时间窗中高频信号段所需的位数,j为大于等于1小于等于n的正整数,i为小于等于n的正整数。
[0030]
结合第二方面,在第二方面的一种可能的实现方式中,异常信号检测框架,具体用于根据n个时间窗中高频信号段的全分贝高频能量值和环境噪音能量值,可以通过如下公式确定出声音信号的高频能量值:
[0031]
pci=pbi–
pm;
[0032][0033]
其中,pbi为第i个时间窗中高频信号段的全分贝高频能量值,pci为第i个时间窗中高频信号段的全分贝高频能量值与环境噪音能量值的差值,pm表示环境噪音能量值,i为小于等于n的正整数;p0表示所述声音信号的高频能量值。
[0034]
结合第二方面,在第二方面的一种可能的实现方式中,高频信号的频段范围包括18khz-20khz。
[0035]
第三方面,本技术提供了一种异常信号的过滤装置,包括一个或多个处理器、一个
或多个存储器、声音采集器;所述一个或多个存储器、所述声音采集器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,一个或多个处理器调用所述计算机指令以使得所述装置执行上述第一方面中任一种可能的实现方式中的一种异常信号的过滤方法。
[0036]
第四方面,本技术实施例提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得通信装置执行上述第一方面任一种可能的实现方式中的一种异常信号的过滤方法。
[0037]
第五方面,本技术实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述第一方面任一种可能的实现方式中的一种异常信号的过滤方法。
[0038]
本技术提供了一种异常信号的过滤方法及装置。电子设备根据事先训练的检测模型,对获取的声音信号进行检测。如果电子设备检测出声音信号中存在异常高频信号,可以向用户发出警告,或者将该声音信号中的异常高频信号过滤掉。这种方式的好处在于,可以防止用户的隐私在用户不知情的情况下被泄露。通过该方法,可以识别并拦截潜在的隐藏通信威胁,降低了隐私信息泄露的风险。
附图说明
[0039]
图1为本技术实施例提供的一种通过隐藏通信技术获取用户隐私信息的方法流程图;
[0040]
图2为本技术实施例提供的一种电子设备100的架构示意图;
[0041]
图3为本技术实施例提供的一种系统10的架构示意图;
[0042]
图4为本技术实施例提供的一种各个模块的功能示意图;
[0043]
图5为本技术实施例提供的一种异常信号的过滤方法的流程示意图;
[0044]
图6为本技术实施例提供的另一种异常信号的过滤方法的流程示意图;
[0045]
图7a-图7f为本技术实施例提供的一组ui图;
[0046]
图8a-图8d为本技术实施例提供的一种异常高频信号检测和过滤方法的流程示意图;
[0047]
图9为本技术实施例提供的一种装置示意图。
具体实施方式
[0048]
下面将结合附图对本技术实施例中的技术方案进行清除、详尽地描述。其中,在本技术实施例的描述中,除非另有说明,“/”表示或的意思,例如,a/b可以表示a或b;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况,另外,在本技术实施例的描述中,“多个”是指两个或多于两个。
[0049]
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本技术实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
[0050]
目前,基于声波的隐藏通信技术主要是通过高频信号和能识别高频信号的应用程序实现。即应用程序当识别到特定的高频信号后,可以执行应用程序开发者提前设定的操作,例如获取用户的隐私信息。高频信号的频率一般大于18khz,而由于人耳听力系统(human auditory system,has)的限制,大部分用户只能听到16khz以下频率的声音,因此大部分用户是无法感知周围环境中是否存在高频信号。同时,现有大部分电子设备的硬件配置可以支持18khz以上的信号的接收和解调,但缺乏对高频信号的控制措施。换而言之,大部分用户很难知道当前是否存在高频信号,以及当前是否存在隐藏通信。如果应用程序在识别到特定的高频信号后,获取用户的隐私信息(例如电子设备标识和电子设备的位置)并发送给特定的服务器或电子设备,可以在用户无感的情况下获得用户的隐私信息,例如用户身份信息、位置信息或操作习惯等。
[0051]
图1示出了本技术实施例提供的一种通过隐藏通信技术获取用户隐私信息的方法流程图。如图1所示,此时商店门口安置的音响正在播放促销广告,该促销广告中含有第三方合成的异常高频信号。当用户在跑步过程中经过该商店,用户携带的电子设备可能会获取该促销广告的声音。当用户电子设备中存在可以识别该促销广告中包含的高频信号的应用程序时,该应用程序在识别出该异常高频信号后,可能会获取用户电子设备的标识和电子设备的位置,并发送至第三方。该应用程序可以是正常功能的应用程序。例如,电子设备接收用户操作打开了语音助手,语音助手采集声音信号;又例如用户通过某游戏应用程序与好友组队打游戏,为了方便沟通,用户打开了游戏界面的麦克风控件,用户电子设备的声音采集模块采集声音信号;又例如用户在商场里通过社交应用程序与好友进行视频通话,用户电子设备的声音采集模块采集声音。若用户所在的位置存在隐藏通信的信息(例如商场播放的音乐中存在高频信号),用户电子设备采集声音信号后发送至应用程序,用户电子设备中的应用程序(例如语音助手、某游戏应用程序、社交应用程序)可以识别声音信号中的高频信号,该高频信号触发应用程序获取用户电子设备的标识和电子设备的位置,并发送至第三方。
[0052]
需要说明的是,上述应用场景仅用于解释本技术,还可以包括更多或更少的应用场景,不应构成限定。
[0053]
由此可知,有语音输入功能的电子设备在获取外界声音信号时,电子设备中已安装的第一应用(例如导航应用)存在因隐藏通信获取用户隐私信息、造成个人隐私泄露的风险。
[0054]
为了识别高频信号,有两种检测声音信号的方式。
[0055]
方式一:异常声音检测和异常声音分类技术,该技术主要用于检测环境声音中的异常声音,如尖叫声、枪声、破碎声等代表异常事件的声音。异常声音检测技术通过从样本声音集合中提取过零率、幅度差、功率谱密度、谱熵和梅尔频率倒谱系数(mel-frequency cepstral coefficients,mfcc)等特征,对各类异常声音信号分别进行建模,对各类异常声音信号分别训练出一个分类器。从待检测声音中提取过零率、幅度差、功率谱密度、谱熵和梅尔频率倒谱系数等多种特征用于异常检测,从而将待检测声音归类到特定声音类别,若待检测信号没有被归类到特定声音类别,则判定待检测声音为未知声音类别。方式一主要用于检测环境声音中人类可感知到的异常声音,计算量大且实时性不好,不利于在电子设备中实现。
[0056]
方式二:超声波语音隐藏攻击检测方法,该方法通过对电子设备采集的超声波信号进行频谱分析,获得超声波信号的中心频率,判断中心频率是否在设定的攻击频率范围内,如果在攻击频率范围内,则对超声波信号进行带通滤波,滤除语音频率上限和下限的频率分量,以获得基带信号,并检测基带信号中是否包含语音。方式二只能检测超声波信号中携带有语音信号的攻击方式,无法识别利用超声波信号传递非语音信号而产生的隐藏攻击行为。
[0057]
本技术提供一种异常高频信号检测和过滤方法。电子设备根据事先训练的检测模型,对获取的声音信号进行检测。如果电子设备检测出声音信号中存在异常高频信号,可以向用户发出警告,或者将该声音信号中的异常高频信号过滤掉。这种方式的好处在于,可以防止用户的隐私在用户不知情的情况下被泄露。通过该方法,可以识别并拦截潜在的隐藏通信威胁,降低了隐私信息泄露的风险,同时保证了用户体验。
[0058]
例如,当用户经过某商场时,商场安置的音响正在对外播放促销广告或音乐。促销广告或音乐中合成有异常高频信号,用户电子设备(例如手机)可以检测到该异常高频信号,并向用户发送告警提示,防止第三方获取用户的隐私,对用户进行广告推送。
[0059]
又例如,用户在家里观看电视节目时,电视节目中播放的音频中合成有异常高频信号(异常高频信号携带的特殊信息可用于标记当前播放的视频内容,如电脑促销、衣服广告等),用户电子设备(例如手机)可以检测到该异常高频信号,并向用户发送告警提示,防止第三方掌握用户观看节目习惯,为用户推送推荐节目。
[0060]
又例如,用户通过电子设备(例如台式电脑)访问匿名网络,第三方服务器在匿名网络中发布合成有异常高频信号的音频、视频内容,该合成有异常高频信号的音频、视频内容可以吸引匿名用户观看。用户电子设备(例如手机)可以检测到该异常高频信号,并向用户发送告警提示,防止第三方获取访问匿名网络用户的真实信息。
[0061]
需要说明的是,基于声波的隐藏通信已广泛应用于保护秘密信息的安全,例如发送端需要保密传输的信息调制到高频载波中,再将高频载波隐藏在普通信息之中,通过普通信息将秘密信息发布出去,攻击者很难从普通信息中察觉出存在的秘密信息,从而使秘密信息具有更大的隐蔽性和安全性。接收端接收普通信息并解调出普通信息里的秘密信息,此时接收端将显示对应的提示信息,提示信息可以是含有发送端设备标识的提示信息,例如提示信息可以是“接收来自huawei p30发送的秘密信息”,则接收端的用户根据提示信息判断此信息为有用信息而非垃圾信息,用户可以选择不过滤掉该信号,从而接收到发送端发送的秘密信息。该方法可以保证有用信息不被误认为垃圾信息被过滤掉。
[0062]
上述实施例仅用于解释本技术,不应构成限定。
[0063]
图2示出了电子设备100的结构示意图。
[0064]
下面以电子设备100为例对实施例进行具体说明。电子设备100的设备类型可以包括手机、电视、平板电脑、音箱、手表、桌面型计算机、膝上计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonalcomputer,umpc)、上网本,以及个人数字助理(personal digitalassistant,pda)、增强现实(augmentedreality,ar)/虚拟现实(virtualreality,vr)设备等。本技术实施例对电子设备100的设备类型不做特殊限制。
[0065]
应该理解的是,图2所示电子设备100仅是一个范例,并且电子设备100可以具有比图2中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部
件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
[0066]
电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,sim)卡接口195等。其中传感器模块180可以包括压力传感器180a,陀螺仪传感器180b,气压传感器180c,磁传感器180d,加速度传感器180e,距离传感器180f,接近光传感器180g,指纹传感器180h,温度传感器180j,触摸传感器180k,环境光传感器180l,骨传导传感器180m等。
[0067]
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
[0068]
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,ap),调制解调处理器,图形处理器(graphics processing unit,gpu),图像信号处理器(image signal processor,isp),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
[0069]
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
[0070]
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
[0071]
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,i2c)接口,集成电路内置音频(inter-integrated circuit sound,i2s)接口,脉冲编码调制(pulse code modulation,pcm)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,uart)接口,移动产业处理器接口(mobile industry processor interface,mipi),通用输入输出(general-purpose input/output,gpio)接口,用户标识模块(subscriber identity module,sim)接口,和/或通用串行总线(universal serial bus,usb)接口等。
[0072]
i2c接口是一种双向同步串行总线,包括一根串行数据线(serial data line,sda)和一根串行时钟线(derail clock line,scl)。在一些实施例中,处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k,充电器,闪光灯,摄像头193等。例如:处理器110可以通过i2c接口耦合触摸传感器180k,使处理器110与触摸传感器180k通过i2c总线接口通信,实现电子设备100的触摸功能。
[0073]
i2s接口可以用于音频通信。在一些实施例中,处理器110可以包含多组i2s总线。
处理器110可以通过i2s总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过i2s接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
[0074]
pcm接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中,音频模块170也可以通过pcm接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
[0075]
uart接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,uart接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过uart接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过uart接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
[0076]
mipi接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。mipi接口包括摄像头串行接口(camera serial interface,csi),显示屏串行接口(display serial interface,dsi)等。在一些实施例中,处理器110和摄像头193通过csi接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过dsi接口通信,实现电子设备100的显示功能。
[0077]
gpio接口可以通过软件配置。gpio接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,gpio接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。gpio接口还可以被配置为i2c接口,i2s接口,uart接口,mipi接口等。
[0078]
usb接口130是符合usb标准规范的接口,具体可以是mini usb接口,micro usb接口,usb type c接口等。usb接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如ar设备等。
[0079]
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本技术另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
[0080]
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
[0081]
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
[0082]
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
[0083]
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
[0084]
移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,lna)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
[0085]
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a,受话器170b等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
[0086]
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks,wlan)(如无线保真(wireless fidelity,wi-fi)网络),蓝牙(bluetooth,bt),全球导航卫星系统(global navigation satellite system,gnss),调频(frequency modulation,fm),近距离无线通信技术(near field communication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
[0087]
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,gsm),通用分组无线服务(general packet radio service,gprs),码分多址接入(code division multiple access,cdma),宽带码分多址(wideband code division multiple access,wcdma),时分码分多址(time-division code division multiple access,td-scdma),长期演进(long term evolution,lte),bt,gnss,wlan,nfc,fm,和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system,gps),全球导航卫星系统(global navigation satellite system,glonass),北斗卫星导航系统(beidou navigation satellite system,bds),准天顶卫星系统(quasi-zenith satellite system,qzss)和/或星基增强系统(satellite based augmentation systems,sbas)。
[0088]
电子设备100通过gpu,显示屏194,以及应用处理器等实现显示功能。gpu为图像处
理的微处理器,连接显示屏194和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。
[0089]
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,lcd),有机发光二极管(organic light-emitting diode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,amoled),柔性发光二极管(flex light-emitting diode,fled),miniled,microled,micro-oled,量子点发光二极管(quantum dot light emitting diodes,qled)等。在一些实施例中,电子设备100可以包括1个或n个显示屏194,n为大于1的正整数。
[0090]
电子设备100可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。
[0091]
isp用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,isp可以设置在摄像头193中。
[0092]
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,电子设备100可以包括1个或n个摄像头193,n为大于1的正整数。
[0093]
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
[0094]
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,mpeg)1,mpeg2,mpeg3,mpeg4等。
[0095]
npu为神经网络(neural-network,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
[0096]
外部存储器接口120可以用于连接外部存储卡,例如micro sd卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
[0097]
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此
外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,ufs)等。
[0098]
电子设备100可以通过音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,以及应用处理器等实现音频功能。例如音乐播放,录音等。
[0099]
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
[0100]
扬声器170a,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐,或收听免提通话。
[0101]
受话器170b,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170b靠近人耳接听语音。
[0102]
麦克风170c,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170c发声,将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中,电子设备100可以设置两个麦克风170c,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170c,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
[0103]
耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,omtp)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the usa,ctia)标准接口。
[0104]
压力传感器180a用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180a检测所述触摸操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
[0105]
陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180b检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180b还可以用于导航,体感游戏场景。
[0106]
气压传感器180c用于测量气压。在一些实施例中,电子设备100通过气压传感器180c测得的气压值计算海拔高度,辅助定位和导航。
[0107]
磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
[0108]
加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
[0109]
距离传感器180f,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180f测距以实现快速对焦。
[0110]
接近光传感器180g可以包括例如发光二极管(led)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180g检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式,口袋模式自动解锁与锁屏。
[0111]
环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合,检测电子设备100是否在口袋里,以防误触。
[0112]
指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
[0113]
温度传感器180j用于检测温度。在一些实施例中,电子设备100利用温度传感器180j检测的温度,执行温度处理策略。例如,当温度传感器180j上报的温度超过阈值,电子设备100执行降低位于温度传感器180j附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
[0114]
触摸传感器180k,也称“触控面板”。触摸传感器180k可以设置于显示屏194,由触摸传感器180k与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180k也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
[0115]
骨传导传感器180m可以获取振动信号。在一些实施例中,骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180m也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息,实现心率检测功能。
[0116]
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。
电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
[0117]
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
[0118]
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
[0119]
sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195,或从sim卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或n个sim卡接口,n为大于1的正整数。sim卡接口195可以支持nano sim卡,micro sim卡,sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。电子设备100通过sim卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用esim,即:嵌入式sim卡。esim卡可以嵌在电子设备100中,不能和电子设备100分离。
[0120]
为了便于理解本技术实施例,下面先对本技术实施例的系统架构进行描述。
[0121]
图3示例性的示出了本技术实施例提供的一种系统10的架构示意图。如图3所示,该系统10包括电子设备100和服务器200。
[0122]
电子设备100包括有声音采集模块101、异常信号检测框架102和应用103。其中,声音采集模块101,可用于采集声音,并将声音信号传递至应用103。异常信号检测框架102,可用于对应用103接收到的声音信号进行检测,并判断声音信号中是否存在异常高频信号。若判断声音信号中存在异常高频信号,异常信号检测框架102可以向用户发送告警提示,并且滤除声音信号中的异常高频信号。应用103,可用于向声音采集模块101发送获取请求,获取请求用于请求声音采集模块101采集声音信号,应用103还用于接收声音采集模块101发送的声音信号。
[0123]
服务器200包括有检测模块104。该检测模块104,可用于利用检测模型根据样本声音数据集训练得到各个环境声音能量阈值。
[0124]
检测模型中可以包括各个环境标识和各个环境标识对应的环境声音能量阈值;或者,检测模型综合考虑各个环境标识对应的环境声音能量阈值,得到平均环境声音能量阈值。
[0125]
在一些实施例中,服务器200训练好检测模型后,将检测模型发送给电子设备100。电子设备100接收服务器200发送的检测模型。
[0126]
或者,服务器200根据样本声音数据集周期性更新检测模型,服务器200将检测模型周期性发送给电子设备100。电子设备100接收服务器200发送的检测模型,并周期性更新检测模型。
[0127]
在另一些实施例中,电子设备100的生产厂商在电子设备100中预设置有检测模型。也就是说,当用户购买电子设备100后开机并开始使用时,电子设备100中已存在该检测模型,电子设备100不需要从服务器200中获取到检测模型。
[0128]
在另一些实施例中,第一应用的应用程序开发者在第一应用中预设置有检测模型,电子设备100接收用户操作从应用商店下载第一应用时,检测模型将和第一应用同时被下载到电子设备100中。这样,电子设备100也不需要从服务器200中获取到检测模型。
[0129]
在另一些实施例中,电子设备100可以通过采集声音样本,或者从网络上获取声音样本,训练好检测模型。
[0130]
在上述电子设备100不需要从服务器200中获取检测模型的实施例中,电子设备100中的检测模型是已经训练好的,即检测模型中包括各个环境标识和各个环境标识对应的环境声音能量阈值;或者,检测模型综合考虑各个环境标识对应的环境声音能量阈值,仅包括平均环境声音能量阈值。可以理解的是,本技术实施例
[0131]
需要说明的是,上述实施例仅用于解释本技术,不应构成限定。
[0132]
检测模型用于检测声音信号是否存在异常高频信号。电子设备100在获取检测模型后,可以根据检测模型确定获取的声音信号中是否存在异常高频信号。
[0133]
在一些实施例中,检测模型综合考虑各个环境标识对应的环境声音能量阈值,得到平均环境声音能量阈值。当电子设备100需要对采集的声音信号进行检测时,电子设备100首先确认出声音信号的高频能量值,电子设备100将声音信号的高频能量值输入检测模型中,检测模型判断若声音信号的高频能量值大于平均环境声音能量阈值,检测模型输出检测结果,检测结果是该声音信号中存在异常高频信号。
[0134]
在另一些实施例中,检测模型中可以包括各个环境标识和各个环境标识对应的环境声音能量阈值,当电子设备100需要对采集的声音信号进行检测时,电子设备100确认出声音信号的高频能量值,电子设备100再根据声音信号确认出当前环境标识(例如商场),电子设备100将声音信号的高频能量值输入检测模型中,并根据当前环境标识从检测模型中确认出当前环境标识对应的环境声音能量阈值。检测模型判断若声音信号的高频能量值大于当前环境标识对应的环境声音能量阈值,检测模型输出检测结果,检测结果是该声音信号中存在异常高频信号。
[0135]
需要说明的是,上述实施例仅用于解释本技术,不应构成限定。
[0136]
该异常信号检测框架102包括有异常信号检测模块1021、模型管理模块1022、告警模块1023、告警应用1024、过滤模块1025。
[0137]
其中,异常信号检测模块1021,可用于检测声音采集模块101采集的声音信号中是否存在异常高频信号。其中,异常信号检测模块1021接收模型管理模块1022发送的检测模型,异常信号检测模块1021可以先计算声音信号的高频能量值,然后将该高频能量值输入检测模型中,若检测模型判断声音信号的高频能量值大于环境声音能量阈值(该环境声音能量阈值可以是平均环境声音能量阈值,也可以是当前环境标识对应的环境声音能量阈值),则检测模型确定出该声音信号中存在异常高频信号。
[0138]
该模型管理模块1022,负责检测模型的下载和更新,并将检测模型发送至异常信号检测模块1021。
[0139]
告警模块1023,可用于向告警应用1024发送告警指令,该告警指令用于指示告警应用1024向用户展示告警信息。
[0140]
告警应用1024,可用于向用户展示告警提示、提供用户操作接口以及获取用户操作(如选择忽略告警或选择确认告警)。
[0141]
过滤模块1025,可用于在接收用户确认操作后,过滤掉声音信号中的异常高频信号。
[0142]
在一种可能的实现方式中,电子设备100接收用户取消过滤操作后,即用户选择不过滤掉声音信号中的异常高频信号,告警应用1024向告警模块1023发送第一提示信息,该第一提示信息用于提示告警模块1023调用声音采集模块101,声音采集模块101将未过滤掉异常高频信号的声音信号返回至应用103中。
[0143]
在另一种可能的实现方式中,电子设备100接收用户确认过滤操作后,即用户选择过滤掉声音信号中的异常高频信号,告警应用1024向告警模块1023发送第二提示信息,该第二提示信息用于提示告警模块1023发送过滤指令至过滤模块1025,过滤模块1025过滤掉声音信号中的异常高频信号,同时过滤模块1025调用声音采集模块101,声音采集模块101将过滤掉异常高频信号的声音信号返回至应用103中。
[0144]
需要说明的是,上述实施例仅用于解释本技术,不应构成限定。在一些实施例中,检测模型位于服务器200中。即检测模块104训练好检测模型后,服务器200不需要将检测模型发送至电子设备100。此时电子设备在获取到声音信号后,可以将声音信号发送给服务器。服务器在收到该声音信号后,可以根据检测模型确定该声音信号是否存在异常高频信号,并将确定结果返回给电子设备。
[0145]
示例性的,电子设备100获取到声音信号后,将采集到的声音信号发送给服务器200。服务器200中的异常信号检测框架102确认出声音信号的高频能量值,并且服务器200根据声音信号确认出当前环境标识,从检测模型中匹配出当前环境标识对应的环境声音能量阈值。若声音信号的高频能量值大于环境声音能量阈值,检测模型输出检测结果,检测结果是声音信号中存在异常高频信号,服务器200向电子设备100发送警告指令,电子设备100接收并响应警告指令,电子设备100向用户发出警告提示。电子设备100根据用户确认操作生成过滤指令,电子设备100将过滤指令发送至服务器200,服务器200中的异常信号检测框架102过滤掉声音信号中的异常高频信号。服务器200将过滤掉异常高频信号的声音信号返回至电子设备100,电子设备100接收滤掉异常高频信号的声音信号,并发送至应用。
[0146]
可以理解的是,图3所示的检测模型、异常信号检测框架102均可以位于服务器200中。此时,异常信号检测框架102中的异常信号检测模块1021、模型管理模块1022、过滤模块1025位于服务器200中;异常信号检测框架102中告警应用1024、告警模块1023位于电子设备100中。对于各个模块位于服务器200中还是位于电子设备100中不做限定。另一种可能的实现方式是,异常信号检测框架102可以位于电子设备100中,检测模型位于服务器200中。电子设备100可以在采集到声音信号后,电子设备100确认出声音信号的高频能量值,并且电子设备100根据声音信号确认出当前环境标识,电子设备100将当前环境标识发送至服务器200。服务器200根据当前环境标识从检测模型中匹配出当前环境标识对应的环境声音能量阈值。服务器200将环境声音能量阈值发送至电子设备100。若电子设备100判断声音信号的高频能量值大于环境声音能量阈值,则声音信号中存在异常高频信号,服务器200向电子设备100发送警告提示,电子设备100向用户显示告警信息。电子设备100根据用户确认操作生成过滤指令,电子设备100将过滤指令发送至服务器200,服务器200中的异常信号检测框架102过滤掉声音信号中的异常高频信号,服务器200将过滤掉异常高频信号的声音信号返回至电子设备100,电子设备100接收去除异常高频信号之后的声音信号,并发送至应用
103。
[0147]
在另一些实施例中,检测模型位于电子设备100中。即检测模块104训练好检测模型后,服务器200将检测模型发送至电子设备100或者电子设备100中已经预先存在检测模型,不需要电子设备100从服务器200中获取到检测模型。
[0148]
一种可能的实现方式是,检测模型、异常信号检测框架102均可以位于电子设备100中。电子设备100可以在获取到声音信号后,电子设备100中的异常信号检测框架102确认出声音信号的高频能量值,并且电子设备100根据声音信号确认出当前环境标识,从检测模型中匹配出当前环境标识对应的环境声音能量阈值。若声音信号的高频能量值大于环境声音能量阈值,检测模型输出检测结果,检测结果是声音信号中存在异常高频信号,电子设备100向用户发出警告提示。电子设备100根据用户确认操作生成过滤指令,电子设备100中的异常信号检测框架102过滤掉声音信号中的异常高频信号,并将滤掉异常高频信号的声音信号发送至给应用。
[0149]
另一种可能的实现方式是,检测模型位于电子设备100中,异常信号检测框架102可以位于服务器200中。
[0150]
此时,异常信号检测框架102中的异常信号检测模块1021、模型管理模块1022、过滤模块1025位于服务器200中;异常信号检测框架102中告警应用1024、告警模块1023位于电子设备100中。对于各个模块位于服务器200中还是位于电子设备100中不做限定。
[0151]
电子设备100可以在采集到声音信号后,电子设备100将声音信号发送至服务器200,服务器200中的异常信号检测框架102确认出声音信号的高频能量值,并且电子设备100根据声音信号确认出当前环境标识,匹配出当前环境标识对应的环境声音能量阈值。电子设备100将环境声音能量阈值发送至服务器200,服务器200判断声音信号的高频能量值大于环境声音能量阈值,则判断出声音信号中存在异常高频信号。服务器200向电子设备100发送警告提示,电子设备100向用户显示告警信息。电子设备100根据用户确认操作生成过滤指令,电子设备100将过滤指令发送至服务器200,服务器200中的异常信号检测框架102过滤掉声音信号中的异常高频信号,服务器200将过滤掉异常高频信号的声音信号返回至电子设备100,电子设备100接收去除异常高频信号之后的声音信号,并发送至应用。
[0152]
需要说明的是,上述实施例仅用于解释本技术,不应构成限定。
[0153]
如图4所示,介绍声音采集模块101、检测模块104和异常信号检测框架102中包括的各个模块的功能。
[0154]
声音采集模块101可以由麦克风和处理器等组成,麦克风用于采集声音信号,处理器用于将采集的声音信号转化为模拟信号。
[0155]
例如电子设备100不需要通过声音采集模块101采集声音信号,电子设备100获取的声音信号可以是通过智能可穿戴设备(例如蓝牙手表、蓝牙耳机等)获取的,智能可穿戴设备(例如蓝牙手表、蓝牙耳机等)与电子设备100建立了通信连接,智能可穿戴设备(例如蓝牙手表、蓝牙耳机等)获取声音信号并将声音信号发送至电子设备100中,电子设备100获取到声音信号。
[0156]
需要说明的是,上述实施例仅用于解释本技术,不应构成限定。
[0157]
模型管理模块1022接收检测模型并发送至异常信号检测模块1021。在一些实施例中,该检测模型可以由图3所示的检测模块104发送。在另一些实施例中,该检测模型也可以
由电子设备自己训练。
[0158]
声音采集模块101采集声音,声音采集模块101将声音信号发送至异常信号检测模块1021。
[0159]
异常信号检测模块1021对声音信号进行是否存在异常高频信号检测,当检测到声音信号中存在异常高频信号时,异常信号检测模块1021发送异常指令,异常指令用于提示告警模块1013声音信号存在异常高频信号。
[0160]
同时,异常信号检测模块1021将声音信号发送至过滤模块1025。
[0161]
具体的,异常信号检测模块1021对声音信号进行是否存在异常高频信号检测包括异常信号检测模块1021对声音信号进行频谱分析,得到声音信号的高频能量值,并将声音信号的高频能量值输入检测模型中,检测模型判断若声音信号的高频能量值大于环境声音能量阈值,检测模型输出检测结果,检测结果是该声音信号中存在异常高频信号。则异常信号检测模块1021判定声音信号中存在异常高频信号。
[0162]
其中,异常高频信号是指当声音信号的高频能量值大于环境声音能量阈值时,声音信号中于指定频段(例如18khz-20khz)的高频信号。
[0163]
告警模块1023接收并响应异常信号检测模块1021发送的异常指令,响应于异常指令,告警模块1023用于向告警应用1024发送告警指令,该告警指令用于指示告警应用1024向用户发送告警信息。告警信息的表现方式有很多种,具体形式将在下文进行详细描述。
[0164]
电子设备100接收用户操作,并根据用户操作生成过滤指令,电子设备100将该过滤指令发送至过滤模块1025。
[0165]
过滤模块1025接收并响应该过滤指令,过滤掉声音信号中的异常高频信号。
[0166]
过滤模块1025调用声音采集模块101,声音采集模块101将过滤掉异常高频信号的声音信号中发送至应用1013。
[0167]
在一些实施例中,过滤模块1025不需要调用声音采集模块101,过滤模块1025直接将过滤掉异常高频信号的声音信号发送至应用1013。
[0168]
需要说明的是,上述实施例仅用于解释本技术,不应构成限定。
[0169]
请参见图5,图5是本技术实施例提供的一种异常信号的过滤方法的流程示意图,该方法可以应用于图3中所述的系统10中,其中,该系统10可以包括电子设备100和服务器200。电子设备100可以包括声音采集模块101、异常信号检测框架102和应用103。针对系统10的具体介绍,可以参考前述图3所示实施例,在此不再赘述。其中,该方法可以包括:
[0170]
s501、服务器200利用各个不同环境中的声音信号数据集,训练得到各个不同环境中的声音能量阈值,得到平均环境声音能量阈值,并更新检测模型。
[0171]
具体的,1、服务器200根据环境噪音信号计算得到环境噪音高频能量值pz。
[0172]
服务器200获取环境噪音信号,并根据环境噪音信号读取n个时间窗的环境噪音信号。服务器200根据每个时间窗的环境噪音信号的实际高频能量值计算每个时间窗的环境噪音信号的全分贝刻度(decibels full scale,dbfs)下的高频能量值并存在队列1中,其中,dbfs指数字音响中以满刻度为基准的分贝值,每个时间窗的全分贝刻度下的高频能量值计算公式可以为:
[0173]
[0174]
如公式(1)所示,pi表示第i个时间窗中高频环境噪音信号段的全分贝高频能量值,si表示第i个时间窗中高频环境噪音信号段的实际高频(例如18khz-20khz)能量值,可以通过短时傅里叶变换等方式获取环境噪音信号的实际高频能量值。sj表示用于存储第j个时间窗中高频环境噪音信号段所需的位数所能表达的最大值,即sj=2
j-1,j为大于等于1小于等于n的正整数,i为小于等于n的正整数。
[0175]
例如,设定si=7841,并且使用16位比特的有符号数来存储每个声音信号值,那么sj所能表达的最大值为2
15-1,根据公式(1)可得到当前的时间窗的环境噪音信号全分贝高频能量值为-12.4。
[0176]
服务器200可以通过公式(1)分别计算出n个时间窗的高频环境噪音信号段的全分贝高频能量值。
[0177]
可以理解的是,公式(1)仅用于解释本技术,不应构成限定。
[0178]
服务器200根据上述n个时间窗的高频环境噪音信号段的全分贝高频能量值的平均高频能量得到第一组环境噪音信号的高频能量值,并将平均能量存在于队列2中,平均高频能量的计算公式可以为:
[0179][0180]
如公式(2)所示,rms表示环境噪音信号的平均高频能量,pi表示第i个时间窗的高频环境噪音信号段的全分贝高频能量值,n为正整数,i为小于等于n的正整数。
[0181]
可以理解的是,公式(2)仅用于解释本技术,不应构成限定。
[0182]
服务器200继续从环境中获取新的噪音信号,并根据新的噪音信号读取n个时间窗的声音信号,丢弃n个时间窗中的已存在的声音信号,根据公式(1)和公式(2)计算新的噪音信号的平均高频能量并加入队列2中。
[0183]
以此类推,按照上述方式得到m组环境噪音信号的平均高频能量并存在于队列2中。
[0184]
服务器200计算队列2中m组环境噪音信号的平均高频能量的算术平均值,作为当前环境噪音高频能量值pz。
[0185]
2、服务器200根据环境声音信号样本数据集计算得到环境声音能量阈值pt。
[0186]
服务器200首先从当前环境声音信号样本数据集中取出第一组声音信号,并根据第一组声音信号读取n个时间窗的声音信号,根据上述公示(1)计算得到n个时间窗的全分贝的高频能量值。
[0187]
为了消除环境噪音信号的由于频移现象带来的高频信号干扰,本技术在根据公式(1)计算得到第一组声音信号的全分贝高频能量值中减去当前环境噪音信号高频能量值pz,计算公式可以为:
[0188][0189]
如公式(3)所示,pwi表示第i个时间窗中高频声音信号段的全分贝高频能量值中与当前环境噪音信号高频能量值pz的高频能量值差值,pz为当前环境噪音高频能量值。
[0190]
其次,服务器200可以根据公式(2)计算得到第一组声音信号的平均高频能量值。
[0191]
然后,服务器200继续从当前环境声音信号数据集中取出m组声音信号,通过步骤
二所述的方法计算得到m组声音信号的平均高频能量值。
[0192]
最后,服务器200计算m组声音信号的平均高频能量的算数平均值,得到环境声音能量阈值pt,计算公式可以为:
[0193]
pt=(pw1+pw2

pwm)/m公式(4)
[0194]
如公式(4)所示,pwm为第m组声音信号的平均高频能量值,m表示一共有m组不同环境中的声音信号。
[0195]
可以理解的是,公式(4)仅用于解释本技术,不应构成限定。
[0196]
可以知道的是,服务器200综合考虑了各个环境中的声音信号的高频能量值,环境声音能量阈值pt表示的是平均环境声音能量阈值。
[0197]
在一些实施例中,服务器200可以分别得到各个环境标识和各个环境标识对应的环境声音能量阈值。此时只需通过上述公式(1)、公式(2)、公式(3)即可得到各个环境标识和各个环境标识对应的环境声音能量阈值,具体的参考上述实施例,本技术在此不再赘述。
[0198]
在一些实施例中,检测模型综合考虑各个环境标识对应的环境声音能量阈值,得到平均环境声音能量阈值,服务器200更新检测模型,检测模型中包括有平均环境声音能量阈值。
[0199]
在另一些实施例中,服务器200更新检测模型,检测模型中包括有各个环境标识和各个环境标识对应的环境声音能量阈值。
[0200]
上述实施例仅用于解释本技术,不应构成限定。
[0201]
在一些实施例中,服务器200更新检测模型后,服务器200将检测模型发送至电子设备100,电子设备100接收检测模型。
[0202]
这里,电子设备100根据检测模型确认声音信号中是否存在异常高频信号可以参考图3所述的实施例,本技术在此不再赘述。
[0203]
在另一些实施例中,服务器200更新检测模型后,服务器200不需要将检测模型发送至电子设备100。
[0204]
检测模型中可以包括各个环境标识和各个环境标识对应的环境声音能量阈值。电子设备100确认出声音信号的高频能量值,电子设备100再根据声音信号确认出当前环境标识(例如商场),或者电子设备100获取第一环境信息(例如位置信息和/或环境声音),并根据第一环境信息确认出当前环境标识(例如商场)。电子设备100将当前环境标识发送至服务器200,检测模型根据当前环境标识从中确认出当前环境标识对应的环境声音能量阈值,服务器200将当前环境标识对应的环境声音能量阈值发送至电子设备100。电子设备100判断声音信号的高频能量值是否大于当前环境对应的环境声音能量阈值。若声音信号的高频能量值大于当前环境对应的环境声音能量阈值,则该声音信号中存在异常高频信号。
[0205]
或者检测模型综合考虑各个环境标识对应的环境声音能量阈值,得到平均环境声音能量阈值。当电子设备100需要对采集的声音信号进行检测时,电子设备100将声音信号发送至服务器200,服务器200确认出声音信号的高频能量值,并将声音信号的高频能量值输入检测模型中,检测模型输出检测结果,检测结果可以是声音信号中存在异常高频信号或声音信号中不存在异常高频信号。若检测结果是声音信号中存在异常高频信号,则服务器200将声音信号中存在异常高频信号的情况下发送至电子设备100中。
[0206]
需要说明的是,上述实施例仅用于解释本技术,不应构成限定。
[0207]
s502、应用103向声音采集模块101发送获取声音信号请求。
[0208]
在一些实施例中,应用103可以响应于用户操作,应用103向声音采集模块101发送获取声音信号请求。示例性的,应用103可以是语音助手,用户操作可以是语音指令。例如语音指令可以是唤醒词“小e小e”,语音助手接收并响应唤醒词“小e小e”,唤醒词“小e小e”触发语音助手开启,响应于语音助手开启,语音助手向声音采集模块101发送获取声音信号请求。应用103还可以是某游戏应用程序。应用103显示的用户界面包括麦克风控件,麦克风控件接收并响应于用户的单击操作,某游戏应用程序向声音采集模块101发送获取声音信号请求,声音采集模块101采集声音信号并通过通信模块发送至接收设备,方便用户与接收设备的游戏好友交流游戏经验。应用103还可以是社交应用,应用103显示的用户界面包括视频通话或音频通话控件,视频通话或音频通话控件接收并响应于用户的单击操作,社交应用向声音采集模块101发送获取声音信号请求,声音采集模块101采集声音信号并并通过通信模块发送至接收设备。这样,用户可以通过社交应用与好友进行语音通话或视频通话。
[0209]
在另一些实施例中,应用103也可以不经过用户同意向声音采集模块101发送获取声音信号请求。本技术实施例对发送获取声音信号请求的触发条件不做限定。
[0210]
s503、声音采集模块101响应于获取声音信号请求,声音采集模块101采集声音。
[0211]
在一些实施例中,声音采集模块接收到获取声音信号请求后,会开始采集声音。例如,在视频通话应用场景中,假设应用103为视频通话应用。当用户通过应用103向好友发送建立视频连接请求,好友接收建立视频连接请求,此时,应用103向声音采集模块101发送获取声音信号请求,该请求用于获取外界声音信号。当声音采集模块接收到该获取声音信号请求后,会开始采集声音信号。
[0212]
在其他一些实施例中,应用103不需要向声音采集模块101发送获取声音信号请求。电子设备100获取声音信号可以是通过智能可穿戴设备(例如蓝牙手表、蓝牙耳机等)获取的,智能可穿戴设备(例如蓝牙手表、蓝牙耳机等)与电子设备100建立了通信连接,智能可穿戴设备(例如蓝牙手表、蓝牙耳机等)获取声音信号并将声音信号发送至电子设备100中,电子设备100获取到声音信号。
[0213]
s504、声音采集模块101将采集的声音信号发送至异常信号检测框架102。
[0214]
声音采集模块101在获取到声音信号后,会将该声音信号发送至异常信号检测框架102。例如,在上述视频通话应用场景中,声音采集模块101将采集的声音信号发送应用103前,至异常信号检测框架102,异常信号检测框架102对声音信号进行检测,判断声音信号中是否存在异常高频信号,从而避免用户隐私的泄露。
[0215]
s505、异常信号检测框架102向服务器200发送获取请求。
[0216]
获取请求用于向服务器200请求获取检测模型,检测模型包括平均环境声音能量阈值。或者检测模型包括各个环境标识和各个环境标识对应的环境声音能量阈值。
[0217]
电子设备可以在步骤s502之前执行该步骤,也可以在步骤s504之后执行该步骤。本技术实施例对该步骤的执行顺序不作限定。
[0218]
可以理解的是,该步骤为可选步骤。在一些实施例中,检测模型是由电子设备生成。此时当异常信号检测框架获取到声音信号后,可以根据提前获取的检测模型,或者电子设备100生成的检测模型确定该声音信号是否存在异常高频信号。
[0219]
s506、服务器200将检测模型发送至异常信号检测框架102,检测模型包括平均环
境声音能量阈值。
[0220]
异常信号检测框架102接收检测模型。
[0221]
在一些实施例中,检测模型中包括各个环境标识和各个环境标识对应的环境声音能量阈值,电子设备100可以根据采集的声音信号确定出当前环境标识(例如商场),根据当前环境标识从检测模型确定出环境声音能量阈值。
[0222]
在一些实施例中,电子设备100还可以获取第一环境信息,第一环境信息可以是位置信息和/或环境声音。
[0223]
电子设备100将第一环境信息发送至服务器200。基于当前位置定位技术,服务器200根据户当前位置信息可以准确确认出用户当前环境标识,当前环境标识可以是商场或咖啡店或者图书馆等。
[0224]
需要说明的是,第一环境信息包括位置信息和/或环境声音仅用于解释本技术,不应构成限定,具体实现中,第一环境信息可以包括其他内容。
[0225]
在另一些实施例中,电子设备100可以根据第一环境信息确定需要获取的检测模型或对应的环境声音能量阈值,然后通过获取请求向服务器200请求获取确定的检测模型或环境声音能量阈值。
[0226]
s507、异常信号检测框架102对声音信号进行频谱分析,得到声音信号的高频能量值p0。
[0227]
一、异常信号检测框架102根据环境噪音计算得到环境噪音能量值pm。
[0228]
在应用103响应获取声音请求之前一段时间,声音采集模块101采集一段声音信号作为环境噪音。
[0229]
例如,在应用103响应获取声音请求之前的前两秒,声音采集模块101将采集的声音信号作为环境噪音,异常信号检测框架102根据环境声音计算得到环境噪音高频能量值pm。
[0230]
举例来说,在视频通话应用场景中,当用户通过应用103向好友发送建立视频连接请求,在好友接收建立视频连接请求之前,应用103还没有开始采集声音信号,此时,声音采集模块101将采集2秒的环境声音,通过该2秒的环境声音计算出环境噪音能量值。在好友接收建立视频连接请求之后,应用103将采集的声音信号发送至好友。
[0231]
具体的:
[0232]
1、异常信号检测框架102获取环境声音的高频段(例如18kh至20khz)信号,读取n个时间窗的高频环境声音信号,分别计算n个时间窗的高频环境声音信号的全分贝高频能量值并存在于队列1中,计算公式可以为:
[0233][0234]
如公式(5)所示,pai为第i个时间窗中高频环境声音信号段的全分贝高频能量值,sai表示第i个时间窗中高频环境声音信号段的实际高频能量值,可以通过短时傅里叶变换等方式获取环境声音信号的高实际频(例如18khz-20khz)能量值。sj表示用于存储第j个时间窗中高频环境噪音信号段所需的位数所能表达的最大值,即sj=2
j-1,j为大于等于1小于等于n的正整数,i为小于等于n的正整数。
[0235]
异常信号检测框架102可以通过公式(5)分别计算出n个时间窗的高频环境声音信
号段的全分贝高频能量值。
[0236]
可以理解的是,公式(1)仅用于解释本技术,不应构成限定。
[0237]
2、异常信号检测框架102根据上述n个时间窗的高频环境声音信号段的全分贝高频能量值的平均高频能量得到第一组环境声音信号的高频能量值,并将平均能量存在于队列2中,平均高频能量的计算公式可以为:
[0238][0239]
如公式(6)所示,pu表示环境声音信号的平均高频能量,p
ai
表示第i个时间窗的高频环境声音信号段的全分贝高频能量值,i为小于等于n的正整数。
[0240]
可以理解的是,公式(6)仅用于解释本技术,不应构成限定。
[0241]
异常信号检测框架102继续从环境中获取新的环境噪音,并根据新的环境噪音读取n个时间窗的声音信号,丢弃n个时间窗中的已存在的声音信号,根据公式(5)和公式(6)计算新的环境声音的平均高频能量并加入队列2中。
[0242]
以此类推,按照上述方式得到w组环境声音的平均高频能量并存在于队列2中。
[0243]
异常信号检测框架102计算队列2中w组环境声音的平均高频能量的算术平均值,作为环境噪音能量值pm。
[0244]
3、异常信号检测框架102根据声音信号的实际高频能量值计算得到声音信号的全分贝刻度下的高频能量值p0。
[0245]
在应用103响应获取声音请求之后,声音采集模块101采集声音,声音采集模块101将声音信号发送至异常信号检测框架102,异常信号检测框架102根据声音信号计算得到声音信号的全分贝刻度下的高频能量值p0,具体的:
[0246]
首先,读取n个时间窗的声音信号,根据每个时间窗的声音信号的实际高频能量值计算每个时间窗的声音信号的全分贝刻度下的高频能量值并存在队列1中,计算公式为:
[0247][0248]
如公式(7)所示,pbi为第i个时间窗中高频信号段的全分贝高频能量值,sbi为所述第i个时间窗中中高频信号段的实际高频能量值,高频能量值,可以通过短时傅里叶变换等方式获取声音信号的高频段实际能量值。sj为所述电子设备存储所述第i个时间窗中高频信号段所需的位数即sj=2
j-1,对sj的解释可以参考前述实施例,在此不再赘述。
[0249]
其次,为了消除环境噪音信号的由于频移现象带来的高频信号干扰,本技术在根据公式(7)计算得到声音信号的全分贝高频能量值中减去环境噪音能量值pm,计算公式可以为:
[0250]
pci=pbi–
pm公式(8)
[0251]
如公式(8)所示,pbi为第i个时间窗中高频信号段的全分贝高频能量值,pci为所述第i个时间窗中高频信号段的全分贝高频能量值与所述环境噪音能量值的差值,pm为环境噪音能量值。
[0252]
最后,以n个时间窗的声音信号的全分贝高频能量值与环境噪音信号高频能量值pm的差值的平均能量值作为声音信号的高频能量值p0。计算公式可以为:
[0253][0254]
如公式(9)所示,pci为所述第i个时间窗中高频信号段的全分贝高频能量值与所述环境噪音能量值的差值,i为小于等于n的正整数;p0表示所述声音信号的高频能量值。
[0255]
s508、异常信号检测框架102判断声音信号的高频能量值p0是否大于平均环境声音能量阈值pt。
[0256]
异常信号检测框架102比较声音信号的高频能量值p0与平均环境声音能量阈值的大小,若声音信号的高频能量值p0小于平均环境声音能量阈值,则电子设备100继续从当前环境中获取新的声音信号,并计算新的声音信号的高频能量值p0。直至新的声音信号的高频能量值p0大于平均环境声音能量阈值。
[0257]
若异常信号检测框架102没有检测到新的声音信号的高频能量值p0大于平均环境声音能量阈值,则说明用户当前环境中不存在异常高频信号。
[0258]
s509、当声音信号的高频能量值p0大于平均环境声音能量阈值,异常信号检测框架102向用户发送告警提示。
[0259]
异常信号检测框架102判断声音信号的高频能量值p0大于平均环境声音能量阈值,则当前环境中存在异常高频信号。异常信号检测框架102向用户输出告警提示。
[0260]
告警提示可以是电子设备100的用户界面显示提示框,该提示框用于提示用户当前环境中存在异常高频信号。
[0261]
告警提示还可以是电子设备100的显示屏边缘显示提示条,该提示框可以静止或闪动,用于提示用户当前环境中存在异常高频信号,该提示条可以接收用户点击操作,响应于用户的点击操作,电子设备100的用户界面显示上述提示框。显示该提示条的作用在于可以不影响用户当前操作,例如用户正在进行视频通话,该提示条不会影响用户的通话质量(例如出现卡顿)。
[0262]
告警提示还可以是语音提示,例如电子设备100通过扬声器播放报警声等。
[0263]
告警提示还可以是电子设备100振动。
[0264]
告警提示还可以是电子设备100的状态栏显示提示消息。
[0265]
告警提示还可以是电子设备100的手电筒灯光闪烁。
[0266]
可以理解的是,告警提示可以是上述两种或两种以上告警提示通知方式的组合,本技术在此不做限定。
[0267]
在一些可能的实施例中,当异常信号检测框架102检测到异常高频信号,电子设备100向用户输出告警提示仅显示一次,异常信号检测框架102再次检测到异常高频信号时,异常信号检测框架102直接过滤掉声音信号中的异常高频信号,电子设备100不再向用户输出告警提示,这样不影响用户当前操作。
[0268]
s510、异常信号检测框架102接收过滤指令。
[0269]
s511、响应于过滤指令,异常信号检测框架102滤除掉声音信号中的异常高频信号。
[0270]
其中,异常高频信号是指在声音信号的高频能量值大于环境声音能量阈值时,该声音信号中处于指定频段(例如,18khz-20khz)的高频信号。
[0271]
用户选择执行过滤掉声音信号中的异常高频信号后,电子设备100根据用户此操
作生成过滤指令,电子设备100将该过滤指令发送至异常信号检测框架102,异常信号检测框架102接收并响应该过滤指令,异常信号检测框架102过滤掉声音信号中的异常高频信号。
[0272]
具体的,用户选择执行过滤操作后,异常信号检测框架102中的过滤模块1025可以使用低通过滤器或带阻滤波器对声音信号进行处理,即过滤掉声音信号中的异常高频信号。
[0273]
这里以带阻滤波器为例进行说明,滤波器的形式为:
[0274]yirr
(m)=b(0)x(m)+b(1)x(m-1)+

+b(p)x(m-p)-a(1)y
irr
(m-1)-a(2)y
irr
(m-2)
-…--
a(q)y
irr
(m-q)公式(10)
[0275]
如公式(10)所示,x(m)表示m时刻采集的声音信号,m代表声音信号的某一时刻,p和q表示0到m时刻的中间某一时刻,a(q)指的q时刻滤波器的相关系数,b(p)指的p时刻滤波器的相关系数。
[0276]
s512、异常信号检测框架102调用声音采集模块101。
[0277]
s513、声音采集模块101将滤除异常高频信号的声音信号发送至应用103。
[0278]
异常信号检测框架102调用声音采集模块101,声音采集模块101将过滤掉异常高频信号的声音信号发送至应用103,这样可以不影响用户的操作。
[0279]
在上述视频通话应用场景中,声音采集模块101将过滤掉异常高频信号的声音信号发送至电子设备100中的通信模块,通信模块用于将过滤掉异常高频信号的声音信号发送至接收设备。
[0280]
在一些实施例中,异常信号检测框架102不需要调用声音采集模块101,异常信号检测框架102直接将过滤掉异常高频信号的声音信号发送至应用103。
[0281]
例如在上述视频通话应用场景中,异常信号检测框架102不需要调用声音采集模块101,异常信号检测框架102直接将将过滤掉异常高频信号的声音信号发送至电子设备100中的通信模块,通信模块用于将过滤掉异常高频信号的声音信号发送至接收设备。
[0282]
需要说明的是,上述实施例仅用于解释本技术,不应构成限定。
[0283]
如图6所示,图6为本技术实施例提供的另一种异常信号的过滤方法的流程示意图。
[0284]
s601、电子设备100获取检测模型。
[0285]
在一些实施例中,电子设备100可以从服务器200中获取检测模型。
[0286]
在另一些实施例中,检测模型也可以预设存在于电子设备100中。本身请在此不在赘述。
[0287]
电子设备100可以在异常高频信号检测功能开启前获取检测模型,也可以在异常高频信号检测功能开启后获取检测模型,本技术在此不做限定。
[0288]
在一些实施例中,告警应用1024以系统应用的形式存在于电子设备100中。
[0289]
上述实施例仅用于解释本技术,不应构成限定。
[0290]
电子设备100中的异常高频信号检测功能开启的方式可以是电子设备100接收用户操作开启异常高频信号检测功能,也可以是电子设备100自动开启的,本技术在此不做限定。
[0291]
如图7a-图7c所示,图7a-图7c为告警应用1024接收用户操作开启异常高频信号检
测功能的ui图。
[0292]
图7a为电子设备100中包括告警应用1024的设置用户界面的ui图。
[0293]
如图7a所示,图7a包括电子设备100的设置用户界面700。
[0294]
设置用户界面700包括一个或多个功能开关控件,例如,飞行模式控件7001,无线局域网控件7002,蓝牙控件7003、告警应用控件7004、通知控件7005。
[0295]
其中,飞行模式控件7001显示“关闭”,无线局域网控件7002显示“开启”,蓝牙控件7003显示“开启”,告警应用控件7004显示“关闭”,通知控件7005显示“开启”。
[0296]
需要说明的是,设置用户界面700可以包括更多或更少的设置控件,本技术在此不做限定。
[0297]
告警应用控件7004可以接收用户操作(例如单击),响应用户的操作(例如单击),电子设备100显示如图7b所示的告警应用用户界面710。
[0298]
图7b为电子设备100中告警应用设置用户界面的ui图。
[0299]
告警应用设置用户界面可以接收用户操作开启或关闭异常高频信号检测功能,也可以接收用户操作设置异常高频信号检测功能的时间。
[0300]
告警应用用户界面710包括告警应用控件7004,告警应用控件7004显示“关闭”,当告警应用控件7004显示“关闭”时,则异常高频信号检测功能关闭;检测时间控件7006,检测时间控件7006显示为“07:00-22:00”,即电子设备100在时间段为“07:00-22:00”之间对声音信号进行是否包括异常高频信号检测,其余时间段用户在家休息,异常高频信号检测功能关闭,电子设备100不进行检测,这样可以节省消耗。
[0301]
图7c为电子设备100中告警应用接收用户操作开启异常高频信号检测功能的ui图。
[0302]
当告警应用控件7004显示“关闭”时,告警应用控件7004可以接收用户操作(例如单击)开启异常高频信号检测功能。
[0303]
当告警应用控件7004显示“开启”时,告警应用控件7004可以接收用户操作(例如单击)关闭异常高频信号检测功能。
[0304]
图7d-图7f为电子设备100接收用户操作设置异常高频信号检测功能开启时间的ui图。
[0305]
如图7d所示,检测时间控件7006可以接收用户操作(例如单击)设置异常高频信号检测功能的开启时间。
[0306]
响应于用户单击检测时间控件7006,电子设备100显示如图7e所示的设置检测时间用户界面720,用户界面720包括时间选择控件7007,保存控件7008。
[0307]
其中,时间选择控件7007可以接收用户单指上滑或下滑操作选择用户欲设置时间,例如用户将检测时间设置为“06:00-21:00”,则异常高频信号检测功能在时间段“06:00-21:00”之间开启,即电子设备100在时间段为“06:30-21:30”之间对声音信号进行是否包括异常高频信号检测。
[0308]
如图7f所示,用户界面720中的时间选择控件7007显示为“06:30-21:30”。保存控件7008可以接收用户操作(例如单击),响应于用户(例如单击),电子设备100将异常高频信号检测功能的开启时间段设置为“06:30-21:30”。
[0309]
需要说明的是,上述实施例仅用于解释本技术,不应构成限定。
[0310]
电子设备100也可以自动开启异常信号检测功能。
[0311]
当电子设备100中的异常信号检测功能开启后,电子设备100对采集的声音信号进行检测,检测声音信号中是否存在异常高频信号。
[0312]
在一些实施例中,当电子设备100处于开机状态时,电子设备100开启异常信号检测功能。
[0313]
在一些实施例中,当电子设备100息屏时,电子设备100关闭异常信号检测功能。
[0314]
在一些实施例中,电子设备100长时间处于固定的地点(例如图书馆)。在用户携带的电子设备100刚开始达到该地点时,电子设备100开启异常信号检测功能一段时间后,电子设备100在采集的声音信号中没有检测到异常高频信号,由于电子设备100长时间处于该地点(例如图书馆),该地点周围环境单一,因此异常信号检测功能在开启一段时间后可以关闭,节省消耗。
[0315]
在一些实施例中,电子设备100可以根据电子设备100历史位置信息选择性开启异常信号检测功能。
[0316]
例如在时间段“8:00-22:00”之间,电子设备100开启异常信号检测功能,因为在时间段“22:00-8:00”之间,用户在家休息,电子设备100检测到在时间段“22:00-8:00”之间电子设备100历史位置信息(例如用户家的位置)基本相同,因此异常信号检测功能可以关闭,减少消耗。
[0317]
又例如周一至周五的时间段“9:00-17:00”之间,电子设备100检测到在时间段“9:00-17:00”之间电子设备100历史位置信息(例如公司位置)基本相同,公司的环境较为单一,则电子设备100可以关闭异常信号检测功能。
[0318]
又例如周一至周五的时间段“7:00-9:00”之间和时间段“17:00-19:00”之间,电子设备100开启异常信号检测功能。电子设备100根据历史位置信息判断在时间段“7:00-9:00”之间电子设备100的位置信息均是从第一地点到达第二地点,在时间段“17:00-19:00”之间电子设备100的位置信息均是从第二地点到达第一地点,则可以认定上述两个时间段之间用户是在上班和下班的途中。因为上班、下班途中周围环境较为复杂,可能会存在因隐藏通信技术获取用户隐私的风险,电子设备100开启异常信号检测功能,防止用户隐私信息泄露。
[0319]
在一些实施例中,电子设备100可以根据电子设备100收集的用户行为习惯选择性开启异常信号检测功能。
[0320]
例如,电子设备100根据用户上网习惯,例如电子设备100检测到用户经常登录的网站可能是高风险网站,该高风险网站可以获取用户终端信息和用户个人信息。当用户通过电子设备100访问此类网站时,电子设备100开启异常信号检测功能,避免此类网站获取用户的隐私信息。
[0321]
在一些实施例中,服务器可以向电子设备100发送异常信号检测功能开启通知,响应于此开启通知,电子设备100开启异常信号检测功能。
[0322]
服务器可以收集多个电子设备上报的信息,当多个电子设备其中的一个或多个电子设备在特定区域(例如商场或超市)检测到特殊信息,则该一个或多个电子设备将此特定区域存在特殊信号的情况上报至服务器,服务器汇总该一个或多个电子设备上报的信息。
[0323]
当用户到达此特定区域之前,服务器可以向用户携带的电子设备100发送异常信
号检测功能开启通知,此通知可用于通知电子设备100在距离此特定区域一定距离(例如100米)时开启异常信号检测功能。
[0324]
或者当用户到达此特定区域时,服务器向用户携带的电子设备100发送异常信号检测功能开启通知,用户携带的电子设备100响应于此通知,电子设备100开启异常信号检测功能。
[0325]
在其他的一些实施例中,服务器可以在特定区域(例如商场货超市)发送某广告服务商的广告,当服务器200检测出此广告中存在特殊信息时,服务器200向用户的电子设备发送异常信号检测功能开启通知,此通知可用于通知电子设备在距离此特定区域一定距离(例如100米)或当用户到达此特定区域时,电子设备开启异常信号检测功能。
[0326]
这样,可以避免第三方在用户未知情和未授权的情况下获取用户的隐私信息。
[0327]
需要说明的是,上述实施例仅用于解释本技术,不应构成限定。
[0328]
s602、电子设备100获取声音信号。
[0329]
电子设备100可以接收用户操作通过声音采集模块获取声音信号。
[0330]
用户操作可以是语音指令。例如语音指令可以是唤醒词“小e小e”,电子设备100接收并响应唤醒词“小e小e”,唤醒词“小e小e”触发语音助手开启,响应于语音助手开启,电子设备100开始采集声音信号。
[0331]
用户操作还可以是用户触发社交应用与好友通话的操作,电子设备100响应于该用户操作,电子设备100通过声音采集模块获取声音信号并发送至好友侧的电子设备中。
[0332]
在一些实施例中,电子设备100获取声音信号还可以智能可穿戴设备(例如蓝牙手表、蓝牙耳机等)获取的,智能可穿戴设备(例如蓝牙手表、蓝牙耳机等)与电子设备100建立了通信连接,智能可穿戴设备(例如蓝牙手表、蓝牙耳机等)获取声音信号并将声音信号发送至电子设备100中,电子设备100获取到声音信号。
[0333]
需要说明的是,上述实施例仅用于解释本技术,不应构成限定。
[0334]
s603、电子设备100根据检测模型确定出声音信号中是否存在异常高频信号。
[0335]
电子设备100根据获取的声音信号确认出声音信号的高频能量值p0后,电子设备100将声音信号的高频能量值输入检测模型中,电子设备100若判断出声音信号的高频能量值p0大于平均环境声音能量阈值,则该声音信号中存在异常高频信号。
[0336]
或者电子设备100根据获取的声音信号确认出声音信号的高频能量值p0后,电子设备100将声音信号的高频能量值输入检测模型中,电子设备100根据声音信号从检测模型中确认出当前环境标识对应的环境声音能量阈值,电子设备100若判断出声音信号的高频能量值p0大于当前环境标识对应的环境声音能量阈值,则该声音信号中存在异常高频信号。
[0337]
这里,电子设备100根据获取的声音信号确认出声音信号的高频能量值p0可以参考图5中s507所述的实施例,本技术再次不再赘述。
[0338]
电子设备100根据检测模型确定出声音信号中是否存在异常高频信号可以参考图5中s501所述的实施例,本技术再次不再赘述。
[0339]
若电子设备100判断出声音信号中存在异常高频信号,则电子设备100可以向用户发送告警提示。
[0340]
这里,告警提示可以参考图5实施例中s509所述的实施例,本身请在此不再赘述。
[0341]
示例性的,用户正在商场里,商场里正在播放音乐,用户与好友进行视频通话,电子设备100通过声音采集模块采集声音信号,若商场播放的音乐中存在隐藏通信信息(例如异常高频信号),该隐藏通信信息(例如异常高频信号)可以盗取电子设备100中存在的用户隐私信息。电子设备100中可以检测并滤除掉声音信号中的隐藏通信信息(例如异常高频信号)。
[0342]
图8a-图8c为电子设备100显示告警提示的ui图。
[0343]
图8a包括用户与好友进行视频通话的用户界面801的ui图。
[0344]
电子设备100采集用户图像和声音信号发送至用户好友端设备,同时电子设备100的接收并显示用户好友端设备采集的用户好友图像和声音信号。
[0345]
用户界面801包括第一画面8001、第二画面8002、转换前后拍摄方向控件8003、结束通话控件8004、静音控件8005。
[0346]
其中,第一画面8001为电子设备100采集的用户图像。
[0347]
第二画面8002为电子设备100接收并显示的用户好友的图像。
[0348]
翻转拍摄方向控件8003可以接收用户操作(例如单击),若电子设备100当前拍摄方向为前方(例如自拍方向),电子设备100将拍摄方向转换为后方;若电子设备100当前拍摄方向为后方,电子设备100将拍摄方向转换为前方(例如自拍方向)。
[0349]
结束通话控件8004可以接收用户操作(例如单击),电子设备100结束当前视频通话。
[0350]
静音控件8005可以接收用户操作(例如单击),电子设备100不再向用户好友发送电子设备100采集的声音信号。
[0351]
在一种可能的实现方式中,当电子设备100检测到当前环境中存在隐藏通信信息(例如异常高频信号),如图8b所示,电子设备100的用户界面801显示提示框8006,该提示框8006用于提示用户当前环境中存在隐藏通信信息(例如异常高频信号),提示框8006包括“检测到异常高频信号,是否要滤除?”的提示信息,“是”控件8007,“否”控件8008。
[0352]
其中,“是”控件8007可以接收用户操作(例如单击),响应用户的操作(例如单击),异常信号检测框架102将过滤掉声音信号中的隐藏通信信息(例如异常高频信号)。
[0353]“否”控件8008可以接收用户操作(例如单击),响应用户的操作(例如单击),异常信号检测框架102不过滤掉声音信号中的隐藏通信信息(例如异常高频信号)。
[0354]
在另一种可能的实现方式中,如图8c所示,用户界面801显示提示条8009,该提示条8009用于提示用户当前环境中存在隐藏通信信息(例如异常高频信号)。这样可以不影响用户当前操作。
[0355]
其中,提示条8009可以接收用户操作(例如单击),响应于用户单击操作,用户界面801显示如图8b所示的提示框8006。
[0356]
s604、电子设备100根据用户确认滤除操作滤除声音信号中的异常高频信号。
[0357]
在一些实施例中,电子设备100检测到声音信号中存在异常高频信号后,电子设备100的用户界面会显示告警提示,该告警提示可以接收用户操作(例如单击),响应于用户操作,电子设备100过滤掉声音信号中的异常高频信号。
[0358]
在一些实施例中,当电子设备100检测到异常高频信号,电子设备100直接过滤掉声音信号中的异常高频信号,电子设备100不向用户输出告警提示。
[0359]
示例性的,图8d为电子设备100显示“异常高频信号已滤除”提示信息的ui图。
[0360]
响应于用户单击图8b所示的“是”控件8007,如图8d所示,电子设备100的用户界面801显示提示框8010,该提示框8010用于提示用户电子设备100已滤除掉声音信号中的异常高频信号,提示框8010包括“异常高频信号已滤除”的提示信息。
[0361]
需要说明的是,上述实施例仅用于解释本技术,不应构成限定。
[0362]
在其他可能的实施例中,用户正在开车,电子设备100的用户界面正在显示导航路线,蓝牙耳机已与电子设备100建立通信连接,当电子设备100检测到附近存在异常高频信号时,电子设备100的用户界面不显示告警提示,这样不影响用户导航路线,而是通过蓝牙耳机播放语音提示消息提示用户附近存在异常高频信号,用户可以通过语音输入的方式告知电子设备100过滤掉该异常高频信号。
[0363]
在其他可能的实施例中,蓝牙手表已与电子设备100建立通信连接,当电子设备100检测到附近存在异常高频信号时,电子设备100不显示警告信息,而通过蓝牙手表对该异常高频信号进行提示,提示方式可以是手表振动、语音提示的方式等,用户通过语音输入的方式告知电子设备100过滤掉该异常高频。在其他可能的实施例中,用户过滤掉电子设备100检测到的异常高频信号后,用户可将该异常高频信号报告至服务器200,服务器接收电子设备100上传的异常高频信号信息。服务器200统计各个地区的各个用户上传的异常高频信号信息,统计各个地区存在异常高频信号信息的概率,服务器将存在异常高频信号信息的概率高的地区告知地图厂商,用户使用该地图规划路线时,该地图显示的导航路线可以避免用户经过存在异常高频信号信息的概率高的地区,或者该地图在用户接近存在异常高频信号信息的概率高的地区时通过语音提示用户“附近存在异常高频信号,容易导致个人信息泄露,请绕行”,这样可以避免用户的个人隐私信息被泄露。
[0364]
需要说明的是,上述实施例可与图3至图5所示的实施例相结合。
[0365]
参见图9,图9为本技术实施例提供的一种装置示意图。装置910包括声音采集器9001、处理器9002。其中:
[0366]
声音采集器9001,可用于采集声音信号,并将声音信号传递至电子设备100的应用中。
[0367]
处理器9002,可用于对声音信号进行处理,具体包括:
[0368]
1、处理器9002根据声音信号确认出环境声音能量阈值。
[0369]
2、处理器9002根据声音信号确定出声音信号的高频能量值。
[0370]
3、处理器9002判断声音信号的高频能量值与环境声音能量阈值大小,若声音信号的高频能量值大于当前环境声音能量阈值,则判定声音信号中存在异常高频信号。
[0371]
4、处理器9002向用户发送告警信息。
[0372]
5、处理器9002根据用户的过滤操作滤除掉声音信号中的异常高频信号。
[0373]
6、处理器9002调用声音采集器9001,声音采集器9001将过滤掉异常高频信号的声音信号发送至电子设备100的应用。
[0374]
声音采集器9001可以执行前述声音采集模块执行的各个步骤,具体的可以参考前述实施例,在此不再赘述。
[0375]
处理器9002可以执行前述异常信号检测框架执行的各个步骤,具体的可以参考前述实施例,在此不再赘述。
[0376]
以上所述,以上实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1