降噪方法、装置、降噪耳机及介质与流程

1.本公开涉及声音处理技术领域，尤其涉及一种降噪方法、装置、降噪耳机及介质。


背景技术：

2.主动降噪(active noise cancellation，anc)技术是通过产生与噪声相位相反、能量相同的声信号，使声信号与噪声源产生干涉，实现声波抵消的技术。主动降噪技术广泛应用在耳机、车载扬声器系统、智能家居等具有音频播放功能的多媒体领域。
3.目前，用户在长时间佩戴耳机后，耳机与耳道之间产生间隙，耳机与耳朵的贴合度下降，使得主动降噪效果不佳。


技术实现要素：

4.为克服相关技术中存在的问题，本公开提供了一种降噪方法、装置、降噪耳机及介质。
5.根据本公开的第一方面，提供了一种降噪方法，应用于耳机，所述降噪方法包括：
6.获取第一耳道时域信号，其中，所述第一耳道时域信号指的是采用时域表示方式所表示的耳道内的声波信号；
7.对所述第一耳道时域信号进行时频转换处理，获得与所述第一耳道时域信号对应的耳道频域信号，其中，所述耳道频域信号指的是采用频域表示方式所表示的耳道内的声波信号；
8.根据预设加权因子和所述耳道频域信号，获得残留噪声的总能量，其中，所述残留噪声指的是预测的人耳听到的声波信号；
9.若所述残留噪声的总能量大于或等于预设的第一能量阈值，则基于预存的滤波器增益值列表，从所述滤波器增益值列表中的多个滤波器增益值中选择一个作为目标增益值，其中，所述目标增益值能够使得残留噪声的总能量小于所述第一能量阈值；
10.将预设的降噪滤波器的增益值调整为所述目标增益值；
11.基于调整后的所述降噪滤波器，对第一环境时域信号进行降噪滤波，得到主动降噪信号，其中，所述第一环境时域信号指的是采用时域表示方式所表示的耳机周围环境中的声波信号，所述主动降噪信号用于抵消噪声；
12.将所述主动降噪信号发送给扬声器，以由所述扬声器播放所述主动降噪信号。
13.可选地，所述对所述第一耳道时域信号进行时频转换处理，获得与所述第一耳道时域信号对应的耳道频域信号，包括：
14.对所述第一耳道时域信号进行加窗处理，获得多帧第一耳道子信号，其中，所述加窗处理的每个窗口中包括n个频点，所述第一耳道子信号指的是采用时域表示方式所表示的每个窗口中的声波信号；
15.基于所述加窗处理使用的窗函数，对每帧所述第一耳道子信号进行时频转换，获得所述耳道频域信号。
16.可选地，所述根据预设加权因子和所述耳道频域信号，获得残留噪声的总能量，包括：
17.获得每帧所述第一耳道子信号在频谱中的第k个频点的平均能量值，其中，所述频谱指的是经过所述时频转换后得到的采用频域表达方式所表示的声波信号的频率谱，所述频谱中包含多个频点；
18.根据所述第一耳道时域信号的信号采样率和进行所述加窗处理时的窗长n，确定第k个频点的能量值，其中，所述窗长n指的是在进行加窗处理时每个窗口所包含的信号频点的数量；
19.根据所述预设加权因子和所述第k个频点的能量值，确定目标加权因子；
20.将所述目标加权因子和所述第k个频点的平均能量值的乘积，作为第k个频点的加权能量值；
21.对所述频谱中各个频点的加权能量值求和，获得所述残留噪声的总能量。
22.可选地，所述基于预存的滤波器增益值列表，从所述滤波器增益值列表中的多个滤波器增益值中选择一个作为目标增益值，包括：
23.所述预存的滤波器增益值列表包括多个由小至大依次设置的滤波器增益值，采用遍历方式从多个所述滤波器增益值中选择所述目标增益值；
24.在遍历过程中，若被选择的所述目标增益值使得所述残留噪声的总能量小于所述第一能量阈值，则停止遍历；
25.若遍历所述预存的滤波器增益值列表中的每个滤波器增益值后，每个所述滤波器增益值对应的所述残留噪声的总能量大于或等于所述第一能量阈值，则从多个所述滤波器增益值对应的多个所述残留噪声的总能量中，选择多个所述残留噪声的总能量中的最小值对应的所述滤波器增益值作为所述目标增益值。
26.可选地，在对所述第一耳道时域信号进行时频转换处理之前，所述方法还包括：
27.获取扬声器参考信号，其中，所述扬声器参考信号指的是由扬声器播放的声波信号；
28.计算所述扬声器参考信号的总能量，其中，所述扬声器参考信号包括多个频点，所述扬声器参考信号的总能量指的是所述扬声器参考信号中各个频点的能量之和；
29.若所述扬声器参考信号的总能量小于或等于预设的第二能量阈值，则对所述第一耳道时域信号进行时频转换处理。
30.可选地，在对所述第一耳道时域信号进行时频转换处理之前，所述方法还包括：
31.获取第二环境时域信号，其中，所述第二环境时域信号指的是在采集所述第一环境时域信号之前的预设时间内所采集的耳机周围环境中的声波信号；
32.计算所述第二环境时域信号的总能量，其中，所述第二环境时域信号包括多个频点，所述第二环境时域信号的总能量指的是所述第二环境时域信号中各个频点的能量之和；
33.计算所述第一耳道时域信号的总能量，其中，所述第一耳道时域信号包括多个频点，所述第一耳道时域信号的总能量指的是所述第一耳道时域信号中各个频点的能量之和；
34.若所述第二环境时域信号的总能量与所述第一耳道时域信号的总能量的差值小
于预设的第三能量阈值，则对所述第一耳道时域信号进行时频转换处理。
35.可选地，将预设的降噪滤波器的增益值调整为所述目标增益值之后，所述方法还包括：
36.基于调整后的所述降噪滤波器，分别对所述第一环境时域信号和第二耳道时域信号进行降噪滤波，得到主动降噪信号；其中，所述第二耳道时域信号指的是在采集所述第一耳道时域信号之后的所述预设时间内所采集的耳道内的声波信号。
37.根据本公开的第二方面，提供了一种降噪装置，所述降噪装置包括：
38.第一获取模块，被配置为获取第一耳道时域信号，其中，所述第一耳道时域信号指的是采用时域表示方式所表示的耳道内的声波信号；
39.第一处理模块，被配置为对所述第一耳道时域信号进行时频转换处理，获得与所述第一耳道时域信号对应的耳道频域信号，其中，所述耳道频域信号指的是采用频域表示方式所表示的耳道内的声波信号；
40.所述第一处理模块，还被配置为根据预设加权因子和所述耳道频域信号，获得残留噪声的总能量，其中，所述残留噪声指的是预测的人耳听到的声波信号；
41.所述第一处理模块，还被配置为若所述残留噪声的总能量大于或等于预设的第一能量阈值，则基于预存的滤波器增益值列表，从所述滤波器增益值列表中的多个滤波器增益值中选择一个作为目标增益值，其中，所述目标增益值能够使得残留噪声的总能量小于所述第一能量阈值；
42.第一调整模块，被配置为将预设的降噪滤波器的增益值调整为所述目标增益值；
43.所述第一调整模块，还被配置为基于调整后的所述降噪滤波器，对第一环境时域信号进行降噪滤波，得到主动降噪信号，其中，所述第一环境时域信号指的是采用时域表达方式所表示的耳机周围环境中的声波信号，所述主动信号用于抵消噪声；
44.所述第一调整模块，还被配置为将所述主动降噪信号发送给扬声器，以由所述扬声器播放所述主动降噪信号。
45.根据本公开的第三方面，提供了一种降噪耳机，所述降噪耳机包括壳体和设置于所述壳体上的前馈麦克风、反馈麦克风、扬声器以及控制器：
46.所述前馈麦克风，用于采集耳机周围环境中的声波信号；
47.所述反馈麦克风，用于采集耳道内的声波信号；
48.所述扬声器用于播放声波信号；
49.所述控制器分别与所述前馈麦克风、反馈麦克风和扬声器通信连接，所述控制器包括处理器和存储器，所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器被配置为调用所述计算机程序指令执行如第一方面所述的降噪方法。
50.根据本公开的第四方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器调用时，执行如第一方面所述的降噪方法。
51.本公开的实施例提供的技术方案可以包括以下有益效果：本公开中通过获得残留噪声的总能量，并在预存的滤波器增益值列表中选择目标增益值，对主动降噪效果进行补偿，以解决因为声泄漏引起的主动降噪效果下降的问题，提升音频播放设备的降噪效果，提升用户的听觉体验。
52.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不
能限制本公开。
附图说明
53.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
54.图1是根据一示例性实施例示出的降噪耳机的原理示意图。
55.图2是根据一示例性实施例示出的降噪方法的流程图。
56.图3是根据一示例性实施例示出的降噪方法的流程图。
57.图4是根据一示例性实施例示出的降噪方法的流程图。
58.图5是根据一示例性实施例示出的降噪方法的流程图。
59.图6是根据一示例性实施例示出的降噪方法的流程图。
60.图7是根据一示例性实施例示出的降噪装置的示意图。
61.图8是根据一示例性实施例示出的降噪耳机的结构示意图。
具体实施方式
62.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
63.主动降噪(active noise cancellation，anc)技术是通过产生与噪声相位相反、能量相同的声信号，使声信号与噪声源产生干涉，实现声波抵消的技术。主动降噪技术广泛应用在耳机、车载扬声器系统、智能家居等具有音频播放功能的多媒体领域。
64.目前，用户在长时间佩戴耳机后，耳机与耳道之间产生间隙，耳机与耳朵的贴合度下降，使得主动降噪效果不佳。
65.主动降噪耳机能够给用户提供安逸的环境，逐渐受到更多用户的喜欢。耳机的“主动降噪”是一个与“被动降噪”对应的概念，被动降噪是耳机通过物理隔绝的方式降低传送到耳道的环境噪声，而主动降噪是在被动降噪的基础上实现的，主动降噪的实现方式在上文已做说明，此处不再赘述。
66.如图1所示，示例性地示出了一种具有主动降噪功能的降噪耳机，耳机的声学元器件包括前馈麦克风1、反馈麦克风2和扬声器3。扬声器3作为耳机的音频输出器件，能够发出声音供用户收听。前馈麦克风1设置于耳机外部，并且远离扬声器3，前馈麦克风1用于监测外部环境噪声。反馈麦克风2设置于耳机内部，并且靠近扬声器3，从而在佩戴耳机时，反馈麦克风2更加靠近耳廓，反馈麦克风2用于采集耳廓附近的声音信号，以监测耳廓附近的噪声。
67.其中，前馈麦克风1与扬声器3组成了前馈主动降噪通路4，反馈麦克风2与扬声器3组成了反馈主动降噪通路5。前馈主动降噪通路4包括由芯片实现的前馈主动降噪滤波器和电路，反馈主动降噪通路5包括由芯片实现的反馈主动降噪滤波器和电路。其中，受到芯片的成本制约，主动降噪耳机通常采用固定滤波器配置，也即滤波器芯片无法实时修改参数以适配不同的佩戴环境，只能够通过调节滤波器的增益，对用于抵消外界噪声的主动噪声
信号进行调节。
68.其中，长时间佩戴耳机的过程中，耳机与耳朵的贴合度下降，在耳机与耳道之间产生间隙，导致主动降噪效果降低，将产生明显的声泄漏现象，例如出现高频痛点，并且实际佩戴过程中，用户难以反复矫正佩戴状态，降低用户体验。
69.为了解决以上技术问题，本公开提供了一种降噪方法，获取第一耳道时域信号并进行时频转换处理，获得与第一耳道时域信号对应的耳道频域信号。根据预设加权因子和耳道频域信号，获得残留噪声的总能量，若残留噪声的总能量大于或等于第一能量阈值，从滤波器增益值列表中的多个滤波器增益值中选择一个作为目标增益值，目标增益值能够使得残留噪声的总能量小于第一能量阈值，基于调整后的降噪滤波器，对第一环境时域信号进行降噪滤波，得到主动降噪信号并将主动降噪信号发送给扬声器，以由扬声器播放主动降噪信号。本公开中通过获得残留噪声的总能量，并在预设增益区间内选择目标增益，对主动降噪效果进行补偿，以解决因为声泄漏引起的主动降噪效果下降的问题，提升音频播放设备的降噪效果，提升用户的听觉体验。
70.本公开一示例性实施例提供了一种降噪方法，应用于具有主动降噪功能的耳机，降噪方法由耳机中的控制器执行，控制器至少包括电信号采集模块，耳机包括入耳式耳机、半入耳式耳机、头戴式耳机等。控制器还包括播放模块，播放模块包括播放控制电路和运行在播放控制电路上的播放控制软件。
71.其中，如图2所示，本实施例提供的降噪方法包括：
72.s100、获取第一耳道时域信号，其中，第一耳道时域信号指的是采用时域表示方式所表示的耳道内的声波信号。
73.该步骤中，在对声音信号采集时，至少要获取反馈麦克风采集的声音信号，即第一耳道时域信号，反馈麦克风设置在耳道中，第一耳道时域信号指的是采用时域表达方式所表示的耳道内的声波信号。本实施例中的方法在实施过程中，控制器在获取反馈麦克风采集的声音信号外，也可以同时获取前馈麦克风采集的声音信号以及扬声器的声音信号等，以在后续步骤中使用。如果不需要使用到前馈麦克风采集的声音信号，或者扬声器的声音信号，控制器也可以不获取这些信号，在后续需要时，再重新获取。
74.其中，由于反馈麦克风设置在耳道中，因此，获取反馈麦克风的第一耳道时域信号并在后续步骤中对其进行分析，可以准确监测耳道中残留的噪声信息，进而对主动降噪增益进行补偿。其中，反馈麦克风采集信号的时长为200毫秒至1000毫秒，本方法中获取反馈时序信息的间隔时长可以与反馈麦克风采集信号的时长相等。在实施过程中，反馈麦克风的信号采样率大于或等于16000hz，具体的信号采样率和信号采样时长可以根据本实施例中的方法应用的设备不同和场景不同进行调整，本实施例不做具体限定。
75.s200、对第一耳道时域信号进行时频转换处理，获得与第一耳道时域信号对应的耳道频域信号，其中，耳道频域信号指的是采用频域表达方式所表示的耳道内的声波信号。
76.声音信号在时域坐标系中，横轴(x轴)是时间，纵轴是声音的变化(振幅)，时域信息主要用于表征声音信号随时间的变化。而通常情况下，要想获得声音信号的能量信息，对声音信号进行整体分析，需要获得声音信号在频域上的表达。
77.该步骤中，通过将第一耳道时域信号转换为对应的耳道频域信号，即将反馈麦克风采集的声音信号由时域表达转换为频域表达，耳道频域信号描述的是声音的频率特性，
在反馈频域坐标系中，横坐标是频点，纵坐标是能量值，获得耳道频域信号利于对声音信号在频域上进行分析，进而根据能量值对反馈麦克风采集到的耳道中的残留噪声进行分析，进而确定出用于抵消掉噪声的目标增益值。
78.其中，第一耳道时域信号可以通过傅里叶变换转换为耳道频域信号。可以理解的是，除了傅里叶变换之外，还可以采用信号处理领域中其他能够实现时频转换的方法将第一耳道时域信号转换为耳道频域信号。
79.s300、根据预设加权因子和耳道频域信号，获得残留噪声的总能量，其中，残留噪声指的是预测的人耳听到的声波信号。
80.其中，预设加权因子与能量值相关。比如，一些能量值过低的噪声不会对用户产生明显影响，可以降低对于能量值过低的噪声的权重，甚至可以0权重(也即检测到这部分噪声后不做处理)。并且，在处理一些能量值过高的噪声时，受限于处理芯片的性能，对于能量值过高的噪声也降低权重，甚至可以为0权重。而对于生活中常出现的噪声的能量值，比如广告播放的声音、机械设备运作的声音，将这些生活中经常出现的噪声的能量值的权重增大。
81.该步骤中，耳道频域信号在频域中具有多个频点，在获得残留噪声的总能量的过程中，基于频谱中的频点和该频点对应的权重值，采用预设的计算方式计算出耳道中残留噪声的总能量，为后续调整增益值提供依据。
82.s400、若残留噪声的总能量大于或等于第一能量阈值，基于预存的滤波器增益值列表，从滤波器增益值列表中的多个滤波器增益值中选择呢一个作为目标增益值，其中，目标增益值能够使得残留噪声的总能量小于第一能量阈值。
83.该步骤中，在获得残留噪声的总能量后，将残留噪声的总能量与预设的第一能量阈值进行对比，其中，第一能量阈值可以为存储在耳机的控制器中的经验值或者声音模型的预测值。如果残留噪声的总能量大于或者等于第一能量阈值，表征残留噪声的总能量过大，已经达到了影响用户的收听效果的程度，需要对降噪滤波器的增益值进行调整。反之，如果残留噪声的总能量低于第一能量阈值，表征残留噪声的总能量不会对用户产生影响，可以不对降噪滤波器的增益值进行调整。
84.其中，滤波器增益值列表是预存储在用于执行降噪方法的设备中，在设备出厂之前就已经写入至设备中。另外，基于预存的滤波器增益值列表确定用于抵消噪声的目标增益值时，可以采用直接选取的方法，也可以选择遍历的方法，本实施例不做具体限定，只要能够从预存的滤波器增益值列表中选择出适合能够抵消掉耳道中残留噪声的目标增益值即可。
85.本实施例中，通过获得残留噪声的总能量，并在多个滤波器增益值中选择目标增益值，对主动降噪效果进行补偿，以解决因为声泄漏引起的主动降噪效果下降的问题，提升耳机的降噪效果，提升用户的听觉体验。
86.s500、将预设的降噪滤波器的增益值调整为目标增益值。
87.该步骤中，可以理解的是，降噪耳机在开启降噪功能时，降噪滤波器具有预设的增益值，从而在用户开启降噪功能时即可过滤环境噪声，实现主动降噪功能。其中，预设的降噪滤波器的增益值可以按照一定档位进行设置，例如，轻度降噪、深度降噪等。实际应用中，用户可以对该预设的降噪滤波器的增益值进行调整，比如通过与耳机连接的智能设备中的
app，对预设的降噪滤波器的增益值进行选择。
88.然而，在检测到发生声泄漏时，预设的降噪滤波器的增益值已经无法满足当前状态下的主动降噪需求，此时，需要将经过将预设的降噪滤波器的增益值调整为上述步骤中获得的目标增益值，以对声泄漏出现的残留噪声进行增益补偿，提升耳机的主动降噪效果。
89.s600、基于调整后的降噪滤波器，对第一环境时域信号进行降噪滤波，得到主动降噪信号，其中，第一环境时域信号指的是采用时域表达方式所表示的耳机周围环境中的声波信号，主动降噪信号用于抵消噪声。
90.该步骤中，通过前馈滤波器采集耳机周围环境中的声波信号，并将该声波信号以时域表达方式进行表示，记为第一环境时域信号。通过降噪滤波器对第一环境时域信号进行降噪滤波，得到主动降噪信号，主动降噪信号为与外界环境噪声信号波形相同、相位相反的声波信号，其用于对外界环境噪声进行抵消。
91.s700、将主动降噪信号发送给扬声器，以由扬声器播放主动降噪信号。
92.该步骤中，扬声器作为耳机的输出模块，通过将确定的主动降噪信号发送给扬声器，并由扬声器播放，播放的主动降噪信号进入耳道，外界环境噪声和主动降噪信号同时播放，两者相互抵消，对由于声泄漏后产生的残留的噪声进行抵消，实现降噪补偿，提升降噪效果。
93.本实施例中，通过获得残留噪声的总能量，并在多个滤波器增益值中选择目标增益值，将预设的降噪滤波器的增益值调整为目标增益值，对主动降噪效果进行补偿，以解决因为声泄漏引起的主动降噪效果下降的问题，提升耳机的降噪效果，提升用户的听觉体验。
94.在一个示例性实施例中，如图3所示，本实施例是对上文实施例中步骤s200的实施方式进一步说明。在对第一耳道时域信号进行时频转换处理时，可以采用本实施例中的方法，包括以下步骤：
95.s210、对第一耳道时域信号进行加窗处理，获得多帧第一耳道子信号，其中，加窗处理的每个窗口包括n个频点，第一耳道子信号指的是采用时域表达方式所表示的每个窗口中的声波信号。
96.在对第一耳道时域信号进行采集时，采样时长内会进行多次采样，获得多个采样点，采样点数量一般比较大，成千个采样点或者上万个采样点。该步骤中，第一耳道时域信号的表达式为fb(n)，其中，n代表第n个时域的采样点。在对第一耳道时域信号进行加窗处理时，将上述采样时长过程中的许多采样点中的n个采样点之间的采样信号作为一个窗口，窗长为n，也即，可以认为每个窗的窗长为n，一个窗中包含包括n个时域采样点。比如，整段声音信号总共有1000个时域采样点，窗长n为200，则采集到的整段信号可以被分为相互没有重叠部分的5个窗。可以理解的是，当相邻的窗之间存在重叠部分时，整段信号可以被分为多于5个窗。其中，一个窗即为一帧，该步骤可以根据加窗的数量不同，获得多帧时域信号。第一耳道时域信号fb(n)经过窗长为n的重叠加窗处理后，被分为m帧信号(即具有m个窗)。单个窗口(即单帧信号)的表达式为xm(n)，其中，m＝0，1，2，
……
，m-1；n代表第n个时域采样点。
97.在此，需要说明的是，若整段声音信号在分帧加窗过程中处于末尾的时域采样点的数量不够一个窗的窗长时，将这些时域采样点舍弃。比如，窗长为10，整段声音信号总共包括107个时域采样点，最后一个窗的起始采样点为100，但窗长为10，剩余7个采样点不够
一个窗的窗长，则将最后7个采样点舍弃。
98.本实施例中，在对整段声音信号进行加窗处理时，采用重叠加窗处理，即相邻两个窗之间具有部分重叠，通常取1/2重叠。例如，将整段第一耳道时域信号的第0个采样点至第100个采样点作为第一个窗，则第50个采样点至第150个采样点作为第二个窗。
99.在进行分帧加窗处理时，窗函数的表达式为wn(n)，其中，n代表第n个时域采样点。窗函数例如可以为汉明窗(hamming-window)、汉宁窗(hanning-window)等。
100.s220、基于加窗处理使用的窗函数，对每帧第一耳道子信号进行时频转换，获得耳道频域信号。
101.通过对第一耳道时域信号进行分帧加窗从而获得多帧第一耳道子信号，并进行傅里叶变换，以获得平滑的耳道频域信号。耳道频域信号fbm(k)表达式为：
[0102][0103]
上式中e为自然常数，π为圆周率，j为复数的虚部，wn(n)为窗函数，n代表第n个采样点，m＝0，1，2，
……
，m-1，n为窗长。
[0104]
本实施例中，通过对采集到的第一耳道时域信号进行分帧加窗和时频转换，以得到平滑的耳道频域信号，得到第一耳道时域信号在频域上的表达方式，为后续在频域范围对耳道内的残留噪声进行分析、处理做准备。
[0105]
在一个示例性实施例中，如图4所示，本实施例是对上文实施例中步骤s300的实施方式进一步说明。本实施例中的方法包括：
[0106]
s310、获得每帧所述第一耳道子信号在频谱中的第k个频点的平均能量值，其中，频谱指的是经过时频转换后得到的采用频域表达方式所表示的声波信号的频率谱，频谱中包含多个频点。
[0107]
s320、根据第一耳道时域信号的信号采样率和进行加窗处理时的窗长n，确定第k个频点的能量值，其中，窗长n指的是在进行加窗处理时每个窗口所包含的信号频点的数量。
[0108]
s330、根据预设加权因子和第k个频点的能量值，确定目标加权因子。
[0109]
s340、将目标加权因子和第k个频点的平均能量值的乘积，作为第k个频点的加权能量值。
[0110]
s350、对频谱中各个频点的加权能量值求和，获得残留噪声的总能量。
[0111]
上述步骤中，s310至s330之间的顺序没有限定。
[0112]
在步骤s310和s340中，频谱中具有多个频点，该步骤中，选择第k个频点作为进行分析的频点，在该频点上对耳道频域信号进行分析，其中，k可以代表任意一个频点。经过上述分帧加窗处理后，形成多帧第一耳道子信号，对于每一帧第一耳道子信号，获取每一帧第一耳道子信号在频谱中第k个频点的平均能量值。虽然，本实施例中，以第k个频点作为代表进行说明，只是为了方便进行表述，在实施过程中，是对每一个频点都进行相应的处理。
[0113]
获取每一帧第一耳道子信号中，在第k个频点的加权能量值p
fb
(k)的表达式为：
[0114]
[0115]
上式中，m—窗口数量，也即帧的数量；
[0116]
fbm(k)—耳道频域信号；
[0117]
w(k)—加权因子。
[0118]
在计算加权能量值p
fb
(k)时，在对数域求取耳道频域信号的功率谱，获得的数值的单位为db，即分贝，更加符合对于声信号的评价标准。
[0119]
在步骤s320中，在确定预设加权因子之前，首先需要确定第k个频点的能量值。第k个频点的能量值f(k)的表达式可以为：
[0120][0121]
上式中fs为信号采样率，n为窗长，k为频点。其中，对于扬声器信号、前馈麦克风采集的信号和反馈麦克风采集的信号，需要优先使用相同的信号采样率。如果扬声器信号、前馈麦克风采集的信号和反馈麦克风采集的信号没有使用相同的信号采样率，则需要对前述三种信号采用统一的信号采样率进行换算或者重新采集。
[0122]
在步骤s330中，预设加权因子预先写入至实现本实施例中的方法的降噪耳机中。在确定预设加权因子时，可以根据经验值进行确定；也可以通过进行多次试验确定。预设加权因子与第k个频点的能量值相关，在步骤s320中确定了第k个频点的能量值后，在预设加权因子中查找与第k个频点的能量值对应的加权因子，作为目标加权因子。
[0123]
预设加权因子w(k)的表达式可以为：
[0124][0125]
上式中f(k)为频点的能量值，k代表频点。
[0126]
例如，在确定第k个频点的能量值f(k)为40db，则该频点对应的加权因子为0。同理，当第k个频点的能量值f(k)为150db时，可得目标加权因子为5，则针对该频点计算平均能量值时，需要进行加权处理。
[0127]
其中，由于人耳对小于50db的声音感知不明显，该种声音对视听体验不会产生影响，因此对于在这个能量值之下的声音将其权重设置为0，即忽略该能量值以下的噪声。同时，由于能量值大于3000db的声波信号受到芯片处理性能的影响，能量值大于3000db的声波信号对应的权重值也为0，即忽略该能量值以上的噪声。而在50db和500db之间的声音是生活中常见的声音区间，因此对该能量值范围内的噪声增大其权重因子，以获得更优的降噪补偿。需要说明的是，在实际使用过程中，可以根据实际需要更改加权值。
[0128]
在步骤s350中，在经过上述步骤后，对于频谱中每个频点对应的加权能量值进行求和，获得残留噪声的总能量的表达式为：
[0129]
s(fb)＝sum(p
fb
(k))
[0130]
其中，fb—第一耳道时域信号；
[0131]
p
fb
(k)—加权能量值。
[0132]
本实施例中，首先对频谱中每个频点的加权能量值进行计算，而后，对全部频点的
加权能量值进行求和，获得残留噪声的总能量。在计算每个频点的加权能量值时，增加生活中经常出现的频段的噪声的权重值，提升对残留噪声的总能量的综合评价精度，进而提升主动降噪效果。
[0133]
在一个示例性实施例中，如图5所示，本实施例是对上述实施例中步骤s400的实施方式进一步说明。本实施例中的方法包括：
[0134]
s410、预存的滤波器增益值列表包括多个由小到大依次设置的滤波器增益值，采用遍历方式从多个滤波器增益值中选择目标增益值。
[0135]
s420、在遍历过程中，若被选择的目标增益值使得残留噪声的总能量小于第一能量阈值，则停止遍历。
[0136]
在步骤s410中，滤波器增益值列表预存在耳机中。可以按照增益值递增的顺序进行选择，递增步进值比如可以为0.5db，在选择某数值强度的增益后，能够使得残留噪声的总能量小于第一能量阈值，则将当前选择的增益值作为目标增益值进行输出。在其他的实施例中，还可以按照增益强度递减的顺序选择。
[0137]
需要说明的是，在进行主动补偿时，由于单独补偿反馈主动降噪通路的效果较差，因此在实际应用中，补偿方案通常采用单独前馈主动补偿通路，或者前馈主动补偿通路和反馈主动补偿通路结合。
[0138]
s430、若遍历预存的滤波器增益值列表中的每个滤波器增益值后，每个滤波器增益值对应的残留噪声的总能量大于或等于第一能量阈值，则从多个滤波器增益值对应的多个残留噪声的总能量中，选择对个残留噪声的总能量中的最小值对应的滤波器增益值作为目标增益。
[0139]
该步骤中，示例性地，以预设增益区间为0db～7db为例，随着增益强度的提升，残留噪声的总能量当选用最高增益强度7db后，残留噪声的总能量仍大于第一能量阈值，则将强度为7db的增益值作为目标增益值进行输出。
[0140]
在一个示例性实施例中，本公开实施例中的方法还包括：
[0141]
s510、获取扬声器参考信号，其中，扬声器参考信号指的是由扬声器播放的声波信号。
[0142]
s520、计算扬声器参考信号的总能量，其中，扬声器参考信号包括多个频点，扬声器参考信号的总能量指的是扬声器参考信号中各个频点的能量之和。
[0143]
s530、若扬声器参考信号的总能量小于或等于预设的第二能量阈值，则对第一耳道时域信号进行时频转换处理。
[0144]
在步骤s510中，对声音信号采集时，可以通过获取扬声器发出的声音信号，即扬声器参考信号。获取扬声器参考信号并对其进行分析，可在后续步骤中准确获得扬声器参考信号的总能量。
[0145]
在步骤s520中，扬声器参考信号的总能量为采集的扬声器参考信号每个频点的能量至求绝对值后相加的总和。e(spk)表示扬声器参考信号的总能量。
[0146]
在步骤s530中，扬声器参考信号的总能量越大，能够表示扬声器输出的信号强度越大，比如当前播放的媒体音量大，从而能够覆盖环境噪声产生的影响，以α表示第二能量阈值，因此，在e(spk)＞α时，说明现在不需要进行增益补偿，则结束补偿流程；而在e(spk)＜α时，可以对第一耳道时域信号进行处理，并通过后续步骤确认是否需要进行补偿等，以
在出现声泄漏时及时进行增益补偿。其中，第二能量阈值可以根据实际情况进行调整。
[0147]
本实施例中，通过在对第一耳道时域信号进行处理之前，先获取扬声器参考信号的总能量，并将扬声器参考信号的总能量与第二能量阈值进行比较，以保证在符合泄漏补偿计算条件下进行增益补偿，提升增益补偿的准确性。
[0148]
在一个示例性实施例中，本公开实施例提供的降噪方法，还包括以下步骤：
[0149]
s610、获取第二环境时域信号，其中，第二环境时域信号指的是采集第一环境时域信号之前的预设时间内所采集的耳机周围环境中的声波信号。
[0150]
s620、计算第二环境时域信号的总能量，其中，第二环境时域信号包括多个频点，第二环境时域信号的总能量指的是第二环境时域信号中各个频点的能量之和。
[0151]
s630、计算第一耳道时域信号能量的总能量，其中，第一耳道时域信号包括多个频点，第一耳道时域信号的总能量指的是第一耳道时域信号中各个频点的能量之和。
[0152]
s640、若第二环境时域信号的总能量与第一耳道时域信号的总能量的差值小于预设的第三能量阈值，则对第一耳道时域信号进行时频转换处理。
[0153]
在步骤s610中，对声音信号采集时，可以通过获取前馈麦克风采集的声波信号，前馈麦克风设置在耳机外侧，第二环境即外界环境，对采集到的第二环境的声波信号，并通过时频表达方式进行表示，以获得第二环境时域信号。获取前馈麦克风所采集的外界环境中的声波信号，并对其进行分析，可以准确检测外界环境的噪声信息。其中，前馈麦克风采集信号的时长为200毫秒至1000毫秒，本方法中获取前馈时序信息的间隔时长可以与前馈麦克风的时长相等。在实施过程中，前馈麦克风的信号采样率大于或等于16000hz，具体的信号采样率和信号采样时长可以根据本实施例中的方法应用的设备不同和场景不同进行调整，本实施例不做限定。
[0154]
在步骤s620中，第二环境时域信号的总能量，为采集到的第二环境时域信号经过时频转换后获得的每个频点的能量值求绝对值后相加的总和。e(ff)表示第二环境时域信号的总能量。
[0155]
步骤s630与步骤s620的实现方式相同，该步骤中以e(fb)表示第一耳道时域信号的总能量。
[0156]
在步骤s640中，需要说明的是，耳机未受到外力干涉时，e(ff)和e(fb)的数值均保持稳定，并且e(fb)与e(ff)的差值始终低于第三能量阈值，以β表示第三能量阈值，也即，e(fb)-e(ff)＜β，在该种情况下，则可以对第一耳道时域信号进行处理，并通过后续步骤确认是否需要进行补偿等，以在出现声泄漏时及时进行增益补偿。
[0157]
而在耳机受到外力(比如手指触摸)作用时，e(fb)的变化相比于e(ff)的变化更大，导致e(fb)-e(ff)≥β的情况，例如，用户正在通过手指触摸设备进行调整佩戴姿势。因此，在e(fb)-e(ff)≥β时，不适合进行增益补偿，结束补偿流程。
[0158]
本实施例中，通过在对第一耳道时域信号进行处理之前，先获取第二环境时域信号能量，并计算得到第一耳道时域信号的总能量，以及第二环境时域信号的总能量，并将第二环境时域信号的总能量与第一耳道时域信号的总能量求差值，将该差值与第三能量阈值进行比较，以保证在符合泄漏补偿计算条件下进行增益补偿，提升增益补偿的准确性。
[0159]
在一个示例性实施例中，在将预设的降噪滤波器的增益值调整为目标增益值之后，还包括以下步骤：
[0160]
基于调整后的降噪滤波器，分别对第一环境时域信号和第二耳道时域信号进行降噪滤波，得到主动降噪信号，其中，第二耳道时域信号指的是在采集第一耳道时域信号之后的预设时间内所采集的耳道内的声波信号。
[0161]
该步骤中，可以理解的是，处理器处理过程需要一定的时间，因此，在采集第一耳道时域信号之后再次采集耳道内的声波信号，并将该时刻的声波信号以时域表达方式表示为第二耳道时域信号，由降噪滤波器对第二耳道时域信号进行降噪滤波。
[0162]
在一个示例性实施例中，如图6所示，示出了一种降噪方法的流程图，降噪方法包括：
[0163]
s701、获取第一耳道时域信号和第二环境时域信号，以及扬声器参考信号。
[0164]
s702、根据扬声器参考信号，获得扬声器参考信号的总能量。
[0165]
s703、确定扬声器参考信号的总能量是否大于第二能量阈值。
[0166]
若扬声器参考信号的总能量大于第二能量阈值，表示当前不适合进行补偿，则结束流程；若否，则执行步骤s704。
[0167]
s704、根据第一耳道时域信号，计算第一耳道时域信号的总能量。
[0168]
s705、根据第二环境时域信号，计算第二环境时域信号的总能量。
[0169]
需要说明的是，步骤s704和s705也可以在步骤s703之前执行。
[0170]
s706、确定第二环境时域信号的总能量和第一耳道时域信号的总能量的差值是否小于第三能量阈值。
[0171]
若差值小于第三能量阈值，表示当前不适合进行补偿，则结束流程；若否，则执行步骤s707。
[0172]
s707、对第一耳道时域信号进行时频转换处理，获得与第一耳道时域信号对应的耳道频域信号。
[0173]
s708、根据预设加权因子和耳道频域信号，获得残留噪声的总能量。
[0174]
s709、确定残留噪声的总能量是否大于或等于第一能量阈值。
[0175]
若残留噪声的总能量大于或等于第一能量阈值，则执行步骤s710，以进行降噪补偿；若否，说明没有出现佩戴松弛，或者补偿后达到预期从而不需要进一步补偿，则执行步骤s713，例如选择上一轮检测过程完成后输出的增益值，作为本次补偿的目标增益值进行输出。
[0176]
s710、在预存的滤波器增益值列表中选择滤波器增益值。
[0177]
通过在滤波器增益值列表内选择合适强度的增益值，以使得增益后的残留噪声的总能量小于第一能量阈值，实现声泄漏增益补偿。预存的滤波器增益值列表的增益值范围比如可以是0～7db。
[0178]
s711、确定是否已遍历所有增益值。
[0179]
若已遍历所有增益值，但没有找到最优增益值，则执行步骤s713，在所有的滤波器增益值中，选择获得最小残留噪声的总能量时所对应的滤波器增益值；若否，则执行步骤s712。
[0180]
s712、提升滤波器增益值。
[0181]
按照预设的步进值提升滤波器增益值，预设步进值比如0.5db。通过增益值递增的顺序对所有滤波器增益值进行选择，以获取最优滤波器增益值。可以理解的是，在其他的实
施例中，也可以按照递减的顺序遍历所有滤波器增益值，只要能够对所有滤波器增益值进行选取即可。
[0182]
s713、选择能获得最小残留噪声的总能量的滤波器增益值作为目标增益值。
[0183]
s714、将预设的降噪滤波器的增益值调整为目标增益值。
[0184]
s715、基于调整后的降噪滤波器，对第一环境时域信号进行降噪滤波，得到主动降噪信号。
[0185]
s716、将主动信号发送给扬声器，以由扬声器播放主动降噪信号。
[0186]
输出最优增益后结束流程。可以理解的是，用户的佩戴情况和周围环境噪声在实时变化，使得单次增益补偿确定的滤波器增益值，并不能适用于所有的情况，因此，在结束该次补偿并经过预设时长后，需要开始下一轮增益补偿，预设时长比如30s～120s。
[0187]
本公开实施例还提供一种降噪装置，如图7所示，降噪装置包括：
[0188]
第一获取模块100，被配置为获取第一耳道时域信号，其中，第一耳道时域信号指的是采用时域表示方式所表示的耳道内的声波信号；
[0189]
第一处理模块200，被配置为对第一耳道时域信号进行时频转换处理，获得与第一耳道时域信号对应的耳道频域信号；其中，耳道频域信号指的是采用频域表示方式所表示的耳道内的声波信号；
[0190]
第一处理模块200，还被配置为根据预设加权因子和耳道频域信号，获得残留噪声的总能量；其中，残留噪声指的是预测的人耳听到的声波信号。
[0191]
第一处理模块200，还被配置为若残留噪声的总能量大于或等于预设的第一能量阈值，则基于预存的滤波器增益值列表，从滤波器增益值列表中的多个滤波器增益值中选择一个作为目标增益值，其中，目标增益值能够使得残留噪声的总能量小于第一能量阈值。
[0192]
第一调整模块300，被配置为将预设的降噪滤波器的增益值调整为目标增益值。
[0193]
第一调整模块300，还被配置为基于调整后的降噪滤波器，对第一环境时域信号进行降噪滤波，得到主动降噪信号，其中，第一环境时域信号指的是采用时域表达方式所表示的耳机周围环境中的声波信号，主动信号用于抵消噪声。
[0194]
第一调整模块300，还被配置为将主动降噪信号发送给扬声器，以由扬声器播放主动降噪信号。
[0195]
在一个示例性实施例中，降噪装置还包括：
[0196]
第二获取模块，被配置为获取扬声器参考信号；
[0197]
第二处理模块，被配置为计算扬声器参考信号的总能量。
[0198]
第二调整模块，被配置为若扬声器参考信号的总能量小于或等于第二能量阈值，则对第一耳道时域信号进行处理。
[0199]
在一个示例性实施例中，降噪装置还包括：
[0200]
第三获取模块，被配置为获取第二环境时域信号；
[0201]
第三处理模块，被配置为计算第二环境时域信号的总能量；
[0202]
第三处理模块，还被配置为计算第一耳道时域信号的总能量；
[0203]
第三调整模块，被配置为若第二环境时域信号的总能量与第一环境时域信号的总能量的差值小于第三能量阈值，则对第一耳道时域信号进行时频转换处理。
[0204]
本公开实施例还提供了一种降噪耳机，降噪耳机比如覆耳式耳机、入耳式耳机等。
如图1所示，降噪耳机包括壳体和设置于壳体上的前馈麦克风1、反馈麦克风2、扬声器3和控制器(未示出)，控制器分别与前馈麦克风1、反馈麦克风2和扬声器3电连接，控制器包括处理器和存储器，存储器存储有可被处理器执行的计算机程序指令，处理器被配置为调用计算机程序指令以执行上述实施例提供的降噪方法。
[0205]
其中，前馈麦克风1、反馈麦克风2和扬声器3在前述实施例已做说明，此处不再赘述。
[0206]
参考图8所示，降噪耳机800还包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
[0207]
处理组件802通常控制降噪耳机800的整体操作，诸如与显示、数据通信和记录操作等相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
[0208]
存储器804被配置为存储各种类型的数据以支持在降噪耳机800的操作。这些数据的示例包括用于在降噪耳机800上操作的任何应用程序或方法的指令。存储器804可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0209]
电源组件806为降噪耳机800的各种组件提供电力。电源组件506可以包括电源管理系统，电源插头，及其他与为降噪耳机800生成、管理和分配电力相关联的组件。
[0210]
多媒体组件808包括在降噪耳机800和用户之间的提供一个输出接口的屏幕。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。
[0211]
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当降噪耳机800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
[0212]
i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是按钮等。这些按钮可包括但不限于：主页按钮、启动按钮和锁定按钮。
[0213]
传感器组件814包括一个或多个传感器，用于为降噪耳机800提供各个方面的状态评估。例如，传感器组件814可以检测到降噪耳机800的打开/关闭状态，组件的相对定位，例如组件为降噪耳机800的显示器，传感器组件814还可以检测降噪耳机800或降噪耳机800的位置改变，降噪耳机800方位或加速/减速和降噪耳机800安装位置的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器。
[0214]
通信组件816被配置为便于降噪耳机800和其他终端之间有线或无线方式的通信。降噪耳机800可以接入基于通信标准的无线网络，如wifi、2g、3g、4g、5g或它们的组合。在一
个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0215]
在示例性实施例中，降噪耳机800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理终端(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的方法。
[0216]
本公开实施例还提供一种非临时性计算机可读存储介质，该存储介质中的指令由降噪耳机的处理器执行时，使得降噪耳机能够执行一种降噪方法，该方法包括上述实施例中的任一种降噪方法。
[0217]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本技术旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
[0218]
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。