专利名称：噪声去除装置以及噪声去除程序的制作方法
技术领域：
本发明涉及使用多个麦克风来去除噪声的噪声去除装置以及噪声去除程序。
背景技术：
以往，在声音识别以及免持(hand free)通话中，存在由于在声音上重叠噪声，而识别性能以及清晰性降低这样的问题。作为解决这样的问题的技术，提出了各种噪声去除方法，作为一个方法，有使用了多个麦克风的噪声去除手段。一般，通过使用多个麦克风，与使用了 1个麦克风的情况相比，可以提高噪声抑制效果。作为使用了多个麦克风的噪声去除方法，已知对多个麦克风的输入的功率差以及时间差进行比较，去除目的音以外的分量的方法(例如，参照专利文献1)。在该方法中，通过针对多个麦克风的输出信号进行频率分析并按照频带对各通道的功率差或者时间差进行比较，从各通道选择目的音源的分量而抑制了不需要的分量。专利文献1 日本专利第3435357号在专利文献1记载的方法中，存在如下课题对麦克风的输出信号彼此进行直接比较，所以根据所设置的麦克风的特性、设置方向、以及设置间隔，目的音和干扰音的功率差或者时间差变小而噪声去除能力降低。本发明是为了解决上述课题而完成的，其目的在于，针对多个麦克风的输出信号通过信号处理来控制指向性，对强调了的目的音和目的音被抑制了的干扰音进行比较，从而使功率差变得明确而提高噪声去除能力。另外，通过信号处理来控制指向性，即使在目的音方向变化那样的情况下也无需改变麦克风设置位置而可以进行噪声去除。另外，使用噪音的统计量来去除干扰音，即使在选择为目的音的频带上重叠了噪音的情况下也可以去除噪音。
发明内容
本发明提供一种噪声去除装置，其特征在于，具备指向性控制部，根据多个麦克风的输出信号，计算通过信号处理使指向性朝向了目的音方向的主波束信号和使死角朝向了目的音方向的副波束信号；频率分析部，对由所述指向性控制部计算出的所述主波束信号和所述副波束信号分别进行频率分析，计算所述主波束信号以及所述副波束信号的谱; 音源判别部，根据由所述频率分析部计算出的所述主波束信号和所述副波束信号的谱判别音源的种类而作为音源判别结果输出，并且计算相对主波束信号的噪音的统计量；以及干扰音去除部，使用由所述频率分析部计算出的所述副波束信号的谱、以及从所述音源判别部输入的所述音源判别结果以及所述噪音的统计量，从该主波束信号的谱去除干扰音。根据本发明，在噪声去除装置中，通过信号处理来控制指向性，计算主波束信号以及副波束信号，从而可以对强调了的目的音和目的音被抑制了的干扰音进行比较，其结果， 可以使功率差变得明确而提高噪声去除能力。另外，即使在目的音方向变化那样的情况下也无需改变麦克风设置位置而可以进行噪声去除。另外，通过使用噪音的统计量来去除干扰音，即使在选择为目的音的频带上重叠了噪音的情况下也可以去除噪音。本发明提供一种噪声去除程序，其特征在于，使计算机作为如下单元发挥功能指向性控制部，根据多个麦克风的输出信号，通过信号处理计算使指向性朝向了目的音方向的主波束信号和使死角朝向了目的音方向的副波束信号；频率分析部，对由所述指向性控制部计算出的所述主波束信号和所述副波束信号分别进行频率分析，计算所述主波束信号以及所述副波束信号的谱；音源判别部，根据由所述频率分析部计算出的所述主波束信号和所述副波束信号的谱判别音源的种类而作为音源判别结果输出，并且计算相对主波束信号的噪音的统计量；以及干扰音去除部，使用由所述频率分析部计算出的所述副波束信号的谱、以及从所述音源判别部输入的所述音源判别结果以及所述噪音的统计量，从该主波束信号的谱去除干扰音。根据本发明，噪声去除程序通过信号处理来控制指向性并且计算主波束信号以及副波束信号，从而可以对强调了的目的音和目的音被抑制了的干扰音进行比较，其结果，可以使功率差变得明确而提高噪声去除能力。另外，即使在目的音方向变化那样的情况下也无需改变麦克风设置位置而可以进行噪声去除。另外，通过使用噪音的统计量来去除干扰音，即使在选择为目的音的频带上重叠了噪音的情况下也可以去除噪音。
图1是示出本发明的实施方式1的噪声去除装置1的结构的框图。图2是示出本发明的实施方式1的噪声去除装置1中的音源判别部30的内部结构的框图。图3是示出本发明的实施方式1的噪声去除装置1中的干扰音去除部50的内部结构的框图。图4是示出本发明的实施方式1的噪声去除装置1的指向性控制部10以及频率分析部20的动作的流程图。图5A是示出本发明的实施方式1的噪声去除装置1的音源判别部30的动作的流程图。图5B是示出本发明的实施方式1的噪声去除装置1的音源判别部30的动作的流程图的继续。图6是示出本发明的实施方式1的噪声去除装置1的干扰音去除部50的动作的流程图。图7是示出本发明的实施方式2的噪声去除装置1的结构的框图。图8是示出本发明的实施方式2的噪声去除装置1的目的音方向通知部60、指向性控制部10以及频率分析部20的动作的流程图。图9是示出本发明的实施方式3的噪声去除装置1的结构的框图。图10是示出本发明的实施方式3的噪声去除装置1的语言通知部80以及干扰音去除部50的动作的流程图。图11是示出本发明的实施方式4的噪声去除装置1的干扰音去除部50的内部结构的框图。图12A是示出本发明的实施方式4的噪声去除装置1的干扰音去除部50的动作的流程图。图12B是示出本发明的实施方式4的噪声去除装置1的干扰音去除部50的动作的流程图的继续。
具体实施例方式以下，为了更详细说明本发明，根据
具体实施方式
。实施方式1.图1是示出本发明的实施方式1的噪声去除装置1的结构的框图。在图中，噪声去除装置1是计算从多个麦克风2、3的输出信号去除了噪声的信号的装置，具备指向性控制部10、频率分析部20、音源判别部30、噪音谱存储器40、干扰音去除部50。另外，在实施方式1中作为多个麦克风的一个例子使用麦克风2、3，但也可以使用任意的个数。指向性控制部10是针对多个麦克风2、3的输出信号通过信号处理来控制指向性的部件，输出使指向性朝向了目的音方向的主波束信号和使死角朝向了目的音方向的副波束信号。频率分析部20是针对指向性控制部10输出的主波束信号和副波束信号进行 FFT (Fast Fourier Transform，快速傅立叶变换)等频率分析的部件，将主波束信号的谱和副波束信号的谱分别输出到音源判别部30以及干扰音去除部50。音源判别部30是根据主波束信号和副波束信号的谱来判断音源是声音、还是非稳定噪音、还是稳定噪音的部件，将音源判别结果输出到干扰音去除部50，并且将主波束信号的谱输出到噪音谱存储器40。噪音谱存储器40存储相对从音源判别部30输出的主波束信号的噪音的统计量， 并且将噪音的统计量即平均谱输出到干扰音去除部50。干扰音去除部50是使用从音源判别部30输出的音源判别结果、从频率分析部20 输出的副波束信号的谱、以及从噪音谱存储器40输出的噪音的平均谱，从自频率分析部20 输出的主波束信号的谱中去除干扰音(噪声)的部件，生成去除了噪声的主波束信号的谱。另外，图2是示出实施方式1的噪声去除装置1中的音源判别部30的内部结构的框图。在图中，音源判别部30具备频带限制部31、差分功率计算部32、噪音统计量计算部 33、SNR(信噪比)推测部34、判别部35。频带限制部31是针对主波束信号和副波束信号的谱进行频带限制的部件，将进行了频带限制的主波束信号和副波束信号的频带限制功率输出到差分功率计算部32。差分功率计算部32是根据主波束信号和副波束信号的频带限制功率计算主波束信号和副波束信号的差分功率的部件，将所计算出的差分功率输出到判别部35。噪音统计量计算部33是根据从频带限制部31输出的主波束信号的谱计算噪音的统计量的部件，将所计算出的噪音的统计量和主波束信号的谱输出到SNR推测部34，并且将噪音的统计量输出到噪音谱存储器40。SNR推测部34是根据从噪音统计量计算部33输出的主波束信号的谱和噪音的统计量推测当前的SNR的部件，将所推测出的SNR输出到判别部35。判别部35是根据从差分功率计算部32输出的差分功率和从SNR推测部34输出的推测SNR，判别来自麦克风2、3的当前的输入是声音还是稳定噪音还是非稳定噪音的部件，将判定的结果作为音源判别结果而输出到干扰音去除部50。另外，图3是示出实施方式1的噪声去除装置1中的干扰音去除部50的内部结构的框图。在图中，干扰音去除部50具备按频带功率抑制部51、稳定噪音去除部52。按频带功率抑制部51是针对从频率分析部20输出的主波束信号和副波束信号的谱比较每个频带的功率，在满足抑制条件的情况下抑制主波束信号的谱的相应的频带的功率的部件，将抑制后的主波束信号的谱(抑制谱)输出到稳定噪音去除部52。稳定噪音去除部52是从按频带功率抑制部51输出的抑制后的主波束信号谱，减去噪音谱存储器40中存储的噪音的统计量即平均谱的部件，输出平均谱减法计算后的主波束信号的谱(抑制减法谱)。另外，此处，在噪声去除装置1的结构要素中，指向性控制部10、频率分析部20、音源判别部30、噪音谱存储器40、干扰音去除部50、频带限制部31、差分功率计算部32、噪音统计量计算部33、SNR推测部34、判别部35、按频带功率抑制部51、稳定噪音去除部52被说明为分别通过专用的电路构成为硬件，但在噪声去除装置1由计算机构成的情况下，也可以将记述有指向性控制部10、频率分析部20、音源判别部30、噪音谱存储器40、干扰音去除部50、频带限制部31、差分功率计算部32、噪音统计量计算部33、SNR推测部34、判别部35、 按频带功率抑制部51、稳定噪音去除部52的处理内容的程序储存到计算机的存储器中，计算机的CPU执行该存储器中储存的程序。接下来，说明噪声去除装置1的动作。图4是示出噪声去除装置1的指向性控制部10以及频率分析部20的动作的流程图。首先，如果输入了多个麦克风的输出信号^(n) (m = 1、2、· ·、M)，则指向性控制部10根据下式(1)计算主波束信号Y1(Ii)(步骤ST101)。 在式(1)中，hlm(n)表示针对麦克风m(在图1中麦克风2、3)的输出信号的主波束的滤波系数、*表示卷积运算。指向性控制部10事先学习滤波系数hlm(η)，以保持针对目的音方向的灵敏度，并且抑制目的音方向的灵敏度。在学习中可以使用作为适应滤波器的学习方法而公知的NLMS法等。另外，指向性控制部10根据下式(2)计算副波束信号y2(n)(步骤ST102)。在式 (2)中，Iian(Ii)是针对麦克风m的输出信号的副波束的滤波系数。指向性控制部10事先学习滤波系数Ii2m(η)，以抑制针对目的音方向的灵敏度，并且保持其他方向的灵敏度。另外， 在上述说明中以在步骤STlOl之后进行步骤ST102的顺序进行了说明，但也可以并行地处理步骤STlOl和步骤ST102。
M( ) = J^hlm (n) *xm(n)( 1 )
msl
M^2W= Z^rwW+ xM( 2 )
m=l接下来，频率分析部20在对主波束信号yi (η)的帧t中的L采样的输入 (L(t-l) ^ η ^ Lt)应用了汉明窗(Hamming Window)等窗函数之后，进行FFT等频率分析， 计算主波束信号的帧t的谱Plt(f)(步骤ST103)。f是频率的频带编号。另外，频率分析部20在对副波束信号y2 (η)的帧t中的L采样的输入 (L(t-l) ^ η ^ Lt)应用了汉明窗等窗函数之后，进行FFT等频率分析，计算副波束信号的帧t的谱P2t (f) (ST104)。另外，在上述说明中以在步骤ST103之后进行步骤ST104的顺序进行了说明，但也可以并行地处理步骤ST103和步骤ST104。以上是噪声去除装置1的指向性控制部10以及频率分析部20的动作例。接下来，说明音源判别部30的动作。图5A以及图5B是示出噪声去除装置1的音源判别部30的动作的流程图。首先，频带限制部31根据主波束信号的帧t的谱Plt (f)，依照下式(3)计算帧t的主波束信号的频带限制功率POWlt (步骤ST105)。在式(3)中，Ffflin 是频带限制的下限频率、Ffflax是上限频率。另外，频带限制部31根据副波束信号的帧t的功率谱P2t(f)，依照下式(4)计算帧t的副波束信号的频带限制功率POW2t (步骤ST106)。
权利要求
1.一种噪声去除装置，具备指向性控制部，根据多个麦克风的输出信号，计算通过信号处理使指向性朝向了目的音方向的主波束信号和使死角朝向了目的音方向的副波束信号；频率分析部，对由所述指向性控制部计算出的所述主波束信号和所述副波束信号分别进行频率分析，计算所述主波束信号以及所述副波束信号的谱；音源判别部，根据由所述频率分析部计算出的所述主波束信号和所述副波束信号的谱判别音源的种类而作为音源判别结果输出，并且计算相对主波束信号的噪音的统计量；以及干扰音去除部，使用由所述频率分析部计算出的所述副波束信号的谱、以及从所述音源判别部输入的所述音源判别结果以及所述噪音的统计量，从该主波束信号的谱去除干扰音。
2.根据权利要求1所述的噪声去除装置，其特征在于，具备滤波系数存储器，与目的音方向对应地存储用于控制主波束信号以及副波束信号的指向性的滤波系数；以及目的音方向通知部，取得目的音方向的信息，并对指向性控制部通知该信息， 所述指向性控制部从所述滤波系数存储器选择与从所述目的音方向通知部通知的所述目的音方向对应的滤波系数，使用该滤波系数，根据多个麦克风的输出信号计算主波束信号和副波束信号。
3.根据权利要求1所述的噪声去除装置，其特征在于，具备语言通知部，该语言通知部取得多个麦克风的输出信号中包含的成为处理对象的声音的语言类别的信息，并对干扰音去除部通知该语言类别的信息，所述干扰音去除部根据从所述语言通知部通知的所述语言类别判断是否需要干扰音去除处理。
4.根据权利要求1所述的噪声去除装置，其特征在于， 音源判别部具备频带限制部，对主波束信号和副波束信号的谱进行频带限制； 差分功率计算部，根据由所述频带限制部限制了频带的所述主波束信号和所述副波束信号的谱计算差分功率；噪音统计量计算部，根据所述主波束信号的谱计算噪音的统计量； SNR推测部，根据所述主波束信号的谱和所述噪音的统计量，推测当前的信噪比；以及判别部，根据由所述差分功率计算部计算出的所述差分功率和由所述SNR推测部推测出的所述信噪比，判别麦克风的当前的输出信号是声音、稳定噪音、还是非稳定噪音，作为音源判别结果而输出。
5.根据权利要求1所述的噪声去除装置，其特征在于， 干扰音去除部具备按频带功率抑制部，针对主波束信号和副波束信号的谱，比较每个频带的功率，在满足规定的抑制条件的情况下，抑制该主波束信号的相应的频带的功率；以及稳定噪音去除部，从由所述按频带功率抑制部抑制了的所述主波束信号的抑制谱，减去噪音的统计量。
6.根据权利要求5所述的噪声去除装置，其特征在于， 干扰音去除部具备谱保存存储器，将由稳定噪音去除部进行了减法计算后的主波束信号的抑制减法谱存储一定时间；置换可否判别部，根据从音源判别部输入的音源判别结果，判别是否将所述谱保存存储器中存储的一定时间前的抑制减法谱置换为基于噪音的统计量的谱；以及谱输出部，在由所述置换可否判别部判别为可置换的情况下，输出基于所述噪音的统计量的谱，在由所述置换可否判别部判别为不可置换的情况下，输出所述谱保存存储器中存储的一定时间前的所述抑制减法谱。
7.—种噪声去除程序，其特征在于，使计算机作为如下单元发挥功能指向性控制部，根据多个麦克风的输出信号，计算通过信号处理使指向性朝向了目的音方向的主波束信号和使死角朝向了目的音方向的副波束信号；频率分析部，对由所述指向性控制部计算出的所述主波束信号和所述副波束信号分别进行频率分析，计算所述主波束信号以及所述副波束信号的谱；音源判别部，根据由所述频率分析部计算出的所述主波束信号和所述副波束信号的谱判别音源的种类而作为音源判别结果输出，并且计算相对主波束信号的噪音的统计量；以及干扰音去除部，使用由所述频率分析部计算出的所述副波束信号的谱、以及由所述音源判别部输出的所述音源判别结果以及所述噪音的统计量，从该主波束信号的谱去除干扰音°
全文摘要
指向性控制部(10)根据多个麦克风(2、3)的输出信号，计算通过信号处理使指向性朝向了目的音方向的主波束信号和使死角朝向了目的音方向的副波束信号，频率分析部(20)变换为谱。音源判别部(30)根据主波束信号和副波束信号的谱判别音源是声音、稳定噪音、还是非稳定噪音，作为音源判别结果输出，并且计算相对主波束信号的噪音的统计量即平均谱。干扰音去除部(50)从主波束信号的谱减去平均谱而去除干扰音。
文档编号G10L21/02GK102227768SQ20098014718
公开日2011年10月26日 申请日期2009年1月6日 优先权日2009年1月6日
发明者成田知宏 申请人:三菱电机株式会社