一种基于毫米波雷达的手机扬声器语音恢复方法

本发明涉及毫米波雷达振动检测，尤其涉及一种基于毫米波雷达的手机扬声器语音恢复方法。

背景技术：

1、声音是由物体的振动产生的，如手机的发声是由扬声器振膜振动产生的。如果能精准的捕获发声单元的振动信息，我们就能从信息中恢复出音频。在现实生活中，用户在使用手机进行语音通信时，手机机身由于扬声器的振动会产生大约7μm的微小振动。如何通过微弱的振动识别出语音信息是毫米波感知技术中的一大难点。毫米波雷达是一类发射波长为毫米量级(1～10mm)的电磁波的特殊雷达。其中，毫米量级的电磁波称为毫米波。毫米波的波长短，可以检测物体表面的微小形变。因此，毫米波雷达可以通过检测从手机机身反射的毫米波信号来感知这些振动。不同于生活中常用的外置扬声器(如音响)，手机扬声器这类的内置扬声器体积小，振动幅度微弱。面对诸如手机扬声器这类的微小振动场景，采用常规的毫米波振动检测算法检测到的振动信号极易被各类噪声掩盖，如果不进行特殊处理，振动信号会被完全淹没在噪声中以至于无法有效地提取振动频谱。此外，提取到的振动频谱依旧包含大量的噪声，从包含大量噪声的振动频谱中恢复可读的音频信号具有一定的困难。

技术实现思路

1、针对现有技术的不足，本发明提出一种基于毫米波雷达的手机扬声器语音恢复方法。

2、具体技术方案如下：

3、一种基于毫米波雷达的手机扬声器语音恢复方法，包括以下步骤：

4、s1：通过毫米波雷达采集手机扬声器发声所引起的手机振动信号，得到原始数据，形成固定时长的数据帧，该数据帧为目标数据帧；

5、s2：基于所述目标数据帧，使用针对微小振动的相位提取算法提取目标振动信号；

6、s3：基于所述目标振动信号，进行时频变换，得到目标振动频谱；

7、s4：使用音频频谱重建网络从所述目标振动频谱中恢复音频，得到重建后的音频频谱；

8、s5：基于所述重建后的音频频谱，使用声码器从音频频谱中重建音频数据。

9、进一步地，所述目标数据帧为大小为[f,t,n,m]的四维矩阵，其中，f表示所述目标数据帧内的帧数，t表示毫米波雷达的接收天线数，n表示毫米波雷达发射的chirp信号个数，m表示每个chirp回波的采样点数。

10、进一步地，所述步骤s2中针对微小振动的相位提取算法具体通过以下子步骤实现：

11、(2.1)对一帧所述目标数据帧进行数据重组，得到数据组；

12、(2.2)基于所述数据组，在采样维度上进行快速傅立叶变换，得到目标距离矩阵；

13、(2.3)基于当前数据组的目标距离矩阵，使用cfar检测算法，得到当前数据帧的目标检测结果；

14、(2.4)基于所述当前数据帧的目标检测结果，从所述目标距离矩阵中提取当前数据帧的目标原始信号；

15、(2.5)对所述目标原始信号进行基于圆心拟合算法的直流偏移校正，得到校正后的目标原始信号；

16、(2.6)对所述校正后的目标原始信号提取相位，并使用去噪算法对其进行去噪，得到当前数据帧的子目标振动信号；

17、(2.7)将所有目标数据帧的子目标振动信号拼接，得到所述目标振动信号。

18、进一步地，所述步骤(2.1)中数据重组的方法具体为：在采样维度上对一帧目标数据帧进行步长为step，窗口为m-(g-1)*step的数据重组，得到大小为[g,n,m-(g-1)*step]的数据矩阵；最后在采样维度上进行数据补零，得到数据大小为[g,n,m]的数据组；其中g为数据组数，n表示毫米波雷达发射的chirp信号个数，m表示每个chirp回波的采样点数。

19、进一步地，所述步骤(2.3)具体通过以下子步骤实现：

20、(2.3.1)基于当前数据组的目标距离矩阵，计算目标距离功率谱，只使用目标距离矩阵的第一个组，即只从大小为[g,n,m]的目标距离矩阵中取一组大小为[n,m]的数据来计算目标距离功率谱；其中g为数据组数，n表示毫米波雷达发射的chirp信号个数，m表示每个chirp回波的采样点数；目标距离功率谱计算表达式如下：

21、wdb＝10*lg(pdata)                              (1)

22、式中，wdb表示距离功率，pdata表示大小为[n,m]的数据矩阵中的元素，lg(pdata)为对pdata矩阵中每个元素进行以10为底的对数运算；

23、(2.3.2)使用cfar窗口在所述目标距离功率谱的距离维度上滑动，将目标距离功率谱划分成多个与窗口大小相同的矩阵区域；cfar窗口包括：待检测单元、保护单元、参考单元；所述参考单元、保护单元均相对待检测单元对称设置，且参考单元位于保护单元的外侧；

24、(2.3.3)针对(2.3.2)中得到的矩阵区域中的每一待检测单元，使用os-cfar检测算法计算，得到参考单元和待检测单元的噪声估计；将所述待测单元的功率与噪声估计作比较，若待测单元的功率大于噪声估计，则该待测单元为子目标检测结果，否则为噪声，将该待测单元的能量置0；

25、(2.3.4)合并各矩阵区域的子目标检测结果，得到目标检测结果，将该组数据的目标检测结果作为当前数据帧的目标检测结果。

26、进一步地，所述步骤(2.5)中，基于圆心拟合算法的直流偏移校正具体为：将所述目标原始信号的实部作为x坐标，虚部作为y坐标，将直流偏移估计问题建模成圆心估计问题，使用levenberg–marquardt算法优化以下最小二乘问题：

27、

28、计算得到最优x0和y0后拼接成复数形式，得到估计的直流偏移x0+jy0；从目标原始信号中减去估计的直流偏移，完成直流偏移校正。

29、进一步地，所述步骤(2.6)具体通过以下操作实现：

30、相位提取：从复数信号中提取信号的相位，采用反正切解调提取相位；

31、相位展开：对折叠的相位进行展开，避免相位跳变；具体通过以下子步骤实现：

32、(2.6.1)令x(n)为长度为n的折叠相位；

33、(2.6.2)第二个相位值开始，计算当前相位值与前一个相位值差d；若d大于π/2，则当前点及后续所有点减去d；若d小于-π/2，则当前点及后续所有点加去d；

34、(2.6.3)重复步骤(2.6.1)、(2.6.2)，直至遍历完x(n)，得到展开的相位

35、使用高斯滤波和高通滤波对相位进行去噪，得到当前数据帧的子目标振动信号。

36、进一步地，所述步骤s3中，采用梅尔频谱进行时频变换。

37、进一步地，所述步骤s4中，所述音频频谱重建网络基于pix2pix网络结构实现，pix2pix架构的音频频谱重建网络包括生成器网络和判别器网络；

38、所述生成器网络主体采用unet结构，首先用一个卷积层将输入数据通道扩展至64，然后经过4个上采样块、1个中间块以及4个下采样块，对高维特征进行提取和去噪，最后通过一个卷积层将去噪后的高维特征压缩至单通道，作为去噪后的频谱输出；其中上采样块、中间块以及下采样块具有相同的基础块结构，所述基础块结构由残差块和自注意力层构成；生成器网络将含噪声的音频频谱与相同大小的随机噪声在通道维上堆叠，并将其作为输入，输出低噪声的音频频谱；

39、所述判别器网络采用patchgan的判别器，是全卷积神经网络；判别器网络的输入是频谱图，先通过5个卷积层提取特征，再通过sigmoid激活函数，最终输出一个元素值在[0,1]之间的矩阵；矩阵中的每个元素值表示网络对输入频谱图的一个局部区域的判别结果，值越接近1代表该频谱图的局部区域噪声越少。

40、进一步地，所述步骤s5中，使用声码器从音频频谱中重建音频数据具体为采用griffin lim算法从频谱中重建音频数据，具体通过以下子步骤实现：

41、(5.1)创建一个复数矩阵作为相位谱，将已知的幅度谱作为复数实部，用噪声随机初始化虚部；

42、(5.2)将所述相位谱与幅度谱经过逆短时傅里叶变换，得到初步的时域信号；

43、(5.3)对时域信号进行短时傅里叶变换，得到包含相位信息的复数矩阵，即新的相位谱，并用已知的振幅替换该复数矩阵的实部；

44、(5.4)重复步骤(5.2)、(5.3)，直至迭代次数到达指定的上限，输出重建的音频数据。

45、本发明的有益效果是：

46、(1)本发明提出针对微小振动的相位提取算法，能提取手机扬声器的微小振动信号，该算法也可以应用于其他微小振动场景。

47、(2)本发明采用音频重建网络，从包含大量噪声的振动频谱中重建音频数据，重建后的音频具有较高的语音可懂度。