音频信号恢复方法、装置、电子设备及可读存储介质与流程

本申请属于信号处理领域，具体涉及一种音频信号恢复方法、装置、电子设备及可读存储介质。

背景技术：

1、目前，在基于网际协议(internet protocol，ip)的语音通信中，语音通常会被分割成较小的语音数据包，并按一定时序进行传输。

2、然而，在相关技术中，在实际通过通信信道传输语音数据包的过程中，由于网络拥塞、抖动延迟等原因，经常会导致在传输过程中出现语音丢包现象。如此，容易导致语音通话质量较差。

技术实现思路

1、本申请实施例的目的是提供一种音频信号恢复方法、装置、电子设备及可读存储介质，能够提升语音通话的质量。

2、第一方面，本申请实施例提供了一种音频信号恢复方法，该方法包括：在第一语音信号丢失的情况下，将缓存的第二语音信号输入第一音频信号恢复模型，第一音频信号恢复模型包括编码模块和解码模块，编码模块包括m层第一残差网络层，解码模块包括m层第二残差网络层；将第二语音信号经m层第一残差网络层依次处理，得到第一时域特征信息；将第一时域特征信息经m层第二残差网络层依次处理，得到目标语音信号；其中，第二语音信号包括以下至少之一：第一语音信号前的x帧语音信号，第一语音信号之后的y帧语音信号，m，x，y为正整数。

3、第二方面，本申请实施例提供了一种音频信号恢复装置，该装置包括：输入模块和处理模块；输入模块，用于在第一语音信号丢失的情况下，将缓存的第二语音信号输入第一音频信号恢复模型，第一音频信号恢复模型包括编码模块和解码模块，编码模块包括m层第一残差网络层，解码模块包括m层第二残差网络层；处理模块，用于将第二语音信号经m层第一残差网络层依次处理，得到第一时域特征信息；处理模块，还用于将第一时域特征信息经m层第二残差网络层依次处理，得到目标语音信号；其中，第二语音信号包括以下至少之一：第一语音信号前的x帧语音信号，第一语音信号之后的y帧语音信号，m，x，y为正整数。

4、第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

5、第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

6、第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

7、第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

8、在本申请实施例中，在第一语音信号丢失的情况下，将缓存的第二语音信号输入第一音频信号恢复模型，第一音频信号恢复模型包括编码模块和解码模块，编码模块包括m层第一残差网络层，解码模块包括m层第二残差网络层；将第二语音信号经m层第一残差网络层依次处理，得到第一时域特征信息；将第一时域特征信息经m层第二残差网络层依次处理，得到目标语音信号；其中，第二语音信号包括以下至少之一：第一语音信号前的x帧语音信号，第一语音信号之后的y帧语音信号，m，x，y为正整数。通过该方案，在语音通话时，若丢失了某个语音信号，则可以通过音频信号恢复模型中的编码模块的残差网络层提取缓存的丢失语音信号前或丢失语音信号后的语音信号的时域特征信息，并通过音频信号恢复模型中的解码模块的残差网络层合成编码模块提取的时域特征信息，恢复出丢失的语音信号。如此，由于可以在语音信号丢失的情况下，通过将缓存的语音信号输入音频信号恢复模型恢复出丢失的语音信号，因此在语音信号的传输过程中，可以通过音频信号恢复模型恢复出丢失的语音信号，从而避免用户感知到语音数据包的丢失，降低语音数据包丢失所带来的负面影响，进而可以有效地提高语音通话的质量。

技术特征：

1.一种音频信号恢复方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述第二语音信号经所述m层第一残差网络层依次处理，得到第一时域特征信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述第二时域特征信息经所述m层第一残差网络层依次处理，得到所述第一时域特征信息，包括：

4.根据权利要求2或3所述的方法，其特征在于，所述编码模块还包括m层下采样层，所述m层下采样层与所述m个第一残差网络层交替排列；

5.根据权利要求1所述的方法，其特征在于，所述将所述第一时域特征信息经所述m层第二残差网络层依次处理，得到目标语音信号，包括：

6.根据权利要求5所述的方法，其特征在于，所述将所述第一时域特征信息经m层第二残差网络层依次处理，得到第六时域特征信息，包括：

7.根据权利要求5或6所述的方法，其特征在于，所述解码模块还包括m层上采样层，所述m层上采样层与所述m个第二残差网络层交替排列；

8.根据权利要求1所述的方法，其特征在于，在所述第二语音信号为多帧语音信号的情况下，所述将所述第二语音信号经所述m层第一残差网络层依次处理，得到第一时域特征信息之前，所述方法还包括：

9.根据权利要求1所述的方法，其特征在于，所述在第一语音信号丢失的情况下，将缓存的第二语音信号输入第一音频信号恢复模型之前，所述方法还包括：

10.一种音频信号恢复的装置，其特征在于，所述装置包括：输入模块和处理模块；

11.根据权利要求10所述的装置，其特征在于，所述处理模块，具体用于：

12.根据权利要求11所述的装置，其特征在于，所述处理模块，具体用于：

13.根据权利要求11或12所述的装置，其特征在于，所述编码模块还包括m层下采样层，所述m层下采样层与所述m个第一残差网络层交替排列；

14.根据权利要求10所述的装置，其特征在于，所述处理模块，具体用于：

15.根据权利要求14所述的装置，其特征在于，所述处理模块，具体用于：

16.根据权利要求14或15所述的装置，其特征在于，所述解码模块还包括m层上采样层，所述m层上采样层与所述m个第二残差网络层交替排列；

17.根据权利要求10所述的装置，其特征在于，所述处理模块，还用于在所述第二语音信号为多帧语音信号的情况下，在将所述第二语音信号经所述m层第一残差网络层依次处理得到第一时域特征信息之前，将所述多帧语音信号输入所述第一音频信号恢复模型之后，将所述多帧语音信号映射为一帧语音信号；

18.根据权利要求10所述的装置，其特征在于，所述装置还包括：获取模块；

19.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至9任一项所述的音频信号恢复方法的步骤。

20.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至9任一项所述的音频信号恢复方法的步骤。

技术总结
本申请公开了一种音频信号恢复方法、装置、电子设备及可读存储介质，属于信号处理领域，该方法包括：在第一语音信号丢失的情况下，将缓存的第二语音信号输入第一音频信号恢复模型，第一音频信号恢复模型包括编码模块和解码模块，编码模块包括M层第一残差网络层，编码模块包括M层第二残差网络层；将第二语音信号经M层第一残差网络层依次处理，得到第一时域特征信息；将第一时域特征信息经M层第二残差网络层依次处理，得到目标语音信号；其中，第二语音信号包括以下至少之一：第一语音信号前的X帧语音信号，第一语音信号之后的Y帧语音信号，M，X，Y为正整数。

技术研发人员：张勇
受保护的技术使用者：维沃移动通信有限公司
技术研发日：
技术公布日：2024/1/15