丢包补偿方法及装置与流程

文档序号:22166947发布日期:2020-09-11 20:39阅读:来源:国知局

技术特征:

1.一种丢包补偿方法,包括:

获取目标音频信号的丢包信号区段,其中所述丢包信号区段包括丢包位置,以及丢包位置的上下文预定时长的音频信号区段;

将所述丢包信号区段从时域变换到频域,得到第一频域参数;

将所述第一频域参数输入预先建立的基于深度神经网络的音频补偿模型,获得第二频域参数,其中,所述第二频域参数是与所述丢包位置相关的频域参数;

根据所述第二频域参数与所述第一频域参数得到第三频域参数。

2.如权利要求1所述的丢包补偿方法,还包括:

对所述第三频域参数进行从频域到时域的变换,得到经过丢包补偿的目标音频信号。

3.如权利要求1或2所述的丢包补偿方法,其中,将所述丢包信号区段从时域变换到频域,得到第一频域参数,包括:

将所述丢包位置用零填充;

将所述丢包信号区段进行短时傅里叶变换,生成所述第一频域参数。

4.如权利要求3所述的丢包补偿方法,其中,所述丢包位置的上下文预定时长的音频信号区段包括:位于丢包位置之前的第一数量个时域帧的第一音频信号区段和/或位于丢包位置之后的第二数量个时域帧的第二音频信号区段;

将所述丢包信号区段进行短时傅里叶变换,生成所述第一频域参数,包括:

基于预定帧长和帧步长,对所述第一音频信号区段和/或所述第二音频信号区段以及所述丢包位置进行短时傅里叶变换,获得符合所述帧步长的多个频域帧;

获得所述多个频域帧的频域参数作为所述第一频域参数。

5.如权利要求4所述的丢包补偿方法,其中,基于预定帧长和帧步长,对所述第一音频信号区段和/或所述第二音频信号区段以及所述丢包位置进行短时傅里叶变换,获得符合所述帧步长的多个频域帧,包括:利用窗长度为所述预定帧长、步长为所述帧步长的汉宁窗,对所述第一音频信号区段和/或所述第二音频信号区段以及所述丢包位置进行短时傅里叶变换,获得符合所述帧步长的多个频域帧。

6.如权利要求4或5所述的丢包补偿方法,其中,所述音频补偿模型包括:第一卷积层组、全连接层组、第二卷积层组和通讯层,所述第一频域参数包括第一幅值参数和第一相位参数,第二频域参数包括第二幅值参数和第二相位参数,所述通讯层位于所述第一卷积层组和所述第二卷积层组中,用于幅值参数和相位参数交互;

将所述第一频域参数输入预先建立的基于深度神经网络的音频补偿模型,获得第二频域参数,包括:

将所述多个频域帧中的每个频域帧的第一幅值参数输入第一卷积层组,得到中间参数;

将所述中间参数输入全连接层组,得到幅值实数;

计算参考幅值与所述幅值实数的乘积,作为与所述丢包位置相关的频域帧的第二幅值参数;

将所述多个频域帧中的每个频域帧的第一相位参数输入第二卷积层组,得到与所述丢包位置相关的频域帧的第二相位参数。

7.如权利要求4所述的丢包补偿方法,其中,根据所述第二频域参数与所述第一频域参数得到第三频域参数,包括:

将所述第二频域参数与所述第一频域参数中的与丢包位置不相关的频域帧的频域参数进行拼接,得到第三频域参数。

8.如权利要求7所述的丢包补偿方法,其中,所述丢包补偿方法还包括:

对所述第三频域参数进行从频域到时域的变换,得到经过丢包补偿的目标音频信号;

将所述经过丢包补偿的目标音频信号中的前m个时域帧的音频信号替换为原始的目标音频信号中的前m个时域帧的音频信号,将所述经过丢包补偿的目标音频信号中的后n个时域帧的音频信号替换为所述原始的目标音频信号中的后n个时域帧的音频信号,其中,m和n均为大于等于1的整数。

9.一种丢包补偿装置,包括:

获取模块,被配置为获取目标音频信号的丢包信号区段,其中所述丢包信号区段包括丢包位置,以及丢包位置的上下文预定时长的音频信号区段;

第一变换模块,被配置为将所述丢包信号区段从时域变换到频域,得到第一频域参数;

模型输入模块,被配置为将所述第一频域参数输入预先建立的基于深度神经网络的音频补偿模型,获得第二频域参数,其中,所述第二频域参数是与所述丢包位置相关的频域参数;

频域参数得到模块,被配置为根据所述第二频域参数与所述第一频域参数得到第三频域参数。

10.如权利要求9所述的丢包补偿装置,还包括:

第二变换模块,被配置为对所述第三频域参数进行从频域到时域的变换,得到经过丢包补偿的目标音频信号。

11.如权利要求9或10所述的丢包补偿装置,其中,所述第一变换模块包括:

填充子模块,被配置为将所述丢包位置用零填充;

变换子模块,被配置为将所述丢包信号区段进行短时傅里叶变换,生成所述第一频域参数。

12.如权利要求11所述的丢包补偿装置,其中,所述丢包位置的上下文预定时长的音频信号区段包括:位于丢包位置之前的第一数量个时域帧的第一音频信号区段和/或位于丢包位置之后的第二数量个时域帧的第二音频信号区段;

所述变换子模块还包括:

变换单元,被配置为基于预定帧长和帧步长,对所述第一音频信号区段和/或所述第二音频信号区段以及所述丢包位置进行短时傅里叶变换,获得符合所述帧步长的多个频域帧;

获得单元,获得所述多个频域帧的频域参数作为所述第一频域参数。

13.如权利要求12所述的丢包补偿装置,其中,所述变换单元还被配置为:利用窗长度为所述预定帧长、步长为所述帧步长的汉宁窗,对所述第一音频信号区段和/或所述第二音频信号区段以及所述丢包位置进行短时傅里叶变换,获得符合所述帧步长的多个频域帧。

14.如权利要求12或13所述的丢包补偿装置,其中,所述音频补偿模型包括:第一卷积层组、全连接层组、第二卷积层组和通讯层,所述第一频域参数包括第一幅值参数和第一相位参数,第二频域参数包括第二幅值参数和第二相位参数,所述通讯层位于所述第一卷积层组和所述第二卷积层组中,用于幅值参数和相位参数交互;

所述模型输入模块还被配置为:

将所述多个频域帧中的每个频域帧的第一幅值参数输入第一卷积层组,得到中间参数;

将所述中间参数输入全连接层组,得到幅值实数;

计算参考幅值与所述幅值实数的乘积,作为与所述丢包位置相关的频域帧的第二幅值参数;

将所述多个频域帧中的每个频域帧的第一相位参数输入第二卷积层组,得到与所述丢包位置相关的频域帧的第二相位参数。

15.如权利要求12所述的丢包补偿装置,其中,所述频域参数得到模块还被配置为:

将所述第二频域参数与所述第一频域参数中的与丢包位置不相关的频域帧的频域参数进行拼接,得到第三频域参数。

16.如权利要求15所述的丢包补偿装置,其中,所述丢包补偿装置还包括:

第三变换模块,被配置为对所述第三频域参数进行从频域到时域的变换,得到经过丢包补偿的目标音频信号;

替换模块,被配置为将所述经过丢包补偿的目标音频信号中的前m个时域帧的音频信号替换为原始的目标音频信号中的前m个时域帧的音频信号,将所述经过丢包补偿的目标音频信号中的后n个时域帧的音频信号替换为所述原始的目标音频信号中的后n个时域帧的音频信号,其中,m和n均为大于等于1的整数。

17.一种计算设备,包括:

存储器和处理器;

所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:

获取目标音频信号的丢包信号区段,其中所述丢包信号区段包括丢包位置,以及丢包位置的上下文预定时长的音频信号区段;

将所述丢包信号区段从时域变换到频域,得到第一频域参数;

将所述第一频域参数输入预先建立的基于深度神经网络的音频补偿模型,获得第二频域参数,其中,所述第二频域参数是与所述丢包位置相关的频域参数;

根据所述第二频域参数与所述第一频域参数得到第三频域参数。

18.一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现权利要求1至8任意一项所述丢包补偿方法的步骤。


技术总结
本说明书提供丢包补偿方法及装置,其中所述丢包补偿方法包括:获取目标音频信号的丢包信号区段,其中所述丢包信号区段包括丢包位置,以及丢包位置的上下文预定时长的音频信号区段;将所述丢包信号区段从时域变换到频域,得到第一频域参数;将所述第一频域参数输入预先建立的基于深度神经网络的音频补偿模型,获得第二频域参数,其中,所述第二频域参数是与所述丢包位置相关的频域参数;根据所述第二频域参数与所述第一频域参数得到第三频域参数。本说明书的丢包补偿方法利用丢包位置的上下文音频信号对丢包位置进行补偿,将相位和幅值同时输入基于深度神经网络的音频补偿模型进行预测,降低了计算复杂度并且提高了丢包补偿质量。

技术研发人员:王晓红;陈佳璐;刘鲁鹏;元海明;高强;夏龙;郭常圳
受保护的技术使用者:北京猿力未来科技有限公司
技术研发日:2020.06.01
技术公布日:2020.09.11
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1