丢包补偿方法及装置与流程
本说明书涉及音频处理技术领域，特别涉及一种丢包补偿方法。本说明书同时涉及一种丢包补偿装置，一种计算设备，以及一种计算机可读存储介质。
背景技术：
在各种音频处理任务中，会遇到本地降级甚至丢失的信息。譬如损坏的音频文件、音频传输中丢失的信息，以及被噪声本地干扰的音频信号。音频中丢失信息的恢复被称为音频补偿，音频内推/外推或波形代换。丢包补偿(重建)通常旨在提供连贯和有意义的信息，同时防止声音伪影，这样听者就不会知道发生了什么问题。丢包补偿属于语音增强范畴内的一种。
现有技术中使用“编码器”(encoder)+“解码器”(decoder)的dnn结构来根据上下文信息恢复丢失的音频内容，dnn结构的输入是64ms数据缺口的上下文音频数据的短时傅里叶变换的系数，dnn结构包括卷积层、全连接层、反卷积层。现有技术分别训练了复数系数和幅值系数两种dnn网络，复数dnn方案比幅值dnn的丢包补偿质量差。而对于幅值dnn方案，dnn网络仅输出幅值信息，相位信息需要单独计算：先设置相位的初始值，再利用算法迭代计算最终的相位，计算复杂度高，运行缓慢。
因此需要计算复杂度低并且丢包补偿质量高的操作或者处理。
技术实现要素：
有鉴于此，本说明书实施例提供了一种丢包补偿方法。本说明书同时涉及一种丢包补偿装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种丢包补偿方法，包括：
获取目标音频信号的丢包信号区段，其中所述丢包信号区段包括丢包位置，以及丢包位置的上下文预定时长的音频信号区段；
将所述丢包信号区段从时域变换到频域，得到第一频域参数；
将所述第一频域参数输入预先建立的基于深度神经网络的音频补偿模型，获得第二频域参数，其中，所述第二频域参数是与所述丢包位置相关的频域参数；
根据所述第二频域参数与所述第一频域参数得到第三频域参数。
可选的，丢包补偿方法还包括：
对所述第三频域参数进行从频域到时域的变换，得到经过丢包补偿的目标音频信号。
可选的，将所述丢包信号区段从时域变换到频域，得到第一频域参数，包括：
将所述丢包位置用零填充；
将所述丢包信号区段进行短时傅里叶变换，生成所述第一频域参数。
可选的，所述丢包位置的上下文预定时长的音频信号区段包括：位于丢包位置之前的第一数量个时域帧的第一音频信号区段和/或位于丢包位置之后的第二数量个时域帧的第二音频信号区段；
将所述丢包信号区段进行短时傅里叶变换，生成所述第一频域参数，包括：
基于预定帧长和帧步长，对所述第一音频信号区段和/或所述第二音频信号区段以及所述丢包位置进行短时傅里叶变换，获得符合所述帧步长的多个频域帧；
获得所述多个频域帧的频域参数作为所述第一频域参数。
可选的，基于预定帧长和帧步长，对所述第一音频信号区段和/或所述第二音频信号区段以及所述丢包位置进行短时傅里叶变换，获得符合所述帧步长的多个频域帧，包括：利用窗长度为所述预定帧长、步长为所述帧步长的汉宁窗，对所述第一音频信号区段和/或所述第二音频信号区段以及所述丢包位置进行短时傅里叶变换，获得符合所述帧步长的多个频域帧。
可选的，所述音频补偿模型包括：第一卷积层组、全连接层组、第二卷积层组和通讯层，所述第一频域参数包括第一幅值参数和第一相位参数，第二频域参数包括第二幅值参数和第二相位参数，所述通讯层位于所述第一卷积层组和所述第二卷积层组中，用于幅值参数和相位参数交互；
将所述第一频域参数输入预先建立的基于深度神经网络的音频补偿模型，获得第二频域参数，包括：
将所述多个频域帧中的每个频域帧的第一幅值参数输入第一卷积层组，得到中间参数；
将所述中间参数输入全连接层组，得到幅值实数；
计算参考幅值与所述幅值实数的乘积，作为与所述丢包位置相关的频域帧的第二幅值参数；
将所述多个频域帧中的每个频域帧的第一相位参数输入第二卷积层组，得到与所述丢包位置相关的频域帧的第二相位参数。
可选的，根据所述第二频域参数与所述第一频域参数得到第三频域参数，包括：
将所述第二频域参数与所述第一频域参数中的与丢包位置不相关的频域帧的频域参数进行拼接，得到第三频域参数。
可选的，所述丢包补偿方法还包括：
对所述第三频域参数进行从频域到时域的变换，得到经过丢包补偿的目标音频信号；
将所述经过丢包补偿的目标音频信号中的前m个时域帧的音频信号替换为原始的目标音频信号中的前m个时域帧的音频信号，将所述经过丢包补偿的目标音频信号中的后n个时域帧的音频信号替换为所述原始的目标音频信号中的后n个时域帧的音频信号，其中，m和n均为大于等于1的整数。
根据本说明书实施例的第二方面，提供了一种丢包补偿装置，包括：
获取模块，被配置为获取目标音频信号的丢包信号区段，其中所述丢包信号区段包括丢包位置，以及丢包位置的上下文预定时长的音频信号区段；
第一变换模块，被配置为将所述丢包信号区段从时域变换到频域，得到第一频域参数；
模型输入模块，被配置为将所述第一频域参数输入预先建立的基于深度神经网络的音频补偿模型，获得第二频域参数，其中，所述第二频域参数是与所述丢包位置相关的频域参数；
频域参数得到模块，被配置为根据所述第二频域参数与所述第一频域参数得到第三频域参数。
可选的，丢包补偿装置还包括：
第二变换模块，被配置为对所述第三频域参数进行从频域到时域的变换，得到经过丢包补偿的目标音频信号。
可选的，所述第一变换模块包括：
填充子模块，被配置为将所述丢包位置用零填充；
变换子模块，被配置为将所述丢包信号区段进行短时傅里叶变换，生成所述第一频域参数。
可选的，所述丢包位置的上下文预定时长的音频信号区段包括：位于丢包位置之前的第一数量个时域帧的第一音频信号区段和/或位于丢包位置之后的第二数量个时域帧的第二音频信号区段；
所述变换子模块还包括：
变换单元，被配置为基于预定帧长和帧步长，对所述第一音频信号区段和/或所述第二音频信号区段以及所述丢包位置进行短时傅里叶变换，获得符合所述帧步长的多个频域帧；
获得单元，获得所述多个频域帧的频域参数作为所述第一频域参数。
可选的，所述变换单元还被配置为：利用窗长度为所述预定帧长、步长为所述帧步长的汉宁窗，对所述第一音频信号区段和/或所述第二音频信号区段以及所述丢包位置进行短时傅里叶变换，获得符合所述帧步长的多个频域帧。
可选的，所述音频补偿模型包括：第一卷积层组、全连接层组、第二卷积层组和通讯层，所述第一频域参数包括第一幅值参数和第一相位参数，第二频域参数包括第二幅值参数和第二相位参数，所述通讯层位于所述第一卷积层组和所述第二卷积层组中，用于幅值参数和相位参数交互；
所述模型输入模块还被配置为：
将所述多个频域帧中的每个频域帧的第一幅值参数输入第一卷积层组，得到中间参数；
将所述中间参数输入全连接层组，得到幅值实数；
计算参考幅值与所述幅值实数的乘积，作为与所述丢包位置相关的频域帧的第二幅值参数；
将所述多个频域帧中的每个频域帧的第一相位参数输入第二卷积层组，得到与所述丢包位置相关的频域帧的第二相位参数。
可选的，所述频域参数得到模块还被配置为：
将所述第二频域参数与所述第一频域参数中的与丢包位置不相关的频域帧的频域参数进行拼接，得到第三频域参数。
可选的，所述丢包补偿装置还包括：
第三变换模块，被配置为对所述第三频域参数进行从频域到时域的变换，得到经过丢包补偿的目标音频信号；
替换模块，被配置为将所述经过丢包补偿的目标音频信号中的前m个时域帧的音频信号替换为原始的目标音频信号中的前m个时域帧的音频信号，将所述经过丢包补偿的目标音频信号中的后n个时域帧的音频信号替换为所述原始的目标音频信号中的后n个时域帧的音频信号，其中，m和n均为大于等于1的整数。
根据本说明书实施例的第三方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
获取目标音频信号的丢包信号区段，其中所述丢包信号区段包括丢包位置，以及丢包位置的上下文预定时长的音频信号区段；
将所述丢包信号区段从时域变换到频域，得到第一频域参数；
将所述第一频域参数输入预先建立的基于深度神经网络的音频补偿模型，获得第二频域参数，其中，所述第二频域参数是与所述丢包位置相关的频域参数；
根据所述第二频域参数与所述第一频域参数得到第三频域参数。
根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现任意所述丢包补偿方法的步骤。
本说明书提供的丢包补偿方法，通过获取目标音频信号的丢包信号区段；将所述丢包信号区段从时域变换到频域，得到第一频域参数；将所述第一频域参数输入预先建立的基于深度神经网络的音频补偿模型，获得第二频域参数；根据所述第二频域参数与所述第一频域参数得到第三频域参数，利用丢包位置的上下文音频信号对丢包位置进行补偿，将相位和幅值同时输入基于深度神经网络的音频补偿模型进行预测，降低了计算复杂度并且提高了丢包补偿质量。
附图说明
图1是本说明书一实施例提供的一种丢包补偿方法的流程图；
图2是本说明书一实施例提供的一种丢包补偿方法中的时域丢包的示意图；
图3是本说明书一实施例提供的一种丢包补偿方法中的时域到频域的转换示意图；
图4是本说明书一实施例提供的一种丢包补偿方法中的深度神经网络的模型框架图；
图5是本说明书一实施例提供的一种丢包补偿方法中的经丢包补偿的音频信号的时域波形图与频谱图的示意图；
图6是本说明书一实施例提供的一种丢包补偿装置的结构示意图；
图7是本说明书一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本说明书中，提供了一种丢包补偿方法，本说明书同时涉及一种丢包补偿装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
图1示出了根据本说明书一实施例提供的一种丢包补偿方法的流程图，具体包括步骤102至108。
步骤102：获取目标音频信号的丢包信号区段，其中所述丢包信号区段包括丢包位置，以及丢包位置的上下文预定时长的音频信号区段。
目标音频信号是存在信息丢失的待丢包补偿的音频信号，丢包位置是音频信号中丢失信息的信号位置。可以以各种方式、途径获取目标音频信号，例如可以主动从服务器、客户端、网络监控端等获取或被动获取。丢包位置的上下文预定时长的音频信号区段包括：位于丢包位置之前的第一数量个时域帧的第一音频信号区段和/或位于丢包位置之后的第二数量个时域帧的第二音频信号区段，利用丢包位置前后的上下文音频数据作为输入，可以更好地预测谐波信息，第一数量与第二数量可以相同，也可以不同。
下面结合图2进行说明，图2是本说明书一实施例提供的一种丢包补偿方法中的时域丢包的示意图。如图2中所示，t_gap表示丢包位置，位于丢包位置之前和之后的t_left-side、t_right-side分别表示丢包位置之前和之后的音频信号区段，丢包位置t_gap之前有t1至t6共6个时域帧，丢包位置之后有t8至t13共6个时域帧。例如，可以取t_gap＝8毫秒，t_left_side＝48毫秒，t_right_side＝48毫秒，t_left_side与t_right_side可以取不同值，只要t_left_side与t_right_side为t_gap提供足够谐波相关性即可。
步骤104：将所述丢包信号区段从时域变换到频域，得到第一频域参数。
第一频域参数可以包括第一幅值参数和第一相位参数。
具体地，步骤104可以通过以下来实现：
s1、将所述丢包位置用零填充；
s2、将所述丢包信号区段进行短时傅里叶变换，生成所述第一频域参数。
短时傅里叶变换(stft，short-timefouriertransform)是指将信号加滑动时间窗，并对窗内信号做傅立叶变换，得到信号的时变频谱，用以确定信号其局部区域正弦波的频率与相位。短时傅里叶变换使用一个固定的窗函数，窗函数一旦确定了以后，其形状就不再发生改变，短时傅里叶变换的分辨率也就确定了。
进一步地，s2可以通过以下来实现：
基于预定帧长和帧步长，对所述第一音频信号区段和/或所述第二音频信号区段以及所述丢包位置进行短时傅里叶变换，获得符合所述帧步长的多个频域帧；
获得所述多个频域帧的频域参数作为所述第一频域参数。
具体地，可以利用窗长度为所述预定帧长、步长为所述帧步长的汉宁窗，对所述第一音频信号区段和/或所述第二音频信号区段以及所述丢包位置进行短时傅里叶变换，获得符合所述帧步长的多个频域帧。
下面结合图3进行说明，图3是本说明书一实施例提供的一种丢包补偿方法中的时域到频域的转换示意图。在音频输入为16k采样率的情况下，8毫秒的丢包位置为128采样。取帧长为512,帧步长为128，利用汉宁窗进行短时傅里叶变换，其中，汉宁窗长度为512，步长为128，不加边缘填充(padding)，不加边缘填充可以规避预测输出的幅值低的问题。图3中虚线表示t_gap，t_gap左侧为t_left_side，t_gap右侧为t_right_side。短时傅里叶变换之后，t_gap左侧的t_left_side生成了帧1、帧2和帧3共3个频域帧；t_gap右侧的t_right_side生成了帧8、帧9和帧10共3个频域帧；频域中与t_gap相关的是帧4、帧5、帧6和帧7共4个频域帧。即，利用汉宁窗将13个时域帧的音频信号转换到频域得到10个频域帧，获得10个频域帧的幅值参数和相位参数作为第一频域参数。
步骤106：将所述第一频域参数输入预先建立的基于深度神经网络的音频补偿模型，获得第二频域参数，其中，所述第二频域参数是与所述丢包位置相关的频域参数。
第二频域参数包括第二幅值参数和第二相位参数，第二频域参数是与t_gap相关的第二幅值参数和第二相位参数。下面结合图4对音频补偿模型进行说明，图4是本说明书一实施例提供的一种丢包补偿方法中的深度神经网络的模型框架图。如图4所示，音频补偿模型包括：第一卷积层组、全连接层组、第二卷积层组和通讯层(图4中示为信息通讯)，所述通讯层位于所述第一卷积层组和所述第二卷积层组中，用于幅值参数和相位参数交互。
具体地，如图4所示，神经网络框架中采用幅值流(左侧)和相位流(右侧)，幅值流用于预测幅值实数(mask)，相位流用于预测相位。以图3中的10个频域帧为例进行说明，该神经网络的输入是10个频域帧的第一频域参数，输入的形状(shape)为(batch,10,257,2)，batch是超参数，为定义更新模型参数之前处理的样本数，10为频域帧数目，257由512点短时傅里叶变换决定，2为通道数。神经网络的输出为与丢包位置相关的4个频域帧的第二频域参数，输出的形状为(batch,4,257,2)。
输入的形状取决于步骤102和104中的具体参数，幅度流和相位流的输入可以相同也可以不同，输入和输出的形状可以相同或不同，本申请中不作具体限制。
下面描述深度神经网络的模型框架的具体结构。幅值流包括第一卷积层组、全连接层组和通讯层，相位流包括第二卷积层组和通讯层。第一卷积层组、全连接层组、第二卷积层组各自包括多个层，每个层的输入是前一层的输出。图4中所示卷积层与全连接层的层数与特征数仅为示例，层数与特征数可以有变化。通讯层设置在第一卷积层组中的卷积层之间，并且设置在第二卷积层组中的卷积层之间，用于实现幅值流和相位流交互。具体地，通讯层通过
具体地，步骤106可以通过以下实现：
将所述多个频域帧中的每个频域帧的第一幅值参数输入第一卷积层组，得到中间参数；
将所述中间参数输入全连接层组，得到幅值实数；
计算参考幅值与所述幅值实数的乘积，作为与所述丢包位置相关的频域帧的第二幅值参数；
将所述多个频域帧中的每个频域帧的第一相位参数输入第二卷积层组，得到与所述丢包位置相关的频域帧的第二相位参数。
以图3中的10个频域帧为例进行说明，将10个频域帧的第一幅值参数输入第一卷积层组、全连接层组，幅值流的输出为幅值实数，将其与参考幅值相乘得到帧4至帧7四个频域帧的第二幅值参数，作为示例，参考幅值例如可以从左到右取四帧为帧4、帧4、帧7、帧7。幅值自身范围大，无法很好地直接预测目标幅值。预测幅值实数实现的预测效果远好于直接预测幅值的预测效果。将10个频域帧的第一相位参数输入相位流中的第二卷积层组，经过第二卷积层组与通讯层之后进行幅值归一化，得到帧4至帧7四个频域帧的第二相位参数。将包含丢包位置的帧4至帧7四个频域帧的第二幅值参数和第二相位参数作为所述第二频域参数。
采用上述深度神经网络的模型框架，相位与幅值同时训练，解决了相位单独不好训练的问题，改善丢包补偿后的音频质量。此外，该模型采用全连接层，降低了模型复杂度，提高了补偿速度，在丢包位置前后仅需要6*t_gap毫秒的数据，可补偿t_gap毫秒的丢包数据，更适合于基于rtp/udp的低延时直播网络。
步骤108：根据所述第二频域参数与所述第一频域参数得到第三频域参数。
具体地，可以将所述第二频域参数与所述第一频域参数中的与丢包位置不相关的频域帧的频域参数进行拼接，得到第三频域参数。
以图3中的10个频域帧为例进行说明，包含丢包位置的四个频域帧(帧4至帧7)的第二幅值参数和第二相位参数是所述第二频域参数，将其与第一频域参数中的帧1至帧3以及帧8至帧10的频域参数进行拼接，得到第三频域参数。
本说明书的丢包补偿方法利用丢包位置的上下文音频信号对丢包位置进行补偿，将相位和幅值同时输入基于深度神经网络的音频补偿模型进行预测，降低了计算复杂度并且提高了丢包补偿质量。
在本说明书一实施例中，帧长是帧步长的四倍，这样可以解决拼接问题。在具体应用中，帧长和帧步长的比值可以取其他值，比值越大，丢包补偿效果越好，所需t_left_side与t_right_side越大。
在本说明书一实施例中，丢包补偿方法还包括：
对所述第三频域参数进行从频域到时域的变换，得到经过丢包补偿的目标音频信号。
实际应用中可以对拼接后的频谱进行短时傅里叶反变换，得到经过丢包补偿的时域音频信号。
在本说明书一实施例中，丢包补偿方法还包括：
将所述经过丢包补偿的目标音频信号中的前m个时域帧的音频信号替换为原始的目标音频信号中的前m个时域帧的音频信号，将所述经过丢包补偿的目标音频信号中的后n个时域帧的音频信号替换为所述原始的目标音频信号中的后n个时域帧的音频信号，其中，m和n均为大于等于1的整数。
由于在短时傅里叶变换时利用了汉宁窗，所以经过丢包补偿的时域音频信号前m个和后n个时域帧(即m×帧步长和n×帧步长个采样点)与原始信号不符，需要将这些采样点替换为已知的原始输入的信号。
以图3中的10个频域帧为例进行说明，由于短时傅里叶反变换时，每一个时域帧需要四个频域帧来生成，例如，时域帧t4由频域帧1至频域帧4生成，时域帧t6由频域帧3至频域帧6生成。与时域t1/t2/t3和t11/t12/t13对应的频域帧不足四个，短时傅里叶反变换后的时域t1’/t2’/t3’和t11’/t12’/t13’帧是不正确的，因此将t1’/t2’/t3’和t11’/t12’/t13’分别用原始输入的音频信号的时域帧t1/t2/t3和t11/t12/t13替换。
经过上述步骤之后，得到如图5中的第一行中的经丢包补偿的音频信号。图5中的第二行示出了第一行的音频信号对应的频谱图，第一列是原始的参考信号，第二列为模拟的有丢包(中间为零的区域)的信号，最后一列为通过神经网络进行丢包补偿后的信号。
与上述方法实施例相对应，本说明书还提供了丢包补偿装置实施例，图6示出了本说明书一实施例提供的一种丢包补偿装置的结构示意图。如图6所示，该装置包括：
获取模块602，被配置为获取目标音频信号的丢包信号区段，其中所述丢包信号区段包括丢包位置，以及丢包位置的上下文预定时长的音频信号区段；
第一变换模块604，被配置为将所述丢包信号区段从时域变换到频域，得到第一频域参数；
模型输入模块606，被配置为将所述第一频域参数输入预先建立的基于深度神经网络的音频补偿模型，获得第二频域参数，其中，所述第二频域参数是与所述丢包位置相关的频域参数；
频域参数得到模块608，被配置为根据所述第二频域参数与所述第一频域参数得到第三频域参数。
本说明书的丢包补偿装置利用丢包位置的上下文音频信号对丢包位置进行补偿，将相位和幅值同时输入基于深度神经网络的音频补偿模型进行预测，降低了计算复杂度并且提高了丢包补偿质量。
可选的，丢包补偿装置还包括：
第二变换模块，被配置为对所述第三频域参数进行从频域到时域的变换，得到经过丢包补偿的目标音频信号。
可选的，所述第一变换模块包括：
填充子模块，被配置为将所述丢包位置用零填充；
变换子模块，被配置为将所述丢包信号区段进行短时傅里叶变换，生成所述第一频域参数。
可选的，所述丢包位置的上下文预定时长的音频信号区段包括：位于丢包位置之前的第一数量个时域帧的第一音频信号区段和/或位于丢包位置之后的第二数量个时域帧的第二音频信号区段；
所述变换子模块还包括：
变换单元，被配置为基于预定帧长和帧步长，对所述第一音频信号区段和/或所述第二音频信号区段以及所述丢包位置进行短时傅里叶变换，获得符合所述帧步长的多个频域帧；
获得单元，获得所述多个频域帧的频域参数作为所述第一频域参数。
可选的，所述变换单元还被配置为：利用窗长度为所述预定帧长、步长为所述帧步长的汉宁窗，对所述第一音频信号区段和/或所述第二音频信号区段以及所述丢包位置进行短时傅里叶变换，获得符合所述帧步长的多个频域帧。
可选的，所述音频补偿模型包括：第一卷积层组、全连接层组、第二卷积层组和通讯层，所述第一频域参数包括第一幅值参数和第一相位参数，第二频域参数包括第二幅值参数和第二相位参数，所述通讯层位于所述第一卷积层组和所述第二卷积层组中，用于幅值参数和相位参数交互；
所述模型输入模块还被配置为：
将所述多个频域帧中的每个频域帧的第一幅值参数输入第一卷积层组，得到中间参数；
将所述中间参数输入全连接层组，得到幅值实数；
计算参考幅值与所述幅值实数的乘积，作为与所述丢包位置相关的频域帧的第二幅值参数；
将所述多个频域帧中的每个频域帧的第一相位参数输入第二卷积层组，得到与所述丢包位置相关的频域帧的第二相位参数。
可选的，所述频域参数得到模块还被配置为：
将所述第二频域参数与所述第一频域参数中的与丢包位置不相关的帧的频域参数进行拼接，得到第三频域参数。
可选的，所述丢包补偿装置还包括：
第三变换模块，被配置为对所述第三频域参数进行从频域到时域的变换，得到经过丢包补偿的目标音频信号；
替换模块，被配置为将所述经过丢包补偿的目标音频信号中的前m个时域帧的音频信号替换为原始的目标音频信号中的前m个时域帧的音频信号，将所述经过丢包补偿的目标音频信号中的后n个时域帧的音频信号替换为所述原始的目标音频信号中的后n个时域帧的音频信号，其中，m和n均为大于等于1的整数。
上述为本实施例的一种丢包补偿装置的示意性方案。需要说明的是，该丢包补偿装置的技术方案与上述的丢包补偿方法的技术方案属于同一构思，丢包补偿装置的技术方案未详细描述的细节内容，均可以参见上述丢包补偿方法的技术方案的描述。
图7示出了根据本说明书一实施例提供的一种计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接，数据库750用于保存数据。
计算设备700还包括接入设备740，接入设备740使得计算设备700能够经由一个或多个网络760通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备740可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(nic))中的一个或多个，诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口，等等。
在本说明书的一个实施例中，计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图7所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备700可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或pc的静止计算设备。计算设备700还可以是移动式或静止式的服务器。
其中，处理器720用于执行如下计算机可执行指令：
获取目标音频信号的丢包信号区段，其中所述丢包信号区段包括丢包位置，以及丢包位置的上下文预定时长的音频信号区段；
将所述丢包信号区段从时域变换到频域，得到第一频域参数；
将所述第一频域参数输入预先建立的基于深度神经网络的音频补偿模型，获得第二频域参数，其中，所述第二频域参数是与所述丢包位置相关的频域参数；
根据所述第二频域参数与所述第一频域参数得到第三频域参数。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的丢包补偿方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述丢包补偿方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于：
获取目标音频信号的丢包信号区段，其中所述丢包信号区段包括丢包位置，以及丢包位置的上下文预定时长的音频信号区段；
将所述丢包信号区段从时域变换到频域，得到第一频域参数；
将所述第一频域参数输入预先建立的基于深度神经网络的音频补偿模型，获得第二频域参数，其中，所述第二频域参数是与所述丢包位置相关的频域参数；
根据所述第二频域参数与所述第一频域参数得到第三频域参数。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的丢包补偿方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述丢包补偿方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书并不受所描述的动作顺序的限制，因为依据本说明书，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
- 还没有人留言评论。精彩留言会获得点赞！