一种基于生成对抗网络的全带宽谱系数生成方法及系统与流程

1.本技术涉及音频编解码技术领域，特别涉及一种基于生成对抗网络的全带宽谱系数生成方法及系统。


背景技术：

2.目前主流的蓝牙音频编码器如下：sbc：a2dp协议强制要求，使用最为广泛，是所有的蓝牙音频设备必须支持的，但音质一般；aac-lc:音质较好且应用较为广泛，很多主流的手机都支持，但与sbc相比，内存占用较大，且运算复杂度高，很多蓝牙设备都基于嵌入式平台，电池容量有限，处理器运算能力较差且内存有限，而且，其专利费较高；aptx系列：音质较好，但码率很高，aptx需要码率384kbps，而aptx-hd的码率为576kbps,且为高通独有的技术，较为封闭；ldac:音质较好，但码率也很高，分别是330kbps，660kbps和990kbps，由于蓝牙设备所处的无线环境特别复杂，稳定支持如此高的码率有一定的困难，且为索尼独有的技术，也很封闭；lhdc：音质较好，但码率也很高，典型的包括400kbps，600kbp和900kbps，如此高的码率，对于蓝牙的基带/射频设计提出了很高的要求。基于上述原因，蓝牙国际联盟bluetooth sig联合众多厂商推出了lc3，主要面向低功耗蓝牙，也可以用于经典蓝牙，其具有较低延迟、较高的音质和编码增益以及在蓝牙领域无专利费的优点，受到广大厂商的关注。
3.但是为了降低编解码器复杂度和码率，以便在嵌入式蓝牙设备实施，标准规范的lc3编解码器在处理以下两个采样率的音频时，会丢弃一些高频部分。例如，对于采样率为44.1khz，原始音频的有效带宽为22.05khz，经过lc3编解码器后的音频的有效带宽为18.375khz；对于采样率为48khz，原始音频的有效带宽为24khz，经过lc3编解码器后的音频的有效带宽为20khz，均存在带宽的损失，因此损失的带宽造成音频音质的降低。


技术实现要素：

4.针对在通过lc3编解码器对音频编解码时，存在音频带宽的损失，而影响音频音质，降低用户体验的问题，本技术提出一种基于生成对抗网络的全带宽谱系数生成方法及系统。
5.第一方面，本技术提出一种基于生成对抗网络的全带宽谱系数生成方法，包括：在对音乐音频的解码过程中，利用lc3解码器对音频码流进行解码，获取音频码流对应的带宽谱系数；利用预训练的生成网络对带宽谱系数进行处理，得到音频码流对应的高频缺失谱系数；将带宽谱系数和高频缺失谱系数进行拼接，得到全带宽谱系数。
6.可选的，利用lc3解码器对音频码流进行解码，获取音频码流对应的带宽谱系数，包括：利用lc3解码器对音频码流进行解码至变换域噪声整形步骤，获取带宽谱系数，解码的过程仅包括，算术与残差解码，噪声填充，全局增益，时域噪声整形解码和变换域噪声整形解码步骤。
7.可选的，利用预训练的生成网络对带宽谱系数进行处理，得到音频码流对应的高
频缺失谱系数，包括：确定音频码流的采样率；若采样率为第一采样率，则通过生成网络生成对应的第一高频缺失谱系数；若采样率为第二采样率，则通过生成网络生成对应的第二高频缺失谱系数。
8.可选的，生成网络的预训练过程，包括：获取音频数据的全带宽谱系数，并从全带宽谱系数中提取得到真实高频缺失谱系数；利用lc3解码器对音频数据对应的音频码流进行解码，得到带宽谱系数；通过高频谱系数和带宽谱系数对生成网络进行训练，使得生成网络能够根据带宽谱系数得到高频缺失谱系数。
9.可选的，通过高频谱系数和带宽谱系数对生成网络进行训练，包括：通过生成网络对带宽系数进行处理，得到预测高频缺失谱系数；利用对抗网络对预测高频缺失谱系数和真实高频缺失谱系数进行对比，得到对比结果；根据对比结果对生成网络进行优化，使得预测高频缺失谱系数与真实高频缺失谱系数之间的误差低于预设阈值。
10.可选的，获取音频数据的全带宽谱系数，并从全带宽谱系数中提取得到真实高频谱系数，包括：对音频数据的采样率进行判断，其中，若采样率为48khz，则其对应的是20-24khz的真实高频谱系数；若采样率为44.1khz，则其对应的是18.375-22.05khz的真实高频谱系数。
11.第二方面，本技术提供一种基于生成对抗网络的全带宽谱系数生成系统，包括：特征提取模块，其在对音乐音频的解码过程中，利用lc3解码器对音频码流进行解码，获取音频码流对应的带宽谱系数；带宽扩展模块，其利用预训练的生成网络对带宽谱系数进行处理，得到音频码流对应的高频缺失谱系数；拼接模块，其将带宽谱系数和高频缺失谱系数进行拼接，得到全带宽谱系数。
12.第三方面，本技术提出一种全带宽谱系数解码方法，包括：在对音乐音频的解码过程中，利用lc3解码器对音频码流进行解码，获取音频码流对应的带宽谱系数；利用预训练的生成网络对带宽谱系数进行处理，得到音频码流对应的高频缺失谱系数；将带宽谱系数和高频缺失谱系数进行拼接，得到全带宽谱系数；利用lc3解码器，根据全带宽谱系数对音频码流继续解码，得到音频码流对应的音频数据。
13.第四方面，本技术提出一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被执行时，使得计算机执行方案一或方案三中的方法。
14.第五方面，本技术提出一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，其中：处理器操作计算机指令以执行方案一或方案二中的方法。
15.本技术通过在lc3解码器对音频的解码过程中获取音频的带宽谱系数，并利用预训练的生成网络根据带宽谱系数生成lc3编解码器损失的高频缺失谱系数，通过将标准编码获得的带宽谱系数与生成的高频缺失谱系数进行拼接，从而得到完整的全带宽谱系数，从而保证音频在收听时的音质，提升用户体验。
附图说明
16.为了更清楚地说明本技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图示例性的示出了本技术的一些实施例。
17.图1是本技术基于生成对抗网络的全带宽谱系数生成方法的一个实施方式的示意
图；
18.图2是48khz采样率下音频的原始频谱图；
19.图3是48khz采样率下经过lc3编解码器编解码后的频谱图；
20.图4是本技术生成网络训练过程的一个实例的示意图；
21.图5是本技术基于生成对抗网络的全带宽谱系数生成系统的一个实施方式的示意图；
22.图6是本技术全带宽谱系数解码方法的一个实施方式的示意图；
23.图7是本技术全带宽谱系数解码方法的一个实例的示意图。
24.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
25.下面结合附图对本技术的较佳实施例进行详细阐述，以使本技术的优点和特征能更易于被本领域技术人员理解，从而对本技术的保护范围做出更为清楚明确的界定。
26.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
27.目前主流的蓝牙音频编码器如下：sbc：a2dp协议强制要求，使用最为广泛，是所有的蓝牙音频设备必须支持的，但音质一般；aac-lc:音质较好且应用较为广泛，很多主流的手机都支持，但与sbc相比，内存占用较大，且运算复杂度高，很多蓝牙设备都基于嵌入式平台，电池容量有限，处理器运算能力较差且内存有限，而且，其专利费较高；aptx系列：音质较好，但码率很高，aptx需要码率384kbps，而aptx-hd的码率为576kbps,且为高通独有的技术，较为封闭；ldac:音质较好，但码率也很高，分别是330kbps，660kbps和990kbps，由于蓝牙设备所处的无线环境特别复杂，稳定支持如此高的码率有一定的困难，且为索尼独有的技术，也很封闭；lhdc：音质较好，但码率也很高，典型的包括400kbps，600kbp和900kbps，如此高的码率，对于蓝牙的基带/射频设计提出了很高的要求。基于上述原因，蓝牙国际联盟bluetooth sig联合众多厂商推出了lc3，主要面向低功耗蓝牙，也可以用于经典蓝牙，其具有较低延迟、较高的音质和编码增益以及在蓝牙领域无专利费的优点，受到广大厂商的关注。
28.但是为了降低编解码器复杂度和码率，以便在嵌入式蓝牙设备实施，标准规范的lc3编解码器在处理以下两个采样率的音频时，会丢弃一些高频部分。例如，对于采样率为44.1khz，原始音频的有效带宽为22.05khz，经过lc3编解码器后的音频的有效带宽为18.375khz；对于采样率为48khz，原始音频的有效带宽为24khz，经过lc3编解码器后的音频的有效带宽为20khz，均存在带宽的损失，因此损失的带宽造成音频音质的降低。因为lc3编
解码器本身对功耗和算力有着严格的要求，另外lc3编码器应用在嵌入式系统中，因此存储空间和运算能力都比较有限，在解决上述带宽缺失的问题时，也需要充分考虑到lc3编辑器和嵌入式系统本身的低功耗，低运算力等特点。
29.针对上述问题，本技术提出一种基于生成对抗网络的全带宽谱系数生成方法及系统。通过利用lc3解码器对音频解码时的相关参数，利用生成网络进行缺失带宽的生成，最终得到全带宽，输出全带宽信号，提高音频音质。不需要对编码端进行任何改变，即可得到高音质的音频，降低处理的复杂度，仅需要较低的功耗和算力，适用于lc3编解码器低功耗蓝牙以及嵌入式系统中。
30.为此，本技术提出一种基于生成对抗网络的全带宽谱系数生成方法及系统。该方法包括：在对音乐音频的解码过程中，利用lc3解码器对音频码流进行解码，获取音频码流对应的带宽谱系数；利用预训练的生成网络对带宽谱系数进行处理，得到音频码流对应的高频缺失谱系数；将带宽谱系数和高频缺失谱系数进行拼接，得到全带宽谱系数。
31.本技术通过在lc3解码器对音频的解码过程中获取音频的带宽谱系数，并利用预训练的生成网络根据带宽谱系数生成lc3编解码器损失的高频缺失谱系数，通过将标准解码获得的带宽谱系数与生成的高频缺失谱系数进行拼接，从而得到完整的全带宽谱系数，从而保证音频在收听时的音质，提升用户体验。
32.下面，以具体的实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面述及的具体的实施例可以相互结合形成新的实施例。对于在一个实施例中描述过的相同或相似的思想或过程，可能在其他某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
33.图1示出了本技术基于生成对抗网络的全带宽谱系数生成方法的一个实施方式。
34.在图1所示的实施方式中，本技术的基于生成对抗网络的全带宽谱系数生成方法包括过程s101，在对音乐音频的解码过程中，利用lc3解码器对音频码流进行解码，获取音频码流对应的带宽谱系数。
35.在该实施方式中，在对音乐音频进行解码时，将经过lc3编码器编码后的音乐音频的码流数据输入到lc3音频解码器中，利用lc3解码器对该码流进行解码，在解码过程中提取音频码流对应的带宽谱系数。因为lc3编解码器本身的特性，输出的带宽谱系数并非全带宽谱系数。例如针对采样率为44.1khz的音频数据经过lc3编解码器的编解码后，得到0-18.375khz的有效带宽，而非0-22.05khz的全带宽；对采样率为48khz的音频数据经过lc3编解码器的编解码后，得到0-20khz的有效带宽，而非0-24khz的全带宽。由于缺失了带宽的高频部分，对音频音质存在一定的影响。
36.可选的，利用lc3解码器对音频码流进行解码，获取音频码流对应的带宽谱系数，包括：利用lc3解码器对音频码流进行解码至变换域噪声整形步骤，获取带宽谱系数，解码的过程仅包括，算术与残差解码，噪声填充，全局增益，时域噪声整形解码和变换域噪声整形解码步骤。
37.在该可选实施例中，在lc3解码器对音频码流进行解码获取带宽谱系数时，按照lc3解码器标准的解码流程进行解码，到变换域噪声整形步骤，得到带宽谱系数。其中该解码流程依次为算术和残差解码、噪声填充、全局增益、时域噪声整形解码和变换域噪声整形解码步骤，得到音频码流对应的带宽谱系数。本技术获取带宽谱系数的过程，直接在标准
lc3解码器的解码流程中获得，不需要进行其他的改变和操作，减少不必要的处理，降低功耗和算力，从而更加适用于lc3低功耗蓝牙和嵌入式系统中。
38.在图1所示的实施方式中，本技术的基于生成对抗网络的全带宽谱系数生成方法包括过程s102，利用预训练的生成网络对带宽谱系数进行处理，得到音频码流对应的高频缺失谱系数。
39.在该实施方式中，为了对lc3编解码器对音频编解码时损失的带宽进行补充，本技术利用生成网络根据已有的带宽谱系数，生成预测的高频缺失谱系数。利用深度学习网络进行高频缺失谱系数的生成，通过良好的模型训练，能够保证生成的高频缺失谱系数的准确性，从而保证音频的音质。
40.可选的，利用预训练的生成网络对带宽谱系数进行处理，得到音频码流对应的高频缺失谱系数，包括：确定音频码流的采样率；若采样率为第一采样率，则通过生成网络生成对应的第一高频缺失谱系数；若采样率为第二采样率，则通过生成网络生成对应的第二高频缺失谱系数。
41.在该可选实施例中，已知lc3编解码器对应着第一采样率48khz和第二采样率44.1khz两种采样率，对于这两种不同的采样率，在解码得到音频的带宽损失也不尽相同。因此，在利用生成网络进行高频缺失带宽的生成时，需要对音频的采样率进行区分，然后进行对应的处理。其中，对于采样率为48khz采样率的音频，通过生成网络生成20-24khz的第一高频缺失谱系数；对于采样率为44.1khz采样率的音频，通过生成网络生成18.375-24khz的第二高频缺失谱系数。通过对音频采样率的区分，对应生成相应的高频缺失谱系数，保证得到高频缺失谱系数的准确性，进而保证音质。
42.可选的，生成网络的预训练过程，包括：获取音频数据的全带宽谱系数，并从全带宽谱系数中提取得到真实高频缺失谱系数；利用lc3解码器对音频数据对应的音频码流进行解码，得到带宽谱系数；通过高频谱系数和带宽谱系数对生成网络进行训练，使得生成网络能够根据带宽谱系数得到高频缺失谱系数。
43.在该可选实施例中，在生成网络的训练过程中，首先获得生成网络的训练数据。对44.1khz或48khz采样率的全带宽音频数据，提取出其中的全带宽谱系数，然后根据某一采样率下，提取出相应的真实高频缺失谱系数，例如对于48khz采样率的音频数据，提取20-24khz的带宽谱系数作为模型训练的真值数据。然后利用lc3解码器对该音频码流进行解码，得到带宽谱系数。通过利用带宽谱系数和真实高频缺失谱系数进行模型训练，最终使得生成网络能够根据带宽谱系数得到高频缺失谱系数，并且得到的高频缺失谱系数与真实高频缺失谱系数之间的误差在预设范围内，完成模型的训练。
44.具体的，以配置帧长10ms，采样率为48khz的音频数据为例，输入音频数据以帧为单位切分，切分后每一帧的大小为480个采样点，每次输入一帧数据。其中一路输入ld-mdct(即标准lc3编码器中的低延迟改进型离散余弦变换)，输出为全带宽的谱系数，取其中的高频谱系数作为生成对抗网络训练中使用的
‘
真’信号，简述如下：
45.t(n)＝xs(z-nf+n),for n＝0
…2·nf-1-z
46.t(2n
f-z+n)＝0,for n＝0
…
z-1
[0047][0048]
其中xs(n)是输入的时域音频pcm的信号，以48khz、10ms的配置为例，一帧长度是480个采样点，x(k)是经过离散余弦变换的频域谱系数，其包含480个有效的谱系数。用于训练的高频谱系数定义为：x(k),k＝400～479。通过以上过程可得到真实高频缺失谱系数，也就是模型训练的真值。
[0049]
另外一路处理如下：将音频数据输入标准lc3编码器、编码并输出码流码流经标准lc3解码器解码至变换域噪声整形，包括算术与残差解码、噪声填充、全局增益、时域噪声整形解码和变换域噪声整形解码，输出0～20khz的带宽谱系数。
[0050][0051]
以配置10ms、48khz采样率为例，nf＝480，即总共480个谱系数，由于编码过程中舍弃了后80个谱系数，所有当k＝0～399时，包含有效谱系数，当k＝400～479时，通过以上过程便可得到带宽谱系数。
[0052]
具体的，关于模型训练时，带宽谱系数的获取有两种不同改的方式。一是使用编码器中ld-mdct输出的x(k)，k＝0～399时，此时x(k)与比较相似但不完全相同；二是经lc3编码和部分解码得到的k＝0～399。本发明使用第二种，因为本发明的生成网络实际部署在嵌入式网络时，只能得到第二种方案中的这样训练出来的生成网络效果更佳。虽然基于第二种方法，训练时的运算量比较大，但通常训练都是离线的，基于pc或服务器的，对运算量并不敏感。
[0053]
可选的，通过高频谱系数和带宽谱系数对生成网络进行训练，包括：通过生成网络对带宽谱系数进行处理，得到预测高频缺失谱系数；利用对抗网络对预测高频缺失谱系数和真实高频缺失谱系数进行对比，得到对比结果；根据对比结果对生成网络进行优化，使得预测高频缺失谱系数与真实高频缺失谱系数之间的误差低于预设阈值。
[0054]
在该可选实施例中，为了保证得到训练效果较佳的生成网络，对生成网络生成的预测高频缺失谱系数和真实高频缺失谱系数通过对抗网络进行对比学习，根据两者的对比结果对生层网络的相关参数进行调整优化，最终使得预测高频缺失谱系数与真实高频缺失谱系数之间的误差低于预设阈值。此时对生成网络的参数进行记录，完成模型的训练。
[0055]
具体的，预设阈值的设置可根据具有的生成网络训练的精度要求等进行合理的设置，对此本技术不进行具体限制。
[0056]
可选的，获取音频数据的全带宽谱系数，并从全带宽谱系数中提取得到真实高频谱系数，包括：对音频数据的采样率进行判断，其中，若采样率为48khz，则其对应的是20-24khz的真实高频谱系数；若采样率为44.1khz，则其对应的是18.375-22.05khz的真实高频谱系数。
[0057]
在该可选实施例中，对于lc3编解码器来说，其主要由44.1khz和48khz两种采样率。因此，在生成网络的训练过程中，需要对不同的采样率进行对应的处理过程。其中，在获取真实高频谱系数时，对音频数据的采样率进行判断，其中，若采样率为48khz，则获取20-24khz的真实高频缺失谱系数；若采样率为44.1khz，则获取18.375-22.05khz的真实高频缺
失谱系数。
[0058]
在图1所示的实施方式中，本技术的基于生成对抗网络的全带宽谱系数生成方法包括过程s103，将带宽谱系数和高频缺失谱系数进行拼接，得到全带宽谱系数。
[0059]
在该实施方式中，在通过生成网络得到高频缺失谱系数后，通过将高频缺失谱系数与经过lc3编解码器进行编解码得到的带宽谱系数进行拼接，得到全带宽谱系数。然后利用全带宽谱系数进行后续的音频解码过程，最终得到全带宽谱系数对应的音频数据，相比较于原有的带宽谱系数对应的音频数据，因为补充了高频缺失的部分，因此提高了音质，提升用户体验。
[0060]
具体的，图2示出了48khz采样率下音频的原始频谱图。图3示出了48khz采样率下经过lc3编解码器编解码后的频谱图。通过对图2和图3的对比可知，原始频谱图的有效带宽为0-24khz，而经过lc3编解码器编解码后的音频的有效带宽为0-20khz，损失了20-24khz的高频部分，对音频音质产生影响。本技术通过上述方法，通过利用生成网络生成高频缺失部分的谱系数，使得lc3编解码器对音频编解码后，也具有全带宽谱系数对应的良好音质，提升用户体验。
[0061]
具体的，图4示出了本技术生成网络训练过程的一个实例。
[0062]
在图4所示的实例中，以48khz采样率的音频为输入音频。通过对输入音频进行ld-mdct离散余弦变换得到0-24khz的全带宽谱系数，然后截取其中的高频部分，得到20-24khz的真实高频缺失谱系数。在另外一个支路中，对输入音频进行标准的lc3编码和解码至变换域噪声整形解码步骤，得到0-20khz的带宽谱系数，然后通过生成网络，得到20-24khz的预测高频缺失谱系数。通过判别网络对真实高频缺失谱系数和预测高频缺失谱系数进行对比，进行训练结果真假的判断，根据对比结果进行生成网络的优化，最终完成生成网络的训练。
[0063]
具体的，本发明使用的生成网络可以基于深度神经网络也可以基于其他神经网络模型，如cnn、rnn、lstm等，本发明并不限制)，一种实现方式简述如下：使用全连接网络，输入为k＝0
…
399，第一隐藏层200个节点，第二隐藏层100个节点，输出80个节点，每一层还包括批标准化函数和激活函数。
[0064]
本发明使用的判别网络可以基于深度神经网络也可以基于其他神经网络模型，本发明并不限制)，一种实现方式简述如下：以输入音频采样率48khz、帧长配置10ms为例，输入层160个节点，第一隐藏层80个节点、第二隐藏层80个节点、输出层1个节点，每一层还包括批标准化函数和激活函数。
[0065]
本技术的基于生成对抗网络的全带宽谱系数生成方法通过在lc3解码器对音频的解码过程中获取音频的带宽谱系数，并利用预训练的生成网络根据带宽谱系数生成lc3编解码器损失的高频缺失谱系数，通过将标准编码获得的带宽谱系数与生成的高频缺失谱系数进行拼接，从而得到完整的全带宽谱系数，从而保证音频在收听时的音质，提升用于体验。本技术编码端不用做任何改变即可在解码端输出全频带的信号，有效提高了音质增强了用户体验；本技术的既可以应用于44.1khz采样率也可以应用于48khz采样率的配置；可以应用于帧长10ms的配置可以应用于帧长7.5ms的配置；本发明以蓝牙领域举例，其他领域也可以使用。
[0066]
图5示出了本技术基于生成对抗网络的全带宽谱系数生成系统的一个实施方式的
示意图。
[0067]
在图5所示的实施方式中，本技术的基于生成对抗网络的全带宽谱系数生成系统包括：特征提取模块501，其在对音乐音频的解码过程中，利用lc3解码器对音频码流进行解码，获取音频码流对应的带宽谱系数；带宽扩展模块502，其利用预训练的生成网络对带宽谱系数进行处理，得到音频码流对应的高频缺失谱系数；拼接模块503，其将带宽谱系数和高频缺失谱系数进行拼接，得到全带宽谱系数。
[0068]
可选的，在特征提取模块501中，利用lc3解码器对音频码流进行解码至变换域噪声整形步骤，获取带宽谱系数，解码的过程仅包括，算术与残差解码，噪声填充，全局增益，时域噪声整形解码和变换域噪声整形解码步骤。
[0069]
可选的，在带宽扩展模块502中，确定音频码流的采样率；若采样率为48khz，则通过生成网络生成20-24khz的高频缺失谱系数；若采样率为44.1khz，则通过生成网络生成18.375-22.05khz的高频缺失谱系数。
[0070]
可选的，生成网络的预训练过程，包括：获取音频数据的全带宽谱系数，并从全带宽谱系数中提取得到真实高频缺失谱系数；利用lc3解码器对音频码流进行解码，得到带宽谱系数；通过高频谱系数和带宽谱系数对生成网络进行训练，使得生成网络能够根据带宽谱系数得到高频缺失谱系数。
[0071]
可选的，在生成网络的训练过程中，通过生成网络对带宽谱系数进行处理，得到预测高频缺失谱系数；利用对抗网络对预测高频缺失谱系数和真实高频缺失谱系数进行对比，得到对比结果；根据对比结果对生成网络进行优化，使得预测高频缺失谱系数与真实高频缺失谱系数之间的误差低于预设阈值。
[0072]
可选的，在生成网络的训练过程中，对音频数据的采样率进行判断，其中，若采样率为48khz，则其对应的是20-24khz的真实高频缺失谱系数；若采样率为44.1khz，则其对应的是18.375-22.05khz的真实高频缺失谱系数。
[0073]
本技术的基于生成对抗网络的全带宽谱系数生成系统通过在lc3解码器对音频的解码过程中获取音频的带宽谱系数，并利用预训练的生成网络根据带宽谱系数生成lc3编解码器损失的高频缺失谱系数，通过将标准编码获得的带宽谱系数与生成的高频缺失谱系数进行拼接，从而得到完整的全带宽谱系数，从而保证音频在收听时的音质，提升用于体验。本技术编码端不用做任何改变即可在解码端输出全频带的信号，有效提高了音质增强了用户体验。
[0074]
图6示出了本技术全带宽谱系数解码方法的一个实施方式的示意图。
[0075]
在图6所示的实施方式中，本技术的全带宽谱系数解码方法包括：过程601，在对音乐音频的解码过程中，利用lc3解码器对音频码流进行解码，获取音频码流对应的带宽谱系数；过程602，利用预训练的生成网络对带宽谱系数进行处理，得到音频码流对应的高频缺失谱系数；过程603，将带宽谱系数和高频缺失谱系数进行拼接，得到全带宽谱系数；过程s604，利用lc3解码器，根据全带宽谱系数对音频码流继续解码，得到音频码流对应的音频数据。
[0076]
具体的，图7示出了本技术全带宽谱系数解码方法的一个实例。
[0077]
在图7所示的实例中，lc3解码器对输入的48khz采样率的码流分别进行码流解析、算术及残差解码、噪声填充、全局增益、时域噪声整形解码以及变换域噪声整形解码得到码
流部分的0-20khz带宽谱系数，然后经过生成网路处理，得到20-24khz的高频缺失谱系数。，然后将谱系数进行拼接，得到0-24khz的全带宽谱系数，后续利用全带宽谱系数进行后续的解码过程，进行低延迟改进型离散余弦反变换和长期后置滤波器解码，得到全带宽谱系数对应的谱系数，相比较之前部分的带宽谱系数的音频数据，提升音质，提升用户体验。
[0078]
在本技术的一个具体实施方式中，一种计算机可读存储介质，其存储有计算机指令，其中计算机指令被操作以执行任一实施例描述的基于生成对抗网络的全带宽谱系数生成方法或全带宽谱系数解码方法。其中，该存储介质可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。
[0079]
软件模块可驻留在ram存储器、快闪存储器、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可装卸盘、cd-rom或此项技术中已知的任何其它形式的存储介质中。示范性存储介质耦合到处理器，使得处理器可从存储介质读取信息和向存储介质写入信息。
[0080]
处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)、现场可编程门阵列(英文：field programmable gate array，简称：fpga)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如dsp与微处理器的组合、多个微处理器、结合dsp核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中，存储介质可与处理器成一体式。处理器和存储介质可驻留在asic中。asic可驻留在用户终端中。在替代方案中，处理器和存储介质可作为离散组件驻留在用户终端中。
[0081]
在本技术的一个具体实施方式中，一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，其中：处理器操作计算机指令以执行任一实施例描述的基于生成对抗网络的全带宽谱系数生成方法或全带宽谱系数解码方法。
[0082]
在本技术所提供的实施方式中，应该理解到，所揭露的装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0083]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0084]
以上仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。