一种基于AIGC的即时通信系统的噪声处理方法及装置与流程

本发明涉及通信，尤其涉及一种基于aigc的即时通信系统的噪声处理方法及装置。

背景技术：

1、在当前的即时通信系统中，由于信号传输过程及接收信号的终端侧存在各种干扰，最终接收到的普遍是带有噪声的信号，严重降低了即时通信系统的通信质量和用户体验。尽管现有技术已经研发出一系列相应的降噪技术，但它们在处理复杂和多变的噪声环境时，效果并不理想。现有即时通信系统中，普遍的语音降噪技术主要配置在终端内部处理，降噪方法主要有：基于线性滤波器的滤波处理、谱减法、基于统计模型的实时降噪算法、子空间算法、频率域降噪算法、时域降噪算法、小波域降噪算法、kalman滤波算法、统计学降噪方法、空域降噪算法等等。

2、然而，尽管实现通信信号降噪的算法多种多样，但单独每一种降噪算法均存在其对应的局限性，并不能适配当前的即时通信系统的信号传输需求、降噪需求。此外，对于降噪设备而言，还存在一些普遍的不足之处，如功能单一，无法适应复杂多变的环境噪声；或是降噪效果不佳，在降噪的同时可能牺牲了音质，导致音乐和语音的还原度降低；亦或是舒适性不够，长时间佩戴降噪设备可能会引起不适，降低用户体验。可见，针对现有即时通信系统中存在的降噪问题，提供一种提高通信质量、降噪效果的方法显得尤为重要。

技术实现思路

1、本发明提供一种基于aigc的即时通信系统的噪声处理方法及装置，能够实现端网的降噪技术融合，提高通信信号的降噪处理效果，继而提高通信质量。

2、为了解决上述技术问题，本发明第一方面公开了一种基于aigc的即时通信系统的噪声处理方法，所述方法包括：

3、所述方法应用于终端侧以及网络侧，所述方法包括：

4、所述终端侧获取由即时通信系统采集的通信信号，并确定处理所述通信信号的处理方式，所述通信信号包括待处理的噪声信号，所述处理方式包括结合预设的机器学习算法的第一处理方式或基于预设处理芯片的第二处理方式；所述处理方式均采用aigc技术；

5、所述终端侧根据所述处理方式，对所述通信信号执行与所述处理方式匹配的一级信号处理，得到与所述通信信号对应的一级信号处理结果；

6、所述终端侧将所述一级信号处理结果传输至所述网络侧；

7、所述网络侧根据预设的网络降噪算法，对所述一级信号处理结果执行二级信号处理，得到与所述一级信号处理结果对应的二级信号处理结果，并将所述二级信号处理结果反馈回所述终端侧。

8、作为一种可选的实施方式，在本发明第一方面中，所述终端侧根据所述处理方式，对所述通信信号执行与所述处理方式匹配的一级信号处理，得到与所述通信信号对应的一级信号处理结果，包括：

9、当所述处理方式为所述第一处理方式时，所述终端侧对所述通信信号执行终端侧预处理，得到所述通信信号对应的终端预处理结果，所述终端侧预处理包括标准化、归一化以及异常去除中的至少一种；

10、所述终端侧将所述终端预处理结果输入选取的第一降噪算法，并根据所述第一降噪算法对所述终端预处理结果执行第一降噪处理，得到与所述终端预处理结果对应的第一降噪处理结果；

11、其中，所述第一降噪算法包括终端降噪模型，所述终端降噪模型通过对所述网络侧中某一训练模型执行剪枝与蒸馏后得到，所述终端降噪模型已完成模型训练。

12、作为一种可选的实施方式，在本发明第一方面中，所述终端侧根据所述处理方式，对所述通信信号执行与所述处理方式匹配的一级信号处理，得到与所述通信信号对应的一级信号处理结果，还包括：

13、当所述处理方式为所述第二处理方式时，且在确定预设的第二降噪算法对应的降噪参数初始化完成之后，所述终端侧根据所述第二降噪算法，对所述通信信号执行噪声分析，得到与所述通信信号对应的噪声分析结果；

14、所述终端侧根据所述第二降噪算法，生成针对所述噪声分析结果的反向声波信号；播放所述反向声波信号并实时监测所述反向声波信号对应的降噪效果；

15、所述终端侧判断所述降噪效果是否达到预设的第二降噪要求，当判断出所述降噪效果未达到所述第二降噪要求时，重复调整所述反向声波信号对应的信号参数，直至确定所述降噪效果达到所述第二降噪要求；同时将达到所述第二降噪要求的所述反向声波信号确定为与所述通信信号对应的一级信号处理结果；

16、所述方法还包括：

17、当判断出所述降噪效果达到所述第二降噪要求时，所述终端侧判断是否满足预设的终止降噪条件，当判断出未满足所述终止降噪条件时，持续获取所述即时通信系统传输的新的通信信号，对所述新的通信信号执行基于所述第二降噪算法的降噪流程，直至判断出满足所述终止降噪条件时，停止播放与所述通信信号对应的反向声波信号、释放所述终端侧当前执行所述降噪流程对应的降噪资源并关闭所述终端侧对应的硬件设备。

18、作为一种可选的实施方式，在本发明第一方面中所述网络侧根据预设的网络降噪算法，对所述一级信号处理结果执行二级信号处理，得到与所述一级信号处理结果对应的二级信号处理结果，包括：

19、所述网络侧根据预设的网络降噪算法，对所述一级信号处理结果执行网络侧预处理，得到与所述一级信号处理结果对应的网络预处理结果，所述网络侧预处理包括数据清洗、数据配对以及数据标注中的至少一种；

20、所述网络侧将所述网络预处理结果以及预先准备的噪声数据，输入预设的网络降噪模型，得到与所述网络预处理结果对应的网络降噪结果；所述网络降噪模型为完成训练的模型；

21、所述网络侧对所述网络降噪结果执行预设的后处理操作，得到与所述网络降噪结果对应的后处理结果，作为与所述一级信号处理结果对应的二级信号处理结果。

22、作为一种可选的实施方式，在本发明第一方面中，所述方法还包括：

23、所述网络侧实时监测所述终端侧所在终端环境的环境噪声数据，并分析所述环境噪声数据，得到与所述环境噪声数据对应的环境分析结果；所述环境分析结果包括所述环境噪声数据对应的噪声类型及其噪声类型变化、噪声强度及其噪声强度变化；

24、所述网络侧判断所述环境分析结果是否表示满足预设的噪声调节条件，当判断出所述环境分析结果表示满足所述噪声调节条件时，调整所述网络降噪算法对应的网络降噪参数，并基于调整后的所述网络降噪算法对所述二级信号处理结果执行降噪重处理，再将对应的降噪重处理结果反馈回所述终端侧；

25、其中，所述网络降噪参数包括滤波器系数、降噪强度、音频频率范围；

26、所述网络侧记录第一网络参数、第二网络参数，所述第一网络参数为得到所述二级信号处理结果时所述网络降噪算法对应采用的网络参数；所述第二网络参数为得到所述降噪重处理结果时所述网络降噪算法对应采用的网络参数；所述第一网络参数以及所述第二网络参数用于优化所述网络降噪算法。

27、作为一种可选的实施方式，在本发明第一方面中，所述网络降噪模型对应的模型训练方式具体包括：

28、所述网络侧按照设置的噪声数据制作流程，制作用于对所述网络降噪模型进行模型训练的噪声训练数据；所述噪声数据制作流程包括噪声数据采集、噪声添加、噪声强度调整、噪声种类调整、数据增强、数据标注、数据预处理、数据集划分；

29、所述网络侧将所述噪声训练数据输入所述网络降噪模型，以通过所述噪声训练数据训练所述网络降噪模型，得到完成训练的所述网络降噪模型；

30、其中，在对所述网络降噪模型执行模型训练的过程中，设置有多个评价指标，该多个评价指标用于评估所述网络降噪模型针对所述噪声训练数据的降噪效果；该多个评价指标包括信噪比、语音质量感知评估、用户听测评价反馈。

31、作为一种可选的实施方式，在本发明第一方面中，所述网络降噪模型对应的模型训练方式具体还包括：

32、在所述网络侧将所述噪声训练数据输入所述网络降噪模型之前，所述网络侧确定用于构建所述网络降噪模型的一级降噪模型、二级降噪模型及其适配的损失函数，所述一级降噪模型包括lstm模型；所述二级降噪模型包括gan模型；所述gan模型包括生成器以及判别器，所述损失函数包括与所述生成器对应的一级损失函数、与所述判别器对应的二级损失函数；

33、所述网络侧根据所述一级降噪模型、所述二级降噪模型以及所述损失函数，构建得到网络降噪模型；之后触发执行所述的将所述噪声训练数据输入所述网络降噪模型对应的操作；

34、其中，所述一级降噪模型作为构建所述网络降噪模型的整体模型，所述二级降噪模型作为构建所述网络降噪模型后，在对所述网络降噪模型执行训练时作为局部采用的训练模块；

35、以及，所述方法还包括：

36、在得到完成训练的所述网络降噪模型之后，所述网络侧确定所述终端侧对应的降噪使用需求；并根据所述降噪使用需求，对所述网络降噪模型执行模型剪枝与蒸馏，得到与所述终端侧对应的终端降噪模型。

37、本发明第二方面公开了一种基于aigc的即时通信系统的噪声处理装置，所述装置包括终端侧以及网络侧，所述终端侧，包括：

38、获取模块，用于获取由即时通信系统采集的通信信号，所述通信信号包括待处理的噪声信号；

39、第一确定模块，用于确定处理所述通信信号的处理方式，所述处理方式包括结合预设的机器学习算法的第一处理方式或基于预设处理芯片的第二处理方式；所述处理方式均采用aigc技术；

40、一级信号处理模块，用于根据所述处理方式，对所述通信信号执行与所述处理方式匹配的一级信号处理，得到与所述通信信号对应的一级信号处理结果；

41、传输模块，用于将所述一级信号处理结果传输至所述网络侧；

42、所述网络侧，包括：

43、二级信号处理模块，用于根据预设的网络降噪算法，对所述一级信号处理结果执行二级信号处理，得到与所述一级信号处理结果对应的二级信号处理结果；

44、反馈模块，用于将所述二级信号处理结果反馈回所述终端侧。

45、作为一种可选的实施方式，在本发明第二方面中，所述一级信号处理模块根据所述处理方式，对所述通信信号执行与所述处理方式匹配的一级信号处理，得到与所述通信信号对应的一级信号处理结果的方式具体包括：

46、当所述处理方式为所述第一处理方式时，所述终端侧对所述通信信号执行终端侧预处理，得到所述通信信号对应的终端预处理结果，所述终端侧预处理包括标准化、归一化以及异常去除中的至少一种；

47、所述终端侧将所述终端预处理结果输入选取的第一降噪算法，并根据所述第一降噪算法对所述终端预处理结果执行第一降噪处理，得到与所述终端预处理结果对应的第一降噪处理结果；

48、其中，所述第一降噪算法包括终端降噪模型，所述终端降噪模型通过对所述网络侧中某一训练模型执行剪枝与蒸馏后得到，所述终端降噪模型已完成模型训练。

49、作为一种可选的实施方式，在本发明第二方面中，所述一级信号处理模块根据所述处理方式，对所述通信信号执行与所述处理方式匹配的一级信号处理，得到与所述通信信号对应的一级信号处理结果的方式具体还包括：

50、当所述处理方式为所述第二处理方式时，且在确定预设的第二降噪算法对应的降噪参数初始化完成之后，根据所述第二降噪算法，对所述通信信号执行噪声分析，得到与所述通信信号对应的噪声分析结果；

51、根据所述第二降噪算法，生成针对所述噪声分析结果的反向声波信号；播放所述反向声波信号并实时监测所述反向声波信号对应的降噪效果；

52、判断所述降噪效果是否达到预设的第二降噪要求，当判断出所述降噪效果未达到所述第二降噪要求时，重复调整所述反向声波信号对应的信号参数，直至确定所述降噪效果达到所述第二降噪要求；同时将达到所述第二降噪要求的所述反向声波信号确定为与所述通信信号对应的一级信号处理结果；

53、所述终端侧，还包括：

54、第一判断模块，用于当判断出所述降噪效果达到所述第二降噪要求时，判断是否满足预设的终止降噪条件；

55、终端降噪处理模块，用于当所述第一判断模块判断出未满足所述终止降噪条件时，持续获取所述即时通信系统传输的新的通信信号，对所述新的通信信号执行基于所述第二降噪算法的降噪流程，直至判断出满足所述终止降噪条件时，停止播放与所述通信信号对应的反向声波信号、释放所述终端侧当前执行所述降噪流程对应的降噪资源并关闭所述终端侧对应的硬件设备。

56、作为一种可选的实施方式，在本发明第二方面中，所述二级信号处理模块根据预设的网络降噪算法，对所述一级信号处理结果执行二级信号处理，得到与所述一级信号处理结果对应的二级信号处理结果的方式具体包括：

57、根据预设的网络降噪算法，对所述一级信号处理结果执行网络侧预处理，得到与所述一级信号处理结果对应的网络预处理结果，所述网络侧预处理包括数据清洗、数据配对以及数据标注中的至少一种；

58、将所述网络预处理结果以及预先准备的噪声数据，输入预设的网络降噪模型，得到与所述网络预处理结果对应的网络降噪结果；所述网络降噪模型为完成训练的模型；

59、对所述网络降噪结果执行预设的后处理操作，得到与所述网络降噪结果对应的后处理结果，作为与所述一级信号处理结果对应的二级信号处理结果。

60、作为一种可选的实施方式，在本发明第二方面中，所述网络侧，还包括：

61、环境噪声监测模块，用于实时监测所述终端侧所在终端环境的环境噪声数据；

62、分析模块，用于分析所述环境噪声数据，得到与所述环境噪声数据对应的环境分析结果；所述环境分析结果包括所述环境噪声数据对应的噪声类型及其噪声类型变化、噪声强度及其噪声强度变化；

63、第二判断模块，用于判断所述环境分析结果是否表示满足预设的噪声调节条件；

64、网络降噪处理模块，用于当所述第二判断模块判断出所述环境分析结果表示满足所述噪声调节条件时，调整所述网络降噪算法对应的网络降噪参数；

65、所述网络降噪处理模块，还用于基于调整后的所述网络降噪算法对所述二级信号处理结果执行降噪重处理，再将对应的降噪重处理结果反馈回所述终端侧；其中，所述网络降噪参数包括滤波器系数、降噪强度、音频频率范围；

66、所述网络降噪处理模块，还用于记录第一网络参数、第二网络参数，所述第一网络参数为得到所述二级信号处理结果时所述网络降噪算法对应采用的网络参数；所述第二网络参数为得到所述降噪重处理结果时所述网络降噪算法对应采用的网络参数；所述第一网络参数以及所述第二网络参数用于优化所述网络降噪算法。

67、作为一种可选的实施方式，在本发明第二方面中，所述网络降噪模型对应的模型训练方式具体包括：

68、所述网络侧按照设置的噪声数据制作流程，制作用于对所述网络降噪模型进行模型训练的噪声训练数据；所述噪声数据制作流程包括噪声数据采集、噪声添加、噪声强度调整、噪声种类调整、数据增强、数据标注、数据预处理、数据集划分；

69、所述网络侧将所述噪声训练数据输入所述网络降噪模型，以通过所述噪声训练数据训练所述网络降噪模型，得到完成训练的所述网络降噪模型；

70、其中，在对所述网络降噪模型执行模型训练的过程中，设置有多个评价指标，该多个评价指标用于评估所述网络降噪模型针对所述噪声训练数据的降噪效果；该多个评价指标包括信噪比、语音质量感知评估、用户听测评价反馈。

71、作为一种可选的实施方式，在本发明第二方面中，所述网络降噪模型对应的模型训练方式具体还包括：

72、在所述网络侧将所述噪声训练数据输入所述网络降噪模型之前，所述网络侧确定用于构建所述网络降噪模型的一级降噪模型、二级降噪模型及其适配的损失函数，所述一级降噪模型包括lstm模型；所述二级降噪模型包括gan模型；所述gan模型包括生成器以及判别器，所述损失函数包括与所述生成器对应的一级损失函数、与所述判别器对应的二级损失函数；

73、所述网络侧根据所述一级降噪模型、所述二级降噪模型以及所述损失函数，构建得到网络降噪模型；之后触发执行所述的将所述噪声训练数据输入所述网络降噪模型对应的操作；

74、其中，所述一级降噪模型作为构建所述网络降噪模型的整体模型，所述二级降噪模型作为构建所述网络降噪模型后，在对所述网络降噪模型执行训练时作为局部采用的训练模块；

75、以及，所述网络侧，还包括：

76、第二确定模块，用于在得到完成训练的所述网络降噪模型之后，确定所述终端侧对应的降噪使用需求；

77、剪枝蒸馏模块，用于根据所述降噪使用需求，对所述网络降噪模型执行模型剪枝与蒸馏，得到与所述终端侧对应的终端降噪模型。

78、本发明第三方面公开了另一种基于aigc的即时通信系统的噪声处理装置，所述装置包括：

79、存储有可执行程序代码的存储器；

80、与所述存储器耦合的处理器；

81、所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于aigc的即时通信系统的噪声处理方法。

82、本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的基于aigc的即时通信系统的噪声处理方法。

83、与现有技术相比，本发明实施例具有以下有益效果：

84、本发明实施例中，提供了一种基于aigc的即时通信系统的噪声处理方法，该方法应用于终端侧以及网络侧，该方法包括：终端侧获取由即时通信系统采集的通信信号，并确定处理通信信号的处理方式，处理方式包括结合预设的机器学习算法的第一处理方式或基于预设处理芯片的第二处理方式；处理方式均采用aigc技术；终端侧根据处理方式，对通信信号执行与处理方式匹配的一级信号处理，得到与通信信号对应的一级信号处理结果； 终端侧将一级信号处理结果传输至网络侧；网络侧根据预设的网络降噪算法，对一级信号处理结果执行二级信号处理，得到与一级信号处理结果对应的二级信号处理结果，并将二级信号处理结果反馈回终端侧。可见，实施本发明，设置了基于aigc技术的噪声处理方法，在终端侧获取到即时通信系统采集的通信信号后，能够根据终端侧实际配置的处理信号的软件/硬件，对通信信号执行适配的一级信号处理，提高了终端侧实现通信信号处理的精准性；之后能够将该一级信号处理结果转发至网络侧，经由网络侧实现进一步的二级信号处理，该信号处理机制的设置，实现了对通信信号执行降噪处理时端网融合的功能，同时，该网络侧所设置的更为高级的网络降噪算法，提高了二级信号处理结果的降噪处理深度与精细度。