音乐信号分离方法、装置、存储介质及程序产品与流程

本申请实施例涉及音频处理，尤其涉及音乐信号分离方法、装置、存储介质及程序产品。

背景技术：

1、现有的，音乐软件中，常将音乐信号进行音乐分离，得到音乐分轨信号；如将音乐信号分离为人声信号以及伴奏信号，或者将伴奏信号分离为鼓组、贝斯、钢琴等乐器信号。常见的音乐分离方法为基于频域的方法：将音乐信号转换为频域信号后，分离为频域分轨信号，然后再转换为时域分轨信号。

2、而音乐信号中包含大量的音频特征，音乐分离过程中需要同时对大量的信号特征进行计算处理，容易导致在音乐分离过程中需要大量的计算资源并产生较大的功耗，难以应用于资源有限且低功耗需求的移动端。

技术实现思路

1、本申请实施例提供了一种音乐信号分离方法、装置、存储介质及程序产品，该音乐信号分离方法无需对大量的信号特征进行计算处理，能够减少计算资源并降低功耗，可以应用于移动端。

2、本申请实施例提供了一种音乐信号分离方法，包括：

3、获取音乐信号对应的频域信号、以及音乐分离模型；

4、将所述频域信号输入所述音乐分离模型，通过所述音乐分离模型执行如下步骤：

5、分割所述频域信号得到所述频域信号对应的第一特征序列；

6、使用卷积操作对所述第一特征序列进行序列建模，得到第二特征序列；所述第二特征序列中的特征为通过卷积操作捕捉所述第一特征序列中局部特征的依赖性得到的；

7、基于所述第二特征序列，预测得到所述音乐信号对应的音乐分轨信号的掩蔽值；

8、基于所述频域信号以及所述掩蔽值，输出所述音乐信号中的音乐分轨信号。

9、进一步的，所述方法还包括：

10、获取初始音乐分离模型以及预设音乐分离模型，所述预设音乐分离模型在序列建模时捕捉序列中全局特征的依赖性；

11、将音乐分轨信号标签叠加音乐信号后分别输入所述初始音乐分离模型以及所述预设音乐分离模型，得到所述初始音乐分离模型输出的第一音乐分轨信号以及所述预设音乐分离模型输出的第二音乐分轨信号；

12、基于所述音乐分轨信号标签以及第一音乐分轨信号确定第一损失值，基于所述第一音乐分轨信号以及所述第二音乐分轨信号确定第二损失值；

13、基于所述第一损失值以及所述第二损失值确定目标损失值；

14、基于所述目标损失值更新所述初始音乐分离模型的模型参数，直至所述初始音乐分离模型收敛，得到训练完成的音乐分离模型。

15、进一步的，所述分割所述频域信号得到所述频域信号对应的第一特征序列，包括：

16、基于预设的时间窗口对所述频域信号进行分帧，得到多个音频帧特征组成的时间维度序列；

17、或者，基于预设带宽的频点对所述频域信号进行划分子带，得到多个子带特征组成的频域维度序列。

18、进一步的，所述第一特征序列包括：时间维度序列；

19、所述使用卷积操作对所述第一特征序列进行序列建模，包括：

20、使用卷积操作对所述时间维度序列在频域维度上进行序列建模，并对建模后的时间维度序列在时间维度上进行序列建模；

21、或者，使用卷积操作对所述时间维度序列在时间维度上进行序列建模，并对建模后的时间维度序列在频域维度上进行序列建模。

22、进一步的，所述第一特征序列包括：频域维度序列；

23、所述使用卷积操作对所述第一特征序列进行序列建模，包括：

24、使用卷积操作对所述频域维度序列在时间维度上进行序列建模，并对建模后的频域维度序列在频域维度上进行序列建模；

25、或者，使用卷积操作对所述频域维度序列在频域维度上进行序列建模，并对建模后的频域维度序列在时间维度上进行序列建模。

26、进一步的，所述基于所述第二特征序列，预测得到所述音乐信号对应的音乐分轨信号的掩蔽值，包括：

27、将所述第二特征序列中每一特征输入归一化层以及多层感知机，得到每一特征对应的掩蔽值；

28、将所述第二特征序列中多个特征对应的掩蔽值进行合并，得到所述音乐分轨信号的掩蔽值。

29、进一步的，所述基于所述频域信号以及所述掩蔽值，输出所述音乐信号中的音乐分轨信号，包括：

30、将所述频域信号乘以所述掩蔽值得到音乐分轨频域信号；

31、将所述音乐分轨频域信号进行反傅里叶变换，输出所述音乐信号中的音乐分轨信号。

32、本申请实施例还提供了一种音乐信号分离装置，包括：

33、获取单元，用于获取音乐信号对应的频域信号、以及音乐分离模型；

34、输入单元，用于将所述频域信号输入所述音乐分离模型，通过所述音乐分离模型执行如下步骤：

35、分割所述频域信号得到所述频域信号对应的第一特征序列；

36、使用卷积操作对所述第一特征序列进行序列建模，得到第二特征序列；所述第二特征序列中的特征为通过卷积操作捕捉所述第一特征序列中局部特征的依赖性得到的；

37、基于所述第二特征序列，预测得到所述音乐信号对应的音乐分轨信号的掩蔽值；

38、基于所述频域信号以及所述掩蔽值，输出所述音乐信号中的音乐分轨信号。

39、本申请实施例还提供了一种音乐信号分离装置，包括：

40、处理器，存储器以及输入输出接口；

41、所述存储器为短暂存储存储器或持久存储存储器；

42、所述处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行上述的方法。

43、本申请实施例还提供了一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如上所述的方法。

44、本申请实施例还提供了一种包含指令或计算机程序的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如上所述的方法。

45、从以上技术方案可以看出，本申请实施例具有以下优点：

46、可见，本申请实施例中，获取音乐信号对应的频域信号、以及音乐分离模型，通过音乐分离模型执行：使用卷积操作对频域信号对应的第一特征序列进行序列建模，得到第二特征序列；其中，第二特征序列中的特征为通过卷积操作捕捉第一特征序列中局部特征的依赖性得到的；基于第二特征序列预测的掩蔽值，得到音乐信号中的音乐分轨信号；即在第一特征序列中仅需对局部特征进行计算处理，减少了计算处理的特征，无需对大量的信号特征进行计算处理，能够减少计算资源并降低功耗，可以应用于移动端。

技术特征：

1.一种音乐信号分离方法，其特征在于，包括：

2.根据权利要求1所述的音乐信号分离方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的音乐信号分离方法，其特征在于，所述分割所述频域信号得到所述频域信号对应的第一特征序列，包括：

4.根据权利要求1所述的音乐信号分离方法，其特征在于，所述第一特征序列包括：时间维度序列；

5.根据权利要求1所述的音乐信号分离方法，其特征在于，所述第一特征序列包括：频域维度序列；

6.根据权利要求1所述的音乐信号分离方法，其特征在于，所述基于所述第二特征序列，预测得到所述音乐信号对应的音乐分轨信号的掩蔽值，包括：

7.根据权利要求1所述的音乐信号分离方法，其特征在于，所述基于所述频域信号以及所述掩蔽值，输出所述音乐信号中的音乐分轨信号，包括：

8.一种音乐信号分离装置，其特征在于，包括：

9.一种音乐信号分离装置，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至7中任一项所述的方法。

11.一种包含指令或计算机程序的计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得计算机执行如权利要求1至7中任意一项所述的方法。

技术总结
本申请实施例公开了音乐信号分离方法、装置、存储介质及程序产品，用于音频处理技术领域；获取音乐信号对应的频域信号、以及音乐分离模型；将频域信号输入音乐分离模型，通过音乐分离模型执行步骤：分割频域信号得到频域信号对应的第一特征序列；使用卷积操作对第一特征序列进行序列建模，得到第二特征序列；第二特征序列中的特征为通过卷积操作捕捉第一特征序列中局部特征的依赖性得到的；基于第二特征序列，预测得到音乐信号对应的音乐分轨信号的掩蔽值；基于频域信号以及所述掩蔽值，输出音乐信号中的音乐分轨信号；无需对大量的信号特征进行计算处理，可以应用于移动端。

技术研发人员：何礼
受保护的技术使用者：腾讯音乐娱乐科技（深圳）有限公司
技术研发日：
技术公布日：2025/4/6