音频上混方法、装置、存储介质和电子设备与流程

本技术涉及音频处理领域，尤其涉及一种音频上混方法、装置、存储介质和电子设备。

背景技术：

1、在家庭影院终端设备和车载扬声器数量不断增加，用户不断追求沉浸式音频体验的今天，传统的立体声播放技术已经无法完全满足用户对于全方位、多维度声音体验的需求。在片源限定的情况下，立体声上混能有效提升音频播放的沉浸感，而常规立体声上混算法难以在播放器端实时播放，需要通过生成文件替换的方式来播放上混音频。

技术实现思路

1、本技术提供了一种音频上混方法、装置、存储介质和电子设备，目的在于对播放器端所响应播放的音频数据进行实时上混。

2、为了实现上述目的，本技术提供了以下技术方案：

3、一种音频上混方法，包括：

4、确定音频数据所对应的频率信号；所述频率信号包括与所述音频数据所示多个音频帧对应的频率，多个所述音频帧按照指定顺序依次被播放器端响应播放；

5、基于与多个所述音频帧对应的频率，确定与多个所述音频帧对应的权重参数；所述权重参数表征侧边信号在所述音频帧的立体声信号中所占的权重；

6、基于与多个所述音频帧对应的权重参数，确定每个所述音频帧所匹配的直接信号和环境信号；所述直接信号包括所述音频帧的主要内容；所述环境信号包括所述音频帧的次要内容；

7、基于每个所述音频帧所匹配的直接信号和环境信号，确定每个所述音频帧的环绕声信号；所述环绕声信号包括多个声道信号，所述声道信号基于对应的扬声器进行播放。

8、可选的，确定音频数据所对应的频率信号，包括：

9、读取音频数据的二进制文件，以获得多个音频帧；

10、确定与多个所述音频帧对应的数字音频信息；所述数字音频信息包括左声道数字音频和右声道数字音频；

11、对多个所述左声道数字音频进行傅里叶变换，以获得左声道频率信号；所述左声道频率信号包括与多个所述音频帧对应的左声道频率；

12、对多个所述右声道数字音频进行傅里叶变换，以获得右声道频率信号；所述右声道频率信号包括与多个所述音频帧对应的右声道频率；

13、基于所述左声道频率信号和所述右声道频率信号，确定为所述音频数据所对应的频率信号。

14、可选的，所述权重参数包括左声道权重参数和右声道权重参数；其中，所述左声道权重参数表征左声道侧边信号在所述音频帧的立体声信号中所占的权重；所述右声道权重参数表征右声道侧边信号在所述音频帧的立体声信号中所占的权重；

15、基于与多个所述音频帧对应的频率，确定与多个所述音频帧对应的权重参数，包括：

16、基于多个所述音频帧对应的左声道频率和右声道频率，生成与多个所述音频帧对应的矩阵参数；所述矩阵参数包括左声道侧边权重矩阵、右声道侧边权重矩阵、左声道中置权重矩阵、右声道中置权重矩阵；

17、对多个所述音频帧所对应的左声道侧边权重矩阵以及左声道中置权重矩阵进行相干性消除，以获得与多个所述音频帧对应的左声道权重参数；

18、对多个所述音频帧所对应的右声道侧边权重矩阵以及右声道中置权重矩阵进行相干性消除，以获得与多个所述音频帧对应的右声道权重参数。

19、可选的，所述环境信号包括左声道环境信号和右声道环境信号；所述左声道环境信号包括所述音频帧的左声道次要内容；所述右声道环境信号包括所述音频帧的右声道次要内容；

20、基于与多个所述音频帧对应的权重参数，确定每个所述音频帧所匹配的直接信号和环境信号，包括：

21、对于每个所述音频帧，基于所述音频帧所对应的左声道频率、右声道频率、左声道权重参数以及右声道权重参数，生成与所述音频帧匹配的直接信号；

22、基于所述直接信号、所述左声道频率以及所述左声道权重参数，确定与所述音频帧匹配的左声道环境信号；

23、基于所述直接信号、所述右声道频率以及所述右声道权重参数，确定与所述音频帧匹配的右声道环境信号。

24、可选的，基于每个所述音频帧所匹配的直接信号和环境信号，确定每个所述音频帧的环绕声信号，包括：

25、对每个所述音频帧所匹配的直接信号进行逆傅里叶变换，以获得第一时域信息；所述第一时域信息包括与每个所述音频帧的主要内容对应的第一时域信号；

26、对每个所述音频帧所匹配的左声道环境信号进行逆傅里叶变换，以获得第二时域信息；所述第二时域信息包括与每个所述音频帧的左声道次要内容对应的第二时域信号；

27、对每个所述音频帧所匹配的右声道环境信号进行逆傅里叶变换，以获得第三时域信息；所述第三时域信息包括与每个所述音频帧的右声道次要内容对应的第三时域信号；

28、使用第一滤波器，对每个所述音频帧所对应的第一时域信号进行滤波，得到每个所述音频帧所对应的第一滤波信号；

29、使用第二滤波器，对每个所述音频帧所对应的第一时域信号进行滤波，得到每个所述音频帧所对应的第二滤波信号；

30、使用第三滤波器，对每个所述音频帧所对应的第二时域信号进行滤波，得到每个所述音频帧所对应的第三滤波信号；

31、使用所述第三滤波器，对每个所述音频帧所对应的第三时域信号进行滤波，得到每个所述音频帧所对应的第四滤波信号；

32、基于每个所述音频帧所对应的第一滤波信号、第二滤波信号、第三滤波信号以及第四滤波信号，生成每个所述音频帧的环绕声信号。

33、可选的，所述环绕声信号的类型为5.1声道，多个声道信号包括左前声道信号、中央声道信号、右前声道信号、左环绕声道信号、右环绕声道信号以及低频声道信号；

34、基于每个所述音频帧所对应的第一滤波信号、第二滤波信号、第三滤波信号以及第四滤波信号，生成每个所述音频帧的环绕声信号，包括：

35、基于每个所述音频帧所对应的第二滤波信号以及第三滤波信号，生成每个所述音频帧的左前声道信号；

36、基于每个所述音频帧所对应的第二滤波信号，生成每个所述音频帧的中央声道信号；

37、基于每个所述音频帧所对应的第二滤波信号以及第四滤波信号，生成每个所述音频帧的右前声道信号；

38、基于每个所述音频帧所对应的第三滤波信号，生成每个所述音频帧的左环绕声道信号；

39、基于每个所述音频帧所对应的第四滤波信号，生成每个所述音频帧的右环绕声道信号；

40、基于每个所述音频帧所对应的第一滤波信号，生成每个所述音频帧的低频声道信号。

41、可选的，所述环绕声信号的类型为7.1声道，多个声道信号还包括左后声道信号和右后声道信号，其中，所述左后声道信号基于所述左环绕声道信号扩展所得，所述右后声道信号基于所述右环绕声道信号扩展所得。

42、一种音频上混装置，包括：

43、频率确定单元，用于确定音频数据所对应的频率信号；所述频率信号包括与所述音频数据所示多个音频帧对应的频率，多个所述音频帧按照指定顺序依次被播放器端响应播放；

44、权重确定单元，用于基于与多个所述音频帧对应的频率，确定与多个所述音频帧对应的权重参数；所述权重参数表征侧边信号在所述音频帧的立体声信号中所占的权重；

45、信号区分单元，用于基于与多个所述音频帧对应的权重参数，确定每个所述音频帧所匹配的直接信号和环境信号；所述直接信号包括所述音频帧的主要内容；所述环境信号包括所述音频帧的次要内容；

46、信号合成单元，用于基于每个所述音频帧所匹配的直接信号和环境信号，确定每个所述音频帧的环绕声信号；所述环绕声信号包括多个声道信号，所述声道信号基于对应的扬声器进行播放。

47、可选的，所述频率确定单元具体用于：

48、读取音频数据的二进制文件，以获得多个音频帧；

49、确定与多个所述音频帧对应的数字音频信息；所述数字音频信息包括左声道数字音频和右声道数字音频；

50、对多个所述左声道数字音频进行傅里叶变换，以获得左声道频率信号；所述左声道频率信号包括与多个所述音频帧对应的左声道频率；

51、对多个所述右声道数字音频进行傅里叶变换，以获得右声道频率信号；所述右声道频率信号包括与多个所述音频帧对应的右声道频率；

52、基于所述左声道频率信号和所述右声道频率信号，确定为所述音频数据所对应的频率信号。

53、可选的，所述权重参数包括左声道权重参数和右声道权重参数；其中，所述左声道权重参数表征左声道侧边信号在所述音频帧的立体声信号中所占的权重；所述右声道权重参数表征右声道侧边信号在所述音频帧的立体声信号中所占的权重；所述权重确定单元具体用于：

54、基于多个所述音频帧对应的左声道频率和右声道频率，生成与多个所述音频帧对应的矩阵参数；所述矩阵参数包括左声道侧边权重矩阵、右声道侧边权重矩阵、左声道中置权重矩阵、右声道中置权重矩阵；

55、对多个所述音频帧所对应的左声道侧边权重矩阵以及左声道中置权重矩阵进行相干性消除，以获得与多个所述音频帧对应的左声道权重参数；

56、对多个所述音频帧所对应的右声道侧边权重矩阵以及右声道中置权重矩阵进行相干性消除，以获得与多个所述音频帧对应的右声道权重参数。

57、可选的，所述环境信号包括左声道环境信号和右声道环境信号；所述左声道环境信号包括所述音频帧的左声道次要内容；所述右声道环境信号包括所述音频帧的右声道次要内容；所述信号区分单元具体用于：

58、对于每个所述音频帧，基于所述音频帧所对应的左声道频率、右声道频率、左声道权重参数以及右声道权重参数，生成与所述音频帧匹配的直接信号；

59、基于所述直接信号、所述左声道频率以及所述左声道权重参数，确定与所述音频帧匹配的左声道环境信号；

60、基于所述直接信号、所述右声道频率以及所述右声道权重参数，确定与所述音频帧匹配的右声道环境信号。

61、可选的，所述信号合成单元具体用于：

62、对每个所述音频帧所匹配的直接信号进行逆傅里叶变换，以获得第一时域信息；所述第一时域信息包括与每个所述音频帧的主要内容对应的第一时域信号；

63、对每个所述音频帧所匹配的左声道环境信号进行逆傅里叶变换，以获得第二时域信息；所述第二时域信息包括与每个所述音频帧的左声道次要内容对应的第二时域信号；

64、对每个所述音频帧所匹配的右声道环境信号进行逆傅里叶变换，以获得第三时域信息；所述第三时域信息包括与每个所述音频帧的右声道次要内容对应的第三时域信号；

65、使用第一滤波器，对每个所述音频帧所对应的第一时域信号进行滤波，得到每个所述音频帧所对应的第一滤波信号；

66、使用第二滤波器，对每个所述音频帧所对应的第一时域信号进行滤波，得到每个所述音频帧所对应的第二滤波信号；

67、使用第三滤波器，对每个所述音频帧所对应的第二时域信号进行滤波，得到每个所述音频帧所对应的第三滤波信号；

68、使用所述第三滤波器，对每个所述音频帧所对应的第三时域信号进行滤波，得到每个所述音频帧所对应的第四滤波信号；

69、基于每个所述音频帧所对应的第一滤波信号、第二滤波信号、第三滤波信号以及第四滤波信号，生成每个所述音频帧的环绕声信号。

70、可选的，所述环绕声信号的类型为5.1声道，多个声道信号包括左前声道信号、中央声道信号、右前声道信号、左环绕声道信号、右环绕声道信号以及低频声道信号；所述信号合成单元具体用于：

71、基于每个所述音频帧所对应的第二滤波信号以及第三滤波信号，生成每个所述音频帧的左前声道信号；

72、基于每个所述音频帧所对应的第二滤波信号，生成每个所述音频帧的中央声道信号；

73、基于每个所述音频帧所对应的第二滤波信号以及第四滤波信号，生成每个所述音频帧的右前声道信号；

74、基于每个所述音频帧所对应的第三滤波信号，生成每个所述音频帧的左环绕声道信号；

75、基于每个所述音频帧所对应的第四滤波信号，生成每个所述音频帧的右环绕声道信号；

76、基于每个所述音频帧所对应的第一滤波信号，生成每个所述音频帧的低频声道信号。

77、可选的，所述环绕声信号的类型为7.1声道，多个声道信号还包括左后声道信号和右后声道信号，其中，所述左后声道信号基于所述左环绕声道信号扩展所得，所述右后声道信号基于所述右环绕声道信号扩展所得。

78、一种存储介质，所述存储介质包括存储的程序，其中，所述程序被处理器运行时执行所述的音频上混方法。

79、一种电子设备，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；

80、所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序被处理器运行时执行所述的音频上混方法。

81、本技术提供的技术方案，确定音频数据所对应的频率信号，基于与多个音频帧对应的频率，确定与多个音频帧对应的权重参数，基于与多个音频帧对应的权重参数，确定每个音频帧所匹配的直接信号和环境信号，基于每个音频帧所匹配的直接信号和环境信号，确定每个音频帧的环绕声信号。本技术通过音频帧的频率信号，确定音频帧所匹配的直接信号和环境信号，利用直接信号和环境信号，生成音频帧的环绕声信号，从而实现对播放器端响应播放的音频帧的实时上混。