一种远端音频分离方法、装置、设备及存储介质与流程

本技术实施例涉及音频处理，尤其涉及一种远端音频分离方法、装置、设备及存储介质。

背景技术：

1、在实时会议场景中，在终端设备中运行的会议应用接收到远端设备提供的远端音频后，需要播放远端音频并向远端设备提供终端设备的本地音频(例如音乐应用播放的背景音乐)。终端设备在播放远端音频以及本地音频时，一般是将远端音频和本地音频输入到声卡中，由声卡将远端音频和本地音频合成为系统音频后控制扬声器进行播放。

2、会议应用需要从声卡中获取音频数据并从向远端设备发送，由于音频数据中混合了远端音频，导致远端设备提供的远端音频又回传给了远端设备，向远端设备返回的音频数据质量较差。

技术实现思路

1、本技术实施例提供一种远端音频分离方法、装置、设备及存储介质，以解决相关技术中从声卡中获取的音频数据混合了远端音频，向远端设备返回的音频数据质量较差的技术问题，从声卡中获取的音频数据中分离远端音频，提高向远端设备返回的音频数据质量。

2、在第一方面，本技术实施例提供了一种远端音频分离方法，包括：

3、基于设定音量调整系数向声卡的第一声道输出远端音频数据，以及向所述声卡的第二声道输出所述远端音频数据；

4、从所述声卡的第一声道获取第一音频数据，以及从所述声卡的第二声道获取第二音频数据，并根据所述设定音量调整系数、所述第一音频数据和所述第二音频数据，从所述第二音频数据中确定仅包含远端音频的目标第二音频数据；

5、根据所述目标第二音频数据以及所述远端音频数据确定播放延迟时间；

6、根据所述远端音频数据、所述播放延迟时间和系统音量信息对从所述声卡获取的音频数据进行远端音频分离，得到目标音频数据。

7、本技术实施例通过基于设定音量调整系数向声卡的第一声道输出远端音频数据，以及向声卡的第二声道输出远端音频数据，并分别从声卡的第一声道和第二声道获取第一音频数据和第二音频数据，并根据设定音量调整系数、第一音频数据和第二音频数据从第二音频数据中确定仅包含远端音频的目标第二音频数据，根据目标第二音频数据以及远端音频数据确定播放延迟时间，可根据远端音频数据、播放延迟时间和系统音量信息对从声卡获取的音频数据进行远端音频分离，得到分离了远端音频的目标音频数据，有效提高向远端设备返回的音频数据质量。

8、在一个实施例中，所述基于设定音量调整系数向声卡的第一声道输出远端音频数据，包括：

9、根据设定音量调整系数与远端音频数据的乘积确定第一声道远端音频数据；

10、向声卡的第一声道输出所述第一声道远端音频数据。

11、上述，通过根据设定音量调整系数与远端音频数据的乘积确定第一声道远端音频数据，并向声卡的第一声道输出第一声道远端音频数据，准确对向声卡的第一声道发送的远端音频数据进行音量调整，实现远端音频在两个声道的音量差异化处理，提高目标第二音频数据的确定准确度。

12、在一个实施例中，所述从所述声卡的第一声道获取第一音频数据，以及从所述声卡的第二声道获取第二音频数据，包括：

13、从所述声卡的第一声道获取非静音的第一音频数据，以及从所述声卡的第二声道获取非静音的第二音频数据。

14、上述，通过获取非静音的第一音频数据和第二音频数据进行播放延迟时间的确定，减少不必要的数据处理，有效提高远端音频分离效率。

15、在一个实施例中，所述根据所述设定音量调整系数、所述第一音频数据和所述第二音频数据，从所述第二音频数据中确定仅包含远端音频的目标第二音频数据，包括：

16、根据所述设定音量调整系数和所述第二音频数据确定候选第二音频数据；

17、根据所述候选第二音频数据和所述第一音频数据，从所述第二音频数据中确定仅包含远端音频的目标第二音频数据。

18、上述，通过根据设定音量调整系数和第二音频数据确定候选第二音频数据，并根据候选第二音频数据和第一音频数据准确确定目标第二音频数据，有效提高远端音频分离准确度。

19、在一个实施例中，所述根据所述候选第二音频数据和所述第一音频数据，从所述第二音频数据中确定仅包含远端音频的目标第二音频数据，包括：

20、在所述候选第二音频数据和所述第一音频数据一致的情况下，将所述候选第二音频数据对应的所述第二音频数据确定为仅包含远端音频的目标第二音频数据。

21、上述，通过在候选第二音频数据和第一音频数据一致时，将候选第二音频数据对应的第二音频数据准确确定为目标第二音频数据，效提高远端音频分离准确度。

22、在一个实施例中，所述根据所述目标第二音频数据以及所述远端音频数据确定播放延迟时间，包括：

23、基于所述目标第二音频数据在所述远端音频数据中确定目标远端音频数据；

24、根据所述目标第二音频数据以及所述目标远端音频数据之间的时间差确定播放延迟时间。

25、上述，通过根据目标第二音频数据在远端音频数据中确定目标远端音频数据，并根据目标第二音频数据以及目标远端音频数据之间的时间差准确确定播放延迟时间，有效提高远端音频分离准确度。

26、在一个实施例中，所述根据所述远端音频数据、所述播放延迟时间和系统音量信息对从所述声卡获取的音频数据进行远端音频分离，得到目标音频数据，包括：

27、根据所述远端音频数据、所述播放延迟时间和系统音量信息确定远端混音音频；

28、从所述声卡获取的音频数据减去所述远端混音音频，得到目标音频数据。

29、上述，通过根据播放延迟时间和系统音量信息对远端音频数据进行处理，得到确定反映远端音频数据输入到声卡进行播放后的播放延迟和音量变化结果的远端混音音频，可从声卡获取的音频数据减去远端混音音频准确得到目标音频数据，准确从音频数据中分离远端音频，提高向远端设备返回的音频质量。

30、在一个实施例中，所述根据所述远端音频数据、所述播放延迟时间和系统音量信息确定远端混音音频，包括：

31、根据所述播放延迟时间调整所述远端音频数据的时间信息，得到中间远端音频数据；

32、根据所述系统音量信息缩放所述中间远端音频数据，得到远端混音音频。

33、上述，通过根据播放延迟时间调整远端音频数据的时间信息得到中间远端音频数据，并根据系统音量信息缩放中间远端音频数据准确得到反映远端音频数据输入到声卡进行播放后的播放延迟和音量变化结果的远端混音音频，有效提高从音频数据中分离远端音频的准确度。

34、在第二方面，本技术实施例提供了一种远端音频分离装置，包括远端输出模块、音频确定模块、延迟确定模块和音频分离模块，其中：

35、所述远端输出模块，用于基于设定音量调整系数向声卡的第一声道输出远端音频数据，以及向所述声卡的第二声道输出所述远端音频数据；

36、所述音频确定模块，用于从所述声卡的第一声道获取第一音频数据，以及从所述声卡的第二声道获取第二音频数据，并根据所述设定音量调整系数、所述第一音频数据和所述第二音频数据，从所述第二音频数据中确定仅包含远端音频的目标第二音频数据；

37、所述延迟确定模块，用于根据所述目标第二音频数据以及所述远端音频数据确定播放延迟时间；

38、所述音频分离模块，用于根据所述远端音频数据、所述播放延迟时间和系统音量信息对从所述声卡获取的音频数据进行远端音频分离，得到目标音频数据。

39、本技术实施例通过基于设定音量调整系数向声卡的第一声道输出远端音频数据，以及向声卡的第二声道输出远端音频数据，并分别从声卡的第一声道和第二声道获取第一音频数据和第二音频数据，并根据设定音量调整系数、第一音频数据和第二音频数据从第二音频数据中确定仅包含远端音频的目标第二音频数据，根据目标第二音频数据以及远端音频数据确定播放延迟时间，可根据远端音频数据、播放延迟时间和系统音量信息对从声卡获取的音频数据进行远端音频分离，得到分离了远端音频的目标音频数据，有效提高向远端设备返回的音频数据质量。

40、在第三方面，本技术实施例提供了一种远端音频分离设备，包括：存储器以及一个或多个处理器；

41、所述存储器，用于存储一个或多个程序；

42、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的远端音频分离方法。

43、在第四方面，本技术实施例提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的远端音频分离方法。