虚拟环境中渲染实时空间音频的系统和方法与流程

本发明涉及一种实时通信中的音频渲染技术，具体而言，本发明涉及虚拟环境中的实时空间音频渲染技术。更具体而言，本发明涉及一种用于在虚拟环境中渲染实时立体声音频的系统和方法。

背景技术：

1、在现实世界的交流中，人们可以从声源处听到声音，并分辨声源的方向和距离。这是由双耳效应所决定的。双耳效应要求收听者两耳接收到的声波信号的时延和频谱能量分布是不同的。因此，空间音频应至少具有两个声道(立体声音频)才能在实时通信环境(如在线游戏环境)中为用户提供双耳效应。参与人员(或简称为参与者)在实时通信(rtc)虚拟环境中位于不同的房间条件下，比如在线会议室或虚拟剧院等。他们也可以在自己的房间内从一个地方移动到另一个地方。房间内可能有多个音频源，例如说话声、电视等。

2、但是，在实时通信中，很多设备如笔记本电脑或手机可能只支持单通道录音。即使设备支持立体声录制，rtc应用程序使用的音频编解码器也可能不支持立体声音频。因此，rtc虚拟环境中的音频通常是单声道格式。除了硬件和音频编解码器的限制外，在rtc虚拟环境中，每个音频源的位置都可以是变化的。换句话说，对于单声道音频信号需要一种新的实时空间音频渲染系统，来根据音频源和收听者的实时位置生成立体声音频。

3、因此，需要一种在虚拟环境中为收听者生成立体声音频的新型音频渲染系统和方法。实时空间音频渲染系统需要通过来自音频源的单声道音频信号、收听者和音频源的实时虚拟位置以及收听者的实时方位将实时立体声音频信号以最短的时间延迟传送至每一个听众。实时空间音频渲染系统将音频源进行渲染并混合成立体声播放格式以便传送给虚拟房间中的收听者。此外，收听者可以通过立体声音频分辨每个音频源的方向和距离，这使得虚拟rtc环境更接近真实世界的聆听体验。此外，实时空间音频渲染系统还需要生成具有混响效果的立体声音频信号。

技术实现思路

1、总体而言，本发明提供了一种用于在虚拟环境中对来自单声道的实时空间音频进行渲染的计算机实现方法。该方法由实时空间音频渲染系统内的实时空间音频渲染计算机软件应用程序执行，具体包括：确定是否为渲染单声道音频源集合的空间音频设置了混响效果；确定该单声道音频源集合中的每一个音频源分别相对于收听者在虚拟环境中的动态位置集合；获得一个离散的头部相关脉冲响应(hrir)集合；将该离散hrir集合转换为连续hrir集合；基于该动态位置集合确定该单声道音频源集合内每个单声道音频源的耳间时间差；根据上述耳间时间差修改该连续hrir，生成修改后的hrir；对单声道音频源集合内的每个单声道音频源的音频信号应用增益控制，生成修改后的音频信号；根据修改后的hrir对修改后的音频信号进行卷积运算，生成单声道音频源集合中每个单声道音频源的空间音频信号；以及，将单声道音频源集合中的所有单声道音频源的空间音频信号进行组合，生成直达声(无混响)音频，该直达声音频可由通信设备播放。空间音频是立体声音频。该方法还包括将直达声音频的电平压缩到目标范围之内以供通信设备播放，其中空间音频是立体声音频。

2、在设置混响时，则该方法还包括：根据收听者所在房间的空间尺寸数据和收听者的位置以及上述单声道音频源集合，生成双耳房间脉冲响应(brir)；使用brir将单声道音频源集合中的每个单声道音频源的音频信号进行卷积运算，生成单声道音频源集合中的每个单声道音频源的混响立体声音频；将单声道音频源集合中的所有单声道音频源的混响立体声音频进行组合，生成组合混响音频；以及，在左声道和右声道均将直达声音频与组合混响音频进行混合，生成最终的空间音频用于在通信设备上播放。

3、本发明还提供了一种实时空间音频渲染系统，该系统包括在通信设备上运行的实时空间音频渲染计算机软件应用程序。实时空间音频渲染计算机软件应用程序能够：确定是否在渲染单声道音频源集合的空间音频时设置了混响效果；确定该单声道音频源集合中的每一个音频源分别相对于收听者在虚拟环境中的动态位置集合；获得一个离散的头部相关脉冲响应(hrir)集合；将该离散hrir集合转换为连续hrir集合；确定单声道音频源集合内每个单声道音频源的耳间时间差；根据上述耳间时间差修改该连续hrir，生成修改后的hrir；对单声道音频源集合中的每个单声道音频源的音频信号应用增益控制，生成修改后的音频信号；根据修改后的hrir对修改后的音频信号进行卷积运算，生成单声道音频源集合内每个单声道音频源的空间音频信号；以及，将单声道音频源集合内的所有单声道音频源的空间音频信号进行组合，生成直达声音频，该直达声音频可由通信设备播放。在一些实施方案中，空间音频是立体声音频。实时空间音频渲染计算机软件应用程序还可用于将直达声音频的电平压缩到目标范围之内以供通信设备播放。

4、在配置混响时，实时空间音频渲染计算机软件应用程序还可：根据收听者所在房间的一组维度数据和收听者的位置以及上述单声道音频源集合，生成双耳房间脉冲响应(brir)；使用brir将单声道音频源集合中的每个单声道音频源的音频信号进行卷积运算，生成单声道音频源集合中的每个单声道音频源的混响立体声音频；将单声道音频源集合中的所有单声道音频源的混响立体声音频进行组合，生成组合混响音频；以及，在左声道和右声道均将直达声音频与组合混响音频混合，生成最终空间音频用于在通信设备上播放。在进一步的实施方案中，实时空间音频渲染计算机软件应用程序还适用于将最终空间音频的电平压缩到目标范围。

技术特征：

1.一种在虚拟环境中将单声道音频源渲染成实时空间音频的计算机实现方法，所述方法由实时空间音频渲染系统中的实时空间音频渲染计算机软件应用程序执行，并且所述方法包括：

2.根据权利要求1所述的方法，还包括将所述直达声音频的电平压缩到目标范围之内以供所述通信设备播放。

3.根据权利要求1所述的方法，如果设置了需要混响，所述方法还包括：

4.根据权利要求3所述的方法，还包括将所述最终的空间音频的电平压缩到目标范围之内。

5.根据权利要求1～4任一项所述的方法，其中所述空间音频为立体声音频。

6.一种实时空间音频渲染系统，所述系统包括在通信设备上运行的实时空间音频渲染计算机软件应用程序，所述实时空间音频渲染计算机软件应用程序被配置为：

7.根据权利要求6所述的实时空间音频渲染系统，所述实时空间音频渲染系统将所述直达声音频的电平压缩到目标范围之内以供通信设备播放。

8.根据权利要求6所述的实时空间音频渲染系统，如果设置了需要混响，所述实时空间音频渲染系统还被配置为：

9.根据权利要求8所述的实时空间音频渲染系统，其中所述实时空间音频渲染系统将所述最终的空间音频的电平压缩到目标范围之内。

10.根据权利要求6～9任一项所述的实时空间音频渲染系统，其中所述空间音频为立体声音频。

技术总结
本发明提供了一种新型实时空间音频渲染系统，包括可在通信设备上运行的实时空间音频渲染计算机软件应用程序。该应用程序将收听者在虚拟房间中的单声道音频源渲染成立体声音频。收听者是可以移动的。为房间内的每个收听者渲染立体声音频。实时空间音频渲染系统有两种不同的模式：有混响和无混响。混响可以提供房间的维度感。首先，直达声处理模块生成直达声立体声音频，可体现空间音频的方向感和距离感。当需要混响时，还需执行混响处理模块，使得最后生成的空间音频可体现房间的维度感。

技术研发人员：冯建元,杭睿翔
受保护的技术使用者：达音网络科技（上海）有限公司
技术研发日：
技术公布日：2024/1/12