多通道双耳式录音和动态回放的制作方法

本申请总体上涉及音频记录和回放。具体地，本申请涉及用于提供增强的虚拟现实/增强现实(vr/ar)音频体验的设备和方法。更具体地，提供了用于多通道环绕声录音和对所记录的声音的双耳式(binaural)回放的设备和方法。

背景技术：

1、长期以来，使用两种主要方法进行录音：单声道和立体声。单声道使用单个麦克风拾取声音，而立体声使用两个彼此隔开的麦克风。随着近年来vr/ar技术的出现和普及，经常使用多于两个的麦克风进行录音。产生的录音通常需要多于两个的扬声器才能回放。在某些情况下，对录音执行混合或信号处理，从而仅使用两个扬声器进行回放。但是，不管涉及的扬声器数量如何，这种“模拟”环绕声通常会导致对人耳达不到真实或令人满意的聆听体验。这部分是由于人耳的听觉或听力的复杂性，特别是由于声源相对于听者的头和耳朵的相对位置和方位的听觉敏感性。

2、双耳式记录已被用于改善声音记录和收听体验。但是，具有一组耳廓的常规“仿真头”有其自身的局限性，因为它通常会呈现一个方位或位置。例如，如果仿真头未模仿听者的头部位置或方位，则所得的声音将不会对听者的耳朵产生真实或感官的听觉体验。这在vr/ar应用中尤其是个问题，因为听觉上的轻微缺陷就可能会削弱所设计的整个vr/ar体验。

3、因此，需要改进的方法和系统来提供增强的vr/ar音频体验。更具体地，考虑到变化的头部位置和方位，需要用于改善环绕声录音和回放的设备和方法。

技术实现思路

1、因此，本申请的目的是提供用于与用户或听者的头部位置和角度相对应的增强的vr/ar音频体验的方法和系统。

2、特别地，根据本申请，在一个实施例中，提供了一种用于与用户的至少两个头部位置相对应的环绕声录音和双耳式回放的系统。该系统包括适于记录多个双耳式声音对(sound pairs)的大体上球形的麦克风阵列；多通道录音处理器，适于处理多个双耳式声音对，从而产生多对双耳式音频；多通道回放处理器，适于提取用户的头部位置，并基于头部位置处理多对双耳式音频，从而再现对应于头部位置的双耳式声音对；以及回放单元，适于回放双耳式声音对。

3、在另一个实施例中，回放单元是头戴式耳机(headphone)和耳机(earphone)中的一个。在又一个实施例中，头戴式耳机或耳机是无线的。

4、在进一步的实施例中，该系统进一步包括跟踪单元，该跟踪单元连接到多通道回放处理器，并适于跟踪用户的头部位置。

5、根据另一实施例，跟踪单元是虚拟现实和增强现实(vr/ar)头戴设备(headset)。

6、根据又一个实施例，大体上为球形的麦克风阵列包括大体上为球形的框架和固定到该框架上的多个麦克风。多个麦克风中的每一个与在其相对侧大圆弧上的麦克风配对，以记录双耳式声音对。

7、根据又一个实施例，框架的每个大圆弧的直径大体上是一对人耳之间的距离。

8、根据进一步的实施例，框架由橡胶、硅胶、金属、塑料或其组合制成。

9、在另一个实施例中，大体上球形的麦克风阵列包括18个麦克风。在又一个实施例中，大体上球形的麦克风阵列包括32个麦克风。

10、在进一步的实施例中，多通道录音处理器进一步包括适于过滤声音信号的多通道放大器。

11、根据本申请，在另一个实施例中，提供了一种用于双耳式声音录音的装置。该设备包括适于记录多个双耳式声音对的大体上球形的麦克风阵列，以及适于处理多个双耳式声音对从而产生多对双耳式音频的多通道录音处理器。

12、根据本申请，在又一个实施例中，提供了一种用于向用户提供增强的音频体验的vr/ar系统。该系统包括：适于追踪用户头部位置的vr/ar头戴设备；前述装置；以及vr/ar头戴设备相连的vr/ar耳装置(ear set)，其适于从vr/ar头戴设备中提取用户的头部位置。vr/ar耳装置进一步适于接收多个双耳式声音对并动态地再现对应于头部位置的双耳式声音对。

13、在另一个实施例中，vr/ar头戴设备和vr/ar耳装置物理结合。在又一个实施例中，vr/ar头戴设备和vr/ar耳装置无线连接。

14、根据本申请，在进一步的实施例中，提供了一种用于基于用户的头部位置来动态回放双耳式音频流的方法。该方法包括：处理来自对应于不同头部位置的环绕声的双耳式录音中的多对双耳式音频；提取用户的头部位置；输出对应于头部位置的双耳式声音对。

15、在另一个实施例中，该方法进一步包括使用大体上球形的麦克风阵列记录多个双耳式声音对；以及生成多对双耳式音频。在另一个实施例中，多个双耳式声音对包括9个通道。在进一步的实施例中，多个双耳式声音对包括16个通道。

技术特征：

1.一种用于与用户的至少两个头部位置相对应的环绕声录音和双耳式回放的系统，包括：

2.根据权利要求1所述的系统，其中，所述回放单元是头戴式耳机和耳机中的一者。

3.根据权利要求2所述的系统，其中，头戴式耳机和耳机中的所述一者是无线的。

4.根据权利要求1所述的系统，其中，所述多通道回放处理器进一步包括适于跟踪用户在3维坐标系统中的头部位置的跟踪单元。

5.根据权利要求4所述的系统，其中，所述跟踪单元是虚拟现实和增强现实(vr/ar)头戴设备。

6.根据权利要求1所述的系统，其中，所述框架由橡胶、硅胶、金属和塑料中的至少一种制成。

7.根据权利要求1所述的系统，其中，所述实质上球体的麦克风阵列包括18个麦克风。

8.根据权利要求1所述的系统，其中，所述实质上球体的麦克风阵列包括32个麦克风。

9.根据权利要求1所述的系统，其中，所述多通道录音处理器进一步包括用于对声音信号进行滤波以产生多对音频流的多通道放大器，以及用于对声音信号进行采样的数据采集卡。

10.一种用于双耳式录音的装置，包括：

11.根据权利要求10所述的设备，其中，所述多个麦克风包括18个麦克风。

12.根据权利要求10所述的系统，其中，所述多个麦克风包括32个麦克风。

13.根据权利要求10所述的设备，其中，所述多通道录音处理器进一步包括用于对声音信号进行滤波以产生多对音频流的多通道放大器，以及用于对声音信号进行采样的数据采集卡。

14.一种用于向用户提供增强的音频体验的虚拟现实和增强现实(vr/ar)系统，包括：

15.根据权利要求14所述的vr/ar系统，其中，所述vr/ar头戴设备和vr/ar耳装置是物理结合的。

16.根据权利要求14所述的vr/ar系统，其中，所述vr/ar头戴设备和vr/ar耳装置是无线连接的。

17.一种用于基于用户的头部位置来动态回放双耳式音频流的方法，包括：

18.根据权利要求17所述的方法，其中，所述多个双耳式声音对包括9个通道。

19.根据权利要求17所述的方法，其中，所述多个双耳式声音对包括16个通道。

技术总结
提供了用于在VR/AR应用中增强音频体验的方法和系统。本申请的设备适于记录多个双耳式立体声对并回放与用户的头部位置相对应的选择的双耳式声对。在各种实施例中，利用大体上球形的微阵列来记录多个双耳式立体声对。VR/AR头戴设备进一步适于跟踪用户的头部位置并动态地回放与头部位置相对应的双耳式声音对。

技术研发人员：S·O·埃瑞克森
受保护的技术使用者：哈德利公司
技术研发日：
技术公布日：2024/1/15