一种骑行音频设备及其动态调整方法与流程

本发明涉及控制，具体涉及一种骑行音频设备及其动态调整方法。

背景技术：

1、随着人们对于视听体验的追求越来越高，音频技术也不断地更新换代，从早期的单声道、立体声，发展到现今更具沉浸式体验的环绕声、全景声。沉浸式多声道环绕音频目前已经广泛应用影院，家庭影院等场景；同时，随着汽车(包括电动汽车)的快速发展，在多声道汽车环绕声回放系统也一直在不断发展更新中。

2、但是，在摩托车、自行车等骑行领域关于多声道环绕声的研究很少，目前大部分最多还仅停留于单声道、立体声回放方面的研究和实现。而实际情况时随着现在道路交通的拥挤，人们特别是一些追求时尚快捷的年轻人，对自行车、摩托车的需求和偏爱越来越高。所以，在摩托车、自行车方面多声道环绕声回放方面的研究有待研究和进步。

3、因此，需要一种适用于骑行的音频装置。

技术实现思路

1、本发明是为了解决骑行中音频效果的问题，提供一种骑行音频设备及其动态调整方法，用户可以借助于头盔等穿戴设备中的传感器实现自动调整听音区--三维皇帝位，进而让摩托车用户在骑行时享受到沉浸式听觉体验。

2、本发明提供一种骑行音频设备，包括头盔，设置在头盔中的传声器模块，固定在骑行设备上的音频模块和固定在骑行设备上与传声器模块、音频模块均电连接的听音区调整模块；

3、音频模块包括固定在骑行设备左侧的左侧音频模块和固定在骑行设备右侧的右侧音频模块；

4、传声器模块用于接收左侧音频模块、右侧音频模块发送的测试音频信号并接收后得到的测试音频接收信号和空间位置元数据传输至听音区调整模块；

5、左侧音频模块包括左侧扬声器和与左侧扬声器连接的左侧扬声器指向调整结构，左侧扬声器指向调整结构带动左侧扬声器进行朝向或指向的调整；

6、右侧音频模块包括右侧扬声器和与右侧扬声器连接的右侧扬声器指向调整结构，右侧扬声器指向调整结构带动右侧扬声器进行朝向或指向的调整；

7、左侧扬声器和右侧扬声器均用于接收音频信号并进行声音回放；

8、听音区调整模块接收传声器模块输出的测试音频信号和空间位置元数据进行滤波分解后得到左侧音频模块、右侧音频模块的方位信息和延迟时间，然后根据方位信息调整左侧音频模块、右侧音频模块的指向，根据延迟时间调整左侧音频模块、右侧音频模块的播放时延，以使骑行人员位于听音区中。

9、本发明所述一种骑行音频设备，作为优选方式，传声器模块至少包括位于左侧的左耳传声器和位于右侧的右耳传声器；

10、左侧音频模块还包括与左侧扬声器相连的左侧功放，右侧音频模块还包括与与右侧扬声器相连的右侧功放，左侧功放和右侧功放均用于将接收的音频信号进行功率放大再分别传输至左侧扬声器、右侧扬声器；

11、左侧扬声器、右侧扬声器的数量为至少一个、分布于骑行设备的前侧和/或后侧，左侧功放的数量与左侧扬声器的数量相同，右侧功放的数量与右侧扬声器的数量相同；

12、左侧功放和右侧功放均为数字功放或模拟功放；

13、扬声器指向调整结构为二维转台；

14、骑行设备包括：摩托车、自行车和电动自行车；

15、听音区调整模块可单独设置在骑行设备上，也可与左侧音频模块和/或右侧音频模块集成；

16、听音区调整模块包括电连接的处理器、存储器、数模/模数转换器、音频播放终端；

17、处理器包括：电连接的测试音频播放模块、传声器接收模块、音频信号分解模块、信号分类模块、声源定位模块和扬声器阵列调整模块；

18、测试音频播放模块构造左侧音频模块、右侧音频模块播放的测试音频信号s1(i)和扬声器布局信息m1，其中，i＝1，2，...，m，m为音频模块中扬声器的总个数，扬声器布局信息m1包括多个布局信息且可进行选择；

19、传声器接收模块获取传声器模块的传声器布局信息m2、双耳空间位置信息m3和测试音频接收信号s2(j)，j＝1，2，...，n，n为传声器总个数；

20、音频信号分解模块基于测试音频信号s1(i)构造各个带通滤波器filter(i)，并对测试音频接收信号s2(j)进行线性滤波后分解，得到滤波后信号s3(j，i)；

21、信号分类模块根据传声器布局信息m2、双耳对应空间信息m3对滤波后信号s3(j，i)进行第一筛选分类得到第一分类信号组s4(j)，对滤波后信号s3(j，i)进行第二筛选分类，得到第二分类信号组s5；

22、声源定位模块根据扬声器布局信息m1和第一分类信号组s4(j)依次得到各个扬声器的方向定位(θi，φi)，根据第二分类信号组s5依次得到各个扬声器的相对延迟时间delay_t(i)；

23、扬声器阵列调整模块根据扬声器的定位方向来调整扬声器指向和延迟时间；

24、音频播放终端接收需要播放的音频。

25、本发明所述一种骑行音频设备，作为优选方式，传声器模块还包括位于头盔顶部的顶部传声器；

26、测试音频信号s1(i)包括m种不同的单频信号，或者m个以频率f(i)，i＝1，2，...，m为中心频率的带通信号，f(i)互不相等；

27、左侧音频模块、右侧音频模块可同时播放播放测试音频信号s1(i)并记录下各个扬声器播放时相对延迟时间t1；

28、第二分类信号组s5将滤波后信号s3(j，i)分类为信号组sl和信号组sr，信号组sl为左侧扬声器对应的信号组，信号组sr为右侧扬声器对应的信号组；

29、听音区调整模块可部分设置在手机中，或者通过手机进行调整；

30、音频播放终端与处理器的数据传输方式为以下任意一种：有线传输、蓝牙和wifi，音频播放终端可通过网络连接播放在线音频，也可播放u盘、硬盘或原固件存储器中的音频。

31、本发明提供一种骑行音频设备的动态调整方法，包括以下步骤：

32、s1、获取传声器模块中各个传声器的三维空间位置元数据mt(j)，j＝1，2，...，n，n为传声器总数，同时标记出左右耳对应的空间位置me(k)，k＝1，2，k＝1为左耳，k＝2为右耳；

33、s2、将左侧音频模块、右侧音频模块中扬声器按顺序编号为i，i＝1，2，3，...m，m为扬声器总数，然后播放测试音频；

34、s3、位于头盔上的传声器模块接收测试音频，得到测试音频接收信号s2(j)；

35、s4、听音区调整模块中的处理器使用以f(i)为中心频率的带通滤波器对测试音频接收信号s2(j)进行滤波处理，得到滤波后信号s3(j，i)，s3(j，i)共包括m×n个处理后的音频信号，其中i对应扬声器的编号和频段；

36、s5、将滤波后信号s3(j，i)按照频段分类，得到分类后的第i个频段的第一分类信号组s4(j)，并结合三维空间位置元数据mt(j)进行空间方向的定位，得到各个扬声器相对于头盔上预设原点的三维相对空间方位，三维相对空间方位包括水平方向角度θi和垂直方向角度φi，进入步骤s9；

37、s6、将滤波后信号s3(j，i)进行第二筛选分类得到左侧扬声器对应的信号组sl、右侧扬声器对应的信号组sr、左侧传声器的编号lj(p)和右侧传声器的编号rj(p)；

38、s7、通过门限法，分别获得信号组sl、信号组sr的起跳时间，然后通过lj(p)空间位置信息mtl(1)和左耳空间位置me(1)，通过空间插值得到lj(p)对应的权重值gl(1)，继而把各个权重加载到对应的起跳时间上，得到左侧各个扬声器到达左耳的起始时间t_l1(l)，l＝1，2，...，ql，ql为左侧音频模块中扬声器的个数；

39、通过rj(p)空间位置信息mtr(p)和右耳空间位置me(2)，通过空间插值得到rj(p)对应的权重值gr(p)，继而得到t_r1(r)，r＝1，2，...，qr，qr为右侧音频模块中扬声器的个数；

40、s8、选取t_l1(l)和t_r1(r)中的最大值，计为max_t；然后分别使用max_t-t_l1(l)，l＝1，2，...，ql，得到左侧各个扬声器相对延迟时间delay_l(l)；

41、max_t-t_r1(r)，r＝1，2，...，qr，得到右侧各个扬声器扬声器相对延迟时间delay_r(r)；

42、s9、听音区调整模块根据三维相对空间方位，通过左侧扬声器指向调整结构、右侧扬声器指向调整结构调整扬声器调整指向，使得各个扬声器组成听音区；同时，通过处理器对各个传送到播放扬声器的音频信号进性延迟处理，对左右侧扬声器待播放音频信号分别延迟delay_l(l)和delay_r(r)；

43、s10、判断是否达到触发条件，如果是，播放测试音频后返回步骤s3；如果否，继续播放音频信号。

44、本发明所述的一种骑行音频设备的动态调整方法，作为优选方式，步骤s1中，以头盔的顶部作为参考原点；

45、n>3时，左侧音频模块和右侧音频模块的扬声器呈三维空间分布，n＝3时，扬声器不全在同一水平面上；

46、步骤s2中，测试音频信号为s1(i，f(i))，其中，f(i)为第i个频段或第i个单频信号，每个扬声器播放的测试音频频段完全不同；

47、当扬声器进行测试音频信号播放时，如果声道播放不同步，则需要记录各个扬声器播放时间点t0(i)，并进一步得到每个扬声器播放的相对延迟时间t1(i)。

48、本发明所述的一种骑行音频设备的动态调整方法，作为优选方式，步骤s5中，空间方向的定位方法为基于相位差或能量差的方法，定位方法包括：doa，gcc-phat，mvdr。

49、本发明所述的一种骑行音频设备的动态调整方法，作为优选方式，步骤s6中，左侧扬声器对应的信号组sl包括离左耳空间位置最近的p个传声器所对应的音频信号sl1(p，i)，右侧扬声器对应的信号组包括离右耳空间位置最近的p个传声器所对应的音频信号sr1(p，i)，n≥p≥2，离左耳空间位置最近的p个传声器编号为lj(k)、三维空间位置元数据为mtl(k)，离右耳空间位置最近的p个传声器编号为rj(k)、三维空间位置元数据为mtr(k)；

50、以扬声器θi的角度进行分类，当0≤θi≤180°时将扬声器设定为左侧信号群sl2(k，l)，l＝1，2，...，ql，ql为左侧扬声器个数，k＝1；当180＜θi＜360°时将扬声器设定为右侧信号群sr2(k，r)，r＝1，2，...，qr，qr为右侧扬声器个数，k＝2；且ql+qr＝m；

51、对扬声器进行编号，得到左侧群扬声器编号ls(l)、左侧群扬声器频段信息f(l)，得到右侧群扬声器编号rs(l)、右侧群扬声器频段信息f(r)。

52、本发明所述的一种骑行音频设备的动态调整方法，作为优选方式，步骤s7中，通过门限法，分别获得sl2(k，l)，sr2(k，r)的起跳时间t_l0(k，l)，t_r0(k，r)，通过插值和权重加载得到左侧各个扬声器到达左耳的起始时间t_l1(l)、右侧各个扬声器到达左耳的起始时间t_r1(r)；

53、插值法为以下任意一种：三角插值法、双线性插值和球谐分解法；

54、当步骤s2中，扬声器播放不同步时，则需要根据相对延迟时间t1(i)，对t_l1(l)和t_r1(r)，进行修正；

55、修正后t_l1(l)＝t_l1(l)-t1(l)；修正后t_r1(r)＝t_r1(r)-t1(r)。

56、本发明所述的一种骑行音频设备的动态调整方法，作为优选方式，门限方法为：先求取从第i个扬声器传输到第j个传声器的滤波信号s3(j，i)中幅度绝对值最大样点值：

57、max_value(j，i)＝max(abs(s3(j，i)))；

58、然后从s3(j，i)初始样点t0开始计算幅值绝对值|s3(j，i，t)|；

59、第一个满足s13(j，i，tn)≥α·max_value(j，i)的时间样点tn即为通过门限法球的的延迟样点t_l1(l)＝tn，α为门限值，0＜α≤1；

60、max_t1＝max{tl_li}，相对延迟时间：

61、delay_l(l)＝t_l1(l)-max_t1。

62、本发明所述的一种骑行音频设备的动态调整方法，作为优选方式，步骤s9中，听音区为：将第i个扬声器的指向调整为180-θi和-φi方向，即以头盔为中心；

63、步骤s10中，出发条件为以下任意一种：固定时间点、间隔时间、骑手身体运动范围超过预设条件时，对于骑手身体运动范围超过预设条件的判断，使用结合摄像头或者使用头盔上安装的陀螺仪来监视骑手的身体运动状态，预设条件包括包括身体转动的角度、身体扭动的角度是否大于预设角度θ0，如果是，则达到触发条件。

64、由于回放场景和扬声器个数的限制，在沉浸式回放系统中存在着能够让用户感受到最具沉浸感的听音区，即所谓的皇帝位，也可以叫做听音区。

65、传统皇帝位的定义均基于多声道环绕系统，主要参照坐标系是和扬声器在一个平面的及固定的区域，而在骑行装备中比如：摩托车，往往不在一个平面且有可能在多个平面的扬声器，如前置音箱只能固定在前车把或者更低的前车架位置，后面的音箱只能固定在后座及后座更低的后结架车尾灯等结构上，因此此时扬声器在骑行者的座位水平位置下方，还有可能基于结构装配原因部分基于坐位水平位置部分基于座位水平位置和以下的位置混合结构，总之这样的结构限制造成骑行者头部完全不在一个平面上，因此骑行者听音区应该在座位水平面上方区域。

66、基于已有的技术定位的黄金位是基于两维平面，在骑行领域基于车辆结构的限制更突出高度的定义及调整方法。无论在影院还是家庭音箱传统扬声器位置一般是处于和人基本平行的上下结构，另外就是人座位位置比较远因此从物理位置上容易实现比较宽范围固定声场体验，而且头顶可以装配扬声器，实现听音区体验，但是骑行装置受到结构及安全影响头上部无法安装扬声器，也不适合在和人身体平行的位置安装扬声器，因此该处阐述的骑行是用在和基于低于人坐位水平面两维扬声器的结构实现三维听音区虚拟呈现。

67、无论影院、家庭音响、汽车音响人座位位置比较远因此从扬声器物理位置上比较容易实现比较宽范围的最佳听音，而骑行因为骑行装置相对紧凑因此扬声器的物理安装也相对紧凑在人近距离的四周，因此形成声场会比较小，此时从人坐水平面下的扬声器声场要调解为空中声场需要除了物理仰角调节，还需要结合算法调解。

68、影院、家庭音箱、汽车这三种情况均处于封闭私人环境使用，不用考虑声音的扩散问题，而骑行音响装置必须考虑安装位置的限制及声音尽量不扩散，比如室外骑行音箱的扩散形成炸街的效果是会影响他人的感受，甚至造成公共噪音污染。因此需要尽量缩小声场范围或者叫收敛声场区域，仅仅让骑行者体验到更大更好沉浸感的听音效果，减少对周边区域的影响。

69、影院、家庭影院、汽车等均为固定声场定位，骑行状态为动态，左右摆动幅度较大，因此该扬声器内置或者头盔内置传感器可以实时测试车身及人身体的动态位置变化，随着动态位置变化进行最佳听音去动态调整。

70、骑行者身高差异较大基于不同的骑行者，不能每次都调整安装结构及仰角等，一般是基于某个固定体验结构仰角等调整好后需要固定，因为高速骑行中振动很大因此必须固定好扬声器，或者基于前装市场应用即车出厂前固定安装后期只能在结构微调或者不能调试结构因此调整方法除了基于结构调整在实际应用中主要是基于算法的调整。

71、基于安全考虑音乐功能不适合设计在头盔内会影响骑行者对外界安全信号的判断，因此方法基于外置多音箱实现。

72、现今影院最中间一部分区域划分，即为音频工程师根据影院场景以及扬声器布局而划分出的皇帝位。因此如何能够让用户能够享受到皇帝位处的沉浸式音频体验一直是现今音频工程师们不断努力研究的方向之一。

73、沉浸式多声道环绕音频目前已经广泛应用影院，家庭影院等场景；同时，随着汽车(包括电动汽车)的快速发展，在多声道汽车环绕声回放系统也一直在不断发展更新中。但是，在摩托车，自行车领域关于多声道环绕声的研究很少，目前大部分最多还仅停留于单声道、立体声回放方面的研究和实现。而实际情况时随着现在道路交通的拥挤，人们特别是一些追求时尚快捷的年轻人，对自行车、摩托车的需求和偏爱越来越高。所以，明显在摩托车、自行车方面多声道环绕声回放方面的研究有待研究和进步。另外基于安全考虑音乐功能不适合设计在头盔内会影响骑行者对外界安全信号的判断，因此方法基于外置多音箱实现。

74、本发明旨在提供一种能够帮助用户提升摩托车用户沉浸式音频体验的方法和装备。用户可以借助于头盔等穿戴设备中的传感器实现自动调整听音区--三维皇帝位，进而让摩托车用户在骑行时享受到沉浸式听觉体验。

75、进一步根据骑行者直观感知进行手机操作界面左右高低前后微调。

76、本发明根据摩托车，或者自行车车手骑车时可能会出现身体移动、转动等骑行特点，进行实时、或者近似实时的自动处理方法，来达到自动调整最佳皇帝的效果。

77、本发明具有以下优点：

78、(1)本发明首先在摩托车上来构造三维皇帝位的想法，并使用扬声器指向可调的方法来构造三维皇帝位，不仅考虑水平面，还考虑高度。而一般情况大部分仅考虑水平面。

79、(2)通过扬声器同时播放不同声音信号来进行声音定位的想法。更关键的在于通过这种方法，同时获得基于双耳拾音点处各个扬声器的相对延迟时间。即通过一次扬声器的发声，就获得各个扬声器的空间位置和相对时延。不需要知道扬声器的绝对位置，只需要知道扬声器的相对预设原点的空间方位即可。

80、(3)在计算时延时，本专利考虑的是基于双耳处的时延；而现有技术则主要考虑判断用户的位置，所以不用考虑此情况。而因为人听声音更多的是依靠双耳，所以考虑双耳处声音更为可靠。这是其他类似方向专利未考虑的。

81、(4)本发明根据摩托车，或者自行车车手骑车时可能会出现身体移动、转动等骑行特点，进行实时、或者近似实时的自动处理方法，来达到自动调整最佳皇帝的效果。