
一种头部相关函数hrtf的确定方法、电子设备及存储介质
技术领域
1.本技术涉及三维音频技术领域,尤其涉及一种头部相关函数(head related transfer function,hrtf)的确定方法、电子设备及存储介质。
背景技术:2.随着高性能计算机和信号处理技术的飞速发展,人们对语音、音频体验提出了越来越高的要求,浸入式音频能够满足人们在这方面的需求。例如,在电子设备与耳机建立通信连接的情况下,电子设备可以通过耳机播放音频。在相关技术中,电子设备可以对音频进行空间音频渲染,以使得用户具有沉浸感的听觉体验。
3.目前,主要借助hrtf对音频进行空间音频渲染。其中,大部分的hrtf数据库都是基于人工头模型(knowles electronics mannequin for acoustics research,kemar)或者基于少量的受试者测量获得的。但是,由于人工头模型或少量受试者的人头几何尺寸与用户之间存在差异,这样测得的hrtf数据库在应用于空间音频渲染时,用户并不能获得“声临其境”的听音感受。
技术实现要素:4.本技术实施例提供一种头部相关函数hrtf的确定方法、电子设备及存储介质,能够提高电子设备通过hrtf对音频进行空间音频渲染的效果。
5.本技术的实施例采用如下技术方案:
6.第一方面,提供了一种头部相关函数hrtf的确定方法,该方法应用于音频系统中的电子设备,音频系统包括电子设备和音频采集设备,音频采集设备佩戴在目标用户的耳部;电子设备与所述音频采集设备通信连接;该方法包括:电子设备获取m个第一角度,以及第一角度对应的n个头相关脉冲响应hrir数据;第一角度用于指示第一连线与水平面的夹角,第一连线为电子设备与目标用户的头部中心位置之间的连线;hrir数据包括第二角度和目标距离;第二角度用于指示第二连线与水平面的夹角,第二连线为电子设备与目标用户的第一耳之间的连线,目标距离用于指示电子设备与头部中心位置之间的距离;m、n为正整数;电子设备对hrir数据进行时域转换处理,以得到目标用户的hrtf;电子设备根据目标用户对应的hrtf,对待渲染音频信号进行音频渲染,生成目标渲染信号;目标渲染信号是用于向目标用户的耳部输出的渲染信号。
7.基于第一方面,由于目标用户的hrtf是根据目标用户的人头几何尺寸确定出的,因此,电子设备根据目标用户对应的hrtf对待渲染音频信号进行音频渲染时,能够使得用户获得更好的空间音频渲染效果,提高了用户体验。
8.在第一方面的一种可能的设计中,电子设备获取m个第一角度,以及第一角度对应的n个头相关脉冲响应hrir数据,包括:电子设备每获取到一个第一角度后,确定第一角度对应的n个hrir数据,直到获取到m个第一角度,以及m个第一角度对应的hrir数据。
9.在第一方面的一种可能的设计中,不同的第一角度,电子设备与目标用户的相对
高度不同;电子设备获取m个第一角度,包括:电子设备获取与目标用户对应的第一参数,以及第二参数;第一参数用于指示电子设备与头部中心位置之间的距离;第二参数用于指示电子设备与头部中心位置在同一水平面上的预设距离,第二参数大于或等于第一预设值;电子设备根据第一相对高度对应的第一参数和所述第二参数,获取一个第一角度;在电子设备在垂直方向上移动后,电子设备与目标用户的相对高度发生变化;电子设备根据变化后的相对高度对应的第一参数,以及第二参数,获取另一个第一角度,直至获取到m个第一角度。
10.在第一方面的一种可能的设计中,第一角度,第一参数和第二参数满足如下表达式:φ=arccos(r0/r);其中,φ为第一角度,r为第一参数,r0为第二参数。
11.在第一方面的一种可能的设计中,音频采集设备为耳机,耳机包括左耳塞和右耳塞;电子设备获取第一角度对应的n个hrir数据,包括:在第一角度不变的情况下,在耳机在水平面上沿第一方向转动的过程中,电子设备获取n个不同位置处的n个第三参数和n个目标距离;第三参数用于指示左耳塞和右耳塞与电子设备之间的距离差;电子设备获取第四参数;第四参数用于指示目标用户的头围直径;电子设备根据n个第三参数和第四参数,得到n个第二角度;不同第二角度对应一个位置处的第三参数;电子设备根据n个第二角度和n个目标距离,获取n个hrir数据;一个hrir数据对应一个第二角度和一个目标距离。
12.在第一方面的一种可能的设计中,该方法还包括:电子设备通过第一提示信息提示目标用户在水平面上沿第一方向转动。
13.在该设计方式中,电子设备可以通过第一提示信息提示目标用户在水平面上沿第一方向转动,避免用户盲目的转动,提高了用户体验。
14.在第一方面的一种可能的设计中,第二角度、第三参数以及第四参数满足如下表达式:θ=arccos(δd/d);其中,θ为第二角度;δd为第三参数,d为第四参数。
15.在第一方面的一种可能的设计中,该方法还包括:电子设备将起始位置对应的目标距离作为参考距离;起始位置为耳机在水平面上沿第一方向开始转动时的位置;针对每个hrir数据,当目标距离与参考距离之间的差值小于或等于第二预设值时,电子设备调整hrir数据中的目标距离为参考距离;当目标距离与所述参考距离之间的差值大于第三预设值时,电子设备将hrir数据删除。
16.在该设计方式中,由于目标用户在转动过程中无法保证电子设备与头部中心位置之间的距离始终保持一致,可能会出现电子设备与头部中心位置之间的距离在一定范围内的波动,基于此,电子设备可以将起始位置对应的目标距离作为参考距离,对目标距离进行校正处理,从而得到比较准确的hrir数据。这样一来,通过将hrir数据转换成的hrtf也会比较准确,提高了确定hrtf的准确性。
17.在第一方面的一种可能的设计中,电子设备存储有的k个预设角度;k为正整数;该方法还包括:当k个预设角度与m个第一角度未匹配时,电子设备重新获取第一角度,直到k个预设角度与m个第一角度相匹配。
18.在该设计方式中,k个预设角度为预先设置的比较全面、准确的预设角度(即俯仰角),因此电子设备在获取到m个第一角度后,还可以将m个第一角度与k个预设角度进行匹配,如果k个预设角度与m个第一角度未匹配时,电子设备重新获取第一角度,直到k个预设角度与m个第一角度相匹配,从而能够使得电子设备获取的m个第一角度比较准确,有利于
提高后续确定出的hrtf的准确性。
19.在第一方面的一种可能的设计中,该方法还包括:电子设备通过第二提示信息向目标用户提示预设角度和当前的第一角度;第二提示信息用于使目标用户根据提示的预设角度和当前的第一角度,调整电子设备与目标用户的相对高度。
20.在该设计方式中,电子设备可以通过第二提示信息向目标用户提示预设角度和当前的第一角度,而后,目标用户可以基于当前的第一角度和预设角度,调整电子设备与目标用户的相对高度,使得电子设备测量的第一角度与预设角度更接近,避免用户盲目测量第一角度;从而使得第一角度与预设角度的匹配度更高。
21.在第一方面的一种可能的设计中,该方法还包括:电子设备对m个第一角度进行插值处理,以得到插值后的第一角度,并获取插值后的第一角度对应的n个hrir数据;插值后的第一角度与第一角度之间的差值小于或等于第一阈值;电子设备对n个hrir数据进行插值处理,以得到插值后的hrir数据;插值后的hrir数据中的第二角度与hrir数据中的第二角度之间的差值小于或等于第二阈值;电子设备对hrir数据进行时域转换处理,得到目标用户的hrtf,包括:电子设备对插值后的hrir数据进行时域转换处理,得到目标用户的hrtf;其中,插值处理包括线性插值、双线性插值或者重心插值中的一种。
22.在该设计方式中,由于电子设备测量得到的第一角度和hrir数据的数据较少,无法直接应用于空间音频渲染,因此电子设备可以对m个第一角度进行插值处理,以及对n个hrir数据进行插值处理,得到更多数量的第一角度和hrir数据,提高音频渲染效果。
23.在第一方面的一种可能的设计中,电子设备获取第四参数,包括:在电子设备在目标位置处保持不动的情况下,在耳机在水平面上沿第一方向转动的过程中,电子设备获取m个位置处的m个第五参数;目标位置用于指示电子设备与耳机在同一水平面上的位置;第五参数用于指示左耳塞和右耳塞与电子设备之间的距离差;m为正整数;电子设备根据m个第五参数中的最大值和最小值,获取第四参数。
24.在第一方面的一种可能的设计中,电子设备与目标用户对应;或者,电子设备与hrtf对应;或者,电子设备中存储有目标用户和hrtf的对应关系。
25.第二方面,提高一种电子设备,该电子设备具有实现上述第一方面所述的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
26.第三方面,提供一种电子设备,该电子设备包括显示屏、存储器和一个或多个处理器;显示屏、存储器和处理器耦合;存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;当计算机指令被处理器执行时,使得电子设备执行如下步骤:电子设备获取m个第一角度,以及第一角度对应的n个头相关脉冲响应hrir数据;第一角度用于指示第一连线与水平面的夹角,第一连线为电子设备与目标用户的头部中心位置之间的连线;hrir数据包括第二角度和目标距离;第二角度用于指示第二连线与水平面的夹角,第二连线为电子设备与目标用户的第一耳之间的连线,目标距离用于指示电子设备与头部中心位置之间的距离;m、n为正整数;电子设备对hrir数据进行时域转换处理,以得到目标用户的hrtf;电子设备根据目标用户对应的hrtf,对待渲染音频信号进行音频渲染,生成目标渲染信号;目标渲染信号是用于向目标用户的耳部输出的渲染信号。
27.在第三方面的一种可能的设计中,当计算机指令被处理器执行时,使得电子设备
具体执行如下步骤:电子设备每获取到一个第一角度后,确定第一角度对应的n个hrir数据,直到获取到m个第一角度,以及m个第一角度对应的hrir数据。
28.在第三方面的一种可能的设计中,不同的第一角度,电子设备与目标用户的相对高度不同;当计算机指令被处理器执行时,使得电子设备具体执行如下步骤:电子设备获取与目标用户对应的第一参数,以及第二参数;第一参数用于指示电子设备与头部中心位置之间的距离;第二参数用于指示电子设备与头部中心位置在同一水平面上的预设距离,第二参数大于或等于第一预设值;电子设备根据第一相对高度对应的第一参数和所述第二参数,获取一个第一角度;在电子设备在垂直方向上移动后,电子设备与目标用户的相对高度发生变化;电子设备根据变化后的相对高度对应的第一参数,以及第二参数,获取另一个第一角度,直至获取到m个第一角度。
29.在第三方面的一种可能的设计中,第一角度,第一参数和第二参数满足如下表达式:φ=arccos(r0/r);其中,φ为第一角度,r为第一参数,r0为第二参数。
30.在第三方面的一种可能的设计中,音频采集设备为耳机,耳机包括左耳塞和右耳塞;当计算机指令被处理器执行时,使得电子设备具体执行如下步骤:在第一角度不变的情况下,在耳机在水平面上沿第一方向转动的过程中,电子设备获取n个不同位置处的n个第三参数和n个目标距离;第三参数用于指示左耳塞和右耳塞与电子设备之间的距离差;电子设备获取第四参数;第四参数用于指示目标用户的头围直径;电子设备根据n个第三参数和第四参数,得到n个第二角度;不同第二角度对应一个位置处的第三参数;电子设备根据n个第二角度和n个目标距离,获取n个hrir数据;一个hrir数据对应一个第二角度和一个目标距离。
31.在第三方面的一种可能的设计中,当计算机指令被处理器执行时,使得电子设备还执行如下步骤:电子设备通过第一提示信息提示目标用户在水平面上沿第一方向转动。
32.在第三方面的一种可能的设计中,第二角度、第三参数以及第四参数满足如下表达式:θ=arccos(δd/d);其中,θ为第二角度;δd为第三参数,d为第四参数。
33.在第三方面的一种可能的设计中,当计算机指令被处理器执行时,使得电子设备还执行如下步骤:电子设备将起始位置对应的目标距离作为参考距离;起始位置为耳机在水平面上沿第一方向开始转动时的位置;针对每个hrir数据,当目标距离与参考距离之间的差值小于或等于第二预设值时,电子设备调整hrir数据中的目标距离为参考距离;当目标距离与所述参考距离之间的差值大于第三预设值时,电子设备将hrir数据删除。
34.在第三方面的一种可能的设计中,电子设备存储有的k个预设角度;k为正整数;当计算机指令被处理器执行时,使得电子设备还执行如下步骤:当k个预设角度与m个第一角度未匹配时,电子设备重新获取第一角度,直到k个预设角度与m个第一角度相匹配。
35.在第三方面的一种可能的设计中,当计算机指令被处理器执行时,使得电子设备还执行如下步骤:电子设备通过第二提示信息向目标用户提示预设角度和当前的第一角度;第二提示信息用于使目标用户根据提示的预设角度和当前的第一角度,调整电子设备与目标用户的相对高度。
36.在第三方面的一种可能的设计中,当计算机指令被处理器执行时,使得电子设备还执行如下步骤:电子设备对m个第一角度进行插值处理,以得到插值后的第一角度,并获取插值后的第一角度对应的n个hrir数据;插值后的第一角度与第一角度之间的差值小于
或等于第一阈值;电子设备对n个hrir数据进行插值处理,以得到插值后的hrir数据;插值后的hrir数据中的第二角度与hrir数据中的第二角度之间的差值小于或等于第二阈值;电子设备对hrir数据进行时域转换处理,得到目标用户的hrtf,包括:电子设备对插值后的hrir数据进行时域转换处理,得到目标用户的hrtf;其中,插值处理包括线性插值、双线性插值或者重心插值中的一种。
37.在第三方面的一种可能的设计中,当计算机指令被处理器执行时,使得电子设备具体执行如下步骤:在电子设备在目标位置处保持不动的情况下,在耳机在水平面上沿第一方向转动的过程中,电子设备获取m个位置处的m个第五参数;目标位置用于指示电子设备与耳机在同一水平面上的位置;第五参数用于指示左耳塞和右耳塞与电子设备之间的距离差;m为正整数;电子设备根据m个第五参数中的最大值和最小值,获取第四参数。
38.在第三方面的一种可能的设计中,电子设备与目标用户对应;或者,电子设备与hrtf对应;或者,电子设备中存储有目标用户和hrtf的对应关系。
39.第四方面,提供一种音频系统,包括:电子设备和音频采集设备;音频采集设备佩戴在目标用户的耳部上;电子设备与音频采集设备通信连接;电子设备用于执行上述第一方面中任一项所述的方法。
40.在第四方面的一种可能的设计方式中,该音频系统还包括:音频播放设备;音频播放设备用于播放第一频段的扫频信号,电子设备用于播放第二频段的扫频信号;第一频段与第二频段不同。
41.在该设计方式中,电子设备和音频播放设备同时播放不同频段的扫频信号,能够减少播放扫频信号的时间,进而减少电子设备确定hrtf的时间,有利于降低设备功耗。
42.第五方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当计算机指令在计算机上运行时,使得计算机可以执行上述第一方面中任一项所述的方法。
43.第六方面,提供了一种包含指令的计算机程序产品,当该指令在计算机上运行时,使得计算机可以执行上述第一方面中任一项所述的方法。
44.其中,第二方面至第六方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果,此处不再赘述。
附图说明
45.图1为本技术实施例提供的一种音频系统的结构示意图;
46.图2为本技术实施例提供的一种电子设备的硬件结构示意图;
47.图3为本技术实施例提供的一种音频采集设备的硬件结构示意图;
48.图4为本技术实施例提供的一种电子设备的软件框架示意图;
49.图5为本技术实施例提供的一种hrtf的确定方法的流程示意图一;
50.图6为本技术实施例提供的一种hrtf的确定方法的流程示意图二;
51.图7为本技术实施例提供的一种左耳塞和右耳塞接收扫频信号的时间的示意图一;
52.图8为本技术实施例提供的一种hrtf的确定方法的界面示意图;
53.图9为本技术实施例提供的一种左耳塞和右耳塞接收扫频信号的时间的示意图
二;
54.图10为本技术实施例提供的一种左耳塞和右耳塞接收扫频信号的时间的示意图三;
55.图11为本技术实施例提供的一种对左耳塞和右耳塞到电子设备的距离差进行插值的示意图;
56.图12为本技术实施例提供的一种不同俯仰角的示意图;
57.图13为本技术实施例提供的一种俯仰角的平面示意图;
58.图14为本技术实施例提供的一种hrir数据的结构示意图;
59.图15为本技术实施例提供的一种对hrir数据进行校正处理的示意图;
60.图16为本技术实施例提供的一种对hrir数据进行插值处理的示意图;
61.图17为本技术实施例提供的一种芯片系统的结构示意图。
具体实施方式
62.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行描述。其中,在本技术的描述中,除非另有说明,“/”表示前后关联的对象是一种“或”的关系,例如,a/b可以表示a或b;本技术中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况,其中a,b可以是单数或者复数。并且,在本技术的描述中,除非另有说明,“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。另外,为了便于清楚描述本技术实施例的技术方案,在本技术的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。同时,在本技术实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念,便于理解。
63.本技术实施例提供一种hrtf的确定方法,该方法能够使得电子设备基于目标用户的人头几何尺寸,完成目标用户的hrtf的测量,并建立hrtf数据库。由于该hrtf数据库是电子设备根据用户目标用户自己的人头几何尺寸测量得到的,因此该hrtf数据库在应用于空间音频渲染时,能够使得目标用户获得更好的空间音频渲染效果。
64.在一些实施例中,电子设备在首次播放音频的时候,电子设备可以提示目标用户确定目标用户的hrtf。在另一些实施例中,电子设备在首次开机时,电子设备可以提示目标用户确定目标用户的hrtf。示例性的,电子设备的“设置应用”中包括“专属音频模式”设置项,目标用户可以进入该“专属音频模式”中根据目标用户自己的人头几何尺寸,得到目标用户的hrtf。
65.需要说明的是,本技术实施例中所述的目标用户指的是使用该电子设备的用户,该目标用户可以为该电子设备的机主。这样一来,目标用户根据自身的人头几何尺寸确定
目标用户(以下实施例简称为用户)自己的hrtf,并保存在电子设备中。在实际应用中,当用户使用电子设备播放音频时,电子设备可以基于已有的hrtf对该音频进行渲染,从而达到更好的音频渲染效果,提高用户体验。
66.本技术实施例提供的hrtf的确定方法可应用于音频系统中,该系统可以包括至少一个电子设备和音频采集设备,电子设备和音频采集设备之间建立通信连接(例如有线连接和无线连接)。其中,无线连接例如可以为蓝牙连接。
67.在本技术实施例中,电子设备用于播放扫频信号;音频采集设备用于接收扫频信号,并向电子设备发送反射信号,以使电子设备根据音频采集设备发送的反射信号计算音频采集设备接收扫频信号的时间。在一些实施例中,电子设备通过扬声器播放扫频信号;音频采集设备通过麦克风接收扫频信号,并且音频采集设备通过与电子设备建立通信连接的通道(如有线通道或无线通道),向电子设备发送反射信号。
68.需要说明的是,本技术实施例对音频系统中包括的电子设备的具体数量不作限定。例如音频系统可以包括一个电子设备、两个电子设备或者三个电子设备等。在确定hrtf数据库的过程中,不同的电子设备可以播放不同频段的扫频信号。在一些实施例中,音频系统还可以包括一个电子设备和多个音频播放设备;其中,电子设备可以用于播放扫频信号,也可以用于确定hrtf数据;而音频播放设备仅用于播放扫频信号。
69.在一些实施例中,以音频系统包括三个电子设备为例,在得到hrtf数据库的过程中,可以使用三个电子设备同时发射扫频信号,每个电子设备播放的扫频信号的频段不同。示例性的,电子设备1发射50hz~2khz频段的扫频信号;电子设备2发射2khz~10khz频段的扫频信号;电子设备3发射10khz~20khz频段的扫频信号。示例性的,电子设备1可以为本技术实施例中所述的电子设备,电子设备2和电子设备3可以为本技术实施例中所述的音频播放设备,如音响、喇叭等具有扬声器的设备。
70.通常,音频采集设备可以接收到的频率范围大约在50hz~20khz,因此,电子设备播放的扫频信号的频率范围可以分布在50hz~20khz之间。若音频系统仅包括一个电子设备,那么,该电子设备发射50hz~20khz的扫频信号可能需要30s;但是,当音频系统包括三个电子设备时,三个电子设备可以分别发射不同频段的扫频信号,并且每个电子设备发射扫频信号的时间会缩短至10s。这样一来,就能够减少电子设备发射扫频信号的时长,从而提高了电子设备确定hrtf的速度,有利于降低设备功耗。
71.其中,电子设备例如可以为手机、平板电脑、电视、个人计算机(personal computer,pc)、个人数字助理(personal digital assistant,pda)、上网本或者智能穿戴设备(例如智能手表、智能手环等)等任何具有扬声器的设备。音频采集设备例如可以为具有麦克风(microphone,mic)的设备。如具有麦克风的各类耳机(有线耳机或无线耳机)。示例性的,无线耳机例如可以为真无线立体声(true wireless stereo,tws)耳机。
72.下面以音频系统包括一个电子设备,电子设备为手机,音频采集设备为tws耳机为例,对本技术实施例提供的技术方案进行详细描述。
73.本技术实施例提供的技术方案可能涉及到的音频系统具体架构可参照图1所示。该系统架构可以包括手机100和tws耳机200。其中,在本技术实施例中,手机100和tws耳机200之间可以建立有无线通信连接(例如蓝牙连接)。在手机100和tws耳机200为首次建立蓝牙连接的情况下,示例性的,手机100和tws耳机200可以分别响应于用户开启蓝牙的操作,
diode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode,amoled),柔性发光二极管(flex light-emitting diode,fled),mini-led,micro-oled,micro-oled,量子点发光二极管(quantum dot light emitting diodes,qled)等。
82.麦克风140,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当用户拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风发声,将声音信号输入到麦克风。手机100可以设置至少一个麦克风。
83.扬声器150,也称“喇叭”,用于将音频信号转换为声音信号。手机100可以通过扬声器接收音乐,或收听免提通话。
84.天线用于发射和接收电磁波信号。
85.无线通信模块160可以提供应用在手机100上的包括无线局域网(wireless local area networks,wlan)(例如,无线保真(wireless fidelity,wi-fi))、蓝牙,全球导航卫星系统(global navigation satellite system,gnss),调频(frequency modulation,fm),近距离无线通信技术(near field communication,nfc),红外技术(infrared,ir)等无线通信的解决方案的通信处理模块。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器接收待发送的信号,对其进行调频,放大,经由天线转为电磁波辐射出去。
86.在一些实施例中,手机100的天线和无线通信模块160耦合。使得手机100可以通过无线通信技术与网络以及其它设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,gsm),通用分组无线服务(general packet radio service,gprs),码分多址接入(code division multiple access,cdma),宽带码分多址(wideband code division multiple access,wcdma),时分码分多址(time-division code division multiple access,td-scdma),lte,5g新无线通信(new radio,nr),bt,gnss,wlan,nfc,fm,和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system,gps),全球导航卫星系统(global navigation satellite system,glonass),北斗卫星导航系统(beidou navigation satellite system,bds),准天顶卫星系统(quasi-zenith satellite system,qzss)和/或星基增强系统(satellite based augmentation systems,sbas)。
87.传感器180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器、接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器、重力传感器和超声波传感器等。在本技术实施例中,超声波传感器用于测量手机与头部中心位置之间的距离。
88.示例性的,图3为本技术实施例提供的一种tws耳机200的耳塞(如左耳塞200a和右耳塞200b)的结构示意图。具体的,参考图3所示,tws耳机200的耳塞(如左耳塞200a)可以包括处理器210、存储器220、传感器230、无线通信模块240、扬声器250、麦克风260、电源270以及输入/输出接口280。
89.其中,存储器220可以用于存储应用程序代码,如用于与tws耳机200的另一个耳塞(如右耳塞200b)建立无线连接,以及使得耳塞与手机100进行配对连接的应用程序代码。处
理器210可以控制执行上述应用程序代码,以实现本技术实施例中tws耳机200的耳塞功能。
90.存储器220中还可以存储有用于唯一标识该耳塞的蓝牙地址,以及存储有tws耳机200的另一个耳塞的蓝牙地址。另外,该存储器220还可以存储有与该耳塞之前成功配对过的手机100的连接数据。例如,该连接数据可以为与该耳塞成功配对过的手机100的蓝牙地址。基于该连接数据,该耳塞能够与电子设备自动配对,而不必配置与其之间的连接,如进行合法性验证等。上述蓝牙地址可以为媒体访问控制(media access control,mac)地址。
91.传感器230可以为距离传感器或接近光传感器。耳塞可以通过该传感器230确定是否被用户佩戴。例如,耳塞可以利用接近光传感器来检测耳塞附近是否有物体,从而确定耳塞是否被用户佩戴。在确定耳塞被佩戴时,耳塞可以打开扬声器250。在一些实施例中,该耳塞还可以包括骨传导传感器,结合成骨传导耳机。利用该骨传导传感器,耳塞可以获取声部振动骨块的振动信号,解析出语音信号,实现语音功能。在另一些实施例中,该耳塞还可以包括触摸传感器,用于检测用户的触摸操作。在另一些实施例中,该耳塞还可以包括指纹传感器,用于检测用户指纹,识别用户身份等。在另一些实施例中,该耳塞还可以包括环境光传感器,可以根据感知的环境光的亮度,自适应调节一些参数,如音量大小。
92.无线通信模块240用于支持tws耳机200的耳塞与各种设备(如上述实施例中的手机100)之间的短距离数据交换。在一些实施例中,该无线通信模块240可以为蓝牙收发器。tws耳机200的耳塞可以通过该蓝牙收发器与上述手机100之间建立无线连接,以实现两者之间的短距离数据交换。
93.扬声器250也可以称为“听筒”,可以用于将音频电信号转换为声音信号并播放。
94.麦克风260也可以称为“话筒”,“传声器”,用于将声音信号转换为音频电信号。
95.电源270可以用于向tws耳机200的耳塞包含的各个部件供电。在一些实施例中,该电源270可以是电池,如可充电电池。
96.通常,tws耳机200会配有一耳塞盒。该耳塞盒可以用于收纳tws耳机200的左右耳塞。该耳塞盒可以用于收纳tws耳机200的左耳塞200a和右耳塞200b。另外,该耳塞盒还可以为tws耳机200的左右耳塞充电。相应的,在一些实施例中,上述耳塞还可以包括:输入/输出接口280。输入/输出接口280可以用于提供tws耳机200的耳塞与耳塞盒之间的任何有线连接。
97.在一些实施例中,输入/输出接口280可以为电连接器。当tws耳机200的耳塞置于耳塞盒中时,tws耳机200的耳塞可以通过该电连接器与耳塞盒(如与耳塞盒的输入/输出接口)电连接。在该电连接建立后,耳塞盒可以为tws耳机200的耳塞的电源270充电。在该电连接建立后,tws耳机200的耳塞还可以与耳塞盒进行数据通信。例如,tws耳机200的耳塞可以通过该电连接接收来自耳塞盒的配对指令。该配对指令用于指示tws耳机200的耳塞打开无线通信模块240,从而使得tws耳机200的耳塞可以采用对应的无线通信协议(如蓝牙)与手机100进行配对连接。
98.当然,上述tws耳机200的耳塞还可以不包括输入/输出接口280。在这种情况下,耳塞可以基于通过上述无线通信模块240与耳塞盒建立的无线连接,实现充电或者数据通信功能。
99.另外,在一些实施例中,耳塞盒还可以包括处理器,存储器等部件。该存储器可以用于存储应用程序代码,并由耳塞盒的处理器来控制执行,以实现耳塞盒的功能。例如,当
用户打开耳塞盒的盒盖时,耳塞盒的处理器通过执行存储在存储器中的应用程序代码,可以响应于用户打开盒盖的操作向tws耳机200的耳塞发送配对命令等。
100.可以理解的是,本技术实施例示意的结构并不构成对tws耳机200的耳塞的具体限定。其可以具有比图3中所示的更多或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。例如,该耳塞还可以包括指示灯(可以指示耳塞的电量等状态)、防尘网(可以配合听筒使用)等布局。图3中所示出的各种部件可以在包括一个或多个信号处理或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
101.需要说明的是,tws耳机200的左右耳塞的结构可以相同。例如,tws耳机200的左右耳塞可以都包括图3中所示的部件。或者,tws耳机200的左右耳塞的结构也可以不同。例如,tws耳机200的一个耳塞(如左耳塞200a)可以包括图3所示的部件,而另一个耳塞(如右耳塞200b)可以包括图3中除麦克风260以外的其他部件。
102.在一些实施例中,手机100的软件系统可以采用分层架构,事件驱动架构,微核架构或云架构。本技术实施例以分层架构android系统为例,示例性的说明手机100的软件结构。
103.图4为本技术实施例提供的电子设备的软件结构图。
104.分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(android runtime)和系统库,以及内核层。
105.应用程序层可以包括一系列应用程序包。
106.如图4所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,wlan,蓝牙,音乐,视频,短信息和语音助手等应用程序。
107.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,api)和编程框架。应用程序框架层包括一些预先定义的函数。
108.如图4所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
109.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
110.内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听电话,浏览历史和书签,电话薄等。
111.视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
112.电话管理器用于提供手机100的通信功能。例如通话状态的管理(包括接通,挂断等)。
113.资源管理器为应用程序提供各种资源,比如本地化字符,图标,图片,布局文件,视频文件等。
114.通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通
知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
115.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
116.核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
117.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
118.系统库可以包括多个功能模块。例如:表面管理器(surface manager)媒体库(media libraries),三维图形处理库(例如:opengl es),2d图形引擎(例如:sgl)等。
119.表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2d和3d图层的融合。
120.媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音频编码格式,例如:mpeg4,h.264,mp3,aac,amr,jpg,png等。
121.三维图形处理库用于实现三维图形绘图,图像渲染,合成和图层处理等。
122.2d图形引擎是2d绘图的绘图引擎。
123.内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
124.在描述本技术实施例之前,先对本技术实施例中涉及到的相关技术进行说明。
125.需要说明的是,hrtf是声源到双耳的频域传输函数,hrtf用球坐标(r,θ,φ)表示声源的位置。其中,r为声源与头部中心位置的距离;θ表示声源在水平面上的方向(简称方位角);φ表示声源在中垂面上的方向(简称俯仰角)。其中,在中垂面上,φ=-90
°
表示正下方、φ=0
°
表示水平面、φ=+90
°
表示正上方;在水平面上,θ=0
°
表示正前方,θ=90
°
表示正右方,θ=180
°
表示正后方,θ=270
°
表示正左方。在自由场的情况下,hrtf定义为:
126.其中,p
l
,pr分别是声源在左耳、右耳产生的声压;p0是头不存在时,头部中心位置处的声压;r为声源到头部中心位置的距离;f为声波的频率;θ为方位角,φ为俯仰角。
127.需要说明的是,hrtf的时域表示是头相关脉冲响应(head-related impulse response,hrir);其中,hrir定义的h
l
=(r,θ,φ,f),hr=(r,θ,φ,f)与h
l
,hr互为傅里叶变换。
128.在一些实施例中,通过采集hrir数据,并对其进行时域转换处理(如傅里叶变换),就可以得到hrtf。
129.下面结合说明书附图,对本技术实施例提供的hrtf的确定方法进行详细描述。
130.图5为本技术实施例提供的一种hrtf的确定方法的流程示意图,如图5所示,该方法包括:s301-s306。
131.s301、手机确定用户的头围直径。
132.需要说明的是,在后续对hrir数据的采集过程中,需要计算用户头部相对手机的
转动角度,即本技术实施例中所述的第二角度(或称方位角,θ)。而方位角θ与用户的头围直径有关,因此首先需要获取用户的头围直径(即本技术实施例中所述的第四参数)。
133.在一些实施例中,获取用户的头围直径的过程如图6所示,示例性的,该过程包括:步骤1、手机固定在目标位置1(或称目标位置)处,并播放扫频信号。其中,目标位置用于指示手机与tws耳机在同一水平面上的位置。例如,目标位置1例如可以为正对用户面部的方向。换言之,当手机在目标位置1处时,手机屏幕与用户面部正对。
134.通常,tws耳机可以接收到的频率范围大约在50hz~20khz,因此,手机播放的扫频信号的频率范围可以分布在50hz~20khz之间。示例性的,手机通过扬声器播放扫频信号。
135.步骤2、手机指示tws耳机利用耳塞接收扫频信号。
136.示例性的,如图1所示,手机可以指示tws耳机的左耳塞200a和右耳塞200b接收扫频信号。例如,手机可以指示tws耳机的左耳塞200a和右耳塞200b中的麦克风接收扫频信号。
137.步骤3、手机根据tws耳机的耳塞接收扫频信号的时间差,确定tws耳机的左耳塞和右耳塞到手机的距离差。
138.在一些实施例中,耳塞接收扫频信号的时间差例如可以称为双耳声压时间差(interaural time difference,itd)。双耳声压时间差itd指的是扫频信号到达左耳塞200a和右耳塞200b的时间间隔。
139.示例性的,tws耳机的左耳塞和右耳塞到手机的距离差满足如下表达式:其中,δs为tws耳机的左耳塞和右耳塞到手机的距离差(即本技术实施例中所述的第五参数),v为扫频信号在空气中的传播速度,δt为双耳声压时间差。
140.通常,扫频信号在空气中的传播速度为340m/s。以左耳塞接收扫频信号的时间为t1,右耳塞接收扫频信号的时间为t2为例进行示意,示例性的,tws耳机的左耳塞和右耳塞到手机的距离差可以表示为:
141.例如,如图7所示,当手机位于目标位置1时,即手机在用户面部正前方;在此基础上,tws耳机的左耳塞和右耳塞接收扫频信号的时间相同(即t1=t2)。这样一来,tws耳机的左耳塞和右耳塞到手机的距离差δs则为零。
142.步骤4、手机在目标位置1处保持不变,手机指示用户的头部在水平面上沿第一方向转动预设角度,重新执行步骤2-步骤3,直到用户头部回到起始位置。
143.其中,手机指示用户的头部沿第一方向转动预设角度的过程中,用户的头部会带动耳机沿第一方向转动。因此,在耳机在水平面上沿第一方向转动的过程中,手机重新执行步骤2-步骤3,就可以获取到m个位置处的m个第五参数,一个位置对应一个预设角度。m为正整数。
144.在一些实施例中,第一方向例如可以为顺时针方向;或者第一方向为逆时针方向。需要说明的是,本技术以下实施例均以第一方向为顺时针方向为例进行示意。另外,本技术对于预设角度不作限定。示例性的,预设角度例如可以为45
°
或者90
°
等其它合适的角度,具体以实际为准。
145.需要说明的是,用户头部回到起始位置指的是,用户头部顺时针转动360
°
之后,用
户的面部重新与手机屏幕正对。
146.在一些实施例中,手机通过提示信息(或称第一提示信息)指示用户的头部按照在水平面上沿第一方向转动预设角度。示例性的,提示信息包括语音提示信息和文字提示信息中的至少一种。例如,如图8中(a)所示,手机可以播放类似“头顺时针转动90
°”
的语音。相应地,在手机播放语音提示信息之后,手机还可以显示如图8中(b)所示的弹窗,以进一步提示用户转动头部。在一些实施例中,手机还可以通过振动+语音+弹窗的提示方式指示用户转动头部。
147.示例性的,如图9所示,当用户的头部顺时针转动90
°
后,手机位于用户面部的正右方。在此情况下,tws耳机的左耳塞与手机距离最近,tws耳机的右耳塞与手机距离最远,因此当手机播放扫频信号后,左耳塞最先接收到扫频信号,而后右耳塞才会接收到扫频信号,即左耳塞接收到扫频信号的时间小于右耳塞接收到扫频信号的时间。这样一来,左耳塞和右耳塞接收扫频信号的时间差最小,从而使得在该角度下左耳塞和右耳塞到手机的距离差最小(例如可以标记为δs
min
)。
148.又示例性的,如图10所示,当用户的头部顺时针转动270
°
之后,手机位于用户面部的正左方。在此情况下,tws耳机的右耳塞与手机距离最近,tws耳机的左耳塞与手机距离最远,因此当手机播放扫频信号后,右耳塞最先接收到扫频信号,而后左耳塞才会接收到扫频信号,即左耳塞接收到扫频信号的时间大于右耳塞接收到扫频信号的时间。这样一来,左耳塞和右耳塞接收扫频信号的时间差最大,从而使得在该角度下左耳塞和右耳塞到手机的距离差最大(例如可以标记为δs
max
)。
149.需要说明的是,图7、图9以及图10中示出的手机与用户面部均为水平面方向上的示意图,仅作为参考。在实际应用中,当手机位于目标位置1时,手机与用户面部正对;而后,手机位置保持不动,用户头部顺时针转动。例如,用户双腿按照顺时针转动,从而带动头部顺时针转动。
150.在一些实施例中,手机可以在用户头部运动过程中(如顺时针转动),计算tws耳机的左耳塞和右耳塞到手机的距离差δs,即用户头部每转动一定角度,手机都可以计算出在该角度下tws耳机的左耳塞和右耳塞到手机的距离差δs。在一些实施例中,由于用户头部顺时针转动的过程中,手机计算出的距离差δs的数量较少,导致确定出的头围直径不够准确,因此手机还可以根据计算出的距离差δs的结果进行目标处理,以得到更多的距离差δs。示例性的,该目标处理例如可以为插值处理。其中,插值处理包括线性插值、双线性插值或重心插值中的一种或多种。
151.示例性的,在手机对计算出的距离差δs的结果进行目标处理之后,左耳塞和右耳塞到手机的距离差δs的变化规律如图11所示,例如,由图11可以看出,用户头部顺时针转动角度依次由0
°
到90
°
时,距离差δs逐渐递减;在用户头部顺时针转动角度为90
°
时,距离差δs最小。相应地,用户头部顺时针转动角度依次由90
°
到270
°
时,距离差δs逐渐递增;在用户头部顺时针转动角度为270
°
时,距离差δs最大。相应地,用户头部顺时针转动角度依次由270
°
到360
°
时,距离差δs逐渐递减。
152.结合上述实施例中的步骤1-步骤2,在一些实施例中,手机通过用户头部运动过程中,计算的距离差δs,就可以确定出用户的头围直径。示例性的,用户的头围直径满足如下
表达式:其中,d为用户的头围直径,δs
max
为距离差的最大值,δs
min
为距离差的最小值。
153.s302、手机测量手机与头部中心位置之间的m个俯仰角(或称第一角度)。
154.其中,m为正整数。
155.需要说明的是,俯仰角指的是连线一(或称第一连线)与水平面的夹角。其中,连线一用于指示手机与头部中心位置之间的连线。其中,俯仰角例如可以标记为φ。
156.在一些实施例中,手机采用可伸缩支架固定,通过改变手机与地面的高度,以得到手机与头部中心位置之间的m个俯仰角。也就是说,不同的俯仰角,手机与用户的相对高度不同。其中手机与用户的相对高度指的是,以用户为参考物,手机相对于用户的高度不同。例如以用户的头部为参考物,手机采用可伸缩支架改变高度时,即手机相对于用户的头部的高度发生了变化。当然,还可以以用户的耳部为参考物,或者以用户的头部中心位置为参考物等来表示手机与用户的相对高度,本技术实施例对此不作限定。
157.示例性的,如图12所示,以头部中心位置o为原点坐标,建立球面坐标系。例如,当手机在位置1时,由于此时手机与tws耳机位于同一水平面,因此手机与头部中心位置之间的俯仰角φ1=0
°
。当手机在位置2时,手机与头部中心位置之间的俯仰角为φ2。当手机在位置3时,手机与头部中心位置之间的俯仰角为φ3。由图12可以看出,手机与头部中心位置之间的俯仰角为:手机和头部中心位置之间的连线与水平面的夹角。
158.以手机与头部中心位置之间的俯仰角为φ2为例进行示意,示例性的,如图13所示,俯仰角可以通过测量手机与头中心位置之间的距离r计算得到。例如,俯仰角满足以下表达式:φ=arccos(r0/r);其中,φ为俯仰角,r为手机与头部中心位置之间的距离(或称第一参数),r0为手机与头部中心位置之间的最小距离(或称第二参数)。其中,r0为预先设置在手机的预设距离。
159.需要说明的是,当手机和tws耳机位于同一水平面时,此时手机与头部中心位置之间的距离最小,即该距离为r0。在一些实施例中,手机与头部中心位置之间的最小距离大于等于2m(米),即r0≥2m,以确保手机与tws耳机处于远场条件下。
160.在一些实施例中,手机可以通过超声波传感器测量手机与头部中心位置之间的距离。示例性的,超声波传感器采用超声波测距的原理测量手机与头部中心位置之间的距离。其中,超声波测距原理指的是超声波发射器向某一方向发射超声波,在发射时刻的同时开始计时,超声波在空气中传播,途中碰到障碍物就立即返回来,超声波接收器接收到反射波就立即停止计时。
161.在本技术实施例中,超声波发射器例如可以为扬声器,手机通过扬声器发送扫频信号。超声波接收器例如可以为麦克风,手机可通过麦克风接收扫频信号的反射信号。示例性的,手机通过扬声器发送扫频信号,同时在发射时刻开始计时;扫频信号在空气中传播,当扫频信号碰到用户头部时产生反射信号,手机通过麦克风接收到反射信号后就立即停止计时。在一些实施例中,手机与头部中心位置之间的距离满足如下表达式:其中,r为手机与头部中心位置之间的距离,v为扫频信号在空气中的传播速度,t为手机从出扫频信号到接收反射信号所用的时长。
162.结合上述实施例以及图12和图13所示,具体的,通过改变手机与地面的高度,使手机位于中垂面上的不同位置处;针对于不同位置,手机首先测量出在该位置处,手机与头部中心位置之间的距离r,然后手机根据距离r和最小距离r0计算出手机在该位置处的俯仰角φ,从而得到m个俯仰角。
163.s303、针对每一个俯仰角,手机测量该俯仰角对应的n个hrir数据。
164.这里需要说明的是,在本技术实施例中,手机每获取到一个俯仰角后,就会测量该俯仰角对应的n个hrir数据,直到获取到m个俯仰角,以及m个俯仰角对应的hrir数据。
165.其中,n个hrir数据中的每个hrir数据包括方位角(或称第二角度)和手机与头部中心位置之间的距离(或称目标距离)。示例性的,hrir数据例如可以标记为(θ,r);其中,θ表示方位角,r表示手机与头部中心位置之间的距离。
166.以俯仰角为φ1为例进行示意,示例性的,结合图12所示,俯仰角φ1所对应的手机的位置为位置2。将手机固定在位置2处,并播放扫频信号。待扫频信号播放完后,用户头部沿第一方向转动到测量位置1处,手机再次播放扫频信号。待扫频信号播放完后,用户头部沿第一方向转动到测量位置2处,手机再次播放扫频信号。如此循环,直到用户头部回到起始位置。也就是说,在俯仰角不变的情况下,在耳机(即用户头部)在水平面上沿第一方向转动的过程中,手机可以获取到n个不同位置(即不同测量位置)出的n个第三参数和n个目标距离。而后,手机针对于每一个第三参数和第四参数,可以计算得到n个第二角度。基于此,手机可以根据n个第二角度和n个目标距离,得到n个hrir数据。
167.在一些实施例中,手机可以通过第一提示信息提示用户在水平面上沿第一方向转动。其中,对于第一提示信息的举例说明可以参考上述实施例以及图8中的(a)和图8中的(b)所示,此处不再一一列举。
168.需要说明的是,对于扫频信号和第一方向的举例说明可以参考上述实施例,此处不再一一赘述。
169.在一些实施例中,在每一个测量位置处,手机测量该测量位置对应的hrir数据。以用户头部沿第一方向转动到测量位置1处为例,示例性的,如图14所示,方位角指的是连线二(或称第二连线)与水平面之间的夹角。其中,连线二用于指示手机与第一耳塞(或称第一耳)之间的连线。
170.需要说明的是,第一耳塞可以为左耳塞,也可以为右耳塞,本技术实施例对此不作限定。示例性的,图14以第一耳塞为左耳塞为例进行示意。
171.在一些实施例中,方位角可以根据tws耳机的左耳塞和右耳塞到手机的距离差(或称第三参数),以及用户的头围直径(或称第四参数)计算得到。在一些实施例中,方位角满足如下表达式:θ=arccos(δd/d);其中,θ为方位角,δd为tws耳机的左耳塞和右耳塞到手机的距离差,d为用户的头围直径。
172.其中,对于tws耳机的左耳塞和右耳塞到手机的距离差δd的计算方法可以参考上述实施例中步骤3的举例说明,此处不再一一赘述。
173.应理解,hrir数据还包括手机与头部中心位置之间的距离r;其中,手机可以通过超声波传感器测量手机与头部中心位置之间的距离。对于超声波传感器测量手机与头部中心位置之间的距离的举例说明可以参考上述实施例,此处不再一一赘述。
174.在一些实施例中,由于用户在转动过程中无法保证手机与头部中心位置之间的距
离r始终一致,可能会出现距离r在一定范围内波动的情况。基于此,在本技术实施例中,当手机测量出每个俯仰角对应的hrir数据时,手机还可以对hrir数据进行校正处理。其中,校正处理包括补正或删除等。
175.示例性的,将用户头部在起始位置时,手机计算得到的手机与头部中心位置之间的距离r作为参考距离(例如可以标记为r0)。其中,起始位置为耳机在水平面上沿第一方向开始转动时的位置。在此基础上,若目标距离与参考距离之间的差值小于或等于预设值,则手机对该目标距离进行补正(即手机调整该hrir数据中的目标距离为参考距离);若目标距离与参考距离之间的差值大于预设值,则手机将该hrir数据删除。示例性的,如图15所示,图15中的圆圈所指示的hrir数据为手机计算得到的hrir数据,而五角星所指示的hrir数据为手机进行校正处理后的hrir数据。
176.s304、手机将m个俯仰角与预设俯仰角序列进行对比,判断是否完成预设俯仰角序列中的所有俯仰角的测量。
177.其中,预设俯仰角序列中包括k个预设俯仰角(或称预设角度)。示例性的,预设俯仰角序列例如可以为[-40
°
,-20
°
,-10
°
,0
°
,10
°
,25
°
,40
°
,60
°
]。
[0178]
在一些实施例中,当手机在上述k个预设俯仰角的对应的位置时,手机播放扫频信号时扫频信号能够更好的环绕在用户头部周围,使得用户的耳部能够更好的接收到扫频信号。基于此,手机测量得到m个俯仰角之后,需要与预设俯仰角序列进行对比,判断手机测量得到的m个俯仰角是否与预设俯仰角序列相匹配。当m个俯仰角与预设俯仰角序列中的预设俯仰角未匹配时,手机重新测量俯仰角,直到测量得到的所有俯仰角与预设俯仰角中的预设俯仰角相匹配。
[0179]
这样一来,当手机测量得到的m个俯仰角与预设俯仰角序列中的预设俯仰角相匹配时,手机针对每一个俯仰角获取到的n个hrir数据就会更加准确,全面。而后,手机对hrir数据进行时域转换处理得到的hrtf,在手机播放音频时,手机能够根据得到的hrtf对音频进行渲染,从而能够进一步提高音频渲染效果,使得用户能够体验到良好的空间音频效果。
[0180]
其中,手机判断是否完成预设俯仰角序列中的所有俯仰角的测量指的是,手机测量得到的m个俯仰角,手机可以判断该m个俯仰角是否与预设俯仰角序列(即k个预设俯仰角)相匹配。在一些实施例中,当俯仰角与预设俯仰角之间的差值小于阈值时,手机判断该俯仰角与预设俯仰角相匹配。在另一些实施例中,当俯仰角与预设俯仰角完全相同时,手机判断该俯仰角与预设俯仰角相匹配。其中,该阈值可以按照实际情况进行设置,本技术实施例对此不作限定。例如,阈值可以为1
°
、2
°
或者3
°
等。
[0181]
以上述预设俯仰角序列中的一个预设俯仰角(如40
°
)为例,例如,当m个俯仰角中的某一个俯仰角为38
°
,与预设俯仰角(如40
°
)之间的差值小于阈值,则手机判断该俯仰角与预设俯仰角相匹配。又例如,当m个俯仰角中的某一个俯仰角为40
°
,与预设俯仰角(如40
°
)完全相同,则手机判断该俯仰角与预设俯仰角相匹配。
[0182]
应理解,上述实施例仅以一个预设俯仰角为例进行举例说明,在实际实现时,手机需要判断预设俯仰角序列中的每个预设俯仰角与m个俯仰角相匹配。
[0183]
在一些实施例中,手机在测量俯仰角时,手机可以通过第二提示信息向用户提示当前测量的俯仰角以及预设俯仰角,以使用户根据手机提示的俯仰角可预设俯仰角,调整手机与用户的相对高度,以便于测量得到的俯仰角与预设俯仰角相匹配。从而能够避免用
户盲目的测量俯仰角,增加用户测量的难度。
[0184]
示例性的,手机可以通过语音的方式向用户提示第二提示信息;或者,手机通过语音+弹窗的方式向用户提示第二提示信息;或者,手机还可以通过语音+弹窗+振动的方式向用户提示第二提示信息。对于第二提示信息的举例说明可以参考上述实施例,此处不再一一列举。
[0185]
示例性的,手机提示用户当前测量的俯仰角为38
°
,预设俯仰角为40
°
。这样一来,用户可以适当将手机的高度上升一些,以便于测量的俯仰角更接近40
°
。
[0186]
s305、手机根据预设的频率响应对俯仰角和hrir数据进行补偿。
[0187]
其中,预设的频率响应指的是手机扬声器和tws耳机的麦克风的频率响应。频率响应用于指示扬声器(或麦克风)对不同频率信号的处理能力的差异。示例性的,频率响应可以通过频响曲线来表示。频响曲线是指增益随频率的变化曲线。理想的频响曲线应当是平直的,即理想的频响曲线为一条直线,能够使得声音信号不产生失真。
[0188]
在一些实施例中,由于手机扬声器和tws耳机的麦克风频率响应的影响可能导致手机测量得到的俯仰角和hrir数据的结果产生误差,因此手机可以根据预设的频率响应对俯仰角和hrir数据进行补偿。示例性的,预设的频率响应例如可以为扬声器和麦克风的理想的频响曲线,从而能够使得扫频信号不产生失真,能够确保手机测量得到的俯仰角和hrir数据的结果的准确性。
[0189]
s306、手机对俯仰角和hrir数据进行插值处理。
[0190]
其中,插值处理包括线性差值、双线性插值或者重心插值中的一种。
[0191]
在一些实施例中,由于手机测量得到的俯仰角和hrir数据的数量较少,因此直接得到的hrtf数据库无法直接应用于空间音频渲染,基于此,在手机对测量得到的hrir数据进行插值处理后,能够获取较多数量的俯仰角和hrir数据,从而使得hrtf数据库更加完善,在将hrtf数据库应用于空间音频渲染时,能够使得用户获得更加完美的空间音频渲染效果。
[0192]
在一些实施例中,手机在m个俯仰角中,每相邻两个俯仰角之间进行插值处理,以得到插值后的俯仰角;同时,手机还可以获取到插值后的俯仰角对应的n个hrir数据。示例性的,插值后的俯仰角与测量得到的俯仰角之间的间隔小于或等于第一阈值。其中,第一阈值例如可以为3
°
或者5
°
;或者第一阈值还可以为其它合适的角度,本技术实施例对此不作限定。
[0193]
在一些实施例中,手机在n个hrir数据中,每相邻两个hrir数据之间进行插值处理,以得到插值后的hrir数据。示例性的,插值后的hrir数据与测量得到的hrir数据中,方位角的间隔小于或等于第二阈值。其中,第二阈值例如可以为1
°
或者2
°
;或者第二阈值还可以为其它合适的角度,本技术实施例对此不作限定。在此基础上,手机对插值后的hrir数据进行时域转换处理,以得到目标用户的hrtf。
[0194]
以手机在n个hrir数据中,每相邻两个hrir数据之间进行插值为例进行示意,示例性的,如图16所示,图16中的五角星所指示的hrir数据为手机计算得到的数据,三角形所指示的hrir数据为手机插值得到的数据。
[0195]
需要说明的是,上述实施例中手机测量每个俯仰角φ对应的hrir数据(θ,r)为时域上的hrir数据;在此基础上,手机对每个俯仰角φ对应的hrir数据进行时域转换处理(如
傅里叶变换),就可以得到目标用户的hrtf。
[0196]
在一些实施例中,在实际应用中,当手机播放音频时,手机输出待渲染音频信号,手机可以根据预先得到的目标用户对应的hrtf,对待渲染音频进行音频渲染,生成目标渲染信号。其中,目标渲染信号是用于向目标用户的耳部输出的渲染信号。这样一来,由于手机在播放音频时,手机能够根据预先确定的目标用户对应的hrtf对该音频进行渲染,从而能够使得目标用户获取更好的空间音频效果,提高用户的体验。
[0197]
在一些实施例中,手机与目标用户对应。在此基础上,当手机播放音频时,手机可根据与其对应的目标用户的hrtf对该音频进行渲染。在另一些实施例中,手机与hrtf对应。在此基础上,当手机播放音频时,手机可根据与其对应的hrtf对该音频进行渲染。在又一些实施例中,手机中存储中目标用户和hrtf的对应关系。例如,目标用户1对应hrtf1;目标用户2对应hrtf2。在此基础上,当手机播放音频时,手机可先识别当前使用手机播放音频的用户(例如手机识别到该用户为目标用户1),因此手机可根据目标用户1对应的hrtf1对该音频进行渲染。
[0198]
结合上述实施例,由于手机是根据用户的人头几何尺寸得到的hrtf数据库,因此该hrtf数据库在应用于空间音频渲染时,能够使得用户获得更好的空间音频效果。另外,本技术实施例提供的hrtf的确定方法可以应用与所有的手机和耳机中,并且手机不需要配置有结构光设备(如三维扫描仪),耳机不需要配置有惯性传感器设备(inertial measurement unit,imu),用户可以自主进行测量,有利于提高用户体验。
[0199]
本技术实施例提供一种电子设备,该电子设备可以包括显示屏、存储器以及一个或多个处理器;存储器中存储有计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被所述处理器执行时,使得电子设备可以执行上述实施例中手机执行的各个功能或者步骤。该电子设备的结构可以参考图2所示的手机100的结构。
[0200]
本技术实施例还提供一种芯片系统,如图17所示,该芯片系统1800包括至少一个处理器1801和至少一个接口电路1802。其中,处理器1801可以是上述实施例中图2所示的处理器110。接口电路1802例如可以为处理器110和外部存储器之间的接口电路;或者为处理器110和内部存储器之间的接口电路。
[0201]
上述处理器1801和接口电路1802可通过线路互联。例如,接口电路1802可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路1802可用于向其它装置(例如处理器1801)发送信号。示例性的,接口电路1802可读取存储器中存储的指令,并将该指令发送给处理器1801。当所述指令被处理器1801执行时,可使得电子设备执行上述实施例中手机180执行的各个步骤。当然,该芯片系统还可以包含其他分立器件,本技术实施例对此不作具体限定。
[0202]
本技术实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
[0203]
本技术实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
[0204]
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述
功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
[0205]
在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0206]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0207]
另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0208]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0209]
以上内容,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何在本技术揭露的技术范围内的变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以所述权利要求的保护范围为准。