利用声学相机定位发声物体的实现方法、装置及电子设备与流程

本发明涉及音频和图像信号处理，特别涉及一种利用声学相机定位发声物体的实现方法、装置及电子设备。

背景技术：

1、声学相机也叫声像仪，是利用传声器阵列测量一定范围内的声场分布的专用设备。目前，声学相机已在车辆鸣笛违规抓拍等领域大展手脚，声学相机的实现硬件包括麦克风阵列，麦克风阵列可通过声源到达麦克风的时间差信息计算出声源所在方位。一般而言，麦克风数量越多，则定位的精度也越高，当麦克风数量足够多时，则能比较精确的定位出声源的位置，且能生成空间的声场分布。结合光学图像信息，对声源进行成像，便于直观的获得声场中声源的分布信息。

2、声学相机的实现方法通常是求各个麦克风信号频域的加权互功率谱，将互功率谱通过逆傅里叶变换得出信号的互相关函数，根据互相关函数的最大值得出麦克风信号的延迟，从而求出声源信号的方位，这一种声源成像方法必须先将每个麦克风的每帧信号变换到频域，再求互功率谱并加权，逆时频变换到时域，求出延迟和声源位置信息。其中大概包括个时频变换操作，当麦克风数量m较大时，仅就时频变换这一步骤而言，计算量也十分巨大。

3、而另一种声学相机的实现方法是反卷积法，在该声学相机的实现方法中，首先同样也要求出空间的beamform(声学波束形成)信息，然后通过求解空间各个点声源和麦克风阵列之间的卷积关系，可更精确定位出声源位置，计算量同样很大，即便降低该算法计算量，也难以在普通的cpu上顺利部署。

技术实现思路

1、本发明的目的在于提供一种利用声学相机定位发声物体的实现方法、装置及电子设备，以解决当前声学相机计算量大的问题。

2、为解决上述技术问题，本发明提供一种利用声学相机定位发声物体的实现方法，包括以下步骤：

3、s1，根据麦克风位置、拾取空间范围及拾取空间范围上的像素点划分，获得每个麦克风的采样点补偿张量；

4、s2，对每个麦克风的时域信号进行分帧后分别求和，根据所需的采样率对求和结果进行升采样，得到每个麦克风的升采样时域信号；

5、s3，使用分位数法将每个麦克风的所述采样点补偿张量代入对应的升采样时域信号，对每个麦克风信号进行时延补偿，根据每个所述麦克风信号获得显示矩阵；

6、s4，匹配所述显示矩阵与实际图像，定位发声物体。

7、优选地，所述s1具体包括：

8、获取麦克风的位置、所需拾取空间范围及其上的像素点划分；

9、基于所需拾取空间范围定义一入射平面，并进行像素点划分，还对每个像素点定义一基准距离；

10、计算所述入射平面上的每个像素点到每个麦克风的距离和基准距离之间的距离差值；

11、根据所述距离差值获得每个麦克风的所述采样点补偿张量。

12、优选地，在所述s1中，所述采样点补偿张量dotmatrix(i,j,k)通过如下公式获得：

13、

14、其中，fs是所述所需的采样率，c是声速，round表示四舍五入取整，dmatrix(i,j,k)表示第i行,j列的像素点到第k个麦克风的距离与所述基准距离的所述距离差值。

15、优选地，所述s2中对根据所述所需的采样率对所述求和结果进行升采样的步骤包括：

16、对所述求和结果进行高通滤波；

17、根据当前采样率和所需的采样率倍数关系对所述求和结果进行插值；

18、对所述求和结果进行低通滤波。

19、优选地，使用iir滤波器进行高通滤波，和/或，使用iir滤波器进行低通滤波。

20、优选地，所述s3具体包括：

21、对每个麦克风的所述升采样时域信号进行分帧，得到分帧后的信号，将分帧信号与其对应的所述采样点补偿张量结合，获得时延补偿后的所述麦克风信号；

22、选取m个所述麦克风信号间隔预设个采样点进行求和，取求和后的信号幅值均值作为第(i,j)像素点的显示，再进行归一化处理，获得所述显示矩阵。

23、优选地，所述s3具体包括：

24、对每个麦克风的所述升采样时域信号进行分帧，得到分帧后的信号，将分帧信号与其对应的所述采样点补偿张量结合，获得时延补偿后的所述麦克风信号；

25、选取m个所述麦克风信号进行求和与差分，取求和与差分的比值作为第(i,j)像素点的显示，得到所述显示矩阵。

26、优选地，对每个麦克风的所述升采样时域信号dum(n)进行分帧，将分帧信号dum(n,l)与其对应的所述采样点补偿张量结合，l表示帧索引，基于如下公式获得时延补偿后的所述麦克风信号：

27、ducm(i,j,n,l)＝dum(n+dotmatrix(i,j,m),l)

28、其中，ducm(i,j,n,l)表示补偿信号ducm(n,l)为麦克风信号dum(n,l)延迟dotmatrix(i,j,m)个采样点的信号，下标m表示麦克风索引，n是采样点索引。

29、本发明第二方面，提供了一种声学相机实现装置，包括：

30、采样点补偿张量计算单元，用于根据麦克风位置、拾取空间范围及拾取空间范围上的像素点划分，获得每个麦克风的采样点补偿张量；

31、时域分帧求和单元，用于将对每个麦克风的时域信号进行分帧后分别求和，得到时域信号的求和结果；

32、升采样单元，用于根据所需的采样率对所述求和结果进行升采样，得到每个麦克风的升采样时域信号；

33、时延补偿单元，用于使用分位数法将每个麦克风的所述采样点补偿张量代入对应的升采样时域信号，对每个麦克风信号进行时延补偿；

34、像素计算单元，用于根据时延补偿后的所述麦克风信号获得显示矩阵，并匹配所述显示矩阵和实际图像，定位发声物体。

35、本发明第三方面，提供了一种电子设备，包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时用于实现如上所述的利用声学相机定位发声物体的实现方法的步骤。

36、在本发明提供的利用声学相机定位发声物体的实现方法、装置及电子设备，首先获取目标声源空间范围确定麦克风拾取空间范围，然后根据麦克风位置和像素点划分将拾取空间划分成一个个像素点，计算出每个像素点的麦克风延迟关系，获得采样点补偿张量，将麦克风时域信号分帧求和后，将求和结果升采样到合适的采样率，通过分位数法扫描像素点，补齐延迟，找到输出最大的空间节点作为声源位置，匹配显示矩阵和实际图像，精确定位发声物体，由于直接在时域进行处理，省去了每个麦克风的时频变换操作，并且升采样之前进行分帧求和，进一步降低了计算量，从而解决了现有方法计算量大的问题，降低在cpu上的部署难度。

技术特征：

1.一种利用声学相机定位发声物体的实现方法，其特征在于，包括以下步骤：

2.如权利要求1所述的利用声学相机定位发声物体的实现方法，其特征在于，所述s1具体包括：

3.如权利要求2所述的利用声学相机定位发声物体的实现方法，其特征在于，在所述s1中，所述采样点补偿张量dotmatrix(i,j,k)通过如下公式获得：

4.如权利要求1所述的利用声学相机定位发声物体的实现方法，其特征在于，所述s2中对根据所述所需的采样率对所述求和结果进行升采样的步骤包括：

5.如权利要求4所述的利用声学相机定位发声物体的实现方法，其特征在于，使用iir滤波器进行高通滤波，和/或，使用iir滤波器进行低通滤波。

6.如权利要求1所述的利用声学相机定位发声物体的实现方法，其特征在于，所述s3具体包括：

7.如权利要求1所述的利用声学相机定位发声物体的实现方法，其特征在于，所述s3具体包括：

8.如权利要求6或7所述的利用声学相机定位发声物体的实现方法，其特征在于，对每个麦克风的所述升采样时域信号dum(n)进行分帧，将分帧信号dum(n,l)与其对应的所述采样点补偿张量结合，l表示帧索引，基于如下公式获得时延补偿后的所述麦克风信号：

9.一种声学相机实现装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时用于实现如权利要求1-8任一项所述的利用声学相机定位发声物体的实现方法的步骤。

技术总结
本发明公开了一种利用声学相机定位发声物体的实现方法、装置及电子设备，属于音频和图像信号处理技术领域。该利用声学相机定位发声物体的实现方法，包括：根据麦克风位置、拾取空间范围及拾取空间范围上的像素点划分，获得每个麦克风的采样点补偿张量；对每个麦克风的时域信号进行分帧后分别求和，根据所需的采样率对求和结果进行升采样，得到每个麦克风的升采样时域信号；使用分位数法将每个麦克风的采样点补偿张量代入对应的升采样时域信号，对每个麦克风信号进行时延补偿，根据每个麦克风信号获得显示矩阵；定位发声物体。直接在时域进行处理，省去了每个麦克风的时频变换操作，并且升采样之前进行分帧求和，降低了计算量。

技术研发人员：罗本彪,邹灵琦,居彩霞,董鹏宇
受保护的技术使用者：上海富瀚微电子股份有限公司
技术研发日：
技术公布日：2024/1/16