听觉空间注意力检测方法、装置、设备和可读存储介质

本申请涉及脑机信号的识别，特别是涉及一种听觉空间注意力检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、神经科学研究表明，大脑信号能够解码出听觉注意力信息。现有的大脑信号包括侵入性信号和非侵入性信号。非侵入性信号具有高时间分辨率、非侵入性、成本效益和设备便携性等优势。

2、传统技术中，为了实现非侵入性信号的听觉注意力解码，使用全精度卷积的神经网络模型进行检测，然而，其需要大量计算资源，这限制了其在移动或可穿戴设备场景下的应用。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够降低计算量，且保障准确度的听觉空间注意力检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本申请提供了一种听觉空间注意力检测方法，包括：

3、获取脑机信号特征；脑机信号特征表示目标对象随时间变化的脑电波；

4、通过二值化卷积层，对所述脑机信号特征进行二值化卷积处理，得到目标特征；

5、基于所述目标特征检测听觉空间注意力信息；所述听觉空间注意力信息表示所述目标对象通过听觉感知的声源位置信息。

6、在其中一个实施例中，所述获取脑机信号特征，包括：

7、获取脑机信号；所述脑机信号是目标对象随时间变化的脑电波信号；

8、通过全精度卷积层，对所述特征数据进行特征提取，得到全精度的脑机信号特征；

9、其中，所述全精度卷积层的激活函数为prelu，和/或，所述全精度的脑机信号特征为首层所述二值化卷积层的输入特征。

10、在其中一个实施例中，所述脑机信号特征是二值化卷积层的前一卷积层输出的，且所述脑机信号特征是二值化处理后的；

11、所述通过二值化卷积层，对所述脑机信号特征进行二值化卷积处理，得到目标特征，包括：

12、通过二值化卷积核，对所述脑机信号特征中的各位进行同或运算，得到各位的同或运算结果；

13、在所述各位的同或运算结果中，对所述同或运算结果为预设数值的位进行数量统计，得到二值化卷积特征；

14、对所述二值化卷积特征进行激活处理，得到激活值；

15、根据所述激活值，确定目标特征。

16、在其中一个实施例中，所述对所述二值化卷积特征进行激活处理，得到激活值，包括：

17、若所述二值化卷积特征对应的预激活数据小于阈值，则基于所述预激活数据确定激活值；

18、若所述二值化卷积特征对应的预激活数据大于或等于所述阈值，则基于预设权重，对所述预激活数据进行调整，并基于调整后的所述预激活数据确定激活值；

19、其中，所述预设权重是在所述二值化卷积层的训练过程优化所得。

20、在其中一个实施例中，所述根据所述激活值，确定目标特征，包括：

21、根据所述激活值进行池化处理，得到池化特征；

22、其中，所述池化特征是所述二值化卷积层输出的特征，且最后一个所述池化特征是目标特征。

23、在其中一个实施例中，所述听觉空间注意力信息包括关注测方向与声源位置角度，所述关注测方向表示声源在预设方向的左侧与右侧中的一种，所述声源位置角度表征声源相对于预设方向的偏离角度；

24、所述基于所述目标特征检测听觉空间注意力信息，包括：

25、通过关注侧头，对所述目标特征检测声源方向，得到所述关注测方向；

26、通过空间位置头，对所述目标特征进行声源位置检测，得到所述声源位置角度。

27、在其中一个实施例中，所述方法还包括：

28、选取所述二值化卷积层的待优化参数梯度与预设增长梯度中的最小值作为候选梯度；

29、选取预设减小梯度与所述候选梯度中的最大值作为目标梯度；

30、根据所述目标梯度，对所述待优化参数梯度进行优化。

31、第二方面，本申请还提供了一种听觉空间注意力检测装置，包括：

32、特征获取模块，用于获取脑机信号特征；脑机信号特征表示目标对象随时间变化的脑电波；

33、二值化模块，用于通过二值化卷积层，对所述脑机信号特征进行二值化卷积处理，得到目标特征；

34、检测模块，用于基于所述目标特征检测听觉空间注意力信息；所述听觉空间注意力信息表示所述目标对象通过听觉感知的声源位置信息。

35、第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意实施例中听觉空间注意力检测的步骤。

36、第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意实施例中听觉空间注意力检测的步骤。

37、第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任意实施例中听觉空间注意力检测的步骤。

38、上述听觉空间注意力检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，获取脑机信号特征，由于脑机信号特征体现出目标对象随时间变化的脑电波，能够从时频分析的角度，体现出目标对象的听觉空间注意力模式，奠定了听觉空间注意力分类的基础。在此基础上，由于在脑电波随时间变化的脑机信号特征存在数据量大的特点，因而通过二值化卷积层，对所述脑机信号特征进行二值化卷积处理，得到目标特征；通过二值化卷积处理，能够降低数据量，且在减少了计算开销和内存使用的情况下，仍然从脑机信号特征中提取重要信息；而后基于所述目标特征检测听觉空间注意力信息；通过所述听觉空间注意力信息，准确地反映目标对象通过听觉感知的声源位置信息。由此，通过二值化卷积层降低计算量，且通过卷积处理保障特征提取，兼顾处理效率和准确性。

技术特征：

1.一种听觉空间注意力检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取脑机信号特征，包括：

3.根据权利要求1所述的方法，其特征在于，所述脑机信号特征是二值化卷积层的前一卷积层输出的，且所述脑机信号特征是二值化处理后的；

4.根据权利要求3所述的方法，其特征在于，所述对所述二值化卷积特征进行激活处理，得到激活值，包括：

5.根据权利要求3所述的方法，其特征在于，所述根据所述激活值，确定目标特征，包括：

6.根据权利要求1所述的方法，其特征在于，所述听觉空间注意力信息包括关注测方向与声源位置角度，所述关注测方向表示声源在预设方向的左侧与右侧中的一种，所述声源位置角度表征声源相对于预设方向的偏离角度；

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种听觉空间注意力检测装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种听觉空间注意力检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。所述方法包括：获取脑机信号特征；脑机信号特征表示目标对象随时间变化的脑电波；通过二值化卷积层，对所述脑机信号特征进行二值化卷积处理，得到目标特征；基于所述目标特征检测听觉空间注意力信息；所述听觉空间注意力信息表示所述目标对象通过听觉感知的声源位置信息。采用本方法能够兼顾处理效率和准确性。

技术研发人员：蔡思祺,赵鹏,张雪毅,王瑞聪,李海洲
受保护的技术使用者：香港中文大学（深圳）
技术研发日：
技术公布日：2024/12/17