广播效果分类方法及系统、电子设备和存储介质与流程

1.本发明涉及音频智能分析技术领域，尤其涉及一种广播效果分类方法及系统、电子设备和存储介质。


背景技术：

2.中短波广播传播距离远，是没有边界的宣传阵地。为收测中短波广播电波落地效果，需要对其发播音频进行准确分类。由于广播信号是模拟信号，传输路径较为复杂，增加了对其落地音频效果的分类难度。
3.以往的中短波广播分类，极度依赖于人工监听，分类准确性主要取决于人员素质和人员经验，并且中短波广播由于信道环境复杂，信噪比往往较低，长时间监听对值班人员的听力造成损伤，迫切需要引入技术手段提升中短波广播效果分类的智能化水平。
4.现有技术中针对中短波广播效果分类，需要参考源信号进行音频对比，操作复杂，自动化程度低，并且需要依赖于人工对广播效果进行分类，分类的准确性依赖于人工经验，分类的准确性差。
5.因此，如何提供一种广播效果分类方法及系统，提高广播效果分类的自动化程度和准确性，成为亟待解决的问题。


技术实现要素：

6.针对现有技术中的缺陷，本发明实施例提供一种广播效果分类方法及系统、电子设备和存储介质，至少解决在进行广播效果分类时自动化程度低并且准确性差的技术问题。
7.提供一种广播效果分类方法，包括：
8.基于待分类广播音频数据，根据傅里叶变换，确定初始音频特征；
9.将所述初始音频特征输入广播效果分类模型中，确定目标广播效果类别。
10.根据本发明提供的一种广播效果分类方法，所述基于待分类广播音频数据，根据傅里叶变换，确定初始音频特征，具体包括：
11.基于待分类广播音频数据，根据预设分帧规则，确定音频帧数据集；其中，所述音频帧数据集中相邻帧连续且不重叠；
12.基于所述傅里叶变换，将所述音频帧数据集中每一帧内的时域信息转换为倒谱频率信息，确定所述初始音频特征。
13.根据本发明提供的一种广播效果分类方法，所述广播效果分类模型包括：音频特征降维层、模型注意力层和效果分类层；
14.所述将所述初始音频特征输入广播效果分类模型中，确定目标广播效果类别，具体包括：
15.将所述初始音频特征输入所述音频特征降维层中，基于所述音频特征降维层，确定低维音频特征；
16.将所述低维音频特征输入所述模型注意力层中，基于所述模型注意力层，根据注意力机制，确定目标音频特征；
17.将所述目标音频特征输入所述效果分类层中，基于所述效果分类层，确定所述目标广播效果类别。
18.根据本发明提供的一种广播效果分类方法，所述模型注意力层包括：时间注意力层、通道注意力层、自注意力层和特征融合层；
19.所述将所述低维音频特征输入所述模型注意力层中，基于所述模型注意力层，根据注意力机制，确定目标音频特征，具体包括：
20.将所述低维音频特征输入所述时间注意力层中，基于所述时间注意力层，根据时间注意力机制，确定第一音频特征；
21.将所述第一音频特征输入所述通道注意力层中，基于所述通道注意力层，根据通道注意力机制，确定第二音频特征；
22.将所述第二音频特征输入所述自注意力层中，基于所述自注意力层，根据自注意力机制，确定第三音频特征；
23.将所述第一音频特征、所述第二音频特征和所述第三音频特征输入所述特征融合层中，基于所述特征融合层，确定所述目标音频特征。
24.根据本发明提供的一种广播效果分类方法，所述通道注意力层包括：第一通道注意力层、第二通道注意力层和通道特征融合层；
25.所述将所述第一音频特征输入所述通道注意力层中，基于所述通道注意力层，根据通道注意力机制，确定第二音频特征，具体包括：
26.将所述第一音频特征输入所述第一通道注意力层中，基于所述第一通道注意力层，根据通道注意力机制，确定第一通道音频特征；
27.将所述第一通道音频特征输入所述第二通道注意力层中，基于所述第二通道注意力层，根据通道注意力机制，确定第二通道音频特征；
28.将所述第一通道音频特征和所述第二通道音频特征输入所述通道特征融合层中，基于所述通道特征融合层，确定所述第二音频特征。
29.根据本发明提供的一种广播效果分类方法，所述时间注意力层包括：第一特征分割层、第一特征聚合层和时间子注意力层；
30.所述将所述低维音频特征输入所述时间注意力层中，基于所述时间注意力层，根据时间注意力机制，确定第一音频特征，具体包括：
31.将所述低维音频特征输入所述第一特征分割层中，基于所述第一特征分割层，根据第一预设特征通道分割规则，确定第一初始特征集合；其中，所述第一初始特征集合中包括多个时间子特征；
32.将所述第一初始特征集合输入所述第一特征聚合层中，基于所述第一特征聚合层，根据第一预设特征处理规则处理所述时间子特征，将处理后的所述时间子特征聚合确定第一初始时间特征；
33.将所述第一初始时间特征输入所述时间子注意力层中，基于所述时间子注意力层，根据时间注意力机制，确定所述第一音频特征。
34.根据本发明提供的一种广播效果分类方法，所述通道注意力层包括：第二特征分
割层、第二特征聚合层和通道子注意力层；
35.所述将所述第一音频特征输入所述通道注意力层中，基于所述通道注意力层，根据通道注意力机制，确定第二音频特征，具体包括：
36.将所述第一音频特征输入所述第二特征分割层中，基于所述第二特征分割层，根据第二预设特征通道分割规则，确定第二初始特征集合；其中，所述第二初始特征集合中包括多个通道子特征；
37.将所述第二初始特征集合输入所述第二特征聚合层中，基于所述第二特征聚合层，根据第二预设特征处理规则处理所述通道子特征，将处理后的所述通道子特征聚合确定第二初始通道特征；
38.将所述第二初始通道特征输入所述通道子注意力层中，基于所述通道子注意力层，根据通道注意力机制，确定所述第二音频特征。
39.本发明还提供一种广播效果分类系统，包括：音频特征确定单元和广播效果分类单元；
40.所述音频特征确定单元，用于基于待分类广播音频数据，根据傅里叶变换，确定初始音频特征；
41.所述广播效果分类单元，用于将所述初始音频特征输入广播效果分类模型中，确定目标广播效果类别。
42.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述广播效果分类方法的步骤。
43.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述广播效果分类方法的步骤。
44.本发明提供的广播效果分类方法及系统、电子设备和存储介质，通过获取待分类广播音频数据，根据傅里叶变换，确定初始音频特征，利用训练好的广播效果分类模型中，确定目标广播效果类别。使得进行广播效果自动分类时，只需要对收测端采集的音频进行效果评估，不需要对发播端或参考源等额外音频的加工与处理，有效减少广播效果分类的步骤和智能程度，并无需依赖于分类人员的人工经验，通过神经网络统一分类标准，提高效果分类的准确性。
附图说明
45.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1为本发明提供的广播效果分类方法流程图；
47.图2为本发明提供的广播效果分类模型结构示意图；
48.图3为本发明提供的时间注意力层结构示意图；
49.图4为本发明提供的广播效果分类方法流程示意图；
50.图5为本发明提供的广播效果分类模型测试方法流程示意图；
51.图6本发明提供的按照理想置信度划分免人工干预区间图；
52.图7为本发明提供的广播效果分类系统结构示意图；
53.图8为本发明提供的电子设备的实体结构示意图。
具体实施方式
54.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
55.现有技术中针对中短波广播效果分类，主要存在两种技术路线：
56.第一种是基于音频比对计算收测音频与参考源音频的相似度，相似度高则判断广播落地正常，相似度高则判断广播落地正常，反之则判断该频点广播被严重干扰，借助参考源音频的信息，此类方法通常能够取得不错的评估效果。
57.第二种是信号发射端对音频嵌入水印，并在收测端进行水印提取，若水印提取正常则表示发播正常。此类方法不依赖于参考源音频，但严重依赖于水印算法的鲁棒性，而中短波广播的信道环境复杂，信号通过电离层反射容易受到干扰，即便正常发播的中短波广播信号，在收测端往往也很难检测出嵌入的水印信息，此类方法尚有待进一步突破。
58.因此，上述两类方法中，第一类方法的效果的前提是存在参考源信号，然而实际往往因为某些不可预见的原因，发生参考源采集不到或中断导致缺失的问题，无法完成音频比对；第二类方法虽不需要参考源信号，但其技术鲁棒性尚未突破的缺陷。
59.在对本发明做详细说明之前，首先对本发明中所涉及的相关概念进行说明。
60.在中短波广播效果评估中，通过对象台广播与该频点正常广播音频质量对比，将结果直观的表达出来，并以此制定分类规则。分别独立评估对象台广播声音质量s1与该频点正常广播声音质量s2。
61.广播声音质量评分s1，s2由高到低分别为从“5”到“0”，“5”分表示广播声音质量高度清晰，毫无噪音，“0”分表示音频中无此频点广播声音。一条广播音频的评估结果由对象台广播声音质量与该频点广播声音质量对比组成，即s1/s2，其中，s1和s2满足：
62.s1+s2≤5
63.s1+s2的值越大噪音越小。例如一段音频的评估结果为“0/5”，表示该频点的正常广播声音高度清晰，完全没有噪音与对象台频点广播声音；“2/0”表示可以听到较弱的对象台广播声音且噪音较大，无该频点正常广播声音。完整的中短波广播效果分类规则对照表如表1所示。
64.表1为中短波广播效果分类规则对照表，表1中列举了广播效果分类中所有的分类结果。
65.表1中短波广播效果分类规则对照表
[0066][0067]
其中，“0/5”、“0/4”、“0/3”、“1/4”、“1/3”和“1/3”属于合格类别，特点是该频点正常广播声音较为清晰，对象台广播声音微弱或者没有，噪音较小；“5/0”、“4/0”、“3/0”、“4/1”、“3/1”和“3/2”、属于不合格类别，特点是可以听清楚对象台广播声音，该频点正常广播声音微弱，噪音较小；“0/0”、“0/1”、“0/2”、“1/0”、“1/1”、“1/2”、“2/0”、“2/1”和“2/2”属于基本合格类别，特点是噪音较大，对象台与该频点正常广播声音均不清晰，无法听清广播内容。以上对于合格，不合格和基本合格类别划分，部分评估结果可能根据实际情况调整类别，如“2/2”结果中的数据实际中可能需要划分为不合格类别。
[0068]
图1为本发明提供的广播效果分类方法流程图，如图1所示，本发明实施例提供一种广播效果分类方法，包括：
[0069]
步骤s1，基于待分类广播音频数据，根据傅里叶变换，确定初始音频特征；
[0070]
步骤s2，将所述初始音频特征输入广播效果分类模型中，确定目标广播效果类别。
[0071]
具体的，以中短波(波长为200m～50m，频率1500khz～6000khz的无线电波)的广播音频效果分类为例对本发明进行说明。可以理解的是，该方法可以广泛的应用于音频的分类。进一步，还可以适应性的应用于其他领域，本发明对此不做限定。
[0072]
在步骤s1中，基于待分类广播音频数据，根据傅里叶变换提取的音频帧对应的特征信息，确定初始音频特征。
[0073]
可以理解的是，根据傅里叶变换对对音频信号进行数据处理，实际上是提取音频信号的倒谱域信息。在本发明实际应用过程中，根据傅里叶变化将音频数据转化问音频特征时，预设的分帧规则和傅里叶变换的窗宽均可根据实际情况进行调整，本发明对此不做限定。
[0074]
在步骤s2中，将所述初始音频特征输入训练好的广播效果分类模型中，确定目标广播效果类别。
[0075]
可以理解的是，在使用广播效果分类模型之前还需要对模型进行训练，训练模型
是所使用的训练样本、训练方法和模型的具体结构均可根据实际需求进行调整，本发明对此不做限定。
[0076]
本发明提供的广播效果分类方法，通过获取待分类广播音频数据，根据傅里叶变换，确定初始音频特征，利用训练好的广播效果分类模型中，确定目标广播效果类别。使得进行广播效果自动分类时，只需要对收测端采集的音频进行效果评估，不需要对发播端或参考源等额外音频的加工与处理，有效减少广播效果分类的步骤和智能程度，并无需依赖于分类人员的人工经验，通过神经网络统一分类标准，提高效果分类的准确性。
[0077]
可选的，根据本发明提供的一种广播效果分类方法，所述基于待分类广播音频数据，根据傅里叶变换，确定初始音频特征，具体包括：
[0078]
基于待分类广播音频数据，根据预设分帧规则，确定音频帧数据集；其中，所述音频帧数据集中相邻帧连续且不重叠；
[0079]
基于所述傅里叶变换，将所述音频帧数据集中每一帧内的时域信息转换为倒谱频率信息，确定所述初始音频特征。
[0080]
具体的，基于待分类广播音频数据，根据傅里叶变换，确定初始音频特征，具体包括：
[0081]
基于待分类广播音频数据，根据预设分帧规则，将音频数据分割成若干相邻帧之间连续且不重叠的音频帧，确定音频帧数据集。
[0082]
例如：根据预设分帧规则，将音频数据按照1秒1帧且无重叠的方式进行分帧，确定音频帧数据集。
[0083]
基于傅里叶变换，将音频帧数据集中每一帧内的时域信息转换为倒谱频率信息，确定初始音频特征。
[0084]
例如：将音频帧数据集内每一帧内数据通过短时傅里叶变换(short
‑
time fourier transform，或short
‑
term fourier transform，stft)函数，将时域信息转换为倒谱域信息，其中傅里叶变换的窗宽为25毫秒窗移为10毫秒，统计帧内的倒谱频率信息得到直方图特征，作为分类模型输入的初始音频特征。
[0085]
可以理解的是，分帧规则以及所使用的傅里叶变换的具体方法影响根据音频帧提取的音频特征的数量和模型的计算量，在本发明实际应用过程中，预设分帧规则以及所使用的傅里叶变换的具体方法，均可根据实际需求进行设置，本发明对此不做限定。
[0086]
本发明提供的广播效果分类方法，通过预设分帧规则和傅里叶变换，能够的提取音频数据的高维初始音频特征，充分的反应了音频各个方面的特征信息，将其作为广播效果分类模型的输入进行识别，确定目标广播效果类别，能够有效的提高分类的准确性。并且，分类过程无需人工参与，深度学习强大建模能力使得本发明方法预测类别与人工打分标签的基本一致率大幅提高。
[0087]
可选的，根据本发明提供的一种广播效果分类方法，所述广播效果分类模型包括：音频特征降维层、模型注意力层和效果分类层；
[0088]
所述将所述初始音频特征输入广播效果分类模型中，确定目标广播效果类别，具体包括：
[0089]
将所述初始音频特征输入所述音频特征降维层中，基于所述音频特征降维层，确定低维音频特征；
[0090]
将所述低维音频特征输入所述模型注意力层中，基于所述模型注意力层，根据注意力机制，确定目标音频特征；
[0091]
将所述目标音频特征输入所述效果分类层中，基于所述效果分类层，确定所述目标广播效果类别。
[0092]
具体的，由于音频信号的幅度谱是高维的(包括：人声、白噪声和频率等)，包含冗余信息的特征，使得根据特征进行分类时，分类器无法从中提取有效的低维和去冗余表示，导致增加后续的计算成本并降低整体分类性能，原数据的样本密度在高维特征空间中大幅减少，对模型分类参数(即其决策边界)的准确估计变得更加困难。
[0093]
为了解决上述问题，本发明对初始音频特征进行降维，并通过注意力机制确定目标音频特征。通过将音频中信道和上下文相关性特征进行聚集的方式，提高分类的准确性。
[0094]
广播效果分类模型包括：音频特征降维层、模型注意力层和效果分类层。将初始音频特征输入广播效果分类模型中，确定目标广播效果类别，具体包括：
[0095]
将初始音频特征输入音频特征降维层中，基于音频特征降维层，对初始音频数据进行降维，以完成音频幅度谱的低维和去冗余表示，确定低维音频特征。
[0096]
例如：图2为本发明提供的广播效果分类模型结构示意图，如图2所示，根据卷积神经网络能够从混杂的频域信号中提取具有高度判别力和平移不变性的特征，使用一个卷积核为1
×
1的卷积层搭配relu激活函数对音频特征进行非线性变换，对初始音频特征进行降维，得到一个512维的低维音频特征的特征向量。
[0097]
可以理解的是，在将初始音频数据进行降维确定低维音频数据时，所使用的模型的具体结构，以及维度变化规则，可根据实际需求进行调整，本发明对此不做限定。
[0098]
将低维音频特征输入模型注意力层中，基于模型注意力层，根据注意力机制，突出低维音频特征中更重重要的特征信息，确定目标音频特征。
[0099]
可以理解的是，注意力机制的类型包括：自注意力机制、空间注意力机制、时间注意力机制、通道注意力机制和混合注意力机制等，在本发明实际应用过程中，所使用的注意力机制类型可根据实际情况进行设置，本发明对此不做限定。
[0100]
将目标音频特征输入效果分类层中，基于效果分类层，对目标音频特征进行分类，确定待分类广播音频数据对应的目标广播效果类别。
[0101]
可以理解的是，输出的目标广播效果类别可以是预测概率最大的类别，也可以是输出所有类别以及对应的概率，或者设置预设数量的类别进行输出(输出概率排名前三的类别)，具体的输出类型可根据实际需求进行设置，本发明对此不做限定。
[0102]
需要说明的是，效果分类层所能分类的具体类别是训练广播效果分类模型时确定的，在确定广播效果分类模型的样本集时，确定样本数据的类别，具体的类别可根据实际情况进行设置，本发明对此不做限定。
[0103]
进一步，可以理解的是，效果分类层可选取多专家分类模型，根据训练数据的来源不同，可以同时训练多专家分类模型并将其通过非线性方式整合到一个单独的任务中。
[0104]
多专家分类模型的特点是根据数据来源不同分离训练多个不同的分类模型，各个分类模型称为“专家”，并同时训练门控模型来选择调用不同的“专家”分类模型。最终的分类结果是各个“专家”分类模型与门控模型的权重组合。
[0105]
在本发明实际应用过程中，模型的具体结构可以是基于resnet模型、res2net模
型、自注意力网络模型、vggnet模型、alexnet模型与googlenet模型等确定的，效果分类层可以是基于moe模型与全连接模型等确定的，训练模型时可以使用焦点损失(focalloss)函数与交叉熵损失(cross
‑
entropy loss)函数等损失函数。广播效果分类模型的具体结构和训练方法可根据实际情况进行设置，本发明对此不做限定。
[0106]
本发明提供的广播效果分类方法，通过构建广播效果分类模型，模仿人类进行效果评估时采取的打分分类行为，将音频效果评估问题转换成一个特定的音频效果分类问题进行处理，并通过对初始音频特征进行降维，结合注意力机制，提高广播效果分类的准确性。基于深度神经网络强大的非线性建模能力构建各类别音频的基因画像，以此来逼近学习人类的打分行为，最后把机器预测标签映射成人类打分标签。
[0107]
并且，本发明构建广播效果分类模型对分类结果进行识别，相比于现有技术中其他方案，本发明外部依赖少，支持高内聚、低耦合的系统集成，支持插件式灵活开发，本发明方法不规定特定深度神经网络模型，符合接口要求的新模型均可以接入，实现方法的灵活应用。
[0108]
可选的，根据本发明提供的一种广播效果分类方法，所述模型注意力层包括：时间注意力层、通道注意力层、自注意力层和特征融合层；
[0109]
所述将所述低维音频特征输入所述模型注意力层中，基于所述模型注意力层，根据注意力机制，确定目标音频特征，具体包括：
[0110]
将所述低维音频特征输入所述时间注意力层中，基于所述时间注意力层，根据时间注意力机制，确定第一音频特征；
[0111]
将所述第一音频特征输入所述通道注意力层中，基于所述通道注意力层，根据通道注意力机制，确定第二音频特征；
[0112]
将所述第二音频特征输入所述自注意力层中，基于所述自注意力层，根据自注意力机制，确定第三音频特征；
[0113]
将所述第一音频特征、所述第二音频特征和所述第三音频特征输入所述特征融合层中，基于所述特征融合层，确定所述目标音频特征。
[0114]
具体的，本发明提供通过时间注意力层、通道注意力层和自注意力层，实现特征的多维注意力混合处理，完成特征注意力的确定。
[0115]
如图2所示，模型注意力层包括：时间注意力层、通道注意力层、自注意力层和特征融合层。将低维音频特征输入模型注意力层中，基于模型注意力层，根据注意力机制，确定目标音频特征，具体包括：
[0116]
将低维音频特征输入时间注意力层中，基于时间注意力层，根据时间注意力机制，对不同的音频帧分配不同的权重，增加关键音频帧在全局中的权重，确定第一音频特征。
[0117]
将第一音频特征输入通道注意力层中，基于通道注意力层，根据通道注意力机制，对不同的音频特征通道分配权重，从复杂的高维空间中增强重要的特征通道，抑制无用的特征通道，确定第二音频特征。
[0118]
将第二音频特征输入自注意力层中，基于自注意力层，根据自注意力机制，计算每一时间帧之间相互的联系，增强音频中语义信息的提取能力，确定第三音频特征。
[0119]
将分别从时间注意力层、通道注意力层和自注意力层中获取的第一音频特征、第二音频特征和第三音频特征输入特征融合层中，基于特征融合层，将三个不同的音频特征
进行组合，确定目标音频特征。
[0120]
可以理解的是，在本发明中时间注意力层、通道注意力层、自注意力层和特征融合层的具体结构可根据实际需求进行设置，本发明对此不做限定。
[0121]
本发明提供的广播效果分类方法，通过多维注意力机制的地位特征处理方式，能够有效的增加关键音频帧在全局中的权重，增强重要的通道特征，并增强音频中语义信息的提取能力。有效的提高模型性能，增强目标音频特征反应关键音频信息的能力，提高分类结果的准确性。
[0122]
并且按顺序利用时间注意力机制、通道注意力机制和自注意力机制对低维音频特征进行处理，在时间上对音频帧进行筛选，有效的剔除无关的音频帧，有利于使后续通道注意力机制和自注意力机制的处理更具有针对性，并降低所需的计算资源，提高分类识别的速度。
[0123]
可选的，根据本发明提供的一种广播效果分类方法，所述通道注意力层包括：第一通道注意力层、第二通道注意力层和通道特征融合层；
[0124]
所述将所述第一音频特征输入所述通道注意力层中，基于所述通道注意力层，根据通道注意力机制，确定第二音频特征，具体包括：
[0125]
将所述第一音频特征输入所述第一通道注意力层中，基于所述第一通道注意力层，根据通道注意力机制，确定第一通道音频特征；
[0126]
将所述第一通道音频特征输入所述第二通道注意力层中，基于所述第二通道注意力层，根据通道注意力机制，确定第二通道音频特征；
[0127]
将所述第一通道音频特征和所述第二通道音频特征输入所述通道特征融合层中，基于所述通道特征融合层，确定所述第二音频特征。
[0128]
具体的，本发明采用双层通道注意力机制增强音频的通道特征。如图2所示，通道注意力层包括：第一通道注意力层、第二通道注意力层和通道特征融合层。将第一音频特征输入通道注意力层中，基于通道注意力层，根据通道注意力机制，确定第二音频特征，具体包括：
[0129]
将第一音频特征输入第一通道注意力层中，基于第一通道注意力层，根据通道注意力机制，对不同的音频特征通道分配权重，从复杂的高维空间中增强重要的特征通道，抑制无用的特征通道，确定第一通道音频特征。
[0130]
将第一通道音频特征输入第二通道注意力层中，基于第二通道注意力层，根据通道注意力机制，进一步，在上一次的基础上，对不同的音频特征通道分配权重，从复杂的高维空间中增强重要的特征通道，抑制无用的特征通道，确定第二通道音频特征。
[0131]
将第一通道音频特征和第二通道音频特征输入通道特征融合层中，基于通道特征融合层，将三个不同的通道音频特征进行组合，确定第二音频特征。
[0132]
本发明提供的广播效果分类方法，通过设置双层通道注意力机制的方法，进一步增强音频的通道特征，有效的提高目标音频特征反应关键音频通道信息的能力，提高分类结果的准确性。能够准确分析出中短波广播中该频点正常广播对其他广播干扰情况并给出识别结果，实现自动化广播效果的分类。
[0133]
可选的，根据本发明提供的一种广播效果分类方法，所述时间注意力层包括：第一特征分割层、第一特征聚合层和时间子注意力层；
[0134]
所述将所述低维音频特征输入所述时间注意力层中，基于所述时间注意力层，根据时间注意力机制，确定第一音频特征，具体包括：
[0135]
将所述低维音频特征输入所述第一特征分割层中，基于所述第一特征分割层，根据第一预设特征通道分割规则，确定第一初始特征集合；其中，所述第一初始特征集合中包括多个时间子特征；
[0136]
将所述第一初始特征集合输入所述第一特征聚合层中，基于所述第一特征聚合层，根据第一预设特征处理规则处理所述时间子特征，将处理后的所述时间子特征聚合确定第一初始时间特征；
[0137]
将所述第一初始时间特征输入所述时间子注意力层中，基于所述时间子注意力层，根据时间注意力机制，确定所述第一音频特征。
[0138]
具体的，为了提高音频特征的非线性表达能力，本发明中时间注意力层包括：第一特征分割层、第一特征聚合层和时间子注意力层。将低维音频特征输入时间注意力层中，基于时间注意力层，根据时间注意力机制，确定第一音频特征，具体包括：
[0139]
将低维音频特征输入第一特征分割层中，基于第一特征分割层，根据第一预设特征通道分割规则，将低维音频特征分割为多个时间子特征，根据所有时间子特征，确定第一初始特征集合。
[0140]
例如：图3为本发明提供的时间注意力层结构示意图，如图3所示，低维音频特征为512维，根据第一预设特征通道分割规则，将低维音频特征按照通道数均分为4份，每一份为128维。记第一初始特征集合为x
i
的集合，其中i∈{1，2，3，4}。
[0141]
将第一初始特征集合输入第一特征聚合层中，基于第一特征聚合层，根据第一预设特征处理规则处理时间子特征，将处理后的时间子特征聚合确定第一初始时间特征。
[0142]
例如：第一预设特征处理规则，将x
i
通过与其对应的3
×
3卷积进行k
i
()映射变换之后得到y
i
，计算公式如下：
[0143][0144]
再将得到的y
i
通过一层1
×
1卷积层进行特征聚合，确定第一初始时间特征。
[0145]
将第一初始时间特征输入时间子注意力层中，基于时间子注意力层，根据时间注意力机制，对不同的音频帧分配不同的权重，增加关键音频帧在全局中的权重，确定第一音频特征。
[0146]
可以理解的是，上述第一预设特征通道分割规则和第一预设特征处理规则，仅作为一个具体的例子对本发明进行说明，除此之外，还可根据实际需求对规则进行调整(例如：调整分类的方式、分类的数量和卷积层的类型等)，本发明对此不做限定。
[0147]
进一步，可以理解的是，上述时间注意力层的网络结构类似res2net模型结构，在本发明实际应用过程中，模型的具体结构可根据实际情况进行设置，本发明对此不做限定。
[0148]
本发明提供的广播效果分类方法，通过第一预设特征通道分割规则，将特征分割为多个子特征，并根据和第一预设特征处理规则对自帖子进行处理，将处理后的子特征进行聚合，能够有效的提高音频特征的非线性表达能力，进而提高模型的识别分类的准确性。
[0149]
可选的，根据本发明提供的一种广播效果分类方法，所述通道注意力层包括：第二
特征分割层、第二特征聚合层和通道子注意力层；
[0150]
所述将所述第一音频特征输入所述通道注意力层中，基于所述通道注意力层，根据通道注意力机制，确定第二音频特征，具体包括：
[0151]
将所述第一音频特征输入所述第二特征分割层中，基于所述第二特征分割层，根据第二预设特征通道分割规则，确定第二初始特征集合；其中，所述第二初始特征集合中包括多个通道子特征；
[0152]
将所述第二初始特征集合输入所述第二特征聚合层中，基于所述第二特征聚合层，根据第二预设特征处理规则处理所述通道子特征，将处理后的所述通道子特征聚合确定第二初始通道特征；
[0153]
将所述第二初始通道特征输入所述通道子注意力层中，基于所述通道子注意力层，根据通道注意力机制，确定所述第二音频特征。
[0154]
具体的，为了提高音频特征的非线性表达能力，本发明中通道注意力层包括：第二特征分割层、第二特征聚合层和通道子注意力层。将第一音频特征输入通道注意力层中，基于通道注意力层，根据通道注意力机制，确定第二音频特征，具体包括：
[0155]
将第一音频特征输入第二特征分割层中，基于第二特征分割层，根据第二预设特征通道分割规则，将第一音频特征分割成多个通道子特征，根据所有通道子特征，确定第二初始特征集合。
[0156]
可以理解的是，第二预设特征通道分割规则设置规则与第一预设特征通道分割规则设置规则可以设置相同也可以不同，具体设置规则可根据实际情况进行调整，本发明对此不做限定。
[0157]
将第二初始特征集合输入第二特征聚合层中，基于第二特征聚合层，根据第二预设特征处理规则处理通道子特征，将处理后的通道子特征聚合确定第二初始通道特征。
[0158]
可以理解的是，第二预设特征处理规则与第一预设特征处理规则可以设置相同也可以不同，具体设置规则可根据实际情况进行调整，本发明对此不做限定。
[0159]
将第二初始通道特征输入通道子注意力层中，基于通道子注意力层，根据通道注意力机制，确定第二音频特征。
[0160]
可以理解的是，第二预设特征通道分割规则和第二预设特征处理规则的实例与上述第一预设特征通道分割规则和第一预设特征处理规则的实例相同，仅作为一个具体的例子对本发明进行说明，除此之外，还可根据实际需求对规则进行调整(例如：调整分类的方式、分类的数量和卷积层的类型等)，本发明对此不做限定。
[0161]
进一步，可以理解的是，上述通道注意力层的网络结构类似res2net模型结构，在本发明实际应用过程中，模型的具体结构可根据实际情况进行设置，本发明对此不做限定。
[0162]
本发明提供的广播效果分类方法，通过第二预设特征通道分割规则，将特征分割为多个子特征，并根据和第二预设特征处理规则对自帖子进行处理，将处理后的子特征进行聚合，能够有效的提高音频特征的非线性表达能力，进而提高模型的识别分类的准确性。
[0163]
以下结合本发明对广播效果分类模型的具体方法，对本发明进行详细说明。
[0164]
可以理解的是，图4为本发明提供的广播效果分类方法流程示意图，如图4所示，在对待分类广播音频进行分类之前，还需要对广播效果分类模型进行训练和测试。
[0165]
例如：在训练数据准备中，以上述表一对应的分类规则为基础制定训练用分类体
系，表2为广播效果分类规则与训练用分类体系对照表，如表2所示，将训练数据分为纯噪音、无法分辨、基本合格、合格、不合格、音乐、外国语与打击乐等8个类别。
[0166]
其中，纯噪音代表音频中包括较多的白噪音，完全听不见广播声音，或者完全静音；无法分辨代表音频中噪音很大，除噪音外能够听到一点广播声音，但是听不清内容并不能确认说话人是否来自对象台广播；基本合格代表音频含有微弱的来自干扰广播的声音且无法听清讲述内容，噪音较大；合格代表音频中包含较为清晰的该频点正常广播声音并能听清其内容，并且几乎没有对象台广播的声音；不合格代表音频中包含较为清晰的对象台广播声音并能听清其内容；音乐代表音频数据由歌曲，片头曲等组成；外国语代表音频数据由英语，日语和韩语等外国语组成；打击乐代表音频数据由唢呐等打击乐组成。
[0167]
表2广播效果分类规则与训练用分类体系对照表
[0168]
广播效果分类规则中的分类结果训练用分类体系中的类别0/0纯噪音0/1，1/0，1/1无法分辨5/0，4/0，3/0，4/1，3/1，3/2不合格语音1/2，2/1，2/0，0/2，2/2，1/2基本合格语音0/5，0/4，0/3，1/4，1/3，2/3合格语音音乐音乐外国语外国语打击乐打击乐
[0169]
由于从不同接收机采集的中短波广播音频质量有所不同，因此为了提高来自不同接收机采集的中短波广播分类准确率，需要保证训练数据分布情况与待测数据分布情况相似，训练阶段使用的数据集包括85％的通用广播音频训练数据与15％该频点广播音频训练数据。
[0170]
其中通用广播音频训练数据包括从各个频点接收机采集到的具有代表性的广播音频数据，该频点广播音频数据包括专门从该频点接收机采集的广播音频数据。
[0171]
将数据集随机打乱后按照9:1的比例划分为训练集与测试集，用于神经网络模型的训练和评估，并选取部分该频点广播音频数据作为测试集，通用广播音频训练数据规模及条目统计如表3所示，该频点广播音频训练数据规模及条目统计如表4所示，测试集规模及条目统计如表5所示。
[0172]
表3通用广播音频训练数据规模及条目统计
[0173][0174]
表4该频点广播音频训练数据规模及条目统计
[0175][0176]
表5测试集规模及条目统计
[0177]
[0178][0179]
在确定了音频数据集之后，对音频数据进行解码，通过数据增强技术扩充数据集，并将音频数据按照1秒1帧且无重叠的方式进行分帧，帧内数据通过短时傅里叶变换将时域信息转换为倒谱域信息，其中傅里叶变换的窗宽为25毫秒窗移为10毫秒，统计帧内的倒谱频率信息得到直方图特征，作为分类模型的输入的音频特征。
[0180]
可以理解的是，数据增强可以有效扩大数据集规模，明显提高神经网络模型效果。数据增强的操作中包括随机改变音频速率，随机改变音频节奏和随机对音频数据进行压缩等操作，在不改变原音频信息的前提下对音频进行一定程度的变换。所采用的具体方法可根据实际情况进行设置，本发明对此不做限定。
[0181]
以训练集对应的音频特征训练广播效果分类模型，在训练完成后，以测试集对应的音频特征对训练好的广播效果分类模型进行测试，根据广播效果分类结果的准确性，确定广播效果分类模型是否训练成功。
[0182]
进一步，为了验证中短波广播效果分类的准确性，需要对训练的广播效果分类模型测试结果进行验证。将分类结果中不合格类别与外国语类别视为不合格，其他类别视为合格。
[0183]
如表6所示，忽略合格与不合格音频内部类别差异。在测试集中的整体确率达到97％，各类别的准确率与召回率统计表如表7所示。
[0184]
表6分类体系中合格音频与不合格音频的划分
[0185]
[0186]
表7分类模型测试中各类别的准确率和召回率统计表
[0187][0188]
图5为本发明提供的广播效果分类模型测试方法流程示意图，如图5所示，测试阶段包括以下步骤：
[0189]
将经过数据增强和短时傅里叶变换确定测试集音频数据对应的音频特征，并将音频特征输入广播效果分类模型中，计算得到表2分类体系中所有类别的概率分布作为预测结果，并确定置信度。
[0190]
模型测试结果中包括对该条语音的分类结果与置信度，通过统计不同置信度下的准确率(如表8所示)发现，测试结果的置信度与准确率成正相关。
[0191]
图6本发明提供的按照理想置信度划分免人工干预区间图，如图6所示，经过大规模测试，根据不同的类别的判别情况，确定该类别下准确率接近100％的置信度区间(如表9、图6所示)，以此作为理想置信度阈值，置信度高于理想置信度的数据可以跳过人工评估，从而达到节省工作量的目的。
[0192]
测试实验中，经过后处理理想置信度阈值以上的数据占全部数据的79％，其准确度为99.5％，无需人工评估。
[0193]
表8不同置信度下各类别召回率与精确率统计表
[0194][0195]
表9理想置信度下各类别测试结果统计表
[0196][0197]
可以理解的是，在实际的评估业务中，可以直接使用该方法预测的得到的结果作为最终分类结果，也可以将模型预测与人工校验结合，即选取后处理中的理想置信度以上数据的测试结果作为最终评估结果，剩下的数据再进行人工校验，减少工作量。
[0198]
本发明的目的在于，对于前端接收机采集的音频数据，使用神经网络技术准确评估中短波广播效果，并将其中未能成功干扰广播的音频筛选出来，整体准确率高达97％。通过结果后处理操作，使部分类别音频准确率接近100％，从而可以达到节省工作量的目的。
[0199]
可以理解的是，上述确定广播效果分类模型训练集和测试集的方法仅作为一个具体的例子对本发明进行说明，除此之外，样本中广播音频分类的具体规则、各类别样本数量、测试集训练集比例、模型的结构和模型的训练方法，均可根据实际情况进行设置，本发明对此不做限定。
[0200]
图7为本发明提供的广播效果分类系统结构示意图，如图7所示，本发明还提供一种广播效果分类系统，包括：音频特征确定单元710和广播效果分类单元720；
[0201]
所述音频特征确定单元710，用于基于待分类广播音频数据，根据傅里叶变换，确定初始音频特征；
[0202]
所述广播效果分类单元720，用于将所述初始音频特征输入广播效果分类模型中，确定目标广播效果类别。
[0203]
具体的，以中短波(波长为200m～50m，频率1500khz～6000khz的无线电波)的广播音频效果分类为例对本发明进行说明。可以理解的是，该方法可以广泛的应用于音频的分类。进一步，还可以适应性的应用于其他领域，本发明对此不做限定。
[0204]
音频特征确定单元710，用于基于待分类广播音频数据，根据傅里叶变换提取的音频帧对应的特征信息，确定初始音频特征。
[0205]
可以理解的是，根据傅里叶变换对对音频信号进行数据处理，实际上是提取音频信号的倒谱域信息。在本发明实际应用过程中，根据傅里叶变化将音频数据转化问音频特征时，预设的分帧规则和傅里叶变换的窗宽均可根据实际情况进行调整，本发明对此不做限定。
[0206]
广播效果分类单元720，用于将所述初始音频特征输入训练好的广播效果分类模
型中，确定目标广播效果类别。
[0207]
可以理解的是，在使用广播效果分类模型之前还需要对模型进行训练，训练模型是所使用的训练样本、训练方法和模型的具体结构均可根据实际需求进行调整，本发明对此不做限定。
[0208]
本发明提供的广播效果分类方法，通过获取待分类广播音频数据，根据傅里叶变换，确定初始音频特征，利用训练好的广播效果分类模型中，确定目标广播效果类别。使得进行广播效果自动分类时，只需要对收测端采集的音频进行效果评估，不需要对发播端或参考源等额外音频的加工与处理，有效减少广播效果分类的步骤和智能程度，并无需依赖于分类人员的人工经验，通过神经网络统一分类标准，提高效果分类的准确性。
[0209]
需要说明的是，本发明提供的广播效果分类系统用于执行上述广播效果分类方法，其具体的实施方式与方法实施方式一致，在此不再赘述。
[0210]
图8为本发明提供的广播效果分类系统结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(communicationsinterface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行广播效果分类方法，该方法包括：基于待分类广播音频数据，根据预设分帧规则，确定初始音频特征；将初始音频特征输入广播效果分类模型中，确定目标广播效果类别。
[0211]
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0212]
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的广播效果分类方法，该方法包括：基于待分类广播音频数据，根据预设分帧规则，确定初始音频特征；将初始音频特征输入广播效果分类模型中，确定目标广播效果类别。
[0213]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的广播效果分类方法，该方法包括：基于待分类广播音频数据，根据预设分帧规则，确定初始音频特征；将初始音频特征输入广播效果分类模型中，确定目标广播效果类别。
[0214]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0215]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
[0216]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。