多标签语音活动检测方法、装置及存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种多标签语音活动检测的方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.随着人工智能和计算机技术的快速发展,大企业的人工客服电话系统已开始逐渐升级为智能客服系统，由语音对话系统与用户进行对话沟通，解决用户问题，同时降低企业客服人力成本，提高效率。
3.然而，在智能客服语音对话系统中，各种生活场景的噪音,包含稳态噪声,冲击噪声，非稳态噪声及非相干的多人说话干扰噪声等，在很大程度上影响了智能语音系统中语音识别的准确度，影响正常的交互和用户体验。目前，在语音识别过程中，构建有效的语音活动检测模型和语音降噪算法，可改善上述情况。
4.但是，传统的语音活动检测算法多采用能量，过零率或其他语音特征，并辅以分类模型进行检测，在真实的噪声场景下，其鲁棒性较差。同时，对于语音降噪算法而言，传统或者深度学习的语音降噪算法，对于不同的噪声参数和泛化能力不同，使用同一参数，对于失配场景降噪失效,反而影响到语音识别的准确度。


技术实现要素：

5.本发明提供一种多标签语音活动检测方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决传统语音活动检测方式存在的鲁棒性差、检测准确度低等问题。
6.为实现上述目的，本发明提供的一种多标签语音活动检测方法，包括：
7.基于预设的噪声种子模型，从预设无标注数据中确定有标注噪声数据；
8.根据预设语音数据、所述预设无标注噪声数据及所述有标注噪声数据，确定含噪特征数据；
9.基于所述含噪特征数据训练神经网络模型，直至所述神经网络模型收敛在预设范围内，形成语音活动检测模型；
10.基于所述语音活动检测模型对待检测语音信号进行检测，以获取与所述待检测语音信号对应的输出标签。
11.可选地，基于预设的噪声种子模型，从预设无标注数据中确定有标注噪声数据的过程包括：
12.获取包含有标注和无标注的噪声种子模型的训练数据；
13.基于所述训练数据训练噪声分类模型，直至所述噪声分类模型收敛至预设范围内，形成所述噪声种子模型；
14.通过所述噪声种子模型从预设无标注数据中筛选噪声数据；
15.对筛选出的噪声数据添加对应的噪声标签，形成所述有标注噪声数据。
16.可选地，所述根据预设语音数据、所述预设无标注噪声数据及所述有标注噪声数
据，确定含噪特征数据的过程包括：
17.根据预设比例确定所述预设语音数据、所述预设无标注噪声数据及所述有标注噪声数据的数据量占比；
18.对所述预设语音数据、所述预设无标注噪声数据及所述有标注噪声数据进行混响及加噪处理，以获取所述含噪特征数据。
19.可选地，所述基于所述含噪特征数据训练多层一维卷积模型，直至所述多层一维卷积模型收敛在预设范围内，形成语音活动检测模型的过程包括：
20.提取所述含噪特征数据的特征信息；
21.基于所述特征信息训练多层一维卷积模型，直至所述多层一维卷积模型收敛在预设范围内，形成所述语音活动检测模型。
22.可选地，所述提取所述含噪特征数据的特征信息的过程包括：
23.将所述含噪特征数据转换至时域，获取与所述含噪特征数据对应的时域语音信号；
24.对所述时域语音信号进行分帧及加窗处理，确定处理后的时域语音信号；
25.获取所述处理后的时域语音信号的每一帧的梅尔倒谱系数；其中，所述梅尔倒谱系数作为所述特征信息。
26.可选地，所述基于所述语音活动检测模型对待检测语音信号进行检测，以获取与所述待检测语音信号对应的输出标签的过程包括：
27.获取所述语音活动检测模型的参数矩阵；同时，
28.对所述待检测语音信号进行分帧及加窗处理，提取所述待检测语音信号的特征矩阵；
29.基于所述特征矩阵及所述参数矩阵，获取与所述待检测语音信号的当前帧相对应的各输出标签及各输出标签的得分。
30.可选地，还包括在获取与所述待检测语音信号对应的输出标签之后，
31.对所述输出标签进行窗口策略处理，以获取与所述待检测语音信号对应的标签参数及状态信息。
32.为了解决上述问题，本发明还提供一种多标签语音活动检测装置，所述装置包括：
33.有标注噪声数据确定单元，用于基于预设的噪声种子模型，从预设无标注数据中确定有标注噪声数据；
34.含噪特征数据确定单元，用于根据预设语音数据、所述预设无标注噪声数据及所述有标注噪声数据，确定含噪特征数据；
35.语音活动检测模型形成单元，用于基于所述含噪特征数据训练神经网络模型，直至所述神经网络模型收敛在预设范围内，形成语音活动检测模型；
36.输出标签获取单元，用于基于所述语音活动检测模型对待检测语音信号进行检测，以获取与所述待检测语音信号对应的输出标签。
37.为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
38.存储器，存储至少一个指令；及
39.处理器，执行所述存储器中存储的指令以实现上述所述的多标签语音活动检测方法。
40.为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的多标签语音活动检测方法。
41.本发明实施例基于预设的噪声种子模型，从预设无标注数据中确定有标注噪声数据；根据预设语音数据、预设无标注噪声数据及有标注噪声数据，确定含噪特征数据；基于含噪特征数据训练神经网络模型，直至神经网络模型收敛在预设范围内，形成语音活动检测模型；基于语音活动检测模型对待检测语音信号进行检测，以获取与待检测语音信号对应的输出标签，鲁棒性强、使用范围广、检测精度高，能够提供灵活的语音交互，优化用户体验。
附图说明
42.图1为本发明一实施例提供的多标签语音活动检测方法的流程示意图；
43.图2为本发明一实施例提供的多标签语音活动检测装置的模块示意图；
44.图3为本发明一实施例提供的实现多标签语音活动检测方法的电子设备的内部结构示意图；
45.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
46.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
47.本发明提供一种多标签语音活动检测方法。参照图1所示，为本发明一实施例提供的多标签语音活动检测方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
48.在本实施例中，多标签语音活动检测方法包括：
49.s110：基于预设的噪声种子模型，从预设无标注数据中确定有标注噪声数据。
50.其中，基于预设的噪声种子模型，从预设无标注数据中确定有标注噪声数据的步骤包括：
51.s111：获取包含有标注和无标注的噪声种子模型的训练数据；
52.s112：基于所述训练数据训练噪声分类模型，直至所述噪声分类模型收敛至预设范围内，形成所述噪声种子模型；
53.s113：通过所述噪声种子模型从预设无标注数据中筛选噪声数据；
54.s114：对筛选出的噪声数据添加对应的噪声标签，形成所述有标注噪声数据。
55.具体地，噪声种子模型包括多种噪声类型的种子模型，根据各噪声种子模型可从无标注数据集中筛选出对应噪声类型的噪声数据，进而可通过噪声数据集对应的噪声类型对该噪声数据添加标签处理，即可形成有标注噪声数据(即有标签噪声数据)。其中，噪声种子模型可包括风噪数据种子模型、汽车噪声种子模型、音乐噪声种子模型等多种类型。
56.s120：根据预设语音数据、所述预设无标注噪声数据及所述有标注噪声数据，确定含噪特征数据。
57.其中，语音数据可基于数万小时的真实场景语音数据筛选确定，该语音数据附带有帧级别的标签数据。具体地，帧级别的标签数据可通过现有声学模型训练的中间生成对
齐文件确定。例如，可使用kaldi语音识别训练框架作为声学模型对语音数据进行语音识别，并获取识别过程中的对齐文件，该对齐文件为标注语音数据(对语音数据进行声学模型训练的过程)获得的概率最大的帧级别的标注文本路径。
58.此外，待对齐文件确定后，可通过修改其帧级别的对齐标签信息，将语音数据中的发音文本标签统一修改为语音标签，除发音文本外的其他内容设定为静音标签等，该语音标签及静音标签即为所述语音数据的标签数据。
59.其中，上述预设语音数据(简称语音数据)、所述预设无标注噪声数据(简称无标注噪声数据)及所述有标注噪声数据可按照一定的比例进行混合，例如，可选取1/3语音数据、无标注噪声数据和有标注噪声数据共占比例2/3等。
60.具体地，根据预设语音数据、所述预设无标注噪声数据及所述有标注噪声数据，确定含噪特征数据的过程包括：
61.根据预设比例确定所述预设语音数据、所述预设无标注噪声数据及所述有标注噪声数据的数据量占比；
62.对所述预设语音数据、所述预设无标注噪声数据及所述有标注噪声数据进行混响及加噪处理，以获取所述含噪特征数据。
63.其中，所述含噪特征数据包括语音部分和静音部分，混响、加噪处理能够使得所述语音部分的标签不变，所述静音部分的标签替换为各种噪声标签。
64.s130：基于所述含噪特征数据训练神经网络模型，直至所述神经网络模型收敛在预设范围内，形成语音活动检测模型。
65.具体地，基于所述含噪特征数据训练多层一维卷积模型，直至所述多层一维卷积模型收敛在预设范围内，形成语音活动检测模型的过程包括：
66.1、提取所述含噪特征数据的特征信息。
67.具体地，提取所述含噪特征数据的特征信息的过程包括：
68.(1)、将所述含噪特征数据转换至时域，获取与所述含噪特征数据对应的时域语音信号；
69.(2)、对所述时域语音信号进行分帧及加窗处理，确定处理后的时域语音信号；
70.(3)、获取所述处理后的时域语音信号的每一帧的梅尔倒谱系数；其中，所述梅尔倒谱系数作为所述特征信息。
71.2、基于所述特征信息训练多层一维卷积模型，直至所述多层一维卷积模型收敛在预设范围内，形成所述语音活动检测模型。
72.作为具体示例，在本发明的多标签语音活动检测方法中，语音活动检测模型的训练模型可采用多层一维卷积构成，语音活动检测模型的训练环境可选用kaldi，使用的网络可选用tdnn(时间延长神经网络)等。
73.s140：基于所述语音活动检测模型对待检测语音信号进行检测，以获取与所述待检测语音信号对应的输出标签。
74.其中，在基于语音活动检测模型对待检测语音信号进行检测，获取与所述待检测语音信号对应的输出标签包括：
75.s141：获取所述语音活动检测模型的参数矩阵；
76.s142：对所述待检测语音信号(时域语音信号)进行分帧及加窗处理，提取所述待
检测语音信号的特征矩阵；
77.其中，1、首先对所述待检测语音信号进行分帧及加窗处理，获取所述待检测语音信号的每一帧的梅尔倒谱系数；2、基于所述语音活动检测模型的参数矩阵覆盖所述每一帧的感受野，并将当前帧左右两侧的预设个数个帧进行拼接，获取与所述每一帧分别对应的特征矩阵。
78.s143：基于所述特征矩阵及所述参数矩阵，获取与所述待检测语音信号的当前帧相对应的各输出标签及各输出标签的得分。
79.其中，所述输出标签包括静音、语音、风噪、汽车噪声、音乐噪声或者其他噪声等。在通过语音活动检测模型对待检测语音信号进行处理后，可输出与所述待检测语音信号的多个输出标签，以及每个输出标签的得分情况。
80.需要说明的是，本发明的多标签信息活动检测方法，还包括s150：在获取与所述待检测语音信号对应的输出标签之后，对所述输出标签进行窗口策略处理，以获取与所述待检测语音信号对应的标签参数及状态信息。
81.其中，标签参数可包括噪声或语音的起止时间、时长、能量、存在概率等多种信息，根据标签参数及状态信息可便于后续进行噪声类型及量级的判断，进而可提示用户或者进行相应的语音降噪(根据不同噪声类型进行降噪参数配置)。
82.具体地，步骤s150进一步包括：
83.s151：对当前帧进行加窗平滑处理，获取与所述当前帧对应的当前标签对应的平滑输出概率；
84.其中，可加窗平滑所述当前帧的左右两帧，当前帧的平滑输出为与当前帧对应的相邻5帧的平滑输出结果。例如，当前帧的平滑输出概率表示如下：y(t)＝0.1*z(t
‑
2)+0.2*z(t
‑
1)+0.7*z(t)+0.2*z(t+1)+0.1*z(t+2)；其中，y(t)表示当前帧的平滑输出概率，z(t)表示所述当前帧的所述语音活动检测模型输出的概率，z(t
‑
1)表示当前帧的前一帧的所述语音活动检测模型输出的概率，z(t+1)表示当前帧的后一帧的所述语音活动检测模型输出的概率等。
85.可知，针对当前帧的当前标签可获取上述y(t)，针对当前帧的各个标签，可获取一系列的平滑输出概率，针对不同的帧可获取对应的一些列的各标签的概率信息，此处仅以当前帧为例进行阐述。通过平滑当前帧的左右两帧可以平滑语音活动检测模型的输出的噪点，优化后续窗口策略。
86.s152：根据所述平滑输出概率判定所述当前帧的标签参数。
87.其中，由于不同噪声的起始点和起始长的判定参数与噪声类型相关，可预先构建不同的状态机，通过状态机判定当前帧噪声的标签参数；
88.s153：根据所述标签参数确定所述当前帧的状态信息。
89.作为具体示例，以汽车噪声为例：
90.根据所述平滑输出概率判定所述当前帧的状态信息的步骤包括：
91.s1521：判断汽车噪声的平滑输出概率是否大于第一预设阈值，并累计计算窗口内所有平滑输出概率超过所述第一预设阈值的比例，确定窗口阈值比例；
92.s1522：判断所述窗口阈值比例是否大于第二预设阈值，并获取输出结果；其中，输出结果包括是和否。
93.s153：根据所述输出结果及当前噪声状态，判定所述噪声状态跳转。
94.其中，根据上述输出结果及根据当前噪声状态，判定噪声状态跳转，包括若噪声未开始，当输出结果为是，则跳转至噪声开始状态，当输出结果为否，则当前帧的状态不变；若噪声处于开始状态，当输出结果为是，则跳转至噪声进行状态，当输出结果为否，则跳转至噪声结束状态，并从噪声结束状态进一步跳转至噪声未开始状态。
95.此外，后续下游任务，可根据本发明提出的多标签语音活动检测方法输出的当前帧噪声的状态信息，执行相应的策略，例如，对话系统可判定噪声的类型和量级，并当量级超过一定的范围时，提示用户“噪声较大，请移动至安静环境内”等，或者可根据上述噪声的类型和量级配置不同的降噪参数，对用户端的语音信号进行降噪处理等等。
96.可知，本发明提供的多标签语音活动检测方法，结合人工智能与语音活动检测模型，可在语音识别系统中为下游识别和语音降噪提供噪声信息，也可在大量无标注的语音中筛选不同的噪音进行标注，为后续语音识别和增强的鲁棒性提供真实不同场景的数据集，且语音活动检测模型能够输出多个标签，针对不同的标签可适配不同的窗口策略，给下游的语音降噪任务和对话系统，提供更加灵活的语音交互，优化用户体验。
97.如图2所示，是本发明多标签语音活动检测装置的功能模块图。
98.本发明所述多标签语音活动检测装置100可以安装于电子设备中。根据实现的功能，所述多标签语音活动检测装置可以包括有标注噪声数据确定单元101、含噪特征数据确定单元102、语音活动检测模型形成单元103和输出标签获取单元104。本发所述单元也可以称之为模块，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
99.在本实施例中，关于各模块/单元的功能如下：
100.有标注噪声数据确定单元101，用于基于预设的噪声种子模型，从预设无标注数据中确定有标注噪声数据。
101.该单元进一步包括以下步骤：s111：获取包含有标注和无标注的噪声种子模型的训练数据；
102.s112：基于所述训练数据训练噪声分类模型，直至所述噪声分类模型收敛至预设范围内，形成所述噪声种子模型；
103.s113：通过所述噪声种子模型从预设无标注数据中筛选噪声数据；
104.s114：对筛选出的噪声数据添加对应的噪声标签，形成所述有标注噪声数据。
105.具体地，噪声种子模型包括多种噪声类型的种子模型，根据各噪声种子模型可从无标注数据集中筛选出对应噪声类型的噪声数据，进而可通过噪声数据集对应的噪声类型对该噪声数据添加标签处理，即可形成有标注噪声数据(即有标签噪声数据)。其中，噪声种子模型可包括风噪数据种子模型、汽车噪声种子模型、音乐噪声种子模型等多种类型。
106.含噪特征数据确定单元102，用于根据预设语音数据、所述预设无标注噪声数据及所述有标注噪声数据，确定含噪特征数据。
107.其中，语音数据可基于数万小时的真实场景语音数据筛选确定，该语音数据附带有帧级别的标签数据。具体地，帧级别的标签数据可通过现有声学模型训练的中间生成对齐文件确定。例如，可使用kaldi语音识别训练框架作为声学模型对语音数据进行语音识别，并获取识别过程中的对齐文件，该对齐文件为标注语音数据(对语音数据进行声学模型
训练的过程)获得的概率最大的帧级别的标注文本路径。
108.此外，待对齐文件确定后，可通过修改其帧级别的对齐标签信息，将语音数据中的发音文本标签统一修改为语音标签，除发音文本外的其他内容设定为静音标签等，该语音标签及静音标签即为所述语音数据的标签数据。
109.其中，上述预设语音数据(简称语音数据)、所述预设无标注噪声数据(简称无标注噪声数据)及所述有标注噪声数据可按照一定的比例进行混合，例如，可选取1/3语音数据、无标注噪声数据和有标注噪声数据共占比例2/3等。
110.具体地，根据预设语音数据、所述预设无标注噪声数据及所述有标注噪声数据，确定含噪特征数据的过程包括：
111.根据预设比例确定所述预设语音数据、所述预设无标注噪声数据及所述有标注噪声数据的数据量占比；
112.对所述预设语音数据、所述预设无标注噪声数据及所述有标注噪声数据进行混响及加噪处理，以获取所述含噪特征数据。
113.其中，所述含噪特征数据包括语音部分和静音部分，混响、加噪处理能够使得所述语音部分的标签不变，所述静音部分的标签替换为各种噪声标签。
114.语音活动检测模型形成单元103，用于基于所述含噪特征数据训练神经网络模型，直至所述神经网络模型收敛在预设范围内，形成语音活动检测模型。
115.具体地，基于所述含噪特征数据训练多层一维卷积模型，直至所述多层一维卷积模型收敛在预设范围内，形成语音活动检测模型的过程包括：
116.1、提取所述含噪特征数据的特征信息。
117.具体地，提取所述含噪特征数据的特征信息的过程包括：
118.(1)、将所述含噪特征数据转换至时域，获取与所述含噪特征数据对应的时域语音信号；
119.(2)、对所述时域语音信号进行分帧及加窗处理，确定处理后的时域语音信号；
120.(3)、获取所述处理后的时域语音信号的每一帧的梅尔倒谱系数；其中，所述梅尔倒谱系数作为所述特征信息。
121.2、基于所述特征信息训练多层一维卷积模型，直至所述多层一维卷积模型收敛在预设范围内，形成所述语音活动检测模型。
122.作为具体示例，在本发明的多标签语音活动检测方法中，语音活动检测模型的训练模型可采用多层一维卷积构成，语音活动检测模型的训练环境可选用kaldi，使用的网络可选用tdnn(时间延长神经网络)等。
123.输出标签获取单元104，用于基于所述语音活动检测模型对待检测语音信号进行检测，以获取与所述待检测语音信号对应的输出标签。
124.其中，在基于语音活动检测模型对待检测语音信号进行检测，获取与所述待检测语音信号对应的输出标签包括：
125.s141：获取所述语音活动检测模型的参数矩阵；
126.s142：对所述待检测语音信号(时域语音信号)进行分帧及加窗处理，提取所述待检测语音信号的特征矩阵；
127.其中，1、首先对所述待检测语音信号进行分帧及加窗处理，获取所述待检测语音
信号的每一帧的梅尔倒谱系数；2、基于所述语音活动检测模型的参数矩阵覆盖所述每一帧的感受野，并将当前帧左右两侧的预设个数个帧进行拼接，获取与所述每一帧分别对应的特征矩阵。
128.s143：基于所述特征矩阵及所述参数矩阵，获取与所述待检测语音信号的当前帧相对应的各输出标签及各输出标签的得分。
129.其中，所述输出标签包括静音、语音、风噪、汽车噪声、音乐噪声或者其他噪声等。在通过语音活动检测模型对待检测语音信号进行处理后，可输出与所述待检测语音信号的多个输出标签，以及每个输出标签的得分情况。
130.需要说明的是，本发明的多标签信息活动检测方法，还包括s150：在获取与所述待检测语音信号对应的输出标签之后，对所述输出标签进行窗口策略处理，以获取与所述待检测语音信号对应的标签参数及状态信息。
131.其中，标签参数可包括噪声或语音的起止时间、时长、能量、存在概率等多种信息，根据标签参数及状态信息可便于后续进行噪声类型及量级的判断，进而可提示用户或者进行相应的语音降噪(根据不同噪声类型进行降噪参数配置)。
132.具体地，步骤s150进一步包括：
133.s151：对当前帧进行加窗平滑处理，获取与所述当前帧对应的当前标签对应的平滑输出概率；
134.其中，可加窗平滑所述当前帧的左右两帧，当前帧的平滑输出为与当前帧对应的相邻5帧的平滑输出结果。例如，当前帧的平滑输出概率表示如下：y(t)＝0.1*z(t
‑
2)+0.2*z(t
‑
1)+0.7*z(t)+0.2*z(t+1)+0.1*z(t+2)；其中，y(t)表示当前帧的平滑输出概率，z(t)表示所述当前帧的所述语音活动检测模型输出的概率，z(t
‑
1)表示当前帧的前一帧的所述语音活动检测模型输出的概率，z(t+1)表示当前帧的后一帧的所述语音活动检测模型输出的概率等。
135.可知，针对当前帧的当前标签可获取上述y(t)，针对当前帧的各个标签，可获取一系列的平滑输出概率，针对不同的帧可获取对应的一些列的各标签的概率信息，此处仅以当前帧为例进行阐述。通过平滑当前帧的左右两帧可以平滑语音活动检测模型的输出的噪点，优化后续窗口策略。
136.s152：根据所述平滑输出概率判定所述当前帧的标签参数。
137.其中，由于不同噪声的起始点和起始长的判定参数与噪声类型相关，可预先构建不同的状态机，通过状态机判定当前帧噪声的标签参数；
138.s153：根据所述标签参数确定所述当前帧的状态信息。
139.作为具体示例，以汽车噪声为例：
140.根据所述平滑输出概率判定所述当前帧的状态信息的步骤包括：
141.s1521：判断汽车噪声的平滑输出概率是否大于第一预设阈值，并累计计算窗口内所有平滑输出概率超过所述第一预设阈值的比例，确定窗口阈值比例；
142.s1522：判断所述窗口阈值比例是否大于第二预设阈值，并获取输出结果；其中，输出结果包括是和否。
143.s153：根据所述输出结果及当前噪声状态，判定所述噪声状态跳转。
144.其中，根据上述输出结果及根据当前噪声状态，判定噪声状态跳转，包括若噪声未
开始，当输出结果为是，则跳转至噪声开始状态，当输出结果为否，则当前帧的状态不变；若噪声处于开始状态，当输出结果为是，则跳转至噪声进行状态，当输出结果为否，则跳转至噪声结束状态，并从噪声结束状态进一步跳转至噪声未开始状态。
145.此外，后续下游任务，可根据本发明提出的多标签语音活动检测方法输出的当前帧噪声的状态信息，执行相应的策略，例如，对话系统可判定噪声的类型和量级，并当量级超过一定的范围时，提示用户“噪声较大，请移动至安静环境内”等，或者可根据上述噪声的类型和量级配置不同的降噪参数，对用户端的语音信号进行降噪处理等等。
146.需要说明的是，多标签语音活动检测装置100的实施例可参考多标签语音活动检测方法实施例中的描述，此处不再一一赘述。
147.如图3所示，是本发明实现多标签语音活动检测方法的电子设备的结构示意图。
148.所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如多标签语音活动检测程序12。
149.其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如多标签语音活动检测程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
150.所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如多标签语音活动检测程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
151.所述总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
152.图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图2示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
153.例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态
指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、wi
‑
fi模块等，在此不再赘述。
154.进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如wi
‑
fi接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
155.可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light
‑
emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
156.应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
157.所述电子设备1中的所述存储器11存储的多标签语音活动检测程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
158.基于预设的噪声种子模型，从预设无标注数据中确定有标注噪声数据；
159.根据预设语音数据、所述预设无标注噪声数据及所述有标注噪声数据，确定含噪特征数据；
160.基于所述含噪特征数据训练神经网络模型，直至所述神经网络模型收敛在预设范围内，形成语音活动检测模型；
161.基于所述语音活动检测模型对待检测语音信号进行检测，以获取与所述待检测语音信号对应的输出标签。
162.可选地，基于预设的噪声种子模型，从预设无标注数据中确定有标注噪声数据的过程包括：
163.获取包含有标注和无标注的噪声种子模型的训练数据；
164.基于所述训练数据训练噪声分类模型，直至所述噪声分类模型收敛至预设范围内，形成所述噪声种子模型；
165.通过所述噪声种子模型从预设无标注数据中筛选噪声数据；
166.对筛选出的噪声数据添加对应的噪声标签，形成所述有标注噪声数据。
167.可选地，所述根据预设语音数据、所述预设无标注噪声数据及所述有标注噪声数据，确定含噪特征数据的过程包括：
168.根据预设比例确定所述预设语音数据、所述预设无标注噪声数据及所述有标注噪声数据的数据量占比；
169.对所述预设语音数据、所述预设无标注噪声数据及所述有标注噪声数据进行混响及加噪处理，以获取所述含噪特征数据。
170.可选地，所述基于所述含噪特征数据训练多层一维卷积模型，直至所述多层一维卷积模型收敛在预设范围内，形成语音活动检测模型的过程包括：
171.提取所述含噪特征数据的特征信息；
172.基于所述特征信息训练多层一维卷积模型，直至所述多层一维卷积模型收敛在预设范围内，形成所述语音活动检测模型。
173.可选地，所述提取所述含噪特征数据的特征信息的过程包括：
174.将所述含噪特征数据转换至时域，获取与所述含噪特征数据对应的时域语音信号；
175.对所述时域语音信号进行分帧及加窗处理，确定处理后的时域语音信号；
176.获取所述处理后的时域语音信号的每一帧的梅尔倒谱系数；其中，所述梅尔倒谱系数作为所述特征信息。
177.可选地，所述基于所述语音活动检测模型对待检测语音信号进行检测，以获取与所述待检测语音信号对应的输出标签的过程包括：
178.获取所述语音活动检测模型的参数矩阵；同时，
179.对所述待检测语音信号进行分帧及加窗处理，提取所述待检测语音信号的特征矩阵；
180.基于所述特征矩阵及所述参数矩阵，获取与所述待检测语音信号的当前帧相对应的各输出标签及各输出标签的得分。
181.可选地，还包括在获取与所述待检测语音信号对应的输出标签之后，
182.对所述输出标签进行窗口策略处理，以获取与所述待检测语音信号对应的标签参数及状态信息。
183.进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)。
184.在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
185.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
186.另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
187.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
188.因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
189.此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
190.最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。