一种端到端的声纹识别防重放攻击方法、装置及可读介质与流程

1.本发明涉及声纹识别领域，具体涉及一种端到端的声纹识别防重放攻击方法、装置及可读介质。


背景技术：

2.随着声纹识别技术的日益普及，声纹识别防重放攻击的主要研究目的是实现检测一段录音是真人还是预先录制好的音频，避免被他人盗用声纹信息。录音重放防攻击是任何声纹识别系统必不可少的，是声纹识别系统的重要组成部分。声纹识别系统需要根据音频来区分用户身份，完成用户授权。现有的声纹识别系统缺乏有效的检测机制，录音重放声纹防攻击系统首先将输入的语音进行特征提取，也就是人工设计，然后对提取的特征进行分类。
3.但是现在的录音重放声纹防攻击方法存在一定的局限性：
4.首先，音频特征提取主要是人工设计的方式，比如梅尔倒谱系数(mfcc)，这类音频特征大多是为语音识别系统设计，符合人类听觉系统特征，但是有时人耳也很难区分是否是录音重放，因此不一定适用于录音重放检测的场景。
5.其次，环境噪声、录音设备和播放设备对录音重放声纹防攻击检测结果影响较大，场景覆盖较少。


技术实现要素：

6.针对上述提到的背景技术中存在的问题。本技术的实施例的目的在于提出了一种端到端的声纹识别防重放攻击方法、装置及可读介质，来解决以上背景技术部分提到的技术问题。
7.第一方面，本技术的实施例提供了一种端到端的声纹识别防重放攻击方法，包括以下步骤：
8.s1，获取待识别语音数据，并将待识别语音数据进行预处理并数字转换为音频序列数据，音频序列数据为浮点型数据；
9.s2，将音频序列数据输入经训练的声纹防重放识别模型，声纹防重放识别模型包括相接的五个卷积单元和一个全连接层，其中，每个卷积单元包括依次连接的一维卷积层、最大池化层和批归一化层，输出识别结果，基于识别结果确定待识别语音数据为真实音频或录音重放音频。
10.在一些实施例中，步骤s1中将待识别语音数据进行预处理并转换为音频序列数据，具体包括：
11.将待识别语音数据进行vad处理，提取有效语音片段；
12.将有效语音片段进行数字转换，由字节数组型数据为浮点型数据，并得到具有时间序列的音频序列数据。
13.在一些实施例中，声纹防重放识别模型的训练过程中具体包括：将收集到的不同
设备和/或场景下的真实音频和录音重放音频进行人工标注、预处理和数字转换，并对声纹防重放识别模型进行训练，直至声纹防重放识别模型达到预期效果或直至满足训练结束条件。
14.在一些实施例中，声纹防重放识别模型中的一维卷积层的感受野为160，步长为16。
15.第二方面，本技术的实施例提供了一种端到端的声纹识别防重放攻击装置，包括：
16.数据转换模块，被配置为获取待识别语音数据，并将待识别语音数据进行预处理并数字转换为音频序列数据，音频序列数据为浮点型数据；
17.识别模块，被配置为将音频序列数据输入经训练的声纹防重放识别模型，声纹防重放识别模型包括相接的五个卷积单元和一个全连接层，其中，每个卷积单元包括依次连接的一维卷积层、最大池化层和批归一化层，输出识别结果，基于识别结果确定待识别语音数据为真实音频或录音重放音频。
18.在一些实施例中，数据转换模块中将待识别语音数据进行预处理并转换为音频序列数据，具体包括：
19.将待识别语音数据进行vad处理，提取有效语音片段；
20.将有效语音片段进行数字转换，由字节数组型数据为浮点型数据，并得到具有时间序列的音频序列数据。
21.在一些实施例中，声纹防重放识别模型的训练过程中具体包括：将收集到的不同设备和/或场景下的真实音频和录音重放音频进行人工标注、预处理和数字转换，并对声纹防重放识别模型进行训练，直至声纹防重放识别模型达到预期效果或直至满足训练结束条件。
22.在一些实施例中，声纹防重放识别模型中的一维卷积层的感受野为160，步长为16。
23.第三方面，本技术的实施例提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
24.第四方面，本技术的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
25.相比于现有技术，本发明具有以下技术效果：
26.(1)本发明的端到端的声纹识别防重放攻击方法能够直接利用语音信息作为声纹防重放识别模型的输入进行防攻击识别，不仅可以跨设备和跨场景的端到端的实现录音重放声纹防攻击检测和识别，有效简化了录音重放声纹防攻击系统的构建过程。
27.(2)本发明的端到端的声纹识别防重放攻击方法可以基于深度学习技术提取出待识别语音数据中的设备信息，为录音重放声纹防攻击系统提供重要的特征，能够有效提高录音重放声纹防攻击系统的识别性能。
28.(3)本发明的声纹防重放识别模型可以直接部署到声纹识别系统前端，防止有人冒充他人，并且适用于包含声纹识别的所有对话交互系统。
附图说明
29.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1是本技术的一个实施例可以应用于其中的示例性装置架构图；
31.图2为本发明的实施例的端到端的声纹识别防重放攻击方法的流程示意图；
32.图3为本发明的实施例的端到端的声纹识别防重放攻击装置的示意图；
33.图4是适于用来实现本技术实施例的电子设备的计算机装置的结构示意图。
具体实施方式
34.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
35.图1示出了可以应用本技术实施例的端到端的声纹识别防重放攻击方法或端到端的声纹识别防重放攻击装置的示例性装置架构100。
36.如图1所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
37.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
38.终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
39.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
40.需要说明的是，本技术实施例所提供的端到端的声纹识别防重放攻击方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，端到端的声纹识别防重放攻击装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
41.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
42.图2示出了本技术的实施例提供的一种端到端的声纹识别防重放攻击方法，包括以下步骤：
43.s1，获取待识别语音数据，并将待识别语音数据进行预处理并数字转换为音频序列数据，音频序列数据为浮点型数据。
44.在具体的实施例中，步骤s1中将待识别语音数据进行预处理并转换为音频序列数据，具体包括：
45.将待识别语音数据进行vad处理，提取有效语音片段；
46.将有效语音片段进行数字转换，由字节数组型数据为浮点型数据，并得到具有时间序列的音频序列数据。
47.具体地，将待识别语音数据进行vad处理，可以截取有效语音片段，去除背景音和静音部分，避免环境噪音或背景音的影响。将待识别语音数据的格式从16bit转换为浮点(float)类型，方便声纹防重放识别模型的训练，并且转换后的音频序列数据为包含时间序列的音频数据。本技术的实施例中可以直接将音频序列数据作为声纹防重放识别模型的输入数据进行识别，并不需要进行特征提取，有效简化了录音重放声纹防攻击系统的构建过程，当然也可以直接将待识别语音数据输入声纹防重放识别模型中进行识别，但是为了方便声纹防重放识别模型的训练，需要将待识别语音数据进行简单的数字转换。
48.s2，将音频序列数据输入经训练的声纹防重放识别模型，声纹防重放识别模型包括相接的五个卷积单元和一个全连接层，其中，每个卷积单元包括依次连接的一维卷积层、最大池化层和批归一化层，输出识别结果，基于识别结果确定待识别语音数据为真实音频或录音重放音频。
49.在具体的实施例中，声纹防重放识别模型是基于卷积神经网络构建的模型，用于提取特征向量，不同于传统的人工设计特征(如mfcc)，人工设计特征为二维数据，主要利用与图像相同的二维卷积层，本技术的实施例所使用的声纹防重放识别模型可以直接利用时间序列的音频序列数据，因此可以采用一维卷积层。声纹防重放识别模型包括五个一维卷积层，每个卷积层后面连接一个最大池化层(maxpool)和批归一化层(batchnorm)，最后是一层全连接层，用于输出识别结果。声纹防重放识别模型可接受变长输入和固定长度输入。为了保证能够取到在足够长的时间内的音频片段，可取3秒。如果音频序列数据不足3秒，则会放空白段进去将该音频序列数据补足3秒，以获得统一长度的音频序列数据。经过反复试验验证后得到当声纹防重放识别模型中的一维卷积层的感受野为160，步长为16时声纹防重放识别模型的参数布局为最优。
50.具体地，声纹防重放识别模型的训练过程中具体包括：将收集到的不同设备和/或场景下的真实音频和录音重放音频进行人工标注、预处理和数字转换，并对声纹防重放识别模型进行训练，直至声纹防重放识别模型达到预期效果或直至满足训练结束条件。收集不同设备和/或场景下的真实音频和录音重放音频，并分别进行人工标注，以获得对应的标签，将不同设备和/或场景下的真实音频和录音重放音频进行vad处理，提取有效语音片段；将有效语音片段进行数字转换，由字节数组型数据为浮点型数据，并得到具有时间序列的音频序列数据。而后，将音频序列数据输入声纹防重放识别模型中对其进行训练。
51.声纹防重放识别模型的训练过程中采用通用的训练方式，比如梯度下降法对声纹防重放识别模型的参数进行调整。由于采集了大量的不同设备和/或场景下的录音重放音频，录音重放音频跨越了多个设备和/或场景，并保留了真实音频，真实音频是相对于录音重放音频而言的真实人声说话音频，并且人工标注是录音重放音频还是真实音频以作为声
纹防重放识别模型的训练集和测试集。针对输入的训练集和测试集对声纹防重放识别模型进行训练并调整模型的参数，完成录音重放声纹防攻击识别模型训练。经训练的声纹防重放识别模型是一个稳定泛化能力较强的模型。本技术的实施例可提供一个跨设备、多场景的端到端的声纹防重放识别模型，能够基于深度学习技术从待识别语音数据中直接获取特征信息，利用此特征信息实现稳定准确的检测和识别，识别速度快，不需要人工设计特征，并且能够跨越各种场景和设备。
52.在具体的实施例中，本发明提出的端到端的声纹识别防重放攻击方法能够基于深度学习技术提取出音频中设备信息，为防攻击系统提供重要的特征，能够有效的提高防攻击系统的识别性能，设备信息是通过采集设备的多样性，体现在音频序列之中，神经网络能够对这些信息进行学习归纳，最终实现跨设备。
53.本技术的实施例中的经训练的声纹防重放识别模型可以部署到声纹识别系统前端，防止有人冒充他人，提高声纹验证的准确性，本发明可以应用于包含声纹识别的所有对话交互系统。
54.进一步参考图3，作为对上述各图所示方法的实现，本技术提供了一种端到端的声纹识别防重放攻击装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
55.本技术实施例提供了一种端到端的声纹识别防重放攻击装置，包括：
56.数据转换模块1，被配置为获取待识别语音数据，并将待识别语音数据进行预处理并数字转换为音频序列数据，音频序列数据为浮点型数据；
57.识别模块2，被配置为将音频序列数据输入经训练的声纹防重放识别模型，声纹防重放识别模型包括相接的五个卷积单元和一个全连接层，其中，每个卷积单元包括依次连接的一维卷积层、最大池化层和批归一化层，输出识别结果，基于识别结果确定待识别语音数据为真实音频或录音重放音频。
58.在具体的实施例中，数据转换模块1中将待识别语音数据进行预处理并转换为音频序列数据，具体包括：
59.将待识别语音数据进行vad处理，提取有效语音片段；
60.将有效语音片段进行数字转换，由字节数组型数据为浮点型数据，并得到具有时间序列的音频序列数据。
61.具体地，将待识别语音数据进行vad处理，可以截取有效语音片段，去除背景音和静音部分，避免环境噪音或背景音的影响。将待识别语音数据的格式从16bit转换为浮点(float)类型，方便声纹防重放识别模型的训练，并且转换后的音频序列数据为包含时间序列的音频数据。本技术的实施例中可以直接将音频序列数据作为声纹防重放识别模型的输入数据进行识别，并不需要进行特征提取，有效简化了录音重放声纹防攻击系统的构建过程，当然也可以直接将待识别语音数据输入声纹防重放识别模型中进行识别，但是为了方便声纹防重放识别模型的训练，需要将待识别语音数据进行简单的数字转换。
62.在具体的实施例中，声纹防重放识别模型是基于卷积神经网络构建的模型，用于提取特征向量，不同于传统的人工设计特征(如mfcc)，人工设计特征为二维数据，主要利用与图像相同的二维卷积层，本技术的实施例所使用的声纹防重放识别模型可以直接利用时间序列的音频序列数据，因此可以采用一维卷积层。声纹防重放识别模型包括五个一维卷
积层，每个卷积层后面连接一个最大池化层(maxpool)和批归一化层(batchnorm)，最后是一层全连接层，用于输出识别结果。声纹防重放识别模型可接受变长输入和固定长度输入。为了保证能够取到在足够长的时间内的音频片段，可取3秒。如果音频序列数据不足3秒，则会放空白段进去将该音频序列数据补足3秒，以获得统一长度的音频序列数据。经过反复试验验证后得到当声纹防重放识别模型中的一维卷积层的感受野为160，步长为16时声纹防重放识别模型的参数布局为最优。
63.具体地，声纹防重放识别模型的训练过程中具体包括：将收集到的不同设备和/或场景下的真实音频和录音重放音频进行人工标注、预处理和数字转换，并对声纹防重放识别模型进行训练，直至声纹防重放识别模型达到预期效果或直至满足训练结束条件。收集不同设备和/或场景下的真实音频和录音重放音频，并分别进行人工标注，以获得对应的标签，将不同设备和/或场景下的真实音频和录音重放音频进行vad处理，提取有效语音片段；将有效语音片段进行数字转换，由字节数组型数据为浮点型数据，并得到具有时间序列的音频序列数据。而后，将音频序列数据输入声纹防重放识别模型中对其进行训练。
64.声纹防重放识别模型的训练过程中采用通用的训练方式，比如梯度下降法对声纹防重放识别模型的参数进行调整。由于采集了大量的不同设备和/或场景下的录音重放音频，录音重放音频跨越了多个设备和/或场景，并保留了真实音频，真实音频是相对于录音重放音频而言的真实人声说话音频，并且人工标注是录音重放音频还是真实音频以作为声纹防重放识别模型的训练集和测试集。针对输入的训练集和测试集对声纹防重放识别模型进行训练并调整模型的参数，完成录音重放声纹防攻击识别模型训练。经训练的声纹防重放识别模型是一个稳定泛化能力较强的模型。本技术的实施例可提供一个跨设备、多场景的端到端的声纹防重放识别模型，能够基于深度学习技术从待识别语音数据中直接获取特征信息，利用此特征信息实现稳定准确的检测和识别，识别速度快，不需要人工设计特征，并且能够跨越各种场景和设备。
65.在具体的实施例中，本发明提出的端到端的声纹识别防重放攻击装置能够基于深度学习技术提取出音频中设备信息，为防攻击系统提供重要的特征，能够有效的提高防攻击系统的识别性能，设备信息是通过采集设备的多样性，体现在音频序列之中，神经网络能够对这些信息进行学习归纳，最终实现跨设备。
66.下面参考图4，其示出了适于用来实现本技术实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置400的结构示意图。图4示出的电子设备仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
67.如图4所示，计算机装置400包括中央处理单元(cpu)401和图形处理器(gpu)402，其可以根据存储在只读存储器(rom)403中的程序或者从存储部分409加载到随机访问存储器(ram)404中的程序而执行各种适当的动作和处理。在ram 404中，还存储有装置400操作所需的各种程序和数据。cpu 401、gpu402、rom 403以及ram404通过总线405彼此相连。输入/输出(i/o)接口406也连接至总线405。
68.以下部件连接至i/o接口406：包括键盘、鼠标等的输入部分407；包括诸如、液晶显示器(lcd)等以及扬声器等的输出部分408；包括硬盘等的存储部分409；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分410。通信部分410经由诸如因特网的网络执行通信处理。驱动器411也可以根据需要连接至i/o接口406。可拆卸介质412，诸如磁盘、光盘、
磁光盘、半导体存储器等等，根据需要安装在驱动器411上，以便于从其上读出的计算机程序根据需要被安装入存储部分409。
69.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分410从网络上被下载和安装，和/或从可拆卸介质412被安装。在该计算机程序被中央处理单元(cpu)401和图形处理器(gpu)402执行时，执行本技术的方法中限定的上述功能。
70.需要说明的是，本技术所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
71.可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
72.附图中的流程图和框图，图示了按照本技术各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
73.描述于本技术实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
74.作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待识别语音数据，并将待识别语音数据进行预处理并数字转换为音频序列数据，音频序列数据为浮点型数据；将音频序列数据输入经训练的声纹防重放识别模型，声纹防重放识别模型包括相接的五个卷积单元和一个全连接层，其中，每个卷积单元包括依次连接的一维卷积层、最大池化层和批归一化层，输出识别结果，基于识别结果确定待识别语音数据为真实音频或录音重放音频。
75.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。