技术特征：
1.一种基于复数神经网络的加密域语音识别方法，其特征在于，包括：s1.采集语音数据集，将语音数据集划分为训练集和测试集，训练集和测试集中的语音数据均视作复数；s2.构建复数神经网络模型，并利用训练集训练复数神经网络模型，利用测试集测试复数神经网络模型的精度，得到最终的复数神经网络模型，并封装于语音识别执行服务器中；s3.利用隐私服务器生成公钥pk和私钥sk，将公钥pk和私钥sk均发送至客户端，将公钥pk发送给语音识别执行服务器；s4.客户端利用公钥pk对待识别语音进行数据编码加密，每一待识别语音均有若干个标签，将加密后的待识别语音的每个语音数据视作复数，并发送至语音识别执行服务器；s5.语音识别执行服务器中的复数神经网络模型对加密后的语音在加密域中进行语音识别，获取该加密语音对应的若干个标签的加密概率；s6.语音识别执行服务器将若干个标签的加密概率发送给客户端，客户端利用私钥sk解密后，将概率值最大的标签作为语音识别的结果。2.根据权利要求1所述的基于复数神经网络的加密域语音识别方法，其特征在于，在步骤s1中，语音数据集中的每个关键字均由一组来自不同语音源的z秒语音数据组成，语音数据设有标签，每条语音数据用若干个关键字中的其中一个标记。3.根据权利要求2所述的基于复数神经网络的加密域语音识别方法，其特征在在于，采集语音数据集之后，对语音数据集中的语音数据进行采样，使其成为采样频率q下、长度为z秒的语音数据。4.根据权利要求3所述的基于复数神经网络的加密域语音识别方法，其特征在于，步骤s2所述构建的复数神经网络模型包括一维卷积网络单元及全连接网络单元，语音数据通过一维卷积网络单元输出为一维特征向量，一维特征向量作为全连接网络单元的输入；所述一维卷积网络单元包括六个卷积块，每一个卷积块由一个复数卷积层、一个复数激活层及一个平均池化层组成，复数卷积层将输入至复数神经网络模型的语音数据拆分成实部和虚部，且复数卷积层内设计有复数卷积核，以模拟复数运算；设输入至复数神经网络模型的语音数据为m＝x+iy，x、y分别为语音数据m的实部分量和虚部分量，复数卷积核向量为k＝a+ib，a、b为复数卷积核的实部和虚部，则通过复数卷积层对语音数据m进行运算，输出为：m*k＝(x*a-y*b)+i(x*b+y*a)转换成符合复数卷积核运算的形式，表示为；其中，*表示卷积操作，(m*k)
real
、(m*k)
imag
分别表示m*k的实部分量和虚部分量；复数激活层的激活函数为perelu函数或pcrelu函数，对于输入复数神经网络模型的语音数据c，perelu函数的表达式为：perelu(c)＝ec3+fc2+gc+hpcrelu函数的表达式为：
其中，c
real
、c
imag
分别表示c的实部和虚部，e、f、g、h为perelu函数的多项式系数，e1、f1、g1、h1为perelu函数实部的多项式系数，e2、f2、g2、h2为perelu函数虚部的多项式系数；所述全连接网络单元包括第一复数全连接层、激活函数层及第二复数全连接层，激活函数层位于第一复数全连接层和第二复数全连接层之间，激活函数层的激活函数为perelu函数或pcrelu函数，第一复数全连接层与第二复数全连接层均通过拆分复数向量、模拟复数运算实现，第二复数全连接层的输出作为全连接网络单元的输出层。5.根据权利要求4所述的基于复数神经网络的加密域语音识别方法，其特征在于，在训练复数神经网络模型时，将训练集的语音数据作为复数神经网络模型的输入，将训练集的语音数据对应的标签作为复数神经网络模型的输出标签，损失函数采用交叉熵，通过梯度下降法训练。6.根据权利要求5所述的基于复数神经网络的加密域语音识别方法，其特征在于，在步骤s4中，客户端利用公钥pk对待识别语音进行数据编码加密的过程为：设待识别语音中存在n条语音数据，表征为：v0，v1，
…
，v
n-1
，每一条语音数据均有m个点：对所有语音数据执行公式：其中，j＝0，1，
…
，m-1；将n条语音数据编码为m个向量v0，v1，
…
，v
m-1
，其中：利用公钥pk对m个向量v0，v1，
…
，v
m-1
进行加密，得到加密数据：7.根据权利要求6所述的基于复数神经网络的加密域语音识别方法，其特征在于，在步骤s5中，语音识别执行服务器中的复数神经网络模型对加密后的语音在加密域中进行语音识别时，使用的乘法为加密域的同态乘法。8.根据权利要求6所述的基于复数神经网络的加密域语音识别方法，其特征在在于，在步骤s5中，语音识别执行服务器中的复数神经网络模型对加密后的语音在加密域中进行语音识别时，使用的加法为加密域的同态加法。9.一种基于复数神经网络的加密域语音识别系统，其特征在于，包括：数据集采集单元，用于采集语音数据集，并将语音数据集划分为训练集和测试集，训练集和测试集中的语音数据均视作复数；复数神经网络构建训练模块，用于构建复数神经网络模型，并利用训练集训练复数神经网络模型，利用测试集测试复数神经网络模型的精度，得到最终的复数神经网络模型，位于语音识别执行服务器中；隐私服务器，用于生成公钥pk和私钥sk，并将公钥pk和私钥sk均发送至客户端，将公钥pk发送给语音识别执行服务器；客户端，利用公钥pk对待识别语音进行数据编码加密，每一待识别语音均有若干个标签，将加密后的待识别语音的每个语音数据视作复数，并发送至语音识别执行服务器；语音识别执行服务器，内设有复数神经网络构建训练模块，对加密后的语音在加密域
中进行语音识别，获取该加密语音对应的若干个标签的加密概率，并发送至客户端；所述客户端还利用私钥sk对若干个标签的加密概率进行解密后，将概率值最大的标签作为语音识别的结果。10.根据权利要求9所述的基于复数神经网络的加密域语音识别系统，其特征在于，还包括：采样处理模块，在数据集采集单元采集语音数据集之后，采样处理模块对语音数据集中的语音数据进行采样，使其成为采样频率q下、长度为z秒的语音数据，匹配复数神经网络模型的输入维度。
技术总结
本发明提出一种基于复数神经网络的加密域语音识别方法及系统，涉及语音识别的技术领域，利用语音数据集训练测试模型，训练好的模型封装于语音识别执行服务器中备用；隐私服务器生成公钥和私钥发送至客户端，并将公钥发送至语音识别执行服务器，客户端对语音数据进行编码加密并发送给语音识别执行服务器，语音识别执行服务器利用模型在加密域对加密语音进行识别，复数神经网络模型的适应匹配性便于语音识别执行服务器在加密域对加密语音进行高效识别，将识别结果发送给客户端，客户端进行解密得到语音识别结果，在保证隐私安全性的同时，客户端的语音拥有者无须进行特征提取，且可进行多条语音的识别，降低了单位加密语音识别时间开销。别时间开销。别时间开销。
技术研发人员：曾惠聪 蔡志威 郑培嘉
受保护的技术使用者：中山大学
技术研发日：2022.02.21
技术公布日：2022/5/25