一种联邦语音智能电梯控制方法与流程

本发明涉及计算机，尤其涉及一种联邦语音智能电梯控制方法。

背景技术：

1、针对智能化电梯的发展需求，集成电梯语音信号采集设备的智慧电梯应运而生，智慧电梯通过用户对电梯进行语音控制，提升了电梯非接触式控制能力，减少了用户手动控制电梯按键，降低了手动选择开关门、楼层目的地等操作。智慧电梯通过用户对电梯进行语音控制，一是可以避免因接身体触电梯按键导致的细菌、病毒等附着与用户的交叉感染；二是通过语音唤醒电梯、语音控制电梯，非接触式操作电梯，解放用户乘坐电梯时双手，实现智慧电梯出行。

2、然而，相关技术中智慧电梯采用的传统语音检测方法中语音识别、语音控制技术均会采集用户语音数据，但用户语音信号包含用户的语言习惯、口音、响度等个人信息，具有隐私保护要求。因此，在进行电梯语音控制模型训练时，大量采集用户具有隐私属性的声音信号数据，面临用户语音数据隐私泄露风险；同时，不同用户的语音信号具有不同的语音信号特点，小样本，高噪声，方言、语气、习惯等导致用于语音识别模型训练的数据不满足传统机器学习要求的独立同分布特性。

3、因此，亟需一种能够实现兼顾各类用户电梯语音控制信号特点和隐私保护需求，完成语音控制电梯模型训练、语音唤醒、识别、控制功能的电梯语音检测方法。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种能够实现兼顾各类用户电梯语音控制信号特点和隐私保护需求，完成语音控制电梯模型训练、语音唤醒、识别、控制功能的电梯语音检测方法的基于联邦语音的电梯语音检测方法。

2、为了实现上述目的，本发明提供了一种联邦语音智能电梯控制方法，具有采用以下技术方案予以实现：

3、一种联邦语音智能电梯控制方法，包括以下步骤：

4、步骤一、构建训练数据集：利用各电梯的语音信号数据采集设备中的语音识别模块和语音唤醒模块采集语音信号数据特征和用户个性化特征，并构建用户识别记录表；

5、提取用户识别记录表中的语音信号数据特征和用户个性化特征，形成本地训练数据集；

6、步骤二、构建语音模型：基于用户识别记录表，提取模型训练所需的语音信号数据特征，和前后语音唤醒模块的c帧和语音识别模块的c帧，共计2c+1帧作为模型输入；模型输出为“开门、关门、去一楼、二楼、三楼、四楼、n楼、负一楼、负m楼”等关键词对应的独热码编码向量；

7、步骤三、联邦语音模型训练：利用本地数据进行本地语音识别模型的模型训练，且模型训练过程中，各电梯本地模型的输入为语音信号数据特征和用户个性化特征；

8、本地模型训练完成后模型参数发送至全局模型，全局模型对各电梯的模型参数进行汇总，最后将聚合参数下发至各本地模型，重复上述步骤，直至模型收敛；

9、训练好的全局模型下发至各电梯语音识别模块和语音唤醒模块，各电梯的本地语音唤醒模型最终模型参数为基于本地训练数据和全局模型下发的参数共同形成，用于本地的电梯语音唤醒；全局语音识别模型由各地语音识别模型参数共享训练聚合形成，用于各电梯的语音识别。

10、进一步的，所述步骤一中语音唤醒模块在用户体温达到33℃～39℃后，采集语音信号流，每隔500ms-800ms截取一段时长为2s-3s的语音，并存储于用户识别记录表；语音识别模块，在用户进入轿厢后，采集每隔800ms-1100ms截取一段时长为2s-4s的用户语音信号流，并存储于用户识别记录表。

11、进一步的，所述语音唤醒模块具备led显示屏和红外测温装置，部署于电梯轿厢外侧入梯口，平时处于待机状态，只有当用户体温处于为33℃～39℃之间，且对其喊出指定词语之后才会进入工作状态，并对用户的话语进行监听、识别与回应。

12、进一步的，所述语音识别模块部署于电梯轿厢内侧，用户通过语音唤醒功能进入电梯轿厢后，轿厢内部语音识别模块开启，根据用户语言习惯、方言、口音、性别等不同语音信号特点，完成语音识别，识别出用户要进入的楼层，支持多楼层识别功能，完成电梯按键的自动触发和关门操作。

13、进一步的，所述步骤二中，本地语音唤醒模型和全局语音识别模型的骨干网络均为10个隐藏层的循环神经网络(rnn)，激活函数采用mish激活函数。

14、进一步的，所述步骤三中，语音模型的训练涉及用于为模型参数添加ε-本地差分隐私噪声的隐私保护机制设置，具体步骤如下：

15、(1)在语音识别模型的骨干网络rnn中，随机选择一层i(1<＝i<＝10)，选取k各参数构建参数集合s；

16、(2)对于s中每个参数wi执行如下操作：

17、令f为[0,1]区间随机数，

18、当f大于ε/k时，该参数为wi*c，

19、否则，该参数为-wi*c；

20、(3)输出隐私保护的模型参数。

21、进一步的，所述步骤三中，语音模型的训练涉及用于平衡语音识别性能的准确率、添加本地差分隐私噪声带来噪声影响的损失函数设置，具体包括如下部分：

22、包括如下部分：

23、(1)表征识别准确率的交叉熵损失，xi，yi为训练数据和标签，

24、

25、(2)具备差分隐私容忍度的噪声扩散损失，∈t服从正态分布，αt为基于ε-差分隐私的累积噪声；

26、

27、∈t～n(0，1)

28、

29、其中联邦学习训练过程中，整体的损失函数为l＝loss1+loss2。

30、本发明与现有技术相比，具有如下技术效果：

31、本发明设计了基于电梯语音信号数据采集设备的语音唤醒和语音识别本地训练数据集，形成了具备噪声特征、方言特征、语气特征、能量、音高等声学和用户人数特征、体温数据等个性化特征的训练数据。在数据编码过程中，输入数据为39维mfcc音频特征，和前后语音唤醒部分的c帧和语音识别部分的c帧，共计2c+1帧，具有更加丰富的语音信号特征表达能力。

32、本发明联邦语音智能电梯控制方法的语音识别模型中，骨干网络为10个隐藏层的循环神经网络(rnn)，利用mish激活函数提升语音识别精度，模型输出的编码维语音关键词的独热码编码向量，具有简易、轻量化特征。

33、且本发明中联邦语音模型训练过程中，通过设置随机化参数，实现满足ε-本地差分隐私的噪声添加，保护模型训练过程中的训练数据隐私和防止模型参数泄露；提出表征识别准确率的交叉熵损失和具备差分隐私容忍度的噪声扩散损失，平衡语音识别性能的准确率，以及添加本地差分隐私噪声带来的噪声影响。

34、本发明统一的语音唤醒、语音识别、语音控制电梯的功能，解决用户手动控制电梯按键带来的公共卫生安全、操作不方便等问题。语音唤醒模块具备led显示屏和红外测温装置，部署于电梯轿厢外侧入梯口，平时处于待机状态，只有当用户体温正常(容忍阈值设置为33℃～39℃之间，可动态设置)，且对其喊出指定词语之后才会进入工作状态，并对用户的话语进行监听、识别与回应。否则，一直处于工作状态，解决传统语音唤醒功能单一，识别准确率低的问题；在电梯轿厢内侧，部署语音识别模块，该模块与电梯轿厢外侧唤醒模块具有共享的用户识别记录表，用户通过语音唤醒功能进入电梯轿厢后，轿厢内部语音识别模块开启，可根据用户语言习惯、方言、口音、性别等不同语音信号特点，完成语音识别，识别出用户要进入的楼层，支持多楼层识别功能，完成电梯按键的自动触发和关门操作，到达指定楼层后，自动开门和语音播报，并记录不同用户的语音声纹特点，形成个性化用户标签，解决传统语音识别、控制功能个性化不足，功能不完善的问题。

35、由于本发明基于语音识别的智能电梯采集大量用户个性化声音数据，尤其在语音唤醒、识别、控制模型的训练过程中涉及用户语音数据的隐私保护问题，因此，在实现统一的语音唤醒、识别、控制的同时，采用基于本地差分隐私的联邦学习机制，对多个电梯在语音唤醒、语音识别等多个过程中采集的语音信号数据进行隐私保护处理。在进行模型训练时，通过本地差分隐私噪声，对用户语音信号进行隐私保护，同时完成不同电梯的本地语音模型和全局共享模型的训练，并将各电梯训练好的本地语音识别模型作为电梯轿厢外侧的语音唤醒模型，将全局共享模型部署为电梯轿厢内侧的语音识别模型，完成统一的支持隐私保护的语音唤醒、识别、控制。