一种煤矿生产中文本触发分级预警方法与流程

本发明属于煤矿安全，具体涉及一种煤矿生产中文本触发分级预警方法。

背景技术：

1、煤矿“电子封条”是一种智能化监测和控制系统，煤矿“电子封条”可以通过在煤矿关键地点安装摄像机、图像分析终端等设备，煤矿“电子封条”系统的应用，打造了智能化安全监管新模式，煤矿“电子封条”利用智能化视频识别等技术，实时监测分析矿井出入井人员、人数变化及煤矿生产作业状态等情况，煤矿“电子封条”实现全天候远程监测。

2、煤矿“电子封条”所处理的目标对象为采集的视频，为此需要在井下各处专门安装摄像头，存在投入比较多、摄像头视野有限、视频中有效信息少、每种类型的视频需要单独的训练、识别精度不高等问题。为此我们提出一种煤矿生产中文本触发分级预警方法。

技术实现思路

1、本发明的目的在于提供一种煤矿生产中文本触发分级预警方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种煤矿生产中文本触发分级预警方法，包括以下步骤：

3、s1.通过语音采集模块采集煤矿生产过程中人员的交流语音作为数据源；

4、s2.设计深度学习神经网络算法模型，所述深度学习神经网络算法模型包括煤矿行业智能化说话人分割及识别模型、智能化自动语音识别模型和煤矿行业智能化文本纠错模型和智能化文本分类模型；

5、s3.通过所述煤矿行业智能化说话人分割及识别模型识别不同说话人并将语音按说话人切片；

6、s4.根据录制的人员声纹检索语音中的说话人，用所述智能化自动语音识别模型识别文字；

7、s5.用所述煤矿行业智能化文本纠错模型调优识别文本的结果提供准确度；

8、s6.用所述智能化文本分类模型实现文本内容按煤矿生产问题所属专业进行分类；

9、s7.基于煤矿生产安全风险隐患进行类别分析，确定风险隐患种类；

10、s8.检索隐患报警规则知识库，根据检索结果触发安全报警。

11、优选的，所述s1中的语音采集模块包括：

12、语音采集单元，用于煤矿生产过程中人员的交流语音信息并转化为音频信号；

13、滤波器单元，用于消除所述音频信号中的无效语音信号，得到有效语音信号；

14、模数转换单元，用于将所述有效语音信号转换为有效语音数字信号；

15、语音分割单元，用于将所述有效语音数字信号通过时间区间分割为多段语音信息；

16、语音提取单元，用于提取所述多段语音信息的语音特征，并将所述语音特征相同的语音信息进行分类；

17、数模转换单元，用于将分类后的所述语音信息转换为模拟信号完成语音数据的采集，并生成数据源。

18、优选的，所述s2中的深度学习神经网络算法模型具体还包括煤矿行业智能化情绪识别模型、煤矿行业智能化命名实体识别模型、训练数据的迭代优化算法流程。

19、优选的，所述s3中煤矿行业智能化说话人分割及识别模型用于将语音数据按说话人切割成语音段，识别不同说话人，所述识别不同说话人的具体步骤包括：对切割的语音段打上对应的说话人标签，对于t时刻的解码输出需要t时刻之前的输入信息作为先验来判断是否属于哪一个说话人，如果与之前某个片段相似则赋予相同说话人标签，如果与之前所有的片段都不相似，则新赋予一个说话人标签，代表新的说话人出现，完成不同说话人的识别。

20、优选的，所述s3之前还包括对所述煤矿行业智能化说话人分割及识别模型进行优化，具体包括以下步骤：

21、s301.获取第一语音数据和第二语音数据，所述第一语音数据与第一说话人对应，所述第二语音数据与第二说话人对应；

22、s302.基于所述第一语音数据，获得目标对比误差函数的第一误差函数项；其中，所述第一误差函数项为最小化的对象；

23、s303.基于所述第一语音数据和所述第二语音数据，获得所述目标对比误差函数的第二误差函数项；其中，所述第二误差函数项为最大化的对象；

24、s304.基于所述第一误差函数项和所述第二误差函数项，获得所述目标对比误差函数；

25、s305.基于所述目标对比误差函数，对原说话人分割模型的模型参数进行更新，获得优化后的煤矿行业智能化说话人分割及识别模型。

26、优选的，所述s4中用所述智能化自动语音识别模型识别文字的具体步骤包括：

27、s401.将预设语音文本库存入服务器内，预设语音文本库包括预设方言语音文本库和预设外语语音文本库，同时将预设特征词和敏感词文本库存入服务器内；

28、s402.获取语音数据源，将语音数据源识别出的音频数据转化为第一文字信息，并对第一文字信息进行纠错处理，生成目标文字信息；

29、s403.对所述目标文字信息进行特征词识别，判断目标文字信息中是否含有特征词，然后生成转化文字信息，完成从语音数据源中识别文字信息。

30、优选的，所述s5中用所述煤矿行业智能化文本纠错模型调优识别文本的结果提供准确度，具体包括以下步骤：

31、s501.对所述第一文字信息进行同音字纠错得到第二文字信息，基于当时的场景信息对所述第二文字信息进行同音字纠错生成第一初始目标文字信息；

32、s502.对所述第二文字信息进行同音字纠错得到第三文字信息，基于当时的场景信息对所述第三文字信息进行同音字纠错生成第二初始目标文字信息；

33、s503.检测所述第一初始目标文字信息和所述第二初始目标文字信息是否相同；若所述第一初始目标文字信息和所述第二初始目标文字信息相同，将所述第二初始目标文字信息相同确定生层目标文字信息；若所述第一初始目标文字信息和所述第二初始目标文字信息不相同，对所述第二初始目标文字进行同音字纠错生成第三初始目标文字，将所述第三初始目标文字信息确定生成目标文字信息。

34、优选的，所述煤矿行业智能化文本纠错模型调优识别文本的结果的过程中还包括采用煤矿行业智能化连接时序分类器ctc解决序列不等长的问题，去除重复识别到的文字。

35、优选的，所述s4中智能化自动语音识别模型采用conformer架构，使用cnn和transformer算法模型来提取音频信号中的特征，进行端到端的语音识别，使用多头注意力机制来考虑上下文信息。

36、优选的，所述智能化自动语音识别模型中的transformer算法模型利用双向上下文信息对自然语言进行建模，将文本转换为语言表征，将roberta 作为预训练模型，使用transformer作为适配器完成自然语言的处理。

37、与现有技术相比，本发明的有益效果是：

38、（1）本发明通过处理记录煤矿生产的文本，根据文本的分析进行风险预警，使得硬件投入少、内容涉及的专业门类多、有效信息多、所需训练有限、识别精度高，使文本中的风险隐患自动触发管技人员的响应，提高煤矿生产安全保障自动化水平。

39、（2）本发明从语音转换成文本、再基于文本的分析实现预警的流程，能够方便煤矿生产中人员语音内容的查询、利用，避免后续管理人员不掌握前序情况而出现管理漏洞，避免调度员记录之后再汇报，人工操作环节延误问题处理时间，能够根据包含的风险隐患自动汇报给有关领导，及时发现问题隐患。

40、（3）本发明通过人员声纹检索，辅助进行交流内容涉及的部门、专业的判断，通过风险隐患知识库的设计，实现文本内容的风险隐患类别分析。