一种基于transformer的电子鼻检测有害气体方法及系统与流程

本发明涉及深度学习、数据采集、数据处理、电子鼻检测领域，尤其涉及一种基于transformer的电子鼻检测有害气体方法及系统。

背景技术：

1、近些年来，深度学习在图形图像，自然语言处理上发挥了巨大的作用，体现了其强大的信息处理能力。在气体检测领域上，传统的方法有k最近邻分类算法、线性判别分析、支持向量机、偏最小二乘回归、多元线性回归、集成学习方法等。传统的方法在处理简单问题上具有有一定的优势，但是其泛化机制不适合处理高维空间中的复杂函数，气体数据一般维度较高，虽然可以利用降维方法降低数据维度，但是这对于传统的方法来说还是难以处理，在复杂的气体环境下，传统方法的劣势就会暴露的更加明显。

2、面对上述问题，本发明提出了一种基于transformer的电子鼻检测有害气体方法及系统，该方法优势在于对于高维数据，可以通过网络模型的自注意机制，分析计算不同输入间的相关性，更好的对数据进行分析处理，并且处理过程是并行的，缩减了处理的时间。提升了电子鼻对于复杂混合气体当中有害气体的分析能力。

技术实现思路

1、本发明的目的是提供一种基于transformer的电子鼻检测有害气体方法及系统。相较原模型，去掉了原有的位置编码，训练时，在decoder模块上，将数据标签和encoder模块输出的学习特征作为输入，计算学习特征和数据标签的相似度，优化学习特征。通过网络模型的自注意机制和并行计算能力，分析计算不同输入间的相关性，更好的对数据进行分析处理与特征提取，减少计算处理的时间，提升电子鼻对于复杂混合气体当中有害气体的分析能力。

2、为了实现上述目的，本发明采用的技术方案为：

3、本发明的一种基于transformer的电子鼻检测有害气体方法及系统，包括以下步骤：

4、1.使用电子鼻对已知样本标签的气体进行数据采集，获得相应的响应曲线，构建样本数据集。

5、2.对于获得的响应曲线，进行模拟信号到数字信号的转变。步骤为：信号的采样、信号的保持、信号的量化、信号的编码。

6、3.将上述所获得的数字信号进行快速傅里叶变换算法对数据进行低通滤波处理。

7、4.对数据进行标准化处理，具体公式如下：

8、

9、其中，xmean是数据的平均值，xmax是数据最大值，xmin是数据最小值。

10、5.将处理好的数据按照6：2：2的比例划分为训练集、验证集和测试集。

11、6.模型由encoder模块及decoder模块构成。模型的encoder模块包括9个相同的block。每个block内包括：多头注意力机制模块及全连接层。多头注意力机制模块为多个注意力机制模块组合而成。

12、7.进一步的，所述注意力机制模块的构建方法。

13、7.1先初始化权重矩阵wv、wq、wk，对于输入参数ai，(i＝1，2，3，...，n)计算每个参数对应的vi，qi，ki，计算公式为

14、vi＝wv.ai

15、qi＝wq·ai

16、ki＝wk·ai

17、构建矩阵q＝[q1，q2，q3，...，qn]，k＝[k1，k2，k3，...，kn]

18、7.2使用上述构建的矩阵q，k，计算矩阵a，计算公式为

19、

20、其中，d为向量的长度。

21、7.3使用softmax函数对上述矩阵a进行归一化处理，得到新矩阵a’

22、7.4构建矩阵v＝[v1，v2，v3，...，vn]

23、7.5使用上述构建的矩阵v，a’，计算矩阵0，计算公式为

24、o＝v·a′

25、7.6使用矩阵o中每个列向量与对应输入ai相加，构成残差结构。结果为矩阵o’

26、7.7将矩阵o’进行层标准化处理，得到新矩阵s＝[a′1，a′2，a′3，...，a′n]，公式为

27、

28、

29、

30、其中μ为输入向量的均值，h表示隐藏单元数量，δ表示标准差。

31、8.进一步的，将所述注意力机制模块构建多个，并组合在一起构成多头注意力机制模块。

32、9.进一步的，将所述层标准化处理得到的新矩阵s输入到全连接层中，得到输出矩阵s′。

33、10.将矩阵s与矩阵s′相加，形成残差结构，得到新矩阵t。

34、11.将矩阵t进行层归一化处理，得到新矩阵t′。

35、12.上述为一个block的构建，模型的encoder模块包括9个相同的block。

36、13.模型的decoder模块包括9个相同的block、一个线性层、softmax层。每个block内包括：隐藏多头注意力机制模块，多头注意力机制模块，全连接层。隐藏多头注意力机制模块为多个隐藏注意力机制模块组合而成。

37、14.进一步的，所述隐藏注意力机制模块的构建方法。

38、14.1执行步骤7.1，7.2，得到矩阵a。

39、14.2构建与矩阵a相同大小的矩阵m，其特点为主对角线及以下的值都设为0，主对角线以上的值设为负无穷。

40、14.3将矩阵a与矩阵m相加得到矩阵t，公式为

41、t＝a+m

42、14.4使用softmax函数对矩阵t进行归一化处理，得到新矩阵a’

43、14.5执行步骤7.4，7.5，7.6，7.7，得到新矩阵s。

44、15.进一步的，将所述隐藏注意力机制模块构建多个，并组合在一起构成多头隐藏注意力机制模块。

45、16.进一步的，构建一个多头注意力机制模块。

46、17.将隐藏注意力机制模块得到的输出结果和encoder模块得到的输出结果作为输入，输入到多头注意力机制模块中。

47、18.将多头注意力机制模块得到的输出结果输入到全连接层中。

48、19.进一步的，将多头注意力机制模块得到的输出结果与全连接层得到的结果相加，形成残差结构，得到新矩阵f。

49、20.将矩阵t进行层归一化处理，得到新矩阵f′。

50、21.上述为一个block的构建，模型的decoder模块包括9个相同的block。

51、22.进一步的，在多个block之后构建线性层。

52、23.进一步的，在线性层之后构建softmax层，最后通过softmax层输出得到有害气体的检测结果。

53、整个分类系统包括：数据分类模块、云端数据存储模块、云服务器模块。

54、数据分类模块包括数据预处理模块和训练好的分类模型。云端数据存储模块存储来自实际场景电子鼻采集的数据。数据处理模块将数据进行预处理，处理的内容包括：对于获得的响应曲线，进行模拟信号到数字信号的转变；数字信号进行快速傅里叶变换算法对数据进行低通滤波处理；对数据进行标准化处理。云服务器模块提供服务连接，其接收数据分类模块的结果，个人用户、企业、工厂可以通过远程登录或者下载app，查看当前是否存在有害气体。

55、相对于现有技术，本发明的有益效果在于：

56、本发明提出一种基于transformer的电子鼻检测有害气体方法及系统。在方法上，结合了自注意机制的优势和强大的并行计算能力，分析计算不同输入间的相关性，更好的对数据进行分析处理与特征提取，去掉了原有的位置编码，减少计算处理的时间。训练时，在decoder模块上，将数据标签和encoder模块输出的学习特征作为输入，计算学习特征和数据标签的相似度，优化学习特征。提升电子鼻对于复杂混合气体当中有害气体的分析能力。在系统上，实现了数据的存储，计算，以及对检测结果的实时查看。