一种基于多源光谱融合的水质COD检测方法及检测设备

本发明涉及水质检测，涉及一种水质cod检测方法，特别涉及一种基于多源光谱融合的水质cod检测方法及检测设备。

背景技术：

1、水与人的生命活动息息相关，而随着经济和城市化的快速发展，水质问题日益突出，亟待解决。在水质检测的各项指标中，cod可以用于评价水体中有机物的污染程度。chemical oxygen demand，简称cod，中文为化学需氧量，是在一定条件下，采用一定的强氧化剂处理水样时，所消耗的氧化剂量。通常纸浆和造纸、糖、纺织、食品加工、制革厂、石化和酿酒厂等工厂的废水具有高化学需氧量(chemical oxygen demand，cod)，会造成更大的污染。故要实现精准的水环境治理，要求对水体指标进行精准检测，但传统化学分析法检测cod存在检验周期长，检验试剂二次污染的问题，因此光谱法作为一种高效无污染的检测方法逐渐受到学者的关注。

2、不少研究者采用单一光谱对水质参数进行预测和分析，但单一光谱法在水质分析中仍存在多个缺陷，例如紫外吸收光谱法对低浓度水样的敏感度较低；近红外光谱法容易受到外界干扰，并且信噪比较低；荧光光谱法存在猝灭和自吸收等不稳定因素。

3、因此，有研究人员使用多光谱数据对水质参数进行预测。其中紫外-可见吸收光谱反映水体中有机物或部分无机物对紫外-可见吸收光(uv-vis)波段的吸收特性，而三维荧光光谱反映水体中有机质的荧光效应，二者展示了水体不同物理特征，不能相互替代，融合三维荧光光谱和紫外-可见吸收光谱有利于cod溶度预测。周昆鹏等人使用蚁群算法和粒子群算法将三维荧光和紫外光谱光谱融合先后进行特征选择，建立mldf-pso-lssvm模型预测cod浓度。陈颖等人在此基础上引入gans模型，提取紫外光谱和近红外光谱特征，建立cod预测模型。jinjing lan等人使用parafac方法对uv-vis和3d-eem光谱进行了分析，并对中国长三角地区农村生活污水的溶解性有机质(dissolved organic matter，dom)进行跟踪和预测，提出uv＝254nm与ex/em＝250/330nm处的荧光激发发射相结合可能比单独使用uv＝254nm更适合预测农村水中的化学需氧量(chemical oxygen demand,cod)。这些研究使用的特征提取方法对水质的反演具有一定的效果，但都只局限于在紫外-可见吸收光谱的200到300nm与低分辨率的三维荧光上搜索，没有充分利用光谱数据中的有效信息。

4、综上所述，现有技术中单一光谱对水质参数的检测和分析存在多个缺陷，而多光谱数据对水质参数检测方法中存在局限性，限于在紫外-可见吸收光谱的200到300nm与低分辨率的三维荧光上搜索，没有充分利用光谱数据中的有效信息。

技术实现思路

1、为克服现有技术中水质cod检测方法中存在的缺陷和局限问题，充分利用光谱数据对cod进行检测和分析，本发明提出一种基于多源光谱融合的水质cod检测方法，其具体技术方案如下：

2、一种基于多源光谱融合的水质cod检测方法，包括以下步骤：s1,建立三维荧光和紫外-可见吸收光的光谱融合的卷积网络，并输入多个样本的光谱特征进行训练；所述样本中包含紫外-可见吸收光光谱和三维荧光光谱；s2,计算卷积网络对于各输入光谱特征的注意程度；s3,并将所述注意程度大于等于预设阈值的特征置值为0，然后将所有光谱特征重新输入所述卷积网络进行训练，直到判定无有效光谱信息；s4，获取三维荧光光谱注意程度矩阵和紫外-可见吸收光光谱注意程度向量，筛选注意程度为1的特征，获得光谱特征组合并建立pls模型预测cod浓度。

3、进一步地，在s1中，所述卷积网络中包含三维荧光和紫外-可见吸收光的堆叠卷积模块；所述卷积网络从所述堆叠卷积模块中提取光谱特征，然后通过两个全连接层，分别对三维荧光和紫外-可见吸收光的光谱的特征信息，进行整合，最后通过一个2*1的全连接输出预测的cod结果。

4、进一步地，所述卷积网络包括3d-eem模块和uv-vis模块；所述3d-eem模块由cbg模块堆叠和一个自适应最大池化层组成；所述cbg模块是由一个一维卷积模块、批归一化模块和gelu集合函数组成；uv-vis模块由cbgm模块、cbg模块堆叠和一个自适应最大池化层组成。

5、进一步地，在s2中，所述光谱的注意程度表示深度学习模型对输入的不同特征重要程度的度量，特征的注意程度越高表示模型认为该特征对于预测cod浓度越重要。

6、进一步地，所述光谱特征的注意程度计算如下：

7、第k个样本s'特征集合的样本注意程度as'(k)为

8、

9、其中，x(k)表示第k个光谱样本，k＝1,2,3，…，m；

10、xs(k)表示第k个光谱样本,第s种遮蔽后的特征；

11、用于计算深度学习网络高级语义输出，在x(k)变为xs(k)时输出值的差异，其值为两者输出差的绝对值在同一样本下对高级特征加和；

12、总体注意程度as'的计算为

13、

14、其中as'(k)的取值大于等于0且小于等于1。

15、进一步地，紫外-可见吸收光光谱的注意程度计算为：首先计算单个样本在位置i的样本注意程度；然后将位置i-2,i-1,i,i+1,i+2上的值赋值为0，计算uv-vis卷积模块最大池化层的前一层特征输出，并计算与原始输出的差别，使用最大值归一化，结果统一到0到1之间；最后在统计平均视角上计算紫外-可见吸收光谱的总体注意程度。

16、进一步地，三维荧光光谱的注意程度计算为：首先对于单个输入的三维荧光光谱在行方向与列方向分别定义卷积网络对于该行和该列的注意程度；然后对于单个三维荧光光谱样本，在第i个为位置的激发波长和第j个位置的发射波长注意程度，为其所在行和列的位置注意程度影响的乘积；然后获得单个样本视角下i行j列的注意程度；最后对所有样本的注意程度的平均值进行计算，并对应使用最大值归一化，得到三维荧光光谱的总体注意程度。

17、进一步地，在s3中，有效光谱信息的判定为：当模型训练的最终误差小于期望误差时，则判定存在有效光谱信息；当模型训练的最终误差大于等于期望误差时，则判定无有效光谱信息。

18、进一步地，在s4中，筛选流程为：首先建立提取三维荧光注意程度序列和紫外-可见吸收光注意程度序列中取值为1的特征集合；在训练集划分为一个新的训练集和新的测试集；在新的训练集和新的测试集装载模型和计算验证集损失，每次装载和计算都尝试移除可能冗余的一个特征点，然后判断该操作是否对模型的验证集损失有所降低或保持不变；重复此操作，直到所有特征都已经尝试移除一次后结束。

19、一种基于多源光谱融合的水质cod检测设备，包括光谱仪、安装了采集控制软件的pc组、样品池，用于实施上述的基于多源光谱融合的水质cod检测方法。

20、本发明的有益效果是：本发明提出了一种基于多源光谱融合的水质cod检测方法。本发明定义了模型紫外-可见吸收光谱与3d荧光光谱的注意程度的计算，对深度学习方法检测cod浓度的不同特征注意程度进行了事后解释；本发明通过不断移除训练完成网络中注意程度较高的特征和使用移除后的特征重新训练网络,来发掘可能被忽视的有效特征,最后通过pls模型进一步筛选关键组合特征并实现cod浓度的预测。

21、本发明所采用的建模方法具有较好的可行性,利用深度学习方法可以从大量冗余特征提取有效特征优势的同时，避免了由于光谱数据和水质标签缺乏使深度学习模型泛化能力差的问题，可以更准确地检测水质cod，为在线水质检测提供了预测cod浓度的一种新手段。