一种基于MSC-U-Net算法的拉曼光谱降噪方法与流程

本发明涉及拉曼光谱降噪领域，尤其涉及一种基于msc-u-net算法的拉曼光谱降噪方法。

背景技术：

1、由于仪器、环境、宇宙射线等因素的干扰，测量得到的拉曼光谱都存在一定的噪声，会对拉曼光谱后续的定量或定性分析等产生干扰，因此对光谱进行降噪处理是必要的。

2、1.传统降噪方法

3、常用的基于统计学的光谱降噪方法有s-g滤波、wt平滑、滑动平均法等，在专利cn117574063a中，通过使用离散傅里叶变换得到光谱的频谱数据，并从其中提取有效信号，去除噪声信号，然后再将有效信号利用傅里叶变换复原得到降噪后的光。在专利cn111289106中，通过设计光谱信号s的频率-幅度响应函数pf，将pf变换得到相应滤波卷积传递函数h，并计算光谱与h的卷积y，截取与光谱s等长的数据，得到降噪后光谱数据。在专利cn110208211a中，利用eemd方法对港普进行信号分解，等到若干imf分量，依据imf分量自适应获得与之，选取出含噪声的imf分量，对选取的噪声分量平滑处理，在将处理后的信号重构获得降噪光谱。

4、2.机器学习

5、在专利cn111678599a中，通过建立adam算法神经网络拓扑模型，选取s-g滤波的最佳参数组合，根据最佳参数再使用s-g滤波算法对光谱进行自适应降噪。在专利cn110135320a中，公开了一种基于bp神经网络与方差补偿的光谱降噪方法以及装置，使用bp神经网络算法获取最有滤波参数组合对光谱进行降噪。

6、在测量拉曼光谱过程中，由于环境、仪器、宇宙射线等影响，光谱中存在的噪声有周期性噪声也有随机分布噪声，而传统频谱法只对于周期性噪声信号有很好的降噪效果，对于随机噪声的去除表现一般；而基于多项式拟合的降噪方法对于参数的选取很敏感，参数的选择对结果有很大影响，并且在降噪的同时也会损失部分有效信号；一些网络光谱降噪模型使用人工合成数据训练，在实际应用中有很大的区别。

7、因此，有必要提供一种基于u-net神经网络算法的拉曼光谱降噪方法，能有效去除拉曼光谱中的噪声信号，包括传统方法难以去除的奇异峰，以提高拉曼光谱信噪比，为后续光谱定量或定性分析奠定基础。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于msc-u-net算法的拉曼光谱降噪方法，能有效去除拉曼光谱中的噪声信号，以提高拉曼光谱信噪比。

2、为解决上述技术问题，本发明提供了一种基于msc-u-net算法的拉曼光谱降噪方法，包括如下步骤：s1：在同一测量条件、环境下，测量多种物质不同浓度的拉曼光谱，每种物质的每个浓度分别测量多条光谱，得到含有噪声的原始光谱数据集；s2：对采集的所有光谱进行归一化预处理，将数据集划分为训练集、验证集和测试集，构建降噪模型所需数据集；s3：将采集的原始光谱按照同一物质同一浓度的多条光谱分别做平均处理，得到不含噪声的理想光谱；s4：构建msc-u-net模型，将训练集输入模型进行参数学习，根据损失函数迭代优化，得到光谱降噪模型。

3、进一步地，所述步骤s4包括如下步骤：s41：msc处理：按照同一物质同一浓度，将训练集、验证集光谱进行msc处理；s42：下采样：卷积层、池化层、bn层交替形成，其中卷积层卷积核大小为1×3，使用padd ing处理，bn层对输出数据进行标准化，池化层均采用1×2最大池化，激活函数采用relu函数；s43：上采样：由卷积层和反卷积层组成，上采样采用1×2大小卷积核进行反卷积操作，并与对应下采样特征图连接；卷积层同样使用1×3卷积核进行卷积操作，使用padd ing处理，bn层对输出数据进行标准化，激活函数采用relu函数；s44：输出层由两层卷积层组成，卷积核大小均为1×1，激活函数为relu函数。

4、进一步地，所述步骤s4中的relu函数如下：

5、f(x)＝max(0,x)。

6、进一步地，所述步骤s4中的损失函数计算公式如下：

7、。

8、

9、进一步地，所述步骤s1中测量至少6种不同物质至少5种不同浓度的拉曼光谱，每种物质的每个浓度分别测量至少7条光谱。

10、进一步地，所述步骤s2中，训练集、验证集和测试集的比例为8：1：1或6：2：2。

11、进一步地，所述步骤s4采用的优化策略为adam算法，参数初始学习率为1×10-2-1×10-3，迭代更新次数根据验证集损失函数值确定，当验证集损失函数值不再下降时结束迭代。

12、进一步地，还包括步骤s5：将未参与训练的测试集数据使用训练好的网络模型进行降噪处理，计算与理想光谱的mse以验证模型的降噪能力,mse小于10-5表明数据降噪效果较为理想，若降噪效果较差，则返回步骤s1增加数据集继续优化模型。

13、本发明对比现有技术有如下的优势效果：本发明提供的基于msc-u-net算法的拉曼光谱降噪方法，通过对采集的所有光谱进行归一化预处理并划分为训练集、验证集和测试集，然后将采集的原始光谱按照同一物质同一浓度的多条光谱分别做平均处理，得到不含噪声的理想光谱；最后构建msc-u-net模型，将训练集输入模型进行参数学习，根据损失函数迭代优化，得到光谱降噪模型。能有效去除拉曼光谱中的噪声信号，包括去除传统方法难以去除的奇异峰，同时又不损失有效信号，提高了拉曼光谱信噪比，为后续光谱定量或定性分析奠定基础。

技术特征：

1.一种基于msc-u-net算法的拉曼光谱降噪方法，其特征在于，包括如下步骤：

2.如权利要求1所述的拉曼光谱降噪方法，其特征在于，所述步骤s4包括如下步骤：

3.如权利要求2所述的拉曼光谱降噪方法，其特征在于，所述步骤s4中的relu函数如下：

4.如权利要求1所述的拉曼光谱降噪方法，其特征在于，所述步骤s4中的损失函数计算公式如下：

5.如权利要求1所述的拉曼光谱降噪方法，其特征在于，所述步骤s1中测量至少6种不同物质至少5种不同浓度的拉曼光谱，每种物质的每个浓度分别测量至少7条光谱。

6.如权利要求1所述的拉曼光谱降噪方法，其特征在于，所述步骤s2中，训练集、验证集和测试集的比例为8：1：1或6：2：2。

7.如权利要求6所述的拉曼光谱降噪方法，其特征在于，所述步骤s4采用的优化策略为adam算法，参数初始学习率为1×10-2-1×10-3，迭代更新次数根据验证集损失函数值确定，当验证集损失函数值不再下降时结束迭代。

8.如权利要求7所述的拉曼光谱降噪方法，其特征在于，还包括步骤s5：将未参与训练的测试集数据使用训练好的网络模型进行降噪处理，计算与理想光谱的mse以验证模型的降噪能力,若mse大于等于10-5，则返回步骤s1增加数据集继续优化模型，直到mse小于10-5。

技术总结
本发明公开了一种基于MSC‑U‑Net算法的拉曼光谱降噪方法，包括如下步骤：S1：在同一测量条件、环境下，测量多种物质不同浓度的拉曼光谱，每种物质的每个浓度分别测量多条光谱，得到含有噪声的原始光谱数据集；S2：对采集的所有光谱进行归一化预处理，将数据集划分为训练集、验证集和测试集，构建降噪模型所需数据集；S3：将采集的原始光谱按照同一物质同一浓度的多条光谱分别做平均处理，得到不含噪声的理想光谱；S4：构建MSC‑U‑Net模型，将训练集输入模型进行参数学习，根据损失函数迭代优化，得到光谱降噪模型。能有效去除拉曼光谱中的噪声信号，包括奇异峰，同时又不损失有效信号，提高了拉曼光谱信噪比，为后续光谱定量或定性分析奠定基础。

技术研发人员：于永爱,李子璇,邓赵斌
受保护的技术使用者：上海如海光电科技有限公司
技术研发日：
技术公布日：2024/12/30