本发明涉及检测分析性技术领域,具体涉及一种直接、同时、快速、精准测定粉末物质中化学组分和水分含量的方法,尤其涉及一种能使用单一技术的粉末物质中化学组分和水分含量的精准和快速同时测定的方法。
背景技术:
传统的物质化学组分检测分析技术,主要有x射线荧光谱(xrf)法、原子吸收光谱(aas)法、电感耦合等离子体发射光谱(icp-aes)法和电感耦合等离子体质谱(icp-ms)法。其中xrf可以实现快速检测分析,但是其灵敏度较低、基体效应明显;而aas、icp-aes和icp-ms虽然检测精度高、稳定性好,但均需要复杂样品预处理,检测分析过程耗时较长,难以进行原位、在线检测分析要求,无法满足大量工业应用需求。而激光诱导击穿光谱技术(laserinducedbreakdownspectroscopy),简称libs,作为一种无样品预处理要求、无接触、快速的新型检测分析技术弥补了以上方法的不足,能够满足原位、在线检测分析的技术需求。并且该技术能对各种形态的物质,固体(导体或非导体)、液体或气体进行直接的检测分析,对样品尺寸形状要求均不严格,样品消耗量极低,可以进行多化学组分的快速同时测定,适应范围广,同时便于进行自动运行和远程操控。
专利文献cn106596512a(申请号:201710010024.9)本发明公开了一种用于大宗及贵重货品进出口检测的联合光谱检测仪,仪器包括主控制器、用户交互显示屏、集成多路稳压电源、libs子系统、测距子系统、卡式望远镜、xrf子系统及blr子系统。本发明的有益效果是,提供了一种联合光谱检测仪器及方法,将libs与xrf联用,实现轻重元素的同时检测;将libs、xrf与blr联用,实现原子与高分子结构的同时检测,同时blr与libs复用光谱通道可节省硬件资源,libs覆盖近红外段的光谱分析可测量硫等非金属元素。
而在粉末物质中化学组分测定的方法目前主要有基于传统数据处理方法的libs技术和xrf技术,其原理上都能实现粉末物质中化学组分的在线检测。但它们都有以下两个瓶颈性问题:
1)粉末物质一旦受潮,便会对其化学组分含量的测定造成极大的干扰;
2)无法测定粉末物质的水分含量。
因此,需提供一种能同时的、使用单一技术的粉末物质中化学组分和水分含量的精准和快速测定的方法。
技术实现要素:
本发明的目的在于针对现有技术的不足,提供一种测定粉末物质中化学组分和水分含量的方法。
根据本发明提供的一种测定粉末物质中化学组分和水分含量的方法,包括以下步骤:
步骤a:建立预测模型;
步骤b:采用前述预测模型对待测粉末物质进行检测。
优选地,所述步骤a包括:
步骤a1:在给定的应用场景里,按优化的实验条件,无样品预处理的情况下直接采集粉末物质的libs光谱;对应的物质进行取样,并用离线的方法分别测定取样样品中的水分及待测定化学组分的含量,所采集libs光谱与离线测定的含量数据严格、明确对应,当多种化学组分需同时测定时,离线测定的化学组分含量包括所有这些化学组分;
步骤a2:将采集的libs光谱转换成二维光谱强度分布图,其中光谱强度分布图的第一维对应于libs光谱的像素或波长,变量的第二维则对应于libs光谱的频谱;
步骤a3:将步骤a2获得的二维光谱强度分布图进行归一化和标准化处理,通过数据挖掘和特征选取算法获得与a1离线测定的对应样品水分含量相关性最大的特征像素集1;
步骤a4:将步骤a3获得的特征像素集1以二阶矩阵形式输入机器学习的算法,建立模型,确定可调参数,训练得到水分含量预测模型;
步骤a5:将步骤a1获得的libs光谱进行背景去除、噪声降低、归一化和标准化处理;
步骤a6:将步骤a5处理后得到的光谱按其所对应的水分含量进行分类,每类以角标i表征,i为正整数,通过数据挖掘和特征选取算法获得每一类光谱集中与样品中待测化学组分含量相关性最大的特征像素集2i;
步骤a7:将步骤a6获得的特征像素集2i的交集作为对应于所有光谱的、与待测化学组分含量相关性最大的总特征光谱像素集3;
步骤a8:根据总特征光谱像素集3,在每一张取背景、归一化和标准化后的光谱里,确定对应的一维光谱矢量;
步骤a9:将光谱对应的水分含量作为一个新的维度加入光谱矢量,产生广义光谱矢量;
步骤a10:将广义光谱矢量输入机器学习的算法,建立模型,确定可调参数,训练得待测化学组分含量预测模型;
当多种化学组分需同时测定时,对每一种待测定的化学组分执行步骤a6至a10,训练得每一种待测化学组分含量预测模型。
优选地,所述步骤b包括:
步骤b1:按照与步骤a1相同的应用场景和实验条件,采集待测粉末物质的libs光谱,定义为未知光谱;记录未知光谱采集时间或具有唯一性的待测物质参数,用做将未知光谱与相应待测粉末物质一一对应的依据,并确定未知光谱采集的频繁度;
步骤b2:将未知光谱采用步骤a2的方法转换成未知二维光谱强度分布图,并采用与步骤a3相同的方法进行归一化和标准化处理;
步骤b3:根据步骤a3获得的特征像素集1在像素或波长和频谱的空间坐标确定未知二维光谱强度分布图的未知特征像素集4;
步骤b4:将未知特征像素集4以二阶矩阵形式输入步骤a4获得的水分含量预测模型中,获得对应待测粉末物质的水分含量预测值;
步骤b5:对步骤b1的未知光谱进行背景去除、噪声降低、归一化和标准化处理;
步骤b6:根据步骤a7的总特征光谱像素集3中特征像素的序号,确定步骤b5处理后的未知光谱对应的一维未知光谱矢量;
步骤b7:将步骤b4获得的水分含量预测值作为一个新的维度加入未知光谱矢量中,产生未知广义光谱矢量;
步骤b8:将未知广义光谱矢量输入步骤a10获得的待测化学组分含量预测模型中,获得待测粉末物质中的待测化学组分含量预测值;
当多种化学组分需同时测定时,对每一种待测定的化学组分执行步骤b6至b8,获得待测粉末物质中的每一种待测化学组分含量预测值。
优选地,所述具有唯一性的待测物质参数包括:物质的批次、特征;
所述频繁度使得一定数量的libs光谱与一定质量的待测物质相对应。
优选地,步骤a1中,所述优化的实验条件获得标准包括:
使用纳秒q-switch脉冲激光、激光脉冲能量在10至200mj范围、根据应用场景激光脉冲直接聚焦于运动或静止的粉末物质表面、检测过程中粉末物质表面尽量与激光聚焦透镜的距离保持稳定、光谱通过配备ccd或iccd相机的光谱仪系统采集以及环境温度的变化范围在-20℃至40℃。
优选地,步骤a2中,所述将采集的libs光谱转换成二维光谱强度分布图的过程中,采用傅里叶变化或小波变换,获得原始光谱的频率空间展开强度。
优选地,所述步骤a3和a6中,所述数据挖掘和特征选取算法:
与模型输出值的变化最为相关的输入特征变量的选择方法,其具体计算方法如下:
每一个二维光谱强度分布图或光谱中的像素点强度分别地与对应的水分含量或化学组分含量进行协方差计算,得c值,取出c值最高的d个像素点作为特征二维光谱强度分布图或光谱中的特征像素点;
d的取值可以选取10-1000之间任意合适整数。
优选地,步骤a4和a10中,所述预测模型训练的具体方法如下:
步骤a.:将步骤a1相关的样品分成两个样品集:建模样品集和验证样品集,将步骤a2获得的全部二维光谱强度分布图或步骤a9获得的全部广义光谱作为一个完整数据库,将其分为两个数据集:建模数据集和验证数据集,分别对应于建模样品集和验证样品集中样品所对应的所有光谱强度分布图或广义光谱;
步骤b:建模数据集动态分成训练数据集和测试数据集,使用训练集数据进行模型训练,得测试模型;将测试数据集数据输入测试模型,确定算法评估标准为:预测值与真实值的相对差的平方总和小于10-3;如果对测试数据集数据不能满足算法评估标准,则修改选定的可调参数,重新训练模型,训练数据集和测试数据集进行交叉验证,动态交换训练数据集和测试数据集,优化测试模型,直至对测试数据集数据能满足算法评估标准,得测试预测模型;
步骤c:将验证数据集数据输入测试预测模型,如果对验证数据集数据不满足步骤b所述的算法评估标准,则修改选定的可调参数,重新训练模型;
步骤d:当对测试数据集和验证数据集数据均能满足算法评估标准,则水分含量或化学组分含量预测模型建立完成。
优选地,所述步骤a5中,所述背景去除、噪声降低采用的方法具体为:寻找峰值位置,峰的波形还原,峰值去除,拟合背景;
所述步骤a6中,所述分类的类别数按离线水分测定的精确度和范围确定,并确保各类别中不同化学组分含量样品的数目在3个或以上;
所述的样品按水分分类的类别数为3个或以上。
优选地,当所述粉末物质为钾肥时,采用所述方法可测定的化学组分具体包括以下任一种或多种:氧化钾k2o、氯化钠nacl、钙ca、镁mg。
与现有技术相比,本发明具有如下的有益效果:
1、本发明通过采用libs光谱在频谱维度上的展开,将一维光谱数据展开为二维光谱强度分布图像,有效挖掘与粉末物质中水分含量相关的信息。实现了用libs光谱信息直接测定粉末物质水分含量的创新。
2、本发明通过使用广义光谱,将所确定的水分含量用于有效提高化学组分含量测定的精准度。实现了粉末物质水分含量和化学组分含量通过同一技术的同时精准测定。
3、本发明的模型建立后,水分和待测化学组分含量的预测值计算时间可以达到工业在线检测的要求,因此本发明为矿产、工业生产、环保等领域提供了实时的现场、在线检测、分析和控制的有效手段。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明中模型训练流程示意图;
图2为本发明中的水分含量预测模型训练流程示意图;
图3为本发明中的待测化学组分含量预测模型训练流程示意图;
图4为本发明中预测模型使用流程示意图;
图5为实施例1获得的模型性能组合示意图,图中黑色圆点代表训练数据集数据,叉代表测试数据集数据。其中水分含量预测模型性能指标参数为:定标曲线确定系数r2=0.94,rep(relativeerrorofprediction)=4.4%,rsd(relativestandarddeviation)=5.4%;其中化学组分(k2o)含量预测模型性能指标参数为:定标曲线确定系数r2=0.94,rep=0.08%,rsd=0.09%。
具体实施方式
下面结合一个具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
根据本发明提供的一种测定粉末物质中化学组分和水分含量的方法,包括以下步骤:
步骤a:建立预测模型;
步骤b:采用前述预测模型对待测粉末物质进行检测。
具体地,所述步骤a包括:
步骤a1:在给定的应用场景里,按优化的实验条件,无样品预处理的情况下直接采集粉末物质的libs光谱;对应的物质进行取样,并用离线的方法分别测定取样样品中的水分及待测定化学组分的含量,所采集libs光谱与离线测定的含量数据严格、明确对应,当多种化学组分需同时测定时,离线测定的化学组分含量包括所有这些化学组分;
步骤a2:将采集的libs光谱转换成二维光谱强度分布图,其中光谱强度分布图的第一维对应于libs光谱的像素或波长,变量的第二维则对应于libs光谱的频谱;
步骤a3:将步骤a2获得的二维光谱强度分布图进行归一化和标准化处理,通过数据挖掘和特征选取算法获得与a1离线测定的对应样品水分含量相关性最大的特征像素集1;
步骤a4:将步骤a3获得的特征像素集1以二阶矩阵形式输入机器学习的算法,建立模型,确定可调参数,训练得到水分含量预测模型;
步骤a5:将步骤a1获得的libs光谱进行背景去除、噪声降低、归一化和标准化处理;
步骤a6:将步骤a5处理后得到的光谱按其所对应的水分含量进行分类,每类以角标i表征,i为正整数,通过数据挖掘和特征选取算法获得每一类光谱集中与样品中待测化学组分含量相关性最大的特征像素集2i;
步骤a7:将步骤a6获得的特征像素集2i的交集作为对应于所有光谱的、与待测化学组分含量相关性最大的总特征光谱像素集3;
步骤a8:根据总特征光谱像素集3,在每一张取背景、归一化和标准化后的光谱里,确定对应的一维光谱矢量;
步骤a9:将光谱对应的水分含量作为一个新的维度加入光谱矢量,产生广义光谱矢量;
步骤a10:将广义光谱矢量输入机器学习的算法,建立模型,确定可调参数,训练得待测化学组分含量预测模型;
当多种化学组分需同时测定时,对每一种待测定的化学组分执行步骤a6至a10,训练得每一种待测化学组分含量预测模型。
具体地,所述步骤b包括:
步骤b1:按照与步骤a1相同的应用场景和实验条件,采集待测粉末物质的libs光谱,定义为未知光谱;记录未知光谱采集时间或具有唯一性的待测物质参数,用做将未知光谱与相应待测粉末物质一一对应的依据,并确定未知光谱采集的频繁度;
步骤b2:将未知光谱采用步骤a2的方法转换成未知二维光谱强度分布图,并采用与步骤a3相同的方法进行归一化和标准化处理;
步骤b3:根据步骤a3获得的特征像素集1在像素或波长和频谱的空间坐标确定未知二维光谱强度分布图的未知特征像素集4;
步骤b4:将未知特征像素集4以二阶矩阵形式输入步骤a4获得的水分含量预测模型中,获得对应待测粉末物质的水分含量预测值;
步骤b5:对步骤b1的未知光谱进行背景去除、噪声降低、归一化和标准化处理;
步骤b6:根据步骤a7的总特征光谱像素集3中特征像素的序号,确定步骤b5处理后的未知光谱对应的一维未知光谱矢量;
步骤b7:将步骤b4获得的水分含量预测值作为一个新的维度加入未知光谱矢量中,产生未知广义光谱矢量;
步骤b8:将未知广义光谱矢量输入步骤a10获得的待测化学组分含量预测模型中,获得待测粉末物质中的待测化学组分含量预测值;
当多种化学组分需同时测定时,对每一种待测定的化学组分执行步骤b6至b8,获得待测粉末物质中的每一种待测化学组分含量预测值。
具体地,所述具有唯一性的待测物质参数包括:物质的批次、特征;
所述频繁度使得一定数量的libs光谱与一定质量的待测物质相对应。
具体地,步骤a1中,所述优化的实验条件获得标准包括:
使用纳秒q-switch脉冲激光、激光脉冲能量在10至200mj范围、根据应用场景激光脉冲直接聚焦于运动或静止的粉末物质表面、检测过程中粉末物质表面尽量与激光聚焦透镜的距离保持稳定、光谱通过配备ccd或iccd相机的光谱仪系统采集以及环境温度的变化范围在-20℃至40℃。
具体地,步骤a2中,所述将采集的libs光谱转换成二维光谱强度分布图的过程中,采用傅里叶变化或小波变换,获得原始光谱的频率空间展开强度。
具体地,所述步骤a3和a6中,所述数据挖掘和特征选取算法:
与模型输出值的变化最为相关的输入特征变量的选择方法,其具体计算方法如下:
每一个二维光谱强度分布图或光谱中的像素点强度分别地与对应的水分含量或化学组分含量进行协方差计算,得c值,取出c值最高的d个像素点作为特征二维光谱强度分布图或光谱中的特征像素点;
d的取值可以选取10-1000之间任意合适整数。
具体地,步骤a4和a10中,所述预测模型训练的具体方法如下:
步骤a.:将步骤a1相关的样品分成两个样品集:建模样品集和验证样品集,将步骤a2获得的全部二维光谱强度分布图或步骤a9获得的全部广义光谱作为一个完整数据库,将其分为两个数据集:建模数据集和验证数据集,分别对应于建模样品集和验证样品集中样品所对应的所有光谱强度分布图或广义光谱;
步骤b:建模数据集动态分成训练数据集和测试数据集,使用训练集数据进行模型训练,得测试模型;将测试数据集数据输入测试模型,确定算法评估标准为:预测值与真实值的相对差的平方总和小于10-3;如果对测试数据集数据不能满足算法评估标准,则修改选定的可调参数,重新训练模型,训练数据集和测试数据集进行交叉验证,动态交换训练数据集和测试数据集,优化测试模型,直至对测试数据集数据能满足算法评估标准,得测试预测模型;
步骤c:将验证数据集数据输入测试预测模型,如果对验证数据集数据不满足步骤b所述的算法评估标准,则修改选定的可调参数,重新训练模型;
步骤d:当对测试数据集和验证数据集数据均能满足算法评估标准,则水分含量或化学组分含量预测模型建立完成。
具体地,所述步骤a5中,所述背景去除、噪声降低采用的方法具体为:寻找峰值位置,峰的波形还原,峰值去除,拟合背景;
所述步骤a6中,所述分类的类别数按离线水分测定的精确度和范围确定,并确保各类别中不同化学组分含量样品的数目在3个或以上;
所述的样品按水分分类的类别数为3个或以上。
具体地,当所述粉末物质为钾肥时,采用所述方法可测定的化学组分具体包括以下任一种或多种:氧化钾k2o、氯化钠nacl、钙ca、镁mg。
下面通过优选例,对本发明进行更为具体地说明。
优选例1:
(1)在工厂的传送带上对水分和氧化钾(k2o)含量变化的钾肥粉末进行在线实时的libs光谱测量,以一定的时间间隔取样钾肥粉末,将取样时间与libs光谱保存时间精确对应。根据工厂传送带上钾肥潮湿度和钾肥中氧化钾含量的变化速率,以及libs光谱的采集速率(3hz),确定每一个取样样品对应于10张libs光谱(每一张光谱可以是若干张单发光谱的累加或平均)。使用相关国家标准规定的方法,离线测定取样样品中的水分和氧化钾的含量。为简化本实施例说明,选择取样样品,使得所选样品按水分含量可分成3大类,分别对应于水分含量(质量百分比):0.10、0.15、0.20。每类样品则按其氧化钾含量进一步细分为5个小类,氧化钾含量分别如下(质量百分比):93.0,93.5,94.0,94.5,95.0。最后,该实施例中3类水分不同样品,每类各5个氧化钾含量不同样品,共15个样品,每个样品对应10张libs光谱,共150张libs光谱。
(2)将步骤(1)获得的libs光谱转换成强度图(即二维光谱强度分布图)。具体采用墨西哥帽函数作为小波基进行小波变换,其中变量的第一维对应于libs光谱的波长,变量的第二维则对应于libs光谱的频谱。
(3)将强度图进行归一化和标准化,具体归一化处理为:总光谱强度归一化;标准化处理为:[0,1]区间标准化。
(4)进行特征像素集提取。具体为使用selectkbest算法,计算像素点强度与对应的水分含量的协方差,由此获得具有50像素的特征像素集,选择标准为皮尔逊相关系数大于0.93。
(5)以8:2的比例将15样品分成建模样品集(12个样品)和验证样品集(3个样品,即每个水分类各一个),相应地,150个特征像素集分成建模数据集和验证数据集,建模数据集包括120特征像素集,验证数据集包括30特征像素集;
(6)将建模数据集的120个特征像素集作为输入矩阵,以二阶矩阵形式输入机器学习的算法,建立模型,确定可调参数,训练获得水分含量预测模型(训练流程如图2所示)。建模数据集120个特征像素集动态地分解成训练数据集和测试数据集,两个集的数据量比值为8:2,即随机选择每个样品中的8特征像素集(共96特征像素集)作为训练集,剩余的2特征像素集(共24特征像素集)作为测试集;使用反向传播的神经网络,建立水分含量预测模型;如图4所示,为本发明中预测模型使用流程示意图。
(7)使用验证数据集的30特征像素集对水分含量预测模型进行验证和优化。最后测定定标曲线确定系数r2=0.94,rep=4.4%,rsd=5.4%。获得的模型性能见图5上图。
(8)对每一张原始光谱进行背景去除,噪声降低,归一化和标准化,具体操作为:背景去除和噪声降低使用小波变换算法,归一化使用总光谱强度归一法;标准化处理为[0,1]区间标准化。
(9)根据步骤(1)中libs光谱的按其相应水分含量的分类结构选取各类光谱中与氧化钾含量相关性最大的特征像素150个。具体使用selectkbest算法,选择标准为皮尔逊相关系数大于0.88。
(10)将步骤(9)获得的不同水分含量的与氧化钾含量相关性最大的特征像素的交集作为对应于所有光谱的、与待测氧化钾含量相关的总特征光谱像素集,共包含130特征像素。
(11)通过150张取背景、归一化和标准化后的光谱,确定对应的150个包含130特征像素的光谱矢量。
(12)将每一张光谱对应的含水量作为一个新的维度加入相应的光谱矢量,建立150广义光谱矢量。
(13)将上述建模样品集所对应的建模数据集的120个广义光谱矢量作为输入变量,训练获得氧化钾含量预测模型(训练流程如图3所示)。建模数据集120个广义光谱矢量动态地分解成训练数据集和测试数据集,两个集的数据量比值为8:2,随机选择每个样品中的8广义光谱矢量(共96广义光谱矢量)作为训练集,剩余的2广义光谱矢量(共24广义光谱矢量)作为测试集;使用反向传播的神经网络,建立氧化钾含量预测模型;测定定标曲线确定系数r2=0.98,rep=0.08%,rsd=0.09%。获得的模型性能图见图5下图。
综上所述,本发明方法使用激光诱导击穿光谱(libs)法采集粉末状物质光谱。通过大数据和机器学习方法,针对样品水分和化学组分含量对光谱所造成的特征影响进行先后分别处理,同时使用广义光谱概念,创新libs光谱数据处理方法。突破了精准测定粉末物质中化学组分含量受其水分含量严重干扰的瓶颈,实现了同时的、使用单一技术的粉末物质中化学组分和水分含量的精准和快速测定。本发明为矿产、工业生产、环保等领域提供了实时的现场、在线检测、分析和控制的有效手段。
本发明具体应用途径很多,以上所述仅是本发明的优选实施方式。应当指出,以上实施例仅用于说明本发明,而并不用于限制本发明的保护范围。对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进,这些改进也应视为本发明的保护范围。
优选例2:
本发明提供了一种同时快速测定粉末物质中化学组分和水分含量的方法,包括以下步骤:
a、预测模型的建立
a1、在给定的应用场景里,按优化的实验条件,无样品预处理的情况下直接采集粉末物质的libs光谱;对应的物质进行取样,并用离线的方法分别测定取样样品中的水分及待测定化学组分的含量,所采集libs光谱与离线测定的含量数据严格、明确对应,当多种化学组分需同时测定时,离线测定的化学组分含量包括所有这些化学组分;
a2、将采集的libs光谱转换成二维光谱强度分布图,其中光谱强度分布图的第一维对应于libs光谱的像素或波长,变量的第二维则对应于libs光谱的频谱;
a3、将步骤a2获得的二维光谱强度分布图进行归一化和标准化处理,通过数据挖掘和特征选取算法获得与a1离线测定的对应样品水分含量相关性最大的特征像素集1;
a4、将步骤a3获得的特征像素集1以二阶矩阵形式输入机器学习的算法,建立模型,确定可调参数,训练得到水分含量预测模型;
a5、将步骤a1获得的libs光谱进行背景去除、噪声降低、归一化和标准化处理;
a6、将步骤a5处理后得到的光谱按其所对应的水分含量进行分类,每类以角标i(i=1,2,3,…)表征,通过数据挖掘和特征选取算法获得每一类光谱集中与样品中待测化学组分含量相关性最大的特征像素集2i;
a7、将步骤a6获得的特征像素集2i的交集作为对应于所有光谱的、与待测化学组分含量相关性最大的总特征光谱像素集3;
a8、根据总特征光谱像素集3,在每一张取背景、归一化和标准化后的光谱里,确定对应的一维光谱矢量;
a9、将光谱对应的水分含量作为一个新的维度加入光谱矢量,产生广义光谱矢量;
a10、将广义光谱矢量输入机器学习的算法,建立模型,确定可调参数,训练得待测化学组分含量预测模型;
当多种化学组分需同时测定时,步骤a6至a10对每一种待测定的化学组分进行一遍,训练得每一种待测化学组分含量预测模型;
b、采用前述预测模型对待测粉末物质进行检测
b1、按照与步骤a1相同的应用场景和实验条件,采集待测粉末物质的libs光谱,定义为未知光谱;记录未知光谱采集时间,或其它具有唯一性的待测物质参数,如物质的批次、特征等,用做将未知光谱与相应待测粉末物质一一对应的依据,并确定未知光谱采集的频繁度,这样的频繁度可使得一定数量的libs光谱与一定质量的待测物质对应起来;
b2、将未知光谱采用步骤a2的方法转换成未知二维光谱强度分布图,并采用与步骤a3相同的方法进行归一化和标准化处理;
b3、根据步骤a3获得的特征像素集1在像素或波长和频谱的空间坐标确定未知二维光谱强度分布图的未知特征像素集4;
b4、将未知特征像素集4以二阶矩阵形式输入步骤a4获得的水分含量预测模型中,获得对应待测粉末物质的水分含量预测值;
b5、采用与步骤a5相同的方法对步骤b1的未知光谱进行处理;
b6、根据步骤a7的总特征光谱像素集3中特征像素的序号,确定步骤b5处理后的未知光谱对应的一维未知光谱矢量;
b7、将步骤b4获得的水分含量预测值作为一个新的维度加入未知光谱矢量中,产生未知广义光谱矢量;
b8、将未知广义光谱矢量输入步骤a10获得的待测化学组分含量预测模型中,获得待测粉末物质中的待测化学组分含量预测值。
当多种化学组分需同时测定时,步骤b6至b8对每一种待测定的化学组分进行一遍,获得待测粉末物质中的每一种待测化学组分含量预测值。
优选地,步骤a1中,所述优化的实验条件获得标准为:使用纳秒q-switch脉冲激光、激光脉冲能量在10至200mj范围、根据应用场景激光脉冲直接聚焦于运动或静止的粉末物质表面、检测过程中粉末物质表面尽量与激光聚焦透镜的距离保持稳定、光谱通过配备ccd或iccd相机的光谱仪系统采集、环境温度的变化范围在-20℃至40℃。所述的优化实验条件应保证libs光谱激发和及检测的优化进行;
所述的libs光谱检测可以在应用现场在线进行,也可以在实验室通过模拟在线的实验装置,使用合理配制所获得的样品进行。
优选地,步骤a2中,所述将采集的libs光谱转换成二维光谱强度分布图的过程中,采用傅里叶变化或小波变换,获得原始光谱的频率空间展开强度。
优选地,步骤a3和a6中,所述数据挖掘和特征选取算法对应与模型输出值的变化最为相关的输入特征变量的选择方法;其具体计算通过selectkbest算法进行:每一个二维光谱强度分布图或光谱中的像素点强度分别地与对应的水分含量或化学组分含量进行协方差计算,得c值,取出c值最高的d个像素点作为特征二维光谱强度分布图或光谱中的特征像素点。d的取值可以选取10-1000之间任意合适整数。
优选地,步骤a4和a10中,所述预测模型训练的具体方法为:
a.将步骤a1相关的样品分成两个样品集:建模样品集和验证样品集,所述两个样品集的样品量数比值可以为7:3、8:2或9:1,但不局限于这些值;将步骤a2获得的全部二维光谱强度分布图或步骤a9获得的全部广义光谱作为一个完整数据库,将其分为两个集:将其分为两个数据集:建模数据集和验证数据集,分别对应于建模样品集和验证样品集中样品所对应的所有光谱强度分布图或广义光谱,验证数据集数据不参加预测模型训练,只对其验证;
b.建模数据集动态分成训练数据集和测试数据集,所述两个数据集的数据量比值可以为7:3、8:2或9:1,但不局限于这些值;并且训练数据集和测试数据集数据是动态划分,可在预测模型训练过程中进行置换,实现交叉验证;使用训练集数据进行模型训练,得测试模型;将测试数据集数据输入测试模型,确定算法评估标准为:预测值与真实值的相对差的平方总和小于10-3;如果对测试数据集数据不能满足算法评估标准,则修改选定的可调参数,重新训练模型,训练数据集和测试数据集进行交叉验证,动态交换训练数据集和测试数据集,优化测试模型,直至对测试数据集数据能满足算法评估标准,得测试预测模型;
c.将验证数据集数据输入测试预测模型,如果对验证数据集数据不满足步骤b所述的算法评估标准,则修改选定的可调参数,重新训练模型;
d.当对测试数据集和验证数据集数据均能满足算法评估标准,则水分含量或化学组分含量预测模型建立完成。
优选地,步骤a5中,所述背景去除、噪声降低采用的方法具体为:寻找峰值位置,峰的波形还原,峰值去除,拟合背景。
优选地,步骤a6中,所述分类的类别数按离线水分含量测定的精确度和范围确定,并确保各类别中不同化学组分含量样品的足够数目。
优选地,所述水分和待测化学组分含量可以以前者为主导参量进行考虑。即给定一个水分含量(在应用所允许的误差范围内并结合实际水分变化范围),取样或配置的样品需呈现与应用要求相匹配的化学组分含量分布,且以在这样范围内统计均匀分布为最优。所呈现的不同化学组分含量(对于每一个待测化学组分而言)应在3个或以上。同样,水分含量也需呈现与应用要求相匹配的分布,并以均匀的统计分布为最优。不同水分含量应在3个或以上。
本发明所述的归一化是对每一张光谱强度分布图或每一张libs光谱的所有像素进行统一的归一化处理,包括激光脉冲能量(或与其关联的物理量如声波等)归一化、内标归一化、总光谱强度归一化等,但不局限于这些方法。如总光谱强度归一化流程如下,对每一张光谱强度分布图的所有像素点进行积分,得到总光谱强度,光谱强度分布图的每一个像素值除总光谱强度,得归一化的光谱强度分布图;或对每一张libs光谱的所有像素点进行积分,得到总光谱强度,libs光谱的每一个像素值除总光谱强度,得归一化的libs光谱;
所述的标准化是指对全部光谱强度分布图或全部libs光谱进行统一的标准化处理,包括正态分布标准化、最大值最小值标准化等,但不局限于这些方法。如最大值最小值标准化流程如下,对所有光谱强度分布图或libs光谱的一给定像素点进行标准化,即该像素点的强度值进行线性变化,变化后的值等于其变化前的值减去该像素点在所有光谱强度分布图或libs光谱里的最小值之差除以该像素点在所有光谱强度分布图或libs光谱中的最大值与最小值之差,变化后的像素强度值变化于[0,1]区间内。
优选地,当所述粉末物质为钾肥时,采用所述方法可测定的化学组分具体包括:氧化钾(k2o)、氯化钠(nacl)、钙(ca)和镁(mg)中的一种或多种。
本发明中具体的术语解释如下:
归一化:由于原始光谱数据集{k,k=1,2,3,...n}可能包含异常光谱数据(如某一光谱k的总光强过大或过小),为了防止这种情况对后续模型建立的影响,需对原始光谱数据中的每一个光谱进行归一化处理,例如光谱中的所有像素{k,k=1,2,3,...n}的光强i(k,k)都由除以其总光强:inorm(k,k)=i(k,k)/∑ki(k,k)。
标准化:光谱数据集{k}中的每一张光谱k的每一个像素点k的光强i(k,k)都是代表k光谱所对应样品的某种特征,也就是说给定一个k,i(k,k)随k会呈现相应的变化,但其变化范围和平均值∑ki(k,k)/n会对不同的像素k呈现明显的不同,为了防止这种情况对后续模型建立的影响,需把所有像素点光强的变化范围设置在相同的区间内,例如[0,1]:
小波变换:是一种信号时频分析和处理的方法,提供一个随频率改变的“时间-频率”窗口,可以采用不同的小波基函数对信号进行分析。
傅里叶变换:是一种分析信号的方法,采用三角函数(正弦或余弦函数)对信号进行分析。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。