专利名称：：一种有机肥产品近红外模型转移方法
技术领域：
：本发明涉及一种模型转移方法，特别是关于一种有机肥产品近红外模型转移方法。
背景技术：
：近年来，近红外光谱分析技术以其高效、无损、无污染和可同时进行多组分或性质的测定分析等优点在各个行业得到了广泛应用，其在有机肥技术指标的测定分析中的应用研究，始于20世纪90年代，且显现了良好的应用效果。但是，近红外光谱分析技术是一种间接的分析方法，在建立校正模型时，往往需要测定分析大量样品的化学值或基础性质数据作为建立校正模型的基础，这个过程不仅费时费力，且投入较大，所以对所建立的模型在动态适应性方面提出了较高的要求。其不仅要求模型的预测范围广，而且要求在一台仪器上建立的模型能够在其它仪器上应用，即要求进行近红外光谱分析模型的转移。这样可实现资源的共享和模型的有效利用，大大减少因重复建模所造成的人力、物力和财力的浪费。但是，目前对有机肥近红外光谱分析模型的转移还没有一种有效的方法。
发明内容针对上述问题，本发明的目的是提供一种可有效、精确地对近红外模型进行转移，进而可实现资源共享和模型有效利用的有机肥产品近红外模型转移方法。为实现上述目的，本发明采取以下技术方案一种有机肥产品近红外模型转移方法，其包括以下步骤1)选择并设定两个近红外光谱仪作为对有机肥样品进行光谱分析的主仪器和从仪器，以从仪器获得的有机肥样品光谱数据格式为标准，将主仪器获得的有机肥样品光谱数据格式向从仪器获得的有机肥样品光谱数据格式进行匹配，使其光谱阵横坐标一致；2)用光谱数据匹配前和匹配后主仪器测得的光谱阵与有机肥样品的化学真值浓度阵，建立基于偏最小二乘法的留一法全交互验证近红外模型，并对这两个近红外模型的预测效果进行比较，验证光谱数据匹配前、后，主仪器测得的近红外光谱阵间的差异；3)对有机肥样品异常样品进行剔除，对校正集样品和验证集样品进行分集，并对光谱数据进行预处理，利用校正集样品，采用偏最小二乘法作为回归方法，建立光谱数据匹配后主仪器近红外校正模型，并利用该近红外校正模型对主仪器验证集和从仪器验证集的预测效果进行比较；4)在校正集样品中选出若干个样品，分别在主仪器和从仪器上扫描其光谱，得到主仪器标准化样品集光谱阵和从仪器标准化样品集光谱阵，以用于计算近红外模型的转移参数；5)采用步骤3)所建近红外校正模型分别对主仪器和从仪器在步骤4)中选用的标准化样品集进行光谱扫描，并计算出对应的标准化样品集预测值浓度阵，对其进行最小二乘拟合，得到主仪器上预测的标准化样品集浓度阵Cmp与从仪器上预测的标准化样品集浓度阵Csp的最小二乘拟合关系式Cmp=bias+slope*Csp(1)采用最小二乘法求出bias和slope；其中，slope为最小二乘法拟合得到的斜率值，bias为最小二乘法拟合得到的截距值；6)利用步骤3)所建近红外校正模型获得从仪器验证集样品浓度阵，并利用步骤5)所得到的最小二乘拟合关系式(1)中求出的斜率值和截距值进行校正，得到最终主仪器近红外校正模型预测从仪器验证集样品浓度阵；7)对近红外校正模型转移后的预测效果进行评价分析。所述步骤2)中，根据校正决定系数衫、交互验证决定系数i〗v、校正均方差RMSEC、交互验证均方差RMSECV和系统偏差bias这四个指标评价光谱数据匹配前、后主仪器所建模型的预测效果，并验证光谱数据匹配前、后主仪器测得的近红外光谱阵间的差异；其中，校正决定系数、交互验证决定系数《v，表示光谱数据匹配前、后，主仪器近红外预测值浓度阵与化学真值浓度阵之间的拟合程度<formula>formulaseeoriginaldocumentpage6</formula>式中，η。为校正集样品数，η为全部样品数，yi(i=1,2,.....η)为第i个样品的化学真值，Zi为第i个样品的近红外预测值，Ji为全部样品化学真值的平均值；校正均方差RMSEC、交互验证均方差RMSECV，表示光谱数据匹配前、后，主仪器近红外预测值与化学真值之间的偏差<formula>formulaseeoriginaldocumentpage6</formula>系统偏差bias，表示全部样品化学真值平均值与近红外预测值平均值的差bias=y-y(6)式中，多为近红外预测值的平均值；评定原则是和趕v越接近1，并且RMSEC、RMSECV和bias越小，模型的预测精度越高；若光谱数据匹配前后主仪器所建模型的评价参数砣、R、、RMSEC、RMSECV和bias，前后参数差异不显著，则可以利用主仪器数据匹配后的近红外光谱阵与从仪器近红外光谱阵进行模型转移。所述步骤3)中，根据验证集决定系数、均方差RMSEP和系统偏差bias评价近红外校正模型对主仪器验证集和从仪器验证集的预测效果；其中验证集决定系数及〗，表示验证集预测值与化学真值关系的拟合程度<formula>formulaseeoriginaldocumentpage7</formula>验证均方差RMSEP，表示验证集预测值与化学真值之间的偏差RMSEP=J-Vfc-Z,)2(8)式中，％为验证集样品数；评定原则是圮越接近1，并且RMSEP和bias越小，模型的预测精度越高。所述步骤4)中，标准化样品集的选用原则为以下所列方法中的一种①根据校正集样品浓度大小进行梯度排列，等间隔选取样品作为标准化样品集；②根据校正集样品光谱间的马氏距离大小，等间隔选取样品作为标准化样品集；③由校正集样品随机抽取一定数量的样品作为标准化样品集。所述步骤7)中，采用验证均方差RMSEP和系统偏差bias两个指标，综合比较模型转移后，主仪器近红外校正模型对从仪器验证集预测结果和从仪器近红外校正模型对自身验证集预测结果的接近程度。本发明由于采取以上技术方案，其具有以下优点1、本发明在将主仪器和从仪器获得的有机肥样品的光谱阵进行数据格式匹配后，首先对主仪器光谱数据匹配前和匹配后所建立的近红外校正模型预测效果进行比较，因此，可以先粗略判断主仪器近红外光谱分析模型是否可进行模型转移。2、本发明在建立光谱数据匹配后主仪器近红外校正模型前，对有机肥样品异常样品进行剔除，对校正集样品和验证集样品进行分集，并优选光谱数据预处理方法，利用校正集样品，采用偏最小二乘法作为回归方法，建立光谱数据匹配后主仪器近红外校正模型，通过校正模型对主仪器和从仪器验证集预测效果进行比较，因此，可精确获取主仪器数据匹配前后近红外模型转移前对主从仪器预测效果差异。3、本发明将主仪器上预测的标准化样品集浓度阵和从仪器上预测的标准化样品集浓度阵进行最小二乘拟合，通过求解斜率和截距值，可对近红外校正模型进行转移，该方法简便易行，并可确保模型转移后的预测精度。4、本发明提供的将近红外校正模型进行转移的方法，可使所建立的有机肥重要技术指标近红外校正模型在其它仪器上应用，实现模型的有效利用和资源共享；并且利于所建近红外校正模型的扩容和升级维护，提高模型的精度和适用能力。本发明构思巧妙，操作方便，通过对基于不同近红外光谱仪所建立的有机肥产品近红外校正模型的稳定转移，大大减少了因不同仪器重复建模所造成的人力、物力和财力的浪费，因此，可广泛应用于有机固体废弃物经高温好氧发酵所得有机肥产品近红外模型间的传递，提高模型的适用能力，节本增效，实现资源共享。图1是本发明实施例的有机肥样品的近红外光谱2是本发明实施例中主仪器光谱数据匹配前近红外模型预测散点3是本发明实施例中主仪器光谱数据匹配后近红外模型预测散点4是本发明实施例中基于主仪器近红外校正模型的主仪器和从仪器标准化样品集浓度阵最小二乘拟合5是本发明实施例中模型转移后主仪器对从仪器的验证散点6是本发明实施例中从仪器模型验证散点图具体实施例方式下面结合附图和实施例对本发明进行详细的描述。本发明包括以下步骤1)选择并设定两个近红外光谱仪作为对有机肥样品进行光谱分析的主仪器和从仪器，将主仪器和从仪器获得的有机肥样品的光谱阵进行数据格式匹配。由于不同近红外光谱仪其分辨率等参数设置不同，所以获取的光谱数据间格式不匹配，本实施例在进行光谱数据匹配时，以从仪器光谱数据格式为标准，将主仪器光谱数据格式向从仪器光谱数据格式进行匹配，使其光谱阵横坐标一致。如主仪器光谱数据波长范围为40029998CHT1，数据点间隔为4cm—1；从仪器光谱数据波长范围为4000lOOOOcnT1，数据点间隔为2CHT1；主仪器光谱数据插值后波长范围应为4000lOOOOcnT1，数据点间隔为2cm—1。光谱数据匹配使用Matlab(软件名称)7.0中三次样条插值方法实现。2)对主仪器光谱数据匹配前和匹配后所建立的近红外校正模型预测效果进行比较。采用标准方法测得有机肥样品各项指标的化学真值浓度阵；用光谱数据匹配前主仪器测得的光谱阵和有机肥样品的化学真值浓度阵建立基于偏最小二乘法的留一法全交互验证近红外模型；用光谱数据匹配后主仪器测得的光谱阵和有机肥样品的化学真值浓度阵建立基于偏最小二乘法的留一法全交互验证近红外模型。上述建模时，不对主仪器数据匹配前后测得的光谱阵做任何预处理。根据校正决定系数^、交互验证决定系数、校正均方差RMSEC、交互验证均方差RMSECV和系统偏差bias等指标评价光谱数据匹配前、后主仪器所建模型，并验证光谱数据匹配前、后主仪器测得的近红外光谱阵间的差异。留一法全交互验证近红外模型评价指标如下①校正决定系数祐、交互验证决定系数i^v，表示光谱数据匹配前、后，主仪器近红外预测值浓度阵与化学真值浓度阵之间的拟合程度<formula>formulaseeoriginaldocumentpage8</formula>其中，η。为校正集样品数，η为全部样品数，yi(i=1,2,.....η)为第i个样品的化学真值，Zi为第i个样品的近红外预测值j为全部样品化学真值的平均值。②校正均方差RMSEC、交互验证均方差RMSECV，表示光谱数据匹配前、后，主仪器近红外预测值与化学真值之间的偏差<formula>formulaseeoriginaldocumentpage9</formula>③系统偏差bias，表示全部样品化学真值平均值与近红外预测值平均值的差bias=y-}(5)其中，歹为近红外预测值的平均值。评定原则是衫和越接近1，并且RMSEC、RMSECV和bias越小，模型的预测精度越高。若光谱数据匹配前后主仪器所建模型的评价参数砣、《vRMSEC,RMSECV和bias，前后参数差异不显著，则可以利用主仪器数据匹配后的近红外光谱阵与从仪器近红外光谱阵进行模型转移。3)光谱数据匹配后，主仪器近红外校正模型的建立及其对主仪器和从仪器验证集预测效果的比较。建立光谱数据匹配后主仪器近红外校正模型前，对有机肥样品异常样品进行剔除，对校正集样品和验证集样品进行分集，并优选光谱数据预处理方法，利用校正集样品，采用偏最小二乘法作为回归方法，建立光谱数据匹配后主仪器近红外校正模型。近红外校正模型建立后对验证集样品进行测定，并评价所建模型。预测效果的评价指标为验证集决定系数及〗、均方差RMSEP和系统偏差bias。其中①验证集决定系数，表示验证集预测值与化学真值关系的拟合程度<formula>formulaseeoriginaldocumentpage9</formula>②验证均方差RMSEP，表示验证集预测值与化学真值之间的偏差<formula>formulaseeoriginaldocumentpage9</formula>其中，ην为验证集样品数。评定原则是/〗越接近1，并且RMSEP和bias越小，模型的预测精度越高。4)模型转移用标准化样品集的选用。标准化样品集用于计算近红外模型的转移参数，它是由校正集样品中选出的3050个样品，需分别在主仪器和从仪器上扫描其光谱，得到主仪器标准化样品集光谱阵和从仪器标准化样品集光谱阵。标准化样品集的选用原则可为以下所列方法中的一种①根据校正集样品浓度大小进行梯度排列，等间隔选取样品作为标准化样品集；②根据校正集样品光谱间的马氏距离大小，等间隔选取样品作为标准化样品集；③由校正集样品随机抽取一定数量的样品作为标准化样品集。5)光谱数据匹配后，用主仪器所建近红外校正模型对主仪器和从仪器在步骤4)中选用的标准化样品集，分别计算对应的标准化样品集预测值浓度阵，对其进行最小二乘拟合，求解斜率和截距值，获得两者间函数关系Cmp=bias+slope*Csp(8)用最小二乘法求出bias和slope。其中，Cmp代表主仪器上预测的标准化样品集浓度阵，Csp代表从仪器上预测的标准化样品集浓度阵。slope为最小二乘法拟合得到的斜率值，bias为最小二乘法拟合得到的截距值。6)利用主仪器近红外校正模型获得从仪器验证集样品浓度阵，利用求得的斜率和截距值进行校正，计为最终主仪器近红外校正模型预测从仪器验证集样品浓度阵。7)近红外校正模型转移效果的评价。模型转移效果评价采用验证均方差RMSEP和系统偏差bias两个指标，综合比较模型转移后，主仪器近红外校正模型对从仪器验证集预测结果和从仪器近红外校正模型对自身验证集预测结果的接近程度。下面列举一具体实施例。将本发明应用在畜禽粪便堆肥产品有机质含量近红外校正模型的转移。(1)模型转移用样品、主仪器和从仪器及其近红外光谱。模型转移用样品为畜禽粪便堆肥产品样品120份，主要来自我国黑龙江、北京、山东、广东、宁夏、新疆等22省(市)。堆肥产品呈粒状或粉末状，粒径均小于1cm，原料种类主要有鸡粪、牛粪、猪粪等，所涉及填充料以农作物秸秆为主。以Nicolet公司的ANTARIS傅里叶变换型近红外光谱仪作为主仪器，采集光谱时仪器工作参数为漫反射光谱范围为100004000cm-1，单样品扫描次数为32次，每条光谱含1557个数据点。以美国PerkinElmer公司生产的SPECTRUMONENTS傅里叶变换近红外光谱仪(漫反射积分球附件，InGaAs检测器)作为从仪器，光谱范围为100004000CHT1，单样品扫描次数为32次，每条光谱含3001个数据点。如图1所示，为畜禽粪便堆肥产品代表性样品的近红外光谱图。(2)畜禽粪便堆肥样品化学真值的测定。样品有机质(OM)含量的测定采用马弗炉燃烧法(540°C)烧至恒重，具体参见TMECC03.02A(此为标准方法，在此不赘述)。(3)光谱数据匹配前、后，主仪器近红外建模效果比较。表1所示为120个样品主仪器光谱数据匹配前、后的建模结果，由表1可知，所用主仪器在匹配前和匹配后的交互验证建模效果差异不显著，可进行模型转移，如图2、图3所示，为主仪器在光谱数据匹配前、后交互验证散点图。表1<table>tableseeoriginaldocumentpage11</column></row><table>(4)模型转移前主仪器近红外校正模型预测主、从仪器验证集结果比较表2所示为数据匹配前、后，主仪器建立的近红外校正模型分别预测主仪器和从仪器验证集的结果。直接用Nicolet上建立的模型预测PE仪器上的验证集，其RMSEP、bias值与表中所列前三种预测结果相比差异较大，预测效果较差，且bias至偏大导致模型不稳定，波动性较大，因此，需进行模型转移。表2<table>tableseeoriginaldocumentpage11</column></row><table>(5)最小二乘拟合求斜率/截距根据光谱数据匹配后Nicolet模型对本仪器验证集的预测值和Nicolet模型对PE仪器验证集的预测值用最小二乘法拟合得出slope和Bias值，如图4所示。(6)近红外校正模型转移效果评价利用MATLAB7.O软件，模型转移后主仪器模型对从仪器验证集进行预测后，对、RMSEP和bias值进行统计分析，结果如表3所示，模型转移获得了较好的效果，与从仪器校正模型对其自身验证集进行预测的RMSEP值相当，但bias值有较大幅度减小。模型转移后，主仪器近红外校正模型对从仪器验证集预测值散点图和从仪器近红外校正模型对其自身验证集预测值散点图，如图5、图6所示。表3<table>tableseeoriginaldocumentpage11</column></row><table>上述各实施例仅用于说明本发明，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外.权利要求一种有机肥产品近红外模型转移方法，其包括以下步骤1)选择并设定两个近红外光谱仪作为对有机肥样品进行光谱分析的主仪器和从仪器，以从仪器获得的有机肥样品光谱数据格式为标准，将主仪器获得的有机肥样品光谱数据格式向从仪器获得的有机肥样品光谱数据格式进行匹配，使其光谱阵横坐标一致；2)用光谱数据匹配前和匹配后主仪器测得的光谱阵与有机肥样品的化学真值浓度阵，建立基于偏最小二乘法的留一法全交互验证近红外模型，并对这两个近红外模型的预测效果进行比较，验证光谱数据匹配前、后，主仪器测得的近红外光谱阵间的差异；3)对有机肥样品异常样品进行剔除，对校正集样品和验证集样品进行分集，并对光谱数据进行预处理，利用校正集样品，采用偏最小二乘法作为回归方法，建立光谱数据匹配后主仪器近红外校正模型，并利用该近红外校正模型对主仪器验证集和从仪器验证集的预测效果进行比较；4)在校正集样品中选出若干个样品，分别在主仪器和从仪器上扫描其光谱，得到主仪器标准化样品集光谱阵和从仪器标准化样品集光谱阵，以用于计算近红外模型的转移参数；5)采用步骤3)所建近红外校正模型分别对主仪器和从仪器在步骤4)中选用的标准化样品集进行光谱扫描，并计算出对应的标准化样品集预测值浓度阵，对其进行最小二乘拟合，得到主仪器上预测的标准化样品集浓度阵Cmp与从仪器上预测的标准化样品集浓度阵Csp的最小二乘拟合关系式Cmp＝bias+slope*Csp(1)采用最小二乘法求出bias和slope；其中，slope为最小二乘法拟合得到的斜率值，bias为最小二乘法拟合得到的截距值；6)利用步骤3)所建近红外校正模型获得从仪器验证集样品浓度阵，并利用步骤5)所得到的最小二乘拟合关系式(1)中求出的斜率值和截距值进行校正，得到最终主仪器近红外校正模型预测从仪器验证集样品浓度阵；7)对近红外校正模型转移后的预测效果进行评价分析。2.如权利要求1所述的一种有机肥产品近红外模型转移方法，其特征在于所述步骤2)中，根据校正决定系数衫、交互验证决定系数趁v、校正均方差RMSEC、交互验证均方差RMSECV和系统偏差bias这四个指标评价光谱数据匹配前、后主仪器所建模型的预测效果，并验证光谱数据匹配前、后主仪器测得的近红外光谱阵间的差异；其中，校正决定系数衫、交互验证决定系数，表示光谱数据匹配前、后，主仪器近红外预测值浓度阵与化学真值浓度阵之间的拟合程度<formula>formulaseeoriginaldocumentpage2</formula><formula>formulaseeoriginaldocumentpage3</formula>式中，n。为校正集样品数，n为全部样品数，yi(i=1，2，......n)为第i个样品的化学真值，z,为第i个样品的近红外预测值，歹为全部样品化学真值的平均值；校正均方差RMSEC、交互验证均方差RMSECV，表示光谱数据匹配前、后，主仪器近红外预测值与化学真值之间的偏差<formula>formulaseeoriginaldocumentpage3</formula>系统偏差bias，表示全部样品化学真值平均值与近红外预测值平均值的差<formula>formulaseeoriginaldocumentpage3</formula>(6)式中，歹为近红外预测值的平均值；评定原则是趁和越接近1，并且RMSEC、RMSECV和bias越小，模型的预测精度越高；若光谱数据匹配前后主仪器所建模型的评价参数&、祐v、RMSEC.RMSECV和bias，前后参数差异不显著，则可以利用主仪器数据匹配后的近红外光谱阵与从仪器近红外光谱阵进行模型转移。3.如权利要求1所述的一种有机肥产品近红外模型转移方法，其特征在于所述步骤3)中，根据验证集决定系数、均方差RMSEP和系统偏差bias评价近红外校正模型对主仪器验证集和从仪器验证集的预测效果；其中验证集决定系数及$，表示验证集预测值与化学真值关系的拟合程度<formula>formulaseeoriginaldocumentpage3</formula>验证均方差RMSEP，表示验证集预测值与化学真值之间的偏差<formula>formulaseeoriginaldocumentpage3</formula>式中，nv为验证集样品数；评定原则是及$越接近1，并且RMSEP和bias越小，模型的预测精度越高。4.如权利要求2所述的一种有机肥产品近红外模型转移方法，其特征在于所述步骤3)中，根据验证集决定系数及〗、均方差RMSEP和系统偏差bias评价近红外校正模型对主仪器验证集和从仪器验证集的预测效果；其中验证集决定系数及〗，表示验证集预测值与化学真值关系的拟合程度<formula>formulaseeoriginaldocumentpage4</formula>验证均方差RMSEP，表示验证集预测值与化学真值之间的偏差<formula>formulaseeoriginaldocumentpage4</formula>式中，nv为验证集样品数；评定原则是灭$越接近1，并且RMSEP和bias越小，模型的预测精度越高。5.如权利要求1或2或3或4所述的一种有机肥产品近红外模型转移方法，其特征在于所述步骤4)中，标准化样品集的选用原则为以下所列方法中的一种①根据校正集样品浓度大小进行梯度排列，等间隔选取样品作为标准化样品集；②根据校正集样品光谱间的马氏距离大小，等间隔选取样品作为标准化样品集；③由校正集样品随机抽取一定数量的样品作为标准化样品集。6.如权利要求1或2或3或4所述的一种有机肥产品近红外模型转移方法，其特征在于所述步骤7)中，采用验证均方差RMSEP和系统偏差bias两个指标，综合比较模型转移后，主仪器近红外校正模型对从仪器验证集预测结果和从仪器近红外校正模型对自身验证集预测结果的接近程度。7.如权利要求5所述的一种有机肥产品近红外模型转移方法，其特征在于所述步骤7)中，采用验证均方差RMSEP和系统偏差bias两个指标，综合比较模型转移后，主仪器近红外校正模型对从仪器验证集预测结果和从仪器近红外校正模型对自身验证集预测结果的接近程度。全文摘要本发明涉及一种有机肥产品近红外模型转移方法，其特征在于1)选择并设定主仪器和从仪器，进行两仪器间光谱数据匹配；2)用光谱数据匹配前、后主仪器光谱阵与样品化学真值浓度阵建立基于偏最小二乘法的留一法全交互验证近红外模型，并进行预测效果差异比较；3)在校正集样品中选出若干代表性样品组成标准化样品集；4)利用主仪器所建近红外校正模型分别计算主仪器和从仪器标准化样品集预测值浓度阵，并进行最小二乘拟合；5)利用主仪器近红外校正模型计算从仪器验证集样品浓度阵，并利用最小二乘拟合关系式进行校正，得到模型转移后从仪器验证集样品浓度阵；6)对主仪器近红外校正模型转移后的预测效果进行评价分析。文档编号G06F17/50GK101832922SQ20101018341公开日2010年9月15日申请日期2010年5月19日优先权日2010年5月19日发明者刘贤,王晓燕,韩鲁佳,黄光群申请人:中国农业大学