用于近红外水分仪的异常点和噪声剔除方法及装置与流程

本发明涉及光谱检测分析，尤其是用于近红外水分仪的异常点和噪声剔除方法。

背景技术：

1、在物料加工、造纸、烟草、药品、化工等领域，水分含量都是生产过程中一个非常重要的参数，它直接影响到产品的质量和保存期限。近红外法是水份测量的一种有效而广泛的应用手段。在建材、化工、纺织、纸张、食品、烟草等材料生产部门，水分是许多产品直接和间接的基本检验指标之一。水分值的控制，关键在于快速而准确的测量。与传统产品相比，近红外水分仪有其独特的优势，它具有连续非接触大面积测量的优点，测量速度快精度高，适用于在工业流程中对水分的监测，广泛应用在现代工业生产线上。

2、在近红外水分仪中，由于光能通过光学结构时会有较大损失，以及被测物对光能的吸收作用，探测器的输出信号十分微弱，一般为毫伏级。该信号在放大、传输过程中，由于受环境因素、电压波动、电磁干扰、光敏电阻热噪音和放大器噪音等诸多干扰的影响，其信噪比很低。而且由于宇宙射线被光谱仪中广泛使用的电荷耦合器件所捕获, 宇宙射线可以直接激发电荷耦合器像素, 产生的光强有时比正常的光强峰高出几个数量级, 会显著降低光谱的对比度。尽管在进行硬件设计的时候强调了对低噪声系统的设计，但是对于外界具有白噪声性质各种随机噪声一干扰，必须在数据处理上采用合理的剔除异常点和噪声方法。

3、现有针对近红外水分仪的剔除异常点和噪声方法多为：对水分仪的结果做移动平均。然而，对水分仪的结果做移动平均仅仅只是在上位机层面做处理，无法应对水分仪下位机里复杂的异常情况。

技术实现思路

1、在下文中给出了关于本发明实施例的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

2、根据本技术的一个方面，提供一种用于近红外水分仪的异常点和噪声剔除方法，其包括：

3、步骤1：对被测信号的噪声进行预处理：使用递推式重复滤波，对被测信号进行处理，去除被测信号中噪声，提高光谱信噪比；

4、其中递推式重复滤波的具体过程包括：

5、增加平均结果的频次，在每次采样数据到来的时候，利用上次的平均结果做更新运算，以获得新的平均结果；用a(n-1)表示时刻(n-1)的前(n-1)个采样数据的平均结果，a(n)表示时刻n的采样数据的平均结果，x(n)表示时刻n的采样数据的取样值，则a(n)表示为：

6、。

7、利用这种递推式平均算法，当每个取样数据到来之后，可以利用新数据对上次的平均结果进行更新，这样相对于每个取样数据，都会得到一个平均结果。随着取样数据的不断到来，平均结果的信噪比越来越高，被测信号的波形逐渐清晰。

8、步骤2：对被测信号的异常值进行预处理：使用savitzky-golay法对被测信号做一阶导，再通过四分位距检测出异常值，并剔除；

9、该步骤具体包括：对窗口大小为2m+1内的数据，假设窗口内的自变量x为(-m,-m+1,...,0,...,m-1,m)，窗口内的数据（y-m,y-m+1,...,y0,...,ym-1,ym）为因变量，使用k阶多项式函数(y=a0+a1x+a2x2...+akxk)对自变量和因变量做拟合，其中k小于2m，对这2m+1个方程组进行求解，解出k阶多项式函数的系数(a0,a1,a2,...,ak)。其中，m为自然数。由于k阶多项式函数的一阶导数为(y,=a1+a2x+a3x2...+akxk-1)，又只需要取窗口中心点自变量0的一阶导数值，y,(0)=a1，因此只需要计算出多项式的系数a1即为一阶导数值，该一阶导数值为一数列（以下简称一阶导的数列）。

10、因此，实际计算中，只需要求出中间系数z：

11、

12、z1、z2、z3……z2m+1分别为中间系数z的第1至第2m+1个数据；上式左边，为k+1行1列的矩阵，其中第2行第1列的值为1，其余值均为0。求出中间系数z后，z与窗口内的数据（y-m,y-m+1,...,y0,...,ym-1,ym）按位乘的和，即为一阶导的结果，该一阶导的结果为一数列，记为一阶导的数列。

13、从一阶导的数列中，寻找到一分位数q1，即一阶导的数列中有25%的数据点小于q1。从一阶导的数列中，寻找到三分位数q3，即一阶导的数列中有75%的数据点小于q3。计算出四分位点内距iqr，是指三分位数q3与一分位数q1的差值，iqr=q3-q1。将q1-1.5*iqr与q3+1.5*iqr做为阈值，将小于q1-1.5*iqr或大于q3+1.5*iqr的数据点视为离群点，将这些离群值从被测信号中剔除。

14、步骤3：对被测信号进行二次预处理：对已经剔除异常点的被测信号再做一次剔除异常点和噪声。中值滤波器是以当前数据点为中心的小窗口的中值来代替每个数据点, 其原理可以用来剔除异常值, 但是正常的信号也将随着滤波操作而失真。使用中值滤波器对已经剔除异常点的被测信号做滤波处理，将已经剔除异常点的被测信号表示为g，将中值滤波后的信号表示为h，计算出两者的偏差e(e=g-h)，e的分布近似表示为高斯函数：

15、

16、其中，x是随机变量，f(x)是概率密度，μ是期望，σ是标准差。

17、通过根据e的分布性质设置一个阈值来识别，该阈值将把e中大部分较小的数据点识别为正常值，而当e中的一个数据点的值超过该阈值时，它将被识别为异常点。实际运行时，如果g中已经没有异常点，则e中的大部分值将非常小，拟合分布的期望将接近0。但这种直接方法设置的阈值将有两个缺陷。一是阈值选择的难度：关于异常值和正常值之间的距离尚不清楚，因此没有参考依据。另一个缺陷是缺乏自动化和通用性：针对不同的数据需要设置不同的阈值，这很不方便且设置的值与使用者的经验有关。因此，为了解决这些问题，本发明采用反向思想来直接设置概率阈值θ，通过设定某个概率p(x≤x)，可以根据分布函数fx(x)自动确定一个阈值x，数据不超过该值为满足这个概率p(x≤x)。因此，在不同的数据中将根据概率自动调整不同的绝对阈值x以剔除异常点：

18、；

19、其中，x是随机变量，x是实数，p为概率，f(t)为概率密度函数。

20、根据上述思路，根据概率阈值θ，计算出正常值下限v1=f(θ)，正常值上限v2=f(1-θ)，将小于v1或者大于v2的数据点视为异常值，使用中值滤波后的信号h替换这些异常值；其中，f(θ)为概率阈值θ在分布函数中的强度，f(1-θ)为概率阈值(1-θ)在分布函数中的强度。

21、其中，步骤1中的被测信号说明如下：近红外水分仪使用光电传感器，采集光信号并将其转换成电信号，电信号是模拟信号，电路板上的模拟数字转换器，将电信号转换成数字信号，此数字信号是随时间变化的，所以被称为时序信号，这些被测信号是一段关于时间的数字，也即被测信号为一数组。对上述被测信号的处理过程如下：通过步骤1对被测信号的噪声进行预处理，通过步骤2对被测信号的异常值进行预处理，再通过步骤3对被测信号进行二次预处理。在步骤3的二次预处理中，使用中值滤波器对已经剔除异常点的被测信号做滤波处理，获得已经剔除异常点的被测信号g，该被测信号g为包含了一组时序信号的被测信号数组，中值滤波后的信号h同样为一数组，找到被测信号数组中的异常值，使用中值滤波后的同索引位置（也即同时间位置）的信号值去替换被测信号g中这些异常值即可。例如中值滤波后的信号h数组为{88840、69929、51850、33554、15899、-1516、-18533、-35055}，被测信号g数组为{84857、54934、63459、800497、6368、-11412、-7748、-16197},在存储到数据库时一般每个数组都有对应的索引，例如设计被测信号数组的索引为{1107、1108、1109、1110、1111、1112、1113、1114}，找到被测信号数组中异常值，根据该异常值的索引即可将该异常值替换为对应中值滤波后的信号h中的数据，例如被测信号g数组中异常值800497的索引为1110，则将800497替换为信号h数组同索引位置的33554。

22、根据本技术的另一方面，提供一种用于近红外水分仪的异常点和噪声剔除装置，其包括：

23、对被测信号的噪声进行预处理的噪声预处理模块，该噪声预处理模块使用递推式重复滤波，对被测信号进行处理，去除被测信号中噪声，提高光谱信噪比；

24、对被测信号的异常值进行预处理的异常值预处理模块，该异常值预处理模块使用savitzky-golay法对被测信号做一阶导，再通过四分位距检测出异常值，并剔除；

25、对被测信号进行二次预处理的二次预处理模块，该二次预处理模块使用中值滤波对已经剔除异常点的被测信号再做一次剔除异常点和噪声。

26、根据本技术的再一方面，提供一种信息数据处理终端，该信息数据处理终端用于实现上述的用于近红外水分仪的异常点和噪声剔除装置。

27、根据本技术的再一方面，提供一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述用于近红外水分仪的异常点和噪声剔除方法的步骤。

28、本发明通过上述方案实现一种适用于近红外水分仪的剔除异常点和噪声的方法及装置，其首先采递推式重复滤波剔除噪声，并使用savitzky-golay法对被测信号做一阶导，再通过四分位距检测出异常值，并剔除；最后，根据中值滤波求出偏差，再使用高斯函数做概率拟合，通过设置概率阈值，确定正常值范围，再次剔除异常点。通过上述方案，本发明对输入信号进行两次的预处理，有效的剔除了异常点和噪声，使得输入信号变得更加平滑和稳定，从而大大降低了诸多噪音干扰的影响。