本发明涉及浮标自动监测系统，尤其是涉及浮标自动监测系统数据质量控制方法。
背景技术
浮标自动监测系统是进行海洋水质连续监测有效的技术手段之一。利用浮标的连续观测，人们对所监测海域的海洋变化特征由过去的定性描述转成定量的精确测量；同时，随着浮标监测数据的长期积累，也将为今后海洋环境大尺度的时空变动研究提供宝贵的资源。可以说，一套可靠、准确、有效的监测数据集是进行海洋环境质量评价和提升海洋环境管理能力的基本依据。但由于浮标长年连续运转，某些参数会产生漂移，加上海上环境复杂，受海流、海浪、航运、生物附着等因素的影响，浮标自动监测数据质量的不确定性也大大增加。因此，做好浮标监测数据的质量控制研究，保证其获取有代表性的可靠数据系列，是发挥浮标自动监测数据真正效用的基本保障。
技术实现要素：
本发明的目的在于针对浮标自动监测系统的特点及数据特征，提供可为浮标自动监测系统数据维护、管理与应用提供技术参考，同时这些数据经过质量控制后可进一步为开展近海海洋动力/生态学研究提供可靠现场数据支持的浮标自动监测系统数据质量控制方法。
本发明包括以下步骤：
1)数据质量分析，在数据质控之前需对数据的质量进行分析，数据质量分析是浮标数据特征分析中数据准备过程中的重要一环，是数据预处理的前提；
在步骤1)中，所述数据质量分析包括以下方法：
(1)缺失值分析：数据缺失主要指监测数据因种种原因而缺失的数据，包括记录的缺失和记录中某个字段信息的缺失，一般会以比观测值大很多或小很多的数据表示，缺失值分析如表1所示，-6999即为缺失值。
表1
(2)重复数据分析：数据出现重复测量的情况，一种是数据整理过程，出现采样数据具有同样的时间；另一种是可能由于仪器与传输的问题，记录的数据与表1相同，重复数据见表2，其中，下划线部分与前两个数据观测时间一致。
表2
(3)异常值分析：异常值分析主要是指检验数据中是否含有不合理的数据，一般是其数值明显偏离其他的观测值，主要采用以下三种方法分析：
a.简单统计量分析：利用仪器的量程范围判断其最大值和最小值取值范围是否超出合理的范围，若常用水质自动监测系统ysi仪器中叶绿素的量程超过范围为0～400ppb，则判定该变量为异常；
b.3σ分析：如果数据服从正态分布，在3σ原则下，异常值常被定义为一组测定值中与平均值的偏差超过3倍标准偏差的值，在正态分布的假设下，距离平均值3σ之外的值出现的概率为p≤0.003，属于极个别的小概率事件；
c.箱型图分析：箱型图提供识别异常值的一个标准，异常值通常被定义为小于ql-1.5iqr或qu+1.5iqr的值，ql称为下四分位数，qu为上四分位数；
由于一些污染或赤潮事件本身即为异常事件，因此许多观测数据若用3σ或箱型图分析会把这些特殊期间的数据被误判为异常数据，在进行异常值分析时需非常谨慎，可将这段数据单选出来进行分析判断。
2)异常值剔除方法，针对自动监测系统获得的异常值，采用以下方法进行剔除：
(1)极值控制：极值控制方法是根据各要素的物理特性、统计经验给定各要素的极大值和极小值；所述极值控制方法可有效地检验出极端异常的数据，可以浮标所配探头的量程范围作为判断标准，超出量程范围的数据被当作异常点剔除；
(2)标准差检验法：根据误差理论，一般情况下随机误差σ服从正态分布，δ是标准差，一般是未知的，通常用贝塞尔公式算得s代替σ，用平均值代替真值，若某个观测数据的残差满足>3s，则可疑，应该标记为异常值；
(3)与相邻数据的比较：针对检验气泡、沾污等因素对各探头的影响，当某一时刻值与相邻时刻的绝对值大于某一个阈值时，即被当作异常值剔除；
(4)均方差检验：当某一时刻值与当天平均值大于标准方差n倍时，被当作异常值，其中n取5；
(5)图形检验法：画出时间序列图，对明显异常的数据进行人工剔除；
(6)参数互较：分析浮标所采集的数据，可以发现部分参数彼此之间会存在比较好的相关观测，如果通过实际分析发现在港湾中布放的浮标系统所获取的cdom和nitrate与盐度存在较好的相关关系，那么当测量数据远偏离这一相关关系，即可判断为异常值；
(7)特定天气事件的检验：当发生特定天气事件(如台风)时，海洋环境参数会有明显的变化，但浮标数据在此种条件并没有出现明显的响应，那么数据可能会出现异常值。
3)现场验证评估：通过现场采样、实验室测量等方式对浮标监测参数进行验证评估，尤其是对生物、化学探头所测数据，以确保数据的可靠性；比对参数主要有no3、do、chl以及cdom等。可在浮标布放地点采集水样，带回实验室进行分析；然后将实验室分析数据与浮标数据画出相关曲线图，从其分布趋势上判断浮标所采集数据的可靠性。
本发明采用两种方式对浮标数据进行质量控制：一是在判断浮标数据质量方法的基础上采用统计方法剔除浮标的异常或缺失数据；二是通过现场采样、实验室测量方式对浮标测量参数的稳定性进行验证评估，尤其是对生物和化学探头。
具体实施方式
以下实施例将对本发明作进一步的说明。
本发明实施例包括以下步骤：
1)数据质量分析，数据质控之前需对数据的质量进行简单分析，数据质量分析是浮标数据特征分析中数据准备过程中的重要一环，是数据预处理的前提；
所述数据质量分析包括以下方法：
(1)缺失值分析：数据缺失主要指监测数据因种种原因而缺失的数据，包括记录的缺失和记录中某个字段信息的缺失，一般会以比观测值大很多或小很多的数据表示，缺失值分析如表1所示，-6999即为缺失值。
表1
(2)重复数据分析：数据出现重复测量的情况，一种是数据整理过程，出现采样数据具有同样的时间；二是可能由于仪器与传输的问题，记录的数据与表1相同，重复数据见表2，其中，下划线部分与前两个数据观测时间一致。
表2
(3)异常值分析：异常值分析主要是指检验数据中是否含有不合理的数据，一般是其数值明显偏离其他的观测值，主要采用以下三种方法分析：
a.简单统计量分析：利用仪器的量程范围来判断其最大值和最小值取值范围是否超出合理的范围，若常用水质自动监测系统ysi仪器中叶绿素的量程范围为0～400ppb，超过该范围，则判定该变量为异常；
b.3σ分析：如果数据服从正态分布，在3σ原则下，异常值常被定义为一组测定值中与平均值的偏差超过3倍标准偏差的值，在正态分布的假设下，距离平均值3σ之外的值出现的概率为p≤0.003，属于极个别的小概率事件；
c.箱型图分析：箱型图提供识别异常值的一个标准：异常值通常被定义为小于ql-1.5iqr或qu+1.5iqr的值，ql称为下四分位数，qu为上四分位数；
由于一些污染或赤潮事件本身即为异常事件，因此许多观测数据若用3σ或箱型图分析会把这些特殊期间的数据被误判为异常数据，在进行异常值分析时需非常谨慎，可将这段数据单选出来进行分析判断。
2)异常值剔除方法，针对自动监测系统获得的异常值，采用以下方法进行剔除：
(1)极值控制：极值控制方法是根据各要素的物理特性、统计经验给定各要素的极大值和极小值；所述极值控制方法可有效地检验出极端异常的数据，可以浮标所配探头的量程范围作为判断标准，超出量程范围的数据被当作异常点剔除；
(2)标准差检验法：根据误差理论，一般情况下随机误差σ服从正态分布，δ是标准差，一般是未知的，通常用贝塞尔公式算得s代替σ，用平均值代替真值，若某个观测数据的残差满足>3s，则可疑，应该标记为异常值；
(3)与相邻数据的比较：该检验主要针对气泡、沾污等因素对各探头的影响；当某一时刻值与相邻时刻的绝对值大于某一个阈值时，即被当作异常值剔除；
(4)均方差检验：当某一时刻值与当天平均值大于标准方差n倍时，被当作异常值，其中n取5；
(5)图形检验法：画出时间序列图，对明显异常的数据进行人工剔除；
(6)参数互较：分析浮标所采集的数据，可以发现部分参数彼此之间会存在比较好的相关观测，如果通过实际分析发现在港湾中布放的浮标系统所获取的cdom和nitrate与盐度存在较好的相关关系，那么当测量数据远偏离这一相关关系，即可判断为异常值；
(7)特定天气事件的检验：当发生特定天气事件(如台风)时，海洋环境参数会有明显的变化，但浮标数据在此种条件并没有出现明显的响应，那么数据可能会出现异常值。
3)现场验证评估：通过现场采样、实验室测量等方式对浮标监测参数进行验证评估，尤其是对生物、化学探头所测数据，以确保数据的可靠性；比对参数主要有no3、do、chl以及cdom等。可在浮标布放地点采集水样，带回实验室进行分析；然后将实验室分析数据与浮标数据画出相关曲线图，从其分布趋势上判断浮标所采集数据的可靠性。