一种森林生态观测站大数据的标准化管理系统及方法与流程

本发明涉及森林生态数据研究技术，具体涉及一种森林生态观测站大数据的标准化管理系统及方法。

背景技术：

森林生态系统的变化是一个复杂而长期的过程，只有通过对其观测数据进行长期的观测和研究，才能揭示其变化过程、规律和趋势。长期生态学研究的持续时间久，参与大数据获取的人往往因为各种原因而经常变动，且长期生态学的观测大数据要求实现共享。

观测大数据是森林生态科学研究的基础，科研成果的代表性、正确性与研究所使用的数据密切相关，而科学数据的获取往往需要投入大量的人力、物力和财力。科学数据作为现代科学可持续发展的重要资源以及科学数据与创新知识产生的密不可分在国际科学界已经成为共识。科学数据共享作为科技创新的原动力之一，已受到科学家乃至社会公众的广泛关注，长期、连续的大数据常常是科学规律发现的重要支撑条件。

目前，各森林生态站通过开展各种试验、观测和研究，已积累了海量的、格式多样的观测数据，但这些数据由于时有发生的保管不善、数据丢失、数据损失及缺乏数据管理标准作指导，使定位观测数据堆积形成了诸多的信息孤岛，无法实现数据资源共享，造成了数据资源的闲置浪费，严重影响了森林生态研究的准确性；现有的对这些数据的管理方法是将长期调查的生态学数据加以整理并建立数据库，完善共享机制并供用户在网上获取有关数据，但现有管理方法没有形成统一的标准或规范，且无法保证所产生数据的科学性，以及在时间和空间上的可比性。

技术实现要素：

针对现有技术中的缺陷，本发明提供一种森林生态观测站大数据的标准化管理系统及方法，通过制定管理指标体系、预处理及统一标准化管理，提高了森林生态的数字化观测研究水平和观测大数数据质量，同时实现了森林生态系统定位观测研究的统一化、标准化、数据共享及智能化管理。

第一方面，本发明提供了一种森林生态观测站大数据的标准化管理系统，包括管理指标体系模块、数据预处理模块及数据管理模块；

所述管理指标体系模块中包括森林生态观测站大数据中各数据的采集指标；

所述数据预处理模块基于所述管理指标体系模块采集并划分所述森林生态观测站大数据中的各类数据，得到预处理数据；

所述数据管理模块用于对所述预处理数据进行数据质量管理及数据安全管理，得到最终管理数据，并对所述预处理数据及最终管理数据进行数据存档。

进一步的，所述管理指标体系模块包括一级指标及从属于各所述一级分类指标下的二级分类指标；

所述一级分类指标包括：森林生态观测站的站点信息、科研信息、人员信息及观测数据信息；

所述森林生态观测站的站点信息的二级分类指标包括：森林生态观测站的站点名称、隶属关系及站区概况；

所述科研信息的二级分类指标包括：科研项目信息、发表论文信息、出版著作信息、发明专利信息、获奖信息、标准制订信息及学术活动信息；

所述人员信息的二级分类指标包括：研究人员信息、人员培训信息及学生培养信息；

所述观测数据信息的二级分类指标包括：水源观测数据、土壤观测数据、气候观测数据及生物观测数据。

进一步的，所述数据预处理模块包括数据采集单元、数据分级单元及数据分类单元；

所述数据采集单元基于所述管理指标体系模块采集所述森林生态观测站大数据中的各类数据；

所述数据分级单元在分布式数据库中将采集到的所述森林生态观测站大数据中的各类数据划分为基础数据和高级数据；

其中，所述基础数据包括各所述森林生态站的观测数据；

所述高级数据包括中国森林生态系统定位研究网络管理中心汇总与保存其管辖的各所述森林生态站的观测数据；

所述数据分类单元用于根据数据的共享程度，将采集到的所述森林生态观测站大数据中的各类数据划分为用于网络发布的共享数据和由所述森林生态站自行管理的非共享数据。

进一步的，所述数据管理模块包括数据质量管理单元、数据安全管理单元及数据存档单元；

所述数据质量管理单元用于对所述预处理数据进行数据准确性、一致性及完整性的检验；

所述数据安全管理单元用于对所述预处理数据进行用户分类、数据多重备份及恢复、数据异地存储、数据防护及数据保密处理，得到所述最终管理数据；

所述数据存档单元用于存储所述数据预处理模块采集的原始数据及所述最终管理数据。

进一步的，所述数据管理模块还包括系统维护单元、数据更新单元及数据输出单元；

所述系统维护单元用于维护各模块的稳定性及安全性；

所述数据更新单元用于定时更新各模块数据及输出单元的显示数据；

所述数据输出单元用于输出显示各模块的工作进程及森林生态观测站大数据的最终管理数据。

第二方面，本发明还提供了一种森林生态观测站大数据的标准化管理方法，包括：

建立目标森林生态的管理指标体系；

根据所述管理指标体系采集并存档森林生态观测站大数据中的各类数据；

对采集到的所述森林生态观测站大数据中的各类数据进行分级与分类，得到预处理数据；

对所述预处理数据进行数据质量管理及数据安全管理，得到最终管理数据；

存档所述最终管理数据，完成对目标森林生态的森林生态观测站大数据的管理。

进一步的，所述建立目标森林生态的管理指标体包括：

根据目标森林生态的实际信息建立一级分类指标，所述一级分类指标包括目标森林生态中各森林生态观测站的站点信息、科研信息、人员信息及观测数据信息；

细分得到各所述一级分类指标下的二级分类指标及各所述二级分类指标下的三级分类指标，得到所述管理指标体系。

进一步的，所述对采集到的所述森林生态观测站大数据中的各类数据进行分级与分类，得到预处理数据包括：

将采集到的所述森林生态观测站大数据中的各类数据划分为基础数据及高级数据，并根据数据的共享程度，将采集到的所述森林生态观测站大数据中的各类数据划分为用于网络发布的共享数据和由所述森林生态站自行管理的非共享数据，得到预处理数据；

其中，所述基础数据包括各所述森林生态站的观测数据；

所述高级数据包括中国森林生态系统定位研究网络管理中心汇总与保存其管辖的各所述森林生态站的观测数据。

进一步的，所述对所述预处理数据进行数据质量管理，包括：

统一所述预处理数据的数据格式；

检验格式统一后的所述预处理数据的准确性，筛除错误数据；

根据所述管理指标体系及数据存档，检验所述预处理数据的一致性，筛除冗余数据及编码字典不一致的数据；

设置完整性规则，根据所述完整性规则检验所述预处理数据的完整性，完成所述预处理数据的数据质量管理。

进一步的，所述对所述预处理数据进行数据安全管理，包括：

对所述预处理数据进行用户分类，分为系统用户和数据用户；所述系统用户负责所述预处理数据的日常管理和维护，所述数据用户用于赋予所述预处理数据中的单项数据的使用权限；

对所述预处理数据进行数据多重备份及恢复，备份数据的介质与服务器分别存放，恢复的数据文件恢复至数据库；

建立数据异地存储机制，对所述预处理数据进行数据异地存储；

对所述预处理数据进行数据防护，在数据传输时对数据进行加密和解密处理；

对所述预处理数据进行数据保密处理，实行物理及公共网络的隔离。

由上述技术方案可知，本发明实现了对森林生态系统定位观测研究的统一化、标准化、数据共享及智能化管理；进而提高了森林生态站的数字化观测研究水平和数据质量，推动森林生态系统定位观测研究数据的标准化和数据共享，促进了中国森林生态系统定位研究网络(CFERN)的健康发展，为研究重大科学问题和开展森林生态系统联网研究提供有效的数据保证。

1、本发明的技术方案，为观测大数据的采集提供了明确且详细的参照体系，提高了观测大数据在采集阶段的精确性。

2、本发明的技术方案，在预处理阶段对数据进行分级及分类，提高了观测大数据在管理阶段的处理效率。

3、本发明的技术方案，对数据进行详细且标准化的质量及安全管理，全面且智能的校正了数据的准确性。

4、本发明的技术方案，统一不同生态站各监测数据的规范性，提高数据使用率，并将观测数据统一管理、备份，降低了数据丢失、损毁的风险性。

5、本发明的技术方案，对数据进行保密与维护，保证了数据的安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种森林生态观测站大数据的标准化管理系统示意图；

图2为本发明的系统中的管理指标体系模块示意图；

图3为本发明的系统中的数据预处理模块示意图；

图4为本发明的系统中的数据管理模块示意图；

图5为本发明的一种森林生态观测站大数据的标准化管理方法的流程图；

图6为本发明的具体应用例中的在标准化管理系统中进行森林生态观测站大数据标准化管理方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种森林生态观测站大数据的标准化管理系统，该系统中设有管理指标体系模块10、数据预处理模块11及数据管理模块12；

管理指标体系模块10中包括森林生态观测站大数据中各数据的采集指标；

数据预处理模块11基于管理指标体系模块10采集并划分森林生态观测站大数据中的各类数据，得到预处理数据；

数据管理模块12用于对预处理数据进行数据质量管理及数据安全管理，得到最终管理数据，并对预处理数据及最终管理数据进行数据存档。

如图2所示，管理指标体系模块10包括一级指标及从属于各一级分类指标下的二级分类指标；

一级分类指标包括：森林生态观测站的站点信息、科研信息、人员信息及观测数据信息；

森林生态观测站的站点信息的二级分类指标包括：森林生态观测站的站点名称、隶属关系及站区概况；

科研信息的二级分类指标包括：科研项目信息、发表论文信息、出版著作信息、发明专利信息、获奖信息、标准制订信息及学术活动信息；

人员信息的二级分类指标包括：研究人员信息、人员培训信息及学生培养信息；

观测数据信息的二级分类指标包括：水源观测数据、土壤观测数据、气候观测数据及生物观测数据。

如图3所示，数据预处理模块11包括数据采集单元30、数据分级单元31及数据分类单元32；

数据采集单元30基于管理指标体系模块10采集森林生态观测站大数据中的各类数据；

数据分级单元31在分布式数据库中将采集到的森林生态观测站大数据中的各类数据划分为基础数据和高级数据；

其中，基础数据包括各森林生态站的观测数据；

高级数据包括中国森林生态系统定位研究网络管理中心汇总与保存其管辖的各森林生态站的观测数据；

数据分类单元32用于根据数据的共享程度，将采集到的森林生态观测站大数据中的各类数据划分为用于网络发布的共享数据和由森林生态站自行管理的非共享数据。

如图4所示，数据管理模块12包括数据质量管理单元40、数据安全管理单元41及数据存档单元42；

数据质量管理单元40用于对预处理数据进行数据准确性、一致性及完整性的检验；

数据安全管理单元41用于对预处理数据进行用户分类、数据多重备份及恢复、数据异地存储、数据防护及数据保密处理，得到最终管理数据；

数据存档单元42用于存储数据预处理模块11采集的原始数据及最终管理数据。

其中，数据管理模块12还包括系统维护单元43、数据更新单元44及数据输出单元45；

系统维护单元43用于维护各模块的稳定性及安全性；

数据更新单元44用于定时更新各模块数据及输出单元的显示数据；

数据输出单元45用于输出显示各模块的工作进程及森林生态观测站大数据的最终管理数据。

如图5所示，本发明提供一种森林生态观测站大数据的标准化管理方法，如下：

100.建立目标森林生态的管理指标体系；

101.根据管理指标体系采集并存档森林生态观测站大数据中的各类数据；

102.对采集到的森林生态观测站大数据中的各类数据进行分级与分类，得到预处理数据；

103.对预处理数据进行数据质量管理及数据安全管理，得到最终管理数据；

104.存档最终管理数据，完成对目标森林生态的森林生态观测站大数据的管理。

其中，建立目标森林生态的管理指标体包括：

根据目标森林生态的实际信息建立一级分类指标，一级分类指标包括目标森林生态中各森林生态观测站的站点信息、科研信息、人员信息及观测数据信息；

细分得到各一级分类指标下的二级分类指标及各二级分类指标下的三级分类指标，得到管理指标体系。

其中，对采集到的森林生态观测站大数据中的各类数据进行分级与分类，得到预处理数据包括：

将采集到的森林生态观测站大数据中的各类数据划分为基础数据及高级数据，并根据数据的共享程度，将采集到的森林生态观测站大数据中的各类数据划分为用于网络发布的共享数据和由森林生态站自行管理的非共享数据，得到预处理数据；

其中，基础数据包括各森林生态站的观测数据；

高级数据包括中国森林生态系统定位研究网络管理中心汇总与保存其管辖的各森林生态站的观测数据。

其中，对预处理数据进行数据质量管理，包括：

统一预处理数据的数据格式；

检验格式统一后的预处理数据的准确性，筛除错误数据；

根据管理指标体系及数据存档，检验预处理数据的一致性，筛除冗余数据及编码字典不一致的数据；

设置完整性规则，根据完整性规则检验预处理数据的完整性，完成预处理数据的数据质量管理。

其中，对预处理数据进行数据安全管理，包括：

对预处理数据进行用户分类，分为系统用户和数据用户；系统用户负责预处理数据的日常管理和维护，数据用户用于赋予预处理数据中的单项数据的使用权限；

对预处理数据进行数据多重备份及恢复，备份数据的介质与服务器分别存放，恢复的数据文件恢复至数据库；

建立数据异地存储机制，对预处理数据进行数据异地存储；

对预处理数据进行数据防护，在数据传输时对数据进行加密和解密处理；

对预处理数据进行数据保密处理，实行物理及公共网络的隔离。

如图6所示，本发明提供一种在森林生态观测站大数据的标准化管理系统实现森林生态观测站大数据的标准化管理方法的具体应用例，如下：

200、在标准化管理系统中建立目标森林生态的管理指标体系；

201、数据预处理模块根据管理指标体系采集并存档森林生态观测站大数据中的各类数据；数据管理模块存档森林生态观测站大数据中的各类数据；

202、数据预处理模块对采集到的森林生态观测站大数据中的各类数据进行分级与分类，得到预处理数据；

203、数据管理模块对预处理数据进行数据质量管理及数据安全管理，得到标准化管理数据；

204、数据管理模块存档标准化管理数据，完成对目标森林生态的森林生态观测站大数据的标准化管理。

其中，管理指标体系如下：

一级分类指标：站点信息、科研信息、人员信息和观测数据信息；

①站点信息

考虑到森林生态站的特点，参考中国森林生态系统定位研究网络的站点介绍，把站点信息划分为站点名称、隶属关系以及站区概况。

站点信息的二级分类指标为：

a)站点名称、隶属关系：依据目前森林生态站的主管单位情况，将管辖站点的名称、隶属划分为站点名称、主管单位、行政隶属、承担单位、依托单位。

b)站区概况

站区概况的三类指标分为：自然地理概况、基础设施和仪器。

自然地理概况：自然地理概况参考《地理信息元数据》(GB/T 19710-2005)，包括地理位置及地貌概况、气候概况、社会经济概况、土壤概况和群落及物种概况；

基础设施和仪器：场地信息为“包含野外观测、调查、试验等活动的发生地的有关信息，将基础设施和仪器分为基础设施、仪器设备、样地信息、坡面径流场信息、测流堰信息和历史沿革。历史沿革要求准确反映主要历史阶段发生的主要事件，包括年度、事件等指标。

其中，自然地理概况及基础设施和仪器的具体内容如下表1所示：

表1

②科研信息

科研信息主要反映森林生态站的科研活动及其科研成果，分为科研项目信息、发表论文信息、出版著作信息、发明专利信息、获奖信息、标准制订信息、学术活动信息。

科研信息下的二级分类指标为：科研项目信息、发表论文信息、出版著作信息、发明专利信息、获奖信息、标准制订信息及学术活动信息；

将科研项目信息划分项目名称、代码、来源、经费、项目类别、开始时间、结束时间、主持人、承担单位。学术活动是森林生态站科研活动的重要内容之一，是了解国内外科研进展名称、提高科研水平的重要方式，因此学术活动多少反映了森林生态站的开放情况及科研水平。鉴于学术活动的重要性，所以选定举办地点、学术活动名称、学术活动类别、举办国家、举办单位、年度等指标反映学术活动情况。其中，科研信息下的二级分类指标的具体内容如下表2所示：

表2

③人员信息

人员信息为森林生态站有关人员的信息总汇，其二级分类指标主要包括研究人员信息、人员培训信息、学生培养信息等内容。其中，人员信息下的二级分类指标的具体内容如下表3所示：

表3

④观测数据信息

观测数据信息主要依据森林生态系统定位观测指标体系，其二级分类指标包括水源观测数据、土壤观测数据、气候观测数据及生物观测数据四大类。

其中，管理方法中还包括管理机构、管理方式、质量管理、安全管理、存档五个方面，如下：

①数据管理机构

参考CERN和ECN等网络的数据管理办法，结合森林生态系统定位研究网络的实际情况，森林生态站数据采用集中—分布式相结合的管理方法，采用两级管理：中国森林生态系统定位研究网络管理中心和森林生态站。

②数据管理方式

参考中国生态系统研究网络的数据管理办法和数据管理模式，考虑到目前森林生态站的实际情况，森林生态站的数据管理采用集中—分布式相结合的管理模式。

a)分级管理：针对森林生态站分布分散和数据应用相对集中的特点，采用分布式数据库进行数据管理。数据管理的分级与管理机构相对应，分为中国森林生态系统定位研究网络管理中心和森林生态站二级进行管理。中国森林生态系统定位研究网络管理中心负责汇总与保存所管辖的各森林生态站的观测数据，森林生态站则管理本站的观测数据。

b)分类管理：根据数据的共享程度，将观测数据分为共享数据和非共享数据两类。共享数据用于网络发布，不收取费用；非共享数据由森林生态站自行管理。

③数据质量管理

为了便于对森林生态站的观测数据进行管理，需要对观测数据的格式作出统一规定。森林生态站观测数据格式要求为文本文件或EXCEL文件。

为保证观测数据的质量，数据质量管理包括数据精度、数据一致性、完整性等方面的内容。

生态站数据质量管理负责人检查数据的精确度、准确度和可靠性；中心数据管理负责人负责检查上报数据的精确度、准确度，以及数据的完整性和可比性，以保证定位观测数据的准确可靠。

数据精度参照《森林生态系统定位观测指标体系》中的相关规定。

通过数据管理指标及其存储的设计保证数据的一致性，包括杜绝数据冗余以及保证数据编码字典的一致性。

数据的完整性控制指通过设置完整性规则，确保数据的正确性、有效性和相容性。

④数据安全管理

数据的安全管理十分重要。为保证数据安全性，结合森林生态站数据特点，制定森林站的数据管理保障措施，包括用户分类、数据的多重备份和恢复、数据的异地存储、数据防护和数据保密。

a)用户分类

根据数据分类对数据的使用进行用户管理，将用户分为系统用户和数据用户。

系统用户负责数据的日常管理和维护，分为一般管理用户(即数据管理员)和超级管理用户(即系统管理员)。一般管理用户负责数据的单一管理或局部数据的管理。超级管理用户负责全局数据和用户数据的管理。

数据用户赋予单项数据的使用权限，分为一般用户、注册用户和特殊用户。将用户权限分为数据的版权(拥有权)、修改权、更新权以及数据的使用权和分发权等。其中，数据的用户管理的具体分类内容如表4所示：

表4

b)数据的多重备份和恢复

为保证森林生态系统所有定位观测数据的长期可用性和安全性，防止因存储介质问题而引起数据丢失，所有观测数据均要进行多重备份。数据备份由专人负责。备份介质(磁带、移动硬盘、光盘等)应与服务器分别存放。进行数据恢复时将备份过的数据文件恢复到数据库中即可。

c)数据的异地存储

为了增强数据存储的安全性，防止因存储和备份介质破坏而带来的不可预见的数据损失，所有的定位观测数据均应建立数据异地存储机制。

d)数据防护

数据的加密和解密：在数据传输时对数据进行加密和解密处理，确保数据的安全和准确。

数据的防病毒功能：装备防病毒软件，数据的装载、传输检查等措施。

网络信息安全：通过控制网络的安全性措施提高数据的安全性。

e)数据保密

遵守国家保密法规和知识产权保护法律，严格执行数据的保密工作。处于保护期内的各类数据，未经数据生产单位许可，不得向第三者转手提供；使用他人数据的用户在发表相关成果时，应注明其所使用数据的生产单位、数据提供单位，并向数据提供单位反馈数据利用情况的相关信息等。对保密的数据实行物理上和公共网络上的隔离。

⑤数据存档

森林生态站存档数据按科研档案、观测档案、基建档案和其他档案4大类对其原始数据和材料进行整理归档保存。

(3)信息管理系统

为提高观测数据的利用效率以及确保数据的安全性、完整性，顺利实现数据的输入、查询、统计、排序、打印报表等管理工作，根据中国森林生态系统定位研究网络观测数据的管理需要，综合国内外信息管理系统的定义，把信息管理系统定义为基于计算机语言和技术手段而创建，具有输入、计算、汇总、排序、质量控制、输出、共享等功能的森林生态站数据管理系统。

①信息管理系统组成

根据数据管理指标和数据管理需求，确定森林生态站信息管理系统的组成单元。森林生态站信息管理系统应具备数据采集、管理(包括维护及更新)和输出三项基本功能。数据采集窗口分别由站点信息、科研信息、人员信息、观测数据信息4个部分组成。

②数据管理硬件配置

根据森林生态系统定位研究网络数据管理的特点，把数据管理硬件配置分为网络中心硬件配置和森林生态站硬件配置两部分。森林生态站的观测数据不可能通过单一的数据存储方式完成，而需要成千上万不同的网络组织进行管理，因此硬件配置必须满足数据管理和输出功能，需要具有高速网络的服务器，并能够支持基于网络的分布式计算机操作系统，以解决空间数据及多媒体海量数据的等待和延迟问题。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明中的一个或多个方面，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。