一种多源浮标数据与元数据整合处理系统及方法与流程

本发明涉及数据处理，更具体的说是涉及一种多源浮标数据与元数据整合处理系统及方法。

背景技术：

1、海上浮标主要包括大型锚系浮标、小型锚系浮标、潜标、波浪浮标、漂流浮标等类型，可搭载传感器类型丰富，观测要素涉及海洋水文、海洋气象、海洋生物、海洋化学各学科，同时产生大量的元数据信息。

2、当前，各浮标布放、管理的机构不同，浮标类型和搭载传感器类型各异，原始数据要素类型众多、格式庞杂、元数据信息丰富多样但信息零散。

3、长期以来，多源浮标数据的采集、质控、处理和元数据整合是一项繁重的工作，数据的采集导入和处理处于人工驱动、程序离散的状态，尤其是对元数据的处理和数据融合难度高、人工参与程度高，无法满足多源资料管理和使用需求。

4、因此如何设计一种多源浮标数据与元数据整合处理系统，提高了数据的综合性和一致性是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种多源浮标数据与元数据整合处理系统，能够提高了数据的综合性和一致性，使得分析和应用结果更加准确和可靠，为海洋数据研究和应用提供了重要支持。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种多源浮标数据与元数据整合处理系统，包括：

4、数据采集与导入模块，用于通过多源数据采集引擎获取多源浮标数据与元数据；

5、数据标准化模块，用于对所述浮标数据与元数据进行预处理，将预处理后的所述浮标数据与元数据统一为标准数据格式；

6、质量控制模块，用于对标准数据格式的所述浮标数据与元数据进行质量控制，利用各种检验单元筛选出异常数据，进行修正或质量标识；

7、数据排重整合与融合模块，用于对质量控制后的所述浮标数据与元数据进行排重和深度融合，获得整合后的多源浮标综合数据集。

8、其中，所述数据采集与导入模块，包括：

9、精确定位单元，用于对数据源进行精确定位，进行离线数据加载；

10、模型分离单元，用于采用灵活的配置策略和多任务模式实现采集规则的配置和运行实例的执行分离；

11、web动态和加密页面处理单元，用于通过http嗅探技术和断点续采技术实现对web动态和加密页面的数据采集；

12、实时、延时和离线数据处理单元，用于通过分布式的云部署对实时、延时和离线数据进行负载均衡和数据分流；

13、自定义配置单元，用于提供数据模板，支持输入数据模板自定义配置，添加互联网地址或离线导入待处理的浮标数据和元数据。

14、优选的，所述数据标准化模块，包括：

15、数据预处理单元，用于对浮标数据与元数据进行去除重复数据、填充缺失数据、处理异常值和平滑数据操作；

16、数据统一单元，用于将预处理后的浮标数据与元数据统一为netcdf标准数据格式，提供自描述的和可扩展的数据模型。

17、优选的，所述质量控制模块，包括：基本信息检验单元组、时空信息检验单元组和观测要素检验单元组。

18、所述基本信息检验单元组，包括：

19、格式检验单元，用于检验所述多源浮标数据与元数据文件命名及记录格式是否符合标准的格式规定；

20、非法码检验单元，用于检验所述多源浮标数据与元数据中的观测值是否在预定义的代码范围内，如果观测值不在代码范围内，则被视为错误；

21、缺测检验单元，用于检验所述多源浮标数据与元数据是否为缺测数据,若为缺测数据，不再进行其他检验；

22、全等性检验单元，用于检验所述多源浮标数据与元数据中某些保持长期不变并且具有一定参数值的要素项进行检验。

23、所述时空信息检验单元组，包括：

24、位置检验单元，用于检验所述多源浮标数据与元数据的观测站位置是否在预设范围内；

25、着陆检验单元，用于检验所述多源浮标数据与元数据的站位是否为陆地，若站位在陆地上则认为该站位数据信息可疑；

26、时间范围检验单元，用于检验所述多源浮标数据与元数据中观测时间的取值是否在预设范围内；

27、时间连续性检验单元，用于对所述多源浮标数据与元数据进行标准时间连续性检验；

28、风暴限制检验单元，用于检验多源浮标数据中异常天气情况下的所述范围和时间连续性检验是否关闭。

29、所述观测要素检验单元组，包括：

30、范围检验单元，用于检验所述多源浮标数据与元数据中的观测要素取值是否在正常的范围内；

31、气候特性检验单元，用于检验所述多源浮标数据是否满足季节性变化特征；

32、相关性检验单元，用于通过所述多源浮标数据中要素间的相互关系检验出异常数据；

33、递增性检验单元，用于检验所述多源浮标数据中要素的递增量差值是否大于等于预设值；

34、连续性检验单元，用于对所述多源浮标数据进行梯度检验、尖峰检验和恒定检验；

35、空间一致性检验单元，用于检验相邻观测站数据监测的一致性；

36、内部一致性检验单元，用于基于观测量之间的物理关系对数据进行检验。

37、优选的，所述质量控制模块，还包括综合分析检验单元，用于对所有检验单元检测出的异常数据进行综合分析，判断检测是否正确，分析错误原因，进行修正或质量标识。

38、优选的，所述数据排重整合与融合模块，包括：

39、数据排重整合单元，用于建立排重全等模型、微等模型及微小时空模型对浮标数据与元数据进行全等、可选字段复合排重，去除所述浮标数据与元数据中的冗余数据、多级重复数据；

40、数据融合单元，用于提取排重整合后的元数据的信息要素，计算多个实体间的最短或全路径，确定实体之间的关系，获得整合后的多源浮标综合数据集。

41、第二方面，本发明提供一种多源浮标数据与元数据整合处理方法，应用于上述的多源浮标数据与元数据整合处理系统，包括：

42、步骤一：通过多源数据采集引擎获取多源浮标数据与元数据；

43、步骤二：对浮标数据与元数据进行预处理，将预处理后的浮标数据与元数据统一为标准数据格式；

44、步骤三：对标准数据格式的浮标数据与元数据进行质量控制，利用各种检验单元筛选出异常数据，进行修正或质量标识；

45、步骤四：对质量控制后的浮标数据与元数据进行排重和深度融合，获得整合后的多源浮标综合数据集。

46、经由上述的技术方案可知，与现有技术相比，本发明技术方案存在以下

47、有益效果：

48、该系统实现了多源浮标数据的综合处理与分析，具有较高的数据处理能力和效率，简化了数据排重和整合工作，同时，提高了数据的综合性和一致性，使得分析和应用结果更加准确和可靠，为海洋数据研究和应用提供了重要支持。

技术特征：

1.一种多源浮标数据与元数据整合处理系统，其特征在于，包括：

2.根据权利要求1的一种多源浮标数据与元数据整合处理系统，其特征在于，所述数据采集与导入模块，包括：

3.根据权利要求1的一种多源浮标数据与元数据整合处理系统，其特征在于，所述数据标准化模块，包括：

4.根据权利要求1的一种多源浮标数据与元数据整合处理系统，其特征在于，所述质量控制模块，包括：基本信息检验单元组、时空信息检验单元组和观测要素检验单元组。

5.根据权利要求4的一种多源浮标数据与元数据整合处理系统，其特征在于，所述基本信息检验单元组，包括：

6.根据权利要求4的一种多源浮标数据与元数据整合处理系统，其特征在于，所述时空信息检验单元组，包括：

7.根据权利要求4的一种多源浮标数据与元数据整合处理系统，其特征在于，所述观测要素检验单元组，包括：

8.根据权利要求4的一种多源浮标数据与元数据整合处理系统，其特征在于，所述质量控制模块，还包括综合分析检验单元，用于对所有检验单元检测出的异常数据进行综合分析，判断检测是否正确，分析错误原因，进行修正或质量标识。

9.根据权利要求1的一种多源浮标数据与元数据整合处理系统，其特征在于，所述数据排重整合与融合模块，包括：

10.一种多源浮标数据与元数据整合处理方法，应用于如权利要求1-9任一项所述的多源浮标数据与元数据整合处理系统，其特征在于，包括：

技术总结
本发明公开了一种多源浮标数据与元数据整合处理系统，包括：数据采集与导入模块，通过多源数据采集引擎获取多源浮标数据与元数据；数据标准化模块，对浮标数据与元数据进行预处理，将预处理后的浮标数据与元数据统一为标准数据格式；质量控制模块，利用各种检验单元筛选出异常数据，进行修正或质量标识；数据排重整合与融合模块，对质量控制后的浮标数据与元数据进行排重和深度融合，获得整合后的多源浮标综合数据集。该系统实现了多源浮标数据的综合处理与分析，具有较高的数据处理能力和效率，简化了数据排重和整合工作，同时，提高了数据的综合性和一致性，使得分析和应用结果更加准确和可靠，为海洋数据研究和应用提供了重要支持。

技术研发人员：岳心阳,郑兵,刘玉龙,徐珊珊,苗庆生,董明媚,马铮,杨杨,丁峰,李维禄
受保护的技术使用者：国家海洋信息中心
技术研发日：
技术公布日：2024/6/18