一种暴雨灾害数据处理方法及系统与流程

本发明总的来说涉及气象灾害预测。具体而言，本发明涉及一种暴雨灾害数据处理方法及系统。

背景技术：

1、暴雨是气象灾害中最严重、最常发生的灾害之一，容易造成洪涝和城市内涝等灾害，进而导致人员伤亡和重大经济损失。而对各种暴雨灾害数据进行分析处理是实现精准的暴雨灾害自动识别的重要一环。

2、然而在传统的暴雨灾害数据的处理过程中，对暴雨灾害数据的整合分析仍存在很大的空缺和不足。

3、

技术实现思路

1、为至少部分解决现有技术中的上述问题，本发明提出一种暴雨灾害数据处理方法, 包括下列步骤：

2、从多个数据渠道收集暴雨灾害数据；

3、对所述暴雨灾害数据进行数据评估并且对所述多个数据渠道的数据准确率进行筛选；

4、对所述暴雨灾害数据进行数据清洗以及数据融合；以及

5、根据所述暴雨灾害数据构造暴雨灾害数据资源库。

6、在本发明一个实施例中规定，所述暴雨灾害数据包括：

7、暴雨灾害元数据，其包括暴雨灾害事件元数据以及暴雨灾害过程元数据；

8、暴雨灾害监测数据，其包括气象基础数据、地面监测数据、高空监测数据、雷达监测数据以及卫星监测数据；

9、暴雨预报服务数据，其包括暴雨灾害气象智能网格数据、暴雨灾害数值预报数据、暴雨灾害天气预报及预警数据。

10、所述暴雨灾情数据，其包括暴雨灾害的来源、时间、地点、影响、特征以及辅助信息；以及

11、暴雨专题产品数据，其包括暴雨灾害时间历史序列数据、暴雨灾害实时动态数据以及暴雨灾害影响分析数据。

12、在本发明一个实施例中规定，所述数据渠道包括：气象部门内部数据、全球灾害平台数据、应急管理部门数据、互联网数据以及社会经济数据。

13、在本发明一个实施例中规定，对所述暴雨灾害数据进行数据评估包括计算暴雨灾害数据的评估分数，表示为下式：

14、

15、其中，表示评估指标的数量， 分别表示各个评估指标的权重，分别表示各个评估指标的评估分数，其中所述评估指标包括数据来源、数据及时性、数据审核度以及数据利用率。

16、在本发明一个实施例中规定，对所述多个数据渠道的数据准确率进行筛选包括：

17、以数据渠道的数量，以分别表示各个数据渠道的数据准确概率，其中 表示 个数据渠道的数据准确概率；

18、计算第个数据渠道的数据准确概率,表示为下式：

19、

20、其中，表示线性回归模型的输出。

21、在本发明一个实施例中规定，对所述暴雨灾害数据进行数据清洗包括：

22、进行重复数据清洗，其中通过预定义暴雨灾害数据的重复标识以进行重复检测；

23、进行不完整数据清洗，其中设置暴雨灾害数据的关键字段，将记录不完整并且不具有关键字段的暴雨灾害数据删除，并且对记录不完整并且具有关键字段的暴雨灾害数据进行字段填充并保留；

24、进行数据格式清洗，其中对时间、日期、数值显示不正确，或者具有不合理的字符的暴雨灾害数据进行清洗；

25、进行错误数据清洗，其中用统计分析方法识别数据中的错误值或者异常值，或者使用规则库检查数据中的异常值，或者使用不同属性间的约束或者使用外部数据来检测和清理错误数据。

26、在本发明一个实施例中规定，所述数据融合包括通过数据层融合、特征层融合或者决策层融合对多个数据渠道的暴雨灾害数据进行数据融合，其中包括下列步骤：

27、提供暴雨灾害气象数据的属性字段，所述属性字段包括死亡人口、受灾人口、直接经济损失、倒塌房屋、农作物受灾面积；以及

28、通过相似性匹配算法比较多个数据渠道道的暴雨灾害数据的属性字段之间的相似性，并且将相似性高的暴雨灾害数据进行融合，其中融合过程表示为下式：

29、

30、其中， 表示a渠道的暴雨灾害数据与b渠道的暴雨灾害数据的相似性，表示a渠道的暴雨灾害数据与b渠道的暴雨灾害数据中的交集元素个数， 表示a渠道的暴雨灾害数据与b渠道的暴雨灾害数据中的并集元素个数。

31、本发明还提出一种暴雨灾害数据处理系统，其包括：

32、数据获取模块，其被配置为从多个数据渠道收集暴雨灾害数据；

33、数据预处理模块，其被配置为对所述暴雨灾害数据进行数据评估并且对所述多个数据渠道的数据准确率进行筛选；

34、数据清洗融合模块，其被配置为对所述暴雨灾害数据进行数据清洗以及数据融合；以及

35、暴雨灾害数据资源库，其被配置为存储所述暴雨灾害数据并提供查询目录。

36、本发明还提出一种计算机可读存储介质，其上存储有机器可读指令，所述机器可读指令在被处理器执行时执行根据所述方法的步骤。

37、本发明还提出一种计算机系统，其包括：

38、处理器，其被配置为执行机器可读指令；以及

39、存储器，其被存储有机器可读指令，所述机器可读指令在被处理器执行时执行根据所述方法的步骤。

40、本发明至少具有如下有益效果：本发明提出一种暴雨灾害数据处理方法及系统，其可以对多个数据渠道的暴雨灾害数据进行预处理、清洗、融合后形成标准规范的暴雨灾害资源库，便于暴雨灾害数据的查询和调用，进而可以有效提高暴雨灾害自动识别的准确性。

41、

技术特征：

1.一种暴雨灾害数据处理方法，其特征在于，包括下列步骤：

2.根据权利要求1所述的暴雨灾害数据处理方法，其特征在于，所述暴雨灾害数据包括：

3.根据权利要求2所述的暴雨灾害数据处理方法，其特征在于，所述数据渠道包括：气象部门内部数据、全球灾害平台数据、应急管理部门数据、互联网数据以及社会经济数据。

4.根据权利要求3所述的暴雨灾害数据处理方法，其特征在于，对所述暴雨灾害数据进行数据评估包括计算暴雨灾害数据的评估分数，表示为下式：

5.根据权利要求4所述的暴雨灾害数据处理方法，其特征在于，对所述多个数据渠道的数据准确率进行筛选包括：

6.根据权利要求5所述的暴雨灾害数据处理方法，其特征在于，对所述暴雨灾害数据进行数据清洗包括：

7.根据权利要求6所述的暴雨灾害数据处理方法，其特征在于，所述数据融合包括通过数据层融合、特征层融合或者决策层融合对多个数据渠道的暴雨灾害数据进行数据融合，其中包括下列步骤：

8.一种暴雨灾害数据处理系统，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，其上存储有机器可读指令，所述机器可读指令在被处理器执行时执行根据权利要求1-7之一所述的方法的步骤。

10.一种计算机系统，其特征在于，包括：

技术总结
本发明涉及气象灾害预测技术领域，提出一种暴雨灾害数据处理方法及系统，该方法包括：从多个数据渠道收集暴雨灾害数据；对所述暴雨灾害数据进行数据评估并且对所述多个数据渠道的数据准确率进行筛选；对所述暴雨灾害数据进行数据清洗以及数据融合；以及根据所述暴雨灾害数据构造暴雨灾害数据资源库。本发明可以对多个数据渠道的暴雨灾害数据进行预处理、清洗、融合后形成标准规范的暴雨灾害资源库，便于暴雨灾害数据的查询和调用，进而可以有效提高暴雨灾害自动识别的准确性。

技术研发人员：刘雯,潘勐,章建成,张冰松,王姗姗,夏羽,韩书倩,杨芳,向芬,院琨,田丹,董丽萍
受保护的技术使用者：湖北省气象信息与技术保障中心（湖北省气象档案馆 新一代天气雷达技术支持武汉分中心）
技术研发日：
技术公布日：2025/3/3