一种面向差异化港口的多维度数据融合方法及系统

本发明涉及智慧港口领域与数据处理领域，具体涉及一种面向差异化港口的多维度数据融合方法及系统。

背景技术：

1、随着国际经济贸易的蓬勃发展，传统的作业模式已无法满足日益增长的货物吞吐需求，港口信息化作业应运而生。以信息化为基础，港口作业将向智能化方向发展，从而有效提高作业效率和安全性。出现了大量专业化信息系统，囊括货主、货代、船公司、码头堆场、海关、银行等业务主体，贯穿提箱、放箱、还箱、运输等各个业务环节，每个信息系统对业务的推进都起到了举足轻重的作用，在港务公司系统内，eir、gis、受理中心、监控平台、信息采集等系统分别在运输、调度、管理等领域得到了广泛应用，积累了大量数据资源，并分别通过港口数据中心以共享数据、共享服务等方式对外提供实时/准实时数据服务，提高港口业务管理水平。

2、然而，目前各港口智能化水平不一，一部分码头按照自动化码头完成建造，一部分码头由传统码头改造成自动化码头，因此导致了港口设施数据采集的差异化，且各港口主营业务不同，所处地理位置不同，自然环境不同使得各港口业务数据、环境数据存在较大差异，这意味着它们之间的数据具有不同的结构、格式、来源和特性，这种异构性可能导致数据整合和共享的挑战，需要特殊的数据处理和管理方法来处理。

3、目前传统港口与现代化港口数据之间的异构性主要有以下几点，

4、数据来源：传统港口数据大多来自于手工记录、报表和传统数据库等，而现代化港口数据主要来自传感器、物联网设备和其他自动化系统，例如自动化港口的码头操作系统tos和设备控制系统ecs。

5、数据格式：传统港口数据通常是结构化数据，如数据库中的表格数据，而现代化港口数据可能包含非结构化和半结构化数据，如传感器数据、图像数据、文本数据等。

6、数据精度：传统港口数据容易存在人工输入错误，且较难修正。现代化港口数据通常是实时数据，具有更高的精度和准确性。

7、数据量和速度：传统港口由于可记录的数据不多，数据量较小，更新速度较慢，而现代化港口产生大量实时数据，速度较快。

8、数据处理和分析：传统港口的数据处理和分析通常是人工进行，而现代化港口利用数据科学和大数据技术进行自动化处理和分析。

9、数据应用：传统港口数据主要用于基本的港口运营管理和统计报表生成，而现代化港口数据广泛应用于智能航运调度、货物跟踪、设施管理、安全监控等方面。

10、数据整合和共享：传统港口的数据通常较为孤立，不容易与其他系统进行整合和共享，而现代化港口数据采用标准化的数据格式和接口，更容易实现整合和共享。

11、综上，由于各港口信息化程度参差不齐，集装箱业务有较大差异性，原始数据来源不统一，数据存储结构多样化，导致同一个货物在不同的信息系统中编码、类型、名称、关联关系等数据结构存在较大差异，无法对同一个货物进行状态信息、运输信息、空间信息等数据进行全面的查询和统计，无法对区域港口情况形成多维度诊断、分析。

12、港口货物管理业务具有数据源头多、数据体量大、统计维度多等特点，科学合理规划港口货物管理的基础是对各个层次、各个维度的海量数据信息进行集成融合、统筹管理，挖掘有效信息，以提升货物规划质量和效率。为支撑货物查验核对、运输分析管理、提放方案生成、箱货信息跟踪、经济技术评估等业务的开展，亟需对各港口共享的多源异构数据进行集成融合，实现设备数据库、运行数据库、图形数据库、规划数据库的“四库合一”。

13、港口数据中心需要集成多个不同港口的各类数据并进行数据清洗、数据处理、数据存储和数据可视化，目前没有一个完整的数据处理方法和数据处理流程，本发明通过构建一套针对多个港口的异构数据处理的方法，完成多港口数据融合。

技术实现思路

1、本发明提供一种面向差异化港口的多维度数据融合方法及系统，解决差异化港口的数据融合的问题。

2、本发明所提供的技术方案如下：

3、根据本发明的第一方面，提供了一种面向差异化港口的多维度数据融合方法，包括以下步骤：

4、s1、多港口数据采集

5、由多个港口根据自身生产情况采集港口业务数据，包括货物数据、船舶数据、港口设备运行数据、港口安全数据、港口操作数据、港口气象数据、港口环境数据和生产经济数据，并通过flume和kafka数据传输通道将数据上传至大数据平台；

6、s2、多港口数据融合

7、按照各港口上传数据情况结合iso28005港口数据标准构建港口数据标准库，将上传的数据进行标准化；再将标准化数据通过etl技术进行处理，得到融合各个港口的业务数据；

8、s3、多港口数据存储

9、将融合后的数据通过分布式文件管理系统hdfs将各港口数据存储到hadoop服务器集群中；

10、s4、多港口数据可视化

11、港口大数据平台根据用户对象的不同，依据存储的多港口数据对各用户进行业务支持。

12、进一步的，步骤s2包括：

13、s21、数据标准库构建

14、港口大数据中心通过iso28005港口数据标准结合各港口的信息化与智能化情况构建多港口数据标准化体系库，并通过第一特定天数为一个周期更新数据标准库；

15、s22、数据标准化

16、将上传的多港口数据通过数据标准库进行数据标准化，并构建每个港口数据标准化行为库用于加速各港口数据标准化处理速度，以第二特定天数为一个周期更新行为库；

17、s23、etl技术步骤

18、将标准化后的数据按照业务字段进行数据匹配与关联，并对关联后的数据进行维度建模，构建港口事实表，以及通过时间维度、船舶维度、货物维度、货主维度、码头维度的维度表构建港口数据模型。

19、进一步的，第一特定天数为30天或一个月。

20、进一步的，第二特定天数为1天。

21、进一步的，时间维度表是数据仓库数据切入点，包含字段有主键id、年year、月month和日day；船舶维度表是由与货物有关的数据明细和船舶有关的数据信息构成，包含字段有主键id、船号ship_id、船名ship_name、货号cargo_id、货重cargo_wight、提单号bill_id、卸单号unload_id、位置ship_location和时间date；货物维度是数据仓库基本维度，包含字段有主键id、货号cargo_id、货名cargo_name、货物数量cargo_amount、货物类别cargo_class、货重cargo_wight、货物体积cargo_vol、进出口编号inout_id和交运编号trade_id；货主维度表由各港口交易数据构成，用于从货主的货物行为中了解货主的需求，根据货主的需求完善市场规则的同时，挖掘潜在的新用户群体，其字段包括主键id、货主编号shipper_id、货主名称shipper_name、单位地址address、信誉credit、经营范围strength、制单人make_man、制单时间make_man_end和货物种类cargo_kind_nam；码头维度表用于了解各码头设备水平与处理货物的能力，便于货物集中调度，字段包括主键id、码头号wharf_id、码头位置wharf_locate、泊位数wharf_berth、码头设施wharf_facilities、码头吞吐量wharf_throughput和上传时间date；

22、港口事实表与众多纬度表通过含有id的关键字相连，结合纬度表和事实表，具体细化到每一宗货物的港口堆放、处理以及最终流向。

23、进一步的，步骤s3包括：

24、s31、安装和配置hadoop集群；

25、s32、在配置好hadoop集群后，启动hdfs服务；

26、s33、创建hdfs目录；

27、s34、将数据上传到hdfs；

28、s35、复制和冗余

29、hdfs自动将数据复制到多个从节点，以提供数据的冗余备份和容错性；

30、s36、管理hdfs空间

31、根据数据大小和访问模式来管理hdfs空间，确保适当的存储空间和性能；

32、s37、数据读取和访问

33、使用hdfs命令行工具、hadoop api或hadoop生态系统工具来读取和访问数据；

34、s38、监控和管理

35、监控集群的健康状态和性能，并对数据节点的故障进行处理。

36、进一步的，用户包括货代、船公司、车队和码头堆场。

37、根据本发明的第二方面，提供了一种用于实现上述中任意一项所述的面向差异化港口的多维度数据融合方法的面向差异化港口的多维度数据融合系统，包括：

38、多港口数据采集模块，用于由多个港口根据自身生产情况采集港口业务数据，包括货物数据、船舶数据、港口设备运行数据、港口安全数据、港口操作数据、港口气象数据、港口环境数据和生产经济数据，并通过flume和kafka数据传输通道将数据上传至大数据平台；

39、多港口数据融合模块，用于按照各港口上传数据情况结合iso28005港口数据标准构建港口数据标准库，将上传的数据进行标准化；再将标准化数据通过etl技术进行处理，得到融合各个港口的业务数据；

40、多港口数据存储模块，用于将融合后的数据通过分布式文件管理系统hdfs将各港口数据存储到hadoop服务器集群中；

41、多港口数据可视化模块，用于港口大数据平台根据用户对象的不同，依据存储的多港口数据对各用户进行业务支持。

42、进一步的，多港口数据融合模块包括：

43、数据标准库构建子模块，用于港口大数据中心通过iso28005港口数据标准结合各港口的信息化与智能化情况构建多港口数据标准化体系库，并通过第一特定天数为一个周期更新数据标准库；

44、数据标准化子模块，用于将上传的多港口数据通过数据标准库进行数据标准化，并构建每个港口数据标准化行为库用于加速各港口数据标准化处理速度，以第二特定天数为一个周期更新行为库；

45、etl技术步骤子模块，用于将标准化后的数据按照业务字段进行数据匹配与关联，并对关联后的数据进行维度建模，构建港口事实表，以及通过时间维度、船舶维度、货物维度、货主维度、码头维度的维度表构建港口数据模型；

46、其中，时间维度表是数据仓库数据切入点，包含字段有主键id、年year、月month和日day；船舶维度表是由与货物有关的数据明细和船舶有关的数据信息构成，包含字段有主键id、船号ship_id、船名ship_name、货号cargo_id、货重cargo_wight、提单号bill_id、卸单号unload_id、位置ship_location和时间date；货物维度是数据仓库基本维度，包含字段有主键id、货号cargo_id、货名cargo_name、货物数量cargo_amount、货物类别cargo_class、货重cargo_wight、货物体积cargo_vol、进出口编号inout_id和交运编号trade_id；货主维度表由各港口交易数据构成，用于从货主的货物行为中了解货主的需求，根据货主的需求完善市场规则的同时，挖掘潜在的新用户群体，其字段包括主键id、货主编号shipper_id、货主名称shipper_name、单位地址address、信誉credit、经营范围strength、制单人make_man、制单时间make_man_end和货物种类cargo_kind_nam；码头维度表用于了解各码头设备水平与处理货物的能力，便于货物集中调度，字段包括主键id、码头号wharf_id、码头位置wharf_locate、泊位数wharf_berth、码头设施wharf_facilities、码头吞吐量wharf_throughput和上传时间date；

47、港口事实表与众多纬度表通过含有id的关键字相连，结合纬度表和事实表，具体细化到每一宗货物的港口堆放、处理以及最终流向。

48、进一步的，多港口数据存储模块的步骤包括：

49、s31、安装和配置hadoop集群；

50、s32、在配置好hadoop集群后，启动hdfs服务；

51、s33、创建hdfs目录；

52、s34、将数据上传到hdfs；

53、s35、复制和冗余

54、hdfs自动将数据复制到多个从节点，以提供数据的冗余备份和容错性；

55、s36、管理hdfs空间

56、根据数据大小和访问模式来管理hdfs空间，确保适当的存储空间和性能；

57、s37、数据读取和访问

58、使用hdfs命令行工具、hadoop api或hadoop生态系统工具来读取和访问数据；

59、s38、监控和管理

60、监控集群的健康状态和性能，并对数据节点的故障进行处理。

61、本发明与现有技术相比，具有以下优点及有益效果：

62、1)本发明通过建立结合iso标准和港口自身数据情况构建的港口数据标准化体系，提高了港口数据标准化水平，消除了来自不同港口的数据差异，提高了多港口数据处理的效率。

63、2)本发明针对各港口设备智能化水平不一，上传数据标准化难度大问题，构建针对单个港口自身的港口数据标准化行为库，记录各港口标准化特征，加快了数据标准化速度。

64、3)本发明针对港口业务复杂，实体设备繁多，数据量增长迅速等问题，采用维度建模方式，构建事实表和维度表实现港口数据存储。