本发明涉及港口吞吐量预测领域,尤其涉及一种港口吞吐量预测和管理方法及其系统。
背景技术:
1、目前的港口吞吐量预测是通过人工、电子表单,以及人工统计和计算进行港口吞吐量的低效的预测过程。基于分散的事务型业务系统数据进行数据统计汇总,半人工方式进行港口吞吐量数据分析和预测,对于数据指标结果没有后续业务支撑。
2、现有技术对港口吞吐量的统计分析存在如下的几个问题:
3、1、缺少共享交换体系,导致无法支撑跨部门统计,统计数据存放在多业务部门和系统中,缺少跨部门的共享交换体系,港口吞吐量汇总处理效率低下。
4、2、统计分析过程单一,缺少快速配置的方式进行统计分析,导致无法适应业务变化和业务需求类型多样性,现有的业务系统无法提供体系化的统计分析能力,导致分析工作周期长,时效性差。
5、3、目前业务系统缺少建设主题库、专题库的能力,缺少从海量数据中分析、挖掘数据价值的工具和能力,无法将数据转换为信息和知识,为业务的深层次分析、预警及预测提供能力,导致对应港口吞吐量的决策只能依靠历史统计数据或个人经验。
6、因此,就需要一种能够对数据计算进行合理实时调用并快速统计、根据实时统计趋势辅助业务决策、打通跨部门数据统计壁垒的港口吞吐量预测和管理方法及其系统。
技术实现思路
1、本发明为了解决现有的港口吞吐量预测需要人工统计表单、事务型业务系统数据分散、无法自动对港口吞吐量数据指标进行分析和预测、无法实时支持后续业务的缺陷,提供了一种能够对数据计算进行合理实时调用并快速统计、根据实时统计趋势辅助业务决策、打通跨部门数据统计壁垒的港口吞吐量预测和管理方法及其系统。
2、本发明所述的一种港口吞吐量预测和管理方法,包括如下步骤:
3、s1、对分散在各事务型业务系统中的港口吞吐量数据进行数据集成;
4、s2、对集成后的港口吞吐量数据进行数据标准化;
5、s3、对标准化后的港口吞吐量数据进行多维数据模型和数据挖掘数据模型建设;
6、s4、对标准化后的港口吞吐量数据进行数据综合治理,所述数据综合治理包括数据质量治理、数据安全管理和/或元数据管理;
7、s5、对数据综合治理后的港口吞吐量数据进行可视化展现;所述可视化是通过数据图表实现不同维度和/或不同视角的指标信息,同时用户能够分层分级查看指标卡片;
8、s6、对数据综合治理后的港口吞吐量进行多维数据分析、数据挖掘分析和预测;基于数据综合治理完成的港口吞吐量多维数据模型实现对港口吞吐量的多维数据分析,所述多维数据分析包括钻取、切片、切块、旋转和/或过滤;所述数据挖掘分析包括分类、聚类、关联和/或时间序列;
9、s7、对数据综合治理后的港口吞吐量指标进行综合业务管理。
10、进一步地:在s1中,所述数据集成是获取各事务型业务系统的港口吞吐量数据,并根据港口吞吐量数据的数据类型进行对应的数据类型转换。
11、进一步地:在s2中,所述数据标准化是根据预设的业务管理要求和规范对集成后的吞吐量数据进行标准化,建立统一的吞吐量数据的标准体系,同时制定吞吐量数据标准,所述吞吐量数据标准包括数据分类标准、元数据管理标准、数据交换标准和/或数据质量管理标准。
12、进一步地:在s3中,所述多维数据模型建设是通过设计维度表,结合维度表和数据业务分析要求设计事实表,将事实表作为多维数据模型对港口吞吐量数据进行多维视角的数据分析和查询显示。
13、进一步地:在s3中,所述数据挖掘数据模型将数据治理后的结果作为数据挖掘数据模型,在数据端对港口吞吐量数据进行数据挖掘样本模型处理。
14、进一步地:在s4中,所述数据综合治理包括数据质量治理、数据安全管理和元数据管理,所述数据质量治理、数据安全管理和元数据管理分别按照对应的数据标准进行数据综合治理。
15、进一步地:在s6中,所述港口吞吐量多维数据模型包括操作数据层、公共维度数据层和数据应用层,所述操作数据层位于业务系统和数据仓库之间,用于对业务系统的港口吞吐量数据进行数据整合、数据初步清洗、数据存储和实时数据查询;所述公共维度数据层是数据仓库中的核心层,用于定义数据仓库中使用的共同数据结构和业务规则,将不同的数据源和数据格式映射到一个通用模型中;所述数据应用层是数据仓库体系结构的顶层,用于根据实际的预设需求对通用模型的数据进行查询,从而生成统计报表。
16、本发明所述的一种港口吞吐量预测和管理系统,包括数据中台、数据统计分析应用系统和港口吞吐量多维数据模型;所述数据中台包括基础平台和数据综合治理平台;
17、所述基础平台用于获取事务型业务系统的港口吞吐量的历史数据;
18、所述数据综合治理平台用于对港口吞吐量数据实现数据采集、数据综合治理、数据存储、数据共享交换、数据管理和/或数据服务;
19、所述数据统计分析应用系统用于提供针对港口吞吐量指标统计预测和管理决策支持的平台,通过可视化平台辅助进行吞吐量数据的分析预测和指标管理过程;
20、所述港口吞吐量多维数据模型包括操作数据层、公共维度数据层和数据应用层;用于根据港口吞吐量数据的应用需求完成数据模型的设计。
21、进一步地:所述数据综合治理平台包括元数据管理模块、数据集成模块、数据标准化模块;
22、所述元数据管理模块用于对数据综合治理各要素进行定义和管理,创建元数据标准化规则;
23、所述数据集成模块用于根据所述元数据标准化规则对历史成本数据进行数据加工、处理、转换和/或集成,生成标准化数据;
24、所述数据标准化模块用于根据各业务管理要求和相应数据规范对集成好的吞吐量数据进行梳理,建立统一的吞吐量数据标准体系,同时制定吞吐量数据标准。
25、进一步地:所述吞吐量数据标准包括分类标准、元数据管理标准、数据交换标准、数据质量管理标准。
26、本发明的有益效果是:
27、本发明提供一种基于大数据处理技术进行港口吞吐量的预测的方法,能够快速有效地进行预测,且系统平台的界面良好。基于大数据和数据综合治理的统计分析能力,解决了传统数据处理方法实时性、高效性和交互性较差的问题,协助公司管理对港口吞吐量指标的统计预测,从而提高对应指标的管理效率和业务处理水平。
28、与现有技术相比,本发明有如下优点:
29、1、处理速度快:系统架构方案采用大数据技术对数据计算进行合理调度,采用有效的数据分析技术快速处理相应统计预测等业务。
30、2、用户体验好:系统支持多种终端运行,支持各级的实时可视化,提供有效直观的交互方式。
31、3、灵活度高:可以根据本企业的实际情况灵活创建、配置分析模型,系统采用分层设计,易于部署实施、升级维护。
1.一种港口吞吐量预测和管理方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的一种港口吞吐量预测和管理方法,其特征在于,在s1中,所述数据集成是获取各事务型业务系统的港口吞吐量数据,并根据港口吞吐量数据的数据类型进行对应的数据类型转换。
3.根据权利要求1所述的一种港口吞吐量预测和管理方法,其特征在于,在s2中,所述数据标准化是根据预设的业务管理要求和规范对集成后的吞吐量数据进行标准化,建立统一的吞吐量数据的标准体系,同时制定吞吐量数据标准,所述吞吐量数据标准包括数据分类标准、元数据管理标准、数据交换标准和/或数据质量管理标准。
4.根据权利要求1所述的一种港口吞吐量预测和管理方法,其特征在于,在s3中,所述多维数据模型建设是通过设计维度表,结合维度表和数据业务分析要求设计事实表,将事实表作为多维数据模型对港口吞吐量数据进行多维视角的数据分析和查询显示。
5.根据权利要求1所述的一种港口吞吐量预测和管理方法,其特征在于,在s3中,所述数据挖掘数据模型将数据治理后的结果作为数据挖掘数据模型,在数据端对港口吞吐量数据进行数据挖掘样本模型处理。
6.根据权利要求1所述的一种港口吞吐量预测和管理方法,其特征在于,在s4中,所述数据综合治理包括数据质量治理、数据安全管理和元数据管理,所述数据质量治理、数据安全管理和元数据管理分别按照对应的数据标准进行数据综合治理。
7.根据权利要求1所述的一种港口吞吐量预测和管理方法,其特征在于,在s6中,所述港口吞吐量多维数据模型包括操作数据层、公共维度数据层和数据应用层,所述操作数据层位于业务系统和数据仓库之间,用于对业务系统的港口吞吐量数据进行数据整合、数据初步清洗、数据存储和实时数据查询;所述公共维度数据层是数据仓库中的核心层,用于定义数据仓库中使用的共同数据结构和业务规则,将不同的数据源和数据格式映射到一个通用模型中;所述数据应用层是数据仓库体系结构的顶层,用于根据实际的预设需求对通用模型的数据进行查询,从而生成统计报表。
8.一种港口吞吐量预测和管理系统,其特征在于,包括数据中台、数据统计分析应用系统和港口吞吐量多维数据模型;所述数据中台包括基础平台和数据综合治理平台;
9.根据权利要求8所述的一种港口吞吐量预测和管理系统,其特征在于,所述数据综合治理平台包括元数据管理模块、数据集成模块、数据标准化模块;
10.根据权利要求9所述的一种港口吞吐量预测和管理系统,其特征在于,所述吞吐量数据标准包括分类标准、元数据管理标准、数据交换标准、数据质量管理标准。