一种数据资产可视化方法及系统与流程

本发明涉及水运交通行业大数据，尤其是涉及一种数据资产可视化方法及系统。

背景技术：

1、水运交通是一种以水体为主要运输通道的交通方式，利用水路、河流、湖泊、运河、港口等水域进行货物和人员的运输。水运交通在历史上一直是人类主要的交通方式之一，并且在许多地区仍然是重要的运输方式之一。

2、数据资产（data assets）指的是组织或个人拥有并可以利用的有价值的数据资源。这些数据资源可以包括各种类型的数据，如业务数据、客户数据、市场数据、科研数据、生产数据等，以及与这些数据相关的元数据（例如数据定义、数据来源、数据关系等）。数据资产在当今信息时代具有巨大的价值，因为数据在决策制定、业务发展、创新和竞争中发挥着重要的作用。

3、水运交通数据资产则是在水运交通行业相关的数据资源，包括航线信息、船舶信息、港口信息、货物运输信息等。这些数据资产通过各种方式收集和生成，包括传感器、船舶的自动化系统、港口管理系统、气象站、交通管理系统等。合理管理和分析这些数据资产可以帮助水运交通行业提高运输效率、降低成本、增强安全性，并为决策制定提供支持。

4、资产可视化是将组织或个人拥有的资产通过可视化技术展示为图表、图形等视觉化形式，以便更好地理解资产的分布、价值和状态。水运交通行业资产可视化是将水运交通行业相关的资产数据通过可视化技术展示，包括航线信息、船舶信息、港口信息、货物运输信息等，将这些数据资产通过可视化技术展示为图表、图形等视觉化形式，以便更直观地理解和分析数据。

5、水运交通数据资产往往来自不同的数据源，数据质量可能参差不齐。存在数据缺失、错误和噪声等问题，这会影响数据的准确性和可靠性，进而影响可视化结果的准确性，并且水运交通数据资产通常是大规模、多维度的，处理和分析这些复杂数据需要较高的计算和存储资源。水运交通行业涉及多个环节和多个部门，数据通常分散在不同的系统和部门中，导致数据集成和共享面临着数据格式不一致、数据标准不统一等问题，影响了数据的整合和综合分析。

6、此外，水运交通行业的数据通常具有多维度、大规模和高度复杂性，现有的资产管理及可视化技术在处理复杂数据时可能受限，难以完全展现数据的内在关联和趋势。对于实时更新的数据，现有的可视化技术可能无法实时展示最新的水运交通资产状态，导致决策者难以及时做出准确的决策。同时现有的静态可视化技术缺乏数据的交互性，用户无法灵活地探索和发现数据的细节和潜在规律，限制了数据分析和决策的深度和广度。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种数据资产可视化方法及系统。

2、第一方面，本发明提供了一种数据资产可视化方法，该方法包括以下步骤：

3、s1、获取水运交通行业中的数据资产，包含各类型的水运交通数据；

4、s2、将水运交通数据解析分解为航线信息、船舶信息及属性信息；

5、s3、提取航线信息中的初始港口信息、目标港口信息及航行路径信息，为每条航线设定航线id码，并利用gis技术建立二维化的展示模型；

6、s4、提取船舶信息中的任务信息、类型信息及船体信息，为不同类型的船舶单体设定船舶id码，并匹配至对应的航线及航线id码中；

7、s5、利用数据挖掘算法对属性信息进行分析，实现属性信息与船舶id码的关联匹配，构建多维可视化结构的属性数据库；

8、s6、设定可视化展示与关键词检索的用户交互界面，依据用户输入id码数值或数据类型提供相应的水运交通数据资产的可视化展示。

9、在其中一个实施例中，将水运交通数据解析分解为航线信息、船舶信息及属性信息包括以下步骤：

10、s21、将原始的水运交通数据进行数据清洗，处理其中的缺失值、异常值及重复值，并将水运交通数据转换为统一的格式；

11、s22、依据水运交通数据的结构、属性及内容，将水运交通数据划分为航线信息、船舶信息及属性信息三个种类；

12、s23、读取水运交通数据中的航线字段，划分为航线信息；

13、s24、读取水运交通数据中的船舶字段，划分为船舶信息；

14、s25、读取水运交通数据中的港口状态、货物需求、环境因素及客观因素，划分为属性信息。

15、在其中一个实施例中，提取航线信息中的初始港口信息、目标港口信息及航行路径信息，为每条航线设定航线id码，并利用gis技术建立二维化的展示模型包括以下步骤：

16、s31、提取航线信息中的初始港口信息与目标港口信息，包括初始港口信息与目标港口信息的经纬度及港口名称；

17、s32、提取初始港口经纬度与目标港口经纬度之间的所有航行路径，将每一条航行路径作为一条航线，并为每一条航线设定航线id码，提取航线在航行路径中的经纬度变化作为航行路径信息；

18、s33、利用gis技术创建二维化的展示模型，在展示模型中标定每个港口的坐标位置，将初始港口信息、目标港口信息及航行路径信息与展示模型相关联，再以初始港口与目标港口为端点生成路径曲线，并采用不同颜色展示端点相同、路径不同的路径曲线。

19、在其中一个实施例中，利用数据挖掘算法对属性信息进行分析，实现属性信息与船舶id码的关联匹配，构建多维可视化结构的属性数据库包括以下步骤：

20、s51、将船舶信息中的任务信息、类型信息及船体信息分别转换为任务属性、类型属性及船体属性，并组合形成船舶属性集；

21、s52、将船舶属性集与属性信息整合转换为属性数据集，并添加新字段用于存储船舶id码，将船舶id码作为标识符；

22、s53、利用数据挖掘算法对属性数据集进行分析，挖掘频繁序列项，并生成满足水运交通行业预设价值评估阈值的关联规则；

23、s54、将保留后的关联规则中的属性信息中的信息数据进行标准化映射，生成以船舶id码为标识符的标准数据序列；

24、s55、利用多要素可视化技术为每个标准数据序列建立多维可视化展示图，并整合所有标准数据序列构建属性数据库。

25、在其中一个实施例中，利用数据挖掘算法对属性数据集进行分析，挖掘频繁序列项，并生成满足水运交通行业预设价值评估阈值的关联规则包括以下步骤：

26、s531、将属性数据集中的每一个数据记录表示为一个序列项，并对序列化后的属性数据集进行扫描，生成所有长度为1的前缀；

27、s532、计算各个前缀的支持度以及效用度，将不满足最小支持度阈值与最小效用度阈值的前缀从属性数据集中删除；

28、s533、将保留下来的长度为 k的序列进行递归计算，生成频繁序列项；

29、s534、依据所有生成的频繁序列项建立关联规则，并进行关联规则评估，将不满足评估阈值的关联规则进行删除；

30、s535、分别为支持度、置信度及效用度赋予不同权重值，将三者与其权重值的累加和作为关联规则的综合价值评分，按照综合价值评分结果对关联规则的综合价值进行排序；

31、s536、若同一个船舶id码存在多个关联规则，则保留综合价值评分最高的关联规则，删除其余关联规则。

32、在其中一个实施例中，将保留下来的长度为 k的序列进行递归计算，生成频繁序列项包括以下步骤：

33、s5331、生成满足最小支持度阈值与最小效用度阈值条件的前缀投影库，若前缀投影库为空，则递归返回；

34、s5332、计算前缀投影库中各个序列项的支持度与效用度，若所有序列项的支持度或效用度均小于最小支持度阈值或最小效用度阈值，则递归返回；

35、s5333、将满足最小支持度阈值的序列项与当前的前缀进行合并，生成若干新前缀；

36、s5334、令长度 k= k+1，对若干新前缀分别递归，再执行步骤s5333，直至停止产生频繁序列项，终止递归。

37、在其中一个实施例中，依据所有生成的频繁序列项建立关联规则，并进行关联规则评估，将不满足评估阈值的关联规则进行删除包括以下步骤：

38、s5341、获取递归结束后生成的所有频繁序列项，生成关联规则；

39、s5342、将同时满足最小支持度阈值与最小效用度阈值的关联规则组合形成冗余项集，设定关联规则的有趣度评估模型，表达式为：

40、其中， interest表示有趣度； bool表示布尔值； x表示递归运算得到的冗余项集； y表示属性数据集中已知的冗余项集；

41、s5343、若关联规则的有趣度为1则表示该关联规则为有趣，若关联规则的有趣度为0，且该关联规则的置信度小于最小置信度阈值，则删除该关联规则。

42、在其中一个实施例中，将保留后的关联规则中的属性信息进行标准化映射，生成以船舶id码为标识符的标准数据序列包括以下步骤：

43、s541、建立属性信息内信息数据的标准化映射表，将同一类型信息数据的名称映射为标准化名称；

44、s542、将数值形式的信息数据进行离散化，并将文本形式的信息数据进行标签编码转换为数字形式；

45、s543、以船舶id码为标识符，将信息数据的标准化名称及其离散化或标签编码后的数值组合形成标准数据序列。

46、在其中一个实施例中，利用多要素可视化技术为每个标准数据序列建立多维可视化展示图，并整合所有标准数据序列构建属性数据库包括以下步骤：

47、s551、将标准数据序列中每个元素进行两两组合绘制散点图矩阵；

48、s552、将标准数据序列中的元素组合绘制平面坐标图，不同的标准数据序列之间采用不同颜色、不同线型的方式进行区分；

49、s553、将标准数据序列的散点图矩阵、平面坐标图及原始信息数据一同存储至属性数据库，并以船舶id码作为索引标识；

50、第二方面，本发明还提供了一种数据资产可视化系统，该系统包括：

51、数据采集模块，用于获取水运交通行业中的数据资产；

52、数据解析模块，用于采集得到的水运交通数据解析分解为航线信息、船舶信息及属性信息；

53、信息匹配模块，用于提取航线信息、船舶信息及属性信息中的信息因素，利用数据挖掘及关联规则算法实现数据分类与匹配；

54、展示交互模块，用于设定可视化展示与关键词检索的用户交互界面，依据用户输入的查询结果提供相应的水运交通数据资产的可视化展示。

55、本发明的有益效果为：

56、1、通过构建水运交通行业数据资产的全局可视化分析及管理，能够实现水运交通行业中各类型数据资产的整合、解析和可视化展示；针对航线信息和船舶信息的提取与关联匹配，实现了航线与船舶之间的关联关系，而属性信息的数据挖掘和关联匹配，构建了多维可视化的属性数据库，使得用户可以通过交互界面选择感兴趣的数据类型和id码数值，进行动态展示和深度分析；从而为水运交通行业决策提供了有益支持，优化航线规划、船舶调度、港口运营等，提高行业运营效率和管理水平。

57、2、通过在航线信息中提取初始港口和目标港口的经纬度和名称，以及航行路径的经纬度变化，形成一条条航线数据，并为每条航线设定唯一的航线id码，利用gis技术构建展示模型，根据不同路径的不同颜色进行区分展示，从而直观地展示水运交通行业中航线的起始点、终点以及航行路径，帮助用户全面了解航线规划和运输路线，有助于优化航线安排和提高运输效率。

58、3、通过数据挖掘与关联规则匹配的方式，可以实现属性信息与船舶id码的关联匹配，构建多维可视化结构的属性数据库，将关联规则中的属性信息进行标准化映射，生成以船舶id码为标识符的标准数据序列，利用多要素可视化技术为每个标准数据序列建立多维可视化展示图，并整合所有标准数据序列构建属性数据库，从而帮助用户全面了解船舶属性与船舶id码之间的关系，并通过多维可视化展示，深入分析数据，为水运交通行业的决策制定和优化提供有益支持。