一种海洋空间资源监测平台的数据处理方法

1.本发明涉及海洋空间资源监测技术领域，尤其涉及一种海洋空间资源监测平台的数据处理方法。


背景技术：

2.当前，大数据已成为国民经济和社会发展的基础性、战略性资源，随着信息采集技术的不断发展，海域资源环境本底数据、管理业务数据、监视监测数据等各类基础数据快速增长，逐步呈现大数据特征，各级海洋管理部门对海洋空间相关数据的实时、直观展示和分析的需求日渐强烈，也对海洋空间资源大数据的扩展、挖掘与运用提出了更全面、更迫切的要求，各类海洋业务管理系统彼此独立、对信息资源缺乏整合和共享利用、“信息孤岛”现象严重、深层次的数据应用不充分、数据更新机制不完善等现象，鉴于此，我们提出一种海洋空间资源监测平台的数据处理方法。


技术实现要素：

3.本发明的目的是为了解决现有技术中存在的缺点，各类海洋业务管理系统彼此独立、对信息资源缺乏整合和共享利用、“信息孤岛”现象严重、深层次的数据应用不充分、数据更新机制不完善等现象，而提出的一种海洋空间资源监测平台的数据处理方法。
4.为了实现上述目的，本发明采用了如下技术方案：
5.一种海洋空间资源监测平台的数据处理方法，其方法步骤如下：
6.s1、数据建模：使用数据仓库进行决策分析,将数据归类,经过数据加工和集成，消除源数据中的不一致性，保证数据中心内的信息是全局信息；
7.s2、元数据管理：对关系数据、空间数据以及其他非结构化数据进行统一建模，将异构数据整合为统一的逻辑数据模型，数据中心对模型元数据进行统一管理和维护，以保证数据中心的灵活性和可扩展性，为数据中心的长期运行、维护以及二次开发提供了坚实的基础，并对数据中心的运行行为进行约束，通过对这些元数据进行维护，可以对数据中心的日常运行流行进行修正和优化，保证数据中心的数据质量和服务质量，减少人工工作量；
8.s3、主数据管理：发现重复、错误、一致性检查和数据结构校验，并通过清理步骤解决错误，将相同数据的多个版本合并为一个真实版本或“高质量记录”，并管理内部的层次和关系，形成对主数据的掌握；
9.s4、实时空间数据接入：采用md5算法传输实时数据信息，并对监测传输的数据修复处理，md5算法对数据敏感度高、稳定性好、抗干扰性强、破译难度大等优点，且应用广泛、运用简单，方便、性价比高，实现海洋平台与陆地监测中心间的监测数据的远程传输，具有独特的优势，能够很好地适应海洋平台监测流数据的特殊要求，特别是针对极不稳定的网络环境下流数据传输中断等情况，可实现数据断点续传或重传，保证了监测流数据完整性、一致性、可靠性和安全性；
10.s5、数据的衔接及整合：采用gis基础平台将地理信息数据和业务数据充分融合，
实现监测平台的数据信息的查询，并可将查询结果叠加展现于地图之上，实现海洋空间资源信息空间拓扑关系查询、资源定位查询及属性查询，便于用户从空间感知数据。
11.优选的，所述s1中的数据建模包括如下姿态：
12.姿态一：物理建模，对物理存储介质的访问存取性能优化；
13.姿态二：逻辑建模，采用第三范式方法对细节数据建模，采用星型模式方法分析数据梳理，反映出业务部门的需求，同时对系统的物理实施有着重要的指导作用。
14.优选的，所述第三范式方法包括以下步骤：
15.①
：确定数据中心的主题域，根据业务和数据分析，可以明确主题，这是数据中心建设的基础；
16.②
：确定数据中心的主题域与现有业务系统的映射关系；
17.③
：确定数据中心的主题域下的实体；
18.④
：确定实体之间的关系；
19.采用自下而上的业务梳理方法来进行梳理，进行细节数据建模。
20.优选的，所述星型模式方法包括以下步骤：
21.①
：确定每个主题域的kpi，kpi是一种目标式量化管理指标，是把企业的战略目标分解为可操作的工作目标的工具，是企业绩效管理的基础明确部门的主要责任，并以此为基础，明确部门人员的业绩衡量指标；
22.②
：确定维度，描述数据中心事实数据表中kpi数据，在多维数据集中对度量值进行分类，分析每个维度表的主键都与多维数据集的事实数据表或另一个维度表中的外键联接；
23.③
：确定kpi值的属性；
24.④
：确定分析模型的类别。
25.优选的，所述s4中的md5算法包括以下步骤：
26.①
：填充数据，对输入信息进行填充和分解，以便进行编码，首先给输入数据的后面用一个1和若干个0补充，使其字节长度除以512余数为448，此时数据的字节长度变为n*512+448,即n*64+56个字节，n是正整数，然后再在这个结果后面加上一个以64位二进制表示的补充前信息长度，经过填充，现在的数据字节长度＝n*512+448+64＝(n+1)*512；
27.②
：分解数据，数据填充好以后，以512位为单位分组数据进行分解，假如数据长度为k*512位，则我们分为k个数据段,每个数据段有512位，再把每个数据段分为16个32位的子数据段，从低位往高位依次排号m0—m15；
28.③
：初始化链接变量，使用十六进制表示的数字初始化，在md5码中，有四个存储32位整形参数的寄存器a、b、c、d,被称为链接变量的整数参数,初始化为:a＝0x01234567,b＝0x89abcdef,c＝＝0xfedcba98，d＝0x76543210；
29.④
：循环编码运算，初始化后，进入算法的四步循环编码运算，循环的次数是数据中512位数据分组的数目，即数据分为k个数据段，则执行循环k次，每次循环有四轮运算，将4个初始化链接变量复制到另外4个变量中:a到a,b到b，c到c，d到d；
30.⑤
、输出编码结果，循环编码运算完成以后，最后产生的从a的低字节开始，直到d的高字节的输出便是a,b,c,d级联所得到的128位的md5码。
31.优选的，四步循环编码运算的线性函数为：
32.f(x,y,z)＝(x&y)|((～x)&z)
33.g(x,y,z)＝(x&z)|(y&(～z))
34.h(x,y,z)＝x^y^z
35.i(x,y,z)＝y^(x|(～z))；
36.其中，&是与，|是或，～是非，^是异或，四轮运算执行结束后，第一次循环就结束了，如果当前第i次循环执行结束，如果k个数据段的段数k》i,则返回继续执行第i+1次循环的四轮运算，依次执行下去，直到所有数据段都执行结束，则退出循环过程。
37.优选的，数据修复处理包括以下步骤：
38.①
：从采集日期表中读取一条记录，包含异常数据的日期与状态字段；
39.②
：逐项检查该日期下的数据文件的状态字段并判断是否需要修复，若是则执行下一步，否则执行上一个步骤读取下一个记录；
40.③
：将该数据文件的地址与数据格式信息表发送到修复函数进行处理并等待返回结果；
41.④
：根据处理后的状态字段判断该日期下的所有数据文件是否仍需要修复，若是则转到下一步，若不再需要修复则从监测日期表中删除该日期的一条记录，转到步骤
⑥
；
42.⑤
：更新监测日期表中的记录，以新的状态字段覆盖原来的值表，并从监测日期表中读取下一个日期；
43.⑥
：对数据进行去噪处理；
44.⑦
：判断修复程序是否处理完成，若否,转到步骤
①
，若是，则转到下一步；
45.⑧
：修复程序结束，重新启动数据格式信息导入程序。
46.优选的，数据修复程序中的丢失值计算公式如下所示：
[0047][0048]
其中，x为丢失值，xi为丢失值时,ci为t
max(1,i-n)
～t
min(n,j+n)
时间段中非空值的个数，xj为丢失值时，xj＝0。
[0049]
优选的，所述s5中gis基础平台包括以下步骤：
[0050]
①
：数据融合，将各种海洋现场测量数据和遥感数据融合为统一标准的数据集，如从大数据集中获取在一定空间范围内具有统一投影或高程基准的、具有一定数据质量的同期或准同期的分析数据；
[0051]
②
：数据中心无缝对接，以点位方式、区域方式、线性方式与数据中心建立直接的关联，实现数据的双向匹配互通；
[0052]
③
：空间信息发布，采用投影转换法对数据进行重新投影，转换后的投影参数和经纬网在地图上不表示，其次在此基础上为了避免关键要素的泄密，符合公开地图内容表示若干规定，对空间数据有选择地使用，对不能表示的要素进行了删减、综合、移位处理，再者对特征点进行普化处理，特征点的判定应依据几何形状、属性等级、分布，进行空间资源数
据的深度挖掘，实现大数据的框架下的精准计算和应用。
[0053]
与现有技术相比，本发明的有益效果是：
[0054]
1.本发明通过，从海洋环境监测数据管理的角度,以各监测机构，报的海洋环境监测数据为对象，研究了监测数据集的处理技术流程及方法体系，统一规划数据的更新体系，建立智能的数据的分析决策策略，针对不同业务类型进行定制的个性功能开发，以及对于数据的深度挖掘，大大提高监测数据的处理效率和水平,为海洋环境保护信息化持续健康发展提供高质量的数据保障。
[0055]
2.本发明通过采用md5算法传输实时数据信息，并对监测传输的数据修复处理，md5算法对数据敏感度高、稳定性好、抗干扰性强、破译难度大等优点，且应用广泛、运用简单，方便、性价比高，实现海洋平台与陆地监测中心间的监测数据的远程传输，具有独特的优势，能够很好地适应海洋平台监测流数据的特殊要求，特别是针对极不稳定的网络环境下流数据传输中断等情况，可实现数据断点续传或重传，保证了监测流数据完整性、一致性、可靠性和安全性。
附图说明
[0056]
图1为本发明数据处理方法的流程框图；
[0057]
图2为本发明的第三范式方法流程框图；
[0058]
图3为本发明的星型模式方法流程框图；
[0059]
图4为本发明的md5算法流程框图；
[0060]
图5为本发明的数据修复处理流程框图；
[0061]
图6为本发明的gis基础平台流程框图。
具体实施方式
[0062]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0063]
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0064]
参照图1-6，一种海洋空间资源监测平台的数据处理方法，其方法步骤如下：
[0065]
s1、数据建模：使用数据仓库进行决策分析,将数据归类,经过数据加工和集成，消除源数据中的不一致性，保证数据中心内的信息是全局信息；
[0066]
s2、元数据管理：对关系数据、空间数据以及其他非结构化数据进行统一建模，将异构数据整合为统一的逻辑数据模型，数据中心对模型元数据进行统一管理和维护，以保证数据中心的灵活性和可扩展性，为数据中心的长期运行、维护以及二次开发提供了坚实的基础，并对数据中心的运行行为进行约束，通过对这些元数据进行维护，可以对数据中心的日常运行流行进行修正和优化，保证数据中心的数据质量和服务质量，减少人工工作量；
[0067]
s3、主数据管理：发现重复、错误、一致性检查和数据结构校验，并通过清理步骤解决错误，将相同数据的多个版本合并为一个真实版本或“高质量记录”，并管理内部的层次
和关系，形成对主数据的掌握；
[0068]
s4、实时空间数据接入：采用md5算法传输实时数据信息，并对监测传输的数据修复处理，md5算法对数据敏感度高、稳定性好、抗干扰性强、破译难度大等优点，且应用广泛、运用简单，方便、性价比高，实现海洋平台与陆地监测中心间的监测数据的远程传输，具有独特的优势，能够很好地适应海洋平台监测流数据的特殊要求，特别是针对极不稳定的网络环境下流数据传输中断等情况，可实现数据断点续传或重传，保证了监测流数据完整性、一致性、可靠性和安全性；
[0069]
s5、数据的衔接及整合：采用gis基础平台将地理信息数据和业务数据充分融合，实现监测平台的数据信息的查询，并可将查询结果叠加展现于地图之上，实现海洋空间资源信息空间拓扑关系查询、资源定位查询及属性查询，便于用户从空间感知数据。
[0070]
本实施中的，s1中的数据建模包括如下姿态：
[0071]
姿态一：物理建模，对物理存储介质的访问存取性能优化；
[0072]
姿态二：逻辑建模，采用第三范式方法对细节数据建模，采用星型模式方法分析数据梳理，反映出业务部门的需求，同时对系统的物理实施有着重要的指导作用。
[0073]
本实施中的，第三范式方法包括以下步骤：
[0074]
①
：确定数据中心的主题域，根据业务和数据分析，可以明确主题，这是数据中心建设的基础；
[0075]
②
：确定数据中心的主题域与现有业务系统的映射关系；
[0076]
③
：确定数据中心的主题域下的实体；
[0077]
④
：确定实体之间的关系；
[0078]
采用自下而上的业务梳理方法来进行梳理，进行细节数据建模。
[0079]
本实施中的，星型模式方法包括以下步骤：
[0080]
①
：确定每个主题域的kpi，kpi是一种目标式量化管理指标，是把企业的战略目标分解为可操作的工作目标的工具，是企业绩效管理的基础明确部门的主要责任，并以此为基础，明确部门人员的业绩衡量指标；
[0081]
②
：确定维度，描述数据中心事实数据表中kpi数据，在多维数据集中对度量值进行分类，分析每个维度表的主键都与多维数据集的事实数据表或另一个维度表中的外键联接；
[0082]
③
：确定kpi值的属性；
[0083]
④
：确定分析模型的类别。
[0084]
本实施中的，s4中的md5算法包括以下步骤：
[0085]
①
：填充数据，对输入信息进行填充和分解，以便进行编码，首先给输入数据的后面用一个1和若干个0补充，使其字节长度除以512余数为448，此时数据的字节长度变为n*512+448,即n*64+56个字节，n是正整数，然后再在这个结果后面加上一个以64位二进制表示的补充前信息长度，经过填充，现在的数据字节长度＝n*512+448+64＝(n+1)*512；
[0086]
②
：分解数据，数据填充好以后，以512位为单位分组数据进行分解，假如数据长度为k*512位，则我们分为k个数据段,每个数据段有512位，再把每个数据段分为16个32位的子数据段，从低位往高位依次排号m0—m15；
[0087]
③
：初始化链接变量，使用十六进制表示的数字初始化，在md5码中，有四个存储32
位整形参数的寄存器a、b、c、d,被称为链接变量的整数参数,初始化为:a＝0x01234567,b＝0x89abcdef,c＝＝0xfedcba98，d＝0x76543210；
[0088]
④
：循环编码运算，初始化后，进入算法的四步循环编码运算，循环的次数是数据中512位数据分组的数目，即数据分为k个数据段，则执行循环k次，每次循环有四轮运算，将4个初始化链接变量复制到另外4个变量中:a到a,b到b，c到c，d到d；
[0089]
⑤
、输出编码结果，循环编码运算完成以后，最后产生的从a的低字节开始，直到d的高字节的输出便是a,b,c,d级联所得到的128位的md5码。
[0090]
本实施中的，四步循环编码运算的线性函数为：
[0091]
f(x,y,z)＝(x&y)|((～x)&z)
[0092]
g(x,y,z)＝(x&z)|(y&(～z))
[0093]
h(x,y,z)＝x^y^z
[0094]
i(x,y,z)＝y^(x|(～z))；
[0095]
其中，&是与，|是或，～是非，^是异或，四轮运算执行结束后，第一次循环就结束了，如果当前第i次循环执行结束，如果k个数据段的段数k》i,则返回继续执行第i+1次循环的四轮运算，依次执行下去，直到所有数据段都执行结束，则退出循环过程。
[0096]
本实施中的，数据修复处理包括以下步骤：
[0097]
①
：从采集日期表中读取一条记录，包含异常数据的日期与状态字段；
[0098]
②
：逐项检查该日期下的数据文件的状态字段并判断是否需要修复，若是则执行下一步，否则执行上一个步骤读取下一个记录；
[0099]
③
：将该数据文件的地址与数据格式信息表发送到修复函数进行处理并等待返回结果；
[0100]
④
：根据处理后的状态字段判断该日期下的所有数据文件是否仍需要修复，若是则转到下一步，若不再需要修复则从监测日期表中删除该日期的一条记录，转到步骤
⑥
；
[0101]
⑤
：更新监测日期表中的记录，以新的状态字段覆盖原来的值表，并从监测日期表中读取下一个日期；
[0102]
⑥
：对数据进行去噪处理；
[0103]
⑦
：判断修复程序是否处理完成，若否,转到步骤
①
，若是，则转到下一步；
[0104]
⑧
：修复程序结束，重新启动数据格式信息导入程序。
[0105]
优选的，数据修复程序中的丢失值计算公式如下所示：
[0106][0107]
其中，x为丢失值，xi为丢失值时,ci为t
max(1,i-n)
～t
min(n,j+n)
时间段中非空值的个数，xj为丢失值时，xj＝0。
[0108]
本实施中的，s5中gis基础平台包括以下步骤：
[0109]
①
：数据融合，将各种海洋现场测量数据和遥感数据融合为统一标准的数据集，如
从大数据集中获取在一定空间范围内具有统一投影或高程基准的、具有一定数据质量的同期或准同期的分析数据；
[0110]
②
：数据中心无缝对接，以点位方式、区域方式、线性方式与数据中心建立直接的关联，实现数据的双向匹配互通；
[0111]
③
：空间信息发布，采用投影转换法对数据进行重新投影，转换后的投影参数和经纬网在地图上不表示，其次在此基础上为了避免关键要素的泄密，符合公开地图内容表示若干规定，对空间数据有选择地使用，对不能表示的要素进行了删减、综合、移位处理，再者对特征点进行普化处理，特征点的判定应依据几何形状、属性等级、分布，进行空间资源数据的深度挖掘，实现大数据的框架下的精准计算和应用。
[0112]
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
[0113]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。