本发明涉及城市物理-数字空间社会传感大数据领域,特别的是一种基于城市信息单元的多源时空数据透明融合方法,能够针对动态环境下的多源、多尺度、多主题、多时相的时空大数据,运用多源时空数据透明融合模型来为不同的用户提供多层次丰富的信息内容,为空间信息智能服务提供核心技术支撑。
背景技术:
1、随着“互联网+”、大数据、5g、云计算、人工智能等技术的兴起,时空数据应用的领域不断扩展、应用的层次不断深入,用户对空间数据的生产、处理与分析等提出了更高的要求。
2、随着传感器技术、互联网技术的快速发展,时空数据信息获取能力大大提高,不同行业部门根据不同的需求生产了大量的空间数据。城市物理-数字空间社会传感大数据具有来源多样、数据格式多样、分散存储、数据量大等特点,为数据的协同表达、信息聚合、信息派生与增值以及数据挖掘带来了很大困难。多源时空大数据融合的关键在于对地理实体的几何位置、语义属性、和拓扑关系等特征的合并处理,即对需要对多源、多尺度的矢量数据中的同名实体进行融合处理,才能将不同数据集中在一起,形成一个质量更高、满足应用需求的时空数据库。
3、城市物理-数字空间多源异构数据融合意义重大,具有广阔的应用前景:1)时空数据融合有助于拓宽矢量数据研究的宽度和广度,完善相关的理论、技术和方法体系;2)同一地区不同来源的矢量空间数据之间的相互集成和融合处理可以使得这些数据在属性和几何位置上相互印证、相互补充和相互关联,可以准确确定地理实体的相关信息,提高数据的精度;3)将更新数据与原有数据进行空间匹配可实现多尺度时空数据之间的更新。
4、数据融合是指针对多个传感器采集得到的数据,利用计算机处理技术并采用一定的准则进行协调优化和综合处理,以得到满足实际需求且质量更高的数据,经过融合后的数据可以集合多种数据的优势,能获得更精确的状态和估计。空间数据融合主要是对多源空间数据进行集成和整合,是将不同的数据源融合生成一个新的、质量更好数据的过程,根据空间数据类型的不同,可分为矢量空间数据融合、栅格空间数据融合、矢量与栅格空间数据融合等。
5、目前,城市物理-数字空间多源异构数据融合存在以下问题:1)社会传感及政务信息数据信息形态复杂,在进行数据融合时难以对动态信息进行互联、互通、互用,无法较好的实现综合运行管理动态信息,容易出现动态融合的容错性和鲁棒性问题;2)多源时空数据与城市实体难以准确匹配,不同类型数据之间相对孤立、关联性差,较难实现时空大数据关联关系的解析与构建,影响城市实体与多源时空数据动态融合效率;3)现有的数据与空间实体的动态融合方法大多基于地理格网,按需在不同粒度下划分规则格网,忽略了城市管理时的不规则区域划分以及多层级之间的信息单元的隐含关联,然而城市的日常管理区域划分为不规则区域,同时城市的多层级信息也是密切相关的。
6、因此,如何能够克服现有技术的缺陷,研究物理-数字空间多源异构数据的动态融合问题,屏蔽数据融合的复杂性,针对多源数据的多重语义表达,优化数据的整合与管理,成为现有技术亟需解决的技术问题。
技术实现思路
1、本发明的目的在于提出一种基于城市信息单元的多源时空数据融合方法,可以屏蔽数据融合过程中的复杂性,通过唯一的数据编码,进行知识合并,实现数据的动态挂接,进而实现多源数据透明融合。
2、为达此目的,本发明采用以下技术方案:
3、一种基于城市信息单元的多源时空数据透明融合方法,包括:
4、城市信息单元划分和多源异构数据整合描述步骤s110:
5、依据城市管理层级,将城市进行整体剖分,构建空间基础信息实体,定义多层级城市信息单元和城市信息单元包含的多源异构时空数据;
6、多源异构数据的特征抽取步骤s120:
7、提取地理实体特征中的空间、时间和关联性属性,基于位置和时间属性建立综合地理单元编码标识;
8、基于城市单元的多源异构数据匹配步骤s130:
9、基于统一的地理单元编码标识将来自多部门、多类型的数据集成在一个平台上按剖分网格进行多尺度统计展示,实现基于剖分塔式层级数据的快速请求、生成与服务。
10、可选的,步骤s110包括:
11、城市信息单元定义划分子步骤s111:
12、定义划分城市单元,根据城市按管理层级将城市划分为在地理上相互独立的多个城市单元,在城市单元中集成城市管理中积累的基础政务数据以及社会传感数据得到城市信息单元,本层单元内部包含所有下一层单元的联合特征,基于多层级城市单元构建城市信息的整体架构;
13、城市信息单元数据定义子步骤s112:
14、城市信息单元包含的多源异构时空数据为基础政务数据和社会传感数据,具体包括:经济数据、环保数据、建设数据和社会数据,所述经济数据包括:社会保障、经济发展数据,所述环保数据包括:生态环保、空气质量和水质数据,所述建设数据包括:城乡建设和交通数据,所述社会数据包括:社会舆情、poi数据、手机信令和音频视频数据;基础政务数据和社会传感数据主要分为5大类型:文本、图像、视频、网页、表格;
15、数据整合步骤s113:
16、对多源异构时空数据进行过滤、筛选的调整,剔除不合理的数据,并消除同名异义和异名同义、检验一致性、删除冗余数据和数据归并。
17、可选的,在步骤s120中,
18、属性提取通过如下方式完成:
19、对于文本数据,通过深度学习模型自动学习上下文特征,通过随机场、最大熵利用模型抽取时间信息;利用规则匹配法、监督学习法获取到地理实体相关的属性特征和属性值;
20、对于图像数据:采用卷积神经网络通过图像识别技术对对象及场景的识别和内容简介的自动生成;
21、数据的时间特征提取为:利用最小二乘准则匹配法,内插外推的时间匹配算法将关于同一目标的不同来源的不同步的信息同步到同一时刻实现空间数据的时间配准;
22、数据的空间特征提取为:对于数据中的空间信息,进行语义地址匹配,对于给定的语料库数据集d={add1,add2,…,addn},语义地址匹配的目标是找到地址对(addi,addj),满足addi=addj,其中addi∈d,addj∈d且i≠j,以确保数据空间位置的准确性。
23、可选的,在步骤s120中,
24、综合地理单元编码标识由位置码+语义码+时间码+关联码组成。
25、可选的,综合地理单元编码标识编码规则如下:
26、1)位置码:行政区代码有9位,由省、市、区、街道组成,编码符合gb/t 2260和gd/t10114的规定,在此基础上添加6位,分别表示所在区域与最小格网;
27、2)语义码:表示数据属性信息;
28、3)时间码:表示信息单元产生时间中的时间元素“年”、“月”和“日”,执行gb/t7408;在此基础上添加4位,分别表示是否为节假日与时间间隔;
29、4)关联码:有效范围为01-99之间,用以标注此城市信息单元与相关信息单元的关联强度
30、可选的,步骤s130包括:
31、数据与地理单元挂接子步骤s131:
32、通过对多源时空数据进行整合、特征提取、数据编码,根据位置码实现数据与地理单元的动态挂接;
33、多层级挂接子步骤s132:
34、利用地理单元编码标识下的城市实体与数据匹配,实现多层级挂接。
35、可选的,在步骤s110中,
36、城市单元按城市管理层级设置包括省、市、行政区、街道、区域和网格在内的不同等级,不同管理层级形成包含关系,根据城市按管理层级将城市划分为在地理上相互独立的多个城市单元。
37、可选的,城市单元从大到小为省、市、行政区、街道、区域和地理格网。
38、城市单元能够面向不同的城市管理问题,应用不同尺度。
39、综上所述,本发明具有如下优点:
40、1.利用知识图谱、视觉知识和深度学习等技术,自动对城市实体的三维检测、分割、跟踪矢量、挂接属性入库,将物理世界中多源异构和多模态的空间大数据组织形成复杂庞大的数据语义网络,解决跨领域的数据在几何位置、属性语义、逻辑等方面的相似性、不一致性问题。
41、2.结合天-空-地一体化多源三维数据融合和可视化技术,实现静态三维可视化向智能动态可视化转变。
42、3.构建多源异构时空数据资源池,实现多源、异构、封闭系统的城市政务大数据的透明融合。