本发明涉及数据库管理,具体为一种基于多特征融合的城市数据模型管理系统及方法。
背景技术:
1、随着城市的数字化建设的水平不断提升,信息化系统逐渐应用于城市管理和市民生活的多种方面。但是,由于城市底层数据系统信息量庞大,需要不同的数据库管理不同种类的数据。
2、不同的业务部门在建立本部门使用的数据库时,主要考虑本部门的业务场景和常用技术,所以就会导致不同的数据库间缺乏统筹规划,例如数据碎片化严重,数据交互能力差,从而形成互不相通的数据孤岛的问题。这些严重阻碍信息互通和数据融合,难以实现信息共享和跨部门的业务协同,使得数据的使用率得不到提高造成信息资源的浪费。
技术实现思路
1、本发明的目的在于提供一种基于多特征融合的城市数据模型管理系统及方法,以解决上述背景技术中提出的问题。
2、为了解决上述技术问题,本发明提供如下技术方案一种基于多特征融合的城市数据模型管理系统及方法:
3、步骤s100:在一个城市信息管理系统中,包括若干个储存城市信息数据的数据库,将同一用户存储在各个数据库的数据分别进行排序,得到各个数据库中的数据排列为数据序列,在数据序列中对各条数据的位置进行标记;
4、步骤s200:用户对存储在不同数据库中的城市信息数据进行数据汇集,获取用户调用数据库的历史记录,创建信息模板,在模板中标记数据在数据序列中的数据序号,根据模板中同一数据条目中包括的数据,创建信息索引;
5、步骤s300:对信息模板中需要填入的数据进行分类,根据不同种类数据间信息索引数量由多至少,得出信息模板中不同数据类别的数据获取顺序;
6、步骤s400:建立数据缓存区域,提取信息目标中的某一类数据对应的完整数据序列,保存在数据缓存区域中,获取信息模板中的数据序号,在数据缓存区域中,对信息模板中不包括的数据序号对应的数据进行隐藏,提取某种信息模板中包括的数据序号对应位置的数据,对信息模板进行数据填充;
7、步骤s500:对不同数据库的用户信息验证规则进行分类管理,得到需要用户补充的身份验证项目,根据数据获取顺序,当前一类数据填充至信息模板后,释放数据缓存区域中的数据序列,获取后一类数据对应的数据序列保存至数据缓存区域中,重复数据提取的过程,直至信息模板中所有数据填充位置填充完成
8、进一步的,步骤s100包括:
9、步骤s101:在若干个数据库中的数据库a中,获取用户id1存储在数据库a中的所有数据,根据各条数据创建时间顺序,对数据进行排列,得到用户id1在数据库a中的数据序列la1;
10、其中,城市信息数据表示在数字城市场景中,市政建设或市民生活产生和使用到的数据;
11、由于技术原因或管理原因,这些若干个储存城市信息数据的数据库相互独立;
12、步骤s102:对数据序列la1中各条数据在la1中的序号进行标记,每一个标记位置对应一条数据;
13、步骤s103:遍历用户id1在各个数据库中储存的数据,将用户id1在每个数据库分别整理为对应数据库对应的数据序列。
14、进一步的,步骤s200包括:
15、步骤s201:在信息模板中设置有若干个数据条目,每个数据条目中包括有若干个数据填充位置,获取若干个数据填充位置需要填充数据在对应数据序列中的序号,将序号标注在信息模板中对应的数据填充位置上;
16、步骤s202:将同一数据库中存放的数据设置为一种数据类别,数据填充位置的分类方式与数据的分类方式一致,从所有数据条目中,筛选出至少包括两种不同类别的数据填充位置的数据条目,记为索引条目;
17、在数据融合过程中,在同一使用区域,需要将分别存储在不同数据库中的数据组合使用,每个索引条目表示某一种数据融合使用的使用区域;
18、步骤s203:将索引条目中,在两种不同类型的数据填充位置间设置信息索引,所述信息索引连接两个数据填充位置对应的序号。
19、进一步的,步骤s300包括:
20、步骤s301:根据步骤s202中的方式对信息模板k中的数据填充位置进行分类,获取两个不同类别数据填充位置间的信息索引;
21、步骤s302:获取连接信息索引数量最多的数据填充位置对应的类别,设置为第一类数据位置,从与第一类数据位置没有信息索引连接的数据填充位置对应的类别中,选取信息索引数量最多的数据填充位置对应的类别,设置为第二类数据位置,并依次类推,直到不存在与第一类数据位置、第二类数据位置、第三类数据位置、……或第n类数据位置有信息索引连接的数据位置,其中n表示选取出数据位置对应的类别的数量最大值;
22、步骤s303:将第一类数据位置、第二类数据位置、第三类数据位置、……和第n类数据位置记入第一类信息检索目标,信息模板k中剩余数据填充位置对应的类别记入第二类信息检索目标;
23、步骤s304:将存在信息索引连接的任意两类数据位置的位置关系判定为相邻关系,获取信息模板k中相邻关系的总数mk,和信息模板k中各类数据位置间连接的信息索引的数量;
24、步骤s305:计算第一类信息检索目标中第ni类数据位置的检索参数qni,其中,qni=(mni/mk)×rni,ni≤n,其中mni表示与第ni类数据位置存在相邻关系的数据位置的数量,rni表示与第ni类数据位置连接的信息索引的数量;
25、步骤s306:在第一类信息检索目标中计算所有n类数据位置对应的检索参数,根据检索参数由大至小的排列顺序,得到第一类信息检索目标的数据获取顺序,根据第二类信息检索目标中各个数据填充位置连接的信息索引的数量从多到少,得到第二类信息检索目标的数据获取顺序;
26、通过连接各类数据填充位置的信息索引数量来衡量哪类数据填充位置的重要性,mk表示所有种类数据位置间相邻关系的总数,mni表示与第ni类数据位置存在相邻关系的数量,mni/mk表示重要性系数,当mni/mk越大时,说明第ni类数据位置在信息模板k中,与其他类别数据填充位置关联性越强,第ni类数据位置的重要性越强;
27、进一步的,步骤s400包括:
28、步骤s401:获取信息模板k中第p类数据位置kp,其中kp中的数据保存在数据库bp中;
29、步骤s402:获取用户id1在数据库bp中的数据序列lbp1,将kp中的各个数据填充位置对应的数据序号组成获取序号集合ekp;
30、步骤s403:获取lbp1所有数据序号组成集合e1,计算隐去序号集合ehide,其中,ehide=e1-ekp;
31、步骤s404:在lbp1中,将ehide中包括的序号对应的数据进行隐藏,提取出lbp1没有被隐藏的数据,根据数据序号对应关系,填充至信息模板k中,所述数据序号对应关系表示,当lbp1中的数据序号与信息模板k中的数据序号一致时,判定为数据序号存在对应关系;
32、出于对数据保密的考虑,在提取数据的过程中,只能根据信息模板的需要进行提取,将身份核验与信息模板核验进行结合,对不在信息模板范围中的数据进行隐藏,相关用户只能提出信息模板范围中的数据;
33、进一步的,步骤s500包括:
34、步骤s501:获取不同数据库对应的用户身份验证规则,根据用户身份验证规则中使用的验证项目进行分类;
35、步骤s502:根据数据获取顺序,将第j个数据库对应的所有验证项目组成验证项目集合wj,将第j+1个数据库对应的所有验证项目组成验证项目集合wj+1,当时,从用户已提交的身份验证信息中提取wj+1中包括的验证项目对应的身份验证信息,转发至第j+1个数据库进行身份验证;
36、步骤s503:计算补充验证项目集合w*,w*=wj+1-wj,当w*≠∅时,用户提交w*中包括的验证项目,将身份验证信息补充至满足第j+1个数据库的用户身份验证规则后,提取第j+1个数据库中的数据序列;
37、步骤s504:在获取所有第一类信息检索目标对应的数据后,对第二类信息检索目标对应的数据进行获取,对信息模板k中所有数据填充位置进行数据填充。
38、为了更好地实现上述方法,还提出一种城市数据模型管理系统,系统包括:
39、储存管理模块、模板管理模块、排序管理模块、数据缓存区域管理模块和验证信息管理模块,其中,储存管理模块用于对数据库的数据序列的管理,模板管理模块用于生成和管理信息模板,排序管理模块用于对数据的检索顺序进行管理,数据缓存区域管理模块用于管理数据缓存区域,验证信息管理模块用于对不同数据库的用户信息验证规则进行分类管理;
40、进一步的,模板管理模块包括:分类单元、索引条目管理单元和信息索引管理单元,其中,分类单元用于对数据填充位置进行分类,索引条目管理单元用于筛选出索引条目,信息索引管理单元用于管理信息索引;
41、进一步的,排序管理模块包括:第一检索目标管理单元、第二检索目标管理单元、检索参数计算单元和排序单元,其中,第一检索目标管理单元用于获取第一类信息检索目标对应的数据填充位置,第二检索目标管理单元用于获取第二类信息检索目标对应的数据填充位置,检索参数计算单元用于计算第一类信息检索目标的检索参数,排序单元用于排列数据获取顺序;
42、进一步的,数据缓存区域管理模块包括:数据提取单元、序号管理单元和数据发送单元,其中,数据提取单元用于提取数据序列,序号管理单元用于管理需要隐藏的数据位置,数据发送单元用于返回提取出的数据。
43、与现有技术相比,本发明所达到的有益效果是:1.本发明通过对数据库中的数据进行结构化处理,并根据用户的使用情况归纳出信息模板,通过数据使用的对应关系以及数据查找顺序,使得数据的调用实现自动化的对应操作,降低人工遍历数据库的重复劳动;2.在提取数据的过程中,本发明设置有数据缓存区域,数据缓存区域可减少不同数据库间的数据格式交换接口,所有数据库只需要与数据缓存区域进行数据对接,减少了数据中继和格式转换的复杂程度,减少数据格式转换协议的使用;并且数据缓存区域增加了数据隔离程度,可以使得存储在数据库中的数据不被过度读取。