本发明涉及数据中台技术领域,具体为一种基于大数据的城市级数据中台。
背景技术:
数据中台是对既有/新建信息化系统业务与数据的沉淀,是实现数据赋能新业务、新应用的中间、支撑性平台。
随着科学技术的发展,人们生活水平的进步,人们对数据中台的应用也更多,以前的数据中台如中国专利cn112347132a所提出的一种数据中台系统不具有城市级的处理技术,导致人们在使用时不能城市级的环境中不能便捷的处理数据,故而提出了一种基于大数据的城市级数据中台来解决这一问题。
技术实现要素:
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种基于大数据的城市级数据中台,具备城市级的处理技术,能城市级的环境中不能便捷的处理数据等优点,解决了不能城市级的环境中不能便捷的处理数据的问题。
(二)技术方案
为实现上述具有城市级的处理技术,能城市级的环境中不能便捷的处理数据目的,本发明提供如下技术方案:一种基于大数据的城市级数据中台,包括数据收集装置,所述数据收集装置与建模平台连接,所述建模平台的与数据处理平台连接,所述数据处理平台和对接中间件连接,所述数据处理平台和数据资源中心与信息数据处理处通过对接中间件连接,所述数据资源中心与信息数据处理系统与大数据支撑平台连接,所述数据资源中心与数据共享平台和安全保护模块,所述安全保护模块与大数据支撑平台连接,所述安全保护模块与数据资源门户固定连接。
优选的,所述数据资源门户,连接所述区级数据资源中心,用于供管理人员对接政务信息共享网站和供需系统,并通过所述区级数据资源中心提供数据共享给所述共享网站和供需系统。
优选的,所述数据处理平台包括一些数据预处理过程,其中有数据标签、数据融合、数据清洗、数据管控和数据汇聚。
优选的,所述数据资源管理包括数据标准管理、数据质量管理、数据血源分析和数据立方体。
优选的,所述数据治理子平台还包括一数据建模的过程,所述数据治理子平台根据所述人工建模子平台提供的所述基础算法模型库中的算法模型进行数据建模。
优选的,所述主题库包括:交通主体库、环保主题库、应急主体库、防汛防台主体库、城市管理主体库。
优选的,所述支撑平台组件包括:线处理组件,流处理组件,全文检索组件,数据开发组件,资源管理组件,安全控制组件。
优选的,所述数据共享平台由数量为两个的共享单元组成,且两个共享单元分别用于数据共享和数据对外服务发布与利用。
优选的,所述对接中间件分别连接数据处理平台、数据资源中心和信息数据处理系统,从而便于处理数据处理平台。
(三)有益效果
与现有技术相比,本发明提供了一种基于大数据的城市级数据中台,具备以下有益效果:
该基于大数据的城市级数据中台,通过建立数据共享平台,所述数据共享平台由数量为两个的共享单元组成,且两个共享单元分别用于数据共享和数据对外服务发布与利用,各类大数据的共享交换,所述数据处理平台包括一些数据预处理过程,其中有数据标签、数据融合、数据清洗、数据管控和数据汇聚,并通过建立区级数据资源中心,城市环境的情况,不断提高数据加工能力,从而提高处理效率,推动政府进一步提升行政效能服务管理水平,从而在城市级的环境中良好处理大数据,方便了使用者的使用。
附图说明
图1为本发明提出的一种基于大数据的城市级数据中台示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,一种基于大数据的城市级数据中台,包括数据收集装置,数据收集装置与建模平台连接,数据资源门户,连接区级数据资源中心,用于供管理人员对接政务信息共享网站和供需系统,并通过区级数据资源中心提供数据共享给共享网站和供需系统,数据处理平台包括一些数据预处理过程,其中有数据标签、数据融合、数据清洗、数据管控和数据汇聚,建模平台的与数据处理平台连接,数据资源管理包括数据标准管理、数据质量管理、数据血源分析和数据立方体,数据处理平台和对接中间件连接,对接中间件分别连接数据处理平台、数据资源中心和信息数据处理系统,从而便于处理数据处理平台,数据治理子平台还包括一数据建模的过程,数据治理子平台根据人工建模子平台提供的基础算法模型库中的算法模型进行数据建模,数据处理平台和数据资源中心与信息数据处理处通过对接中间件连接,支撑平台组件包括:线处理组件,流处理组件,全文检索组件,数据开发组件,资源管理组件,安全控制组件,数据共享平台由数量为两个的共享单元组成,且两个共享单元分别用于数据共享和数据对外服务发布与利用,数据资源中心与信息数据处理系统与大数据支撑平台连接,数据资源中心与数据共享平台和安全保护模块,安全保护模块与大数据支撑平台连接,安全保护模块与数据资源门户固定连接,通过建立数据共享平台,所述数据共享平台由数量为两个的共享单元组成,且两个共享单元分别用于数据共享和数据对外服务发布与利用,各类大数据的共享交换,所述数据处理平台包括一些数据预处理过程,其中有数据标签、数据融合、数据清洗、数据管控和数据汇聚,并通过建立区级数据资源中心,城市环境的情况,不断提高数据加工能力,从而提高处理效率,推动政府进一步提升行政效能服务管理水平,从而在城市级的环境中良好处理大数据,方便了使用者的使用。
工作原理:通过数据采集模块进行一条完整数据信息的采集,并将采集的信息传递给数据处理平台;数据加工模块对接收到数据信息进行提取关键词特征信息,并将提取的关键词特征信息和完整的数据信息传递给编码模块;编码模块调取编码数据库存储设定的编码信息资源对提取到的关键词特征信息进行特征编码和优先级编码,编码处理完成后,将关键词特征信息的特征编码、优先级编码和完整数据信息以数据数组的形式存入数据存储模块中,再经过数据的处理和共享,完成对大数据的分析。
综上所述,该基于大数据的城市级数据中台,通过建立数据共享平台,所述数据共享平台由数量为两个的共享单元组成,且两个共享单元分别用于数据共享和数据对外服务发布与利用,各类大数据的共享交换,所述数据处理平台包括一些数据预处理过程,其中有数据标签、数据融合、数据清洗、数据管控和数据汇聚,并通过建立区级数据资源中心,城市环境的情况,不断提高数据加工能力,从而提高处理效率,推动政府进一步提升行政效能服务管理水平,从而在城市级的环境中良好处理大数据,方便了使用者的使用,解决了不能城市级的环境中不能便捷的处理数据的问题。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。