基于实时计算引擎的市域治理事件数据处理方法和系统与流程

本发明涉及市域社会治理，特别涉及一种基于实时计算引擎的市域治理事件数据处理方法和系统。

背景技术：

1、在市域社会治理建设中，为了应对紧急情况并进行社会舆情管理和预警，用户需要对各类事件进行实时监测和分析。而事件数据集成过多外部系统数据，导致数据格式复杂，通过业务系统直接进行监测分析进行分析会存在以下问题：1)业务系统对于存储于mysql的复杂数据格式无法实时批量查询2)离线数仓的t+1批处理可以解析复杂数据格式但无法提供即时的实时数据反馈3)flink等主流实时计算框架代码维护成本高、开发周期长，无法满足快速上线效果4)纯数字大屏展示及交互方式有限，无法满足针对重点事件进行地理空间分布监测的需要。。

技术实现思路

1、为此，本发明提供一种基于实时计算引擎的市域治理事件数据处理方法及系统，能够解决现有技术处理复杂数据格式无法实时批量查询等问题，通过实时计算引擎实现对复杂事件数据的提取和分析，满足事件指挥调度体系对于事件核心指标实时上图的需求。

2、按照本发明所提供的设计方案，一方面，提供一种基于实时计算引擎的市域治理事件数据处理方法，包含如下内容：

3、市域治理网格域中市民上报相关市域治理事件，同时对应网格域相关人员对相关事件进行处理并对处理过程进行记录；

4、基于上报的市域治理事件及其处理过程对市域治理事件数据信息进行收集，并上传至事件服务平台，所述市域治理事件数据信息至少包括事件类型、事件地点、事件描述及事件图像；

5、事件服务平台基于实时计算引擎对事件数据进行处理，依据事件地点将相关事件分派至对应市域治理网格域，以为市域治理网格域相关人员提供可视化交互页面及多维展示事件统计分析指标

6、进一步地，收集事件数据信息，包括：

7、首先，市民在公众终端应用程序中通过认证和身份验证来获取公众终端应用程序的使用权限，使其成为公众终端应用程序的可信用户；

8、然后，可信用户收集待上报事件数据基础信息，将收集的待上报事件数据基础信息填写至公众终端应用程序并形成相关事件数据信息，以将事件数据信息通过网络并利用公众终端应用程序上传至事件服务平台。

9、进一步地，事件服务平台基于实时计算引擎对事件数据进行处理，包括：

10、事件数据存储、事件数据的实时传输、事件相关数据转换、事件相关数据实时计算及事件相关数据服务，其中，事件数据存储中使用主数据库和备份数据库存储事件数据信息及事件处理相关记录；事件数据的实时传输中将备份数据库中事件数据信息及事件处理相关记录实时同步到大数据环境中；事件相关数据转换中利用自定义函数并通过数据格式转换加工来提取用于实时计算和数据服务的事件数据核心字段并将相关核心字段抽象为数据仓库分层中的明细数据层dwd；事件相关数据实时计算中结合数据仓库分层技术并使用实时计算引擎构建用于预先自动存储数据服务用数据源的服务数据层dws和数据应用层ads；事件相关数据服务中利用数据接口配置数据源并通过可视化方式将相关事件数据进行展示。

11、进一步地，事件数据存储中使用主数据库和备份数据库存储事件数据信息及事件处理相关记录，还包含：

12、主数据库和备份数据库相分离，并通过数据同步使主数据库和备份数据库两者的事件数据信息及事件处理相关记录保持同步。

13、进一步地，事件相关数据转换中利用自定义函数并通过数据格式转换加工来提取用于实时计算和数据服务的事件数据核心字段并将相关核心字段抽象为数据仓库分层中的明细数据层dwd，包括：

14、首先，利用实时计算引擎自定义函数从大数据环境中提取事件数据预设核心字段，并依据预设字段结构对提取的核心字段进行存储；

15、接着，将事件数据中提取的核心字段和其他字段按层次进行组织并抽象为明细数据层dwd；

16、然后，利用实时计算引擎物化视图功能创建实时计算和数据服务用的数据集合，以将数据计算和存储相结合来提供事件查询和可视化相关的数据服务。

17、进一步地，事件相关数据服务中利用数据接口配置数据源并通过可视化方式将相关事件数据进行展示，还包括：

18、将数据源创建为图表，通过数据接口或图表url地址或web页面图表iframe嵌入对相关时间数据进行可视化展示和交互。

19、进一步地，市域治理网格域中相关人员处理相应事件，还包含：

20、设置事件的紧急程度及优先级；处理终端应用程序的可信用户依据紧急程度及优先级对市域治理网格域内相应事件进行处理并对事件处理过程进行记录，其中，处理终端应用程序的可信用户为相关人员在处理终端应用程序中通过认证和身份验证来获取处理终端应用程序的使用权限，使其成为处理终端应用程序的可信用户。

21、另一方面，结合以上的基于实时计算引擎的市域治理事件数据处理方法，本发明还提供一种基于实时计算引擎的市域治理事件数据处理系统，包含：公众终端、事件服务平台及处理终端，其中，

22、公众终端，公众用户利用公众终端收集事件数据信息，并上传至事件服务平台，所述事件数据信息至少包括事件类型、事件地点、事件描述及事件图像；

23、事件服务平台，基于实时计算引擎对事件数据进行处理，并依据事件地点将相关事件分派至对应市域治理网格域，为市域治理网格域相关人员提供可视化交互页面及多维展示事件统计分析指标；

24、处理终端，市域治理网格域中相关人员利用处理终端对相关事件进行处理，对事件处理过程进行记录并将记录数据上传至事件服务平台。

25、本发明的有益效果：

26、本发明通过使用实时计算引擎能够实现对存储于mysql的复杂数据格式进行实时批量查询，有效解决业务系统无法实时查询复杂数据格式的问题；与传统的离线数仓的t+1批处理相比，能够提供即时的实时数据反馈，实现对实时数据的处理和分析，从而实时地获取分析结果并提供及时的数据反馈，能够快速响应和适应变化的业务需求，为决策提供实时支持；相对于主流的实时计算框架(如flink、spark streaming等)，利用实时计算引擎能够更快地开发和部署实时计算任务，实时计算任务的开发流程，从而缩短了开发周期，提高了上线效率；可结合前端和地图技术来实现重点事件实时上图撒点的功能，能够直观呈现、实时更新、空间分析和用户交互性，可以更好地展示和分析重点事件的空间分布和特征，帮助用户做出及时决策，以应对市域治理事件指挥调度中的挑战。

技术特征：

1.一种基于实时计算引擎的市域治理事件数据处理方法，其特征在于，包含如下内容：

2.根据权利要求1所述的基于实时计算引擎的市域治理事件数据处理方法，其特征在于，市域治理网格域中市民上报相关市域治理事件，包括：

3.根据权利要求1所述的基于实时计算引擎的市域治理事件数据处理方法，其特征在于，网格域相关人员对相关事件进行处理并对处理过程进行记录，还包含：

4.根据权利要求1所述的基于实时计算引擎的市域治理事件数据处理方法，其特征在于，事件服务平台基于实时计算引擎对事件数据进行处理，包括：

5.根据权利要求4所述的基于实时计算引擎的市域治理事件数据处理方法，其特征在于，事件数据存储中使用主数据库和备份数据库存储事件数据信息及事件处理相关记录，还包含：

6.根据权利要求4所述的基于实时计算引擎的市域治理事件数据处理方法，其特征在于，事件相关数据转换中利用自定义函数并通过数据格式转换加工来提取用于实时计算和数据服务的事件数据核心字段并将相关核心字段抽象为数据仓库分层中的明细数据层dwd，包括：

7.根据权利要求4所述的基于实时计算引擎的市域治理事件数据处理方法，其特征在于，事件相关数据服务中利用数据接口配置数据源并通过可视化方式将相关事件数据进行展示，还包括：

8.一种基于实时计算引擎的市域治理事件数据处理系统，其特征在于，包含：公众终端、事件服务平台及处理终端，其中，

9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1～7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1～7任一项所述的方法。

技术总结
本发明涉及市域社会治理技术领域，特别涉及一种基于实时计算引擎的市域治理事件数据处理方法和系统，市域治理网格域中市民上报相关市域治理事件，同时对应网格域相关人员对相关事件进行处理并对处理过程进行记录；基于上报的市域治理事件及其处理过程对市域治理事件数据信息进行收集，并上传至事件服务平台；事件服务平台基于实时计算引擎对事件数据进行处理，依据事件地点将相关事件分派至对应市域治理网格域，为市域治理网格域相关人员提供可视化交互页面及多维展示事件统计分析指标。本发明通过实时计算引擎实现对复杂事件数据的提取和分析，满足事件指挥调度体系对于事件核心指标实时上图的需求。

技术研发人员：申佳佳,安家威,张帆,常跃轶,屈洋洋,叶艳
受保护的技术使用者：数字郑州科技有限公司
技术研发日：
技术公布日：2024/1/15