针对校园场景的实时流计算引擎系统的制作方法

本申请涉及数据管理，具体而言涉及一种针对校园场景的实时流计算引擎系统。

背景技术：

1、校园数据系统需要实时处理大量并发数据，对其进行相应的统计和分类处理，以实现在线数据集成，实现对校园数据的实时监控。现有技术可通过综合性的数据处理系统对接校园内现有系统的数据端口实现对校园数据的综合性处理。但是，现有处理方式下，大部分的数据处理都需要经历 etl（extract—transform—load）这样的过程，而这样的系统通常都是通过定时的批次作业来完成数据处理的，但批次作业所带来的延时在很多时候是无法被接受的。

技术实现思路

1、本申请针对现有技术的不足，提供一种针对校园场景的实时流计算引擎系统，本申请通过使用 ksql 和 kafka 连接器，将批次数据集成转变成在线数据集成，通过流与表的连接，用存储在数据表里的元数据来填充事件流里的数据，或者在将数据传输到其他系统之前过滤掉数据里的敏感信息，从而实现对校园数据的实时处理显示。本申请具体采用如下技术方案。

2、首先，为实现上述目的，提出一种针对校园场景的实时流计算引擎系统，其包括：校园终端设备接口，其与校园内现有各终端通讯连接，用于接收各终端设备的数据信号，并相应生成该数据信号所对应的主题内容和分区内容；kafka消息管道，其接受校园终端设备接口的注册信息，将注册信息所对应的主题内容和分区内容分布式地存储于数据管道中，建立相应的信息副本以及各信息的映射关系；ksql数据库，其与kafka消息管道对接，用于按照预设标准查询kafka消息管道中的相应主题内容，获得相应的分区内容，并将其按照预设规则暂存于子库中；数据使用方通过ksql数据库接口调用相应子库，实时对相应数据进行过滤、聚合、分组、计算，从而更新其所获得的展示项内容。

3、可选的，如上任一所述的针对校园场景的实时流计算引擎系统，其中，所述子库中仅按照预设规则存储相应分区内容的分布位置的链接信息，所述链接信息指向kafka消息管道中存储相应分区内容的服务器地址；所述ksql数据库接口根据子库中所存储的各分区内容的链接信息调取kafka消息管道的服务器，并向数据使用方输出相应数据。

4、可选的，如上任一所述的针对校园场景的实时流计算引擎系统，其中，还包括可视化模块，其集成在数据使用方的交互界面中，用于响应于用户操作而独立设定数据使用方对相应数据所进行的治理步骤和计算步骤。

5、可选的，如上任一所述的针对校园场景的实时流计算引擎系统，其中，所述可视化模块中设置有：治理组件，其包括：数据连接模块、数据合并模块、数据过滤模块、数据去重模块、数据转换模块；计算组件，其包括：聚合分组模块、数据计算模块、数据输出模块；模块分别响应于用户的拖拽而设定其所接收的数据来源以及各模块对数据的处理顺序，响应于用户对各模块属性参数的调整而确定各模块的具体处理标准。

6、可选的，如上任一所述的针对校园场景的实时流计算引擎系统，其中，所述子库中存储各分区内容的预设规则根据数据连接模块的属性参数而确定；子库中分别按照各分区内容设置相应的数据项，每一个数据项中均分别按照各分区内容中主题和副本的更新顺序存储有该分区内容所对应各副本的分布位置的链接信息。

7、可选的，如上任一所述的针对校园场景的实时流计算引擎系统，其中，所述子库预设在其所对应的数据使用方的局域网路由或与该数据使用方直接通信连接的服务器中，所述子库设有与kafka消息管道连接的api数据通道，所述api数据通道用于周期性地遍历子库中的各个数据项，根据每一个数据项中分区内容所对应的主题和副本，将最近更新的链接所对应的内容信息暂存于本地。

8、可选的，如上任一所述的针对校园场景的实时流计算引擎系统，其中，所述本地包括子库所属的局域网路由或与该数据使用方直接通信连接的服务器，或者数据使用方设备内部的存储单元。

9、可选的，如上任一所述的针对校园场景的实时流计算引擎系统，其中，所述api数据通道还用于记录数据使用方对各数据项的调用状况，并在周期性遍历子库中的各个数据项的过程中，在检测到任一数据项核销后，依据先前记录的该数据项的调用状况删除或触发数据使用方更新基于该数据项的展示项内容。

10、可选的，如上任一所述的针对校园场景的实时流计算引擎系统，其中，各个可视化模块中还分别设置有api接口，所述api接口连接上一级模块的输出端，用于根据各个可视化模块对kafka消息管道中各数据项分区内容的处理状态更新本模块的输出。

11、有益效果

12、本申请提供一种针对校园场景的实时流计算引擎系统。本申请通过校园终端设备接口与校园内现有各终端通讯连接，将各终端设备的数据信号转换为kafka消息管道中的数据流信息；然后，利用kafka消息管道向ksql数据库提供数据使用方所需的信息内容。本申请利用ksql数据库接口调用相应子库，可使ksql 和 kafka 消息通道紧密连接，将数据流中不同批次的数据集成转变成在线数据方便对数据进行集成，并进一步通过ksql字库实现流与表的连接，通过实时对相应数据进行过滤、聚合、分组、计算，用存储在数据表里的元数据来填充事件流里的数据，或者在将数据传输到其他系统之前过滤掉数据里的敏感信息，从而实现对校园数据的实时处理显示。

13、本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。

技术特征：

1.一种针对校园场景的实时流计算引擎系统，其特征在，包括：

2.如权利要求1所述的针对校园场景的实时流计算引擎系统，其特征在于，所述子库中仅按照预设规则存储相应分区内容的分布位置的链接信息，所述链接信息指向kafka消息管道中存储相应分区内容的服务器地址；

3.如权利要求1所述的针对校园场景的实时流计算引擎系统，其特征在于，还包括可视化模块，其集成在数据使用方的交互界面中，用于响应于用户操作而独立设定数据使用方对相应数据所进行的治理步骤和计算步骤。

4.如权利要求3所述的针对校园场景的实时流计算引擎系统，其特征在于，所述可视化模块中设置有：

5.如权利要求4所述的针对校园场景的实时流计算引擎系统，其特征在于，所述子库中存储各分区内容的预设规则根据数据连接模块的属性参数而确定；

6.如权利要求5所述的针对校园场景的实时流计算引擎系统，其特征在于，所述子库预设在其所对应的数据使用方的局域网路由或与该数据使用方直接通信连接的服务器中，所述子库设有与kafka消息管道连接的api数据通道，所述api数据通道用于周期性地遍历子库中的各个数据项，根据每一个数据项中分区内容所对应的主题和副本，将最近更新的链接所对应的内容信息暂存于本地。

7.如权利要求6所述的针对校园场景的实时流计算引擎系统，其特征在于，所述本地包括子库所属的局域网路由或与该数据使用方直接通信连接的服务器，或者数据使用方设备内部的存储单元。

8.如权利要求6所述的针对校园场景的实时流计算引擎系统，其特征在于，所述api数据通道还用于记录数据使用方对各数据项的调用状况，并在周期性遍历子库中的各个数据项的过程中，在检测到任一数据项核销后，依据先前记录的该数据项的调用状况删除或触发数据使用方更新基于该数据项的展示项内容。

9.如权利要求6所述的针对校园场景的实时流计算引擎系统，其特征在于，各个可视化模块中还分别设置有api接口，所述api接口连接上一级模块的输出端，用于根据各个可视化模块对kafka消息管道中各数据项分区内容的处理状态更新本模块的输出。

技术总结
本申请提供一种针对校园场景的实时流计算引擎系统。本申请通过校园终端设备接口与校园内现有各终端通讯连接，将各终端设备的数据信号转换为Kafka消息管道中的数据流信息；然后，利用Kafka消息管道向KSQL数据库提供数据使用方所需的信息内容。本申请利用KSQL数据库接口调用相应子库，可使KSQL和Kafka消息通道紧密连接，将数据流中不同批次的数据集成转变成在线数据方便对数据进行集成，并进一步通过KSQL字库实现流与表的连接，通过实时对相应数据进行过滤、聚合、分组、计算，用存储在数据表里的元数据来填充事件流里的数据，或者在将数据传输到其他系统之前过滤掉数据里的敏感信息，从而实现对校园数据的实时处理显示。

技术研发人员：王珂,张大庆,季春东,万陆俭
受保护的技术使用者：南京迪塔维数据技术有限公司
技术研发日：
技术公布日：2024/2/29