全文检索实时数据处理方法、系统、设备和介质与流程

本技术涉及数据处理，特别是涉及一种全文检索实时数据处理方法、系统、设备和介质。

背景技术：

1、随着大数据时代的到来，全文检索在信息检索领域越来越受关注，各行各业产生的实时数据越来越多，给全文检索数据处理带来了挑战。

2、目前大多数传统方法还是采用批处理方法采集数据且严重依赖关系数据库，给数据库性能造成了压力，导致数据采集难度极大，自动化处理难以保证，尤其在大规模实时数据处理场景下，多样化数据来源的难以统一管理与控制，这些方法还存在着处理速度慢、扩展性低与时效性差等诸多问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够大幅降低全文检索离线数据处理难度并提高效率的全文检索实时数据处理方法、系统、设备和介质。

2、一种全文检索实时数据处理方法，所述方法包括：

3、在业务源管理界面录入多个业务系统信息并保存，在业务表管理界面选择业务系统配置多个业务表并保存；

4、调用基于有向无环图界面操作创建与编辑的全文检索实时处理画布，基于所述全文检索实时处理画布拖拉拽动态选择实时集成插件，所述实时集成插件包括：实时采集插件、实时输入插件、实时转换插件和实时存储插件；

5、在所述全文检索实时处理画布中的实时采集单元中，采用实时数据拦截模型对录入的多个业务系统进行数据采集，采用数据采集特征模型对采集到的数据进行标准化，并将标准化后的业务数据缓存至云端；

6、在所述全文检索实时处理画布中的实时输入单元中，采用实时数据加载模型将云端中的标准化数据进行实时加载；

7、在所述全文检索实时处理画布中的实时转换单元中，采用实时数据转换模型对加载数据进行规则处理的实时转换；

8、在所述全文检索实时处理画布中的实时存储单元中，采用实时数据存储模型对实时转换后的数据进行实时存储，其中，采用实时变更模型对实时转换后的数据进行实时变更。

9、在其中一实施例中，在采用所述全文检索实时处理画布中的实时采集单元进行数据采集之前，还包括：

10、在所述全文检索实时处理画布中，采用全文检索实时处理模型将整个数据处理过程划分为所述实时采集单元、实时输入单元、实时转换单元以及实时存储单元。

11、在其中一实施例中，

12、所述实时输入插件包括主表输入插件与维表输入插件；

13、所述实时转换插件包括数据替换插件、数据过滤插件与维度关联插件；

14、所述实时存储插件包括elasticsearch存储插件。

15、在其中一实施例中，在所述全文检索实时处理画布中的实时采集单元中，所述实时数据拦截模型采用mybatis实时数据拦截模型；

16、在所述mybatis实时数据拦截模型中，基于mybatis动态方式操作所有业务原始数据，并在service实现层中设置@component注解实现bean的注入，设置@intercepts拦截器注解且设定update拦截类型，设置拦截器开关控制数据拦截是否生效；

17、当拦截器开启时，对所有操作数据进行拦截并得到元数据对象，同时从元数据对象中提取所需的全文检索目标数据。

18、在其中一实施例中，在所述全文检索实时处理画布中的实时采集单元中，所述采用数据采集特征模型对采集到的数据进行标准化时，提取的数据特征包括：数据行键、业务编码、业务表名、操作类型、业务字段、字段内容和数据时间，数据的操作类型包括新增、编辑以及删除。

19、在其中一实施例中，在所述全文检索实时处理画布中的实时输入单元中，所述采用实时数据加载模型将云端中的标准化数据进行实时加载时，分别采用主表加载模型以及维表缓存模型对标准化数据中的主表数据和维表数据进行实时加载。

20、在其中一实施例中，在所述全文检索实时处理画布中的实时转换单元中，采用的实时数据转换模型包括数据替换规则模型、数据过滤规则模型以及维度关联模型；

21、在所述数据替换规则模型中，根据替换类型、替换字段、原来内容和替换内容的配置，按照设置的替换规则对数据进行替换；

22、在所述数据过滤规则模型中，根据过滤关系、过滤类型、过滤字段和过滤内容的配置，按照设置的过滤规则对数据进行过滤；

23、在所述维度关联模型中，根据主表字段、主键字段、维度字段和关联关系的配置，在主表加载数据中基于联合主键拼接维表行键，根据所述关联关系基于维表行键在维表缓存数据中提取所需维表字段数据。

24、本技术还提供了一种全文检索实时数据处理系统，所述装置包括：

25、业务系统配置模块，用于在业务源管理界面录入多个业务系统信息并保存，在业务表管理界面选择业务系统配置多个业务表并保存；

26、全文检索实时处理画布构建模块，用于调用基于有向无环图界面操作创建与编辑的全文检索实时处理画布，基于所述全文检索实时处理画布拖拉拽动态选择实时集成插件，所述实时集成插件包括：实时采集插件、实时输入插件、实时转换插件和实时存储插件；

27、数据实时采集模块，用于在所述全文检索实时处理画布中的实时采集单元中，采用实时数据拦截模型对录入的多个业务系统进行数据采集，采用数据采集特征模型对采集到的数据进行标准化，并将标准化后的业务数据缓存至云端；

28、数据实时加载模块，用于在所述全文检索实时处理画布中的实时输入单元中，采用实时数据加载模型将云端中的标准化数据进行实时加载；

29、数据实时转换模块，用于在所述全文检索实时处理画布中的实时转换单元中，采用实时数据转换模型对加载数据进行规则处理的实时转换；

30、数据实时存储模块，用于在所述全文检索实时处理画布中的实时存储单元中，采用实时数据存储模型对实时转换后的数据进行实时存储，同时采用实时变更模型对实时转换后的数据进行实时变更。

31、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

32、在业务源管理界面录入多个业务系统信息并保存，在业务表管理界面选择业务系统配置多个业务表并保存；

33、调用基于有向无环图界面操作创建与编辑的全文检索实时处理画布，基于所述全文检索实时处理画布拖拉拽动态选择实时集成插件，所述实时集成插件包括：实时采集插件、实时输入插件、实时转换插件和实时存储插件；

34、在所述全文检索实时处理画布中的实时采集单元中，采用实时数据拦截模型对录入的多个业务系统进行数据采集，采用数据采集特征模型对采集到的数据进行标准化，并将标准化后的业务数据缓存至云端；

35、在所述全文检索实时处理画布中的实时输入单元中，采用实时数据加载模型将云端中的标准化数据进行实时加载；

36、在所述全文检索实时处理画布中的实时转换单元中，采用实时数据转换模型对加载数据进行规则处理的实时转换；

37、在所述全文检索实时处理画布中的实时存储单元中，采用实时数据存储模型对实时转换后的数据进行实时存储，其中，采用实时变更模型对实时转换后的数据进行实时变更。

38、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

39、在业务源管理界面录入多个业务系统信息并保存，在业务表管理界面选择业务系统配置多个业务表并保存；

40、调用基于有向无环图界面操作创建与编辑的全文检索实时处理画布，基于所述全文检索实时处理画布拖拉拽动态选择实时集成插件，所述实时集成插件包括：实时采集插件、实时输入插件、实时转换插件和实时存储插件；

41、在所述全文检索实时处理画布中的实时采集单元中，采用实时数据拦截模型对录入的多个业务系统进行数据采集，采用数据采集特征模型对采集到的数据进行标准化，并将标准化后的业务数据缓存至云端；

42、在所述全文检索实时处理画布中的实时输入单元中，采用实时数据加载模型将云端中的标准化数据进行实时加载；

43、在所述全文检索实时处理画布中的实时转换单元中，采用实时数据转换模型对加载数据进行规则处理的实时转换；

44、在所述全文检索实时处理画布中的实时存储单元中，采用实时数据存储模型对实时转换后的数据进行实时存储，其中，采用实时变更模型对实时转换后的数据进行实时变更。

45、上述全文检索实时数据处理方法、系统、设备和介质，通过录入多个业务系统之后，基于有向无环图动态配置增加了系统扩展性，标准化流程处理，降低系统复杂度，在实时采集单元中采用了实时数据拦截模型对录入的多个业务系统进行数据采集，同时，采用数据采集特征模型对采集到的数据进行标准化处理，在实时输入单元中，采用实时数据加载模型将云端中的标准化数据进行实时加载，在实时转换单元中，采用实时数据转换模型对加载数据进行规则处理的实时转换，在实时存储单元中，采用实时数据存储模型以及实时变更模型对数据进行存储。最终，通过设计上述全文检索实时数据处理标准流程，简化项目开发难度，降低系统架构复杂度，简洁界面配置操作，自动化数据处理，支持多样化全文检索业务数据处理，同时，具备大规模数据处理能力，能够实时高效地从数据源中提取与处理海量数据。