基于LOGSTASH的批量数据导入方法与流程

文档序号:20009824发布日期:2020-02-22 03:58阅读:来源:国知局

技术特征:

1.基于logstash的批量数据导入方法,其特征在于:其包括以下步骤:

步骤1、根据项目要求确定表结构并创建elasticsearch索引表,同时下载mysql数据连接驱动包;

步骤2、创建并更新logstash的配置文件s,其具体步骤为:

步骤2-1、根据需求确定需从mysql数据库导入的数据;

步骤2-2、基于elasticsearch索引表结构创建查询导入数据的mysql查询语句,且查询语句的字段名和字段个数与elasticsearch索引表结构一样;

步骤2-3、为查询到不同类型的数据分别关联映射至对应类型的elasticsearch索引表;

步骤2-4、基于步骤2-1至2-3的操作同步更新配置文件s;

步骤3、根据机器性能调整logstash的内存参数;

步骤4、logstash调用配置文件s进行数据的批量导入;

步骤5、导入结束后快读检索elasticsearch的数据完成批量导入。

2.根据权利要求1所述的基于logstash的批量数据导入方法,其特征在于:步骤2中将配置文件s的任务设为定时任务。

3.根据权利要求1所述的基于logstash的批量数据导入方法,其特征在于:步骤2-1中确定需导入的数据前先连接mysql并引用驱动包。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1