1.基于logstash的批量数据导入方法,其特征在于:其包括以下步骤:
步骤1、根据项目要求确定表结构并创建elasticsearch索引表,同时下载mysql数据连接驱动包;
步骤2、创建并更新logstash的配置文件s,其具体步骤为:
步骤2-1、根据需求确定需从mysql数据库导入的数据;
步骤2-2、基于elasticsearch索引表结构创建查询导入数据的mysql查询语句,且查询语句的字段名和字段个数与elasticsearch索引表结构一样;
步骤2-3、为查询到不同类型的数据分别关联映射至对应类型的elasticsearch索引表;
步骤2-4、基于步骤2-1至2-3的操作同步更新配置文件s;
步骤3、根据机器性能调整logstash的内存参数;
步骤4、logstash调用配置文件s进行数据的批量导入;
步骤5、导入结束后快读检索elasticsearch的数据完成批量导入。
2.根据权利要求1所述的基于logstash的批量数据导入方法,其特征在于:步骤2中将配置文件s的任务设为定时任务。
3.根据权利要求1所述的基于logstash的批量数据导入方法,其特征在于:步骤2-1中确定需导入的数据前先连接mysql并引用驱动包。